1. TestSensitivity%Specificity% ANA9980 dsDNA7095 ssDNA8050 Histone30-8050 Nucleoprotein5850 Sm2599 RNP5087-94 PCNA595 1 Which one of these test is the best for SLE Dx?

2. علی رغم داعیه «پزشکی مبتنی بر شواهد» در بسیاری از دانشکده‌های پزشکی، این امر آنگونه که باید مورد توجه و پذیرش قرار نگرفته است. دانشجویان حساسیت و ویژگی را می‌آموزند و یاد می‌گیرند که برای تشخیص چگونه هنر شرح حال گیری و معاینه را با آزمونهای تشخیصی درهم بیامیزند ولی از تئوری احتمالات و به‌کارگیری آن خبری نیست!

3. به همین جهت گاهی اوقات از ادبیاتی استفاده می‌شود که مانع نتیجه گیری درست در تشخیص می‌شود. مثلا گفته می‌شود که اگر کسی فلان جواب را داشت پس حتماً آن بیماری خاص را دارد مگر آنکه خلافش ثابت شود. این گفته چقدر با منطق Bayesian مطابقت دارد؟ آیا توجهی به ماهیت آزمون شد؟ آیا توجهی به خود بیمار یا جمعیت مشابه او شد؟ آیا این جمله به این معناست که احتمال پیش از آزمون خیلی بالاست؟

4. یا این مورد: SnNout in a highly Sensitive test, a Negative test rules out the disease SpPin in a highly Specific test, a Positive test rules in the disease

5. منطق Bayesian چیست؟ در مثال قبل برای گذاشتن تشخیص، فقط به یک جنبه از آزمون توجه شده است: این تست آنقدر ویژگی بالایی دارد که اگر مثبت شود حتماً بیمار آن تشخیص خاص را دارد. منطق Bayesian می‌گوید که هر فرد بیمار قبل از انجام آزمون یک احتمال مشخصی برای بیماری خاصی دارد که با یک عامل تعدیل کننده (مثلاً نسبت درست نمایی یا Likelihood ratio یا LR ) این احتمال افزایش یا کاهش می‌یابد.

6. Dr. Shahram Yazdani 6 Medical Decision Making Refining Probability Refining Probability Decision Analysis Decision Analysis Treatment and Testing Thresholds Treatment and Testing Thresholds Cost-Effectiveness Analysis Cost-Effectiveness Analysis

7. راههای تشخیص در پزشکی 1- استدلال پاتوفیزیولوژیک 2- شناخت الگوی بیماری 3- استدلال احتمالاتی برای مورد اخیر باید لیست تشخیص افتراقی بیماری را بطور کامل مدنظر داشته باشیم و احتمال بیماری را (قبل از انجام هر آزمونی) محاسبه کنیم.

8. احتمال قبل از آزمون چگونه محاسبه می شود؟ 1- بر اساس تجربه شخصی (با تمام خطاهایی که دارد) 2- اطلاعات چاپ شده: الف- استفاده از شیوع بیماری به علاوه علائم و شکایات خاص بالینی ب- استفاده از قانونهای پیش بینی کلینیکی

9. تخمین احتمال پیش از آزمون

10. Dr. Shahram Yazdani 10 Why we routinely order diagnostic tests It’s what we always do: Tradition It’s what we always do: Tradition The hospital has to make money somehow: Economic Gain The hospital has to make money somehow: Economic Gain I just wanted to know the test result: Curiosity I just wanted to know the test result: Curiosity Dr. “X” told me to do it: Hierarchy Dr. “X” told me to do it: Hierarchy We have to learn how to perform procedures somehow: Practice We have to learn how to perform procedures somehow: Practice

11. برای چه آزمون می‌کنیم؟ ما همیشه آزمون می‌کنیم.رسم و سنت بالاخره بیمارستان خرج دارد!هدف اقتصادی فقط می‌خواهم جوابش را بدانم. کنجکاوی به ما اینطور گفته‌اند.سلسله مراتبی باید یادبگیریم چطور آزمون کنیم.آموزش و تمرین تغییر احتمال پیش از آزمون به احتمال پس از آزمون.

12. Dr. Shahram Yazdani 12 The most important reason we order diagnostic tests is to Refine Probability

13. Dr. Shahram Yazdani 13 Probability: is a number between 0 and 1 (or 0% and 100%) that expresses the likelihood of something happening or being true Probability: is a number between 0 and 1 (or 0% and 100%) that expresses the likelihood of something happening or being true

14. Dr. Shahram Yazdani 14 Refining Probability Modifying our estimate of the likelihood of a disease through the application of diagnostic tests

15. Probability Assessment The sum of the probabilities of all possible, collectively exhaustive outcomes of a chance event must be equal to 1. The sum of the probabilities of all possible, collectively exhaustive outcomes of a chance event must be equal to 1. p[heads] + p[tails ] = 1.0 Dr. Shahram Yazdani

16. 16 How the result of diagnostic tests change the likelihood of a particular diagnosis What we thought before + test information =what we think after What we thought before + test information =what we think after

17. Dr. Shahram Yazdani 17 What we thought before\after Pretest probability: the probability that a patient has the disease before undergoing a test Pretest probability: the probability that a patient has the disease before undergoing a test Posttest probability: the probability that a patient has the disease,given the result of a test Posttest probability: the probability that a patient has the disease,given the result of a test

18. Dr. Shahram Yazdani 18 How the result of diagnostic tests change the likelihood of a particular diagnosis What we thought before + test information = what we think after What we thought before + test information = what we think after Pretest probability + Likelihood Ratio = Posttest Probability Pretest probability + Likelihood Ratio = Posttest Probability

19. The effect of test results on the probability of disease Angina on exertion Dr. Shahram Yazdani 0.00.51.0 Pretest Probability Posttest Probability e.g. Stress ECG Perform Test Probability of Disease

20. The effect of test results on the probability of disease Dr. Shahram Yazdani 0.01.0 Pretest Probability Probability of Disease Posttest Probability after test 2 Perform Test 2 Posttest Probability after test 1 Perform Test 1

21. Overview of the Diagnostic Process 1 st Stage: 1 st Stage: Initial judgment: intuition, implicit Initial judgment: intuition, implicit Prior / pretest probability: Based on experience & knowledge Prior / pretest probability: Based on experience & knowledge 2 nd Stage: 2 nd Stage: Diagnostic tests: Gather more information Diagnostic tests: Gather more information 3 rd Stage: 3 rd Stage: Update the initial probability estimate Update the initial probability estimate Posterior / posttest probability Posterior / posttest probability Dr. Shahram Yazdani

22. Disease Estimate Disease prevalence Disease prevalence  Information Pretest probability Pretest probability  Diagnostic test (TPR, TNR)  Bayes' theorem Posttest probability Posttest probability Dr. Shahram Yazdani

23. 23 Test Information Sensitivity and Specificity Sensitivity and Specificity Positive and Negative Predictive Values Positive and Negative Predictive Values Likelihood Ratios Likelihood Ratios

24. شاخصهای یک آزمون تشخیصی

25. Dr. Shahram Yazdani 25 Sensitivity and specificity Sensitivity: the proportion of patients with the disease who have a positive test result Sensitivity: the proportion of patients with the disease who have a positive test result Specificity: the proportion of patients without the disease who have a negative test result Specificity: the proportion of patients without the disease who have a negative test result

26. Dr. Shahram Yazdani 26 Information for a dichotomous test True positive A False positive B B False negative C True negative D Disease PresentAbsent Positive Negative Test Result Sensitivity = A / (A+C) Specificity = D / (B+D)

27. Dr. Shahram Yazdani 27 Information for a dichotomous test True positive A = 103 A = 103 False positive B = 16 B = 16 False negative C = 12 C = 12 True negative D = 211 D = 211 Disease PresentAbsent Positive Negative Test Result

28. Dr. Shahram Yazdani 28 Information for a dichotomous test True positive A = 103 A = 103 False positive B = 16 B = 16 False negative C = 12 C = 12 True negative D = 211 D = 211 Disease PresentAbsent Positive Negative Test Result Sensitivity=103/(103+12)=89% Specificity=211/(16+211)=93%

29. Dr. Shahram Yazdani 29 Sensitivity and specificity Limitation: we don’t know who has the disease before the test ! Otherwise we wouldn’t need to order the diagnostic test. Limitation: we don’t know who has the disease before the test ! Otherwise we wouldn’t need to order the diagnostic test.

30. محدودیت حساسیت و ویژگی حساسیت در گروه بیماران و ویژگی در گروه سالمها (غیر بیماران) تعریف می شود در صورتیکه ما نمی دانیم فردی که به ما مراجعه کرده بیمار است یا نه؟! ما با فردی برخورد داریم که جواب آزمایش او مثبت یا منفی است. پس به ارزش اخباری آزمونها بپردازیم...

31. Dr. Shahram Yazdani Predictive values PPV : the proportion of patients with a positive test result who have the disease PPV : the proportion of patients with a positive test result who have the disease NPV : the proportion of patients with a negative test result who do not have the disease NPV : the proportion of patients with a negative test result who do not have the disease 31

32. Dr. Shahram Yazdani Information for a dichotomous test True positive A False positive B B False negative C True negative D 32 Disease PresentAbsent Positive Negative Test Result Sensitivity = A / (A+C) Specificity = D / (B+D) PPV = A / (A+B) NPV = D / (C+D)

33. Dr. Shahram Yazdani Information for a dichotomous test True positive A = 103 A = 103 False positive B = 16 B = 16 False negative C = 12 C = 12 True negative D = 211 D = 211 33 Disease PresentAbsent Positive Negative Test Result Sensitivity=103/(103+12)=89% Specificity=211/(16+211)=93% PPV = 103 / (103+16) = 86% NPV = 211 / (12+211) = 94%

34. Dr. Shahram Yazdani Predictive values Limitation: predictive values are dependent on the fixed prevalence (pretest probability) of disease in the studied population. Limitation: predictive values are dependent on the fixed prevalence (pretest probability) of disease in the studied population. If the pretest probability of the disease is equal to prevalence of disease then the post test probability of disease will be equal to PPV (e.g in screening) If the pretest probability of the disease is equal to prevalence of disease then the post test probability of disease will be equal to PPV (e.g in screening) 34

35. ارزش اخباری آزمونها هم مفهوم حساسیت و ویژگی و هم شیوع بیماری را در خود مستتر دارد. در واقع اگر فرض کنیم که شیوع بیماری در جامعه همان احتمال پیش از آزمون باشد، ارزش اخباری مثبت، احتمال پس از آزمون می شود.

36. محدودیت ارزش اخباری ارزش اخباری به شیوع بیماری در جامعه بستگی دارد در حالیکه شیوع بیماری تغییر می‌کند. مثلاً ارزش اخباری برای آزمون تشخیص ایدز در 10 سال گذشته با امروز که شیوع بیماری بیشتر شده است حتماً فرق می‌کند. پس سراغ شاخص نسبت درست نمایی برویم که...

37. Dr. Shahram Yazdani Likelihood ratio Likelihood ratio = the likelihood of a test result in patients with the disease / the likelihood of a test result in people without the disease Likelihood ratio = the likelihood of a test result in patients with the disease / the likelihood of a test result in people without the disease LR(+) = sensitivity/(1-specificity) LR(+) = sensitivity/(1-specificity) LR(-) = (1-sensitivity)/specificity LR(-) = (1-sensitivity)/specificity 37

38. Dr. Shahram Yazdani Information for a dichotomous test True positive A False positive B False negative C True negative D 38 Disease PresentAbsent Positive Negative Test Result Sensitivity = A / (A+C) Specificity = D / (B+D) PPV = A / (A+B) NPV = D / (C+D) LR(+) = A /(A+C) B / (B+D) LR(-) = C /(A+C) D / (B+D) = sn / (1-sp) = (1-sn) / sp

39. Dr. Shahram Yazdani Information for a dichotomous test True positive A = 103 A = 103 False positive B = 16 B = 16 False negative C = 12 C = 12 True negative D = 211 D = 211 39 Disease PresentAbsent Positive Negative Test Result Sensitivity=103/(103+12)=89% Specificity=211/(16+211)=93% PPV = 103 / (103+16) = 86% NPV = 211 / (12+211) = 94% LR(+) = A /(A+C) B / (B+D) LR(-) = C /(A+C) D / (B+D) = sn / (1-sp)=12.7 = (1-sn) / sp=0.11

40. نسبت درستنمایی شاخصی بین صفر و مثبت بینهایت LR+ یعنی احتمال مثبت شدن آزمون در بیماران تقسیم بر احتمال مثبت شدن آزمون در غیر بیماران ( یا حساسیت تقسیم بر یک منهای ویژگی ) LR - یعنی احتمال منفی شدن آزمون در بیماران تقسیم بر احتمال منفی شدن آزمون در غیر بیماران ( یا یک منهای حساسیت تقسیم بر ویژگی )

41. Positive Likelihood Ratios It can also be written as the true positive rate/false positive rate. Thus, the higher the positive likelihood ratio, the better the test (a perfect test has a positive likelihood ratio equal to infinity).

42. Negative Likelihood Ratio It can also be written as the false negative rate/true negative rate. Therefore, the lower the negative likelihood ratio, the better the test (a perfect test has a negative likelihood ratio of zero).

43. نسبت درستنمایی (LR) 1- مقدار این شاخص مستقل از شیوع بیماری در جمعیت تحت مطالعه‌ای است که این شاخص در آن برآورد شده است. پس کافیست که شما احتمال پیش از آزمون بیمار خود را بدانید.

44. 2- LR برای آزمونهایی که جواب آنها بیش از دو حال دارد نیز قابل محاسبه است. مثلا برای تشخیص آمبولی ریه LR برای هر جواب اسکن V/Q به این ترتیب است: –برای احتمال بالا 18.3 –برای احتمال متوسط 1.2 –برای احتمال پایین 0.36 –برای جواب طبیعی 0.1

45. 3- LR های چند تست غیر وابسته را می توان در هم ضرب کرد و احتمال پس از انجام آزمونها را حساب کرد.

46. محاسبه احتمال پس از آزمون استفاده از نوموگرام انجام محاسبات ریاضی احتمال پیش از آزمون (p) شانس پیش از آزمون (p/1-p) ضربدر نسبت درستنمایی (x LR1 x LR2 x … x LRn) شانس پس از آزمون (odds) احتمال پس از آزمون (odds/1+ods)

47. Bayes Theorem Post-test Odds = Likelihood Ratio X Pre-test Odds

48. 48 Using Likelihood Ratios to Determine Post- Test Disease Probability

49. Dr. Shahram Yazdani Calculating posttest probability 49 Pretest probability Pretest oddsLikelihood ratioPosttest odds Posttest probability  = Test Information Odds=p/(1-p) P=odds/(odds+1)

50. Dr. Shahram Yazdani Quantitative estimate of posttest probability 1. Estimate the pretest probability 2. Convert pretest probability to pretest odds 3. Multiply the pretest odds by the likelihood ratio to get posttest odds 4. Convert the posttest odds to a posttest probability 50

51. Dr. Shahram Yazdani 51

52. مزایای نسبت درستنمایی یادگیری و استفاده از آن آسان است. در مورد آزمونهایی که بیش از دو جواب دارد نیز کاربرد دارد. مقدار عددی آن نیز کمک کننده است یعنی مثلا اگر بالای 10 باشد به احتمال زیاد جواب مثبت آن باعث تایید تشخیص و اگر کمتر از 0.1 باشد، جواب منفی‌اش رد کننده تشخیص است. استفاده از LR برای چند آزمون(ضرب LR ها)، ساده تر از محاسبه حساسیت و ویژگی برای هر آزمون است.

53. Dr. Shahram Yazdani Likelihood ratio Likelihood ratio00.1110 +∞ Posttest probability Posttest probability No disease LowerUnchangedHigher Disease certain 53 A test with LR greater than 1, increases the probability of Disease; And a test with LR of less than 1, decreases the probability of disease.

54. LR های بزرگتر از 10 و کوچکتر از 0/1تغییر اساسی در احتمال پیش از آزمون می دهند. LR های 5 تا 10 و 0/1تا 0/2 تغییرات متوسطی در احتمال پیش از آزمون می دهند. LR های 2 تا 5 و 0/2تا 0/5تغییرات کوچک (ولی گاهی با اهمیت) در احتمال پیش از آزمون می دهند. LR های یک تا 2 و 0/5تا یک تغییرات کوچک (و غالبا بی اهمیت) در احتمال پیش از آزمون بوجود می آورند.

55. Values of Positive and Negative Likelihood Ratios (LR) LR Poor-fairGoodExcellent Positive likelihood ratio 2.1-55.1-10>10 Negative likelihood ratio 0.5-0.20.19-0.1<0.1

56. Likelihood Ratios & You Allows us to determine the accuracy with which a test identifies the target disorder As the LR becomes larger, the likelihood of the target disease increases: Likelihood ratioInterpretation >10Strong evidence to rule in disease 5-10Moderate evidence to rule in disease 2-5Weak evidence to rule in disease 0.5-2No significant change in the likelihood of disease 0.2-0.5Weak evidence to rule out disease 0.1-0.2Moderate evidence to rule out disease <0.1Strong evidence to rule out disease

57. TestSensitivitySpecificityLR(+) ANA99804.95 dsDNA709514 ssDNA80501.6 Histone30-80501.1 Nucleoprotein58501.16 Sm259925 RNP5087-943.8-8.3 PCNA5951 57 Which one of these test is the best for SLE Dx?

58. این را هم در نظر داشته باشید: کی برای بیمار انجام آزمون لازم است؟ احتمال پیش از آزمون 100 درصدصفر درصد نه آزمون می خواهد نه درمان. آزمون نمی خواهد، درمانش کنید. آزمون کنید و بر اساس نتایج در مورد درمان تصمیم بگیرید.

59. Clinical interpretation of post- test probability 59 Disease ruled out Disease ruled in If you are here, Test will help you to go toward one end of this probability, either 0 or 1 to get the final decision.

60. حد این دو خط چین چگونه تعیین می شود؟ احتمال پیش از آزمون 100 درصدصفر درصد یا بر این اساس که LR آزمونهای موجود چقدر قادرند احتمال بیمار بودن یا نبودن را تغییر دهند؛ یا وجود یکسری ملاحظاتی که شرایط موجود آن را تعیین می کند. مثلا شاید احتمال بیماری خیلی کم باشد ولی بعلت شرایط خاصی لازم باشد بدون انجام آزمایش، درمان انجام شود.

61. فقط از آزمونی استفاده کنید که نتایج مثبت یا منفی آن، احتمال پیش از آزمون را در اطراف حد آستانه درمان جابجا کند. فرض کنید احتمال پیش از آزمون برای بیمار 10 درصد باشد و حد آستانه درمان برای او 50 درصد باشد. پس آزمونی بایدانجام داد که لااقل نسبت درستنمایی برابر 5 داشته باشد وگرنه جواب مثبت آزمایش، احتمال وجود بیماری را به 50 درصد نخواهد رساند و کمکی به تصمیم گیری درمانی نمی کند.

62. Advantages of LRs The higher or lower the LR, the higher or lower the post-test disease probability Which test will result in the highest post-test probability in a given patient? The test with the largest LR+ Which test will result in the lowest post-test probability in a given patient? The test with the smallest LR- 62

63. Dr. Shahram Yazdani 63 Managing diagnostic uncertainty You are consulted to visit a 62-year-old man with 3 months history of severe back pain. His weight remained stable. CBC and routine biochemistry were normal. ESR was 52 mm / hour. An x- ray of the lumbar and thoracic spine was reported to showing degenerative changes. You are consulted to visit a 62-year-old man with 3 months history of severe back pain. His weight remained stable. CBC and routine biochemistry were normal. ESR was 52 mm / hour. An x- ray of the lumbar and thoracic spine was reported to showing degenerative changes. what is your approach to this patient? what is your approach to this patient?

64. Dr. Shahram Yazdani 64 Clinical findings predicting cancer as a cause of back pain. Finding Finding Age > 50 years Age > 50 years Unexplained weight loss Unexplained weight loss Previous history of cancer Previous history of cancer Persistent pain despite 1 month of treatment Persistent pain despite 1 month of treatment Duration of this episode > 1 month Duration of this episode > 1 month Severe pain Severe pain ESR > 20 ESR > 20 ESR > 50 ESR > 50 ESR > 100 ESR > 100 Hematocrit < 30% Hematocrit < 30% Lytic or blastic lesion on spine x-ray Lytic or blastic lesion on spine x-ray LR LR 2.7 2.7 14.7 14.7 3.0 3.0 2.6 2.6 1.6 1.6 2.4 2.4 19.2 19.2 55.5 55.5 15.2 15.2 120 120

65. Dr. Shahram Yazdani 65 Clinical and Laboratory findings will change the disease probability just like a test Given that the probability of malignancy as the cause of persistent back pain in the general population is about 0.3%, what is the effect of patient’s ESR on the probability of malignancy in this patient? Given that the probability of malignancy as the cause of persistent back pain in the general population is about 0.3%, what is the effect of patient’s ESR on the probability of malignancy in this patient?

66. Dr. Shahram Yazdani 66 Clinical findings predicting cancer as a cause of back pain. Finding Finding Age > 50 years Age > 50 years Unexplained weight loss Unexplained weight loss Previous history of cancer Previous history of cancer Persistent pain despite 1 month of treatment Persistent pain despite 1 month of treatment Duration of this episode > 1 month Duration of this episode > 1 month Severe pain Severe pain ESR > 20 ESR > 20 ESR > 50 ESR > 50 ESR > 100 ESR > 100 Hematocrit < 30% Hematocrit < 30% Lytic or blastic lesion on spine x-ray Lytic or blastic lesion on spine x-ray LR LR 2.7 2.7 14.7 14.7 3.0 3.0 2.6 2.6 1.6 1.6 2.4 2.4 19.2 19.2 55.5 55.5 15.2 15.2 120 120

67. Dr. Shahram Yazdani 67 Calculating posttest probability Pret. p=0.003 Pret. Odds: 0.003LR: 19.2Postt. Odds: 0.0576 Postt p: 0.054  = Odds=p/(1-p) P=odds/(odds+1) Pretest odds×likelihood ratio=posttest odds

68. Dr. Shahram Yazdani 68 Clinical and Laboratory findings will change the disease probability just like a test Consider that x-ray of spine in this patient shows a lytic lesion then what will be the probability of malignancy in this patient considering also patients age and ESR? Consider that x-ray of spine in this patient shows a lytic lesion then what will be the probability of malignancy in this patient considering also patients age and ESR?

69. Dr. Shahram Yazdani 69 Clinical findings predicting cancer as a cause of back pain. Finding Finding Age > 50 years Age > 50 years Unexplained weight loss Unexplained weight loss Previous history of cancer Previous history of cancer Persistent pain despite 1 month of treatment Persistent pain despite 1 month of treatment Duration of this episode > 1 month Duration of this episode > 1 month Severe pain Severe pain ESR > 20 ESR > 20 ESR > 50 ESR > 50 ESR > 100 ESR > 100 Hematocrit < 30% Hematocrit < 30% Lytic or blastic lesion on spine x-ray Lytic or blastic lesion on spine x-ray LR LR 2.7 2.7 14.7 14.7 3.0 3.0 2.6 2.6 1.6 1.6 2.4 2.4 19.2 19.2 55.5 55.5 15.2 15.2 120 120

70. Dr. Shahram Yazdani 70 Calculating posttest probability Pret. p=0.003 Pret. Odds: 0.003LR: 2.7×19.2×120Postt. Odds: 18.6 Postt p: 0.94  = Odds=p/(1-p) P=odds/(odds+1) Pretest odds × LR1 × LR2 × LR3=posttest odds

71. Dr. Shahram Yazdani 71 Predictive Values Alternate formulations: Bayes’ Theorem PV+ = Se  Pre-test Prevalence Se  Pre-test Prevalence + (1 - Sp)  (1 - Pre-test Prevalence) High specificity to “rule-in” disease PV- = Sp  (1 - Pre-test Prevalence) Sp  (1 - Pre-test Prevalence) + (1 - Se)  Pre-test Prevalence High sensitivity to “rule-out” disease