1. به نام خدا

2. پايايي آزمون
Reliability))

3. تعريف
پايايي به دقت ،اعتمادپذيري ثبات ،يا تکرار پذيری نتايج آزمون اشاره مي کند.
کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

4. An example of the importance of reliability is the use of measuring devices in Olympic track and field events.
کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

5. For the vast majority of people, ordinary measuring rulers and their degree of accuracy are reliable enough. However, for an Olympic event, such as the discus throw, the slightest variation in a measuring device -- whether it is a tape, clock, or other device -- could mean the difference between the gold and silver medals. Additionally, it could mean the difference between a new world record and outright failure to qualify for an event. Olympic measuring devices, then, must be reliable from one throw or race to another and from one competition to another. They must also be reliable when used in different parts of the world, as temperature, air pressure, humidity, interpretation, or other variables might affect their readings.

6. رابطه بين روايي و پايايي ازاين قرار است که يک آزمون بايد پايا باشد تا بتواند روا باشد.
 اگر آزموني در هر بار اجرا برروي تعدادي آزمون شونده نتايج مختلفي به دست دهد ، آن آزمون يک آزمون پايا نخواهد بودو در واقع هيچ چيز را به درستي اندازه نخواهد گرفت و اگر يک آزمون چيزي را به درستي اندازه گيري نکند، هيچ اطلاع مفيدي به ما نخواهد داد.
کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

7. پايايي شرط روايي است اما روايي براي پايايي ضروري نيست.
کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

8. روش هاي تعيين پايايي 1- روش پايايي مصححان 2- روش بازآزمايي
3- روش فرم هاي موازي يا هم ارز
4- روشهاي همساني دروني :
الف- روش دو نيمه کردن آزمون
ب-روش کودر- ريچاردسون
ج-روش ضريب آلفاي کرانباخ
کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

9. ”ضريب پايايي“ ارقامي از 0تا 1 راشامل مي شودو هرچه ضريب پايايي كوچك تر باشد،نشان دهنده پايايي كمترو هر چه اين ضريب بزرگتر باشد حاكي از پايايي زيادتر آزمون است.
کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

10. 1 - شاخص پايايي مصححان (examiners reliability)
براي تعيين پايايي آزمون هاي تشريحي يا به طور کلي آزمون هاي غير عيني که نمرات آنها تحت تاثير قضاوت مصححان قرار مي گيرد،بايد از دو يا چند مصحح که مستقلا پاسخ هاي آزمون شوندگان راتصحيح مي کنند، استفاده کرد .همبستگي بين نمرات مصححان مختلف شاخص پايايي مصححان به حساب مي آيد.
کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

11. 2- روش بازآزمايي (test-retest)
ساده ترين روش تعيين پايايي يک آزمون است .در اين روش آزمون را دو نوبت به گروه واحدي از آزمون شوندگان مي دهند و نمرات حاصل را با هم مقايسه مي کنند .ضريب همبستگي بين نمرات حاصل از دوبار اجراي آزمون ضريب پايايي آزمون است.
 اين روش تنها زماني مورد قبول است که ويژگي مورد اندازه گيري در طول زمان تغيير نکند(مانند هوش).
کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

12. 3- فرم هاي موازي يا هم ارز
دو آزمون موازي يا معادل براي يک مطلب يا موضوع تهيه مي کنند و آنها رادر فاصله زماني کوتاهي به يک گروه واحداز آزمون شوندگان مي دهند.
کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

13. 4 - روش هاي همساني دروني 4- 1- روش دونيمه کردن (split-halves)
آزمون مورد نظر را يک بار با گروه واحدي از آزمون شوندگان اجرا مي کنيم و پس از اجرا، آن را به دو نيمه تقسيم مي نماييم .
در اين روش بهترين راه دونيمه کردن آزمون اين است که همه سؤال هاي فرد را يک آزمون حساب آوريم و همه سؤال هاي زوج را آزمون ديگري بدانيم .
ضريب همبستگي حاصل از نمرات دو نيمه آزمون ضريب پايايي هر يک از دونيمه خواهد بود.
کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

14. ميزان رابطه ي دو دسته نمره متعلق به گروه واحدي از آزمون شوندگان را با محاسبه ضريب همبستگي مشخص
مي کنند.
 متداول ترين روش تعيين همبستگي ،روش محاسبه ضريب همبستگي پيرسون است.

15. نتيجه حاصل، ضريب پايا يي کل آزمون خواهد بود.
براي محاسبه ضريب پايايي کل آزمون ، ضريب همبستگي بين نيمه ها رادر فرمول زير که به فرمول اسپير من – براون شهرت دارد ، قرار
مي دهيم.
نتيجه حاصل، ضريب پايا يي کل آزمون خواهد بود.
کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

16. فرمول اسپيرمن - براون
کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

17. 4 - روش هاي همساني دروني 4- 2- روش ضريب آلفاي کرانباخ
اين روش در شرايطي بکار مي رود که:
1- نمرات سؤال ، نه به صورت دوارزشي صفر و يک ،بلکه به صورت چند ارزشي (از 1 تا 5 به صورت کاملا موافق تا کاملا مخالف)تعيين مي شود.در اين گونه موارداستفاده از KR20 مناسب نمي باشد.
2- زماني که يک آزمون از تعدادي خرده آزمون يا بخش هاي مختلف تشکيل شده است.
کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

18. 4 - روش هاي همساني دروني 4- 3- روش کودر-ريچاردسون
در اين روش آزمون تنها يک بار اجرا مي شود،اما همه ماده هاي آزمون تحليل مي شوند.
کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

19. 4 - روش هاي همساني دروني 4- 3- روش کودر-ريچاردسون
الف – روش کودر-ريچاردسون20
ب -روش کودر-ريچاردسون21
کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

20. از نظر کاربردي، ما عمدتاً با کودر –ريچاردسون 20 سرو کارداريم.
کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

21. محاسبه پايايي به روش کودر – ريچاردسون 20
Kuder –Richardson 20
کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

23. فرمول کودر – ريچاردسون 20
کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

24. راه اول(بهتر) براي محاسبه انحراف استاندارد:

25. راه دوم براي محاسبه انحراف استاندارد:

26. فرق KR20 و KR21چيست؟
اگر بتوان فرض کرد که همه ي سؤال هاي يک آزمون از نظر دشواري شبيه به هم هستند،در آن صورت همه ي p ها با هم مساوي و همه يq ها با هم مساوي خواهند بود،
پس مي توان به جاي ،
را قرارداد:
کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

27. n = تعداد کل سؤال ها = 1- q = ميانگين ضريب د شواري سؤال ها
کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

28. به خاطر بسپاريم که:
فرمول کودر-ريچاردسون براي آزمون هايي است که براي پاسخ مي توان دو حالت زير در نظر گرفت:
الف – صفر(0) يعني غلط و
ب- يک (1)يعني درست
کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

29. براي محاسبه ضريب پايايي پرسشنامه هايي که پاسخ هاي آنها
کودر –ريچاردسون
را نمي توان
براي محاسبه ضريب پايايي
پرسشنامه هايي که پاسخ هاي آنها
از 1 تا 4 يا 5
(rating scale)
راشامل مي شود،
،مورد استفاده قرار داد.
کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

30. عوامل مؤثر برپايايي آزمون
1- با افزودن برتعدادسؤالات يك آزمون پايايي آن افزايش مي يابد.
2- با متجانس تر وهمگون تر كردن سؤالات يك آزمون ،پايايي آن بيشتر مي شود.
3- با افزودن تعدادي سؤال با ضريب تميز زياد به يك آزمون پايايي آن بالا مي رود.
کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

31. 4- با افزودن تعدادي سؤال با ضريب دشواري متوسط به يك آزمون پايايي ،پايايي آن افزايش مي يابد.
5- اگر يك آزمون رادرمورد گروهي ازافراد كه ازنظر توانايي مورد سنجش تجانس كمتري با يكديگر دارنداجراكنيم،آزمون پايايي بيشتري نشان خواهدداد.
6- معمولا آزمون هاي سرعت ضريب پايايي بيشتري را نسبت به آزمون هاي قدرت نشان مي دهند.
کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

32. عوامل غير فني مؤثر برپايايي يا اعتبارآزمون
1 – كيفيت مطلوب تكثير و تركيب آزمون :
بايد مطمئن شد كه سؤالات خوانا و روشن نوشته شده و صفحه شلوغ و در هم نيست.
2- دستورالعمل واضح و صريح براي آزمون شوندگان
3- دستورالعمل واضح و صريح براي تصحيح كنندگان
4- موقعيت كنترل شده و مطلوب براي اجراي آزمون
کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

33. باتشكر