Witam,

. Jeśli jest to dla was istotne jestem gotów podjąć się dalszej

analizy.

pozdrawiam,

imię nazwisko

Analiza wyników

odpowiedzi na pytania testowe zawarte w PES jesień 2008 z chorób

wewnętrznych.

CEM opublikował

na stronie internetowej parametry oceny poszczególnych pytań testowych zawartych w w/w egzaminie. Obejmują one współczynnik trudności, indeks dyskryminacyjny oraz wskaźnik korelacji punktowo-dwuseryjnej dla poszczególnych odpowiedzi  (A-E). Chciałbym zwrócić wasza uwagę na kilka istotnych cech całości tego testu, które można ustalić na podstawie tych danych.Analiza obejmuje 114 pytań (6 pytań zostało unieważnionych). Dwa pytania charakteryzują się ujemnym wskaźnikiem dyskryminacyjnym, tj. grupa osób, które uzyskały najwyższe 27% wyników z całości testu (G27) odpowiedziała „gorzej” na te pytania niż osoby, które uzyskały najniższe 27% wyników z całości testu (D27). Pytania o takiej charakterystyce powinny być eliminowane z grupy potencjalnych pytań przed egzaminem. Dwadzieścia piec procent badanych pytań ma wskaźnik poniżej 0.189, co wskazuje na ich słaba moc dyskryminacyjna. Ponad to 34 pytania maja dodatni współczynnik punktowo-dwuseryjny dla więcej niż jednej odpowiedzi, tj. zaznaczenie jednej z „nieprawidłowych” odpowiedzi dodatnio koreluje z całościowym wynikiem uzyskanym z całości testu. To poddaje w wątpliwość zakres wiedzy, która sprawdzały takie pytania, ponieważ nie są one dobrym wyznacznikiem znajomości wiedzy, która przez całość egzaminu miałaby być sprawdzana.  Należy zwrócić uwagę, ze CEM nie podał wartości współczynnika eta, który oparty jest na analizie wariancji i informuje o różnicach w średnich wynikach testów miedzy osobami, które zaznaczyły kolejne odpowiedzi A-E. Jest to parametr pomocny w ustaleniu wartości użytych dystraktorow. Przykładowo, jeśli średnia wyników osób, które odpowiedziały na pytanie poprawnie i niepoprawnie jest równa to wartość mocy dyskryminacyjnej może być dopuszczalna, jednak niski współczynnik eta wskazuje, ze jedna z „błędnych” odpowiedzi jest uznawana za poprawna, przez wiele osób uzyskujących wysokie wyniki w całość testu. 

Podsumowując, przedstawione wyniki wskazują, ze nie dokonano dostatecznej walidacji pytań przed włączeniem ich do egzaminu. Można powiedzieć, ze CEM stal się ofiara własnej skrytości i w efekcie pozbawił sie wydajnej metody walidacji pytań. Mój komentarz opiera się na doświadczeniu metodycznym i powszechnie dostępnych źródłach literaturowych, z których szczególnie polecam książkę Thomasa M. Haladyna „Developing and validating multiple-choice questions”, LEA 1994.  Myślę, ze w zaistniałej sytuacji zasadne jest złożenie do Ministerstwa Zdrowia, jako organu nadzorującego działania CEM wniosku o udostępnienie pełnych wyników egzaminu, obejmujących całkowity wynik zdającego i odpowiedz na każde pytanie A-E. To pozwoliłoby na rzetelna analizę różnic wyników miedzy osobami, które wybrały „błędne” odpowiedzi oraz pozwoliłoby na określenie wytycznych dotyczących akceptowalnych parametrów pytań dopuszczanych do włączenia do egzaminu testowego PES. Brak takich wytycznych, przykładowo eta>0.1, indeks dyskryminacyjny > 0.20, oraz tajność treści pytań testowych doprowadza do sytuacji gdzie PES daje nierzetelne wyniki.