Kazimierz L.MAY

Egzamin testowy ocenia zarówno zdających jak i  egzaminatorów.

„W sytuacji masowego oprotestowania jakiegoś pytania będziemy musieli się zastanowić czy je unieważnić”.

Jeśli takie słowa rzeczywiście padły z ust naczelnego organizatora Lekarskiego Egzaminu Państwowego a nie zostały przez dziennikarzy  (Puls Medycyny nr 24 z dn. 17 listopada) tylko źle zrozumiane - to sprawa jest przerażająca. Przerażająca poziomem niekompetencji organizatorów egzaminu.

Każdy kto cokolwiek rozumie ze sposobu oceniania jakiegokolwiek pytania z egzaminu testowego wie, że to nie „głos zdających” się liczy, ale całkiem obiektywne fakty z analizy badanego testu, a ściśle mówiąc z analizy odpowiedzi na każde pytanie testowe.

Jeśli wszyscy zdający poprawnie odpowiadają na pytanie (wybierają właściwą odpowiedź) to znaczy, ze pytanie było za łatwe. Innymi słowy tzw. dystraktory były absurdalne (żeby nie użyć słowa – głupie). Jeśli większość zdających wybiera jedną „złą” (wg egzaminatora) odpowiedź, to znaczy, że układający pytanie nie znał tematu, bo wg niego „nieprawda” była w istocie „prawdą” albo „prawd” było więcej niż jedna.

Jeśli „rozrzut” złych odpowiedzi na pytanie jest zupełnie równomierny, a prawidłowych odpowiedzi mało, to znaczy, ze albo pytanie było zupełnie bez sensu, albo temat w ogóle nie był znany zdającym.

Z analizy odpowiedzi na to pytanie można wyciągnąć wnioski n.t. dydaktyki tego zagadnienia albo też po prostu uznać pytanie za niewłaściwe dla danego testu.

Analiza poszczególnych pytań przeprowadzona w ten sposób i po  odrzuceniu wszystkich wątpliwych pytań (za łatwych, za trudnych i po prostu złych), a przy odpowiednim programie komputerowym jest to możliwe w kilka minut - daje nam „całościową” analizę testu. Po policzeniu prawidłowych odpowiedzi można dopiero wtedy ocenić czy test był „łatwy” czy „trudny”.

Ale to tylko część prawdy. Celem każdego egzaminu jest sprawdzian wiedzy zdających a praktycznie wyselekcjonowanie tych najlepszych (25%) i najgorszych (też 25%).

Problemy powstają dwa:

Pierwszy - jak „podzielić” pozostałe 50% na „lepszych” i „gorszych”, oraz drugi - gdzie postawić granicę zaliczenia lub nie zaliczenia testu.

Obydwa problemy można rozważyć dopiero po wspomnianym odrzuceniu  wielu pytań.

Tych tzw. za trudnych (gdzie liczba prawidłowych odpowiedzi jest mniejsza niż 25%), oraz tych  ze złymi dystraktorami, gdzie więcej niż połowa zdających uznaje „nie prawidłową” odpowiedź za prawidłową.

Dopiero po odrzuceniu tych pytań liczyć odpowiedzi prawidłowe i nieprawidłowe a wtedy można np. zanalizować każde pytanie pod względem jego  „mocy różnicującej”.

Moc różnicująca to stosunek liczby najlepiej zdających  cały tekst (górna połowa) którzy prawidłowo na to pytanie odpowiedzieli do liczby dobrze odpowiadających  z dolnej połowy zdających. Dobrze, gdy taka siła różnicująca to 0,6-0,8. Liczba ujemna to dyskwalifikacja pytania.

No ale gdzie postawić granice zdał/nie zdał? Można to robić mając już tylko „dobre” pytania i wiedząc, że 1/5 dobrych odpowiedzi (przy 5 możliwościach) to czysty przypadek. 20% dobrych odpowiedzi można zaliczyć „na ślepo” w ciągu 5 minut. Tu decyzja jest wyłącznie arbitralna.

Układanie pytań testowych to praca trudniejsza niż postronnym się wydaje. Jest to w istocie egzamin układającego pytanie. Dlatego też wielu odpowiedzialnych za kształcenie a potem ocenianie wiedzy studentów i lekarzy z reguły nie podaje do późniejszej wiadomości danych o tzw. rzetelności testu.

A to w istocie jest ocena czy ten test w ogóle spełnił jakiekolwiek (poza propagandowym) zadanie.

Organizując przez  kilka lat testowe egzaminy specjalizacyjne wiem, jak trudno było doprosić się wybitnych niekiedy specjalistów o pytania do testu. Wynikało to przeważnie z faktu, że utytułowanej osobie „nie godzi się” dyskutować nad, (z konieczności) precyzyjnymi dystraktorami i pytaniami. Można tu bowiem zdradzić się  ze swoją niewiedzą.

W latach 80-tych liczyliśmy jeszcze „ręcznie” wyniki egzaminów testowych. Obecnie programy komputerowe są w stanie w minutę wyliczyć  wszelkie parametry testu bez żadnych subiektywnych  opinii ze jakiś fragment testu był trudny a inny łatwy.

Na miejscu zdających LEP, gdybym nie zaliczył testu, zażądałbym danych o „rzetelności” testu. Gdyby ta rzetelność wynosiła mniej niż 0,7 (odsyłam tu czytelników do klasycznego już opracowania  Hubbarda i Clemansa z przed 40 laty) to bez względu na mój wynik żądałbym zaliczenia go wszystkim zdającym.

 

Opublikowano w dzienniku SLUZBA ZDROWIA dnia 19.12.2005 pod tytulem  „KOMU ZALICZYC”