To sprosta wyzwaniom prawnym
Organizacje opracowujące testy online i administrujące nimi muszą zrozumieć, że rozwój elementów testowych to coś więcej niż pisanie pytań. Aby chronić zarówno kandydatów, jak i organizację testującą, elementy testowe online muszą być w stanie stawić czoła wyzwaniom prawnym. Egzekwowalny prawnie egzamin to taki, który ma zapewnić wszystkim kandydatom równe szanse wykazania się wiedzą i nie dyskryminuje grupy ze względu na rasę, kolor skóry, pochodzenie narodowe, płeć, religię lub chronioną niepełnosprawność.
Ale w jaki sposób organizacje mogą zapewnić, że ich testy online są prawnie uzasadnione? Włączenie szeregu najlepszych praktyk w zakresie opracowywania przedmiotów do programu testowania może pomóc zapewnić, że testowane przedmioty dokładnie i rzetelnie mierzą wiedzę, umiejętności i zdolności wszystkich kandydatów w puli.
Przede wszystkim przestrzeganie standardowego procesu opracowywania elementów testowych ma zasadnicze znaczenie dla prawnej legalności elementów testowych online. Proces ten powinien obejmować znormalizowane szkolenie dla wszystkich autorów przedmiotów, a także rygorystyczny proces przeglądu i zatwierdzania przedmiotów. Proces przeglądu obejmuje ocenę takich rzeczy, jak wrażliwość, styl, poprawność, poziom poznawczy i ogólna struktura wszystkich elementów testu. Część znormalizowanego procesu przeglądu jest przeprowadzana przez ekspertów merytorycznych, a część przez psychometrów i specjalistów ds. Opracowywania testów. Ponieważ przegląd rozwoju rozwoju psychometrycznego i testów koncentruje się na obiektywności, najlepiej jest go przeprowadzać profesjonaliści zajmujący się opracowywaniem testów, a nie wyłącznie eksperci z danej dziedziny lub autorzy przedmiotów. Osoby przeszkolone w zakresie złożoności oceny psychometrycznej przedmiotów w innym, bardziej krytycznym świetle niż eksperci przedmiotowi lub autorzy przedmiotów i są bardziej skuteczne w zapewnianiu obiektywności przedmiotów testowych.
Po drugie, organizacje mogą poprawić prawną odporność testów online dzięki ciągłemu gromadzeniu danych i analizie wyników testów. Korzystanie z mierników do oceny wydajności elementów testowych online w terenie i do określenia wzorców odpowiedzi testowej może zapewnić, że żadna grupa nie zareaguje inaczej na pytania na wszystkich poziomach.
Analiza danych odpowiedzi na pytanie (sposób, w jaki kandydaci odpowiadają na pytanie) może stwierdzić, czy terminologia lub opisy w danym punkcie są nieodpowiednie dla niektórych części populacji kandydatów. Co zaskakujące, modyfikacja tylko kilku słów w elemencie egzaminu może mieć znaczący wpływ na wyniki kandydata. Na przykład przy opracowywaniu przedmiotów do konkretnego egzaminu licencyjnego stwierdzono, że konkretny autor przedmiotów lubi używać słowa „pilfer” zamiast „ukraść”. Ponieważ słowo „pilfer” nie miało żadnego znaczenia dla testowanego obszaru licencjonowania, a słowo „ukraść” jest bardziej powszechnym słowem znanym w różnych grupach etnicznych i społeczno-ekonomicznych, zmiana tego jednego słowa stworzyła ważniejszy element dla całego testu populacja. Analiza po administracji potwierdziła, że zmiana spowodowała bardziej sprawiedliwą wydajność przedmiotu.
Wreszcie, pisemny zapis ciągłego rozwoju i oceny programu testowego może służyć jako ochrona w przypadku odwołania prawnego. Proces opracowywania testu jest ważny tylko, jeśli jest udokumentowany. Dokumentacja powinna obejmować analizę pracy, na podstawie której opierają się zadania pisania przedmiotów, a także kwalifikacje ekspertów merytorycznych i personelu opracowującego testy zaangażowane w cykle opracowywania i przeglądu przedmiotów. Dane dotyczące przedmiotu i poziomu egzaminu powinny być również przechowywane po ocenie wraz ze standardowymi informacjami dotyczącymi ustawień i powiązanymi metodami oceniania.
Przeprowadzając przegląd egzaminów zakwestionowanych w sądzie, szybko staje się oczywiste, że nie zawsze są to „najlepsze” egzaminy, które są skuteczne w przypadku odwołania prawnego. Egzaminy, które są odporne na wyzwania prawne, to zazwyczaj egzaminy zgodne ze znormalizowanymi, akceptowanymi w branży praktykami opracowywania testów i dokumentujące ich kroki po drodze. Bez procesu i dokumentacji nawet dobrze sprawdzające się egzaminy mogą nie wywrzeć wrażenia na sądzie.
Organizacje, które opracowują testy online i administrują nimi, muszą zawsze projektować treść egzaminu i punktację, mając na uwadze potencjalnie niekorzystne scenariusze prawne. Dodanie tych najlepszych praktyk do istniejącego procesu testowania znacznie przyczyni się do zmniejszenia prawdopodobieństwa wystąpienia wyzwań prawnych i, w razie potrzeby, do rozwiązania sporu sądowego:
- Standaryzacja rozwoju elementów testowych
- Rygorystyczne procesy przeglądu i zatwierdzania produktów
- Bieżące gromadzenie danych i analiza wyników egzaminów i przedmiotów
- Dokumentacja procesów tworzenia testów i bieżącej oceny
Wiedza, którą organizacje próbują zmierzyć, jest obiektywna, a wdrażając powyższe najlepsze praktyki, organizacje mogą pomóc w zapewnieniu obiektywności również egzaminów.