Prometric ma duże doświadczenie w przenoszeniu programów z dostarczania papierowego na dostarczanie komputerowe. W dziale rozwoju testów pracują psychometrycy, którzy bezpośrednio uczestniczyli w badaniach i stosowaniu metodologii, aby zapewnić minimalny wpływ na wyniki kandydata podczas takiego przejścia.
Badania
Ponieważ testy komputerowe (CBT) stały się niezwykle płodne w ciągu ostatnich 10-15 lat, liczba badań branżowych dotyczących porównywalności egzaminów papierowych i komputerowych znacznie wzrosła. Jak można się spodziewać, wyniki badań, które były powszechne przy początkowym wprowadzeniu komputerów do populacji testowej, nie są już istotne dla populacji kandydujących wchodzących dziś do środowiska testowego. W miarę ewolucji populacji kandydatów pod względem ich ekspozycji, dostępu i znajomości komputerów, efekty wprowadzenia egzaminów komputerowych znacznie się zmniejszyły. Było to prawdą w wielu segmentach kandydujących, ponieważ dostępność komputerów wzrosła wykładniczo we wszystkich podgrupach populacji.
Podsumowując wyniki wielu badań z ostatnich 5–10 lat (ostatnie przeprowadzono w 1997 r.), Główne punkty zidentyfikowano w obszarze badań następująco:
- Wielkości wpływu na wyniki egzaminów w przypadku testów papierowych w porównaniu z komputerowymi są na ogół nieistotne statystycznie (p> 0,05), co sugeruje brak istotnej różnicy między dwiema metodologiami testowania.
- Analiza różnicowej funkcjonalności elementu (DIF) dla poszczególnych elementów dostarczanych w wersji papierowej w porównaniu z komputerową zwykle wskazuje, że gdy typy elementów sprzyjają obu metodologiom dostawy, wydajność w przypadku obu kanałów dostawy jest porównywalna.
- Przejrzysta komunikacja z pulą kandydatów na temat komputerowego przeprowadzania egzaminów może dodatkowo zmniejszyć prawdopodobieństwo, że tryb dostarczania wpłynie na wyniki ostatecznego kandydata.
- Przygotowanie i praktyka w symulowanym środowisku testowym (poprzez egzamin praktyczny i / lub samouczek przed testowaniem na żywo) może zmniejszyć lęk przed wydajnością kandydata i dodatkowo przyczynić się do sprawiedliwego wyniku testu.
Oprócz badań teoretycznych dostępnych w branży testowej, Prometric ma również praktyczne doświadczenie w ocenie i porównaniu wydajności kandydatów w wielu kanałach dostarczania. Z powodzeniem przeprowadziliśmy migrację dużej liczby klientów z jednego trybu dostawy do drugiego i konsekwentnie oceniamy wydajność kandydatów, aby zapewnić wszystkim kandydatom uczciwą okazję do zaprezentowania swojej wiedzy (niezależnie od używanego kanału). Ponadto Prometric ma wielu klientów korzystających z modelu podwójnego dostarczania (zarówno w wersji papierowej, jak i komputerowej), co pozwala również na ciągłe monitorowanie porównywalności wyników egzaminu i wydajności poszczególnych elementów w wielu środowiskach testowych. Odkrycia Prometric konsekwentnie odzwierciedlają wyniki odnotowane powyżej w ogólnej społeczności testerów, a my byliśmy w stanie opracować i rozwinąć podejścia zapewniające pożądany wynik.
Ćwiczyć
Podczas migracji programów egzaminacyjnych należy wziąć pod uwagę kilka kroków. Chociaż istnieje wiele indywidualnych zadań, główne działania obejmują:
- Ocena obecnego banku przedmiotów Ocena bieżącego banku przedmiotów w formie papierowej jest zazwyczaj przeprowadzana na początku projektu, aby zapewnić możliwość zastosowania w środowisku komputerowym i zebrać podstawowe statystyki do przyszłej oceny.
- Modyfikacja prezentacji przedmiotu W razie potrzeby Prometric wydaje zalecenia dotyczące modyfikacji poszczególnych przedmiotów w celu zwiększenia prawdopodobieństwa równej wydajności na ogólnym egzaminie w środowisku komputerowym.
- Przygotuj wysiłki komunikacyjne dla kandydatów. Firma Preometric współpracuje z klientami, aby zapewnić wprowadzenie odpowiedniej kampanii komunikacyjnej dla populacji kandydatów przed wprowadzeniem nowego modelu dostawy.
- Przygotuj przykładowe egzaminy i / lub samouczki Prometric przygotowuje egzaminy praktyczne i / lub samouczki, które są dostarczane kandydatowi przed egzaminem na żywo w celu zwiększenia poziomu komfortu populacji kandydatów dzięki modelowi dostarczania testów.
- Analiza egzaminu i przedmiotu Na podstawie danych podstawowych zebranych w kroku 2 Prometric oceni wyniki egzaminu i przedmiotu na poziomie, aby zapewnić porównywalność wyników kandydata.
- Ciągłe monitorowanie i konserwacja Ocena modelu dostawy nie kończy się po wstępnym potwierdzeniu porównywalności. Psychometrycy protometryczni będą stale monitorować wyniki przedmiotów USPS i egzaminów, aby upewnić się, że osiągają one akceptowalne parametry statystyczne i prognozować przyszłe potrzeby rozwoju testów.
Prometric wykorzystuje powyższe metodologie w naszych procesach opracowywania i dostarczania testów, aby zapewnić uczciwy, ważny i prawnie uzasadniony proces dla wszystkich kandydatów. Nasze doświadczenie w pomyślnym wdrażaniu egzaminów komputerowych jest uzupełnione przez nasze sprawdzone procesy zapewniania jakości produktu i wydajności przez cały cykl życia egzaminów.