Organizacje, które opracowują i dostarczają testy komputerowe, napotykają wiele takich samych wyzwań, jak te pracujące z tradycyjnymi testami papierowymi i ołówkowymi, w tym kwestie dotyczące bezpieczeństwa, edycji psychometrycznej i prawnej ochrony. Pojawiają się także nowe problemy z testowaniem komputerowym (CBT), zwłaszcza że testy są szerzej administrowane przez Internet. Problemy te obejmują zwiększone ryzyko oszukiwania kandydatów i prześwietlenia przedmiotów.
Aby sprostać bieżącym wyzwaniom związanym z testowaniem w ogólności, a także niektórym nowym zagadnieniom związanym z CBT, organizacje muszą przestrzegać standardowych procesów opracowywania przedmiotów testowych i edycji psychometrycznej. Na przykład używanie wielu pisarzy elementów do tworzenia treści testowych jest powszechną praktyką, ale może prowadzić do różnic w stylu, formacie i trudności elementu testowego. Przewodnik po stylach z szablonami oraz standardami i regułami rozwoju przedmiotów może znacznie poprawić spójność, format i różnorodność przedmiotów. Ponadto szkolenie w zakresie opracowywania treści może zapewnić pisarzom narzędzia do opracowywania wiarygodnych, możliwych do obrony przedmiotów i szablonów przedmiotów, które można wykorzystać do tworzenia różnych odmian tego samego pytania, zwiększając w ten sposób wielkość banku przedmiotów w krótszym czasie.
Ocena statystyczna elementów testowych w terenie pozwala organizacjom uzyskać informacje zwrotne na temat wydajności poszczególnych elementów i poziomów poznawczych. Ta inteligencja pozwala na weryfikację procesów opracowywania przedmiotów i przekazywanie informacji zwrotnych konkretnym twórcom przedmiotów testowych - pomagając określić, co jest skuteczne i jak wypadają przedmioty w terenie. Umożliwia to również organizacji podejmowanie decyzji dotyczących przechowywania, modyfikacji i przypisywania przedmiotów.
Każda organizacja opracowująca lub przeprowadzająca testy powinna być świadoma procesu edycji psychometrycznej - takiego, który obejmuje ocenę poziomów trudności przedmiotów i bierze pod uwagę gramatykę, wrażliwość i styl. Psychometria zapewnia również przegląd formy i funkcji elementu testowego, takich jak opcje równoległe, wystarczające informacje, aby odpowiedzieć na pytanie i długość odpowiedzi.
Ze względu na znaczenie obiektywności, edycję psychometryczną najlepiej wykonują profesjonaliści zajmujący się opracowywaniem testów, a nie eksperci przedmiotowi ani autorzy przedmiotów. Osoby przeszkolone w zakresie złożoności edycji psychometrycznej oceniają przedmioty w innym, krytycznym świetle niż eksperci przedmiotowi lub autorzy przedmiotów. Ważne jest jednak, aby mieć również przegląd i zatwierdzenie ostatecznego, edytowanego elementu przez ekspertów merytorycznych w odpowiedniej dziedzinie.
Produkty opracowane dla CBT i PPT muszą być prawnie uzasadnione, aby zapewnić ochronę w przypadku odwołania prawnego. Aby zapewnić ochronę prawną, organizacje muszą wdrożyć standardowy proces opracowywania przedmiotów i przeglądu psychometrycznego, jak omówiono powyżej.
Ocena zdolności do obrony prawnej obejmuje krytyczną ocenę egzaminu zarówno z perspektywy merytorycznej, jak i psychometrycznej, aby upewnić się, że egzamin został opracowany zgodnie ze standardem testów edukacyjnych i psychologicznych . Sądy stosują się do standardów przy ocenie wiarygodności danego egzaminu. Uzasadnienia prawnego można dokonać za pomocą kilku metod. Najważniejszym aspektem procesu opracowywania jest przestrzeganie i dokumentowanie znormalizowanych metodologii oraz włączenie w ten proces odpowiedniego personelu opracowującego testy. Proces tworzenia testu składa się z wielu różnych kroków i różnych metodologii, które można zastosować na każdym etapie. Na przykład przy określaniu wyniku dla egzaminu można zastosować takie procesy, jak Zmodyfikowana Angoff lub Metoda Zakładki, aby określić odpowiedni standard dla zaliczenia. Każda z metod wykorzystuje inną technikę, aby określić poprzeczkę, którą kandydat musi osiągnąć, aby otrzymać status pozytywny.
Aby zmniejszyć ryzyko prześwietlenia pozycji, firmy testujące opracowują duże banki pozycji testowych, z których zawartość testowa jest rutynowo odświeżana. Podejmując inicjatywę od dużych programistów i administratorów testów, organizacje zarządzające testami komputerowymi będą chciały rozważyć użycie rozszerzonych banków elementów i zaplanowane odświeżanie elementów testu, aby upewnić się, że kandydaci nie zobaczą tych samych elementów lub projektów, ogólnie zmniejszając prawdopodobieństwo udostępnienia kandydatów Informacja.
W wielu programach testowych o wysokich stawkach administratorzy testów zbierają i analizują dane kryminalistyczne, aby zmierzyć, jak często testowani są narażeni na poszczególne elementy testowe, średni czas spędzany przez kandydatów na przedmiotach oraz zmiany reakcji kandydatów na przedmioty w czasie i ekspozycji. Zapewnia to ciągłe dostosowywanie procesu opracowywania i treści produktu w celu zapewnienia wiarygodności, legalności i bezpieczeństwa.
Istnieją również różne metodologie, które można wdrożyć analizując wyniki kandydatów po egzaminie. Jednym z tych rodzajów analiz jest analiza elementów różnicowych, która ocenia wydajność grupy na elementach testowych (grupy mogą być zdefiniowane według płci, pochodzenia etnicznego lub innych czynników). Elementy, które działają znacznie różnie w różnych grupach kandydatów, są następnie ponownie oceniane w celu ustalenia przyszłego wykorzystania.
Mnóstwo czynników, które należy wziąć pod uwagę przy opracowywaniu treści do testów komputerowych, nadaje wiarygodności i rzetelności samemu egzaminowi. Organizacje zdolne do przemyślanego zaprojektowania i wdrożenia swoich programów testowych proaktywnie radzą sobie lepiej niż organizacje, które w pośpiechu migrują do testów komputerowych. Proaktywne podejście uwzględniające zasoby związane z opracowywaniem i edycją przedmiotów, a także parametry bezpieczeństwa i IT lepiej służy organizacji na dłuższą metę, ponieważ zwiększa ważność testu, uczciwość kandydatów i zapewnia wyższy poziom ochrony przed wyzwaniami prawnymi.