„Ważność odnosi się do stopnia, w jakim dowody i teoria wspierają interpretację wyników testów dla proponowanych zastosowań testów. Trafność jest zatem najbardziej fundamentalną kwestią przy opracowywaniu testów i ich ocenie”. ( Standardy testów edukacyjnych i psychologicznych , s. 11)
Odkąd pandemia się rozpoczęła, a branża testująca doświadczyła poważnych wstrząsów, wiele dyskusji i badań koncentrowało się wokół ważności zdalnie nadzorowanych testów w porównaniu z testami stacjonarnymi, ale mniej słyszeliśmy o ważności procesów opracowywania testów zdalnych w porównaniu z procesami opracowywania testów osobistych. Jeśli prowadziłeś większość spotkań poświęconych rozwojowi testów osobiście, ale przestawiłeś się na wirtualne, czy zrobiłeś krok wstecz, aby rozważyć poprawność swoich procesów i czy nadal uzyskujesz ten sam wynik, wykonując je wirtualnie?
W świecie tworzenia testów ustawienie standardowe jest jednym z najważniejszych elementów. Proces ustalania standardów określa, czym jest zdany wynik i co oznacza, że ktoś zdał egzamin. Ustawienie standardowe łączy się bezpośrednio z trafnością, która określa, czy mamy dowody na poparcie stosowania wyników testów do podejmowania decyzji.
Wśród czynności związanych z opracowywaniem testów, Ustawienie Standardu jest wyjątkowym wyzwaniem do zdalnego ułatwienia ze względu na następujące względy:
Obawy dotyczące bezpieczeństwa : Eksperci w danej dziedzinie (MŚP) mają pełny dostęp do treści egzaminów.
Złożoność : proces może być trudny do wyjaśnienia i strawienia.
Zaangażowanie na wysokim poziomie : ustalanie standardów jakości wymaga najwyższego poziomu zaangażowania MŚP. Partycypacja częściowa lub bierna pozwoli na przeoczenie i niezbadanie ważnych procedur i rozważań.
Niełatwo zrewidować : po ukończeniu standardowy zestaw do testu jest bardzo trudny i żmudny do zmiany. Ustalone wyniki cięcia wymagają ogromnego wysiłku, aby zaktualizować, a po wprowadzeniu wszelkie zmiany w wynikach cięcia mogą negatywnie wpłynąć na kandydatów.
Poniższe studia przypadków ilustrują trzy udane modele wirtualnego Standardu, z których każdy obejmuje unikalne wyzwania i rozwiązania.
STUDIUM PRZYPADKU #1 : American Board for Certification in Orthotics, Protetics and Pedorthics (ABC)
- Specjalne wyzwania dla małych programów egzaminacyjnych
STUDIUM PRZYPADKU #2 : Komisja ds. Certyfikacji Tłumaczy Opieki Zdrowotnej (CCHI)
- Specjalne metody do egzaminu CHI ™ -hiszpański
STUDIUM PRZYPADKU nr 3 : Narodowo-Międzynarodowa Rada Stanowych Izb Kosmetologicznych (NIC)
- Specyficzne procesy i wyzwania związane z półodległym ustalaniem standardów egzaminów praktycznych
Dla kontekstu, w typowym procesie Zmodyfikowanego Standardu Angoffa składa się 8 kluczowych kroków:
- Rekrutacja MŚP
- Trening
- Omówienie kandydata o minimalnych kwalifikacjach lub z pogranicza
- Oceny praktyki
- Oceny Angoffa: runda 1
- Dyskusja grupowa o oflagowanych elementach
- Oceny Angoffa: runda 2
- Ostateczny zalecany wynik cięcia
STUDIUM PRZYPADKU #1: American Board for Certification in Orthotics, Protetics and Pedorthics (ABC)
ABC ma wiele programów egzaminacyjnych na małą skalę z zakresu ortezy, protetyki i pokrewnych dyscyplin. Certyfikujący mogą pracować na stanowiskach technicznych, mieć różne poziomy wykształcenia, a niektórzy nawet pracują w placówkach handlowych.
Zdalne ustawienie standardowe zapewniło programom ABC szereg korzyści:
- MŚP nie muszą podróżować
- Oszczędza na kosztach i wysiłku koordynacyjnym
- Możliwość dotarcia do znacznie szerszego kręgu MŚP
- Możliwość zastąpienia MŚP z niewielkim wyprzedzeniem
Zdalne ustawienie standardu stawiało również ABC przed unikalnymi wyzwaniami:
- Sesje muszą być podzielone na kilka dni/czasów
- Utrzymanie zaangażowania MŚP jest trudniejsze
- Technologia potrzebna do udziału może stanowić wyzwanie
- MŚP, które pracują w placówkach handlowych lub klinicznych, mogą nie być w stanie angażować się w rozmowy w godzinach pracy
- MŚP mogą nie mieć dostępu do prywatnej przestrzeni, w której można prowadzić rozmowy
ABC zaleca sprostanie powyższym wyzwaniom w zakresie zaangażowania poprzez bardziej proaktywne planowanie z wyprzedzeniem, tworzenie harmonogramu dostosowanego do MŚP i mogącego być poza normalnymi godzinami pracy oraz utrzymywanie zaangażowania w trakcie całego procesu. Rozważ zorganizowanie spotkania „przed rozgrywką technologiczną”, aby przetestować połączenia i rozwiązać problemy, aby zbudować zaufanie do spotkań i współpracy wirtualnej. Wyraźnie wyjaśnij z wyprzedzeniem wymagane zaangażowanie na rzecz potencjalnych MŚP, w tym potrzebę ich obecności w przestrzeni prywatnej.
Z założenia, osobiste spotkania ustalające standardy pozwalają na skupienie uwagi MŚP, więc największym wyzwaniem, jakie ma miejsce na zdalnych spotkaniach ustalających standardy, jest ułatwienie takiego samego poziomu zaangażowania i komunikacji, jaki występuje podczas skutecznych, osobistych spotkań ustalających standardy.
STUDIUM PRZYPADKU #2: Komisja ds. Certyfikacji Tłumaczy Opieki Zdrowotnej (CCHI)
Egzamin z języka hiszpańskiego CCHI wymaga specjalnych metod, aby uwzględnić osobliwości egzaminu, takie jak dwujęzyczny (hiszpański-angielski) komponent wykonania, format nagrywania dźwięku i fakt, że jest oceniany przez ludzi. Warunki te stworzyły wyzwania dla CCHI w procesie zdalnego ustanawiania standardów, w szczególności w rekrutacji i szkoleniu MŚP.
Unikalne wyzwania w rekrutacji i szkoleniu MŚP:
- Kwestie bezpieczeństwa wymagają szczególnego nacisku na uczciwość osobistą i zawodową MŚP
- Umiejętność czytania i pisania MŚP na platformach internetowych i interakcji z dźwiękiem
- Wymagana znaczna prędkość połączenia szerokopasmowego
- Dostarczenie egzaminu audio online dla MŚP (dodatkowa konfiguracja testu; zagadnienia IT)
- Interakcje grupowe są nieco osłabione (w porównaniu z osobistymi), ponieważ nie ma dostępu do innych MŚP poza zaplanowanymi spotkaniami
Egzaminy dwujęzyczne i egzaminy, które wymagają podobnego formatu, wymagają niestandardowego procesu zarówno w trybie zdalnym, jak i osobistym. W trybie zdalnym potrzebne jest spotkanie orientacyjne, aby ustalić jasne oczekiwania i zająć się aspektami procesu i technologii projektu. Najprawdopodobniej zaistnieje potrzeba dodatkowego szkolenia w zakresie procesu oceniania przez ludzi, skal i konwencji oceniania. W tym przypadku metoda Extended Modified Angoff uzupełniona metodą Beuk Relative-Absolute Compromise była najskuteczniejszym podejściem do określania wyników cięcia.
STUDIUM PRZYPADKU #3: Narodowo-Międzynarodowa Rada Stanowych Izb Kosmetologicznych (NIC)
Protokół zdalnego ustawiania standardów używany do egzaminu praktycznego NIC jest przykładem specyficznych procesów i wyzwań związanych z półodległym ustawianiem standardów dla egzaminów praktycznych. Egzamin praktyczny NIC jest egzaminem osobistym używanym w kosmetologii i dziedzinach pokrewnych. Jest używany w wielu stanach USA i zwykle podawany w biurach zarządu lub hotelowych salach konferencyjnych/balowych. Egzamin składa się z wielu części czasowych, a kandydaci są odpowiedzialni za przyniesienie własnych zapasów. Wymagana jest osoba nadzorująca i oceniający, a próbny przebieg kandydata jest zawarty w standardowym procesie ustalania.
Standardowy proces ustalania dla tych egzaminów zmienił się na hybrydowy model osobisty/zdalny z powodu pandemii i towarzyszył mu szereg nowych wyzwań. Przed pandemią wszystkie działania związane z opracowywaniem testów były wykonywane osobiście, a praktyczne ustalanie standardów było jedynym działaniem związanym z opracowywaniem testów, które zostało określone przez NIC jako wymagające osobistej obecności w celu przeprowadzenia próbnego testu kandydata. Pojawiło się pytanie, czy przeprowadzenie egzaminu poprzez webinarium w czasie rzeczywistym, czy wcześniej nagranego przeglądu będzie tak samo skuteczne, jak obserwowanie go osobiście przez MŚP. Ostatecznie NIC zdecydowało się na znalezienie nowej lokalizacji dla MŚP, w której mogliby się spotkać, i aby facylitator mógł dołączyć za pośrednictwem seminarium internetowego.
Hybrydowy zdalny/osobisty proces ustanawiania standardów obejmował wstępne szkolenie MŚP, a także przegląd krytycznych standardów i docelowego kandydata. Pokój został skonfigurowany tak, aby naśladować ustawienia egzaminacyjne, a role (takie jak opiekun, egzaminator i sędzia mierzący czas) zostały przydzielone do przeprowadzenia próbnego kandydata. Przeprowadzono i obserwowano, oceniono, a następnie omówiono przez MŚP symulację kandydata. Następnie odbyła się sesja pytań i odpowiedzi z udawanym kandydatem. Oceny Angoff zostały dostarczone przez MŚP i pozornego kandydata, po czym zakończyły się dyskusją grupową i dostosowaniami, a następnie ustalono ostateczny wynik cięcia. Nawet przy wirtualnym dostosowaniu wymaganych działań związanych z tworzeniem testów, proces zdalnego ustawiania standardów napotkał kilka wyzwań.
Wyzwania dotyczące zdalnego ustawiania standardów
- Ograniczony dostęp do obiektów z wyprzedzeniem
- Technologia i/lub sprzęt audiowizualny mogą być nieznane
- Drukowanie zaktualizowanych materiałów jest bardziej czasochłonne i prawdopodobnie kosztowne
- Umiejętność moderatora w zakresie wnoszenia fachowego wkładu jest ograniczona
- Bariery w zaangażowaniu MŚP
- Bezpieczna dystrybucja i kontrola dokumentów
- Niektóre MŚP rzadziej uczestniczą w tym czasie osobiście
- Dodatkowe obowiązki spadają na Przedstawiciela Klienta
Wirtualne ustawienie standardu może być narzędziem oszczędzającym program, jeśli jest wykonywane prawidłowo, przy uważnym rozważeniu różnic między procesami osobistymi i wirtualnymi.
Kluczowe kwestie do rozważenia w procesie zdalnego ustalania standardów :
- Rekrutacja MŚP: dokładnie przeanalizuj MŚP, aby upewnić się, że możesz im zaufać, że uzyskają dostęp do treści testowych z domu i zrekrutuj więcej MŚP niż potrzeba w przypadku wyczerpania w ostatniej chwili.
- Zarządzanie komunikacją i zaangażowaniem MŚP przed wydarzeniem: Wyraźnie określ poziom zaangażowania, aby MŚP nie były zaskoczone tym, ile czasu i wysiłku wymaga ustawienie Standardowe.
- Zaangażowanie MŚP podczas wydarzenia: Zastanów się, w jaki sposób możesz zoptymalizować uczestnictwo we wszystkich punktach procesu, na przykład wymagając lub silnie zachęcając do korzystania z kamery w celu odzwierciedlenia osobistego zaangażowania.
- Technologia: Jasno określ wymagania z wyprzedzeniem i rozważ spotkanie „technologiczne przed grą”, aby zapewnić pełne uczestnictwo wszystkich. Zadbaj o to, aby korzystanie z technologii i przejścia oparte na facylitatorach przebiegały bezproblemowo, aby nie tracić czasu.
- Bezpieczeństwo: należy wziąć pod uwagę, że istnieje zwiększony poziom ryzyka nieodłącznie związany ze zdalnym ustawieniem standardowym. Upewnij się, że MŚP podpisują umowy NDA i rozumieją swoją odpowiedzialność oraz dokładnie je sprawdzają podczas procesu rekrutacji.
- Kreatywne rozwiązania dla wyjątkowych sytuacji/egzaminów: Każdy egzamin jest wyjątkowy, ale możliwe jest dostosowanie trybu wirtualnego ustalania standardów do każdej sytuacji – nawet jeśli do egzaminu praktycznego potrzebny jest model hybrydowy!
I na koniec najważniejsza uwaga:
Trafność: Czy uzyskasz ten sam poziom ważności procesu ustalania standardów w modelu wirtualnym? Czy dostaniesz ten sam produkt (tj. taką samą punktację) jak w przypadku osobistej organizacji standardu?