»Veljavnost se nanaša na stopnjo, do katere dokazi in teorija podpirajo interpretacije rezultatov testov za predlagano uporabo testov. Veljavnost je torej najbolj temeljni dejavnik pri razvoju testov in ocenjevanju testov." ( Standardi za izobraževalno in psihološko testiranje , str. 11)
Odkar se je pandemija začela in je industrija testiranja doživela velik pretres, se je veliko razprav in raziskav osredotočilo na veljavnost testiranja na daljavo v primerjavi z običajnim testiranjem, vendar smo slišali manj o veljavnosti procesov razvoja testov na daljavo. v primerjavi s procesi razvoja osebnih testov. Če ste večino sestankov za razvoj testov vodili osebno, vendar ste prešli na virtualno, ali ste naredili korak nazaj, da bi razmislili o veljavnosti svojih procesov in o tem, ali z virtualnim izvajanjem še vedno dobivate enak rezultat?
V svetu razvoja testov je standardna nastavitev ena najpomembnejših komponent. Postopek standardne nastavitve določa, kaj je prehodna ocena in kaj pomeni, da je nekdo opravil izpit. Standardna nastavitev je neposredno povezana z veljavnostjo, ki določa, ali imamo dokaze za podporo z uporabo rezultatov testov za sprejemanje odločitev.
Med dejavnostmi razvoja testov je nastavitev standardov edinstven izziv za omogočanje na daljavo zaradi naslednjih razlogov:
Varnostni pomisleki : Strokovnjaki za predmetne zadeve (MSP) imajo popoln dostop do vsebine izpitov.
Kompleksnost : proces je lahko težko razložiti in prebaviti.
Zavzetost na visoki ravni : Nastavitev standardov kakovosti zahteva najvišjo raven sodelovanja MSP. Delna ali pasivna udeležba bo omogočila spregledanje in nepregledanje pomembnih postopkov in premislekov.
Ni enostavno revidirati : Ko je zaključen, je standardni nabor za test zelo težko in dolgočasno spremeniti. Ugotovljeni znižani rezultati zahtevajo ogromno truda za posodabljanje, in ko se izvedejo, lahko kakršne koli spremembe znižanja rezultatov negativno vplivajo na kandidate.
Spodnje študije primerov ponazarjajo tri uspešne modele za virtualno nastavitev standardov, od katerih vsak vključuje edinstvene izzive in rešitve.
ŠTUDIJA PRIMERA #1 : Ameriški odbor za certifikacijo v ortotiki, protetiki in pedortiki (ABC)
- Posebni izzivi za izpitne programe majhnega obsega
ŠTUDIJA PRIMERA #2 : Komisija za certificiranje zdravstvenih tolmačev (CCHI)
- Posebne metode za izpit iz španskega jezika CHI™
ŠTUDIJA PRIMERA #3 : Nacionalni-meddržavni svet državnih odborov za kozmetologijo (NIC)
- Specifični procesi in izzivi delno oddaljenih standardov za praktične izpite
Za kontekst je 8 ključnih korakov v tipičnem postopku modificirane standardne nastavitve Angoffa:
- Zaposlovanje v MSP
- Usposabljanje
- Razprava o minimalno kvalificiranem ali mejnem kandidatu
- Ocene vadbe
- Ocene Angoffa: 1. krog
- Skupinska razprava o označenih predmetih
- Ocene Angoffa: 2. krog
- Končni priporočeni rezultat rezanja
ŠTUDIJA PRIMERA #1: Ameriški odbor za certifikacijo v ortotiki, protetiki in pedortiki (ABC)
ABC ima več majhnih izpitnih programov iz ortotike, protetike in sorodnih disciplin. Certifikati lahko opravljajo tehnična dela, imajo različne stopnje izobrazbe, nekateri pa celo delajo v maloprodajnih okoljih.
Standardna nastavitev na daljavo je zagotovila številne prednosti za programe ABC:
- MSP ni treba potovati
- Prihrani pri stroških in usklajevanju
- Sposobnost izkoriščanja veliko širšega kroga MSP
- Sposobnost zamenjave MSP z malo obvestila
Remote Standard Setting je ABC predstavil tudi edinstvene izzive:
- Seje je treba razdeliti na več dni/krat
- Ohranjanje vključenosti MSP je bolj zahtevno
- Tehnologija, potrebna za sodelovanje, lahko predstavlja izzive
- MSP, ki delajo v maloprodajnih ali kliničnih okoljih, se morda ne bodo mogla zavezati k klicem med delovnim časom
- MSP morda nimajo dostopa do zasebnega prostora za klice
ABC priporoča obravnavanje zgornjih izzivov za sodelovanje tako, da ste bolj proaktivni pri načrtovanju vnaprej, ustvarite urnik, ki je prilagojen MSP in je lahko izven običajnega delovnega časa, ter ohranite zavzetost skozi ves proces. Razmislite o sestanku »tehnološke predigre«, da preizkusite povezave in odpravite težave, da boste pridobili zaupanje v srečanje in virtualno sodelovanje. Vnaprej jasno razložite zahtevano zavezo potencialnim MSP, vključno s potrebo po tem, da so v zasebnem prostoru.
Osebni sestanki za določanje standardov po zasnovi omogočajo osredotočeno pozornost MSP, zato je najzahtevnejša prisotna srečanja za določanje standardov na daljavo omogočanje enake ravni angažiranosti in komunikacije, kot jo imajo učinkovita osebna srečanja za določanje standardov.
ŠTUDIJA PRIMERA #2: Komisija za certificiranje zdravstvenih tolmačev (CCHI)
CCHI-jev španski izpit zahteva posebne metode za obravnavanje posebnosti izpita, kot so dvojezična (špansko-angleška) komponenta izvedbe, format zvočnega snemanja in dejstvo, da je ocenjen s strani ljudi. Ti pogoji so ustvarili izzive za CCHI v procesu določanja standardov na daljavo, zlasti pri zaposlovanju in usposabljanju za MSP.
Edinstveni izzivi pri zaposlovanju in usposabljanju za MSP:
- Varnostna vprašanja zahtevajo poseben poudarek na osebni in poklicni integriteti MSP
- Pismenost MSP na spletnih platformah in interakcija z zvokom
- Zahtevana znatna hitrost širokopasovne povezave
- Dostava zvočnega izpita na spletu MSP (dodatna testna konfiguracija; težave z IT)
- Skupinske interakcije so nekoliko oslabljene (v primerjavi z osebnimi), saj ni dostopa do drugih MSP izven načrtovanih sestankov
Dvojezični izpiti in izpiti, ki zahtevajo podobno obliko, zahtevajo nestandarden postopek tako za oddaljene kot za osebne načine. Pri oddaljenem načinu je potreben orientacijski sestanek, da se določijo jasna pričakovanja in obravnavajo procesni in tehnološki vidiki projekta. Več kot verjetno bo potrebno dodatno usposabljanje o procesu ocenjevanja ljudi, lestvicah in konvencijah ocenjevanja. V tem primeru je bila metoda Extended Modified Angoff, dopolnjena z metodo relativnega absolutnega kompromisa Beuk, najučinkovitejši pristop za določanje rezalnih rezultatov.
ŠTUDIJA PRIMERA #3: Nacionalni-meddržavni svet državnih odborov za kozmetologijo (NIC)
Protokol za nastavitev standardov na daljavo, ki se uporablja za praktični izpit NIC, je primer specifičnih procesov in izzivov delno oddaljene nastavitve standardov za praktične izpite. Praktični izpit NIC je osebni izpit o uspešnosti, ki se uporablja za kozmetologijo in sorodna področja. Uporablja se v več državah po ZDA in se običajno uporablja v pisarnah upravnega odbora ali hotelskih konferenčnih/balalnih dvoranah. Izpit je sestavljen iz več časovno določenih odsekov, kandidati pa so odgovorni, da prinesejo svoje zaloge. Zahtevani so proktor in ocenjevalci, v standardni postopek nastavitve pa je vključen tudi lažni pregled kandidata.
Standardni postopek nastavitve za te izpite se je zaradi pandemije spremenil v hibridni model osebno/na daljavo, spremljali pa so ga številni novi izzivi. Pred pandemijo so bile vse dejavnosti razvoja testov opravljene osebno in praktična nastavitev standardov je bila edina dejavnost razvoja testov, za katero je NIC določil, da zahteva osebno prisotnost za lažni kandidat. Pojavilo se je nekaj vprašanj, ali bi bilo izvajanje izpita prek spletnega seminarja v realnem času ali vnaprej posnetega izpita tako učinkovito, kot bi si ga MSP ogledala osebno. Na koncu se je NIC odločil poiskati novo lokacijo za srečanje MSP in omogočiti, da se moderator pridruži prek spletnega seminarja.
Hibridni postopek določanja standardov na daljavo/osebno je vključeval predhodno usposabljanje za MSP ter pregled kritičnih standardov in ciljnega kandidata. Postavljena je bila soba, ki posnema izpitno nastavitev, in vloge (kot so proktor, izpraševalci in časomerilec) so bile dodeljene za lažni pregled kandidata. MSP so izvedli in opazovali, ocenili in nato razpravljali o lažnem pregledu kandidata. Sledila je seja vprašanj in odgovorov z lažnim kandidatom. Ocene Angoff so zagotovila MSP in lažni kandidat, preden so končali s skupinsko razpravo in prilagoditvami, nato pa je bila določena končna ocena zmanjšanja. Tudi z navideznim prilagajanjem zahtevanih dejavnosti razvoja testov je bilo v postopku oddaljene nastavitve standardov več izzivov.
Izzivi za oddaljeno standardno nastavitev
- Omejen dostop do objektov vnaprej
- Tehnologija in/ali avdiovizualna oprema morda ne poznajo
- Tiskanje posodobljenih materialov je bolj zamudno in morda drago
- Sposobnost moderatorja za zagotavljanje informacij z znanjem je omejena
- Ovire za sodelovanje MSP
- Varna distribucija in nadzor dokumentov
- Nekatera mala in srednja podjetja se trenutno udeležujejo osebno
- Dodatne odgovornosti so na strani Predstavnika stranke
Navidezna standardna nastavitev je lahko orodje za varčevanje s programom, če se pravilno izvaja, s skrbnim upoštevanjem razlik med osebnimi in virtualnimi procesi.
Ključni premisleki v postopku oddaljene nastavitve standardov :
- Zaposlovanje MSP: temeljito preverite MSP, da zagotovite, da jim lahko zaupate dostop do testne vsebine od doma, in zaposlite več MSP, kot je potrebno v primeru izčrpanosti v zadnjem trenutku.
- Komunikacija in upravljanje sodelovanja MSP pred dogodkom: Jasno opišite raven zavezanosti, tako da MSP ne bodo presenečena nad tem, koliko časa in truda je vloženega v standardno nastavitev.
- Sodelovanje MSP med dogodkom: Razmislite, kako lahko optimizirate sodelovanje na vseh točkah procesa, na primer zahtevate ali močno spodbujate uporabo kamere za odraz osebne udeležbe.
- Tehnologija: Vnaprej jasno opišite zahteve in razmislite o srečanju »tehnološke pred tekmo«, da zagotovite polno udeležbo vseh. Zagotovite, da so uporaba tehnologije, ki jo vodijo posredniki, in prehodi brezhibni, tako da ne izgubljate časa.
- Varnost: Upoštevajte, da je pri oddaljenih standardnih nastavitvah prisotna povečana raven tveganja. Zagotovite, da MSP podpišejo NDA in razumejo svojo odgovornost, ter jih med postopkom zaposlovanja temeljito pregledate.
- Ustvarjalne rešitve za edinstvene situacije/izpite: Vsak izpit je edinstven, vendar je mogoče prilagoditi način nastavitve virtualnega standarda vsaki situaciji – tudi če je za praktični izpit potreben hibridni model!
In na koncu najpomembnejši premislek:
Veljavnost: Ali boste v virtualnem modelu dobili enako raven veljavnosti procesa standardne nastavitve? Ali boste dobili enak izdelek (tj. enak rezultat zmanjšanja), kot bi ga, če bi standardno nastavitev izvedli osebno?