„Az érvényesség arra utal, hogy a bizonyítékok és az elmélet milyen mértékben támasztja alá a teszteredmények értelmezését a tesztek javasolt felhasználására vonatkozóan. Ezért az érvényesség a legalapvetőbb szempont a tesztek kidolgozásakor és a tesztek értékelése során.” ( Az oktatási és pszichológiai tesztelés szabványai , 11. o.)
A világjárvány kezdete és a tesztelési iparág jelentős megrázkódtatása óta sok vita és kutatás a távolról előállított tesztelés és a hagyományos tesztelés érvényessége körül összpontosul, de kevesebbet hallottunk a távoli tesztfejlesztési folyamatok érvényességéről. szemben a személyes tesztfejlesztési folyamatokkal. Ha korábban a legtöbb tesztfejlesztési értekezletet személyesen vezette, de áttért a virtuálisra, tett-e egy lépést hátra, hogy mérlegelje folyamatai érvényességét, és azt, hogy továbbra is ugyanazt az eredményt kapja-e a virtuális végrehajtással?
A tesztfejlesztés világában a Standard Setting az egyik legfontosabb összetevő. A Standard Setting folyamat meghatározza, hogy mi az átmenő pontszám, és mit jelent, ha valaki sikeres vizsgát tett. A szabványos beállítás közvetlenül kapcsolódik az érvényességhez, amely meghatározza, hogy van-e bizonyítékunk a tesztpontszámok döntéshozatalához.
A tesztfejlesztési tevékenységek közül a szabványos beállítást a következő megfontolások miatt egyedülállóan nehéz távolról megvalósítani:
Biztonsági aggályok : A tantárgyak szakértői (kkv-k) teljes hozzáféréssel rendelkeznek a vizsga tartalmához.
Bonyolultság : A folyamatot nehéz megmagyarázni és megemészteni.
Magas szintű elkötelezettség : A minőségi szabványok meghatározása a kkv-k legmagasabb szintű elkötelezettségét igényli. A részleges vagy passzív részvétel lehetővé teszi a fontos eljárások és szempontok figyelmen kívül hagyását és megvizsgálását.
Nem könnyen felülvizsgálható : Ha elkészült, a teszt szabványát nagyon nehéz és fárasztó megváltoztatni. A megállapított vágási pontszámok frissítése hatalmas erőfeszítést igényel, és a beadás után a csökkentett pontszámok bármilyen módosítása hátrányosan érintheti a jelölteket.
Az alábbi esettanulmányok a virtuális standard beállítás három sikeres modelljét mutatják be, amelyek mindegyike egyedi kihívásokat és megoldásokat tartalmaz.
1. ESETTANULMÁNY : Orthotics, Prosthetics és Pedorthics Amerikai Tanúsító Testület (ABC)
- Kis volumenű vizsgaprogramok speciális kihívásai
2. ESETTANULMÁNY : Egészségügyi tolmácsok minősítő bizottsága (CCHI)
- Speciális módszerek a CHI ™ -spanyol nyelvvizsgához
3. ESETTANULMÁNY : Állami Kozmetológiai Testületek Államközi Tanácsa (NIC)
- A gyakorlati vizsgák félig távoli standard beállításának sajátos folyamatai és kihívásai
- KKV-k toborzása
- Kiképzés
- A minimálisan képzett vagy határesetben lévő jelölt megbeszélése
- Gyakorlati értékelések
- Angoff értékelések: 1. kör
- A megjelölt elemek csoportos megbeszélése
- Angoff értékelések: 2. kör
- Végső ajánlott vágási pontszám
1. ESETTANULMÁNY: Orthotics, Prosthetics és Pedorthics Amerikai Tanúsító Testület (ABC)
Az ABC-nek több kis volumenű vizsgaprogramja van ortopédiai, protetikai és kapcsolódó szakterületeken. A tanúsítók műszaki munkákat végezhetnek, eltérő iskolai végzettséggel rendelkeznek, és néhányan kiskereskedelmi jellegű környezetben is dolgozhatnak.
A távoli szabványos beállítás számos előnnyel járt az ABC programjai számára:
- A kkv-knak nem kell utazniuk
- Költségeket és koordinációs erőfeszítést takarít meg
- Lehetőség a kkv-k sokkal szélesebb körének megérintésére
- Lehetőség a kkv-k leváltására rövid értesítéssel
A Remote Standard Setting az ABC-t is egyedi kihívások elé állította:
- Az üléseket több napra/időre kell felosztani
- A kkv-k elkötelezettségének fenntartása nagyobb kihívást jelent
- A részvételhez szükséges technológia kihívásokat jelenthet
- Előfordulhat, hogy a kiskereskedelmi vagy klinikai környezetben dolgozó kkv-k munkaidőben nem tudnak hívást vállalni
- Előfordulhat, hogy a kkv-k nem férnek hozzá a privát térhez, hogy telefonálhassanak
Az ABC azt javasolja, hogy kezelje a fenti kihívásokat az elköteleződéssel kapcsolatban azáltal, hogy proaktívabb legyen az előre tervezésben, olyan ütemezést készítsen, amely a kkv-kra szabott, és a szokásos munkaidőn kívül eshet, és az elkötelezettség fenntartása a folyamat során. Fontolja meg a „technológiai előjáték” megbeszélést a kapcsolatok tesztelése és a hibaelhárítás érdekében, hogy magabiztosabbá váljon a virtuális találkozás és együttműködés. Világosan magyarázza el előre a szükséges kötelezettségvállalást a potenciális kkv-knak, beleértve azt is, hogy magánterületen kell lenniük.
A személyes szabványalkotási értekezletek tervezésénél fogva lehetővé teszik a KKV-k összpontosított figyelmét, így a jelen lévő legnagyobb kihívást jelentő távoli szabványalkotási értekezletek a hatékony, személyes szabványalkotási értekezletek során tapasztalt azonos szintű elkötelezettség és kommunikáció elősegítése.
2. ESETTANULMÁNY: Egészségügyi Tolmácsok Tanúsítási Bizottsága (CCHI)
A CCHI spanyol nyelvvizsgája speciális módszereket igényel a vizsga sajátosságainak kezelésére, mint például a kétnyelvű (spanyol-angol) teljesítménykomponens, a hangfelvétel formátuma és az ember által minősített tény. Ezek a feltételek kihívásokat jelentettek a CCHI számára a távoli szabványalkotási folyamatban, különösen a kkv-k toborzásában és képzésében.
Egyedülálló kihívások a kkv-k toborzásában és képzésében:
- A biztonsági aggályok különös hangsúlyt igényelnek a kkv-k személyes és szakmai feddhetetlenségére
- A kkv-k műveltsége az online platformokon és a hanggal való interakcióban
- Jelentős sebességű szélessávú kapcsolat szükséges
- Audiovizsga online kézbesítése kkv-k számára (extra tesztkonfiguráció; informatikai problémák)
- A csoportos interakciók némileg gyengültek (a személyeshez képest), mivel a tervezett találkozókon kívül nincs hozzáférés más kkv-khoz
A kétnyelvű vizsgák és a hasonló formátumot igénylő vizsgák nem szabványos folyamatot igényelnek mind a távoli, mind a személyes eljárások esetében. A távoli módban orientációs értekezletre van szükség, hogy egyértelmű elvárásokat fogalmazzunk meg, és foglalkozzanak a projekt folyamati és technológiai vonatkozásaival. Több mint valószínű, hogy további képzésekre lesz szükség az emberi minősítési folyamattal, a skálákkal és a minősítési konvenciókkal kapcsolatban. Ebben az esetben az Extended Modified Angoff módszer, kiegészítve a Beuk Relative-Absolute Compromise módszerrel, volt a leghatékonyabb módszer a vágási pontszámok meghatározására.
3. ESETTANULMÁNY: Állami Kozmetológiai Testületek Államközi Tanácsa (NIC)
A NIC gyakorlati vizsgához használt távoli szabványbeállítási protokoll egy példa a gyakorlati vizsgák félig távoli szabványosításának sajátos folyamataira és kihívásaira. A NIC gyakorlati vizsga egy személyes teljesítményvizsga, amelyet a kozmetológia és a kapcsolódó területeken használnak. Az Egyesült Államok több államában használják, és általában igazgatósági irodákban vagy szállodai konferencia-/báltermekben alkalmazzák. A vizsga több időzített szakaszból áll, és a vizsgázók kötelesek magukkal hozni kellékeiket. Egy ellenőrre és értékelőkre van szükség, és a hamis jelölt átfutása is beletartozik a standard beállítási folyamatba.
E vizsgák standard beállítási folyamata a járvány miatt hibrid személyes/távoli modellre változott, és számos új kihívás kísérte. A világjárvány előtt minden tesztfejlesztési tevékenységet személyesen végeztek, és a gyakorlati szabványosítás volt az egyetlen olyan tesztfejlesztési tevékenység, amelyet a NIC határozott meg, amely személyes jelenlétet igényelt a jelölt átfutásához. Felmerült néhány kérdés, hogy a vizsga átfutása webináriumon valós időben vagy egy előre rögzített átfutás lenne-e olyan hatékony, mint a kkv-k személyesen. Végül a NIC úgy döntött, hogy új helyszínt keres a kkv-k számára, hogy találkozzanak, és egy webináriumon keresztül csatlakozzon egy facilitátorhoz.
A hibrid távoli/személyes szabványállítási folyamat egy előzetes KKV-képzést, valamint a kritikus szabványok és a céljelölt áttekintését foglalta magában. A vizsgakörülményeket imitáló helyiséget alakítottak ki, és szerepeket (például ügyintézőt, vizsgáztatót és időmérőt) jelöltek ki a jelöltek átfutásához. Az ál-jelölt átfutást a kkv-k végrehajtották és megfigyelték, értékelték, majd megvitatták. Következett a kérdezz-felelek ülés a színlelt jelölttel. Az angoff-minősítéseket a kkv-k és az ál-jelölt biztosították, mielőtt csoportos megbeszéléssel és kiigazítással zártak, majd megállapították a végső vágási pontszámot. Még a szükséges tesztfejlesztési tevékenységek virtuális beállításával is számos kihívást jelentett a távoli szabványállítási folyamat.
Kihívások a távoli szabványos beállítással szemben
- Előzetesen korlátozott hozzáférés a létesítményekhez
- Előfordulhat, hogy a technológia és/vagy az audiovizuális berendezések ismeretlenek
- A frissített anyagok nyomtatása időigényesebb és esetleg költségesebb is
- A facilitátornak korlátozott lehetősége van hozzáértő inputot adni
- A kkv-k szerepvállalásának akadályai
- Biztonságos dokumentumelosztás és ellenőrzés
- Egyes kkv-k kisebb valószínűséggel vesznek részt személyesen ebben az időben
- További felelősségek az Ügyfél képviselőjét terhelik
A virtuális szabványbeállítás programmentő eszköz lehet, ha megfelelően hajtják végre, gondosan mérlegelve a személyes és a virtuális folyamatok közötti különbségeket.
Főbb szempontok a távoli szabványos beállítási folyamat során :
- KKV-k toborzása: Alaposan szűrje át a kkv-kat, hogy megbizonyosodjon arról, hogy otthonról hozzáférhet a teszttartalomhoz, és az utolsó pillanatban történő lemorzsolódás esetén a szükségesnél több kkv-t toborozzon.
- Kommunikáció és a kkv-k bevonásának menedzselése az esemény előtt : Világosan vázolja fel az elkötelezettség szintjét, hogy a kkv-k ne lepődjenek meg azon, mennyi időt és erőfeszítést igényel egy szabványos beállítás.
- KKV-k bevonása az esemény során : Fontolja meg, hogyan optimalizálhatja a részvételt a folyamat minden pontján, például megköveteli vagy határozottan bátorítja a kamera használatát a személyes elkötelezettség tükrözésére.
- Technológia: Világosan körvonalazza előre a követelményeket, és fontolja meg a „technológiai játék előtti” találkozót, hogy biztosítsa mindenki teljes részvételét. Gondoskodjon arról, hogy a facilitátor által vezérelt technológiahasználat és átmenetek zökkenőmentesek legyenek, hogy ne veszítsen időt.
- Biztonság: Vegye figyelembe, hogy a távoli szabványos beállítás megnövekedett kockázattal jár. Gondoskodjon arról, hogy a kkv-k aláírják az NDA-kat és megértsék felelősségüket, és alaposan átvizsgálják azokat a toborzási folyamat során.
- Kreatív megoldások egyedi helyzetekre/vizsgákra: Minden vizsga egyedi, de a virtuális standard beállítási módot minden helyzethez lehet igazítani – még akkor is, ha egy gyakorlati vizsgához hibrid modellre van szükség!
És végül a legfontosabb szempont:
Érvényesség: Ugyanolyan szintű standard beállítási folyamat érvényességet kap egy virtuális modellben? Ugyanazt a terméket kapja (azaz ugyanazt a vágási pontszámot), mint ha személyesen végezné el a standard beállítást?