Hogyan építhetünk be biztonságot és rugalmasságot
Egyes ügyfelek inkább olyan vizsgákat választanak, amelyek nem rögzített űrlapok, de amelyeket automatikusan és véletlenszerűen lehet létrehozni egy elemgyűjteményből, amikor a jelölt leül a tesztre. A Prometric képes olyan bankok kifejlesztésére, amelyek többféle bank-alapú tesztet támogatnak.
Lineáris on-the-fly tesztelés (LOFT).
A LOFT az előre azonosított formák összeszerelése a tesztközpontban, közvetlenül a teszt beadása előtt vagy alatt. A LOFT (2. ábra) segítségével egyedi összehasonlítható rögzített űrlapokat állíthatunk elő minden egyes vizsgáztató számára. A LOFT akkor lehetséges, ha minden elem előzetes tesztelése és közös skálán helyezkedik el. A gyakorlati megvalósítás érdekében a LOFT-t számítógépes tesztelés (CBT) segítségével kell kezelni.
A tesztlap felépítése közvetlen hatással lesz a LOFT tesztelésére szolgáló tesztkészlet felépítésére. A legtöbb LOFT elemkészlet legalább egy-egy formanyomtatványhoz szükséges próbadarabok legalább tízszeresét tartalmazza. Az elemkészleteket statisztikai és tartalmi előírások felhasználásával összeszereljük, ugyanolyan nagy figyelmet fordítva a részletekre, mintha egyetlen tesztet szereltek volna össze (Ariel, van der Linden és Veldkamp, 2006). Az egyes elemkészletek egy cikk-áfából állnak, amelyben sok kipróbált elem található, tételek statisztikájával és tartalom-specifikációival (Way, 1998), valamint mutatókkal a tartalom továbblépésére és átfedésére. A cikktartályok képezik az alapot a CBT architektúrákhoz szükséges elemkészletek összeállításához, amelyekhez sok elem, például LOFT szükséges.
LOFT tesztjeivel.
A testlet-szintű LOFT az előre összeállított egyedi teszteket használja, nem pedig az egyes elemeket, hogy testreszabott űrlapokat készítsen a tesztközpontban. Mindegyik teszt egyedi elemeket tartalmaz, amelyek csak egy teszthez tartoznak, mégis úgy vannak kialakítva, hogy képviselik a teljes teszt specifikációt (3. ábra), vagy összpontosíthatnak a teszt terv különböző szakaszaira (4. ábra). A legtöbb teszt 15-25 elemet tartalmaz, a teszt specifikációitól függően. Az előbbi esetben a véletlenszerűen kiválasztott párhuzamos tesztkészlet egyesíti a végső formát. Az utóbbi esetben egy tesztmintát véletlenszerűen választanak meg minden egyes tartalomterületre, és egyesítik a végső forma létrehozásához.
A tesztjeket klasszikus, Rasch vagy elemválasz-elméleti modellek segítségével lehet felépíteni. A teszttel ellátott LOFT akkor megfelelő, ha az elemeket előzetesen tesztelték, és (a) amikor a teszt terv elég egyszerű ahhoz, hogy egyetlen mintával mintát vegyen, és / vagy b) a készlet elég nagy ahhoz, hogy több párhuzamos teszt jöjjön létre. A teszttel ellátott LOFT-t CBT segítségével kell beadni.
A teszttel ellátott LOFT darabmennyiség-igénye, ahol ezek a teszt tartalma és statisztikai jellemzői egyenértékűek a medence összes többi tesztjével, körülbelül öt teljes hosszúságú tesztforma. Természetesen több elem fordul elő az egyedi tesztlapok lehetségesbb kombinációiban, és ugyanaz a teszt jelenhet meg sok különböző, de egyedi tesztlapon. A LOFT tesztjeivel, amelyeket a tesztterv különböző részeiben összegyűjtöttek, az elemre vonatkozó követelmények körülbelül tíz teljes hosszúságú tesztlapra növekednek, mivel a terv egyes szakaszaiban felmerülő kérdések száma eltérő.
Az elemtartályok a megpróbált kérdések nagy gyűjteményei (Way, 1998), amelyeket felhasználnak a LOFT elemkészletek készítéséhez, amelyeket később kiadnak a területre az adminisztráció céljából. A medencéket gyakran forgatják be és ki a különféle adminisztrációs ablaktól az expozíció ellenőrzésének elősegítése érdekében, valamint a teszt biztonságának és a pontszámok integritásának fenntartására szolgáló intézkedésként (Ariel, Veldkamp és van der Linden, 2004). Ha azonban egyes tesztelők összehangolt erőfeszítéseket tesznek a teszt tartalmának biztonságának megsértésére, akkor ezek a rotációs intézkedések nem sérthetetlenek.
3. ábra: LOFT tesztmintákkal az egész tervben
4. ábra: LOFT tesztjelekkel szakaszok szerint
Számítógépes adaptív tesztelés (CAT-FL, CAT-VL)
Egy számítógépes adaptív teszt olyan tételeket ad be, amelyek közel vannak az egyéni tesztelő képességi szintjéhez (lásd 5. ábra). Ez hatékonyabb mérést eredményez, mint a nem adaptív formák esetében lehetséges, ugyanakkor a tesztvevők körében felfogják, hogy a CAT tesztek nehezebbek, mint a rögzített formákba épített tesztek. Ez az észlelés annak a valóságnak köszönhető, hogy az egyik vizsgázónak kiválasztott tételeket az adott személy jártasságához igazítják, ahogyan azt a vizsgálati ülésen korábban beadott elemek alapján meghatározták. Ez a mérési hatékonyság kihasználható egy rögzített hosszúságú teszt (CAT-FL) létrehozására, amely pontosabb pontszámot ad, mint egy nem adaptív forma, vagy egy változó hosszúságú teszt (CAT-VL), amely rövidebb, mint a nem adaptív formája. összehasonlítható pontosság. A CAT akkor a legmegfelelőbb, ha pontos mérésre van szükség a képességi skála mentén. A szám helyes vagy összegzett pontozása nem fog működni az adaptív tesztelésnél: Rasch vagy IRT pontozási módszereket kell használni. Ezek figyelembe veszik az egyes tételek invariáns Rasch vagy elemválasz-elméleti paramétereit, amelyekre helyesen vagy helytelenül válaszolnak. A CAT-ot CBT alkalmazásával kell beadni.
5. ábra. Számítógépes adaptív tesztelés
Számítógépes ismeretek tesztelése (CMT)
A hitelesítő testületeknek, akik lineáris vagy CAT adminisztrációs módszereket alkalmaznak, az a probléma, hogy néhány átadási döntést helytelenül hoznak, és nincs módszer a döntési hiba meghatározására vagy korlátozására. A besorolási hibák, amelyek tükrözik ezeket a helytelen átadási sikertelen döntéseket, kétféle hibát foglalnak magukban: (A) hamis pozitív, amely magában foglalja az áthaladó egyéneket, akiknek kudarcot vallnak, és (B) hamis negatív, amely azt jelenti, hogy kudarcot vall az egyének, akiknek át kell esniük.
Ezek a helytelen döntések azért fordulnak elő, mert a tesztek szinte soha nem tökéletes mérőeszközei az érdeklődésre számot tartó tudásnak és készségeknek. A tesztkérdések vagy problémás helyzetek csak az összes, az érdeklődésre számot tartó munka szempontjából releváns kérdés mintája, amelyek feltehetően félrevezető képet nyújtanak egyes jelöltek képességeiről. A jelölt sikertelen státusával kapcsolatos helytelen döntések elkerülésének tipikus, nem számítógépes alapú megoldásai közé tartozik a határérték növelése vagy csökkentése egy rögzített hosszúságú teszt esetén. Ennek eredményeként a fontosabb osztályozási hiba növekszik vagy csökken a kívánt irányba, de a másik osztályozási hiba nagysága növekszik vagy csökken az ellenkező irányba. A számítógépes mester tesztelést úgy tervezték, hogy kihasználja a számítógép előnyeit és megoldja ezt a helytelen döntési problémát az ügyfelek számára, miközben nem igényli a CAT által igényelt nagy erőforrásokat.
A számítógépes elsajátítási teszt (CMT) során néhány jelöltre több kérdést adnak fel, mint másoknak. A CMT vizsga során feltett kérdéseket kisebb méretű, azonos hosszúságú, egymást nem átfedő kérdések csoportjaira osztják fel, amelyek lefedik a teszt specifikációjában meghatározott összes tartalmat. Ugyanazok a tesztszabályzatok vonatkoznak, mint a szokásos munkaelemzések során. Ezeket a kis kérdéscsoportokat tesztnek nevezzük. A CMT vizsgálat során alkalmazott tesztméret közvetlenül kapcsolódik a legkevesebb kérdéshez, amelyet fel lehet tenni, és arányosan lefedi a teljes teszttervet. (Megállapítottuk, hogy egy tesztre vonatkoztatott 15-25 kérdés megfelel a legtöbb vizsgálat teszt specifikációs táblázatainak.) A CMT vizsgálat során az összes teszt azonos legyen (egyenlő) minden más teszttel, átlagos átlagnál nehézségek és pontszámok eloszlása alapján, és mindegyiket úgy tervezték, hogy ugyanúgy fedje le a teljes teszttartalmi tervet.
A CMT vizsgálat során minden jelentkezőnek először alapteszttel bírnak. (Az alaptesztre a többlépcsős tesztelési folyamat első szakaszában gondolhatunk.) Az alapteszt több tesztből áll, amelyeket véletlenszerűen választunk ki egy egymást át nem fedő, egyenlő tesztből álló készletből. A szélsőséges (magas vagy alacsony) szintet teljesítő jelölteket a teljesítés után azonnal teljesítik, vagy sikertelennek teszik. Azoknak a köztes teljesítményű jelölteknek - akiknél a valószínűség szerint hibás döntési hiba valószínűsége van - kiegészítő kérdéseket kell feltenni egyedülálló teszt formájában, lehetővé téve számukra további lehetőséget, hogy bizonyítsák, hogy megfelelnek a megállapított szabványnak. A további teszt beadási folyamata azoknak a jelentkezőknek, akiknél a valószínűleg hibás döntési hiba valószínűsíthető, addig folytatódik, amíg a teljes hosszúságú teszt el nem érkezik, amelyen a végső átvételi döntés megegyezik a teljes hosszúságú lineáris vizsgálat során meghozott döntéssel. . Ezt a végleges teljes hosszúságú küszöbértéket ugyanúgy határozzuk meg, mint a lineáris tesztelési küszöbértéket. Kivágott pontszámú tanulmányt végeznek, és az ügyfél dönt a határértékelésről.
Az alábbi kísérő ábra bemutat egy példát arra, hogy az egyik vizsgáztató hogyan haladhat a CMT-n. Vegye figyelembe, hogy a tesztelésnek hét szakasza van, és hogy az első szakasz után a jelölt továbbra is a "folytatás" régióban van, és így további teszt kap. Ez a tesztelési folyamat ebben a példában a harmadik szakaszig folytatódik, amikor a vizsgázó a hibás régióba esik, és a tesztelés leáll.
A CMT egyik előnye a lineáris teszteléshez képest az, hogy lehetővé teszi az ügyfél számára, hogy meghatározza a relatív toleranciáját bármelyik döntési hiba elhárításához. Az 1. ábrán bemutatott tovább-folytatni-sikertelen régiók alakja ezen ügyfél döntései alapján megváltozik. A küszöbérték meghatározása mellett az ügyfél eldönti, hogy mely döntési hiba súlyosabb, vagy ha ugyanolyan súlyos. Előzetes kutatásaink azt mutatják, hogy a legtöbb jelölt a CMT modell alapján jól osztályozható az ügyfél által kifejezett tűréshatárok (veszteségek) között.
A CMT második előnye a CAT-hoz képest, hogy kevesebb kérdésre van szükség a tesztkészlet létrehozásához, mint a CAT (kalibrált) elemkészlet létrehozásához. Megállapítottuk, hogy bárhol három-öt lineáris tesztforma, néhány átfedő (általános) elemmel, mind szükség van a megfelelő tesztkészlet létrehozásához. Ezenkívül a jelöltek nagy mintájához sem szükséges. Olyan CMT módszereket fejlesztettünk ki, amelyek nem használják az elemreakció elméletét (IRT), de továbbra is kihasználják a számítógép előnyeit. (Néhány CMT modellünk IRT-t használ, míg mások nem. Azokat a CMT modelleket, amelyek nem használják az IRT- t, nagyon könnyű megmagyarázni a jelölteknek, mivel sok kérdést helyesen használnak a pontszámok kiszámításához.) Valójában néhány CMT-modelljeinknek nem kell megkövetelniük, hogy az elemek feltételesen függetlenek legyenek egymástól, és nem szükséges, hogy a teszt tartalma egydimenziós legyen. Ezek az IRT-t használó CAT elemkészletek tipikus követelményei.
Példa arra, hogy egy jelölt hogyan járhat el CMT vizsgálattal
(lásd Kim & Cohen, 1998)
A Prometr űrlap-összeállítási jelentést készít, amely rögzíti; a) a vizsgálati forma leíró statisztikája a nyers és a jelentés pontszám skálájában, b) az elem nehézsége, a megkülönböztetés és a válaszidő statisztikája tételenként, c) feltételes mérési hibák az egyes lehetséges pontszámokon (adott esetben), d) vizsgálati információk és adott esetben a vizsgálati jellemzők funkciói, e) az egyes nyomtatványok megfelelése a vizsgálati tervnek, f) a vizsgálati idő hisztogramjai és g) adott esetben az összes vizsgálati eredmény eloszlása.