Kako ugraditi sigurnost i fleksibilnost
Neki klijenti više vole ispite koji nisu fiksni obrasci, ali koji se mogu automatski i nasumično generirati iz banke predmeta u vrijeme kada kandidat sjedne na testiranje. Prometric ima sposobnost razvijanja ispitnih banaka koje podržavaju nekoliko vrsta bankarskog testiranja.
Linearno ispitivanje u letu (LOFT).
LOFT je sastavljanje unaprijed izjednačenih oblika u ispitnom centru neposredno prije ili tijekom primjene ispitivanja. LOFT (slika 2) koristi se za generiranje jedinstvenih usporedivih fiksnih oblika za svakog ispitanika. LOFT je moguć kada su svi predmeti prethodno ispitani i postavljeni na uobičajenu vagu. Da bi bio praktičan, LOFT se mora primjenjivati pomoću računalnog testiranja (CBT).
Izgradnja testnog oblika izravno će utjecati na izgradnju testnog bazena za LOFT ispitivanje. Većina skupova predmeta za LOFT sadrži najmanje 10 puta veći broj ispitnih predmeta potrebnih za bilo koji obrazac. Skupovi predmeta sastavljaju se koristeći statističke i sadržajne specifikacije s toliko pozornosti na detalje kao da se sastavlja jedan test (Ariel, van der Linden, & Veldkamp, 2006). Svaka skupina proizvoda izrađena je od spremnika predmeta koji sadrži mnogo isprobanih stavki sa statistikom predmeta i specifikacijama sadržaja (Way, 1998), kao i pokazateljima za postavljanje sadržaja i preklapanje sadržaja. Posude s predmetima osnova su za sastavljanje bazena predmeta za CBT arhitekture koje zahtijevaju mnoge stavke, poput LOFT-a.
LOFT s Testletsima.
LOFT na razini testleta koristi prethodno sastavljene jedinstvene testlete, a ne pojedinačne predmete, za izradu individualiziranih obrazaca u centru za testiranje. Svaka testna skupina sadrži jedinstvene stavke koje pripadaju samo jednoj testnici, ali su konstruirane tako da predstavljaju cjelokupnu specifikaciju ispitivanja (slika 3) ili se mogu usredotočiti na različite odjeljke plana testa (slika 4). Većina testleta sadrži 15 do 25 predmeta, ovisno o specifikacijama testa. U prvom slučaju nasumično odabrani skup paralelnih testista kombinira se kako bi se stvorio konačni oblik. U potonjem slučaju, testleta se nasumično bira za svako područje sadržaja i kombinira za stvaranje konačnog oblika.
Testlets se mogu konstruirati korištenjem klasičnih, Rasch ili modela teorije odziva predmeta. LOFT s testletima je prikladan kada su predmeti prethodno ispitani i kada je (a) nacrt testa dovoljno jednostavan da se može uzorkovati s jednim testletom i / ili (b) bazen je dovoljno velik da stvori više paralelnih testleta. Loft s testletima mora se upravljati CBT-om.
Zahtjev za volumen predmeta LOFT s uzorcima, pri čemu su te testke po sadržaju i statističkim karakteristikama ekvivalentne svim ostalim uzorcima u bazenu je oko pet ispitnih oblika u cijeloj dužini. Naravno, više predmeta se prevodi u više mogućih kombinacija jedinstvenih testnih obrazaca, s tim da se isti testnik može pojaviti na mnogim različitim, ali jedinstvenim obrascima ispitivanja. Za LOFT s uzorcima koji su sastavljeni unutar različitih odjeljaka ispitnog plana, zahtjevi predmeta povećavaju se na desetak testnih obrazaca pune duljine zbog razlike u broju pitanja koja su potrebna u svakom odjeljku nacrta.
Spremnici predmeta su velike zbirke isprobanih pitanja (Way, 1998.) koji se koriste za izgradnju sastava LOFT predmeta koji se nakon toga puštaju u polje za administraciju. Bazeni se često rotiraju u i iz različitih prozora uprave radi pomoći u kontroli izloženosti i kao mjera namijenjena održavanju sigurnosti ispitivanja i integriteta rezultata (Ariel, Veldkamp, & van der Linden, 2004). Međutim, ako pojedini polaznici testiranja usaglašavaju napore da naruše sigurnost sadržaja testiranja, ove mjere rotacije nisu neranjive.
Slika 3. LOFT s testerima po cijelom nacrtu
Slika 4. LOFT s testerima po sekcijama
Računalo prilagođeno ispitivanje (CAT-FL, CAT-VL)
Računalni prilagodljivi test upravlja predmetima koji su blizu razine sposobnosti pojedinog ispitanika (vidi sliku 5). Ovo stvara efikasnije mjerenje nego što je to moguće kod neprilagođenih oblika, ali stvara percepciju kod ispitanika da su CAT testovi teži u usporedbi s testovima konstruiranim kao fiksni obrasci. Ta percepcija nastaje zbog stvarnosti da su predmeti odabrani za bilo kojeg ispitanika usmjereni na znanje tog pojedinca kako je određeno iz prethodnih predmeta danih u testiranju. Ova učinkovitost mjerenja može se iskoristiti za stvaranje testa fiksne duljine (CAT-FL) koji daje preciznije rezultate od neapaktivnog oblika ili testa promjenjive duljine (CAT-VL) kraćeg od neprilagođenog oblika usporediva preciznost. CAT je najprikladniji kada je potrebno precizno mjerenje duž cijele skale sposobnosti. Točno ili zbrojeno bodovanje neće raditi s adaptivnim testiranjem: moraju se koristiti Rasch ili IRT metode bodovanja. One uzimaju u obzir invariantne parametre teorije reakcije Rasha ili predmeta svake stavke na koje je odgovoreno točno ili netočno. CAT se mora davati primjenom CBT-a.
Slika 5. Kompjuterizirano prilagodljivo ispitivanje
Kompjuterizirano testiranje majstorstva (CMT)
Problem za vjerodajne odbore koji koriste linearne ili CAT metode administracije je taj da se neke odluke o neuspjehu donose pogrešno, bez metode za određivanje ili ograničavanje te odluke. Pogreške u klasifikaciji, koje odražavaju ove pogrešne odluke o neuspjehu, uključuju dvije vrste pogrešaka: (A) Lažni pozitivni stavovi koji uključuju prolazak pojedinaca koji bi trebali propasti i (B) lažni negativi koji podrazumijevaju neuspjeh pojedinaca koji bi trebali proći.
Do tih se pogrešnih odluka dolazi jer testovi gotovo nikada nisu savršene mjere znanja i vještina koje ih zanimaju. Testna pitanja ili problemi s problemima samo su uzorak svih relevantnih za posao koji bi mogao biti postavljen, a oni koji su postavljeni na njih mogu dati pogrešnu sliku sposobnosti nekih kandidata. Tipična rješenja koja nisu utemeljena na računalu, kako bi se izbjegle pogrešne odluke o kandidatskom statusu neuspjeha, uključuju podizanje ili spuštanje skidne vrijednosti za test fiksne duljine. To rezultira time da se veličina važnije klasifikacijske pogreške povećava ili smanjuje u željenom smjeru, ali se veličina druge pogreške u klasifikaciji povećava ili smanjuje u suprotnom smjeru. Kompjuterizirano testiranje majstorstva dizajnirano je tako da iskoristi prednost računala i riješi ovaj problem s pogrešnom odlukom za klijente, a da pritom ne zahtijeva velike resurse koji zahtijevaju CAT.
U računalnom testu majstorstva (CMT) , nekim se kandidatima postavlja više pitanja od ostalih kandidata. Pitanja u ispitivanju CMT dijele se na manje skupine fiksne duljine jednakog broja pitanja koja se ne preklapaju i pokrivaju sav sadržaj definiran u testnim specifikacijama. To su iste specifikacije ispitivanja koje su rezultat standardne analize posla. Te male grupe pitanja zovemo testima. Veličina uzorka korištena u bilo kojem CMT ispitivanju izravno je povezana s najmanjim brojem pitanja koja se mogu postaviti i još uvijek proporcionalno pokrivaju cijeli plan ispitivanja. (Otkrili smo da bilo gdje od 15 do 25 pitanja po uzorku odgovara većini tablica s specifikacijama ispitivanja.) U CMT ispitivanju svaki bi testnik bio konstruiran tako da bude jednak (jednak) svakom drugom uzorku u prosječnim poteškoćama i širenju rezultata i svaki bi bio osmišljen tako da pokriva cjelokupni plan sadržaja testa na isti način.
Ispitivanjem CMT-a svim kandidatima se prvo daje osnovni test. (Osnovni test možemo zamisliti kao prvu fazu postupka višestepenog ispitivanja.) Bazni test sastoji se od više testista odabranih slučajno iz bazena sastavljenog od jednakih testleta koji se ne preklapaju. Kandidati koji na ovom osnovnom testu nastupaju na ekstremnim razinama (visoka ili niska) prolaze ili nisu odmah nakon završetka. Onim kandidatima s posrednim učinkom - za koje je pogreška pogrešne odluke najvjerojatnija - postavljaju se dodatna pitanja u obliku pojedinačnih testista, što im omogućuje dodatnu priliku da pokažu da su ispunili utvrđeni standard. Ovaj postupak davanja dodatnih testleta onim kandidatima za koje je pogrešna odluka pogreška vjerojatna nastavlja se sve dok se ne postigne ispitivanje pune duljine, a tada se donosi konačna odluka o neuspjehu, identična onoj donesenoj u cjelovitom linearnom ispitivanju , Konačni konačni rezni rezultat određuje se na isti način kao što se određuje linearni rezultat presjeka. Provodi se „cut cut“ studija i klijent odlučuje o reznoj ocjeni.
Primjer je naveden na priloženoj slici dolje kako bi jedan ispitanik mogao proći kroz CMT. Primijetite da postoji sedam faza testiranja i da je nakon prve faze kandidat još uvijek u regiji "nastavi" i na taj način dobiva dodatni test. Ovaj se postupak ispitivanja nastavlja u ovom primjeru sve do treće faze, kada ispitanik padne u područje neuspjeha i testiranje prestane.
Jedna prednost CMT-a u odnosu na linearno testiranje je ta što klijentu omogućuje određivanje njihove relativne tolerancije za donošenje greške bilo koje odluke. Oblik regija prolaz-dalje-neuspjeh prikazan na slici 1 promijenit će se na temelju ovih odluka klijenta. Uz postavljanje granične vrijednosti, klijent odlučuje koja je pogreška odluke ozbiljnija ili su podjednako ozbiljne. Naše preliminarno istraživanje pokazuje da većinu kandidata pomoću CMT modela možemo klasificirati unutar onih tolerancija (gubitaka) koje je izrazio klijent.
Druga prednost CMT-a u odnosu na CAT je ta što je za stvaranje testnog bazena potrebno manje pitanja nego što je potrebno za stvaranje CAT (kalibriranog) skupa predmeta. Otkrili smo da su bilo gdje od tri do pet linearnih ispitnih obrazaca s nekoliko preklapajućih (uobičajenih) predmeta sve što je potrebno za formiranje odgovarajuće baze testnih grupa. Također, veliki uzorci kandidata nisu potrebni. Razvili smo CMT metode koje ne koriste teoriju odziva predmeta (IRT), ali ipak koriste prednost računala. (Neki od naših CMT modela koriste IRT, dok drugi ne. One CMT modele koji ne upotrebljavaju IRT vrlo je lako objasniti kandidatima, jer koriste brojna pitanja ispravna u izračunavanju rezultata.) U stvari, neki od naši CMT modeli ne zahtijevaju da stavke budu uvjetno neovisne jedna o drugoj niti je potrebno da sadržaj testa bude jednodimenzionalan. Ovo su tipični zahtjevi bazena CAT-a koji koriste IRT.
Primjer kako jedan kandidat može proći kroz CMT ispit
(vidi Kim i Cohen, 1998.)
Prometric generira izvješće o montaži obrazaca koje bilježi; (a) opisne statistike obrasca za testiranje u ljestvici neobrađenih podataka i izvještaja, (b) teškoće predmeta, diskriminacija i statistika vremena odziva po stavkama, (c) uvjetne standardne pogreške mjerenja za svaki mogući rezultat (ako je prikladno), (d) informacije o ispitivanju i karakteristike ispitivanja ako je prikladno, (e) usklađenost svakog obrasca s testnim nacrtom, (f) histogram vremena ispitivanja i (g) ukupna raspodjela rezultata ispitivanja, ako je prikladno.