Prometric har lang erfaring med overgang af programmer fra papirbaseret levering til computerbaseret levering. Testudviklingsafdelingen er bemandet med psykometrikere, der direkte har deltaget i forskning og anvendelse af metodologier for at hjælpe med at sikre minimal indflydelse på kandidatens ydeevne under en sådan overgang.
Forskning
Da computerbaseret test (CBT) er blevet ekstremt produktiv i de sidste 10-15 år, er mængden af industriundersøgelser om sammenligneligheden mellem papirbaserede og computerbaserede eksamener vokset betydeligt. Som forventet er forskningsresultater, der var almindelige ved den første introduktion af computere i testpopulationen, ikke længere relevante for kandidatpopulationerne, der kommer ind i testmiljøet i dag. Efterhånden som kandidatpopulationerne har udviklet sig i deres eksponering, adgang og fortrolighed med computere, er virkningerne af indførelsen af computerbaserede eksamener reduceret markant. Dette har været tilfældet i flere kandidatsegmenter, da tilgængeligheden af computere er steget eksponentielt i alle befolkningsgrupper.
Ved at opsummere resultaterne af de flere undersøgelser i de sidste 5-10 år (senest gennemført i 1997) blev de vigtigste punkter identificeret på forskningsområdet som følger:
- Effektstørrelser på eksamenspræstation for papirbaseret versus computerbaseret test er generelt statistisk ubetydelig (p> 0,05), hvilket antyder ingen væsentlig forskel mellem de to testmetoder.
- Differential Item Functionality (DIF) analyse af individuelle varer, der leveres på papirbaseret versus computerbaseret, indikerer typisk, at når varetyper er befordrende for begge leveringsmetoder, er ydelsen på varer i begge leveringskanaler sammenlignelig.
- Klar kommunikation til kandidatpuljen angående computerbaseret eksamenslevering kan yderligere mindske chancen for, at leveringstilstanden påvirker den endelige kandidatpræstation.
- Forberedelse og praksis i et simuleret testmiljø (gennem en praksiseksamen og / eller en tutorial før live test) kan reducere kandidatens præstationsangst og yderligere bidrage til et retfærdigt testresultat.
Ud over den teoretiske forskning, der findes inden for testbranchen, har Prometric også praktisk erfaring med evaluering og sammenligning af kandidatens ydeevne på tværs af flere leveringskanaler. Vi har med succes migreret et stort antal klienter fra en leveringstilstand til en anden og har konsekvent evalueret kandidatens ydeevne for at sikre, at alle kandidater får en rimelig mulighed for at vise deres viden (uafhængigt af den kanal, der bruges). Derudover har Prometric et antal klienter, der bruger en dobbelt leveringsmodel (både papirbaseret og computerbaseret), som også giver mulighed for kontinuerlig overvågning af sammenligneligheden af eksamenspræstation og individuel emneydelse på tværs af flere testmiljøer. Prometrics fund afspejler konsekvent dem, der er nævnt ovenfor fra det generelle testfællesskab, og vi har været i stand til at udvikle og fremme fremgangsmåder, der sikrer det ønskede resultat.
Øve sig
Ved migrering af eksamensprogrammer er der flere trin, der skal overvejes. Selvom der er et stort antal individuelle opgaver, inkluderer de vigtigste aktiviteter følgende:
- Evaluering af aktuel varebank En evaluering af den aktuelle papirbaserede varebank foretages typisk i begyndelsen af projektet for at sikre anvendeligheden i et computebaseret miljø og for at samle basestatistikker til fremtidig evaluering.
- Ændring af præsentationspræsentationHvis det er nødvendigt, fremsætter Prometric anbefalinger om individuelle varemodifikationer for at øge sandsynligheden for rimelig ydeevne på den samlede eksamen i et computebaseret miljø.
- Forbered en kommunikationsindsats til kandidaternePrometrisk arbejder med klienter for at sikre, at der udvikles en passende kommunikationskampagne for kandidatpopulationen inden introduktionen af en ny leveringsmodel.
- Forbered prøveeksempler og / eller tutorialsPrometrisk forbereder praksiseksamen og / eller tutorials, der leveres til kandidaten forud for en live eksamen for at øge kandidatpopulationens komfortniveau med testleveringsmodellen.
- Undersøgelses- og emneanalyse Ved hjælp af basisdata indsamlet i trin 2 vil Prometric evaluere eksamens- og emneniveaupræstationer for at sikre sammenligneligheden af kandidatens præstation.
- Kontinuerlig overvågning og vedligeholdelse Evaluering af leveringsmodellen stopper ikke efter den første bekræftelse af sammenligneligheden. Prometriske psykometrikere vil løbende overvåge resultaterne af USPS-emner og -eksamen for at sikre, at de udfører inden for acceptable statistiske parametre og for at forudsige fremtidige behov for testudvikling.
Prometric integrerer de ovennævnte metoder i vores testudviklings- og leveringsprocesser for at sikre en retfærdig, gyldig og juridisk forsvarlig proces for alle kandidater. Vores erfaring med succesfuld implementering af computerbaserede eksamener matches af vores gennemprøvede processer til at sikre produktkvalitet og ydeevne gennem hele eksamens levetid.