Organisationer, der udvikler og leverer edb-test, støder på mange af de samme udfordringer som dem, der arbejder med traditionelle papir- og blyantprøver, herunder spørgsmål, der vedrører sikkerhed, psykometrisk redigering og juridisk forsvarelighed. Nye problemer opstår også med computerbaseret test (CBT), specifikt da tests administreres mere udbredt via Internettet. Disse problemer inkluderer en øget risiko for snyd fra kandidater og overeksponering af varer.
For at tackle de igangværende udfordringer, der præsenteres ved test generelt og nogle af de nye problemer omkring CBT, er organisationer nødt til at følge standardprocesser til udvikling af testemner og psykometrisk redigering. For eksempel er det en almindelig praksis at bruge flere forfattere til at udvikle testindhold, men det kan føre til variation i testemner, format og vanskeligheder. En stilguide med skabeloner og produktudviklingsstandarder og regler kan gøre en lang vej med at forbedre varernes konsistens, format og variation. Derudover kan uddannelse i indholdsudvikling sikre, at forfattere har værktøjer til at udvikle troværdige, forsvarsbare genstande og genstandsskabeloner, der kan bruges til at oprette forskellige variationer af det samme spørgsmål og derved øge størrelsen på varebanken på kortere tid.
Den statistiske evaluering af testemner på dette felt giver organisationer mulighed for at få feedback om specifikke produktpræstationer og kognitive niveauer. Denne intelligens muliggør revision af produktudviklingsprocesser og feedback til specifikke testartikeludviklere - hvilket hjælper med at bestemme, hvad der er effektivt, og hvordan varerne går i marken. Dette gør det også muligt for organisationen at træffe beslutninger om vareopbevaring, ændring og tildeling.
Enhver organisation, der udvikler eller administrerer tests, skal være opmærksom på den psykometriske redigeringsproces - en, der inkluderer evaluering af emnets vanskelighedsniveauer og tager ting som grammatik, følsomhed og stil med i betragtning. Psykometrik giver også mulighed for gennemgang af testemne form og funktion, såsom parallelle muligheder, tilstrækkelig information til at besvare spørgsmålet og svarlængde.
Med den vigtighed, der lægges på objektivitet, udføres psykometrisk redigering bedst af testudviklingsfagfolk, ikke emneeksperter eller artikelforfattere. Personer, der trænes i kompleksiteten af psykometrisk redigering, evaluerer genstande i et andet, kritisk lys end emneeksperter eller artikelforfattere. Det er imidlertid vigtigt at også gennemgå og godkende det endelige, redigerede emne af fageksperter inden for det relevante felt.
Genstande udviklet til CBT og PPT skal være juridisk forsvarlige for at sikre beskyttelse i tilfælde af en juridisk udfordring. For at sikre juridisk forsvarlighed skal organisationer implementere en standardproces til produktudvikling og psykometrisk gennemgang, som diskuteret ovenfor.
Evaluering af juridisk forsvarlighed inkluderer en kritisk gennemgang af prøven både fra et indhold og psykometrisk perspektiv for at sikre, at eksamen blev udviklet i henhold til standarden for uddannelsesmæssig og psykologisk test . Domstolene udsætter standarderne, når de vurderer troværdigheden af den pågældende eksamen. Juridisk forsvarlighed kan opnås via flere metoder. Det vigtigste aspekt af udviklingsprocessen er at følge og dokumentere standardiserede metoder og inkludere passende testudviklingspersonale i processen. Der er mange forskellige trin i testudviklingsprocessen og forskellige metoder, der kan bruges til hvert trin. For eksempel, når man bestemmer cutcore for en eksamen, kan processer som den modificerede angoff eller bogmærke-metoden bruges til at bestemme den passende standard for bestået. Hver af metoderne bruger en anden teknik til at bestemme den bjælke, som en kandidat skal nå for at få en bestået status.
For at mindske risikoen for overeksponering af varer udvikler testfirmaer store banker til testemner, hvorfra testindhold rutinemæssigt opdateres. Ved at tage føringen fra de store testudviklere og administratorer, vil organisationer, der administrerer computerbaserede tests, overveje at bruge udvidede varebanker og planlagt opdatering af testemner for at sikre, at kandidater ikke ser de samme emner eller design, hvilket generelt mindsker sandsynligheden for, at kandidater deler Information.
I mange testprogrammer med stor indsats indsamler og undersøger testadministratorer retsmedicinske data for at måle, hvor ofte testkandidater udsættes for bestemte testemner, den gennemsnitlige tid, kandidater bruger på emner, og hvordan kandidaters svar på emner ændres over tid og eksponering. Dette sikrer den løbende justering af produktudviklingsprocessen og indholdet for at sikre troværdighed, lovlighed og sikkerhed.
Der er også forskellige metoder, der kan implementeres, hvor man analyserer kandidatresultaterne efter eksamen. En af disse typer analyser er en differentieret postanalyse, der evaluerer gruppepræstation på testemner (grupper kan defineres ud fra køn, etnicitet eller andre faktorer). Elementer, der fungerer markant forskelligt på tværs af grupper af kandidater, evalueres derefter for at bestemme fremtidig brug.
Mængden af faktorer, der skal overvejes ved udvikling af indhold til computebaseret test, giver alle troværdighed og integritet til selve prøven. Organisationer, der er i stand til omhyggeligt at overveje design og implementering af deres testprogrammer, klarer sig proaktivt bedre end organisationer, der skynder sig at computere-baseret test. En proaktiv tilgang, der tager højde for produktudvikling og redigeringsressourcer såvel som sikkerheds- og it-parametre, tjener organisationen bedre på lang sigt, da det øger testgyldigheden, kandidaternes retfærdighed og tilbyder et højere niveau af beskyttelse mod juridiske udfordringer.
Tilbage til siden Testeffektivitet og juridisk forsvarlighed