Organisaties die geautomatiseerde tests ontwikkelen en afleveren, worden geconfronteerd met veel van dezelfde uitdagingen als organisaties die werken met traditionele papier- en potloodtests, waaronder problemen met betrekking tot beveiliging, psychometrische bewerking en juridische weerbaarheid. Nieuwe problemen doen zich ook voor bij computer-based testing (CBT), met name omdat tests breder worden beheerd via internet. Deze problemen omvatten een verhoogd risico op valsspelen van kandidaten en overmatige blootstelling van artikelen.
Om de voortdurende uitdagingen van het testen in het algemeen en enkele van de nieuwe problemen rondom CBT aan te pakken, moeten organisaties standaardprocessen volgen voor de ontwikkeling van testitems en psychometrische bewerking. Het is bijvoorbeeld gebruikelijk om meerdere itemschrijvers te gebruiken om testinhoud te ontwikkelen, maar dit kan leiden tot variatie in de stijl, indeling en moeilijkheidsgraad van testitems. Een stijlgids met sjablonen en artikelontwikkelingsstandaarden en -regels kan een lange weg helpen bij het verbeteren van de consistentie, het formaat en de variëteit van artikelen. Daarnaast kan training voor de ontwikkeling van inhoud ervoor zorgen dat schrijvers de tools hebben om geloofwaardige, verdedigbare items en itemsjablonen te ontwikkelen die kunnen worden gebruikt om verschillende variaties op dezelfde vraag te maken, waardoor de omvang van de itembank in een kortere tijd toeneemt.
De statistische evaluatie van testitems in het veld stelt organisaties in staat om feedback te krijgen over specifieke itemprestaties en cognitieve niveaus. Deze intelligentie maakt de herziening mogelijk van itemontwikkelingsprocessen en feedback voor specifieke ontwikkelaars van testitems - waarmee wordt bepaald wat effectief is en hoe de items het in het veld doen. Dit stelt de organisatie ook in staat om beslissingen te nemen over het bewaren, wijzigen en toewijzen van artikelen.
Elke organisatie die tests ontwikkelt of beheert, moet zich bewust zijn van het psychometrische bewerkingsproces - een proces dat de evaluatie van moeilijkheidsgraden van items omvat en rekening houdt met zaken als grammatica, gevoeligheid en stijl. Psychometrie voorziet ook in de beoordeling van de vorm en functie van het testitem, zoals parallelle opties, voldoende informatie om de vraag te beantwoorden en de lengte van het antwoord.
Met het belang dat aan objectiviteit wordt gehecht, kan psychometrische bewerking het beste worden uitgevoerd door testontwikkelingsexperts, niet door materiedeskundigen of itemschrijvers. Individuen die getraind zijn in de complexiteit van psychometrische bewerking, beoordelen items in een ander, kritisch licht dan materiedeskundigen of itemschrijvers. Het is echter belangrijk om ook het laatste, bewerkte item te hebben beoordeeld en goedgekeurd door materiedeskundigen op het juiste gebied.
Items ontwikkeld voor CBT en PPT moeten juridisch verdedigbaar zijn om bescherming te bieden in geval van een juridische betwisting. Om wettelijke weerbaarheid te garanderen, moeten organisaties een standaardproces voor itemontwikkeling en psychometrische beoordeling implementeren, zoals hierboven besproken.
Evaluatie van wettelijke verdedigbaarheid omvat een kritische beoordeling van het examen, zowel vanuit inhoudelijk als psychometrisch perspectief, om ervoor te zorgen dat het examen is ontwikkeld volgens de norm voor educatieve en psychologische tests . De rechtbanken stellen de normen vast bij het beoordelen van de geloofwaardigheid van het examen in kwestie. Juridische verdedigbaarheid kan worden bereikt via verschillende methoden. Het belangrijkste aspect van het ontwikkelingsproces is het volgen en documenteren van gestandaardiseerde methoden en het opnemen van geschikt testontwikkelingspersoneel in het proces. Er zijn veel verschillende stappen in het testontwikkelingsproces en verschillende methoden die voor elke stap kunnen worden gebruikt. Bij het bepalen van de cutscore voor een examen kunnen bijvoorbeeld processen zoals de gemodificeerde Angoff of de bladwijzermethode worden gebruikt om de juiste standaard voor het slagen te bepalen. Elk van de methoden maakt gebruik van een andere techniek om de lat te bepalen die een kandidaat moet bereiken om een passerende status te krijgen.
Om het risico van overmatige blootstelling van artikelen te beperken, ontwikkelen testbedrijven grote testbankbanken van waaruit testinhoud routinematig wordt vernieuwd. Onder leiding van de grote testontwikkelaars en beheerders, zullen organisaties die computergebaseerde tests beheren, willen overwegen om uitgebreide itembanken en geplande testitems te vernieuwen om ervoor te zorgen dat kandidaten niet dezelfde items of ontwerpen zien, waardoor de kans op het delen van kandidaten in het algemeen afneemt informatie.
In veel testprogramma's met hoge inzet verzamelen en onderzoeken testbeheerders forensische gegevens om te meten hoe vaak testkandidaten worden blootgesteld aan bepaalde testitems, de gemiddelde tijd die kandidaten aan items besteden en hoe de reacties van kandidaten op items veranderen in de loop van de tijd en blootstelling. Dit zorgt voor de voortdurende aanpassing van het itemontwikkelingsproces en de inhoud om geloofwaardigheid, wettigheid en veiligheid te garanderen.
Er zijn ook verschillende methoden die kunnen worden geïmplementeerd om de kandidaat-resultaten na het onderzoek te analyseren. Een van die soorten analyses is een differentiële itemanalyse, die de prestaties van de groep op testitems evalueert (groepen kunnen worden gedefinieerd op basis van geslacht, etniciteit of andere factoren). Items die aanzienlijk verschillen in groepen kandidaten, worden vervolgens opnieuw geëvalueerd om toekomstig gebruik te bepalen.
De veelheid van factoren waarmee rekening moet worden gehouden bij het ontwikkelen van inhoud voor computergebaseerde testen, draagt bij aan het examen zelf. Organisaties die het ontwerp en de implementatie van hun testprogramma's zorgvuldig kunnen overwegen, doen het proactief beter dan organisaties die snel naar computergebaseerde tests migreren. Een proactieve benadering die rekening houdt met de ontwikkeling en bewerking van artikelen, evenals beveiligings- en IT-parameters, dient de organisatie op de lange termijn beter, omdat het de testvaliditeit en de eerlijkheid van de kandidaten verhoogt en een hoger niveau van bescherming biedt tegen juridische uitdagingen.
Keer terug naar de testefficiëntie en wettelijke verdedigbaarheidspagina