Organisaties die online tests ontwikkelen en beheren, moeten begrijpen dat de ontwikkeling van testitems meer is dan alleen het schrijven van vragen. Om zowel kandidaten als de testorganisatie te beschermen, moeten online testitems juridische uitdagingen aankunnen. Een juridisch verdedigbaar examen is er een dat is ontworpen om alle kandidaten gelijke kansen te bieden om hun kennis te tonen en een groep niet discrimineert op basis van ras, kleur, nationale afkomst, geslacht, religie of beschermde handicap.

Maar hoe kunnen organisaties ervoor zorgen dat hun online tests juridisch verdedigbaar zijn? Door een aantal best practices bij de ontwikkeling van artikelen in het testprogramma te integreren, kunt u ervoor zorgen dat testartikelen de kennis, vaardigheden en capaciteiten voor alle kandidaten in de pool nauwkeurig en eerlijk meten.

Eerst en vooral is het volgen van een standaardproces voor de ontwikkeling van testitems essentieel voor de wettelijke weerbaarheid van online testitems. Dit proces moet gestandaardiseerde training voor alle itemschrijvers omvatten, evenals een rigoureus itemcontrole- en goedkeuringsproces. Het beoordelingsproces omvat evaluatie van zaken als gevoeligheid, stijl, correctheid, cognitief niveau en algehele structuur van alle testitems. Een deel van het gestandaardiseerde beoordelingsproces wordt uitgevoerd door vakdeskundigen en een deel wordt uitgevoerd door psychometrie- en testontwikkelingsprofessionals. Aangezien de focus van psychometrische en testontwikkelingstoets objectiviteit is, wordt deze het best uitgevoerd door testontwikkelingsprofessionals, niet alleen door experts op het gebied van onderwerpen of schrijvers. Individuen die zijn getraind in de complexiteit van psychometrische evaluatie van items in een ander, kritischer licht dan materiedeskundigen of itemschrijvers en zijn effectiever in het waarborgen van objectiviteit van testitems.

Ten tweede kunnen organisaties de juridische weerbaarheid van online tests verbeteren door voortdurende gegevensverzameling en analyse van testresultaten. Met behulp van metrieken om de prestaties van online testitems in het veld te evalueren en testresponspatronen te bepalen, kan ervoor zorgen dat geen enkele groep anders op vragen over de hele linie reageert.

Analyse van itemresponsgegevens (de manier waarop kandidaten een item beantwoorden) kan identificeren of terminologie of beschrijvingen binnen een item ongeschikt zijn voor bepaalde delen van de kandidaatpopulatie. Verrassend genoeg kan de aanpassing van slechts enkele woorden in een examenitem een aanzienlijk effect hebben op de prestaties van de kandidaat. Bij het ontwikkelen van items voor een bepaald licentie-examen, bleek bijvoorbeeld dat een bepaalde itemschrijver graag het woord 'pilfer' gebruikt in plaats van 'stelen'. Omdat het woord 'pilfer' geen betekenis had voor het te testen licentiegebied en het woord 'stelen' een algemener woord is dat bekend is bij verschillende etnische en sociaal-economische groepen, heeft het wijzigen van dat ene woord een meer geldig item voor de hele test gemaakt bevolking. Post-administratie analyse bevestigde dat de verandering meer rechtvaardige itemprestaties veroorzaakte.

Ten slotte kan een schriftelijke vastlegging van de voortdurende ontwikkeling en evaluatie van het testprogramma als bescherming dienen in geval van juridische betwisting. Een testontwikkelingsproces is alleen geldig als het is gedocumenteerd. Documentatie moet de taakanalyse bevatten op basis waarvan opdrachten voor het schrijven van artikelen zijn gebaseerd en de kwalificaties van materiedeskundigen en testontwikkelingspersoneel dat betrokken is bij de artikelontwikkeling en beoordelingscycli. Gegevens op item- en examenniveau moeten ook na evaluatie worden opgeslagen, samen met informatie over standaardinstellingen en bijbehorende scoremethoden.

Bij het uitvoeren van een beoordeling van examens die in een rechtbank zijn aangevochten, wordt al snel duidelijk dat het niet altijd de "beste" examens zijn die slagen tegen een juridische uitdaging. De examens die tegen juridische uitdagingen bestand zijn, zijn meestal die examens die gestandaardiseerde, door de industrie geaccepteerde testontwikkelingspraktijken hebben gevolgd en hun stappen onderweg hebben gedocumenteerd. Zonder proces en documentatie kunnen zelfs examens die goed presteren geen indruk maken op de rechtbanken.

Organisaties die online tests ontwikkelen en beheren, moeten hun exameninhoud en -score altijd ontwerpen met mogelijk ongunstige juridische scenario's in gedachten. De toevoeging van deze best practices aan een bestaand testproces zal de kans op juridische uitdagingen aanzienlijk verminderen en indien nodig de geschillen aanpakken:

• Standaardisatie van de ontwikkeling van testitems
• Strenge item review- en goedkeuringsprocessen
• Lopende gegevensverzameling en analyse van examen- en itemresultaten
• Documentatie van testontwikkelingsprocessen en doorlopende evaluatie

De kennis die organisaties proberen te meten is objectief, en door de bovenstaande best practices te implementeren, kunnen organisaties ervoor zorgen dat hun examens ook objectief zijn.

Keer terug naar de testefficiëntie en wettelijke verdedigbaarheidspagina