« La validité fait référence à la mesure dans laquelle les preuves et la théorie appuient les interprétations des résultats des tests pour les utilisations proposées des tests. La validité est donc la considération la plus fondamentale dans le développement et l'évaluation des tests. ( Normes pour les tests éducatifs et psychologiques , p. 11)
Depuis que la pandémie a commencé et que l'industrie des tests a connu un bouleversement majeur, de nombreuses discussions et recherches se sont concentrées sur la validité des tests surveillés à distance par rapport aux tests physiques, mais nous avons moins entendu parler de la validité des processus de développement de tests à distance. par rapport aux processus de développement de test en personne. Si vous aviez l'habitude de mener la plupart de vos réunions de développement de tests en personne mais que vous êtes passé au virtuel, avez-vous pris du recul pour considérer la validité de vos processus et si vous obtenez toujours le même résultat en les exécutant virtuellement ?
Dans le monde du développement de tests, le Standard Setting est l'un des composants les plus importants. Le processus d'établissement de normes définit ce qu'est une note de passage et ce que cela signifie qu'une personne a réussi l'examen. L'établissement de normes est directement lié à la validité, qui détermine si nous avons les preuves à l'appui de l'utilisation des résultats des tests pour prendre des décisions.
Parmi les activités de développement de tests, la mise en place de normes est particulièrement difficile à faciliter à distance en raison des considérations suivantes :
Problèmes de sécurité : les experts en la matière (EM) ont un accès complet au contenu de l'examen.
Complexité : Le processus peut être difficile à expliquer et à assimiler.
Engagement de haut niveau : L'établissement de normes de qualité exige le plus haut niveau d'engagement des PME. Une participation partielle ou passive permettra d'ignorer et de ne pas examiner des procédures et des considérations importantes.
Pas facilement révisé : Une fois terminé, l'ensemble standard pour un test est très difficile et fastidieux à changer. La mise à jour des scores seuils établis nécessite énormément d'efforts et, une fois administrée, toute modification des scores seuils peut avoir un effet négatif sur les candidats.
Les études de cas ci-dessous illustrent trois modèles réussis de normalisation virtuelle, chacun impliquant des défis et des solutions uniques.
ÉTUDE DE CAS #1 : American Board for Certification in Orthotics, Prosthetics and Pedorthics (ABC)
- Défis particuliers pour les programmes d'examens à petit volume
ÉTUDE DE CAS #2 : Commission de Certification des Interprètes de Santé (CCHI)
- Méthodes spéciales pour l'examen CHI ™ -Espagnol
ÉTUDE DE CAS #3 : National-Interstate Council of State Boards of Cosmetology (NIC)
- Processus et défis spécifiques d'une normalisation semi-distante pour les examens pratiques
- Recrutement PME
- Entraînement
- Discussion du candidat peu qualifié ou borderline
- Évaluations de la pratique
- Classements Angoff : 1er tour
- Discussion de groupe sur les éléments signalés
- Classements Angoff : tour 2
- Note de coupe finale recommandée
ÉTUDE DE CAS #1 : American Board for Certification in Orthotics, Prosthetics and Pedorthics (ABC)
ABC propose plusieurs programmes d'examens à petit volume en orthèses, prothèses et disciplines connexes. Les certifiés peuvent occuper des emplois techniques, avoir différents niveaux d'éducation et certains travaillent même dans des environnements de vente au détail.
Le réglage standard à distance offrait un certain nombre d'avantages aux programmes d'ABC :
- Les PME n'ont pas besoin de se déplacer
- Économise sur les coûts et les efforts de coordination
- Capacité à exploiter un groupe beaucoup plus large de PME
- Capacité à remplacer les PME avec peu de préavis
Remote Standard Setting a également présenté à ABC des défis uniques :
- Les sessions doivent être divisées en plusieurs jours/heures
- Maintenir l'engagement des PME est plus difficile
- La technologie nécessaire pour participer peut présenter des défis
- Les PME qui travaillent dans des établissements de vente au détail ou cliniques peuvent ne pas être en mesure de répondre aux appels pendant les heures de travail
- Les PME peuvent ne pas avoir accès à un espace privé pour répondre aux appels
ABC recommande de relever les défis susmentionnés en matière d'engagement en étant plus proactif dans la planification à l'avance, en créant un calendrier adapté aux PME et pouvant être en dehors des heures normales de bureau, et en maintenant l'engagement tout au long du processus. Envisagez d'organiser une réunion "d'avant-match technologique" pour tester les connexions et résoudre les problèmes afin de renforcer la confiance dans les réunions et la collaboration virtuelles. Expliquez clairement l'engagement requis à l'avance aux PME potentielles, y compris la nécessité pour elles d'être dans un espace privé.
De par leur conception, les réunions de normalisation en personne permettent une attention ciblée des PME, de sorte que la différence la plus difficile que présentent les réunions de normalisation à distance est de faciliter le même niveau d'engagement et de communication que lors de réunions de normalisation efficaces en personne.
ÉTUDE DE CAS #2 : Commission de certification des interprètes de la santé (CCHI)
L'examen d'espagnol du CCHI nécessite des méthodes spéciales pour traiter les particularités de l'examen telles que la composante de performance bilingue (espagnol-anglais), le format d'enregistrement audio et le fait qu'il est évalué par l'homme. Ces conditions ont créé des défis pour le CCHI dans le processus d'établissement des normes à distance, en particulier dans le recrutement et la formation des PME.
Défis uniques dans le recrutement et la formation des PME :
- Les problèmes de sécurité nécessitent une attention particulière à l'intégrité personnelle et professionnelle des PME
- L'alphabétisation des PME dans les plateformes en ligne et l'interaction avec l'audio
- Vitesse importante requise de connexion à large bande
- Fourniture d'un examen audio en ligne aux PME (configuration de test supplémentaire ; problèmes informatiques)
- Les interactions de groupe sont quelque peu affaiblies (par rapport aux rencontres en personne) car il n'y a pas d'accès à d'autres PME en dehors des réunions prévues
Les examens bilingues et les examens nécessitant un format similaire nécessitent un processus non standard pour les modalités à distance et en personne. Dans la modalité à distance, une réunion d'orientation est nécessaire pour définir des attentes claires et aborder les aspects processus et technologie du projet. Il y aura plus que probablement besoin d'une formation supplémentaire sur le processus de notation humaine, les échelles et les conventions de notation. Dans ce cas, la méthode Extended Modified Angoff complétée par la méthode Beuk Relative-Absolute Compromise était l'approche la plus efficace pour déterminer les scores de coupure.
ÉTUDE DE CAS #3 : Conseil national-inter-États des Conseils d'État de cosmétologie (NIC)
Le protocole d'établissement de normes à distance utilisé pour l'examen pratique du NIC est un exemple des processus et des défis spécifiques d'un établissement de normes semi-à distance pour les examens pratiques. L'examen pratique du NIC est un examen de performance en personne utilisé pour la cosmétologie et les domaines connexes. Il est utilisé dans plusieurs États des États-Unis et généralement administré dans les bureaux du conseil d'administration ou dans les salles de conférence/de bal des hôtels. L'examen comprend plusieurs sections chronométrées et les candidats sont responsables d'apporter leurs propres fournitures. Un surveillant et des évaluateurs sont requis, et une simulation de candidat est incluse dans le processus d'établissement des normes.
Le processus d'établissement de normes pour ces examens est passé à un modèle hybride en personne/à distance en raison de la pandémie et s'est accompagné d'un certain nombre de nouveaux défis. Avant la pandémie, toutes les activités de développement de tests avaient été effectuées en personne et l'établissement de normes pratiques était la seule activité de développement de tests déterminée par le NIC comme nécessitant une présence en personne pour la simulation du candidat. On s'est demandé si la réalisation de l'examen par webinaire en temps réel ou par un examen préenregistré serait aussi efficace que les PME qui le voient en personne. En fin de compte, NIC a choisi de trouver un nouveau lieu de rencontre pour les PME et de faire participer un animateur via un webinaire.
Le processus hybride d'établissement de normes à distance/en personne comprenait une formation préliminaire pour les PME, ainsi qu'un examen des normes essentielles et du candidat cible. Une salle a été aménagée pour imiter un cadre d'examen et des rôles (tels que surveillant, examinateurs et chronométreur) ont été attribués pour la simulation du candidat. L'examen du candidat fictif a été réalisé et observé, évalué, puis discuté par les PME. Une séance de questions-réponses avec le faux candidat a suivi. Les notes Angoff ont été fournies par les PME et le faux candidat avant de se terminer par une discussion de groupe et des ajustements, puis une note finale a été établie. Même avec l'ajustement virtuel des activités de développement de test requises, il y avait plusieurs défis au processus de normalisation à distance.
Les défis de l'établissement de normes à distance
- Accès limité aux installations à l'avance
- La technologie et/ou l'équipement audiovisuel peuvent ne pas être familiers
- L'impression de documents mis à jour prend plus de temps et peut être coûteuse
- La capacité de l'animateur à fournir des commentaires éclairés est limitée
- Obstacles à l'engagement des PME
- Distribution et contrôle sécurisés des documents
- Certaines PME sont moins susceptibles de se présenter en personne en ce moment
- Des responsabilités supplémentaires incombent au représentant du client
L'établissement de normes virtuelles peut être un outil d'économie de programme lorsqu'il est exécuté correctement, avec une attention particulière aux différences entre les processus en personne et virtuels.
Considérations clés dans le processus d'établissement des normes à distance :
- Recrutement de PME : filtrez soigneusement les PME pour vous assurer que vous pouvez leur faire confiance pour accéder au contenu du test depuis chez vous, et recrutez plus de PME que nécessaire en cas d'attrition de dernière minute.
- Gestion de la communication et de l'engagement des PME avant l'événement : Décrivez clairement le niveau d'engagement afin que les PME ne soient pas surprises par le temps et les efforts nécessaires à l'élaboration d'une norme.
- Engagement des PME pendant l'événement : réfléchissez à la manière dont vous pouvez optimiser la participation à tous les stades du processus, par exemple en exigeant ou en encourageant fortement l'utilisation de la caméra pour refléter l'engagement en personne.
- Technologie : Décrivez clairement les exigences à l'avance et envisagez une réunion « d'avant-match technologique » pour assurer la pleine participation de tous. Assurez-vous que l'utilisation de la technologie et les transitions axées sur l'animateur sont fluides afin de ne pas perdre de temps.
- Sécurité : Considérez qu'il existe un niveau de risque accru inhérent à l'établissement de normes à distance. Assurez-vous que les PME signent des accords de confidentialité et comprennent leur responsabilité, et faites-en une sélection minutieuse lors du processus de recrutement.
- Des solutions créatives pour des situations/examens uniques : chaque examen est unique, mais il est possible d'adapter la modalité de normalisation virtuelle à chaque situation - même si un modèle hybride est nécessaire pour un examen pratique !
Et finalement, la considération la plus importante :
Validité : obtiendrez-vous le même niveau de validité du processus de normalisation dans un modèle virtuel ? Obtiendrez-vous le même produit (c'est-à-dire le même score de coupure) que si vous effectuiez l'établissement de la norme en personne ?