Prometric possède une vaste expérience dans la transition de programmes de la livraison sur papier à la livraison sur ordinateur. Le département de développement des tests est composé de psychométriciens qui ont directement participé à la recherche et à l'application de méthodologies pour aider à assurer un impact minimal sur les performances des candidats lors d'une telle transition.
Recherche
Étant donné que les tests sur ordinateur (TCC) sont devenus extrêmement prolifiques au cours des 10 à 15 dernières années, la quantité de recherches de l'industrie sur la comparabilité entre les examens sur papier et sur ordinateur a considérablement augmenté. Comme on pouvait s'y attendre, les résultats de la recherche qui étaient communs lors de l'introduction initiale des ordinateurs dans la population testée ne sont plus pertinents pour les populations candidates entrant dans l'environnement de test aujourd'hui. Comme les populations candidates ont évolué dans leur exposition, leur accès et leur familiarité avec les ordinateurs, les effets de l'introduction des examens sur ordinateur ont considérablement diminué. Cela a été vrai dans les multiples segments candidats, car la disponibilité des ordinateurs a augmenté de façon exponentielle dans tous les sous-groupes de population.
En résumant les résultats des multiples études menées au cours des 5 à 10 dernières années (la plus récente ayant été réalisée en 1997), les principaux points identifiés dans le domaine de recherche sont les suivants:
- La taille des effets sur la performance à l'examen pour les tests sur papier par rapport aux tests sur ordinateur est généralement statistiquement non significative (p> 0,05), ce qui ne suggère aucune différence substantielle entre les deux méthodes de test.
- L'analyse de la fonctionnalité différentielle des articles (DIF) sur les articles individuels livrés sur papier par rapport à l'ordinateur indique généralement que lorsque les types d'articles sont propices aux deux méthodes de livraison, les performances des articles dans les deux canaux de livraison sont comparables.
- Une communication claire avec le bassin de candidats concernant la remise d'examens informatisés peut encore réduire les risques que le mode de livraison affecte les performances finales des candidats.
- La préparation et la pratique dans un environnement de test simulé (par le biais d'un examen pratique et / ou d'un tutoriel avant le test en direct) peuvent réduire l'anxiété des performances des candidats et contribuer davantage à un résultat de test équitable.
En plus des recherches théoriques disponibles dans l'industrie des tests, Prometric possède également une expérience pratique dans l'évaluation et la comparaison des performances des candidats sur plusieurs canaux de distribution. Nous avons réussi à faire migrer un grand nombre de clients d'un mode de livraison à un autre et nous avons systématiquement évalué les performances des candidats pour nous assurer que tous les candidats ont une chance équitable d'afficher leurs connaissances (indépendamment du canal utilisé). En outre, Prometric compte un certain nombre de clients qui utilisent un modèle de double distribution (sur papier et sur ordinateur), qui permet également de surveiller en permanence la comparabilité des performances des examens et des performances des éléments individuels dans les multiples environnements de test. Les résultats de Prometric reflètent systématiquement ceux mentionnés ci-dessus de la communauté générale des tests et nous avons été en mesure de développer et de faire progresser des approches qui garantissent le résultat souhaité.
Entraine toi
Lors de la migration d'un programme d'examen, plusieurs étapes doivent être prises en compte. Bien qu'il existe un grand nombre de tâches individuelles, les principales activités sont les suivantes:
- Évaluation de la banque d'articles actuelle Une évaluation de la banque d'articles actuelle sur papier est généralement effectuée au début du projet pour garantir l'applicabilité à un environnement informatique et pour recueillir des statistiques de référence pour une évaluation future.
- Modification de la présentation de l'item Si nécessaire, Prometric fait des recommandations sur les modifications individuelles de l'item pour augmenter la probabilité de performances équitables à l'examen global dans un environnement informatique.
- Préparer un effort de communication avec les candidats. Prometric travaille avec les clients pour s'assurer qu'une campagne de communication appropriée est développée pour la population candidate avant l'introduction d'un nouveau modèle de livraison.
- Préparer des exemples d'examens et / ou de tutoriels Prometric prépare des examens pratiques et / ou des tutoriels qui sont fournis au candidat avant un examen en direct pour augmenter le niveau de confort de la population candidate avec le modèle de livraison de test.
- Analyse des examens et des éléments En utilisant les données de base collectées à l'étape 2, Prometric évaluera les performances au niveau des examens et des éléments pour garantir la comparabilité des performances des candidats.
- Surveillance et maintenance continues L'évaluation du modèle de livraison ne s'arrête pas après la confirmation initiale de la comparabilité. Les psychométriciens prométriques surveilleront en permanence les performances des éléments et des examens USPS pour s'assurer qu'ils fonctionnent dans des paramètres statistiques acceptables et pour prévoir les futurs besoins de développement de tests.
Prometric intègre les méthodologies ci-dessus dans nos processus de développement et de livraison de tests pour garantir un processus équitable, valide et légalement défendable pour tous les candidats. Notre expérience dans la mise en œuvre réussie des examens sur ordinateur est jumelée à nos processus éprouvés pour assurer la qualité du produit et les performances tout au long du cycle de vie des examens.