Ce document décrit les directives générales par lesquelles les psychométriciens internes Prometric évaluent et signalent les éléments internes pour un examen supplémentaire. Ces directives s'appliquent aux programmes qui utilisent la théorie des tests classique.
|
Éléments de l'assemblage du formulaire et de l'examen statistique |
Spécifications / normes |
|---|---|
|
1. Gamme de difficultés des articles |
Valeurs P = 0,30 - 0,89 (optimal) * |
|
2. Valeur (s) cible (s) pour les indices de discrimination des articles |
rpBis> .20 |
|
3. Plages cibles pour les estimations de la fiabilité de la cohérence interne |
Alpha> .80 |
| 4. Plages cibles pour les estimations de la cohérence ou de la fiabilité de la classification | Livingston> .80 |
|
Les plages acceptables sont plus grandes que les plages optimales et sont expliquées ci-dessous |
Gamme prévue de difficultés d'objet
| Valeur P = 0,30 à 0,89 |
|---|
Le personnel de Prometric est formé pour reconnaître que les valeurs p individuelles ne représentent ni une valeur absolue et reproductible ni ne justifient une interprétation concrète. Les psychométriciens prométriques examinent plutôt toutes les informations d'analyse des éléments disponibles pour évaluer les tendances. Remarque: les valeurs de p seules sont insuffisantes pour la plupart des interprétations d'items. Tous les examens élémentaires des articles intègrent les valeurs p et les rpBis avant de prendre des décisions d'élimination des articles.
| valeur p (facile à difficile) | Interprétation de l'article |
|---|---|
|
1,00 à 0,96 |
Éléments inacceptables avec une valeur de mesure minimale qui doivent être signalés pour suppression ou révision par les PME. |
|
0,90 à 0,95 |
Éléments très faciles (éventuellement inacceptables): passez en revue rpBis pour une discrimination adéquate. Peut avoir besoin de revoir mes PME. |
|
0,89 à 0,80 |
Éléments assez faciles (acceptables): passez en revue rpBis pour confirmer la discrimination. |
|
0,79 à 0,40 |
Éléments difficiles à modérément faciles (acceptables): à utiliser si rpBis est conforme aux spécifications. |
| 0,39 à 0,30 | Éléments difficiles (acceptables): examinez attentivement rpBis, utilisez-le si rpBis est conforme aux spécifications. |
| 0,29 à 0,20 | Éléments très difficiles (peut-être inacceptables): passez en revue rpBis pour une discrimination adéquate. Peut nécessiter un examen par les PME. |
| 0,19 à 0,00 | Éléments inacceptables: difficiles ou autrement défectueux. Doit être signalé pour suppression ou révision par les PME. |
Lorsqu'un élément s'avère marginal, les développeurs examinent le rpBis de l'élément. Si le rpBis est élevé, une plus grande tolérance est accordée pour conserver cet élément à l'examen.
Valeur (s) cible (s) pour les indices de discrimination d'articles
| rpBis = 0,20 à 1,00 |
|---|
Le point bisériel (rpBis) est utilisé par les psychométriciens prométriques pour déterminer le pouvoir de discrimination de chaque élément. Comme d'autres statistiques classiques, l'utilisation de rpBis n'est pas une science exacte. Dans certains cas, de faibles valeurs de rpBis peuvent résulter de valeurs de p particulièrement élevées ou faibles, d'une faible variance des éléments due à des distracteurs invraisemblables, d'une faible variance de score due à l'homogénéité des candidats ou de distributions de notation extrêmement asymétriques. Par conséquent, les psychométriciens prométriques sont tenus de prendre en compte plusieurs statistiques lorsqu'ils examinent les analyses d'éléments. Le tableau 3 résume les directives que les développeurs utilisent lors de l'examen de la discrimination des éléments. Notez que ces directives supposent que l'élément est correctement saisi et que l'échantillon de candidats est suffisamment grand.
|
RpBis (fort à faible) |
Interprétation de l'article |
|---|---|
|
1,00 à 0,50 |
Très fort (acceptable) |
|
0,49 à 0,30 |
Fort (acceptable) |
|
0,29 à 0,20 |
Acceptable (mais peut nécessiter un examen) |
|
0,19 à 0,10 |
Éléments marginaux (éventuellement inacceptables): examinez attentivement le texte et les distracteurs. |
| 0,09 à 0,00 | Éléments faibles (inacceptables): les valeurs de p sont probablement très élevées. Indicateur de suppression ou de révision par les PME. |
| -0,01 à –0,20 |
Éléments inacceptables: difficiles de manière inappropriée ou autrement défectueux. Doit être signalé pour suppression ou révision par les PME. |
Le tableau 4 répertorie les interprétations utilisées par l'équipe psychométrique pour différentes plages de coefficients alpha.
|
Alpha |
Interprétation de la fiabilité de la cohérence interne |
|---|---|
|
Moins de 0,60 |
Coefficients inacceptables nécessitant de nouvelles formes |
|
0,60 à 0,69 |
Mauvais coefficients qui nécessitent une révision ou une suppression de formulaire |
|
0,70 à 0,79 |
Coefficients marginaux pouvant nécessiter un examen / une révision du formulaire |
|
0,80 à 0,89 |
Bons coefficients |
|
0,90 ou plus |
Excellents coefficients |
La plage cible pour les estimations de la cohérence de la classification ou de la fiabilité de la décision de réussite / d'échec
|
r = 0,80 ou plus |
|---|
Prometric a sélectionné la méthode de perte par erreur quadratique de Livingston pour calculer la fiabilité de la cohérence des décisions. Cette méthode a été choisie car elle peut être interprétée comme d'autres mesures de fiabilité (discutées ci-dessus). Elle est beaucoup moins complexe que les méthodes de perte de seuil et peut être exécutée pour tous les formulaires à administration unique. L'utilisation de cette statistique est conforme à la norme 2.3 des Normes pour les tests éducatifs et psychologiques, p. 20.
Recommandations Prometric - Ratios de banques d'articles
Les normes internes de Prometric et les recommandations des clients pour les banques d'articles sont indiquées dans le tableau 1 ci-dessous.
|
Niveau de recommandation |
Gamme |
|---|---|
|
1. Plage cible minimale |
1,5 à 2 fois le nombre d'articles par formulaire |
|
2. Plage cible acceptable |
2 à 3 fois le nombre d'articles par formulaire |
|
3. Plage cible optimale |
3 à 5 fois le nombre d'articles par formulaire |
Retour à la page Efficacité des tests et légitimité de la défense