Acest document descrie orientările generale prin care psihometricienii prometrici interni evaluează și indică articolele interne pentru revizuire suplimentară. Aceste linii directoare se aplică programelor care utilizează teoria clasică a testelor.
|
Elemente de asamblare a formularului și revizuire statistică |
Specificații / Standarde |
|---|---|
|
1. Gama de dificultăți ale articolului |
P-valori = .30 - .89 (optim) * |
|
2. Valoarea-țintă pentru indicii de discriminare pe elemente |
rpBis> .20 |
|
3. Intervaluri țintă pentru estimări ale fiabilității consistenței interne |
Alfa> .80 |
| 4. Intervaluri țintă pentru estimări de coerență sau fiabilitate a clasificării | Livingston> .80 |
|
Intervalele acceptabile sunt mai mari decât cele optime și sunt explicate mai jos |
Intervalul intenționat de dificultăți ale elementelor
| Valoarea P = 0,30 până la 0,89 |
|---|
Personalul prometric este instruit să recunoască faptul că valorile p individuale nu reprezintă nici o valoare absolută, repetabilă și nici nu necesită o interpretare concretă. Mai degrabă, psihometricienii prometrici analizează toate informațiile de analiză disponibile pentru a evalua tendințele. Notă: valorile p singure sunt insuficiente pentru majoritatea interpretărilor. Toate recenziile de bază ale articolului includ valori p și rpBis înainte de luarea deciziilor privind dispunerea articolului.
| valoare p (ușor de dur) | Interpretarea articolului |
|---|---|
|
1,00 până la 0,96 |
Articole inacceptabile cu o valoare minimă de măsurare, care trebuie semnalizate pentru eliminare sau revizuire de către IMM-uri. |
|
0,90 până la 0,95 |
Articole foarte ușoare (posibil inacceptabile): consultați rpBis pentru discriminare adecvată. Poate avea nevoie să-mi revizuiască IMM-urile. |
|
0,89 până la 0,80 |
Articole destul de ușoare (acceptabile): consultați rpBis pentru a confirma discriminarea. |
|
0,79 până la 0,40 |
Articole greu acceptabile (acceptabile): se utilizează dacă rpBis se încadrează în specificații. |
| 0,39 până la 0,30 | Elemente dificile (acceptabile): consultați rpBis îndeaproape, utilizați dacă rpBis se încadrează în specificații. |
| 0,29 până la 0,20 | Articole foarte dificile (posibil inacceptabile): consultați rpBis pentru discriminare adecvată. Poate avea nevoie de revizuirea IMM-urilor. |
| 0,19 până la 0,00 | Articole inacceptabile: necorespunzător dificile sau defecte. IMM-urile trebuie să fie semnalate pentru eliminare sau revizuire de către IMM-uri. |
Când se constată că un articol este marginal, dezvoltatorii se uită la rpBis-ul articolului. Dacă rpBis este mare, se acordă mai multă toleranță pentru a menține acel element la examen.
Valoarea-țintă pentru indicii de discriminare a articolului
| rpBis = 0,20 la 1,00 |
|---|
Punctul Biserial (rpBis) este folosit de psihometricienii prometrici pentru a determina puterea de discriminare a fiecărui element. Ca și alte statistici clasice, utilizarea rpBis nu este o știință exactă. În unele cazuri, valorile rpBis scăzute pot rezulta din valori p deosebit de mari sau mici, variație scăzută a elementului datorită distractoarelor neplazibile, variație scăzută a scorului datorită omogenității candidaților sau distribuții de punctaj extrem de slabe. Prin urmare, psihometricienii prometrici trebuie să țină cont de mai multe statistici în timp ce revizuiesc analizele articolului. Tabelul 3 rezumă liniile directoare pe care dezvoltatorii le utilizează atunci când examinează discriminarea articolului. Rețineți că aceste orientări presupun că articolul este chemat corect și eșantionul de candidați este suficient de mare.
|
RpBis (puternic până la slab) |
Interpretarea articolului |
|---|---|
|
1,00 până la 0,50 |
Foarte puternic (acceptabil) |
|
0,49 până la 0,30 |
Puternic (acceptabil) |
|
0,29 până la 0,20 |
Acceptabil (dar poate avea nevoie de recenzie) |
|
0,19 până la 0,10 |
Elemente marginale (posibil inacceptabile): revizuiți textul și distractorii îndeaproape. |
| 0,09 până la 0,00 | Elemente slabe (inacceptabile): valorile p sunt probabil foarte mari. Drapel pentru eliminare sau revizuire de către IMM-uri. |
| -0.01 până la –0.20 |
Articole inacceptabile: dificil sau necorespunzător în mod inadecvat. IMM-urile trebuie să fie semnalate pentru eliminare sau revizuire de către IMM-uri. |
Tabelul 4 prezintă interpretările utilizate de echipa psihometrică pentru diferite intervale de coeficienți alfa.
|
Alfa |
Consistența internă Interpretarea fiabilității |
|---|---|
|
Mai puțin de 0,60 |
Coeficienți inacceptabili care necesită forme noi |
|
0,60 până la 0,69 |
Coeficienții săraci care necesită revizuirea sau eliminarea formularului |
|
0,70 până la 0,79 |
Coeficienții marginali care pot necesita revizuirea / revizuirea formularului |
|
0,80 până la 0,89 |
Coeficienți buni |
|
0,90 sau mai mare |
Coeficienți excelenți |
Intervalul țintă pentru estimarea coerenței sau fiabilității deciziei de trecere / eșec
|
r = 0,80 sau mai mare |
|---|
Prometric a selectat metoda de pierdere a erorilor pătrate de Livingston pentru calcularea fiabilității consistenței deciziei. Această metodă a fost selectată deoarece poate fi interpretată ca și alte măsuri de fiabilitate (discutate mai sus). Este mult mai puțin complexă decât metodele de pierdere a pragului și poate fi rulată pentru toate formele de administrare unică. Utilizarea acestei statistici este în concordanță cu Standardul 2.3 din Standardele de testare educațională și psihologică, pag. 20.
Recomandări prometrice - Rapoarte bancare ale articolelor
Standardele interne și recomandările clienților pentru băncile de articole ale Prometric sunt menționate în tabelul 1 de mai jos.
|
Nivelul recomandărilor |
Gamă |
|---|---|
|
1. Intervalul țintă minim |
1,5 - 2 ori număr de articole pe formular |
|
2. Intervalul de țintă acceptabil |
De 2 până la 3 ori numărul de articole pe formular |
|
3. Domeniul optim de țintă |
De 3 până la 5 ori numărul de articole pe formular |
Revenire la pagina privind eficiența testului și definirea legală