Questo documento descrive le linee guida generali in base alle quali gli psicometrici interni Prometric valutano e contrassegnano gli oggetti interni per un'ulteriore revisione. Queste linee guida si applicano a quei programmi che utilizzano la teoria dei test classica.
|
Elementi di assemblaggio di moduli e revisione statistica |
Specifiche / Standard |
|---|---|
|
1. Gamma di difficoltà dell'articolo |
Valori P = .30 - .89 (ottimale) * |
|
2. Valori target per gli indici di discriminazione degli articoli |
rpBis> .20 |
|
3. Intervalli target per la stima dell'affidabilità della coerenza interna |
Alpha> .80 |
| 4. Intervalli target per le stime di coerenza o affidabilità della classificazione | Livingston> .80 |
|
Gli intervalli accettabili sono maggiori degli intervalli ottimali e sono spiegati di seguito |
Gamma prevista di difficoltà dell'oggetto
| Valore P = da 0,30 a 0,89 |
|---|
Il personale di Prometric è addestrato a riconoscere che i singoli valori p non rappresentano né un valore assoluto, ripetibile né giustificano un'interpretazione concreta. Piuttosto, gli psicometrici Prometric esaminano tutte le informazioni di analisi degli oggetti disponibili per valutare le tendenze. Nota: i soli valori p non sono sufficienti per la maggior parte delle interpretazioni degli elementi. Tutte le revisioni di base degli articoli incorporano valori p e rpBis prima di prendere decisioni sulla disposizione degli articoli.
| valore p (da facile a difficile) | Interpretazione dell'oggetto |
|---|---|
|
Da 1.00 a 0.96 |
Articoli inaccettabili con un valore di misurazione minimo che devono essere contrassegnati per la rimozione o la revisione da parte delle PMI. |
|
Da 0,90 a 0,95 |
Articoli molto facili (forse inaccettabili): rivedere rpBis per un'adeguata discriminazione. Potrebbe essere necessario rivedere le mie PMI. |
|
Da 0,89 a 0,80 |
Articoli abbastanza facili (accettabili): rivedere rpBis per confermare la discriminazione. |
|
Da 0,79 a 0,40 |
Elementi difficili o moderatamente facili (accettabili): utilizzare se rpBis rientra nelle specifiche. |
| Da 0,39 a 0,30 | Elementi difficili (accettabili): rivedere attentamente rpBis, utilizzare se rpBis rientra nelle specifiche. |
| Da 0,29 a 0,20 | Elementi molto difficili (forse inaccettabili): rivedere rpBis per un'adeguata discriminazione. Potrebbe essere necessario un riesame da parte delle PMI. |
| Da 0,19 a 0,00 | Articoli inaccettabili: inadeguatamente difficili o altrimenti imperfetti. Deve essere contrassegnato per la rimozione o la revisione da parte delle PMI. |
Quando un articolo risulta essere marginale, gli sviluppatori osservano l'rpBis dell'elemento. Se rpBis è alto, viene data più tolleranza per mantenere quell'oggetto nell'esame.
Valore / i obiettivo / i per gli indici di discriminazione degli articoli
| rpBis = da 0,20 a 1,00 |
|---|
Il punto Biserial (rpBis) viene utilizzato dagli psicometrici Prometric per determinare il potere di discriminazione di ciascun oggetto. Come altre statistiche classiche, l'uso di rpBis non è una scienza esatta. In alcuni casi, valori rpBis bassi possono derivare da valori p particolarmente alti o bassi, bassa varianza degli oggetti dovuta a distrattori non plausibili, bassa varianza di punteggio dovuta all'omogeneità dei candidati o distribuzioni di punteggio estremamente distorte. Pertanto, gli psicometrici Prometric sono tenuti a prendere in considerazione diverse statistiche durante la revisione delle analisi degli articoli. La Tabella 3 riassume le linee guida utilizzate dagli sviluppatori durante la revisione della discriminazione degli articoli. Si noti che queste linee guida presuppongono che l'articolo sia correttamente codificato e che il campione di candidati sia sufficientemente grande.
|
RpBis (da forte a debole) |
Interpretazione dell'oggetto |
|---|---|
|
1,00 a 0,50 |
Molto forte (accettabile) |
|
Da 0,49 a 0,30 |
Forte (accettabile) |
|
Da 0,29 a 0,20 |
Accettabile (ma potrebbe essere necessario un riesame) |
|
Da 0,19 a 0,10 |
Elementi marginali (forse inaccettabili): rivedi attentamente testo e distrattori. |
| Da 0,09 a 0,00 | Oggetti deboli (inaccettabili): i valori di p sono probabilmente molto alti. Flag per rimozione o revisione da parte delle PMI. |
| Da -0,01 a -0,20 |
Articoli inaccettabili: inadeguatamente difficili o altrimenti imperfetti. Deve essere contrassegnato per la rimozione o la revisione da parte delle PMI. |
La tabella 4 elenca le interpretazioni utilizzate dal team psicometrico per varie gamme di coefficienti alfa.
|
Alfa |
Interpretazione dell'affidabilità di coerenza interna |
|---|---|
|
Meno di 0,60 |
Coefficienti inaccettabili che richiedono nuove forme |
|
Da 0,60 a 0,69 |
Scarsi coefficienti che richiedono la revisione o la rimozione del modulo |
|
Da 0,70 a 0,79 |
Coefficienti marginali che possono richiedere la revisione / revisione del modulo |
|
Da 0,80 a 0,89 |
Buoni coefficienti |
|
0,90 o superiore |
Coefficienti eccellenti |
L'intervallo target per le stime della coerenza della classificazione o dell'affidabilità della decisione Pass / Fail
|
r = 0,80 o superiore |
|---|
Prometric ha selezionato il metodo di perdita degli errori quadrati di Livingston per il calcolo dell'affidabilità della coerenza delle decisioni. Questo metodo è stato selezionato perché può essere interpretato come altre misure di affidabilità (discusse sopra). È molto meno complesso dei metodi di perdita soglia e può essere eseguito per tutti i moduli a singola amministrazione. L'uso di questa statistica è coerente con lo standard 2.3 negli standard per i test educativi e psicologici, pag. 20.
Consigli prometrici - Rapporti bancari degli articoli
Gli standard interni di Prometric e le raccomandazioni dei clienti per le banche di articoli sono indicati nella Tabella 1 di seguito.
|
Livello di raccomandazione |
Gamma |
|---|---|
|
1. Intervallo target minimo |
Numero da 1,5 a 2 volte di articoli per modulo |
|
2. Target Range accettabile |
Numero di articoli da 2 a 3 volte per modulo |
|
3. Intervallo target ottimale |
Numero di articoli da 3 a 5 volte per modulo |
Ritorna alla pagina relativa all'efficienza del test e alla difendibilità legale