Mae'r ddogfen hon yn disgrifio'r canllawiau cyffredinol y mae seicometregwyr mewnol Prometric yn eu defnyddio i werthuso a fflagio eitemau mewnol i'w hadolygu'n ychwanegol. Mae'r canllawiau hyn yn berthnasol i'r rhaglenni hynny sy'n defnyddio theori prawf clasurol.
|
Elfennau Ffurflen Cynulliad ac Adolygiad Ystadegol |
Manylebau / Safonau |
|---|---|
|
1. Ystod o anawsterau eitem |
P-werthoedd = .30 - .89 (gorau posibl) * |
|
2. Gwerth (au) targed ar gyfer mynegeion gwahaniaethu ar sail eitem |
rpBis> .20 |
|
3. Amodau targed ar gyfer amcangyfrifon o ddibynadwyedd cysondeb mewnol |
Alffa> .80 |
| 4. Amodau targed ar gyfer amcangyfrifon o gysondeb neu ddibynadwyedd dosbarthiad | Livingston> .80 |
|
Mae'r ystodau derbyniol yn fwy na'r ystodau gorau posibl ac fe'u heglurir isod |
Ystod Bwriedig o Anawsterau Eitem
| P-gwerth = 0.30 i 0.89 |
|---|
Mae staff prometrig wedi'u hyfforddi i gydnabod nad yw gwerthoedd-p unigol yn cynrychioli gwerth absoliwt, ailadroddadwy nac yn gwarantu dehongliad pendant. Yn hytrach, mae seicometregwyr Prometrig yn adolygu'r holl wybodaeth dadansoddi eitemau sydd ar gael i werthuso tueddiadau. Sylwch: mae p-werthoedd yn unig yn annigonol ar gyfer y mwyafrif o ddehongliadau eitem. Mae pob adolygiad eitem sylfaenol yn ymgorffori gwerthoedd-p a rpBis cyn gwneud penderfyniadau gwaredu eitemau.
| p-werth (hawdd i galed) | Dehongli Eitem |
|---|---|
|
1.00 i 0.96 |
Eitemau annerbyniol sydd â'r gwerth mesur lleiaf posibl y mae'n rhaid eu nodi i'w tynnu neu eu hadolygu gan fusnesau bach a chanolig. |
|
0.90 i 0.95 |
Eitemau hawdd iawn (annerbyniol o bosibl): adolygwch rpBis am wahaniaethu digonol. Efallai y bydd angen adolygu fy busnesau bach a chanolig. |
|
0.89 i 0.80 |
Eitemau gweddol hawdd (derbyniol): adolygwch rpBis i gadarnhau gwahaniaethu. |
|
0.79 i 0.40 |
Eitemau anodd eu cymedroli hawdd (derbyniol): defnyddiwch a yw rpBis o fewn manylebau. |
| 0.39 i 0.30 | Eitemau anodd (derbyniol): adolygwch rpBis yn agos, defnyddiwch a yw rpBis o fewn manylebau. |
| 0.29 i 0.20 | Eitemau anodd iawn (annerbyniol o bosibl): adolygu rpBis am wahaniaethu digonol. Efallai y bydd angen i fusnesau bach a chanolig eu hadolygu. |
| 0.19 i 0.00 | Eitemau annerbyniol: Anaddas o anodd neu ddiffygiol fel arall. Rhaid tynnu sylw at fusnesau bach a chanolig i'w symud neu eu hadolygu. |
Pan ganfyddir bod eitem yn ymylol, bydd datblygwyr yn edrych ar rpBis yr eitem. Os yw'r rpBis yn uchel, rhoddir mwy o oddefgarwch i gadw'r eitem honno ar yr arholiad.
Gwerth (au) Targed ar gyfer Mynegeion Gwahaniaethu Eitem
| rpBis = 0.20 i 1.00 |
|---|
Defnyddir y pwynt Biserial (rpBis) gan seicometregwyr Prometric i bennu pŵer gwahaniaethu pob eitem. Fel ystadegau clasurol eraill, nid yw'r defnydd o rpBis yn wyddor fanwl gywir. Mewn rhai achosion, gall gwerthoedd rpBis isel ddeillio o werthoedd-p arbennig o uchel neu isel, amrywiant eitem isel oherwydd tynwyr anhreiddiadwy, amrywiant sgorio isel oherwydd homogenedd ymgeiswyr, neu ddosbarthiadau sgorio sgiwiog dros ben. Felly, mae'n ofynnol i seicometregwyr Prometrig ystyried sawl ystadegau wrth iddynt adolygu dadansoddiadau eitemau. Mae Tabl 3 yn crynhoi'r canllawiau y mae datblygwyr yn eu defnyddio wrth adolygu gwahaniaethu ar sail eitemau. Sylwch fod y canllawiau hyn yn tybio bod yr eitem wedi'i bysellu'n iawn a bod y sampl o ymgeiswyr yn ddigon mawr.
|
RpBis (cryf i wan) |
Dehongli Eitem |
|---|---|
|
1.00 i 0.50 |
Cryf iawn (derbyniol) |
|
0.49 i 0.30 |
Cryf (derbyniol) |
|
0.29 i 0.20 |
Derbyniol (ond efallai y bydd angen ei adolygu) |
|
0.19 i 0.10 |
Eitemau ymylol (annerbyniol o bosibl): adolygwch destun a thynwyr yn agos. |
| 0.09 i 0.00 | Eitemau gwan (annerbyniol): mae'n debyg bod gwerthoedd-p yn uchel iawn. Baner i'w dileu neu ei hadolygu gan fusnesau bach a chanolig. |
| -0.01 i –0.20 |
Eitemau annerbyniol: anodd yn amhriodol neu ddiffygiol fel arall. Rhaid tynnu sylw at fusnesau bach a chanolig i'w symud neu eu hadolygu. |
Mae Tabl 4 yn rhestru'r dehongliadau a ddefnyddir gan y tîm seicometrig ar gyfer ystodau amrywiol o gyfernodau alffa.
|
Alffa |
Dehongliad Dibynadwyedd Cysondeb Mewnol |
|---|---|
|
Llai na 0.60 |
Cyfernodau annerbyniol sy'n gofyn am ffurflenni newydd |
|
0.60 i 0.69 |
Cyfernodau gwael sy'n gofyn am adolygu neu dynnu ffurflenni |
|
0.70 i 0.79 |
Cyfernodau ymylol a allai fod angen adolygu / adolygu ffurflenni |
|
0.80 i 0.89 |
Cyfernodau da |
|
0.90 neu uwch |
Cyfernodau rhagorol |
Yr Ystod Targed ar gyfer Amcangyfrifon o Gysondeb Dosbarthiad neu Ddibynadwyedd y Penderfyniad Llwyddo / Methu
|
r = 0.80 neu uwch |
|---|
Dewisodd Prometric ddull colli gwall sgwâr Livingston ar gyfer dibynadwyedd cysondeb penderfyniadau cyfrifiadurol. Dewiswyd y dull hwn oherwydd gellir ei ddehongli fel mesurau dibynadwyedd eraill (trafodwyd uchod). Mae'n llawer llai cymhleth na dulliau colli trothwy, a gellir ei redeg ar gyfer pob ffurflen weinyddiaeth sengl. Mae'r defnydd o'r ystadegyn hwn yn gyson â Safon 2.3 yn y Safonau ar gyfer Profi Addysgol a Seicolegol, t. 20.
Argymhellion Prometrig - Cymarebau Banc Eitem
Nodir safonau mewnol Prometric ac argymhellion cleientiaid ar gyfer banciau eitemau yn Nhabl 1 isod.
|
Lefel Argymhelliad |
Ystod |
|---|---|
|
1. Ystod Targed Lleiaf |
1.5 i 2 gwaith nifer yr eitemau ar bob ffurflen |
|
2. Ystod Targed Derbyniol |
2 i 3 gwaith nifer yr eitemau ar bob ffurflen |
|
3. Ystod Targed Gorau |
3 i 5 gwaith nifer yr eitemau ar bob ffurflen |
Dychwelwch i Dudalen Effeithlonrwydd Prawf ac Amddiffynadwyedd Cyfreithiol