Sut i Adeiladu Diogelwch a Hyblygrwydd
Mae'n well gan rai cleientiaid arholiadau nad ydynt yn ffurflenni sefydlog, ond y gellir eu cynhyrchu'n awtomatig ac ar hap o fanc o eitemau ar yr adeg y mae'r ymgeisydd yn eistedd i lawr i'w profi. Mae gan Prometric y gallu i ddatblygu banciau arholi sy'n cefnogi sawl math o brofion banc.
Profi Llinol ar y Plu (LOFT).
LOFT yw cydosod ffurflenni cyn-hafal yn y ganolfan brofi ychydig cyn neu yn ystod gweinyddu'r prawf. Defnyddir LOFT (Ffigur 2) i gynhyrchu ffurflenni sefydlog unigryw y gellir eu cymharu ar gyfer pob sawl sy'n cymryd y prawf. Mae LOFT yn bosibl pan fydd pob eitem yn cael ei phrofi ymlaen llaw a'i rhoi ar raddfa gyffredin. I fod yn ymarferol, rhaid gweinyddu LOFT gan ddefnyddio profion cyfrifiadurol (CBT).
Bydd llunio'r ffurflen brawf yn cael effaith uniongyrchol ar adeiladu'r gronfa brawf ar gyfer profi LOFT. Mae'r mwyafrif o byllau eitemau ar gyfer LOFT yn cynnwys o leiaf 10 gwaith nifer yr eitemau prawf sydd eu hangen ar gyfer unrhyw un ffurflen. Mae pyllau eitemau yn cael eu cydosod gan ddefnyddio manylebau ystadegol a chynnwys gyda chymaint o sylw i fanylion â phe bai un prawf yn cael ei ymgynnull (Ariel, van der Linden, & Veldkamp, 2006). Mae pob cronfa eitemau wedi'i hadeiladu o TAW eitem sy'n cynnwys llawer o eitemau sydd wedi'u rhoi ar brawf gydag ystadegau eitemau a manylebau cynnwys (Way, 1998) yn ogystal â dangosyddion ar gyfer ciwio a gorgyffwrdd cynnwys. Ystlumod eitem yw'r sylfaen ar gyfer cydosod pyllau eitemau ar gyfer pensaernïaeth CBT sy'n gofyn am lawer o eitemau, megis LOFT.
LOFT gyda Testlets.
Mae LOFT ar lefel testlet yn defnyddio testlets unigryw sydd wedi'u cyn-ymgynnull yn hytrach nag eitemau unigol i adeiladu ffurflenni unigol yn y ganolfan brofi. Mae pob testlet yn cynnwys eitemau unigryw sy'n perthyn i un testlet yn unig, ac eto maent wedi'u hadeiladu i gynrychioli'r fanyleb prawf gyfan (Ffigur 3) neu gallant ganolbwyntio ar wahanol rannau o lasbrint y prawf (Ffigur 4). Mae'r mwyafrif o testlets yn cynnwys 15 i 25 o eitemau yr un yn dibynnu ar fanylebau'r prawf. Yn yr achos blaenorol mae set o geilliau cyfochrog a ddewiswyd ar hap yn cyfuno i greu'r ffurf derfynol. Yn yr achos olaf, dewisir testlet ar hap ar gyfer pob maes cynnwys a'i gyfuno i greu'r ffurflen derfynol.
Gellir adeiladu testlets gan ddefnyddio modelau theori ymateb clasurol, Rasch neu eitem. Mae LOFT gyda testlets yn briodol pan fydd eitemau'n cael eu profi ymlaen llaw a phan (a) mae glasbrint y prawf yn ddigon syml i gael ei samplu gydag un testlet a / neu (b) mae'r pwll yn ddigon mawr i greu testlets cyfochrog lluosog. Rhaid gweinyddu LOFT gyda testlets gan ddefnyddio CBT.
Mae'r gofyniad cyfaint eitem ar gyfer LOFT gyda testlets, lle mae'r testlets hynny yn gyfwerth o ran cynnwys a nodweddion ystadegol â phob testlet arall yn y pwll, tua phum ffurflen prawf hyd llawn. Wrth gwrs, mae mwy o eitemau'n trosi'n gyfuniadau mwy posibl o ffurflenni prawf unigryw, gyda'r un testlet yn ymddangos o bosibl ar lawer o wahanol ffurfiau prawf ond unigryw. Ar gyfer LOFT gyda testlets sydd wedi'u hymgynnull mewn gwahanol rannau o lasbrint y prawf, mae'r gofynion eitem yn cynyddu i tua deg ffurflen prawf hyd llawn oherwydd y gwahaniaethau yn nifer y cwestiynau sy'n ofynnol ym mhob rhan o'r glasbrint.
Mae ystlumod eitem yn gasgliadau mawr o gwestiynau sydd wedi'u rhoi ar brawf (Way, 1998) a ddefnyddir i adeiladu'r pyllau eitemau LOFT sy'n cael eu rhyddhau i'r maes i'w gweinyddu. Mae pyllau yn aml yn cael eu cylchdroi i mewn ac allan o wahanol ffenestri gweinyddu i helpu gyda rheoli datguddiad ac fel mesur gyda'r bwriad o gynnal diogelwch profion a chywirdeb y sgorau (Ariel, Veldkamp, & van der Linden, 2004). Fodd bynnag, os bydd ymdrech ar y cyd gan rai rhai sy'n cymryd prawf i dorri diogelwch cynnwys y prawf, nid yw'r mesurau cylchdroi hyn yn agored i niwed.
Ffigur 3. LOFT gyda Testlets ar Draws y Glasbrint Cyfan
Ffigur 4. LOFT gyda Testlets yn ôl Adrannau
Profi Addasol Cyfrifiadurol (CAT-FL, CAT-VL)
Mae prawf addasol cyfrifiadurol yn gweinyddu eitemau sy'n agos at lefel gallu'r sawl sy'n cymryd prawf unigol (gweler Ffigur 5). Mae hyn yn creu mesuriad mwy effeithlon nag sy'n bosibl gyda ffurfiau nad ydynt yn addasu, ond eto mae'n creu'r canfyddiad ymhlith y rhai sy'n cymryd profion bod profion CAT yn anoddach o'u cymharu â phrofion a luniwyd fel ffurfiau sefydlog. Mae'r canfyddiad hwn yn ganlyniad i'r realiti bod yr eitemau a ddewiswyd ar gyfer unrhyw un arholwr wedi'u hanelu at hyfedredd yr unigolyn hwnnw fel y'i pennwyd o eitemau blaenorol a weinyddwyd yn y sesiwn brofi. Gellir trosoli'r effeithlonrwydd mesur hwn i greu prawf hyd sefydlog (CAT-FL) sy'n esgor ar sgoriau mwy manwl gywir na ffurf nad yw'n addasol neu brawf hyd amrywiol (CAT-VL) sy'n fyrrach na ffurf nad yw'n addasol o manwl gywirdeb tebyg. Mae CAT yn fwyaf priodol pan fydd angen mesur manwl gywir ar hyd y raddfa allu. Ni fydd y nifer sy'n sgorio cywir neu wedi'u crynhoi yn gweithio gyda phrofion addasol: rhaid defnyddio dulliau sgorio Rasch neu IRT. Mae'r rhain yn ystyried paramedrau theori ymateb Rasch invariant neu eitem pob eitem sy'n cael ei hateb yn gywir neu'n anghywir. Rhaid gweinyddu CAT gan ddefnyddio CBT.
Ffigur 5. Profi Addasol Cyfrifiadurol
Profi Meistrolaeth Gyfrifiadurol (CMT)
Problem i fyrddau credentialing sy'n defnyddio dulliau gweinyddol llinol neu CAT yw bod rhai penderfyniadau pasio-methu yn cael eu gwneud yn anghywir heb unrhyw ddull i bennu na chyfyngu'r gwall penderfyniad hwnnw. Mae gwallau dosbarthu, sy'n adlewyrchu'r penderfyniadau pasio-methu anghywir hyn, yn cynnwys dau fath o wallau: (A) Pethau ffug ffug, sy'n cynnwys pasio unigolion a ddylai fethu, a (B) negatifau ffug, sy'n golygu unigolion sy'n methu a ddylai basio.
Mae'r penderfyniadau anghywir hyn yn digwydd oherwydd nad yw profion bron byth yn fesurau perffaith o'r wybodaeth a'r sgiliau o ddiddordeb. Dim ond sampl o bawb sy'n berthnasol i'r swydd o ddiddordeb y gellid bod wedi gofyn oedd cwestiynau prawf neu sefyllfaoedd problemau, a gall y rhai a ofynnwyd roi darlun camarweiniol o alluoedd rhai ymgeiswyr. Mae atebion nodweddiadol nad ydynt yn seiliedig ar gyfrifiadur i osgoi penderfyniadau anghywir am statws pasio-ymgeisydd yn cynnwys codi neu ostwng y sgôr torri ar gyfer prawf hyd sefydlog. Mae hyn yn arwain at gynyddu neu leihau maint y gwall dosbarthu pwysicaf i'r cyfeiriad a ddymunir, ond mae maint y gwall dosbarthu arall yn cael ei gynyddu neu ei leihau i'r cyfeiriad arall. Dyluniwyd profion meistrolaeth gyfrifiadurol i fanteisio ar y cyfrifiadur a datrys y broblem penderfyniad anghywir hon ar gyfer cleientiaid er nad oedd angen yr adnoddau mawr sydd eu hangen ar CAT.
Mewn prawf meistrolaeth gyfrifiadurol (CMT) , rhoddir mwy o gwestiynau i rai ymgeiswyr nag ymgeiswyr eraill. Mae'r cwestiynau mewn arholiad CMT wedi'u hisrannu'n grwpiau hyd sefydlog llai o niferoedd cyfartal o gwestiynau nad ydynt yn gorgyffwrdd sy'n cwmpasu'r holl gynnwys a ddiffinnir ym manylebau'r prawf. Dyma'r un manylebau prawf a ddeilliodd o ddadansoddiad swydd safonol. Rydyn ni'n galw'r grwpiau bach hyn o brofion cwestiynau. Mae maint y testlet a ddefnyddir mewn unrhyw archwiliad CMT yn uniongyrchol gysylltiedig â'r nifer lleiaf o gwestiynau y gellir eu gofyn ac yn dal i gwmpasu'r cynllun prawf cyfan yn gymesur. (Rydym wedi darganfod bod unrhyw le rhwng 15 a 25 cwestiwn fesul testlet yn ffitio tablau manylebau profion y rhan fwyaf o arholiadau.) Mewn arholiad CMT, byddai pob testlet yn cael ei adeiladu i fod yn union yr un fath (yn gyfartal) â phob testlet arall mewn anhawster cyfartalog a lledaeniad sgoriau byddai pob un wedi'i gynllunio i gwmpasu'r cynllun cynnwys prawf cyfan yn yr un modd.
Mewn arholiad CMT, rhoddir prawf sylfaenol i bob ymgeisydd yn gyntaf. (Gallwn feddwl am y prawf sylfaen fel cam cyntaf proses profi amlddisgyblaeth.) Mae'r prawf sylfaen yn cynnwys sawl testlet a ddewiswyd ar hap o bwll sy'n cynnwys ceilliau cyfartal nad ydynt yn gorgyffwrdd. Mae ymgeiswyr sy'n perfformio ar lefelau eithafol (uchel neu isel) ar y prawf sylfaen hwn yn cael eu pasio neu eu methu yn syth ar ôl ei gwblhau. Mae'r ymgeiswyr hynny sydd â pherfformiad canolradd - y mae gwall penderfyniad anghywir yn fwyaf tebygol ar eu cyfer - yn cael cwestiynau ychwanegol ar ffurf ceilliau sengl, gan ganiatáu cyfle ychwanegol iddynt ddangos eu bod wedi cyrraedd y safon sefydledig. Mae'r broses hon o weinyddu testlets ychwanegol i'r ymgeiswyr hynny y mae gwall penderfyniad anghywir yn fwyaf tebygol ar eu cyfer yn parhau nes cyrraedd y prawf hyd llawn, ac ar yr adeg honno gwneir penderfyniad pasio-methu terfynol yn union yr un fath â'r un a wneir mewn arholiad llinellol hyd llawn. . Mae'r sgôr torri hyd llawn olaf hon yn cael ei bennu yn yr un ffordd ag y pennir sgôr torri prawf llinellol. Cynhelir astudiaeth sgôr torri ac mae'r cleient yn penderfynu ar y sgôr torri.
Rhoddir enghraifft yn y ffigur cysylltiedig isod o sut y gallai un arholwr fynd ymlaen trwy'r CMT. Sylwch fod saith cam o brofi ac ar ôl y cam cyntaf, mae'r ymgeisydd yn dal i fod yn y rhanbarth "parhau" ac felly'n derbyn testlet ychwanegol. Mae'r broses brofi hon yn parhau yn yr enghraifft hon tan y trydydd cam, pan fydd yr arholwr yn cwympo yn y rhanbarth sy'n methu ac yn profi.
Un fantais o CMT dros brofion llinellol yw ei fod yn caniatáu i'r cleient nodi ei oddefgarwch cymharol am wneud y naill gamgymeriad penderfyniad neu'r llall. Bydd siâp y rhanbarthau pasio-methu-methu a ddangosir yn Ffigur 1 yn newid yn seiliedig ar y penderfyniadau cleientiaid hyn. Yn ogystal â gosod y sgôr torri, mae'r cleient yn penderfynu pa wall penderfyniad sy'n fwy difrifol neu a ydyn nhw yr un mor ddifrifol. Mae ein hymchwil ragarweiniol yn dangos y gallwn ddosbarthu'r rhan fwyaf o ymgeiswyr gan ddefnyddio'r model CMT ymhell o fewn y goddefiannau (colledion) hynny a fynegwyd gan y cleient.
Ail fantais i CMT dros CAT yw bod angen llai o gwestiynau i greu pwll testlet nag sy'n ofynnol i greu cronfa eitemau CAT (wedi'i graddnodi). Rydym wedi darganfod bod unrhyw le rhwng tair a phum ffurflen prawf llinellol gydag ychydig o eitemau gorgyffwrdd (cyffredin) i gyd yn angenrheidiol i ffurfio pwll testlet digonol. Hefyd, nid oes angen samplau mawr o ymgeiswyr. Rydym wedi datblygu dulliau CMT nad ydynt yn defnyddio theori ymateb eitem (IRT), ond sy'n dal i fanteisio ar y cyfrifiadur. (Mae rhai o'n modelau CMT yn defnyddio IRT, tra nad yw eraill yn gwneud hynny. Mae'n hawdd iawn esbonio'r modelau CMT hynny nad ydyn nhw'n defnyddio IRT , gan eu bod nhw'n defnyddio nifer o gwestiynau yn gywir wrth gyfrifo sgoriau.) Mewn gwirionedd, mae rhai o nid yw ein modelau CMT yn ei gwneud yn ofynnol i eitemau fod yn annibynnol yn annibynnol ar ei gilydd ac nid yw'n ofynnol bod cynnwys y prawf yn ddiamod. Mae'r rhain yn ofynion nodweddiadol mewn pyllau eitemau CAT sy'n defnyddio IRT.
Enghraifft o Sut y gallai Un Ymgeisydd Ymlaen trwy Arholiad CMT
(gweler Kim & Cohen, 1998)
Mae Prometric yn cynhyrchu adroddiad cydosod ffurflenni sy'n dal; (a) ystadegau disgrifiadol ffurf prawf yn y raddfa sgôr amrwd ac adrodd, (b) anhawster eitem, gwahaniaethu, ac ystadegau amser ymateb yn ôl eitem, (c) gwallau mesur safonol amodol ar gyfer pob sgôr bosibl (os yw'n briodol), (ch) gwybodaeth prawf a swyddogaethau nodwedd prawf os yw'n briodol, (e) cydymffurfiad pob ffurflen â glasbrint y prawf, (dd) histogramau amser prawf, a (g) cyfanswm dosraniadau sgôr y prawf os yw'n briodol.