"Validitet refererer til i hvilken grad evidens og teori understøtter fortolkningen af testresultater for foreslåede anvendelser af test. Validitet er derfor den mest grundlæggende overvejelse ved udvikling af tests og evaluering af tests." ( Standards for Educational and Psychological Testing , s. 11)
Siden pandemien begyndte, og testindustrien oplevede en større rystelse, har megen diskussion og forskning centreret sig omkring gyldigheden af fjerntestning kontra mursten og mørtel test, men vi har hørt mindre om gyldigheden af fjerntestudviklingsprocesser versus personlige testudviklingsprocesser. Hvis du plejede at gennemføre de fleste af dine testudviklingsmøder personligt, men har skiftet til virtuelle, har du så taget et skridt tilbage for at overveje validiteten af dine processer, og om du stadig får det samme resultat ved at udføre dem virtuelt?
I testudviklingens verden er Standard Setting en af de vigtigste komponenter. Standardindstillingsprocessen definerer, hvad en bestået score er, og hvad det betyder, at nogen har bestået eksamen. Standardindstilling forbinder direkte med validitet, som afgør, om vi har beviserne til at understøtte, at bruge testresultater til at træffe beslutninger.
Blandt testudviklingsaktiviteter er standardindstilling enestående udfordrende at facilitere eksternt på grund af følgende overvejelser:
Sikkerhedsbekymringer : Fageksperter (SMV'er) har fuld adgang til eksamensindhold.
Kompleksitet : Processen kan være svær at forklare og fordøje.
Engagement på højt niveau : Kvalitetsstandardindstilling kræver det højeste niveau af SMV-engagement. Delvis eller passiv deltagelse vil gøre det muligt at overse vigtige procedurer og overvejelser og ikke undersøge dem.
Ikke let revideret : Når den er færdig, er standarden for en test meget vanskelig og trættende at ændre. Etablerede cut-scores kræver en enorm indsats for at opdatere, og når de først er administreret, kan eventuelle ændringer af cut-scores påvirke kandidaterne negativt.
Casestudierne nedenfor illustrerer tre succesfulde modeller for virtuel standardindstilling, der hver involverer unikke udfordringer og løsninger.
CASE STUDY #1 : American Board for Certification in Orthotics, Prosthetics and Pedorthics (ABC)
- Særlige udfordringer for små-volumen eksamensprogrammer
CASE STUDY #2 : Certification Commission for Healthcare Tolke (CCHI)
- Særlige metoder til CHI ™ -spansk eksamen
CASE STUDY #3 : National-Interstate Council of State Boards of Cosmetology (NIC)
- Specifikke processer og udfordringer ved en semi-fjern standardindstilling for praktiske prøver
Til kontekst er der 8 nøgletrin i en typisk Modified Angoff Standard Setting-proces:
- SMV rekruttering
- Uddannelse
- Diskussion af den minimalt kvalificerede eller grænsekandidat
- Øv vurderinger
- Angoff-bedømmelser: runde 1
- Gruppediskussion af markerede emner
- Angoff-bedømmelser: runde 2
- Endelig anbefalet snitscore
CASE STUDY #1: American Board for Certification in Orthotics, Prosthetics and Pedorthics (ABC)
ABC har flere små-volumen eksamensprogrammer inden for ortotik, protetik og relaterede discipliner. Certifikater kan arbejde tekniske job, have varierende uddannelsesniveauer, og nogle arbejder endda i detail-lignende omgivelser.
Remote Standard Setting gav en række fordele for ABC's programmer:
- SMV'er behøver ikke at rejse
- Sparer på omkostninger og koordineringsindsats
- Evne til at udnytte en meget bredere valgkreds af SMV'er
- Evne til at erstatte SMV'er med kort varsel
Remote Standard Setting gav også ABC unikke udfordringer:
- Sessioner skal opdeles i flere dage/tider
- Det er mere udfordrende at fastholde SMV'ernes engagement
- Teknologi, der er nødvendig for at deltage, kan give udfordringer
- SMV'er, der arbejder i detailhandel eller kliniske omgivelser, kan muligvis ikke forpligte sig til opkald i arbejdstiden
- SMV'er har muligvis ikke adgang til privat plads til at være på opkald
ABC anbefaler at tage fat på ovenstående udfordringer for engagement ved at være mere proaktiv i planlægningen fremad, skabe en tidsplan, der er skræddersyet til SMV'erne og kan være uden for normal åbningstid, og vedligeholde engagementet gennem hele processen. Overvej at holde et "teknologi-forspil"-møde for at teste forbindelser og fejlfinde for at opbygge tillid til at mødes og samarbejde virtuelt. Forklar på forhånd tydeligt det nødvendige engagement til potentielle SMV'er, herunder behovet for, at de befinder sig i et privat rum.
Ved design giver personlige standardmøder mulighed for fokuseret opmærksomhed fra SMV'er, så den mest udfordrende forskel på fjernstandardmøder, der er til stede, er at facilitere det samme niveau af engagement og kommunikation, som opleves i effektive, personlige standardmøder.
CASE STUDY #2: Certification Commission for Healthcare Tolke (CCHI)
CCHIs spanske eksamen kræver specielle metoder til at adressere eksamens særegenheder såsom den tosprogede (spansk-engelsk) præstationskomponent, lydoptagelsesformat og det faktum, at det er menneskeligt vurderet. Disse forhold skabte udfordringer for CCHI i fjernstandardiseringsprocessen, specifikt i SMV-rekruttering og -uddannelse.
Unikke udfordringer i SMV-rekruttering og -uddannelse:
- Sikkerhedshensyn kræver en særlig vægt på SMV'ers personlige og professionelle integritet
- SMV'ers læsefærdigheder i onlineplatforme og interaktion med lyd
- Kræver betydelig hastighed af bredbåndsforbindelse
- Levering af en lydeksamen online til SMV'er (ekstra testkonfiguration; IT-problemer)
- Gruppeinteraktioner er noget svækket (sammenlignet med personligt), da der ikke er adgang til andre SMV'er uden for planlagte møder
Tosprogede eksamener og eksamener, der kræver lignende format, kræver en ikke-standardproces for både fjern- og personlige modaliteter. I fjernmodaliteten er der behov for et orienteringsmøde for at opstille klare forventninger og behandle proces- og teknologiaspekter af projektet. Der vil højst sandsynligt være behov for yderligere træning om den menneskelige vurderingsproces, skalaer og vurderingskonventioner. I dette tilfælde var Extended Modified Angoff-metoden suppleret med Beuk Relative-Absolute Compromise-metoden den mest effektive tilgang til at bestemme cut-scores.
CASE STUDY #3: National-Interstate Council of State Boards of Cosmetology (NIC)
Den eksterne standardindstillingsprotokol, der bruges til NIC Practical Examination, er et eksempel på de specifikke processer og udfordringer ved en semi-fjern standardindstilling til praktiske prøver. NIC Practical Examination er en personlig præstationseksamen, der bruges til kosmetologi og relaterede områder. Det bruges i flere stater over hele USA og administreres typisk i bestyrelseskontorer eller hotelkonferencer/balsale. Eksamenen består af flere tidsbestemte sektioner, og kandidater er ansvarlige for at medbringe deres egne forsyninger. En proctor og bedømmere er påkrævet, og en mock-kandidatgennemgang er inkluderet i standardindstillingsprocessen.
Standardindstillingsprocessen for disse eksamener blev ændret til en hybrid personlig/fjernbetjeningsmodel på grund af pandemien og blev ledsaget af en række nye udfordringer. Før pandemien var alle testudviklingsaktiviteter blevet udført personligt, og praktisk standardindstilling var den eneste testudviklingsaktivitet, som NIC havde bestemt til at kræve en personlig tilstedeværelse for den falske kandidatgennemgang. Der var et spørgsmål om, hvorvidt det ville være lige så effektivt at gennemføre eksamensgennemgangen over webinar i realtid eller en forudoptaget gennemgang, som SMV'erne ser det personligt. I sidste ende valgte NIC at finde et nyt sted, hvor SMV'er kunne mødes og få en facilitator til at deltage via webinar.
Den hybride fjern-/personstandardindstillingsproces inkluderede en indledende SMV-uddannelse samt gennemgang af de kritiske standarder og målkandidaten. Et rum blev indrettet til at efterligne en eksamensindstilling, og roller (såsom proctor, eksaminatorer og tidtager) blev tildelt til den falske kandidatgennemgang. Den falske kandidatgennemgang blev udført og observeret, bedømt og derefter diskuteret af SMV'er. En Q&A-session med den falske kandidat fulgte. Angoff-vurderinger blev givet af SMV'er og den falske kandidat, før de sluttede med en gruppediskussion og justeringer, og derefter blev en endelig cut-score fastsat. Selv med den virtuelle justering af de påkrævede testudviklingsaktiviteter var der adskillige udfordringer ved fjernstandardindstillingsprocessen.
Udfordringer til fjernstandardindstilling
- Begrænset adgang til faciliteter på forhånd
- Teknologi og/eller audiovisuelt udstyr kan være ukendt
- Udskrivning af opdaterede materialer er mere tidskrævende og muligvis dyrt
- Facilitatorens evne til at give kyndige input er begrænset
- Barrierer for SMV-engagement
- Sikker dokumentdistribution og kontrol
- Nogle SMV'er er mindre tilbøjelige til at deltage personligt på dette tidspunkt
- Yderligere ansvar påhviler klientrepræsentanten
Virtuel standardindstilling kan være et programbesparende værktøj, når det udføres korrekt, med omhyggelig overvejelse af forskellene mellem personlige og virtuelle processer.
Nøgleovervejelser i processen med fjernstandardindstilling :
- SMV-rekruttering: Undersøg SMV'erne grundigt for at sikre, at du kan stole på, at de får adgang til testindhold hjemmefra, og rekruttere flere SMV'er end nødvendigt i tilfælde af nedslidning i sidste øjeblik.
- Kommunikation og SMV-engagementstyring før arrangementet: Angiv tydeligt niveauet af engagement, så SMV'er ikke bliver overrasket over, hvor meget tid og kræfter, der er involveret i en standardindstilling.
- SMV-engagement under arrangementet: Overvej, hvordan du kan optimere deltagelse på alle punkter i processen, såsom at kræve eller kraftigt opmuntre kamerabrug til at afspejle personligt engagement.
- Teknologi: Skitsér tydeligt kravene på forhånd, og overvej et "teknologi før spil"-møde for at sikre alles fulde deltagelse. Sørg for, at facilitatordrevet teknologibrug og overgange er problemfrie, så der ikke spildes nogen tid.
- Sikkerhed: Overvej, at der er et øget risikoniveau forbundet med fjernstandardindstilling. Sørg for, at SMV'er underskriver NDA'er og forstår deres ansvar, og screen dem grundigt under rekrutteringsprocessen.
- Kreative løsninger til unikke situationer/eksamener: Hver eksamen er unik, men det er muligt at tilpasse den virtuelle standardindstillingsmodalitet til enhver situation – også selvom der er behov for en hybridmodel til en praktisk eksamen!
Og i sidste ende den vigtigste overvejelse:
Validitet: Vil du få det samme niveau af standardindstillingsprocesvaliditet i en virtuel model? Vil du få det samme produkt (dvs. den samme cut-score), som du ville få, hvis du udførte standardindstillingen personligt?