„Validitatea se referă la gradul în care dovezile și teoria susțin interpretările scorurilor la teste pentru utilizările propuse ale testelor. Validitatea este, prin urmare, cel mai fundamental aspect în dezvoltarea testelor și evaluarea acestora.” ( Standarde pentru testarea educațională și psihologică , p. 11)
De când a început pandemia și industria de testare a experimentat o schimbare majoră, multe discuții și cercetări s-au concentrat în jurul validității testării supravegheate de la distanță comparativ cu testarea fizică, dar am auzit mai puțin despre validitatea proceselor de dezvoltare a testelor de la distanță. față de procesele de dezvoltare a testelor în persoană. Dacă obișnuiați să conduceți cele mai multe dintre întâlnirile de dezvoltare a testelor în persoană, dar ați trecut la virtual, ați făcut un pas înapoi pentru a lua în considerare validitatea proceselor dvs. și dacă obțineți sau nu același rezultat realizându-le virtual?
În lumea dezvoltării testelor, setarea standard este una dintre cele mai importante componente. Procesul de setare standard definește ce este un punctaj de promovare și ce înseamnă că cineva a promovat examenul. Setarea standard se conectează direct la validitate, care determină dacă avem dovezi care să sprijine utilizarea scorurilor la test pentru a lua decizii.
Printre activitățile de dezvoltare a testelor, setarea standard este o provocare unică de facilitat de la distanță, din cauza următoarelor considerații:
Preocupări de securitate : Experții în materie (IMM-uri) au acces deplin la conținutul examenului.
Complexitate : procesul poate fi dificil de explicat și digerat.
Implicare la nivel înalt : Setarea standardelor de calitate necesită cel mai înalt nivel de implicare a IMM-urilor. Participarea parțială sau pasivă va permite ca procedurile și considerentele importante să fie trecute cu vederea și neexaminate.
Nu ușor de revizuit : Odată finalizat, setul standard pentru un test este foarte dificil și obositor de schimbat. Scorurile de reducere stabilite necesită un efort enorm pentru a actualiza și, odată administrate, orice modificare a scorurilor de reducere poate afecta negativ candidații.
Studiile de caz de mai jos ilustrează trei modele de succes pentru setarea standard virtuală, fiecare implicând provocări și soluții unice.
STUDIU DE CAZ #1 : Consiliul american de certificare în orteză, protetică și pedortică (ABC)
- Provocări speciale pentru programele de examene de volum mic
STUDIU DE CAZ #2 : Comisia de certificare a interpreților din domeniul sănătății (CCHI)
- Metode speciale pentru examenul CHI ™ -Spaniolă
STUDIU DE CAZ #3 : Consiliul național-interstatal al comitetelor de stat de cosmetică (NIC)
- Procese și provocări specifice unui cadru standard semi-la distanță pentru examenele practice
Pentru context, există 8 pași cheie într-un proces tipic de setare standard Angoff modificat:
- Recrutarea IMM-urilor
- Instruire
- Discuție despre candidatul minim calificat sau limită
- Evaluări de practică
- Evaluări Angoff: runda 1
- Discuții de grup despre elementele semnalate
- Evaluări Angoff: runda 2
- Scorul final de tăiere recomandat
STUDIU DE CAZ #1: Consiliul american de certificare în orteză, protetică și pedortică (ABC)
ABC are mai multe programe de examene de volum mic în orteză, protetică și discipline conexe. Certificanții pot lucra în posturi tehnice, au diferite niveluri de educație și unii chiar lucrează în setări de tip retail.
Setarea standard de la distanță a oferit o serie de avantaje pentru programele ABC:
- IMM-urile nu trebuie să călătorească
- Economisește costuri și efort de coordonare
- Capacitatea de a apela la un grup mult mai larg de IMM-uri
- Capacitatea de a înlocui IMM-urile fără preaviz
Setarea standard de la distanță a prezentat, de asemenea, ABC provocări unice:
- Sesiunile trebuie împărțite în mai multe zile/ori
- Menținerea angajamentului IMM-urilor este mai dificilă
- Tehnologia necesară pentru a participa poate prezenta provocări
- IMM-urile care lucrează în medii de vânzare cu amănuntul sau clinice s-ar putea să nu se poată angaja la apeluri în timpul orelor de lucru
- Este posibil ca IMM-urile să nu aibă acces la spațiul privat pentru a primi apeluri
ABC recomandă abordarea provocărilor de mai sus pentru implicare, fiind mai proactiv în planificarea anticipată, creând un program care este adaptat IMM-urilor și poate fi în afara orelor normale de lucru și menținând implicarea pe tot parcursul procesului. Luați în considerare organizarea unei întâlniri „pre-joc de tehnologie” pentru a testa conexiunile și a depana pentru a construi încrederea în întâlnirea și colaborarea virtuală. Explicați în mod clar angajamentul necesar în prealabil față de potențiale IMM-uri, inclusiv necesitatea ca acestea să se afle într-un spațiu privat.
Prin proiectare, întâlnirile de stabilire a standardelor în persoană permit atenția concentrată din partea IMM-urilor, astfel încât cea mai provocatoare diferență prezentă între întâlnirile de stabilire a standardelor de la distanță este facilitarea aceluiași nivel de implicare și comunicare experimentat în întâlnirile efective de stabilire a standardelor în persoană.
STUDIU DE CAZ #2: Comisia de certificare pentru interpreții din domeniul sănătății (CCHI)
Examenul de spaniolă CCHI necesită metode speciale pentru a aborda particularitățile examenului, cum ar fi componenta de performanță bilingvă (spaniolă-engleză), formatul de înregistrare audio și faptul că este evaluat pentru om. Aceste condiții au creat provocări pentru CCHI în procesul de stabilire a standardelor de la distanță, în special în recrutarea și formarea IMM-urilor.
Provocări unice în recrutarea și formarea IMM-urilor:
- Preocupările de securitate necesită un accent special pe integritatea personală și profesională a IMM-urilor
- Alfabetizarea IMM-urilor în platformele online și interacțiunea cu audio
- Este necesară o viteză semnificativă a conexiunii în bandă largă
- Furnizarea unui examen audio online pentru IMM-uri (configurare suplimentară a testului; probleme IT)
- Interacțiunile de grup sunt oarecum slăbite (comparativ cu cele în persoană), deoarece nu există acces la alte IMM-uri în afara întâlnirilor programate
Examenele bilingve și examenele care necesită un format similar necesită un proces nestandard, atât pentru modalitățile de la distanță, cât și pentru cele în persoană. În modalitatea de la distanță, este necesară o întâlnire de orientare pentru a stabili așteptări clare și pentru a aborda aspectele legate de proces și tehnologie ale proiectului. Va fi mai mult ca probabil nevoie de instruire suplimentară despre procesul de evaluare umană, scale și convenții de evaluare. În acest caz, metoda Extended Modified Angoff completată de metoda Beuk Relative-Absolute Compromis a fost cea mai eficientă abordare pentru a determina scorurile de reducere.
STUDIU DE CAZ #3: Consiliul național-interstatal al consiliilor de stat de cosmetologie (NIC)
Protocolul de stabilire a standardelor de la distanță utilizat pentru examinarea practică NIC este un exemplu de procese și provocări specifice ale unei setari standard semi-la distanță pentru examenele practice. Examenul Practic NIC este un examen de performanță în persoană utilizat pentru Cosmetologie și domenii conexe. Este folosit în mai multe state din SUA și, de obicei, este administrat în birourile consiliului de administrație sau în sălile de conferințe/bal de la hotel. Examenul este compus din mai multe secțiuni cronometrate, iar candidații sunt responsabili pentru a-și aduce propriile provizii. Sunt necesari un supraveghetor și evaluatori, iar în procesul de setare standard este inclusă o prezentare a candidatului simulat.
Procesul de stabilire standard pentru aceste examene s-a schimbat la un model hibrid în persoană/la distanță din cauza pandemiei și a fost însoțit de o serie de noi provocări. Înainte de pandemie, toate activitățile de dezvoltare a testelor au fost efectuate în persoană, iar stabilirea standardelor practice a fost singura activitate de dezvoltare a testelor determinată de NIC pentru a necesita o prezență în persoană pentru simularea candidatului. A existat o întrebare dacă desfășurarea examinării examenului prin webinar în timp real sau a unei examinări pre-înregistrate ar fi la fel de eficientă ca și IMM-urile care o văd personal. În cele din urmă, NIC a optat să găsească o nouă locație pentru care IMM-urile să se întâlnească și să se alăture unui facilitator prin webinar.
Procesul hibrid de stabilire a standardelor de la distanță/în persoană a inclus o formare preliminară pentru IMM-uri, precum și o revizuire a standardelor critice și a candidatului țintă. A fost amenajată o cameră pentru a imita un cadru de examinare și au fost atribuite roluri (cum ar fi supraveghetor, examinatori și cronometraj) pentru simularea candidatului. Execuția simulată a candidatului a fost efectuată și observată, evaluată și apoi discutată de IMM-uri. A urmat o sesiune de întrebări și răspunsuri cu candidatul simulat. Evaluările Angoff au fost furnizate de IMM-uri și de candidatul simulat înainte de a se încheia cu o discuție de grup și ajustări, iar apoi a fost stabilit un scor final. Chiar și cu ajustarea virtuală a activităților de dezvoltare a testelor necesare, au existat mai multe provocări pentru procesul de stabilire a standardelor de la distanță.
Provocări pentru setarea standard la distanță
- Acces limitat la facilități în avans
- Tehnologia și/sau echipamentele audio-vizuale pot fi necunoscute
- Imprimarea materialelor actualizate consumă mai mult timp și poate costa mai mult
- Capacitatea facilitatorului de a oferi informații informate este limitată
- Bariere în calea implicării IMM-urilor
- Distribuția și controlul documentelor securizate
- Unele IMM-uri sunt mai puțin probabil să participe în persoană în acest moment
- Responsabilități suplimentare revin Reprezentantului Clientului
Setarea standard virtuală poate fi un instrument de salvare a programelor atunci când este executată corect, luând în considerare cu atenție diferențele dintre procesele în persoană și cele virtuale.
Considerații cheie în procesul de setare standard de la distanță :
- Recrutarea IMM-urilor: Evaluați cu atenție IMM-urile pentru a vă asigura că aveți încredere în ele pentru a accesa conținutul de testare de acasă și pentru a recruta mai multe IMM-uri decât este necesar în caz de uzură de ultimă oră.
- Comunicarea și managementul angajamentului IMM-urilor înainte de eveniment: subliniați în mod clar nivelul de angajament, astfel încât IMM-urile să nu fie surprinse de cât de mult timp și efort este implicat într-o setare standard.
- Implicarea IMM-urilor în timpul evenimentului: Luați în considerare modul în care puteți optimiza participarea în toate punctele procesului, cum ar fi solicitarea sau încurajarea fermă a utilizării camerei pentru a oglindi implicarea în persoană.
- Tehnologie: descrieți în mod clar cerințele din timp și luați în considerare o întâlnire „pre-joc de tehnologie” pentru a asigura participarea deplină a tuturor. Asigurați-vă că utilizarea și tranzițiile tehnologice conduse de facilitator sunt fără probleme, astfel încât să nu fie pierdut timp.
- Securitate: luați în considerare că există un nivel crescut de risc inerent setării standard la distanță. Asigurați-vă că IMM-urile semnează NDA și le înțeleg responsabilitatea și le analizează în detaliu în timpul procesului de recrutare.
- Soluții creative pentru situații/examene unice: Fiecare examen este unic, dar este posibil să se adapteze modalitatea de stabilire a standardelor virtuale la fiecare situație – chiar dacă este nevoie de un model hibrid pentru un examen practic!
Și în cele din urmă, cel mai important aspect:
Valabilitate: Veți obține același nivel de valabilitate a procesului de stabilire a standardelor într-un model virtual? Veți obține același produs (adică, același scor de reducere) ca și dacă ați efectua personal setarea standard?