“La validità si riferisce al grado in cui l'evidenza e la teoria supportano le interpretazioni dei punteggi dei test per gli usi proposti dei test. La validità è, quindi, la considerazione più fondamentale nello sviluppo di test e nella valutazione dei test”. ( Standard per i test educativi e psicologici , p. 11)
Da quando è iniziata la pandemia e l'industria dei test ha subito un forte scossone, molte discussioni e ricerche si sono concentrate sulla validità dei test controllati a distanza rispetto ai test fisici, ma abbiamo sentito meno della validità dei processi di sviluppo dei test a distanza rispetto ai processi di sviluppo dei test di persona. Se conducevi la maggior parte delle riunioni di sviluppo dei test di persona ma sei passato al virtuale, hai fatto un passo indietro per considerare la validità dei tuoi processi e se stai ancora ottenendo lo stesso risultato eseguendoli virtualmente?
Nel mondo dello sviluppo dei test, l'impostazione standard è uno dei componenti più importanti. Il processo di impostazione standard definisce cos'è un punteggio di superamento e cosa significa che qualcuno ha superato l'esame. L'impostazione standard si collega direttamente alla validità, che determina se abbiamo le prove per supportare l'utilizzo dei punteggi dei test per prendere decisioni.
Tra le attività di sviluppo dei test, Standard Setting è particolarmente difficile da facilitare in remoto a causa delle seguenti considerazioni:
Problemi di sicurezza : gli esperti in materia (PMI) hanno pieno accesso al contenuto dell'esame.
Complessità : il processo può essere difficile da spiegare e digerire.
Coinvolgimento di alto livello : la definizione degli standard di qualità richiede il massimo livello di coinvolgimento delle PMI. La partecipazione parziale o passiva consentirà di trascurare e non esaminare procedure e considerazioni importanti.
Non facilmente revisionabile : una volta completato, lo standard impostato per un test è molto difficile e noioso da modificare. I punteggi ridotti stabiliti richiedono un enorme sforzo per l'aggiornamento e, una volta somministrati, eventuali modifiche ai punteggi ridotti possono influire negativamente sui candidati.
I casi di studio riportati di seguito illustrano tre modelli di successo per l'impostazione degli standard virtuali, ciascuno con sfide e soluzioni uniche.
CASO DI STUDIO #1 : American Board for Certification in Orthotics, Prosthetics and Pedorthics (ABC)
- Sfide speciali per programmi d'esame di piccolo volume
CASO DI STUDIO N. 2 : Commissione di certificazione per interpreti sanitari (CCHI)
- Metodi speciali per l' esame CHI ™ -Spagnolo
CASO DI STUDIO n. 3 : Consiglio nazionale-interstatale dei consigli di stato di cosmetologia (NIC)
- Processi e sfide specifici di un'impostazione standard semi-remota per gli esami pratici
- Reclutamento PMI
- Addestramento
- Discussione del candidato minimamente qualificato o borderline
- Valutazioni pratiche
- Valutazioni Angoff: round 1
- Discussione di gruppo sugli elementi segnalati
- Valutazioni Angoff: round 2
- Punteggio finale consigliato per il taglio
CASE STUDY #1: American Board for Certification in Orthotics, Prosthetics and Pedorthics (ABC)
ABC ha più programmi di esami di piccolo volume in ortesi, protesi e discipline correlate. I certificati possono svolgere lavori tecnici, avere diversi livelli di istruzione e alcuni persino lavorare in contesti di tipo commerciale.
L'impostazione standard remota ha fornito una serie di vantaggi per i programmi ABC:
- Le PMI non hanno bisogno di viaggiare
- Risparmia sui costi e sullo sforzo di coordinamento
- Capacità di attingere a un gruppo molto più ampio di PMI
- Possibilità di sostituire le PMI con poco preavviso
Remote Standard Setting ha anche presentato ad ABC sfide uniche:
- Le sessioni devono essere suddivise in più giorni/orari
- Mantenere il coinvolgimento delle PMI è più impegnativo
- La tecnologia necessaria per partecipare può presentare sfide
- Le PMI che lavorano in ambienti di vendita al dettaglio o clinici potrebbero non essere in grado di impegnarsi in chiamate durante l'orario di lavoro
- Le PMI potrebbero non avere accesso allo spazio privato per essere in servizio
ABC consiglia di affrontare le sfide di cui sopra per il coinvolgimento essendo più proattivi nella pianificazione in anticipo, creando un programma su misura per le PMI e che potrebbe essere al di fuori del normale orario lavorativo e mantenendo il coinvolgimento durante tutto il processo. Prendi in considerazione l'idea di organizzare una riunione "preparativa della tecnologia" per testare le connessioni e risolvere i problemi per creare fiducia nella riunione e nella collaborazione virtuale. Spiegare chiaramente in anticipo l'impegno richiesto alle potenziali PMI, inclusa la necessità che si trovino in uno spazio privato.
In base alla progettazione, le riunioni di definizione degli standard di persona consentono un'attenzione focalizzata da parte delle PMI, quindi la differenza più impegnativa presenti negli incontri di definizione degli standard a distanza è facilitare lo stesso livello di coinvolgimento e comunicazione sperimentato in riunioni di definizione degli standard efficaci e di persona.
CASO DI STUDIO n. 2: Commissione di certificazione per interpreti sanitari (CCHI)
L'esame di spagnolo di CCHI richiede metodi speciali per affrontare le peculiarità dell'esame come la componente di performance bilingue (spagnolo-inglese), il formato di registrazione audio e il fatto che è classificato come umano. Queste condizioni hanno creato sfide per CCHI nel processo di definizione degli standard a distanza, in particolare nel reclutamento e nella formazione delle PMI.
Sfide uniche nel reclutamento e nella formazione delle PMI:
- I problemi di sicurezza richiedono un'enfasi particolare sull'integrità personale e professionale delle PMI
- L'alfabetizzazione delle PMI nelle piattaforme online e nell'interazione con l'audio
- Richiesto notevole velocità di connessione a banda larga
- Fornire un esame audio online alle PMI (configurazione test extra; problemi IT)
- Le interazioni di gruppo sono alquanto indebolite (rispetto a quelle di persona) poiché non vi è accesso ad altre PMI al di fuori delle riunioni programmate
Gli esami bilingue e gli esami che richiedono un formato simile richiedono un processo non standard sia per le modalità remote che di persona. Nella modalità remota, è necessario un incontro di orientamento per definire aspettative chiare e affrontare gli aspetti di processo e tecnologici del progetto. Molto probabilmente sarà necessaria una formazione aggiuntiva sul processo di valutazione umana, sulle scale e sulle convenzioni di valutazione. In questo caso, il metodo Extended Modified Angoff integrato dal metodo Beuk Relative-Absolute Compromise è stato l'approccio più efficace per determinare i punteggi ridotti.
CASO DI STUDIO n. 3: Consiglio nazionale-interstatale di consigli di stato per la cosmetologia (NIC)
Il protocollo di impostazione dello standard remoto utilizzato per l'esame pratico NIC è un esempio dei processi e delle sfide specifici di un'impostazione standard semi-remota per gli esami pratici. L'esame pratico NIC è un esame di prestazione di persona utilizzato per la cosmetologia e campi correlati. Viene utilizzato in più stati degli Stati Uniti e generalmente amministrato negli uffici del consiglio o nelle sale conferenze/sale da ballo dell'hotel. L'esame è composto da più sezioni a tempo e i candidati sono responsabili di portare le proprie forniture. Sono richiesti un supervisore e valutatori e nel processo di impostazione standard è inclusa una prova di finto candidato.
Il processo di impostazione degli standard per questi esami è cambiato in un modello ibrido di persona/remoto a causa della pandemia ed è stato accompagnato da una serie di nuove sfide. Prima della pandemia, tutte le attività di sviluppo dei test erano state eseguite di persona e l'impostazione pratica degli standard era l'unica attività di sviluppo dei test determinata da NIC a richiedere una presenza di persona per la prova del finto candidato. C'era qualche dubbio sul fatto che condurre l'esame in tempo reale tramite webinar o un esame preregistrato sarebbe stato efficace quanto le PMI lo vedevano di persona. Alla fine, NIC ha scelto di trovare una nuova sede in cui le PMI potessero incontrarsi e far partecipare un facilitatore tramite webinar.
Il processo di definizione degli standard ibrido a distanza/di persona ha incluso una formazione preliminare per le PMI, nonché la revisione degli standard critici e del candidato target. È stata allestita una stanza per imitare l'impostazione dell'esame e sono stati assegnati ruoli (come procuratore, esaminatori e cronometrista) per la prova del finto candidato. La prova del finto candidato è stata eseguita e osservata, valutata e quindi discussa dalle PMI. È seguita una sessione di domande e risposte con il finto candidato. Le valutazioni di Angoff sono state fornite dalle PMI e dal finto-candidato prima di concludersi con una discussione di gruppo e aggiustamenti, quindi è stato stabilito un punteggio finale. Anche con l'adeguamento virtuale delle attività di sviluppo dei test richieste, il processo di impostazione degli standard a distanza presentava diverse sfide.
Sfide all'impostazione standard remota
- Accesso limitato alle strutture in anticipo
- La tecnologia e/o le apparecchiature audiovisive potrebbero non essere familiari
- La stampa di materiali aggiornati è più dispendiosa in termini di tempo e probabilmente costosa
- La capacità del facilitatore di fornire input consapevoli è limitata
- Ostacoli al coinvolgimento delle PMI
- Distribuzione e controllo sicuri dei documenti
- Alcune PMI hanno meno probabilità di partecipare di persona in questo momento
- Ulteriori responsabilità ricadono sul Rappresentante del Cliente
L'impostazione degli standard virtuali può essere uno strumento di salvataggio del programma se eseguita correttamente, con un'attenta considerazione delle differenze tra processi di persona e virtuali.
Considerazioni chiave nel processo di impostazione standard remota :
- Reclutamento delle PMI: controlla attentamente le PMI per assicurarti che tu possa fidarti di loro per accedere ai contenuti dei test da casa e reclutare più PMI del necessario in caso di logoramento dell'ultimo minuto.
- Comunicazione e gestione del coinvolgimento delle PMI prima dell'evento: delineare chiaramente il livello di impegno in modo che le PMI non siano sorprese da quanto tempo e sforzi sono coinvolti in un'impostazione standard.
- Coinvolgimento delle PMI durante l'evento: valuta come puoi ottimizzare la partecipazione in tutti i punti del processo, come richiedere o incoraggiare fortemente l'uso della videocamera per rispecchiare il coinvolgimento di persona.
- Tecnologia: delineare chiaramente i requisiti in anticipo e considerare un incontro "tecnologico pre-partita" per garantire la piena partecipazione di tutti. Garantire che l'uso e le transizioni della tecnologia guidata dal facilitatore siano senza interruzioni in modo da non perdere tempo.
- Sicurezza: considerare che c'è un aumento del livello di rischio inerente all'impostazione standard remota. Garantire che le PMI firmino accordi di non divulgazione e comprendano le loro responsabilità e le esaminino accuratamente durante il processo di assunzione.
- Soluzioni creative per situazioni/esami unici: ogni esame è unico, ma è possibile adattare la modalità di impostazione degli standard virtuali a ogni situazione, anche se per un esame pratico è necessario un modello ibrido!
E infine, la considerazione più importante:
Validità: otterrai lo stesso livello di validità del processo di impostazione degli standard in un modello virtuale? Otterrai lo stesso prodotto (cioè lo stesso punteggio di taglio) che avresti se avessi condotto l'impostazione standard di persona?