Contesto
Il Region 10 Education Service Center (ESC) in Texas svolge un ruolo fondamentale nel promuovere il successo degli studenti e nel plasmare il panorama educativo dello stato. In qualità di partner di altri venti ESC, il Region 10 serve 120 distretti scolastici pubblici e charter, oltre 3.000 scuole e più di 900.000 studenti in tutto il Texas. L'ESC crea, distribuisce e supporta una banca di domande, TEKSbank, utilizzata da 600 distretti scolastici e charter, oltre 5.000 scuole e più di 3 milioni di studenti. Dallo sviluppo del curriculum e dal supporto didattico alla formazione per i leader e ai servizi di istruzione speciale, il Region 10 è impegnato a potenziare gli educatori, arricchire le esperienze di apprendimento e promuovere risultati positivi per studenti di ogni estrazione e abilità.
La Sfida
Il Region 10 pubblica una banca di domande, TEKSbank, per i distretti scolastici al fine di preparare gli studenti per l'esame ad alta posta in gioco, le Valutazioni di Prontezza Accademica dello Stato del Texas (STAAR®). Le 90.000 domande di test di TEKSbank sono allineate agli standard curricolari dello stato, ai Conoscimenti e Abilità Essenziali del Texas, così come ad altri tag come la Profondità della Conoscenza di Webb (DOK) e la Tassonomia di Bloom.
Con il mutare delle tendenze educative e l'aggiornamento degli standard da parte dello stato, il Region 10 investe molto per garantire che la banca sia allineata e rilevante.
Per garantire che i contenuti siano allineati agli standard curricolari dello stato e contengano vari livelli di difficoltà, il Region 10 conduce più progetti di allineamento all'anno. Vengono assunti contrattisti per analizzare manualmente ogni elemento. Alcuni progetti richiedono un esperto di curriculum per ciascuno dei 12 livelli di grado per revisionare fino a 2.000 elementi. Non solo questi processi di revisione sono dispendiosi in termini di tempo, ma il processo di revisione manuale ha portato a una mancanza di precisione e coerenza tra gli elementi aggiornati.
Il Region 10 stava spendendo una quantità significativa di tempo e risorse per mantenere l'allineamento dei contenuti, con poco tempo per dare priorità alla crescita e al miglioramento dei contenuti. Non era raro spendere 150.000 dollari all'anno solo per aggiornare standard o tag sui contenuti esistenti. Questo è diventato ancora più importante nel 2023, quando il panorama educativo del Texas ha subito una trasformazione significativa con l'introduzione di elementi potenziati dalla tecnologia (TEI) e della valutazione online. Questo ha rappresentato una deviazione dai metodi di valutazione tradizionali e ha sfidato gli educatori a preparare gli studenti per un nuovo paradigma che enfatizzava il pensiero critico e una dimostrazione sofisticata delle conoscenze. Per supportare gli insegnanti e guidarli in questo nuovo orizzonte, il Region 10 si è trovato di fronte alla sfida di creare 20.000 TEI di alta qualità.
Inizialmente, il Region 10 ha delineato quattro obiettivi principali che cercava di raggiungere collaborando con un nuovo partner.
- Garantire l'allineamento agli ultimi standard statali
- Identificare le lacune di conoscenza
- Assegnare la profondità della conoscenza (DOK) Aggiornare i contenuti con rilevanza culturale
L'ESC doveva anche considerare diversi fattori importanti prima di iniziare l'implementazione di nuove tecnologie per semplificare le pratiche:
- Necessità di mantenere la supervisione umana durante tutto il processo
- Costante aggiustamento e perfezionamento dei contenuti
- Ridurre il tempo dei progetti di allineamento per consentire più tempo per migliorare e sviluppare ulteriori domande
Il Region 10 ha contattato il team Finetune di Prometric nel marzo 2023. Finetune ha rapidamente compreso le sfide dell'ESC e ha iniziato a lavorare per implementare Finetune Catalog™, uno strumento ibrido AI-umano per l'allineamento dei contenuti con approfondimenti dettagliati su banche di domande e materiali di apprendimento.
"Finetune aveva una comprensione molto buona dei contenuti K-12 e degli standard. È stato facile avere conversazioni con loro su cosa volevamo, anche se non avevamo la conoscenza tecnica dell'AI su come descriverlo.”
- Jim Newhouse, ex Direttore Assistente delle Soluzioni Dati del Region 10
Risultato
Il Region 10 ha fornito a Finetune materiali di apprendimento come piani di esame, standard, banche di domande e altro. Finetune ha preso questi contenuti e ha costruito un modello AI Catalog personalizzato che lavorerebbe per analizzare i loro contenuti e vedere quanto bene si allineassero con la Profondità della Conoscenza di Webb. Dopo il primo allineamento, Catalog ha riportato un tasso di accuratezza del 96%, lasciando il team del Region 10 entusiasta e ottimista per lo sviluppo e il miglioramento futuri dei loro contenuti. Quegli "ago nel pagliaio" che necessitavano di miglioramenti nell'allineamento erano riparabili, e sarebbero stati in grado di farlo più rapidamente, a costi inferiori e in modo più preciso che mai.
Insieme all'accuratezza del primo allineamento, l'ESC ha ricevuto una razionale che sarebbe stata utile nella costruzione di future valutazioni. La complessa razionale è diventata una nuova raccolta di dati trasformativa che sono in grado di fornire ai costruttori di test e agli insegnanti tramite la piattaforma di valutazione.
“L'implementazione di Catalog ha richiesto solo poche settimane invece dei sei mesi previsti e ha ridotto il numero di contrattisti necessari da dieci a soli tre. Utilizzare Finetune Catalog per svolgere i compiti di allineamento ha liberato tempo e denaro e aumentato la produttività complessiva.”
- Jim Newhouse, ex Direttore Assistente delle Soluzioni Dati del Region 10
Ora, con risparmi di circa 100.000 dollari per area di contenuto fondamentale, tra cui matematica, lingua inglese e lettura (ELAR), scienze e studi sociali, il Region 10 può reinvestire nella produzione di nuovi contenuti per far crescere la sua attuale banca di domande. TEKSbank è ora dotata di 25% (20.000) domande all'avanguardia, potenziate dalla tecnologia, che forniscono una valutazione più profonda delle conoscenze e una valutazione più accurata delle abilità degli studenti.
“Consideriamo l'AI come uno strumento programmato da esseri umani, supervisionato da esseri umani e analizzato da esseri umani.”
- Jim Newhouse, ex Direttore Assistente delle Soluzioni Dati del Region 10
Scarica la Storia di Successo