Pozadina
Obrazovni servisni centar Regije 10 (ESC) u Teksasu igra ključnu ulogu u poticanju uspjeha učenika i oblikovanju obrazovne slike diljem države. Kao partner dvadeset drugih ESC-a, Regija 10 opslužuje 120 javnih i charter škola, više od 3,000 škola i više od 900,000 učenika širom Teksasa. ESC stvara, distribuira i podržava banku stavki, TEKSbank, koja se koristi u 600 školskih okruga i charter škola, više od 5,000 škola i više od 3 milijuna učenika. Od razvoja kurikuluma i podrške u nastavi do obuke vodstva i usluga za posebne potrebe, Regija 10 je posvećena osnaživanju edukatora, obogaćivanju iskustava u učenju i postizanju pozitivnih rezultata za učenike svih pozadina i sposobnosti.
Izazov
Regija 10 objavljuje banku stavki, TEKSbank, za školske okruge kako bi pomogla u pripremi učenika za visokostake ispit, Procjene akademske spremnosti Teksasa (STAAR®). 90,000 pitanja iz TEKSbank usklađena su s državnim kurikulumskim standardima, bitnim znanjem i vještinama Teksasa, kao i s drugim oznakama poput Webbove dubine znanja (DOK) i Bloomove taksonomije.
Kako se obrazovni trendovi mijenjaju i država ažurira svoje standarde, Regija 10 ulaže puno truda kako bi osigurala da banka bude usklađena i relevantna.
Kako bi osigurala da sadržaj bude usklađen s državnim kurikulumskim standardima i da sadrži različite razine težine, Regija 10 provodi više projekata usklađivanja godišnje. Unajmljuju se izvođači da ručno analiziraju svaku stavku. Neki projekti zahtijevaju jednog kurikulumskog stručnjaka za svaku od 12 razrednih razina kako bi pregledali do 2,000 stavki. Ovi procesi pregleda ne samo da su dugotrajni, nego je ručni proces pregleda doveo do nedostatka točnosti i dosljednosti među ažuriranim stavkama.
Regija 10 trošila je značajnu količinu vremena i resursa na održavanje usklađenosti sadržaja, s malo vremena za davanje prioriteta rastu i poboljšanju sadržaja. Nije bilo neuobičajeno potrošiti 150,000 dolara godišnje samo za ažuriranje standarda ili oznaka na postojećem sadržaju. Ovo je postalo još važnije 2023. godine kada je obrazovna slika Teksasa doživjela značajnu transformaciju uvođenjem tehnologijom poboljšanih stavki (TEIs) i online procjene. Ovo je bio odmak od tradicionalnih metoda procjene i izazvalo je educatore da pripreme učenike za novu paradigmu koja naglašava kritičko razmišljanje i sofisticiranu demonstraciju znanja. Kako bi podržala učitelje i vodila ih u ovu novu granicu, Regija 10 suočila se s izazovom stvaranja 20,000 visokokvalitetnih TEI-a.
Regija 10 je u početku definirala četiri glavna cilja koja su pokušavali postići pronalaskom novog partnera.
- Osigurati usklađenost s najnovijim državnim standardima
- Identificirati praznine u znanju
- Dodijeliti dubinu znanja (DOK) Ažurirati sadržaj s kulturnom relevantnošću
ESC je također trebao uzeti u obzir nekoliko važnih faktora prije nego što započne implementaciju nove tehnologije za pojednostavljenje praksi:
- Potrebna je ljudska nadležnost tijekom cijelog procesa
- Stalno prilagođavanje i usavršavanje sadržaja
- Smanjiti vrijeme projekata usklađivanja kako bi se omogućilo više vremena za poboljšanje i razvoj dodatnih pitanja
Regija 10 je kontaktirala Finetune tim iz Prometric-a u ožujku 2023. Finetune je brzo razumio izazove ESC-a i započeo rad na implementaciji Finetune Catalog™, alata hibrida AI i ljudi za usklađivanje sadržaja s dubinskim uvidima u banke stavki i obrazovne materijale.
"Finetune je imao stvarno dobro razumijevanje K-12 sadržaja i standarda. Bilo je lako razgovarati s njima o onome što želimo, iako nismo imali tehničko AI znanje o tome kako to opisati.”
- Jim Newhouse, bivši pomoćnik direktora rješenja podataka Regije 10
Rezultat
Regija 10 je pružila Finetune-u obrazovne materijale kao što su planovi ispita, standardi, banke stavki i još mnogo toga. Finetune je uzeo ovaj sadržaj i izgradio prilagođeni model AI kataloga koji će analizirati njihov sadržaj i vidjeti koliko je dobro usklađen s Webbovom dubinom znanja. Nakon prvog usklađivanja, Katalog je izvijestio o točnosti od 96%, ostavljajući tim Regije 10 uzbuđenim i optimističnim za budući razvoj i poboljšanje njihovog sadržaja. "Igle u sijenu" koje su trebale poboljšanje usklađivanja bile su popravljive, a oni će to moći učiniti brže, jeftinije i preciznije nego ikad prije.
Uz točnost prvog usklađivanja, ESC je dobio obrazloženje koje će biti korisno u izradi budućih procjena. Komplexno obrazloženje postalo je transformativna nova zbirka podataka koju su u stanju pružiti graditeljima ispita i učiteljima putem platforme za procjenu.
“Implementacija Kataloga trajala je samo nekoliko tjedana umjesto predviđenih šest mjeseci i smanjila je broj potrebnih izvođača s deset na samo tri. Korištenje Finetune Kataloga za postizanje zadataka usklađivanja oslobodilo je vrijeme i novac te povećalo ukupnu produktivnost.”
- Jim Newhouse, bivši pomoćnik direktora rješenja podataka Regije 10
Sada, s uštedama od oko 100,000 dolara po osnovnoj oblasti sadržaja, uključujući matematiku, engleski jezik i čitanje (ELAR), znanost i društvene studije, Regija 10 može ponovno investirati u proizvodnju novog sadržaja kako bi povećala svoju trenutnu banku stavki. TEKSbank je sada opremljena s 25% (20,000) naprednih, tehnološki poboljšanih pitanja, što omogućuje dublju procjenu znanja i precizniju evaluaciju vještina učenika.
“AI smatramo alatom koji programiraju ljudi, nadgledaju ljudi i analiziraju ljudi.”
- Jim Newhouse, bivši pomoćnik direktora rješenja podataka Regije 10
Preuzmi Priču o Uspjehu