Pozadina
Obrazovni servisni centar Regije 10 (ESC) u Teksasu igra ključnu ulogu u potpori uspjehu učenika i oblikovanju obrazovne scene diljem države. Kao partner dvadeset drugih ESC-a, Regija 10 služi 120 javnih i charter škola, preko 3,000 škola i više od 900,000 učenika širom Teksasa. ESC stvara, distribuira i podržava banku stavki, TEKSbank, koja se koristi od strane 600 školskih okruga i chartera, više od 5,000 škola i više od 3 milijuna učenika. Od razvoja kurikuluma i podrške učenja do obuke lidera i usluga specijalnog obrazovanja, Regija 10 se obvezala na osnaživanje nastavnika, obogaćivanje iskustava učenja i postizanje pozitivnih rezultata za učenike svih pozadina i sposobnosti.
Izazov
Regija 10 objavljuje banku stavki, TEKSbank, za školske okruge kako bi pomogla u pripremi učenika za ispit visokog rizika, Procjene akademske spremnosti države Teksas (STAAR®). 90,000 pitanja iz TEKSbank usklađeno je s državnim kurikulumskim standardima, Texas Essential Knowledge and Skills, kao i s drugim oznakama poput Webbove dubine znanja (DOK) i Bloomove taksonomije.
Kako se obrazovni trendovi mijenjaju i država ažurira svoje standarde, Regija 10 ulaže puno truda kako bi osigurala da banka bude usklađena i relevantna.
Kako bi osigurala da sadržaj bude usklađen s državnim kurikulumskim standardima i da sadrži različite razine težine, Regija 10 provodi više projekata usklađivanja godišnje. Unajmljuju se izvođači za ručnu analizu svake stavke. Neki projekti zahtijevaju jednog stručnjaka za kurikulum za svaku od 12 razrednih razina da pregleda do 2,000 stavki. Ovi procesi pregleda ne samo da su dugotrajni, već je ručni pregled doveo do nedostatka točnosti i dosljednosti među ažuriranim stavkama.
Regija 10 je trošila značajnu količinu vremena i resursa na održavanje usklađenosti sadržaja, s malo vremena da prioritizira rast i poboljšanje sadržaja. Nije bilo neobično trošiti 150,000 dolara godišnje samo za ažuriranje standarda ili oznaka na postojećem sadržaju. To je postalo još važnije 2023. godine kada je obrazovni pejzaž Teksasa doživio značajnu transformaciju uvođenjem tehnološki unaprijeđenih stavki (TEI) i online procjene. Ovo je bio odstup od tradicionalnih metoda procjene i izazvalo je nastavnike da pripreme učenike za novu paradigmu koja naglašava kritičko razmišljanje i sofisticiranu demonstraciju znanja. Kako bi podržala učitelje i vodila ih u ovu novu granicu, Regija 10 suočila se s izazovom stvaranja 20,000 visokokvalitetnih TEI.
Regija 10 je prvotno definirala četiri glavna cilja koja su pokušavali postići pronalaženjem novog partnera.
- Osigurati usklađenost s najnovijim državnim standardima
- Identificirati praznine u znanju
- Dodijeliti dubinu znanja (DOK) Ažurirati sadržaj s kulturnom relevantnošću
ESC je također trebao razmotriti nekoliko važnih faktora prije nego što su započeli implementaciju nove tehnologije za pojednostavljivanje praksi:
- Potreba za održavanjem ljudske nadzora tijekom cijelog procesa
- Stalno prilagođavanje i usavršavanje sadržaja
- Smanjiti vrijeme projekata usklađivanja kako bi se omogućilo više vremena za poboljšanje i razvoj dodatnih pitanja
Regija 10 je povezala s Finetune timom iz Prometric-a u ožujku 2023. Finetune je brzo razumio izazove ESC-a i započeo rad na implementaciji Finetune Catalog™, alata hibridne AI i ljudske suradnje za usklađivanje sadržaja s dubinskim uvidima u banke stavki i obrazovne materijale.
"Finetune je imao stvarno dobro razumijevanje K-12 sadržaja i standarda. Bilo je lako razgovarati s njima o onome što smo željeli, čak iako nismo imali tehničko AI znanje o tome kako to opisati.”
- Jim Newhouse, Bivši pomoćni direktor podataka Regije 10
Ishod
Regija 10 je pružila Finetune-u obrazovne materijale kao što su obrasci ispita, standardi, banke stavki i još mnogo toga. Finetune je uzeo ovaj sadržaj i izgradio prilagođeni AI model Catalog koji će analizirati njihov sadržaj i vidjeti koliko dobro je usklađen s Webbovom dubinom znanja. Nakon prvog usklađivanja, Catalog je izvijestio o 96% točnosti, ostavljajući tim Regije 10 uzbuđenim i optimističnim za budući razvoj i poboljšanje njihovog sadržaja. Oni “igle u slami” koje su trebale poboljšanje usklađenosti bile su popravljive, i mogli bi to učiniti brže, jeftinije i preciznije nego ikad prije.
Uz točnost prvog usklađivanja, ESC je dobio obrazloženje koje će biti korisno u izgradnji budućih procjena. Komplexno obrazloženje postalo je transformativna nova kolekcija podataka koju su u mogućnosti pružiti graditeljima ispita i učiteljima preko platforme procjene.
“Implementacija Catalog-a trajala je samo nekoliko tjedana umjesto planiranih šest mjeseci i smanjila broj potrebnih izvođača s deset na samo tri. Korištenje Finetune Catalog-a za ostvarivanje zadataka usklađivanja oslobodilo je vrijeme i novac te povećalo ukupnu produktivnost.”
- Jim Newhouse, Bivši pomoćni direktor podataka Regije 10
Sada, s uštedama od oko 100,000 dolara po glavnoj oblasti sadržaja, uključujući matematiku, engleski jezik i čitanje (ELAR), znanost i društvene studije, Regija 10 može ponovno ulagati u proizvodnju novog sadržaja kako bi povećala svoju trenutnu banku stavki. TEKSbank je sada opremljen s 25% (20,000) inovativnih, tehnološki unaprijeđenih pitanja, što omogućava dublju procjenu znanja i precizniju evaluaciju vještina učenika.
“AI smatramo alatom koji programiraju ljudi, nadgledaju ljudi i analiziraju ljudi.” - Jim Newhouse, Bivši pomoćni direktor podataka Regije 10
Preuzmi priču o uspjehu