Achtergrond
Region 10 Education Service Center (ESC) in Texas speelt een cruciale rol in het bevorderen van studentensucces en het vormgeven van het onderwijslandschap in de staat. Als partner van twintig andere ESC's, bedient Region 10 120 openbare en charter schooldistricten, meer dan 3.000 scholen en meer dan 900.000 studenten in de staat Texas. De ESC creëert, distribueert en ondersteunt een itembank, TEKSbank, die wordt gebruikt door 600 schooldistricten en charters, meer dan 5.000 scholen en meer dan 3 miljoen studenten. Van curriculumontwikkeling en instructieve ondersteuning tot leiderschapstraining en diensten voor speciaal onderwijs, Region 10 is toegewijd aan het empoweren van docenten, het verrijken van leerervaringen en het stimuleren van positieve resultaten voor studenten van alle achtergronden en vaardigheden.
De Uitdaging
Region 10 publiceert een itembank, TEKSbank, voor schooldistricten om studenten voor te bereiden op het hoog risico-examen, State of Texas Assessments of Academic Readiness (STAAR®). De 90.000 TEKSbank testvragen zijn afgestemd op de curriculumstandaarden van de staat, Texas Essential Knowledge and Skills, evenals andere tags zoals Webb’s Depth of Knowledge (DOK) en Bloom’s Taxonomy.
Naarmate de onderwijs trends veranderen en de staat haar standaarden bijwerkt, investeert Region 10 veel moeite om ervoor te zorgen dat de bank afgestemd en relevant blijft.
Om ervoor te zorgen dat de inhoud aansluit bij de curriculumstandaarden van de staat en verschillende moeilijkheidsgraden bevat, voert Region 10 jaarlijks meerdere afstemmingsprojecten uit. Aannemers worden ingehuurd om elk item handmatig te analyseren. Sommige projecten vereisen een enkele curriculumexpert voor elk van de 12 leerjaren om tot 2.000 items te beoordelen. Niet alleen zijn deze beoordelingsprocessen tijdrovend, maar het handmatige beoordelingsproces leidde ook tot een gebrek aan nauwkeurigheid en consistentie tussen de bijgewerkte items.
Region 10 besteedde een aanzienlijke hoeveelheid tijd en middelen aan het handhaven van inhoudsafstemming, met weinig tijd om inhoudsgroei en verbetering prioriteit te geven. Het was niet ongebruikelijk om jaarlijks $150.000 uit te geven alleen om standaarden of tags op bestaande inhoud bij te werken. Dit werd nog belangrijker in 2023 toen het onderwijslandschap van Texas een significante transformatie onderging met de introductie van technologie-versterkte items (TEI's) en online beoordeling. Dit was een afwijking van traditionele beoordelingsmethoden en daagde docenten uit om studenten voor te bereiden op een nieuw paradigma dat kritisch denken en een geavanceerde demonstratie van kennis benadrukte. Om docenten te ondersteunen en hen naar deze nieuwe grens te leiden, stond Region 10 voor de uitdaging om 20.000 hoogwaardige TEI's te creëren.
Region 10 schetste aanvankelijk vier primaire doelen die ze probeerden te bereiken door een nieuwe partner te zoeken.
- Zorg ervoor dat de afstemming op de nieuwste staatsstandaarden
- Identificeer kennisgaten
- Wijs diepte van kennis (DOK) toe
- Update inhoud met culturele relevantie
De ESC moest ook verschillende belangrijke factoren overwegen voordat ze begonnen met de implementatie van nieuwe technologie om de processen te stroomlijnen:
- Een behoefte aan menselijke toezicht gedurende het proces
- Constante aanpassing en perfectie van de inhoud
- Verminder de tijd van afstemmingsprojecten om meer tijd vrij te maken voor het verbeteren en ontwikkelen van meer vragen
Region 10 kwam in maart 2023 in contact met het Finetune-team van Prometric. Finetune begreep snel de uitdagingen van de ESC en begon te werken aan de implementatie van Finetune Catalog™, een AI-mens hybride tool voor inhoudsafstemming met diepgaande inzichten over itembanken en leermaterialen.
“Finetune had een heel goed begrip van K-12 inhoud en de standaarden. Het was gemakkelijk om gesprekken met hen te voeren over wat we wilden, ook al hadden we niet de technische AI-kennis om het te beschrijven.”
- Jim Newhouse, Voormalige Region 10 Assistent Directeur Data Oplossingen
Resultaat
Region 10 voorzag Finetune van leermaterialen zoals examen blauwdrukken, standaarden, itembanken en meer. Finetune nam deze inhoud en bouwde een aangepast Catalog AI-model dat zou werken om hun inhoud te analyseren en te zien hoe goed het aansloot bij Webb’s Depth of Knowledge. Na de eerste afstemming rapporteerde Catalog een nauwkeurigheid van 96%, waardoor het team van Region 10 enthousiast en optimistisch was over de toekomstige ontwikkeling en verbetering van hun inhoud. Die “naalden in de hooiberg” die verbetering in afstemming nodig hadden, waren oplosbaar, en ze zouden het sneller, goedkoper en nauwkeuriger kunnen doen dan ooit tevoren.
Naast de nauwkeurigheid van de eerste afstemming, kreeg de ESC een rationale die nuttig zou zijn bij de opbouw van toekomstige beoordelingen. De complexe rationale is uitgegroeid tot een transformerende nieuwe verzameling gegevens die ze kunnen aanleveren aan testbouwers en docenten via het beoordelingsplatform.
“De implementatie van Catalog duurde slechts enkele weken in plaats van de verwachte zes maanden en verminderde het aantal benodigde aannemers van tien naar slechts drie. Het gebruik van Finetune Catalog om afstemmingsopdrachten te voltooien heeft tijd en geld vrijgemaakt en de algehele productiviteit verhoogd.”
- Jim Newhouse, Voormalige Region 10 Assistent Directeur Data Oplossingen
Nu, met besparingen van ongeveer $100.000 per kerninhoudgebied, waaronder wiskunde, Engelse taalvaardigheid en lezen (ELAR), wetenschap en sociale studies, kan Region 10 opnieuw investeren in het produceren van nieuwe inhoud om zijn huidige itembank te laten groeien. TEKSbank is nu uitgerust met 25% (20.000) geavanceerde, technologie-versterkte vragen, wat een diepere kennisbeoordeling en een nauwkeuriger evaluatie van studentvaardigheden biedt.
“We beschouwen AI als een tool die door mensen is geprogrammeerd, onder toezicht staat van mensen en wordt geanalyseerd door mensen.”
- Jim Newhouse, Voormalige Region 10 Assistent Directeur Data Oplossingen
Download Succesverhaa