Achtergrond
Region 10 Education Service Center (ESC) in Texas speelt een cruciale rol in het bevorderen van het succes van studenten en het vormgeven van het onderwijslandschap in de staat. Als partner van twintig andere ESC's bedient Region 10 120 openbare en charterscholen, meer dan 3.000 scholen en meer dan 900.000 studenten in de staat Texas. De ESC creëert, distribueert en ondersteunt een itembank, TEKSbank, die wordt gebruikt door 600 schooldistricten en charterscholen, meer dan 5.000 scholen en meer dan 3 miljoen studenten. Van curriculumontwikkeling en onderwijsondersteuning tot leiderschapstraining en specialeducatiediensten, Region 10 is toegewijd aan het versterken van docenten, het verrijken van leerervaringen en het stimuleren van positieve uitkomsten voor studenten van alle achtergronden en vaardigheden.
De Uitdaging
Region 10 publiceert een itembank, TEKSbank, voor schooldistricten om studenten voor te bereiden op het hoog-stakes examen, State of Texas Assessments of Academic Readiness (STAAR®). De 90.000 TEKSbank-testvragen zijn afgestemd op de curriculumstandaarden van de staat, Texas Essential Knowledge and Skills, evenals andere labels zoals Webb's Depth of Knowledge (DOK) en Bloom's Taxonomy.
Naarmate onderwijstrends veranderen en de staat zijn standaarden bijwerkt, steekt Region 10 veel moeite in het ervoor zorgen dat de bank afgestemd en relevant is.
Om ervoor te zorgen dat de inhoud aansluit bij de curriculumstandaarden van de staat en verschillende niveaus van moeilijkheid bevat, voert Region 10 meerdere afstemmingsprojecten per jaar uit. Aannemers worden ingehuurd om elk item handmatig te analyseren. Sommige projecten vereisen een enkele curriculumexpert voor elk van de 12 leerjaren om tot 2.000 items te beoordelen. Deze beoordelingsprocessen zijn niet alleen tijdrovend, maar het handmatige beoordelingsproces leidde ook tot een gebrek aan nauwkeurigheid en consistentie onder de bijgewerkte items.
Region 10 gaf een aanzienlijk bedrag aan tijd en middelen uit aan het onderhouden van inhoudsafstemming, met weinig tijd om prioriteit te geven aan inhoudsgroei en verbetering. Het was niet ongewoon om jaarlijks $150.000 uit te geven alleen om standaarden of labels op bestaande inhoud bij te werken. Dit werd nog belangrijker in 2023, toen het onderwijslandschap van Texas een significante transformatie onderging met de introductie van technologie-verbeterde items (TEI's) en online beoordeling. Dit was een afwijking van traditionele beoordelingsmethoden en stelde docenten voor de uitdaging om studenten voor te bereiden op een nieuw paradigma dat kritisch denken en een verfijnde demonstratie van kennis benadrukte. Om docenten te ondersteunen en hen te begeleiden naar deze nieuwe grens, stond Region 10 voor de uitdaging om 20.000 hoogwaardige TEI's te creëren.
Region 10 schetste aanvankelijk vier primaire doelen die ze probeerden te bereiken door een nieuwe partner te zoeken.
- Zorgen voor afstemming op de nieuwste staatsnormen
- Kennisleemtes identificeren
- Diepte van kennis (DOK) toewijzen Inhoud bijwerken met culturele relevantie
De ESC moest ook verschillende belangrijke factoren overwegen voordat ze begonnen met de implementatie van nieuwe technologie om de processen te stroomlijnen:
- Een behoefte aan menselijke supervisie tijdens het proces
- Constant aanpassen en perfectioneren van de inhoud
- De tijd van afstemmingsprojecten verminderen om meer tijd te hebben voor het verbeteren en ontwikkelen van meer vragen
Region 10 kwam in contact met het Finetune-team van Prometric in maart 2023. Finetune begreep snel de uitdagingen van de ESC en begon te werken aan de implementatie van Finetune Catalog™, een AI-mens hybride tool voor inhoudsafstemming met diepgaande inzichten in itembanken en leermaterialen.
"Finetune had een zeer goed begrip van K-12-inhoud en de standaarden. Het was gemakkelijk om gesprekken met hen te hebben over wat we wilden, ook al hadden we niet de technische AI-kennis om het te beschrijven.”
- Jim Newhouse, Voormalig Region 10 Assistent Directeur van Data-oplossingen
Resultaat
Region 10 heeft Finetune leermaterialen geleverd zoals examenblauwdrukken, standaarden, itembanken en meer. Finetune nam deze inhoud en bouwde een op maat gemaakt Catalog AI-model dat zou werken om hun inhoud te analyseren en te zien hoe goed deze aansloot bij Webb's Depth of Knowledge. Na de eerste afstemming meldde Catalog een nauwkeurigheidspercentage van 96%, waardoor het team van Region 10 enthousiast en optimistisch was over de toekomstige ontwikkeling en verbetering van hun inhoud. Die “naalden in de hooiberg” die verbetering van de afstemming nodig hadden, waren oplosbaar, en ze zouden het sneller, goedkoper en nauwkeuriger kunnen doen dan ooit tevoren.
Naast de nauwkeurigheid van de eerste afstemming, ontving de ESC een onderbouwing die nuttig zou zijn bij het opbouwen van toekomstige beoordelingen. De complexe onderbouwing is een transformerende nieuwe gegevensverzameling geworden die ze kunnen aanleveren aan toetsbouwers en docenten via het beoordelingsplatform.
“De implementatie van Catalog nam slechts enkele weken in beslag in plaats van de verwachte zes maanden en reduceerde het aantal benodigde aannemers van tien naar slechts drie. Het gebruik van Finetune Catalog om afstemmingsopdrachten uit te voeren, heeft tijd en geld vrijgemaakt en de algehele productiviteit verhoogd.”
- Jim Newhouse, Voormalig Region 10 Assistent Directeur van Data-oplossingen
Nu, met besparingen van ongeveer $100.000 per kerninhoudsgebied, waaronder wiskunde, Engelse taal en lezen (ELAR), wetenschap en sociale studies, kan Region 10 herinvesteren in het produceren van nieuwe inhoud om zijn huidige itembank te laten groeien. TEKSbank is nu uitgerust met 25% (20.000) geavanceerde, technologie-verbeterde vragen, wat zorgt voor een diepere kennisbeoordeling en een nauwkeurigere evaluatie van de vaardigheden van studenten.
“We beschouwen AI als een hulpmiddel dat door mensen is geprogrammeerd, onder toezicht staat van mensen en door mensen wordt geanalyseerd.” - Jim Newhouse, Voormalig Region 10 Assistent Directeur van Data-oplossingen
Download Succesverhaa