Succesverhalen/Regio 10 van Texas transformeert het onderwijs met aangepaste kunstmatige intelligentie.
Regio 10 van Texas transformeert onderwijs met op maat gemaakte AI.
Regio 10's K-12 examen met hoge inzetten van de State of Texas Assessments of Academic Readiness vereiste inhoudsverbeteringen, maar alleen Prometric AI kon snel en kosteneffectief de 90.000 items organiseren en afstemmen.
Achtergrond
Region 10 Education Service Center (ESC) in Texas speelt een cruciale rol bij het bevorderen van het succes van studenten en het vormgeven van het onderwijslandschap in de staat. Als partner van twintig andere ESC's bedient Regio 10 120 openbare en charter schooldistricten, meer dan 3.000 scholen en meer dan 900.000 studenten in de staat Texas. De ESC creëert, distribueert en ondersteunt een itembank, TEKSbank genaamd, die wordt gebruikt door 600 schooldistricten en charters, meer dan 5.000 scholen en meer dan 3 miljoen studenten. Van curriculumontwikkeling en instructieondersteuning tot leiderschapstraining en speciaal onderwijsdiensten, Region 10 is toegewijd aan het empoweren van educatoren, het verrijken van leerervaringen en het stimuleren van positieve resultaten voor studenten van alle achtergronden en capaciteiten.
De Uitdaging
Regio 10 publiceert een itembank, TEKSbank, voor schooldistricten om studenten voor te bereiden op het belangrijke examen, de State of Texas Assessments of Academic Readiness (STAAR®). De 90.000 testvragen van TEKSbank zijn afgestemd op de leerplannormen van de staat, Texas Essential Knowledge and Skills, evenals andere tags zoals Webb's Depth of Knowledge (DOK) en Bloom's Taxonomy.
Naarmate onderwijstrends veranderen en de staat haar normen bijwerkt, steekt Regio 10 veel moeite in het zorgen dat de bank afgestemd en relevant is.
Om ervoor te zorgen dat de inhoud overeenkomt met de leerplannormen van de staat en verschillende moeilijkheidsniveaus bevat, voert Regio 10 meerdere afstemmingsprojecten per jaar uit. Aannemers worden ingehuurd om elke item handmatig te analyseren. Sommige projecten vereisen een enkele curriculumdeskundige voor elk van de 12 leerjaren om zoveel als 2.000 items te beoordelen. Niet alleen zijn deze beoordelingsprocessen tijdrovend, maar het handmatige beoordelingsproces leidde tot een gebrek aan nauwkeurigheid en consistentie bij de bijgewerkte items.
Regio 10 besteedde aanzienlijke tijd en middelen aan het handhaven van de inhoudsafstemming, met weinig tijd om de groei en verbetering van de inhoud te prioriteren. Het was niet ongebruikelijk om jaarlijks $150.000 te besteden alleen al aan het bijwerken van normen of tags op bestaande inhoud. Dit werd nog belangrijker in 2023 toen het onderwijslandschap van Texas een aanzienlijke transformatie onderging met de introductie van technologie-verbeterde items (TEIs) en online beoordeling. Dit was een vertrek van traditionele beoordelingsmethoden en daagde educatoren uit om studenten voor te bereiden op een nieuw paradigma dat de nadruk legde op kritisch denken en een verfijnde demonstratie van kennis. Om leraren te ondersteunen en hen naar deze nieuwe horizon te leiden, stond Regio 10 voor de uitdaging om 20.000 TEIs van hoge kwaliteit te creëren.
"Finetune had een zeer goed begrip van K-12 inhoud en de normen. Het was makkelijk om met hen gesprekken te voeren over wat we wilden, ook al hadden we niet de technische AI-kennis om het te beschrijven."
Jim Newhouse
Voormalig Regionaal Directeur van Dataoplossingen voor Regio 10
Partnerschapstrategie
Regio 10 heeft aanvankelijk vier primaire doelen uiteengezet die ze probeerden te bereiken door een nieuwe partner te vinden.
Zorgen voor afstemming met de nieuwste staatsnormen
Kennisleemtes identificeren
Diepte van kennis (DOK) toewijzen
Inhoud bijwerken met culturele relevantie
“We zien AI als een tool die geprogrammeerd wordt door mensen, gecontroleerd wordt door mensen en geanalyseerd wordt door mensen.”
- Jim Newhouse, Voormalig assistent-directeur Data-oplossingen van Regio 10
De ESC moest ook verschillende belangrijke factoren overwegen voordat ze begonnen met de implementatie van nieuwe technologie om de praktijken te stroomlijnen:
De noodzaak om menselijk toezicht gedurende het proces te behouden
Constant aanpassen en perfectioneren van de inhoud
De tijd van afstemmingsprojecten verminderen om meer tijd te geven voor het verbeteren en ontwikkelen van meer vragen
Regio 10 heeft in maart 2023 contact opgenomen met het Finetune-team van Prometric. Finetune begreep al snel de uitdagingen van de ESC en begon te werken aan de implementatie van Finetune Catalog™, een AI-menselijke hybride tool voor inhoudsafstemming met diepgaande inzichten over itembanken en leermaterialen.
"De implementatie van Catalog duurde slechts enkele weken in plaats van de geprojecteerde zes maanden en verminderde het aantal benodigde aannemers van tien naar slechts drie. Het gebruik van Finetune Catalog voor het uitvoeren van afstemmingstaken heeft tijd en geld vrijgemaakt en de algehele productiviteit verhoogd."
Jim Newhouse
Voormalig Regionaal Assistent Directeur van Data Oplossingen
Resultaa
Regio 10 heeft Finetune voorzien van leermaterialen zoals examenblauwdrukken, standaarden, itembanken en meer. Finetune heeft deze inhoud gebruikt en een aangepast Catalogus AI-model gebouwd dat zou werken om hun inhoud te analyseren en te zien hoe goed het overeenkwam met Webb's Depth of Knowledge. Na de eerste afstemming meldde de Catalogus een nauwkeurigheidspercentage van 96%, waardoor het team van Regio 10 enthousiast en optimistisch was over de toekomstige ontwikkeling en verbetering van hun inhoud. Die "naalden in een hooiberg" die verbetering van de afstemming nodig hadden, waren oplosbaar, en ze zouden het sneller, goedkoper en nauwkeuriger kunnen doen dan ooit tevoren.
Naast de nauwkeurigheid van de eerste afstemming kreeg de ESC een redenering aangeboden die nuttig zou zijn bij de ontwikkeling van toekomstige beoordelingen. De complexe redenering is een transformerende nieuwe verzameling gegevens geworden die zij kunnen leveren aan toetsontwikkelaars en leraren via het beoordelingsplatform.
Nu, met besparingen van ongeveer $100.000 per kernvakgebied, waaronder wiskunde, Engels taalkunsten en lezen (ELAR), wetenschappen en sociale wetenschappen, kan Regio 10 opnieuw investeren in het produceren van nieuwe inhoud om zijn huidige itembank uit te breiden. TEKSbank is nu uitgerust met 25% (20.000) ultramoderne, technologie-verbeterde vragen, die een diepere kennisbeoordeling en een nauwkeurigere evaluatie van de vaardigheden van studenten bieden.
