Baggrund
Region 10 Education Service Center (ESC) i Texas spiller en afgørende rolle i at fremme elevsucces og forme det uddannelsesmæssige landskab i hele staten. Som partner til tyve andre ESC'er betjener Region 10 120 offentlige og charterskole-distrikter, over 3.000 skoler og mere end 900.000 studerende i Texas. ESC'et skaber, distribuerer og understøtter en opgavelager, TEKSbank, som bruges af 600 skole-distrikter og charterskoler, over 5.000 skoler og mere end 3 millioner studerende. Fra udvikling af læseplaner og undervisningsstøtte til ledertræning og specialundervisning er Region 10 forpligtet til at styrke lærere, berige læringsoplevelser og skabe positive resultater for studerende fra alle baggrunde og evner.
Udfordringen
Region 10 udgiver et opgavelager, TEKSbank, til skole-distrikter for at hjælpe med at forberede studerende til den højrisiko eksamen, State of Texas Assessments of Academic Readiness (STAAR®). De 90.000 TEKSbank testspørgsmål er tilpasset statens læseplansstandarder, Texas Essential Knowledge and Skills, samt andre tags som Webbs Depth of Knowledge (DOK) og Blooms Taxonomi.
Efterhånden som uddannelsesmæssige tendenser ændrer sig, og staten opdaterer sine standarder, lægger Region 10 stor vægt på at sikre, at banken er tilpasset og relevant.
For at sikre, at indholdet er i overensstemmelse med statens læseplansstandarder og indeholder forskellige niveauer af sværhedsgrad, gennemfører Region 10 flere tilpasningsprojekter om året. Entreprenører ansættes til manuelt at analysere hver opgave. Nogle projekter kræver en enkelt læseplansekspert for hvert af de 12 klassetrin til at gennemgå så mange som 2.000 opgaver. Disse gennemgangsprocesser er ikke kun tidskrævende, men den manuelle gennemgangsproces førte også til en mangel på nøjagtighed og konsistens blandt de opdaterede opgaver.
Region 10 brugte en betydelig mængde tid og ressourcer på at opretholde indholdsjustering, med lidt tid til at prioritere indholdsvækst og forbedring. Det var ikke usædvanligt at bruge $150.000 årligt bare for at opdatere standarder eller tags på eksisterende indhold. Dette blev endnu vigtigere i 2023, da det uddannelsesmæssige landskab i Texas gennemgik en betydelig transformation med introduktionen af teknologi-forstærkede opgaver (TEI'er) og online vurdering. Dette var en afvigelse fra traditionelle vurderingsmetoder og udfordrede lærere til at forberede studerende til et nyt paradigme, der understregede kritisk tænkning og en sofistikeret demonstration af viden. For at støtte lærerne og føre dem ind i denne nye grænse stod Region 10 over for udfordringen med at skabe 20.000 høj-kvalitets TEI'er.
Region 10 skitserede oprindeligt fire primære mål, som de forsøgte at opnå ved at finde en ny partner.
- Sikre tilpasning til de nyeste statslige standarder
- Identificere videnshuller
- Tildele dybde af viden (DOK) Opdatere indhold med kulturel relevans
ESC'et havde også brug for at overveje flere vigtige faktorer, før de begyndte implementeringen af ny teknologi for at strømline praksis:
- Et behov for at opretholde menneskelig overvågning gennem hele processen
- Konstant justering og perfektionering af indholdet
- Reducer tiden for tilpasningsprojekter for at give mere tid til at forbedre og udvikle flere spørgsmål
Region 10 fik kontakt med Prometric’s Finetune-team i marts 2023. Finetune forstod hurtigt ESC’ets udfordringer og begyndte arbejdet med at implementere Finetune Catalog™, et AI-menneske hybridværktøj til indholdsjustering med dybdegående indsigter på tværs af opgavelagre og læringsmaterialer.
”Finetune havde en rigtig god forståelse af K-12 indholdet og standarderne. Det var nemt at have samtaler med dem om, hvad vi ønskede, selvom vi ikke havde den tekniske AI viden om, hvordan vi skulle beskrive det.”
- Jim Newhouse, Tidligere Region 10 Assisterende Direktør for Data Løsninger
Resultat
Region 10 gav Finetune læringsmaterialer såsom eksamensplaner, standarder, opgavelagre og mere. Finetune tog dette indhold og byggede en tilpasset Catalog AI-model, der ville arbejde på at analysere deres indhold og se, hvor godt det var tilpasset Webbs Depth of Knowledge. Efter den første tilpasning rapporterede Catalog en nøjagtighed på 96%, hvilket efterlod Region 10's team begejstret og optimistisk for den fremtidige udvikling og forbedring af deres indhold. De “nåle i høstakken”, der havde brug for tilpasningsforbedring, var reparerbare, og de ville kunne gøre det hurtigere, billigere og mere præcist end nogensinde før.
Sammen med nøjagtigheden af den første tilpasning blev ESC'et givet en rationale, der ville være nyttig i opbygningen af fremtidige vurderinger. Den komplekse rationale er blevet en transformerende ny samling af data, som de kan levere til testbyggere og lærere gennem vurderingsplatformen.
”Implementeringen af Catalog tog kun få uger i stedet for de forventede seks måneder og reducerede antallet af nødvendige entreprenører fra ti til kun tre. Ved at bruge Finetune Catalog til at udføre tilpasningsopgaver har frigivet tid og penge og øget den samlede produktivitet.”
- Jim Newhouse, Tidligere Region 10 Assisterende Direktør for Data Løsninger
Nu, med besparelser på omkring $100.000 pr. kerneindholdsområde, herunder matematik, engelsk sprogkunst og læsning (ELAR), naturvidenskab og samfundsfag, kan Region 10 reinvestere i produktion af nyt indhold for at udvide sit nuværende opgavelager. TEKSbank er nu udstyret med 25% (20.000) banebrydende, teknologi-forstærkede spørgsmål, hvilket giver en dybere viden vurdering og en mere præcis evaluering af studerendes færdigheder.
”Vi ser AI som et værktøj, der er programmeret af mennesker, overvåget af mennesker og analyseret af mennesker.”- Jim Newhouse, Tidligere Region 10 Assisterende Direktør for Data Løsninger
Download Succes historie