Baggrund
Region 10 Education Service Center (ESC) i Texas spiller en afgørende rolle i at fremme elevsucces og forme det uddannelsesmæssige landskab i hele staten. Som partner til tyve andre ESC'er betjener Region 10 120 offentlige og charterskole-distrikter, over 3.000 skoler og mere end 900.000 studerende i Texas. ESC'en skaber, distribuerer og understøtter en item bank, TEKSbank, der anvendes af 600 skole-distrikter og chartere, over 5.000 skoler og mere end 3 millioner studerende. Fra curriculum-udvikling og undervisningsstøtte til ledertræning og specialundervisningstjenester er Region 10 forpligtet til at styrke undervisere, berige læringserfaringer og drive positive resultater for studerende fra alle baggrunde og evner.
Udfordringen
Region 10 offentliggør en item bank, TEKSbank, for skole-distrikter for at hjælpe med at forberede studerende til den højrisiko eksamen, State of Texas Assessments of Academic Readiness (STAAR®). De 90.000 TEKSbank testspørgsmål er tilpasset statens curriculum-standarder, Texas Essential Knowledge and Skills, samt andre tags som Webb's Depth of Knowledge (DOK) og Bloom's Taxonomy.
Som uddannelsestrends ændrer sig, og staten opdaterer sine standarder, lægger Region 10 stor vægt på at sikre, at banken er tilpasset og relevant.
For at sikre at indholdet er i overensstemmelse med statens curriculum-standarder og indeholder forskellige sværhedsgrader, gennemfører Region 10 flere tilpasningsprojekter om året. Entreprenører ansættes til at analysere hvert element manuelt. Nogle projekter kræver en enkelt curriculum-ekspert for hver af de 12 klassetrin til at gennemgå så mange som 2.000 elementer. Disse gennemgangsprocesser er ikke kun tidskrævende, men den manuelle gennemgangsproces førte til en mangel på nøjagtighed og konsistens blandt de opdaterede elementer.
Region 10 brugte en betydelig mængde tid og ressourcer på at opretholde indholdsjustering, med lidt tid til at prioritere indholdsudvikling og forbedring. Det var ikke usædvanligt at bruge $150.000 årligt bare på at opdatere standarder eller tags på eksisterende indhold. Dette blev endnu vigtigere i 2023, da det uddannelsesmæssige landskab i Texas gennemgik en betydelig transformation med introduktionen af teknologi-forstærkede elementer (TEI) og online vurdering. Dette var et brud med traditionelle vurderingsmetoder og udfordrede undervisere til at forberede studerende til et nyt paradigme, der lagde vægt på kritisk tænkning og en sofistikeret demonstration af viden. For at støtte lærere og lede dem ind i dette nye område stod Region 10 over for udfordringen med at skabe 20.000 højkvalitets TEI'er.
Region 10 skitserede oprindeligt fire primære mål, som de forsøgte at opnå ved at finde en ny partner.
- Sikre overensstemmelse med de nyeste statstandarder
- Identificere videnshuller
- Tildele dybde af viden (DOK) Opdatere indhold med kulturel relevans
ESC'en skulle også overveje flere vigtige faktorer, før de begyndte implementeringen af ny teknologi for at strømline praksis:
- Et behov for at opretholde menneskelig overvågning gennem hele processen
- Konstant justering og perfektionering af indholdet
- Reducer tiden for tilpasningsprojekter for at give mere tid til at forbedre og udvikle flere spørgsmål
Region 10 kontaktede Prometrics Finetune-team i marts 2023. Finetune forstod hurtigt ESC'ens udfordringer og begyndte arbejdet med at implementere Finetune Catalog™, et AI-menneske hybridværktøj til indholdsjustering med dybdegående indsigt på tværs af item banker og læringsmaterialer.
"Finetune havde en rigtig god forståelse af K-12 indhold og standarderne. Det var nemt at have samtaler med dem om, hvad vi ønskede, selvom vi ikke havde den tekniske AI-viden om, hvordan man beskriver det.”
- Jim Newhouse, Tidligere Region 10 Assisterende Direktør for Data Løsninger
Resultat
Region 10 gav Finetune læringsmaterialer som eksamensplaner, standarder, item banker og mere. Finetune tog dette indhold og byggede en tilpasset Catalog AI-model, der ville arbejde med at analysere deres indhold og se, hvor godt det stemte overens med Webb's Depth of Knowledge. Efter den første tilpasning rapporterede Catalog en nøjagtighed på 96%, hvilket efterlod Region 10's team begejstret og optimistisk for fremtidig udvikling og forbedring af deres indhold. De "nåle i høstakken", der havde brug for forbedring af tilpasning, var løselige, og de ville være i stand til at gøre det hurtigere, billigere og mere præcist end nogensinde før.
Sammen med nøjagtigheden af den første tilpasning fik ESC'en en rationale, der ville være nyttig i opbygningen af fremtidige vurderinger. Den komplekse rationale er blevet en transformativ ny samling af data, som de kan levere til testbyggere og lærere gennem vurderingsplatformen.
“Implementeringen af Catalog tog kun et par uger i stedet for de forventede seks måneder og reducerede antallet af entreprenører, der var nødvendige, fra ti til kun tre. At bruge Finetune Catalog til at udføre tilpasningsopgaver har frigivet tid og penge og øget den samlede produktivitet.”
- Jim Newhouse, Tidligere Region 10 Assisterende Direktør for Data Løsninger
Nu, med besparelser på omkring $100.000 pr. kerneindholdsområde, herunder matematik, engelsksprogede kunst og læsning (ELAR), naturvidenskab og samfundsfag, kan Region 10 geninvestere i at producere nyt indhold for at vokse sin nuværende item bank. TEKSbank er nu udstyret med 25% (20.000) banebrydende, teknologiforbedrede spørgsmål, hvilket giver dybere vurdering af viden og en mere præcis vurdering af elevfærdigheder.
“Vi betragter AI som et værktøj, der er programmeret af mennesker, overvåget af mennesker og analyseret af mennesker.”
- Jim Newhouse, Tidligere Region 10 Assisterende Direktør for Data Løsninger
Download Succeshistorie