Hintergrund
Das Region 10 Education Service Center (ESC) in Texas spielt eine entscheidende Rolle bei der Förderung des Schülererfolgs und der Gestaltung der Bildungslandschaft im gesamten Bundesstaat. Als Partner von zwanzig anderen ESCs bedient Region 10 120 öffentliche und Charter-Schulbezirke, über 3.000 Schulen und mehr als 900.000 Schüler im Bundesstaat Texas. Das ESC erstellt, verteilt und unterstützt eine Bank von Prüfungsfragen, TEKSbank, die von 600 Schulbezirken und Charterschulen, über 5.000 Schulen und mehr als 3 Millionen Schülern genutzt wird. Von der Curriculum-Entwicklung und Unterrichtsunterstützung bis hin zu Führungstraining und Dienstleistungen für die Sonderpädagogik setzt sich Region 10 dafür ein, Pädagogen zu stärken, Lernerfahrungen zu bereichern und positive Ergebnisse für Schüler aller Hintergründe und Fähigkeiten zu erzielen.
Die Herausforderung
Region 10 veröffentlicht eine Fragenbank, TEKSbank, für Schulbezirke, um Schüler auf die anspruchsvolle Prüfung, die State of Texas Assessments of Academic Readiness (STAAR®), vorzubereiten. Die 90.000 TEKSbank-Testfragen sind an die Lehrplanstandards des Staates, Texas Essential Knowledge and Skills, sowie an andere Tags wie Webb’s Depth of Knowledge (DOK) und Blooms Taxonomie angepasst.
Da sich die Bildungstrends ändern und der Staat seine Standards aktualisiert, investiert Region 10 viel Mühe, um sicherzustellen, dass die Bank abgestimmt und relevant ist.
Um sicherzustellen, dass der Inhalt mit den Lehrplanstandards des Staates übereinstimmt und verschiedene Schwierigkeitsgrade enthält, führt Region 10 jährlich mehrere Abstimmungsprojekte durch. Auftragnehmer werden eingestellt, um jedes Element manuell zu analysieren. Einige Projekte erfordern einen einzelnen Curriculum-Experten für jede der 12 Klassenstufen, um bis zu 2.000 Elemente zu überprüfen. Diese Überprüfungsprozesse sind nicht nur zeitaufwendig, sondern der manuelle Überprüfungsprozess führte auch zu einem Mangel an Genauigkeit und Konsistenz bei den aktualisierten Elementen.
Region 10 gab einen erheblichen Teil der Zeit und Ressourcen für die Pflege der Inhaltsausrichtung aus, mit wenig Zeit, um das Wachstum und die Verbesserung des Inhalts zu priorisieren. Es war nicht ungewöhnlich, jährlich 150.000 Dollar auszugeben, nur um Standards oder Tags bei bestehenden Inhalten zu aktualisieren. Dies wurde 2023 noch wichtiger, als die Bildungslandschaft von Texas eine bedeutende Transformation durch die Einführung von technologiegestützten Elementen (TEIs) und Online-Bewertungen durchlief. Dies stellte einen Bruch mit traditionellen Bewertungsmethoden dar und forderte die Pädagogen heraus, die Schüler auf ein neues Paradigma vorzubereiten, das kritisches Denken und eine anspruchsvolle Demonstration von Wissen betonte. Um Lehrer zu unterstützen und sie in dieses neue Gebiet zu führen, sah sich Region 10 der Herausforderung gegenüber, 20.000 hochwertige TEIs zu erstellen.
Region 10 skizzierte zunächst vier Hauptziele, die sie durch die Suche nach einem neuen Partner erreichen wollten.
- Sicherstellung der Abstimmung mit den neuesten staatlichen Standards
- Identifizierung von Wissenslücken
- Zuordnung von Tiefe des Wissens (DOK) Aktualisierung von Inhalten mit kultureller Relevanz
Das ESC musste auch mehrere wichtige Faktoren berücksichtigen, bevor es mit der Implementierung neuer Technologien zur Optimierung der Praktiken begann:
- Ein Bedarf an menschlicher Aufsicht während des gesamten Prozesses
- Ständige Anpassung und Perfektionierung der Inhalte
- Reduzierung der Zeit für Abstimmungsprojekte, um mehr Zeit für die Verbesserung und Entwicklung weiterer Fragen zu ermöglichen
Region 10 trat im März 2023 mit dem Finetune-Team von Prometric in Kontakt. Finetune verstand schnell die Herausforderungen des ESC und begann mit der Implementierung von Finetune Catalog™, einem KI-menschlichen Hybrid-Tool für die Inhaltsausrichtung mit tiefgehenden Einblicken in Fragenbanken und Lernmaterialien.
„Finetune hatte ein wirklich gutes Verständnis für K-12-Inhalte und die Standards. Es war einfach, Gespräche mit ihnen darüber zu führen, was wir wollten, auch wenn wir nicht über das technische KI-Wissen verfügten, um es zu beschreiben.”
- Jim Newhouse, Ehemaliger stellvertretender Direktor für Datenlösungen von Region 10
Ergebnis
Region 10 stellte Finetune Lernmaterialien wie Prüfungspläne, Standards, Fragenbanken und mehr zur Verfügung. Finetune nahm diese Inhalte und baute ein maßgeschneidertes Catalog KI-Modell, das dazu dient, ihre Inhalte zu analysieren und zu überprüfen, wie gut sie mit Webb’s Depth of Knowledge abgestimmt sind. Nach der ersten Abstimmung berichtete Catalog von einer Genauigkeitsrate von 96%, was das Team von Region 10 begeistert und optimistisch für die zukünftige Entwicklung und Verbesserung ihrer Inhalte zurückließ. Diese „Nadeln im Heuhaufen“, die eine Verbesserung der Abstimmung benötigten, waren reparierbar, und sie würden in der Lage sein, dies schneller, kostengünstiger und präziser als je zuvor zu tun.
Zusammen mit der Genauigkeit der ersten Abstimmung erhielt das ESC eine Begründung, die nützlich beim Aufbau zukünftiger Bewertungen sein würde. Die komplexe Begründung hat sich zu einer transformativen neuen Datensammlung entwickelt, die sie Testentwicklern und Lehrern über die Bewertungsplattform zur Verfügung stellen können.
„Die Implementierung von Catalog dauerte nur wenige Wochen statt der prognostizierten sechs Monate und reduzierte die Anzahl der benötigten Auftragnehmer von zehn auf nur drei. Die Verwendung von Finetune Catalog zur Durchführung von Abstimmungsaufgaben hat Zeit und Geld gespart und die allgemeine Produktivität erhöht.”
- Jim Newhouse, Ehemaliger stellvertretender Direktor für Datenlösungen von Region 10
Jetzt kann Region 10 mit Einsparungen von rund 100.000 Dollar pro Kerninhaltsbereich, einschließlich Mathematik, Englisch Sprache Kunst und Lesen (ELAR), Naturwissenschaften und Sozialkunde, in die Produktion neuer Inhalte reinvestieren, um ihre aktuelle Fragenbank zu erweitern. TEKSbank ist jetzt mit 25% (20.000) hochmodernen, technologiegestützten Fragen ausgestattet, die eine tiefere Wissensbewertung und eine genauere Evaluierung der Schülerfähigkeiten bieten.
„Wir betrachten KI als ein Werkzeug, das von Menschen programmiert, von Menschen überwacht und von Menschen analysiert wird.”- Jim Newhouse, Ehemaliger stellvertretender Direktor für Datenlösungen von Region 10
Download Erfolgsgeschichte