Hintergrund
Das Region 10 Education Service Center (ESC) in Texas spielt eine entscheidende Rolle bei der Förderung des Schülererfolgs und der Gestaltung der Bildungslandschaft im ganzen Bundesstaat. Als Partner von zwanzig anderen ESCs bedient Region 10 120 öffentliche und Charter-Schulbezirke, über 3.000 Schulen und mehr als 900.000 Schüler im Bundesstaat Texas. Das ESC erstellt, verteilt und unterstützt eine Itembank, TEKSbank, die von 600 Schulbezirken und Charter-Schulen, über 5.000 Schulen und mehr als 3 Millionen Schülern genutzt wird. Von der Lehrplanentwicklung und Unterrichtsunterstützung bis hin zu Führungstraining und Sonderpädagogik-Diensten setzt sich Region 10 dafür ein, Lehrkräfte zu ermächtigen, Lernerfahrungen zu bereichern und positive Ergebnisse für Schüler aller Herkunft und Fähigkeiten zu erzielen.
Die Herausforderung
Region 10 veröffentlicht eine Itembank, TEKSbank, für Schulbezirke, um Schüler auf die anspruchsvolle Prüfung, State of Texas Assessments of Academic Readiness (STAAR®), vorzubereiten. Die 90.000 TEKSbank-Testfragen sind auf die Lehrplanstandards des Staates, Texas Essential Knowledge and Skills, sowie auf andere Tags wie Webb’s Depth of Knowledge (DOK) und Bloom’s Taxonomy abgestimmt.
Da sich die Bildungstrends ändern und der Staat seine Standards aktualisiert, investiert Region 10 viel Mühe, um sicherzustellen, dass die Bank abgestimmt und relevant bleibt.
Um sicherzustellen, dass die Inhalte mit den Lehrplanstandards des Staates übereinstimmen und verschiedene Schwierigkeitsgrade beinhalten, führt Region 10 jährlich mehrere Abstimmungsprojekte durch. Auftragnehmer werden eingestellt, um jedes Element manuell zu analysieren. Einige Projekte erfordern einen einzelnen Curriculum-Experten für jedes der 12 Jahrgangsstufen, um bis zu 2.000 Elemente zu überprüfen. Diese Überprüfungsprozesse sind nicht nur zeitaufwendig, sondern der manuelle Überprüfungsprozess führte auch zu einem Mangel an Genauigkeit und Konsistenz bei den aktualisierten Elementen.
Region 10 gab erheblich Zeit und Ressourcen aus, um die Inhaltsabstimmung aufrechtzuerhalten, mit wenig Zeit, um das Wachstum und die Verbesserung der Inhalte zu priorisieren. Es war nicht ungewöhnlich, jährlich 150.000 US-Dollar nur für die Aktualisierung von Standards oder Tags für bestehende Inhalte auszugeben. Dies wurde 2023 noch wichtiger, als die Bildungslandschaft von Texas eine erhebliche Transformation mit der Einführung von technologieerweiterten Elementen (TEIs) und Online-Bewertungen durchlief. Dies stellte einen Bruch mit traditionellen Bewertungsmethoden dar und stellte die Lehrkräfte vor die Herausforderung, die Schüler auf ein neues Paradigma vorzubereiten, das kritisches Denken und eine anspruchsvolle Demonstration von Wissen betonte. Um Lehrkräfte zu unterstützen und sie in diese neue Dimension zu führen, sah sich Region 10 der Herausforderung gegenüber, 20.000 hochwertige TEIs zu erstellen.
Region 10 skizzierte zunächst vier Hauptziele, die sie durch die Suche nach einem neuen Partner erreichen wollten.
- Sicherstellen der Übereinstimmung mit den neuesten staatlichen Standards
- Identifizierung von Wissenslücken
- Zuordnung der Tiefe des Wissens (DOK) Aktualisierung der Inhalte mit kultureller Relevanz
Das ESC musste auch mehrere wichtige Faktoren berücksichtigen, bevor es mit der Implementierung neuer Technologien zur Optimierung der Praktiken begann:
- Die Notwendigkeit, menschliche Aufsicht während des gesamten Prozesses aufrechtzuerhalten
- Ständige Anpassung und Perfektionierung der Inhalte
- Reduzierung der Zeit für Abstimmungsprojekte, um mehr Zeit für die Verbesserung und Entwicklung zusätzlicher Fragen zu ermöglichen
Region 10 nahm im März 2023 Kontakt mit dem Finetune-Team von Prometric auf. Finetune verstand schnell die Herausforderungen des ESC und begann mit der Implementierung von Finetune Catalog™, einem KI-menschlichen Hybridwerkzeug für die Inhaltsabstimmung mit tiefgehenden Einblicken in Itembanken und Lernmaterialien.
„Finetune hatte ein wirklich gutes Verständnis für K-12-Inhalte und die Standards. Es war einfach, Gespräche mit ihnen darüber zu führen, was wir wollten, auch wenn wir nicht das technische KI-Wissen hatten, um es zu beschreiben.“
- Jim Newhouse, Ehemaliger stellvertretender Direktor für Datenlösungen von Region 10
Ergebnis
Region 10 stellte Finetune Lernmaterialien wie Prüfungsblaupausen, Standards, Itembanken und mehr zur Verfügung. Finetune nahm diese Inhalte und baute ein maßgeschneidertes Katalog-KI-Modell, das dazu diente, ihre Inhalte zu analysieren und zu prüfen, wie gut sie mit Webb’s Depth of Knowledge übereinstimmten. Nach der ersten Abstimmung berichtete der Katalog von einer Genauigkeitsrate von 96%, was das Team von Region 10 begeistert und optimistisch für die zukünftige Entwicklung und Verbesserung ihrer Inhalte ließ. Diese „Nadeln im Heuhaufen“, die eine Verbesserung der Abstimmung benötigten, waren behebbare Probleme, und sie würden es schneller, kostengünstiger und präziser als je zuvor tun können.
Zusätzlich zur Genauigkeit der ersten Abstimmung erhielt das ESC eine Begründung, die für den Aufbau zukünftiger Bewertungen nützlich sein würde. Die komplexe Begründung hat sich zu einer transformativen neuen Sammlung von Daten entwickelt, die sie Testentwicklern und Lehrern über die Bewertungsplattform zur Verfügung stellen können.
„Die Implementierung des Katalogs dauerte nur wenige Wochen statt der geplanten sechs Monate und reduzierte die Anzahl der benötigten Auftragnehmer von zehn auf nur drei. Die Verwendung von Finetune Catalog zur Durchführung von Abstimmungsaufgaben hat Zeit und Geld freigesetzt und die Gesamtproduktivität erhöht.“
- Jim Newhouse, Ehemaliger stellvertretender Direktor für Datenlösungen von Region 10
Jetzt, mit Einsparungen von rund 100.000 US-Dollar pro Kerninhaltbereich, einschließlich Mathematik, Englisch Sprache und Lesen (ELAR), Naturwissenschaften und Sozialkunde, kann Region 10 erneut in die Produktion neuer Inhalte investieren, um ihre aktuelle Itembank auszubauen. Die TEKSbank ist nun mit 25% (20.000) hochmodernen, technologieerweiterten Fragen ausgestattet, die eine tiefere Wissensbewertung und eine genauere Einschätzung der Schülerfähigkeiten bieten.
„Wir betrachten KI als ein Werkzeug, das von Menschen programmiert, von Menschen überwacht und von Menschen analysiert wird.“
- Jim Newhouse, Ehemaliger stellvertretender Direktor für Datenlösungen von Region 10
Download Erfolgsgeschichte