Contexte
Le Centre de services éducatifs de la région 10 (ESC) au Texas joue un rôle essentiel dans la promotion du succès des élèves et la transformation du paysage éducatif à travers l'État. En tant que partenaire de vingt autres ESC, la région 10 dessert 120 districts scolaires publics et privés, plus de 3 000 écoles et plus de 900 000 élèves dans l'État du Texas. L'ESC crée, distribue et soutient une banque d'items, TEKSbank, qui est utilisée par 600 districts scolaires et charters, plus de 5 000 écoles et plus de 3 millions d'élèves. Du développement de curriculum et du soutien pédagogique à la formation des leaders et aux services d'éducation spécialisée, la région 10 s'engage à autonomiser les éducateurs, enrichir les expériences d'apprentissage et favoriser des résultats positifs pour les élèves de tous horizons et de toutes capacités.
Le défi
La région 10 publie une banque d'items, TEKSbank, pour les districts scolaires afin d'aider à préparer les élèves à l'examen à enjeux élevés, les Évaluations de préparation académique de l'État du Texas (STAAR®). Les 90 000 questions de test de TEKSbank sont alignées sur les normes de curriculum de l'État, les Connaissances et compétences essentielles du Texas, ainsi que sur d'autres étiquettes comme la profondeur de connaissance (DOK) de Webb et la taxonomie de Bloom.
Alors que les tendances éducatives évoluent et que l'État met à jour ses normes, la région 10 consacre beaucoup d'efforts pour s'assurer que la banque est alignée et pertinente.
Pour garantir que le contenu soit conforme aux normes de curriculum de l'État et contienne divers niveaux de difficulté, la région 10 réalise plusieurs projets d'alignement par an. Des contractants sont embauchés pour analyser chaque item manuellement. Certains projets nécessitent un expert en curriculum pour chacun des 12 niveaux scolaires afin de passer en revue jusqu'à 2 000 items. Non seulement ces processus de révision sont chronophages, mais le processus de révision manuelle a conduit à un manque de précision et de cohérence parmi les items mis à jour.
La région 10 dépensait un montant significatif de temps et de ressources pour maintenir l'alignement du contenu, avec peu de temps pour prioriser la croissance et l'amélioration du contenu. Il n'était pas rare de dépenser 150 000 $ par an juste pour mettre à jour les normes ou les étiquettes sur le contenu existant. Cela est devenu encore plus important en 2023 lorsque le paysage éducatif du Texas a subi une transformation significative avec l'introduction d'items enrichis par la technologie (TEIs) et l'évaluation en ligne. Cela marquait un départ des méthodes d'évaluation traditionnelles et a mis au défi les éducateurs de préparer les élèves à un nouveau paradigme qui mettait l'accent sur la pensée critique et une démonstration sophistiquée des connaissances. Pour soutenir les enseignants et les guider dans cette nouvelle frontière, la région 10 était confrontée au défi de créer 20 000 TEIs de haute qualité.
La région 10 a d'abord défini quatre objectifs principaux qu'elle tentait d'atteindre en recherchant un nouveau partenaire.
- Assurer l'alignement sur les dernières normes de l'État
- Identifier les lacunes en matière de connaissances
- Assigner la profondeur de connaissance (DOK) Mettre à jour le contenu avec une pertinence culturelle
L'ESC devait également prendre en compte plusieurs facteurs importants avant de commencer la mise en œuvre de nouvelles technologies pour rationaliser les pratiques :
- Un besoin de maintenir une supervision humaine tout au long du processus
- Ajustements et perfectionnements constants du contenu
- Réduire le temps des projets d'alignement pour permettre plus de temps pour améliorer et développer davantage de questions
La région 10 a contacté l'équipe Finetune de Prometric en mars 2023. Finetune a rapidement compris les défis de l'ESC et a commencé à travailler à la mise en œuvre de Finetune Catalog™, un outil hybride AI-humain pour l'alignement du contenu avec des insights approfondis à travers les banques d'items et les matériaux d'apprentissage.
"Finetune avait une très bonne compréhension du contenu K-12 et des normes. Il était facile d'avoir des conversations avec eux sur ce que nous voulions même si nous n'avions pas les connaissances techniques en IA pour le décrire.”
- Jim Newhouse, Ancien directeur adjoint des solutions de données de la région 10
Résultat
La région 10 a fourni à Finetune des matériaux d'apprentissage tels que des plans d'examen, des normes, des banques d'items, et plus encore. Finetune a pris ce contenu et a construit un modèle AI Catalog personnalisé qui allait analyser leur contenu et voir à quel point il était aligné avec la profondeur de connaissance de Webb. Après le premier alignement, le Catalog a signalé un taux de précision de 96 %, laissant l'équipe de la région 10 enthousiasmée et optimiste pour le développement futur et l'amélioration de leur contenu. Ces "aiguilles dans une botte de foin" qui nécessitaient une amélioration de l'alignement étaient réparables, et ils seraient en mesure de le faire plus rapidement, moins cher et plus précisément que jamais auparavant.
Avec la précision du premier alignement, l'ESC a également reçu une justification qui serait utile dans la construction d'évaluations futures. La justification complexe est devenue une nouvelle collection de données transformative qu'ils peuvent fournir aux concepteurs de tests et aux enseignants via la plateforme d'évaluation.
“La mise en œuvre de Catalog n'a pris que quelques semaines au lieu des six mois prévus et a réduit le nombre de contractants nécessaires de dix à seulement trois. Utiliser Finetune Catalog pour accomplir des tâches d'alignement a libéré du temps et de l'argent et a augmenté la productivité globale.”
- Jim Newhouse, Ancien directeur adjoint des solutions de données de la région 10
Maintenant, avec des économies d'environ 100 000 $ par domaine de contenu de base, y compris les mathématiques, les arts du langage anglais et la lecture (ELAR), les sciences et les études sociales, la région 10 peut réinvestir dans la production de nouveau contenu pour développer sa banque d'items actuelle. TEKSbank est désormais équipée de 25 % (20 000) de questions de pointe, enrichies par la technologie, ce qui permet une évaluation des connaissances plus approfondie et une évaluation plus précise des compétences des élèves.
“Nous considérons l'IA comme un outil qui est programmé par des humains, supervisé par des humains et analysé par des humains.”
- Jim Newhouse, Ancien directeur adjoint des solutions de données de la région 10
Télécharger l'histoire de réussite