Contexte
Le Centre de services éducatifs de la région 10 (ESC) au Texas joue un rôle essentiel dans la promotion du succès des élèves et la transformation du paysage éducatif à travers l'État. En tant que partenaire de vingt autres ESC, la région 10 dessert 120 districts scolaires publics et à charte, plus de 3 000 écoles et plus de 900 000 élèves à travers l'État du Texas. L'ESC crée, distribue et soutient une banque d'articles, TEKSbank, qui est utilisée par 600 districts scolaires et écoles à charte, plus de 5 000 écoles et plus de 3 millions d'élèves. De l'élaboration de programmes d'études et du soutien pédagogique à la formation des dirigeants et aux services d'éducation spécialisée, la région 10 s'engage à autonomiser les éducateurs, à enrichir les expériences d'apprentissage et à favoriser des résultats positifs pour les élèves de tous horizons et de toutes capacités.
Le défi
La région 10 publie une banque d'articles, TEKSbank, pour les districts scolaires afin d'aider à préparer les élèves à l'examen à enjeux élevés, les Évaluations de préparation académique de l'État du Texas (STAAR®). Les 90 000 questions de test de TEKSbank sont alignées sur les normes de programme de l'État, les Connaissances et compétences essentielles du Texas, ainsi que sur d'autres étiquettes comme la profondeur des connaissances (DOK) de Webb et la taxonomie de Bloom.
À mesure que les tendances éducatives évoluent et que l'État met à jour ses normes, la région 10 déploie de nombreux efforts pour s'assurer que la banque est alignée et pertinente.
Pour garantir que le contenu est conforme aux normes de programme de l'État et contient divers niveaux de difficulté, la région 10 réalise plusieurs projets d'alignement par an. Des contractuels sont engagés pour analyser chaque article manuellement. Certains projets nécessitent un expert en programme unique pour chacun des 12 niveaux scolaires afin d'examiner jusqu'à 2 000 articles. Non seulement ces processus de révision sont chronophages, mais le processus de révision manuelle a conduit à un manque de précision et de cohérence parmi les articles mis à jour.
La région 10 dépensait un temps et des ressources significatifs pour maintenir l'alignement du contenu, avec peu de temps pour prioriser la croissance et l'amélioration du contenu. Il n'était pas rare de dépenser 150 000 $ par an juste pour mettre à jour les normes ou les étiquettes sur le contenu existant. Cela est devenu encore plus important en 2023 lorsque le paysage éducatif du Texas a subi une transformation significative avec l'introduction d'articles améliorés par la technologie (TEIs) et d'évaluations en ligne. Cela marquait un éloignement des méthodes d'évaluation traditionnelles et mettait au défi les éducateurs de préparer les élèves à un nouveau paradigme qui mettait l'accent sur la pensée critique et une démonstration sophistiquée des connaissances. Pour soutenir les enseignants et les guider dans cette nouvelle frontière, la région 10 était confrontée au défi de créer 20 000 TEIs de haute qualité.
La région 10 a d'abord défini quatre objectifs principaux qu'elle cherchait à atteindre en recherchant un nouveau partenaire.
- Assurer l'alignement avec les dernières normes de l'État
- Identifier les lacunes de connaissances
- Attribuer la profondeur de connaissances (DOK) Mettre à jour le contenu avec une pertinence culturelle
L'ESC devait également prendre en compte plusieurs facteurs importants avant de commencer la mise en œuvre de nouvelles technologies pour rationaliser les pratiques :
- Un besoin de maintenir une supervision humaine tout au long du processus
- Ajustement et perfectionnement constants du contenu
- Réduire le temps des projets d'alignement pour permettre plus de temps pour améliorer et développer plus de questions
La région 10 a contacté l'équipe Finetune de Prometric en mars 2023. Finetune a rapidement compris les défis de l'ESC et a commencé à travailler pour mettre en œuvre Finetune Catalog™, un outil hybride AI-humain pour l'alignement du contenu avec des insights approfondis à travers les banques d'articles et les matériaux d'apprentissage.
"Finetune avait une très bonne compréhension du contenu K-12 et des normes. Il était facile d'avoir des conversations avec eux sur ce que nous voulions même si nous n'avions pas les connaissances techniques en IA pour le décrire.”
- Jim Newhouse, Ancien directeur adjoint des solutions de données de la région 10
Résultat
La région 10 a fourni à Finetune des matériaux d'apprentissage tels que des plans d'examen, des normes, des banques d'articles et plus encore. Finetune a pris ce contenu et a construit un modèle Catalog AI personnalisé qui analyserait leur contenu et verrait à quel point il était aligné avec la profondeur des connaissances de Webb. Après le premier alignement, Catalog a rapporté un taux de précision de 96 %, laissant l'équipe de la région 10 enthousiaste et optimiste pour le développement et l'amélioration futurs de leur contenu. Ces “aiguilles dans la botte de foin” qui nécessitaient une amélioration de l'alignement étaient réparables, et ils seraient en mesure de le faire plus rapidement, moins cher et plus précisément que jamais auparavant.
En plus de la précision du premier alignement, l'ESC a reçu une justification qui serait utile dans la construction d'évaluations futures. La justification complexe est devenue une nouvelle collection de données transformative qu'ils peuvent fournir aux concepteurs de tests et aux enseignants via la plateforme d'évaluation.
“La mise en œuvre de Catalog n'a pris que quelques semaines au lieu des six mois prévus et a réduit le nombre de contractuels nécessaires de dix à seulement trois. Utiliser Finetune Catalog pour accomplir les tâches d'alignement a libéré du temps et de l'argent et a augmenté la productivité globale.”
- Jim Newhouse, Ancien directeur adjoint des solutions de données de la région 10
Maintenant, avec des économies d'environ 100 000 $ par domaine de contenu de base, y compris les mathématiques, les arts du langage anglais et la lecture (ELAR), les sciences et les études sociales, la région 10 peut réinvestir dans la production de nouveau contenu pour développer sa banque d'articles actuelle. TEKSbank est maintenant équipée de 25 % (20 000) de questions de pointe améliorées par la technologie, ce qui permet une évaluation des connaissances plus approfondie et une évaluation plus précise des compétences des élèves.
“Nous considérons l'IA comme un outil programmé par des humains, supervisé par des humains et analysé par des humains.” - Jim Newhouse, Ancien directeur adjoint des solutions de données de la région 10
Télécharger l'histoire de réussite