Antecedentes
El Centro de Servicios Educativos de la Región 10 (ESC) en Texas juega un papel crucial en fomentar el éxito estudiantil y dar forma al panorama educativo en todo el estado. Como socio de otros veinte ESC, la Región 10 sirve a 120 distritos escolares públicos y charter, más de 3,000 escuelas y más de 900,000 estudiantes en todo el estado de Texas. El ESC crea, distribuye y apoya un banco de ítems, TEKSbank, que es utilizado por 600 distritos escolares y charters, más de 5,000 escuelas y más de 3 millones de estudiantes. Desde el desarrollo curricular y el apoyo instruccional hasta la formación de líderes y los servicios de educación especial, la Región 10 está comprometida a empoderar a los educadores, enriquecer las experiencias de aprendizaje y promover resultados positivos para estudiantes de todos los orígenes y habilidades.
El Desafío
La Región 10 publica un banco de ítems, TEKSbank, para los distritos escolares con el fin de ayudar a preparar a los estudiantes para el examen de alto riesgo, Evaluaciones del Estado de Texas de Preparación Académica (STAAR®). Las 90,000 preguntas de prueba de TEKSbank están alineadas con los estándares curriculares del estado, Conocimientos y Habilidades Esenciales de Texas, así como otros etiquetados como la Profundidad del Conocimiento (DOK) de Webb y la Taxonomía de Bloom.
A medida que cambian las tendencias educativas y el estado actualiza sus estándares, la Región 10 invierte mucho esfuerzo en asegurar que el banco esté alineado y sea relevante.
Para asegurar que el contenido esté alineado con los estándares curriculares del estado y contenga varios niveles de dificultad, la Región 10 lleva a cabo múltiples proyectos de alineación por año. Se contratan expertos para analizar cada ítem manualmente. Algunos proyectos requieren un solo experto curricular para cada uno de los 12 niveles de grado para revisar hasta 2,000 ítems. No solo son procesos de revisión que consumen mucho tiempo, sino que el proceso de revisión manual llevó a una falta de precisión y consistencia entre los ítems actualizados.
La Región 10 estaba gastando una cantidad significativa de tiempo y recursos en mantener la alineación del contenido, con poco tiempo para priorizar el crecimiento y la mejora del contenido. No era raro gastar $150,000 anualmente solo para actualizar estándares o etiquetas en contenido existente. Esto se volvió aún más importante en 2023, cuando el panorama educativo de Texas experimentó una transformación significativa con la introducción de ítems mejorados por tecnología (TEIs) y evaluación en línea. Esto fue un cambio respecto a los métodos de evaluación tradicionales y desafió a los educadores a preparar a los estudiantes para un nuevo paradigma que enfatizaba el pensamiento crítico y una demostración sofisticada de conocimientos. Para apoyar a los maestros y guiarlos en esta nueva frontera, la Región 10 se enfrentó al desafío de crear 20,000 TEIs de alta calidad.
La Región 10 delineó inicialmente cuatro objetivos principales que intentaban lograr al buscar un nuevo socio.
- Asegurar la alineación con los últimos estándares estatales
- Identificar brechas de conocimiento
- Asignar profundidad de conocimiento (DOK) Actualizar contenido con relevancia cultural
El ESC también necesitaba considerar varios factores importantes antes de comenzar la implementación de nueva tecnología para optimizar las prácticas:
- Una necesidad de mantener supervisión humana durante todo el proceso
- Ajustar y perfeccionar constantemente el contenido
- Reducir el tiempo de los proyectos de alineación para permitir más tiempo para mejorar y desarrollar más preguntas
La Región 10 se conectó con el equipo Finetune de Prometric en marzo de 2023. Finetune comprendió rápidamente los desafíos del ESC y comenzó a trabajar para implementar Finetune Catalog™, una herramienta híbrida de IA-humano para la alineación de contenido con conocimientos profundos en bancos de ítems y materiales de aprendizaje.
"Finetune tenía una muy buena comprensión del contenido K-12 y los estándares. Era fácil tener conversaciones con ellos sobre lo que queríamos, incluso aunque no tuviéramos el conocimiento técnico de IA sobre cómo describirlo.”
- Jim Newhouse, Ex Asistente del Director de Soluciones de Datos de la Región 10
Resultado
La Región 10 proporcionó a Finetune materiales de aprendizaje como planos de examen, estándares, bancos de ítems y más. Finetune tomó este contenido y construyó un modelo de AI personalizado de Catálogo que trabajaría para analizar su contenido y ver qué tan bien se alineaba con la Profundidad del Conocimiento de Webb. Después de la primera alineación, el Catálogo informó una tasa de precisión del 96%, dejando al equipo de la Región 10 emocionado y optimista sobre el futuro desarrollo y mejora de su contenido. Esos “haystack” que necesitaban mejora de alineación eran solucionables, y podrían hacerlo más rápido, más barato y más precisamente que nunca.
Junto con la precisión de la primera alineación, se proporcionó al ESC una justificación que sería útil en la construcción de futuras evaluaciones. La justificación compleja se ha convertido en una nueva colección transformadora de datos que pueden suministrar a los constructores de pruebas y maestros a través de la plataforma de evaluación.
“La implementación del Catálogo tomó solo unas pocas semanas en lugar de los seis meses proyectados y redujo el número de contratistas necesarios de diez a solo tres. Usar Finetune Catalog para llevar a cabo tareas de alineación ha liberado tiempo y dinero y aumentado la productividad general.”
- Jim Newhouse, Ex Asistente del Director de Soluciones de Datos de la Región 10
Ahora, con ahorros de alrededor de $100,000 por área de contenido central, incluyendo matemáticas, artes del lenguaje inglés y lectura (ELAR), ciencias y estudios sociales, la Región 10 puede reinvertir en producir nuevo contenido para hacer crecer su banco de ítems actual. TEKSbank ahora está equipado con un 25% (20,000) de preguntas de vanguardia mejoradas por tecnología, que proporcionan una evaluación más profunda del conocimiento y una evaluación más precisa de las habilidades de los estudiantes.
“Pensamos en la IA como una herramienta que es programada por humanos, supervisada por humanos y analizada por humanos.” - Jim Newhouse, Ex Asistente del Director de Soluciones de Datos de la Región 10
Descargar Historia de Éxito