Antecedentes
El Centro de Servicios Educativos de la Región 10 (ESC) en Texas juega un papel fundamental en la promoción del éxito estudiantil y en la configuración del panorama educativo en todo el estado. Como socio de otros veinte ESC, la Región 10 sirve a 120 distritos escolares públicos y charter, más de 3,000 escuelas y más de 900,000 estudiantes en todo el estado de Texas. El ESC crea, distribuye y apoya un banco de ítems, TEKSbank, que es utilizado por 600 distritos escolares y charter, más de 5,000 escuelas y más de 3 millones de estudiantes. Desde el desarrollo curricular y el apoyo instruccional hasta la capacitación en liderazgo y los servicios de educación especial, la Región 10 está comprometida con empoderar a los educadores, enriquecer las experiencias de aprendizaje y generar resultados positivos para estudiantes de todos los orígenes y habilidades.
El Reto
La Región 10 publica un banco de ítems, TEKSbank, para que los distritos escolares ayuden a preparar a los estudiantes para el examen de alto riesgo, Evaluaciones de Preparación Académica del Estado de Texas (STAAR®). Las 90,000 preguntas de prueba de TEKSbank están alineadas con los estándares curriculares del estado, Conocimientos y Habilidades Esenciales de Texas, así como con otras etiquetas como la Profundidad de Conocimiento (DOK) de Webb y la Taxonomía de Bloom.
A medida que las tendencias educativas cambian y el estado actualiza sus estándares, la Región 10 dedica mucho esfuerzo a asegurarse de que el banco esté alineado y sea relevante.
Para garantizar que el contenido esté alineado con los estándares curriculares del estado y contenga varios niveles de dificultad, la Región 10 lleva a cabo múltiples proyectos de alineación por año. Se contratan expertos para analizar cada ítem manualmente. Algunos proyectos requieren un único experto curricular para cada uno de los 12 niveles de grado para revisar hasta 2,000 ítems. No solo estos procesos de revisión consumen mucho tiempo, sino que el proceso de revisión manual condujo a una falta de precisión y consistencia entre los ítems actualizados.
La Región 10 estaba gastando una cantidad significativa de tiempo y recursos en mantener la alineación del contenido, con poco tiempo para priorizar el crecimiento y la mejora del contenido. No era raro gastar $150,000 anuales solo para actualizar estándares o etiquetas en contenido existente. Esto se volvió aún más importante en 2023 cuando el panorama educativo de Texas experimentó una transformación significativa con la introducción de ítems mejorados por tecnología (TEIs) y evaluación en línea. Esto fue un alejamiento de los métodos de evaluación tradicionales y desafiaron a los educadores a preparar a los estudiantes para un nuevo paradigma que enfatizaba el pensamiento crítico y una demostración sofisticada de conocimiento. Para apoyar a los maestros y guiarlos en esta nueva frontera, la Región 10 se enfrentó al desafío de crear 20,000 TEIs de alta calidad.
La Región 10 inicialmente delineó cuatro objetivos principales que estaban tratando de lograr al buscar un nuevo socio.
- Asegurar la alineación con los últimos estándares estatales
- Identificar brechas de conocimiento
- Asignar profundidad de conocimiento (DOK) Actualizar contenido con relevancia cultural
El ESC también necesitaba considerar varios factores importantes antes de comenzar la implementación de nueva tecnología para optimizar las prácticas:
- La necesidad de mantener supervisión humana durante todo el proceso
- Ajuste y perfeccionamiento constante del contenido
- Reducir el tiempo de los proyectos de alineación para permitir más tiempo para mejorar y desarrollar más preguntas
La Región 10 se conectó con el equipo Finetune de Prometric en marzo de 2023. Finetune comprendió rápidamente los desafíos del ESC y comenzó a trabajar para implementar Finetune Catalog™, una herramienta híbrida de IA-humano para la alineación de contenido con información detallada a través de bancos de ítems y materiales de aprendizaje.
“Finetune tenía una muy buena comprensión del contenido K-12 y los estándares. Era fácil tener conversaciones con ellos sobre lo que queríamos, aunque no teníamos el conocimiento técnico de IA de cómo describirlo.”
- Jim Newhouse, Anterior Director Asistente de Soluciones de Datos de la Región 10
Resultado
La Región 10 proporcionó a Finetune materiales de aprendizaje como planos de examen, estándares, bancos de ítems y más. Finetune tomó este contenido y construyó un modelo de IA de Catálogo personalizado que trabajaría para analizar su contenido y ver qué tan bien se alineaba con la Profundidad de Conocimiento de Webb. Después de la primera alineación, el Catálogo informó una tasa de precisión del 96%, dejando al equipo de la Región 10 emocionado y optimista por el futuro desarrollo y mejora de su contenido. Esos "dedos en el pajar" que necesitaban mejora de alineación eran solucionables, y podrían hacerlo más rápido, más barato y más precisamente que nunca.
Junto con la precisión de la primera alineación, se proporcionó al ESC una justificación que sería útil en la construcción de futuras evaluaciones. La justificación compleja se ha convertido en una nueva colección transformadora de datos que pueden suministrar a los creadores de exámenes y maestros a través de la plataforma de evaluación.
“La implementación del Catálogo tomó solo unas pocas semanas en lugar de los seis meses proyectados y redujo el número de contratistas necesarios de diez a solo tres. Usar Finetune Catalog para llevar a cabo tareas de alineación ha liberado tiempo y dinero y aumentado la productividad general.”
- Jim Newhouse, Anterior Director Asistente de Soluciones de Datos de la Región 10
Ahora, con ahorros de alrededor de $100,000 por área de contenido central, incluyendo matemáticas, artes del lenguaje inglés y lectura (ELAR), ciencias y estudios sociales, la Región 10 puede reinvertir en la producción de nuevo contenido para hacer crecer su banco de ítems actual. TEKSbank ahora está equipado con un 25% (20,000) de preguntas de vanguardia mejoradas por tecnología, lo que proporciona una evaluación más profunda del conocimiento y una evaluación más precisa de las habilidades de los estudiantes.
“Consideramos que la IA es una herramienta que es programada por humanos, supervisada por humanos y analizada por humanos.”- Jim Newhouse, Anterior Director Asistente de Soluciones de Datos de la Región 10
Descargar Historia de Éxito