Fondo
Region 10 Education Service Center (ESC) en Texas juega un papel crucial en fomentar el éxito estudiantil y moldear el paisaje educativo en todo el estado. Como socio de otros veinte ESCs, Region 10 atiende a 120 distritos escolares públicos y charter, más de 3,000 escuelas y más de 900,000 estudiantes en todo el estado de Texas. El ESC crea, distribuye y apoya un banco de ítems, TEKSbank, que es utilizado por 600 distritos escolares y charter, más de 5,000 escuelas y más de 3 millones de estudiantes. Desde el desarrollo curricular y el apoyo instruccional hasta la formación de líderes y los servicios de educación especial, Region 10 está comprometido a empoderar a los educadores, enriquecer las experiencias de aprendizaje y generar resultados positivos para estudiantes de todos los orígenes y habilidades.
El Desafío
Region 10 publica un banco de ítems, TEKSbank, para que los distritos escolares ayuden a preparar a los estudiantes para el examen de alta responsabilidad, State of Texas Assessments of Academic Readiness (STAAR®). Las 90,000 preguntas de prueba de TEKSbank están alineadas con los estándares curriculares del estado, Texas Essential Knowledge and Skills, así como otros tags como Webb’s Depth of Knowledge (DOK) y Bloom’s Taxonomy.
A medida que las tendencias educativas cambian y el estado actualiza sus estándares, Region 10 dedica mucho esfuerzo a asegurarse de que el banco esté alineado y sea relevante.
Para asegurar que el contenido esté alineado con los estándares curriculares del estado y contenga varios niveles de dificultad, Region 10 lleva a cabo múltiples proyectos de alineación por año. Se contratan a contratistas para analizar cada ítem manualmente. Algunos proyectos requieren un solo experto curricular para cada uno de los 12 niveles de grado para revisar hasta 2,000 ítems. No solo estos procesos de revisión son que consumen tiempo, sino que el proceso de revisión manual llevó a una falta de precisión y consistencia entre los ítems actualizados.
Region 10 estaba gastando una cantidad significativa de tiempo y recursos en mantener la alineación del contenido, con poco tiempo para priorizar el crecimiento y mejora del contenido. No era raro gastar $150,000 anualmente solo para actualizar estándares o tags en contenido existente. Esto se volvió aún más importante en 2023 cuando el paisaje educativo de Texas sufrió una transformación significativa con la introducción de ítems mejorados por tecnología (TEIs) y evaluación en línea. Esto fue un cambio de los métodos de evaluación tradicionales y desafió a los educadores a preparar a los estudiantes para un nuevo paradigma que enfatizaba el pensamiento crítico y una demostración sofisticada del conocimiento. Para apoyar a los maestros y guiarlos hacia esta nueva frontera, Region 10 se enfrentó al desafío de crear 20,000 TEIs de alta calidad.
Region 10 inicialmente delineó cuatro objetivos principales que estaban tratando de lograr al buscar un nuevo socio.
- Asegurar la alineación con los últimos estándares estatales
- Identificar brechas de conocimiento
- Asignar profundidad de conocimiento (DOK) Actualizar el contenido con relevancia cultural
El ESC también necesitaba considerar varios factores importantes antes de comenzar la implementación de nueva tecnología para optimizar las prácticas:
- Una necesidad de mantener supervisión humana durante todo el proceso
- Ajustar y perfeccionar constantemente el contenido
- Reducir el tiempo de los proyectos de alineación para permitir más tiempo para mejorar y desarrollar más preguntas
Region 10 se conectó con el equipo Finetune de Prometric en marzo de 2023. Finetune comprendió rápidamente los desafíos del ESC y comenzó a trabajar para implementar Finetune Catalog™, una herramienta híbrida de IA-humano para la alineación de contenido con conocimientos profundos a través de bancos de ítems y materiales de aprendizaje.
"Finetune tuvo una comprensión realmente buena del contenido K-12 y los estándares. Fue fácil tener conversaciones con ellos sobre lo que queríamos, incluso aunque no teníamos el conocimiento técnico de IA de cómo describirlo.”
- Jim Newhouse, Ex Director Asistente de Soluciones de Datos de Region 10
Resultado
Region 10 proporcionó a Finetune materiales de aprendizaje como planos de examen, estándares, bancos de ítems y más. Finetune tomó este contenido y construyó un modelo de Catalog AI personalizado que trabajaría para analizar su contenido y ver qué tan bien se alineaba con la profundidad de conocimiento de Webb. Después de la primera alineación, Catalog reportó una tasa de precisión del 96%, dejando al equipo de Region 10 emocionado y optimista por el desarrollo y mejora futura de su contenido. Esos “agujas en el pajar” que necesitaban mejora de alineación eran reparables, y podrían hacerlo más rápido, más barato y más precisamente que nunca.
Junto con la precisión de la primera alineación, al ESC se le proporcionó una justificación que sería útil en la construcción de futuras evaluaciones. La justificación compleja se ha convertido en una nueva colección transformadora de datos que pueden suministrar a los constructores de pruebas y maestros a través de la plataforma de evaluación.
“La implementación de Catalog tomó solo unas pocas semanas en lugar de los seis meses proyectados y redujo el número de contratistas necesarios de diez a solo tres. Usar Finetune Catalog para llevar a cabo tareas de alineación ha liberado tiempo y dinero y aumentado la productividad general.”
- Jim Newhouse, Ex Director Asistente de Soluciones de Datos de Region 10
Ahora, con ahorros de alrededor de $100,000 por área de contenido principal, incluyendo matemáticas, artes del lenguaje inglés y lectura (ELAR), ciencias y estudios sociales, Region 10 puede reinvertir en la producción de nuevo contenido para hacer crecer su banco de ítems actual. TEKSbank ahora está equipado con un 25% (20,000) de preguntas de vanguardia mejoradas por tecnología, lo que proporciona una evaluación de conocimientos más profunda y una evaluación más precisa de las habilidades de los estudiantes.
“Pensamos en la IA como una herramienta que es programada por humanos, supervisada por humanos y analizada por humanos.”
- Jim Newhouse, Ex Director Asistente de Soluciones de Datos de Region 10
Nyns Derry Kewrane