Contexto
O Centro de Serviços Educacionais da Região 10 (ESC) no Texas desempenha um papel fundamental na promoção do sucesso dos alunos e na formação do cenário educacional em todo o estado. Como parceiro de outros vinte ESCs, a Região 10 atende 120 distritos escolares públicos e charter, mais de 3.000 escolas e mais de 900.000 alunos em todo o estado do Texas. O ESC cria, distribui e apoia um banco de itens, o TEKSbank, que é utilizado por 600 distritos escolares e charter, mais de 5.000 escolas e mais de 3 milhões de alunos. Desde o desenvolvimento de currículo e suporte instrucional até treinamento de liderança e serviços de educação especial, a Região 10 está comprometida em capacitar educadores, enriquecer experiências de aprendizado e promover resultados positivos para alunos de todas as origens e habilidades.
O Desafio
A Região 10 publica um banco de itens, o TEKSbank, para distritos escolares ajudarem a preparar alunos para o exame de alta relevância, as Avaliações de Prontidão Acadêmica do Estado do Texas (STAAR®). As 90.000 questões de teste do TEKSbank estão alinhadas aos padrões curriculares do estado, Conhecimentos e Habilidades Essenciais do Texas, bem como outras etiquetas como a Profundidade do Conhecimento (DOK) de Webb e a Taxonomia de Bloom.
À medida que as tendências educacionais mudam e o estado atualiza seus padrões, a Região 10 investe muito esforço para garantir que o banco esteja alinhado e relevante.
Para garantir que o conteúdo esteja alinhado aos padrões curriculares do estado e contenha vários níveis de dificuldade, a Região 10 realiza vários projetos de alinhamento por ano. Contratados são contratados para analisar cada item manualmente. Alguns projetos exigem um único especialista em currículo para cada um dos 12 níveis de série para revisar até 2.000 itens. Esses processos de revisão não só consomem tempo, mas o processo de revisão manual levou a uma falta de precisão e consistência entre os itens atualizados.
A Região 10 estava gastando uma quantidade significativa de tempo e recursos na manutenção do alinhamento de conteúdo, com pouco tempo para priorizar o crescimento e a melhoria do conteúdo. Não era incomum gastar $150.000 anualmente apenas para atualizar padrões ou etiquetas em conteúdos existentes. Isso se tornou ainda mais importante em 2023, quando o cenário educacional do Texas passou por uma transformação significativa com a introdução de itens melhorados por tecnologia (TEIs) e avaliação online. Isso foi uma ruptura em relação aos métodos de avaliação tradicionais e desafiou os educadores a preparar os alunos para um novo paradigma que enfatizava o pensamento crítico e uma demonstração sofisticada de conhecimento. Para apoiar os professores e guiá-los nessa nova fronteira, a Região 10 enfrentou o desafio de criar 20.000 TEIs de alta qualidade.
A Região 10 inicialmente delineou quatro objetivos principais que estavam tentando alcançar ao buscar um novo parceiro.
- Garantir alinhamento com os últimos padrões do estado
- Identificar lacunas de conhecimento
- Atribuir profundidade de conhecimento (DOK) Atualizar conteúdo com relevância cultural
O ESC também precisava considerar vários fatores importantes antes de iniciar a implementação de novas tecnologias para agilizar práticas:
- Uma necessidade de manter supervisão humana durante todo o processo
- Ajustes e aperfeiçoamentos constantes do conteúdo
- Reduzir o tempo dos projetos de alinhamento para permitir mais tempo para aprimorar e desenvolver mais perguntas
A Região 10 se conectou com a equipe Finetune da Prometric em março de 2023. A Finetune rapidamente compreendeu os desafios do ESC e começou a trabalhar para implementar o Finetune Catalog™, uma ferramenta híbrida de IA-humano para alinhamento de conteúdo com insights detalhados através de bancos de itens e materiais de aprendizagem.
“A Finetune teve uma compreensão realmente boa do conteúdo K-12 e dos padrões. Foi fácil ter conversas com eles sobre o que queríamos, mesmo que não tivéssemos o conhecimento técnico de IA para descrever.”
- Jim Newhouse, Ex-Diretor Assistente de Soluções de Dados da Região 10
Resultado
A Região 10 forneceu à Finetune materiais de aprendizagem, como planos de exame, padrões, bancos de itens e mais. A Finetune pegou esse conteúdo e construiu um modelo de IA personalizado do Catalog que trabalharia para analisar seu conteúdo e ver quão bem ele se alinhava com a Profundidade do Conhecimento de Webb. Após o primeiro alinhamento, o Catalog reportou uma taxa de precisão de 96%, deixando a equipe da Região 10 animada e otimista para o futuro desenvolvimento e aprimoramento de seu conteúdo. Aqueles “agulhas no palheiro” que precisavam de melhoria de alinhamento eram solucionáveis, e eles seriam capazes de fazê-lo de maneira mais rápida, barata e precisa do que nunca.
Juntamente com a precisão do primeiro alinhamento, o ESC recebeu uma justificativa que seria útil na construção de futuras avaliações. A justificativa complexa se tornou uma nova coleção transformadora de dados que eles podem fornecer a construtores de testes e professores através da plataforma de avaliação.
“A implementação do Catalog levou apenas algumas semanas, em vez dos seis meses projetados, e reduziu o número de contratados necessários de dez para apenas três. Usar o Finetune Catalog para realizar tarefas de alinhamento liberou tempo e dinheiro e aumentou a produtividade geral.”
- Jim Newhouse, Ex-Diretor Assistente de Soluções de Dados da Região 10
Agora, com uma economia de cerca de $100.000 por área de conteúdo principal, incluindo matemática, artes da linguagem inglesa e leitura (ELAR), ciências e estudos sociais, a Região 10 pode reinvestir na produção de novo conteúdo para aumentar seu banco de itens atual. O TEKSbank está agora equipado com 25% (20.000) de perguntas de ponta, melhoradas por tecnologia, que proporcionam uma avaliação de conhecimento mais profunda e uma avaliação mais precisa das habilidades dos alunos.
“Pensamos na IA como uma ferramenta que é programada por humanos, supervisionada por humanos e analisada por humanos.”
- Jim Newhouse, Ex-Diretor Assistente de Soluções de Dados da Região 10
Baixar Caso de Sucesso