Contexto
O Centro de Serviços Educacionais da Região 10 (ESC) no Texas desempenha um papel fundamental na promoção do sucesso dos alunos e na formação do cenário educacional em todo o estado. Como parceiro de outros vinte ESCs, a Região 10 atende a 120 distritos escolares públicos e charter, mais de 3.000 escolas e mais de 900.000 alunos em todo o estado do Texas. O ESC cria, distribui e apoia um banco de itens, o TEKSbank, que é utilizado por 600 distritos escolares e charter, mais de 5.000 escolas e mais de 3 milhões de alunos. Desde o desenvolvimento curricular e suporte instrucional até o treinamento de liderança e serviços de educação especial, a Região 10 está comprometida em capacitar educadores, enriquecer experiências de aprendizagem e promover resultados positivos para alunos de todas as origens e habilidades.
O Desafio
A Região 10 publica um banco de itens, o TEKSbank, para distritos escolares ajudarem a preparar os alunos para o exame de alto risco, Avaliações de Prontidão Acadêmica do Estado do Texas (STAAR®). As 90.000 questões do teste do TEKSbank estão alinhadas aos padrões curriculares do estado, Conhecimento e Habilidades Essenciais do Texas, bem como outras tags como a Profundidade do Conhecimento (DOK) de Webb e a Taxonomia de Bloom.
À medida que as tendências educacionais mudam e o estado atualiza seus padrões, a Região 10 investe muito esforço para garantir que o banco esteja alinhado e relevante.
Para garantir que o conteúdo esteja alinhado aos padrões curriculares do estado e contenha vários níveis de dificuldade, a Região 10 realiza vários projetos de alinhamento por ano. Contratados são contratados para analisar manualmente cada item. Alguns projetos exigem um único especialista curricular para cada um dos 12 níveis de série para revisar até 2.000 itens. Esses processos de revisão não apenas consomem muito tempo, mas o processo de revisão manual levou a uma falta de precisão e consistência entre os itens atualizados.
A Região 10 estava gastando uma quantidade significativa de tempo e recursos na manutenção do alinhamento do conteúdo, com pouco tempo para priorizar o crescimento e a melhoria do conteúdo. Não era incomum gastar $150.000 anualmente apenas para atualizar padrões ou tags em conteúdos existentes. Isso se tornou ainda mais importante em 2023, quando o cenário educacional do Texas passou por uma transformação significativa com a introdução de itens aprimorados por tecnologia (TEIs) e avaliação online. Isso foi uma mudança em relação aos métodos tradicionais de avaliação e desafiou os educadores a preparar os alunos para um novo paradigma que enfatizava o pensamento crítico e uma demonstração sofisticada do conhecimento. Para apoiar os professores e conduzi-los a essa nova fronteira, a Região 10 enfrentou o desafio de criar 20.000 TEIs de alta qualidade.
A Região 10 inicialmente delineou quatro metas principais que estavam tentando alcançar ao buscar um novo parceiro.
- Garantir alinhamento aos mais recentes padrões estaduais
- Identificar lacunas de conhecimento
- Atribuir profundidade do conhecimento (DOK) Atualizar conteúdo com relevância cultural
O ESC também precisava considerar vários fatores importantes antes de iniciar a implementação de novas tecnologias para otimizar práticas:
- Uma necessidade de manter supervisão humana durante todo o processo
- Ajuste e aperfeiçoamento constante do conteúdo
- Reduzir o tempo dos projetos de alinhamento para permitir mais tempo para aprimorar e desenvolver mais perguntas
A Região 10 se conectou com a equipe Finetune da Prometric em março de 2023. A Finetune rapidamente compreendeu os desafios do ESC e começou a trabalhar na implementação do Finetune Catalog™, uma ferramenta híbrida de IA-humano para alinhamento de conteúdo com insights detalhados em bancos de itens e materiais de aprendizagem.
"A Finetune tinha uma compreensão muito boa do conteúdo K-12 e dos padrões. Foi fácil ter conversas com eles sobre o que queríamos, mesmo que não tivéssemos o conhecimento técnico de IA sobre como descrevê-lo.”
- Jim Newhouse, Ex-Diretor Assistente de Soluções de Dados da Região 10
Resultado
A Região 10 forneceu à Finetune materiais de aprendizagem, como planos de exame, padrões, bancos de itens e mais. A Finetune pegou esse conteúdo e construiu um modelo de IA do Catálogo personalizado que trabalharia para analisar seu conteúdo e ver quão bem estava alinhado com a Profundidade do Conhecimento de Webb. Após o primeiro alinhamento, o Catálogo relatou uma taxa de precisão de 96%, deixando a equipe da Região 10 animada e otimista para o futuro desenvolvimento e melhoria de seu conteúdo. Aqueles "agulhas no palheiro" que precisavam de melhoria no alinhamento eram consertáveis, e eles seriam capazes de fazê-lo mais rápido, mais barato e com mais precisão do que nunca.
Juntamente com a precisão do primeiro alinhamento, o ESC recebeu uma justificativa que seria útil na construção de futuras avaliações. A justificativa complexa se tornou uma nova coleção transformadora de dados que eles podem fornecer a construtores de testes e professores por meio da plataforma de avaliação.
“A implementação do Catálogo levou apenas algumas semanas, em vez dos seis meses projetados, e reduziu o número de contratados necessários de dez para apenas três. Usar o Finetune Catalog para realizar tarefas de alinhamento liberou tempo e dinheiro e aumentou a produtividade geral.”
- Jim Newhouse, Ex-Diretor Assistente de Soluções de Dados da Região 10
Agora, com uma economia de cerca de $100.000 por área de conteúdo central, incluindo matemática, artes da língua inglesa e leitura (ELAR), ciências e estudos sociais, a Região 10 pode reinvestir na produção de novo conteúdo para expandir seu banco de itens atual. O TEKSbank agora está equipado com 25% (20.000) de perguntas de ponta, aprimoradas por tecnologia, que fornecem uma avaliação de conhecimento mais profunda e uma avaliação mais precisa das habilidades dos alunos.
“Pensamos na IA como uma ferramenta programada por humanos, supervisionada por humanos e analisada por humanos.”- Jim Newhouse, Ex-Diretor Assistente de Soluções de Dados da Região 10
Baixar História de Sucesso