Histórias de Sucesso/Região 10 do Texas transforma a educação com Inteligência Artificial personalizada.
Região 10 do Texas Transforma a Educação com Inteligência Artificial Personalizada
O exame de avaliação acadêmica de alto risco K-12 da Região 10 do Estado do Texas exigiu melhorias de conteúdo, mas apenas a IA da Prometric poderia bancar e alinhar rapidamente e de forma econômica os 90.000 itens.
Contexto
O Centro de Serviços Educacionais da Região 10 (ESC) do Texas desempenha um papel vital na promoção do sucesso dos alunos e na formação de paisagens educacionais em todo o estado. Como parceiro de outros vinte ESCs, a Região 10 atende a 120 distritos escolares públicos e privados, mais de 3000 escolas e mais de 900.000 alunos em todo o estado do Texas. O centro estabelece, distribui e apoia o Banco de Recursos TEKS, que é utilizado por 600 distritos escolares, mais de 5000 escolas e mais de 3 milhões de alunos. Desde o desenvolvimento curricular e apoio educacional até o treinamento de liderança e serviços de educação especial, a Região 10 está comprometida em capacitar os professores, enriquecer as experiências de aprendizagem e impulsionar resultados positivos para os alunos de todos os contextos e habilidades.
O Desafio
A Região 10 publica 10 bancos de itens conhecidos como TEKSbank, para os distritos escolares auxiliarem na preparação dos alunos para os testes de avaliação de alto impacto, como o Teste de Avaliação do Estado do Texas (STAAR®). As questões dos testes TEKSbank, que totalizam 90.000, estão alinhadas com os padrões curriculares do estado, conhecimentos e habilidades fundamentais do Texas, além de indicadores como o Nível de Complexidade Cognitiva (DOK) e a Taxonomia de Bloom.
Com as mudanças nas tendências educacionais e a atualização dos padrões estaduais, a Região 10 dedica-se a garantir que o banco esteja alinhado e adequado.
Para garantir a correspondência do conteúdo com os padrões curriculares estaduais e abranger múltiplos níveis de dificuldade, a Região 10 realiza várias iniciativas de alinhamento anualmente. Contratam-se analistas para revisar manualmente cada item. Alguns projetos exigem apenas um especialista no currículo para cada um dos 12 níveis de graduação, revisando até 2.000 itens. Esses processos de revisão em curso não apenas consomem muito tempo, mas também resultam em falta de precisão e consistência entre os itens atualizados.
A Região 10 gastava grandes quantidades de tempo e recursos para manter a conformidade do conteúdo, sem tempo suficiente para identificar prioridades de crescimento e aprimoramento do conteúdo. Era comum gastar até $150.000 anualmente apenas para atualizar os padrões ou indicadores no conteúdo existente. Isso se tornou mais crucial em 2023, quando o cenário educacional do Texas passou por uma transformação significativa com a introdução de Itens Aprimorados por Tecnologia (TEIs) e avaliações online. Foi uma mudança em relação aos métodos de avaliação tradicionais, e os professores enfrentaram o desafio de preparar os alunos para um novo modelo que enfatiza o pensamento crítico e uma revisão sofisticada do conhecimento. Para apoiar os professores e orientá-los nessa nova frente, a Região 10 enfrentou o desafio de criar 20.000 itens aprimorados de alta qualidade.
"Feynman tinha realmente um bom entendimento do conteúdo do ensino fundamental e secundário e dos padrões. Foi fácil conversar com eles sobre o que queríamos, apesar da falta de conhecimento técnico em inteligência artificial sobre como descrever isso."
Jim Newhouse
O ex-gerente assistente de soluções de dados na região 10.
Estratégia de Parceria
A Região 10 inicialmente identificou quatro objetivos principais que estavam buscando alcançar ao procurar por um novo parceiro.
Garantir conformidade com os mais recentes padrões governamentais
Identificar lacunas de conhecimento
Identificar a Profundidade do Conhecimento (DOK) e atualizar o conteúdo para se adequar à cultura
"Consideramos a inteligência artificial uma ferramenta programada por humanos, supervisionada por humanos e analisada por humanos."
- Jim Newhouse, ex-Diretor Adjunto de Soluções de Dados na Região 10
O Centro de Educação de Serviços também teve que considerar vários fatores importantes antes de implementar uma nova tecnologia para simplificar as práticas:
A necessidade de manter supervisão humana ao longo do processo
Ajustar e melhorar continuamente o conteúdo
Reduzir o tempo de projetos de conformidade para permitir mais tempo para fortalecer e desenvolver mais questões
A Região 10 entrou em contato com a equipe do Finetune, uma subsidiária da Prometric, em março de 2023. A equipe do Finetune rapidamente compreendeu os desafios do Centro de Educação de Serviços e começou a implementar o Finetune Catalog™, uma ferramenta híbrida de inteligência artificial e humanidade para alinhar o conteúdo com análises aprofundadas em instituições financeiras e materiais educacionais.
Foi criado um catálogo em apenas algumas semanas em vez dos seis meses esperados e reduziu o número de empreiteiros necessários de dez para apenas três. O uso do Finetune Catalog para realizar tarefas de orientação liberou tempo e dinheiro e aumentou a produtividade geral.
Jim Newhouse
O ex-gerente assistente de soluções de dados na região 10.
O resultado
A Região 10 forneceu à Finetune materiais educativos como modelos de exames, padrões, bancos de questões bancárias e muito mais. A Finetune aproveitou esse conteúdo e construiu um modelo Catalog AI personalizado que analisa o conteúdo deles e determina o quão profundo é o conhecimento para Webb. Após a primeira compatibilidade, o Catalog informou uma taxa de precisão de 96%, o que deixou a equipe da Região 10 animada e otimista para desenvolver seu conteúdo no futuro. Eles puderam aprimorar aquelas "agulhas no palheiro" que precisavam de melhorias na compatibilidade, e conseguiram fazer isso de forma mais rápida, mais barata e mais precisa do que nunca.
Além da precisão inicial da compatibilidade, ESC foi fornecido com uma justificativa que pode ser útil na construção de avaliações futuras. A justificativa tornou-se um novo conjunto de dados transformado que eles podem disponibilizar para os construtores de testes e professores por meio da plataforma de avaliação.
Agora, graças a economizar cerca de $100.000 em cada área principal, incluindo Matemática, Inglês e Artes da Leitura (ELAR), Ciências e Estudos Sociais, a Região 10 pode reinvestir isso na produção de novo conteúdo para aumentar seu banco de itens atual. Agora, o TEKSbank possui 25% (20.000) de perguntas avançadas impulsionadas pela tecnologia, que oferecem uma avaliação profunda do conhecimento e uma avaliação precisa das habilidades dos alunos.
