Pesquisa
Histórias de Sucesso / Líder de Conteúdo Digital Transforma a Criação de Itens de Exame com IA

Líder em Conteúdo Digital Transforma Criação de Questões de Exame com IA

Com quase 200 exames e mais de 18.000 itens, os métodos tradicionais de construção de exames se tornaram um obstáculo ao crescimento. Novas tecnologias de IA permitiram uma capacidade maior e significativas economias de custo.

Shutterstock 417879736

Antecedentes

Um pioneiro em inovação digital, este líder da indústria evoluiu continuamente para atender às necessidades dinâmicas de criadores de conteúdo e desenvolvedores em todo o mundo. Desde seus primórdios como uma empresa de software até se tornar um dos principais fornecedores de ferramentas de conteúdo digital, ele incorpora um compromisso com a inovação e adaptabilidade.

O Desafio

À medida que o portfólio de produtos da organização se expandiu e sua influência no domínio digital cresceu, aumentou a demanda por programas de certificação. Desde 2018, a empresa ampliou suas ofertas de certificação em mais de cinco vezes para acompanhar essa demanda. Com mais de 170 exames e mais de 18.000 itens, manter a trajetória de desenvolvimento de exames se tornou quase impossível.

Essa rápida expansão apresentou vários desafios, tais como:

  • A necessidade de uma solução mais ágil e econômica para atualizar o conteúdo do exame sem sobrecarregar as equipes.
  • Medidas de segurança aprimoradas para lidar com ameaças crescentes de cibersegurança.
  • A demanda por itens de exame adicionais para apoiar testes práticos e programas de recertificação.

Reconhecendo a necessidade de uma solução robusta, a organização buscou um parceiro que pudesse apoiar esses esforços com um compromisso com a colaboração, inovação e alcance de objetivos específicos:

  • Desenvolvimento aprimorado de bancos de itens com itens originais e seguros.
  • Capacidade de produzir mais formas de exame para apoiar material de teste prático.
  • Estabelecimento de um processo para incorporar tecnologia de IA.

Avaliamos muitas plataformas e soluções para desenvolver itens de exame e escolhemos o Finetune da Prometric. Tudo se resume a como o sistema pode ser treinado com base em nossos parâmetros, em vez de genéricos.

Chefe Global do Programa de Certificação Digita

Estratégia de Parceria

No final de 2022, a organização respondeu a esses desafios formando uma parceria estratégica com a Finetune by Prometric, uma empresa especializada em soluções de desenvolvimento de testes aprimoradas por IA. Juntos, eles se propuseram a revolucionar o programa de certificação implementando o patenteado Finetune Generate®, uma solução de geração de itens híbrida de IA que combina IA avançada com revisão de especialistas em assuntos (SME).

As equipes colaboraram para adaptar o Finetune Generate às necessidades únicas da organização e constataram que a solução atendia a todos os requisitos críticos.

A segurança foi uma preocupação primordial, então as capacidades personalizáveis e controladas por acesso do Finetune Generate permitiram que a empresa treinasse o modelo com suas próprias perguntas, referências de itens, planejamentos de exames, descrições de níveis cognitivos e regras de redação de itens em um ambiente controlado, protegendo contra interferências externas. Essa abordagem deu à organização total propriedade do conteúdo criado na plataforma, garantindo total confiança na segurança.

O Processo de Implementação

A parceria seguiu uma abordagem de implementação em quatro etapas, refinando continuamente o modelo com feedback de PMEs e workshops de desenvolvimento de itens. Aproveitando a expertise da Prometric no desenvolvimento de itens e a expertise no domínio da empresa, a equipe ajustou o modelo de IA, garantindo itens psicometricamente válidos.

Como resultado, a parceria produziu 26 novos modelos de IA para apoiar o desenvolvimento de itens, reduzindo o tempo de criação de itens de 90 minutos para 30 minutos por item - uma diminuição de 67% no tempo de desenvolvimento. A organização antecipa mais melhorias à medida que a ferramenta é aprimorada.

"Esta etapa é onde a mágica realmente acontece. Todo o conteúdo é repassado para a Prometric, e eles começam a construir o modelo. Uma ótima equipe de cientistas de IA e dados etiqueta tudo e constrói o modelo com base em nossas necessidades."

- Gerente Sênior de Exames e Desenvolvimento de Conteúdo

"Nosso investimento em IA é crucial para lidar com a escala e complexidade de nossos programas. Sem o Finetune Generate, sustentar esse nível de desenvolvimento de exames seria impossível de gerenciar."

Chefe Global do Programa de Certificação Digita

Resultado

Colaborar com a Prometric permitiu à empresa acelerar a criação de conteúdos de exame únicos, garantindo ao mesmo tempo a conformidade com as mais recentes normas do setor e atualizações de produtos. Através da tecnologia de IA da Generate, a organização adotou uma abordagem mais ágil para o desenvolvimento de itens, permitindo uma rápida adaptação aos avanços do setor.

Esta abordagem inovadora estendeu-se por todo o ecossistema de certificação, incluindo exames de recertificação, exames práticos e avaliações de final de curso. Isso garantiu uma experiência consistente e de alta qualidade para todos os participantes, ao mesmo tempo que abordava as necessidades em evolução do programa.

Metas Alcançadas Através da Geração Finetune com IA da Prometric:

  1. Otimização do Tempo de Lançamento no Mercado: Ciclos de desenvolvimento e lançamento acelerados para exames de certificação, permitindo atualizações oportunas para atender às normas do setor.
  2. Economia de Custos: A adoção da tecnologia de IA levou a uma economia de custos de mais de 60% por item, tornando o processo mais eficiente.
  3. Utilização Eficiente da Expertise: Ao reduzir o tempo de criação de itens em 67%, a empresa otimizou efetivamente os recursos dos SME.

Com a Geração Finetune da Prometric, a organização encontrou um parceiro estratégico capaz de superar obstáculos no desenvolvimento eficiente e seguro de exames. A integração da IA transformou a criação de itens de um processo manual em uma operação que economiza tempo e custos, aumentando a produtividade e permitindo uma maior expansão.

À medida que o sistema de IA continua a melhorar com dados adicionais, a organização obteve uma vantagem competitiva no espaço de certificação. A capacidade do Finetune de gerar itens seguros e robustos ajudou a otimizar os recursos e demonstrou economias significativas de tempo e custos. Com esse sucesso, planos estão em andamento para integrar a Geração em mais ofertas e cursos.

O Chefe Global do Programa de Certificação Digital antecipa mais reduções de custos à medida que o sistema Finetune se torna mais avançado. "Vamos abraçar o potencial da IA", concluiu ele.

Baixar História de Sucesso