Líder de Conteúdo Digital Transforma a Criação de Itens de Exame com IA

Com quase 200 exames e mais de 18.000 itens, os métodos tradicionais de construção de exames se tornaram um obstáculo ao crescimento. Novas tecnologias de IA possibilitaram maior capacidade e economias significativas.

Shutterstock 417879736

Contexto

Um pioneiro em inovação digital, este líder do setor tem continuamente evoluído para atender às necessidades dinâmicas de criadores de conteúdo e desenvolvedores em todo o mundo. Desde suas origens como uma empresa de software até se tornar um dos principais fornecedores de ferramentas de conteúdo digital, ele incorpora um compromisso com a inovação e a adaptabilidade.

O Desafio

À medida que o portfólio de produtos da organização se expandiu e sua influência no domínio digital cresceu, também aumentou a demanda por programas de certificação. Desde 2018, a empresa escalou suas ofertas de certificação em mais de cinco vezes para acompanhar essa demanda. Com mais de 170 exames e mais de 18.000 itens, manter a trajetória de desenvolvimento de exames se tornou quase impossível.

Essa rápida expansão apresentou vários desafios, como:

  • A necessidade de uma solução mais ágil e econômica para atualizar o conteúdo dos exames sem sobrecarregar as equipes.
  • Medidas de segurança aprimoradas para lidar com as crescentes ameaças cibernéticas.
  • A demanda por itens adicionais de exames para suportar testes práticos e programas de recertificação.

Reconhecendo a necessidade de uma solução robusta, a organização buscou um parceiro que pudesse apoiar esses esforços com um compromisso com a colaboração, inovação e a realização de objetivos específicos:

  • Desenvolvimento aprimorado do banco de itens com itens originais e seguros.
  • A capacidade de produzir mais formas de exame para apoiar o material de testes práticos.
  • Estabelecimento de um processo para incorporar tecnologia de IA.

Estratégia de Parceria

No final de 2022, a organização respondeu a esses desafios formando uma parceria estratégica com a Finetune by Prometric, uma empresa especializada em soluções de desenvolvimento de testes aprimoradas por IA. Juntos, eles se propuseram a revolucionar o programa de certificação implementando o Finetune Generate®, uma solução de geração de itens híbridos de IA que combina IA avançada com a revisão de especialistas em conteúdo (SME).

As equipes colaboraram para adaptar o Finetune Generate às necessidades únicas da organização e descobriram que a solução atendia a todos os requisitos críticos.

A segurança era uma preocupação primordial, então as capacidades personalizáveis e controladas por acesso do Finetune Generate permitiram que a empresa treinasse o modelo com suas próprias perguntas, referências de itens, planos de exame, descrições de níveis cognitivos e regras de redação de itens em um ambiente controlado, protegendo contra interferências externas. Essa abordagem deu à organização total propriedade do conteúdo criado dentro da plataforma, garantindo total confiança na segurança.

O Processo de Implementação

A parceria seguiu uma abordagem de implementação em quatro etapas, refinando continuamente o modelo com feedback de SMEs e workshops de desenvolvimento de itens. Aproveitando a expertise da Prometric em desenvolvimento de itens e a experiência de domínio da empresa, a equipe ajustou o modelo de IA, garantindo itens psicometricamente válidos.

Como resultado, a parceria produziu 26 novos modelos de IA para apoiar o desenvolvimento de itens, reduzindo o tempo de criação de itens de 90 minutos para 30 minutos por item — uma redução de 67% no tempo de desenvolvimento. A organização antecipa melhorias adicionais à medida que a ferramenta é refinada.

 

"Este passo é onde a mágica realmente acontece. Todo o conteúdo é entregue à Prometric, e eles começam a construir o modelo. Uma ótima equipe de cientistas de dados e IA marca tudo e constrói o modelo com base em nossas necessidades."

- Gerente Sênior de Desenvolvimento de Exames e Conteúdo

Resultado

A colaboração com a Prometric permitiu à empresa acelerar a criação de conteúdo de exame exclusivo, garantindo alinhamento com os mais recentes padrões da indústria e atualizações de produtos. Através da tecnologia de IA do Generate, a organização adotou uma abordagem mais ágil para o desenvolvimento de itens, permitindo rápida adaptação aos avanços da indústria.

Essa abordagem inovadora se estendeu por todo o ecossistema de certificação, incluindo exames de recertificação, exames práticos e avaliações de fim de curso. Isso garantiu uma experiência de alta qualidade e consistente para todos os participantes, enquanto abordava as necessidades em evolução do programa.

Metas Atingidas Através do Finetune Generate Potencializado por IA da Prometric:

  1. Otimização do Tempo de Lançamento: Ciclos de desenvolvimento e lançamento acelerados para exames de certificação, permitindo atualizações pontuais para atender aos padrões da indústria.
  2. Economia de Custos: A adoção da tecnologia de IA levou a uma economia de mais de 60% por item, tornando o processo mais eficiente.
  3. Utilização Eficiente da Expertise: Ao reduzir o tempo de criação de itens em 67%, a empresa otimizou efetivamente os recursos de SMEs.

"Nosso investimento em IA é crucial para lidar com a escala e complexidade de nossos programas. Sem o Finetune Generate, manter esse nível de desenvolvimento de exames seria inadministrável."

- Chefe Global do Programa de Certificação Digital

Com a Finetune by Prometric, a organização encontrou um parceiro estratégico capaz de eliminar obstáculos no desenvolvimento de exames de forma eficiente e segura. A integração da IA transformou a criação de itens de um processo manual em uma operação que economiza tempo e custos, aumentando a produtividade e permitindo uma maior expansão.

À medida que o sistema de IA continua a melhorar com dados adicionais, a organização obteve uma vantagem competitiva no espaço de certificação. A capacidade da Finetune de gerar itens seguros e robustos ajudou a otimizar recursos e demonstrou economias significativas de tempo e custo. Com esse sucesso, planos estão em andamento para integrar o Generate em mais ofertas e cursos.

O Chefe Global do Programa de Certificação Digital antecipa mais reduções de custos à medida que o sistema Finetune se torna mais avançado. “Vamos abraçar o potencial da IA,” concluiu.

Baixar História de Sucesso