Antecedentes
Un pionero en innovación digital, este líder de la industria ha evolucionado continuamente para satisfacer las necesidades dinámicas de los creadores de contenido y desarrolladores en todo el mundo. Desde sus inicios como una empresa de software hasta convertirse en un proveedor líder de herramientas de contenido digital, encarna un compromiso con la innovación y la adaptabilidad.
El Desafío
A medida que el portafolio de productos de la organización se expandió y su influencia en el dominio digital creció, también lo hizo la demanda de programas de certificación. Desde 2018, la empresa ha multiplicado por más de cinco sus ofertas de certificación para mantenerse al día con esta demanda. Con más de 170 exámenes y más de 18,000 ítems, mantener la trayectoria del desarrollo de exámenes se volvió casi imposible.
Esta rápida expansión presentó varios desafíos, tales como:
- La necesidad de una solución más ágil y rentable para actualizar el contenido de los exámenes sin sobrecargar a los equipos.
- Medidas de seguridad mejoradas para abordar la creciente amenaza de ciberseguridad.
- La demanda de ítems adicionales para apoyar pruebas de práctica y programas de recertificación.
Reconociendo la necesidad de una solución robusta, la organización buscó un socio que pudiera apoyar estos esfuerzos con un compromiso hacia la colaboración, la innovación y el logro de objetivos específicos:
- Desarrollo mejorado del banco de ítems con ítems originales y seguros.
- La capacidad de producir más formas de examen para apoyar el material de prueba de práctica.
- Establecer un proceso para incorporar tecnología de IA.
Estrategia de Asociación
A finales de 2022, la organización respondió a estos desafíos formando una asociación estratégica con Finetune by Prometric, una empresa especializada en soluciones de desarrollo de pruebas mejoradas por IA. Juntos, se propusieron revolucionar el programa de certificación implementando Finetune Generate®, una solución de generación de ítems híbrida de IA que combina IA avanzada con revisión de expertos en la materia (SME).
Los equipos colaboraron para adaptar Finetune Generate a las necesidades únicas de la organización y encontraron que la solución cumplía con todos los requisitos críticos.
La seguridad era una preocupación principal, por lo que las capacidades personalizables y controladas de acceso de Finetune Generate permitieron a la empresa entrenar el modelo con sus propias preguntas, referencias de ítems, planos de examen, descripciones de niveles cognitivos y reglas de redacción de ítems en un entorno controlado, protegiéndose contra interferencias externas. Este enfoque le dio a la organización la propiedad total del contenido creado dentro de la plataforma, asegurando una confianza total en la seguridad.
El Proceso de Implementación
La asociación siguió un enfoque de implementación de cuatro pasos, refinando continuamente el modelo con comentarios de los SME y talleres de desarrollo de ítems. Aprovechando tanto la experiencia de Prometric en el desarrollo de ítems como la experiencia en el dominio de la empresa, el equipo ajustó el modelo de IA, asegurando ítems válidos psicométricamente.
Como resultado, la asociación produjo 26 nuevos modelos de IA para apoyar el desarrollo de ítems, reduciendo el tiempo de creación de ítems de 90 minutos a 30 minutos por ítem, una disminución del 67% en el tiempo de desarrollo. La organización anticipa mejoras adicionales a medida que se refine la herramienta.
"Este paso es donde realmente sucede la magia. Todo el contenido se entrega a Prometric, y ellos comienzan a construir el modelo. Un gran equipo de científicos de datos y de IA etiqueta todo y construye el modelo basado en nuestras necesidades."
- Gerente Senior de Desarrollo de Exámenes y Contenido
Resultados
Colaborar con Prometric permitió a la empresa acelerar la creación de contenido de examen único mientras aseguraba alineación con los últimos estándares de la industria y actualizaciones de productos. A través de la tecnología de IA de Generate, la organización adoptó un enfoque más ágil para el desarrollo de ítems, permitiendo una rápida adaptación a los avances de la industria.
Este enfoque innovador se extendió a todo el ecosistema de certificación, incluyendo exámenes de recertificación, exámenes de práctica y evaluaciones finales del curso. Esto aseguró una experiencia de alta calidad y consistente para todos los participantes mientras abordaba las necesidades cambiantes del programa.
Objetivos Alcanzados a Través de Finetune Generate Potenciado por IA de Prometric:
- Optimización del Tiempo de Lanzamiento al Mercado: Aceleración de los ciclos de desarrollo y lanzamiento para exámenes de certificación, permitiendo actualizaciones oportunas para cumplir con los estándares de la industria.
- Ahorro de Costos: La adopción de tecnología de IA condujo a más del 60% de ahorro de costos por ítem, haciendo el proceso más eficiente.
- Utilización Eficiente de la Experiencia: Al reducir el tiempo de creación de ítems en un 67%, la empresa optimizó de manera efectiva los recursos de los SME.
"Nuestra inversión en IA es crucial para manejar la escala y complejidad de nuestros programas. Sin Finetune Generate, mantener este nivel de desarrollo de exámenes sería inmanejable."
- Jefe Global del Programa de Certificación Digital
Con Finetune by Prometric, la organización encontró un socio estratégico capaz de eliminar obstáculos en el desarrollo de exámenes de manera eficiente y segura. La integración de la IA transformó la creación de ítems de un proceso manual en una operación que ahorra tiempo y costos, mejorando la productividad y permitiendo una mayor expansión.
A medida que el sistema de IA continúa mejorando con datos adicionales, la organización ha logrado una ventaja competitiva en el espacio de certificación. La capacidad de Finetune para generar ítems seguros y robustos ha ayudado a optimizar recursos y demostrado ahorros significativos de tiempo y costos. Con este éxito, se están realizando planes para integrar Generate en más ofertas y cursos.
El Jefe Global del Programa de Certificación Digital anticipa más reducciones de costos a medida que el sistema Finetune se vuelve más avanzado. “Aprovechemos el potencial de la IA,” concluyó.
Descargar Historia de Éxito