一家头部数字内容公司,如何借助AI技术全面革新试题编制流程

这家公司拥有近200门考试科目以及超过1.8万道题目,传统的组卷方式成为了其发展的绊脚石。而新的人工智能技术不仅提升了出题效率,还大幅节省了成本。

Shutterstock 417879736

背景

作为数字创新领域的先驱,这家行业领先的公司不断进化,以满足全球内容创作者和开发者日益变化的需求。从最初的软件公司起步,它已成长为顶级的数字内容工具供应商,始终拥抱创新以适应市场变化。

挑战

随着公司的产品种类不断丰富,在数字领域的影响力日益扩大,对认证项目的需求也与日俱增。自2018年以来,为了满足这一需求,公司将其认证课程的数量增加了五倍多。如今,该公司拥有超过170门考试科目以及1.8万多道题目,要维持这样的考试开发进度几乎不可能。

这种快速扩张带来了一些挑战,例如:

 

  • 需要一种更加灵活且经济高效的解决方案来更新考试内容,不给团队增加过重的负担。
  • 加强安全措施以应对日益增长的网络安全威胁。
  • 需要新增试题以满足实操考试和再认证的需求。

意识到需要一个强大的解决方案,这家公司开始寻求合作伙伴,希望对方不仅能提供满足需求的方案,还应秉持合作、创新的精神,共同达成如下目标:

  • 加强题库开发,提供原创且安全的试题。
  • 能够制作更多的试卷,以支持实操考试材料。
  • 建立一套整合人工智能技术的流程。

我们评估了许多用于开发考题的平台和解决方案,最终选择了普罗米特的Finetune。最终决定是基于我们的参数而不是通用参数来训练系统。

数字认证项目全球负责人

合作战略

2022年末,为应对这些挑战,这家公司与Prometric旗下专门从事人工智能增强测试开发解决方案的 Finetune 公司建立了战略合作伙伴关系。双方携手共同实施了 Finetune Generate®,这一方案结合了先进的人工智能技术生成试题和主题专家(SME)的审题工作,形成了“AI+人”的试题生成模式,从而彻底改变认证项目。

双方团队紧密协作,对Finetune Generate进行了定制化调整,以满足该公司的独特需求,最终验证该解决方案完全符合所有关键要求。

安全性是首要考量因素。Finetune Generate的可定制性和访问控制功能使这家公司能够在受控环境中,基于自身的题目、参考资料、考试大纲、认知水平描述及出题规则来训练模型,有效防范外部干扰。这种方式确保公司对其在平台内创建的内容拥有完整的版权,从而对安全性充满信心。

实施流程

此次合作采用了四步实施方法,通过参考主题专家(SME)的反馈意见以及编题研讨会的成果,持续对模型进行优化调整。结合Prometric专家在试题开发方面的专业知识以及该公司专家的行业知识,双方团队对人工智能模型进行了微调,确保生成的题目通过心理测量学的效度测试。

通过合作,双方成功开发了26个新的人工智能模型,专门用于支持试题编制工作。这些模型将每道题目的创作时间从90分钟缩短至30分钟,使出题效率提升了67%。公司预计,随着工具的持续优化,未来还将实现更多的提升。

"这一步才是真正见证奇迹的时刻。我们把内容提供给Prometric公司,由他们开始构建模型。由人工智能和数据科学家组成的优秀团队对所有内容进行标记,并根据我们的需求来构建模型。"

- 考试与内容开发高级经理

"我们在人工智能领域的投入对于应对我们项目的规模和复杂性至关重要。如果没有Finetune Generate,要维持当前的考试开发水平将变得极为困难。"

全球数字认证项目负责人

成果

与Prometric的合作使该公司能够加快创作独有的考试内容,同时确保这些内容与最新的行业标准和产品更新保持一致。借助Generate的人工智能技术,该公司采用了更加敏捷的命题方法,从而能够快速适应行业的发展变化。

这种创新方法覆盖了整个认证生态系统,包括再认证考试、实操考试以及课程结业评估。这既确保了所有参与者都能获得高质量且一致的体验,同时也满足了该认证项目不断发展变化的需求。

通过Prometric的AI命题工具Finetune Generate达成的目标 

  1. 缩短了上市时间:加快认证考试的开发和发布周期,及时更新以符合最新的行业标准。
  2. 节省成本:采用人工智能技术使每道题目的成本降低了超过60%,提高了流程效率。
  3. 高效利用专家优势:通过将出题时间缩短67%,该公司能够更高效地利用主题专家(SME)的资源。

通过与Prometric旗下的Finetune公司合作,该公司找到了一位理想的战略合作伙伴,成功扫清了障碍,实现了高效且安全的考试开发流程。借助人工智能技术,试题创作从传统的人工操作转变为自动化流程,不仅节省了时间和成本,还显著提高了生产效率,为未来的业务拓展奠定了坚实的基础。

数据越多,人工智能系统越完善,这家公司在认证领域已经取得了竞争优势。Finetune生成安全可靠试题的能力不仅有助于优化资源配置,在节省时间和成本方面也取得了显著成效。基于这一成功经验,这家公司目前正计划将Generate应用于更多的产品和课程中。

这家公司的数字认证项目全球负责人预计,随着Finetune系统的持续优化,成本还会进一步降低。“让我们拥抱人工智能的潜力。” 他总结道。

下载成功案例