CompTIA 利用 Finetune AI 快速扩展而不牺牲质量

CompTIA 通过使用 Finetune AI 创建高质量的测试题,加快了评估开发的速度,从而扩大其全球认证项目以满足劳动力需求。

Shutterstock 2463474777

背景

CompTIA 是全球领先的中立供应商 IT 培训和认证提供者。通过与数千所机构合作,CompTIA 通过一流的学习工具、受人尊敬的证书和全面的职业支持,为学习者提供职业准备技能。

为了满足日益增长的全球需求——特别是他们的 A+ 考试——CompTIA 与 Prometric 合作,利用 Finetune AI 开发定制的 AI 解决方案。这个合作伙伴关系使得内容创作过程更加快速,同时保持质量、心理测量的严谨性和专家的监督——推动 CompTIA 的使命,以提供高效、职业准备就绪的证书。

挑战

随着全球需求激增,CompTIA 需要加快在 16 个核心项目中的内容创建。像 A+ 这样的高容量认证面临着特别的挑战。每个项目都必须符合公平性、可靠性和法律可辩护性的严格心理测量标准。

  • 维持质量太慢
  • 通用人工智能限制知识产权所有权
  • SME 需要更多的控制权

传统的开发模型无法跟上。这种模型虽然全面,但速度太慢——对于 CompTIA 不断发展的需求来说太慢了。团队需要一种方法,既能保持 SME 的参与、编辑的严谨性和完全的知识产权所有权,又能实现更快的输出。

Shutterstock 2325628103

“专业化模型更不容易出现幻觉,因为它已经经过训练来剔除这些内容,只给我们提供好的信息。”

Wendy Gavin

高级产品经理,Finetune AI

战略合作伙伴关系

CompTIA 与 Finetune AI 启动了多年的合作,以利用人工智能进行题目开发。他们共同创建了一个 Finetune Generate® 特定领域的 AI 模型。

与 ChatGPT 或 Copilot 等通用工具不同,Finetune AI 是美国唯一由评估专业人士设计和开发的定制专利 AI 模型,最大限度地减少了幻觉,并符合严格的编辑标准。A+ 认证作为试点,因为其结构化内容和高题目量。

该项目汇集了 Finetune AI 专家、CompTIA 内容开发团队和主题专家,以便根据专有蓝图、风格指南和目标训练模型。AI 支持——但从未取代——主题专家的创作,使得草稿和迭代的速度更快。

使用 Finetune Generate 进行创新

CompTIA 将 Finetune Generate® 融入了一种旨在扩展的混合工作流程中。该模型基于 CompTIA 的专有材料进行训练,确保输出与语气、结构和学习目标一致。SME 通常对 AI 生成的草稿几乎没有—如果有的话—进行修订。

CompTIA 保留了 AI 辅助内容的全部所有权,保持控制和安全性。该工具在 Bloom 的第 2 级和第 3 级目标上表现极为出色—这些目标在 A+ 等入门级认证中很常见。

主要优点:

  • 定制模型训练
  • 高效草拟
  • 安全的知识产权
  • 适合较低的认知水平

“我们以一种产生明显优势的方式使用 Generate 来提高 QC 效率。”

- Danielle Castelli, Director, Exam Development, CompTIA

对 A+ 考试版本 1101 和 1102 的心理测量学审查验证了这种方法。SME 每小时产生 5.7 个题目—高于 3.3,且大多数只需进行最小的编辑。心理测量基准(难度、区分度、可靠性)保持在预期范围内,题目在现场测试后成功从预考状态转为评分状态。

“与 [Prometric] 合作,我们能够增强我们的考试开发程序,使这一过程更加高效,受益于我们的考试开发人员和主题专家。”

Danielle Castelli

考试开发总监, CompTIA

结果

今天,CompTIA 继续使用 Finetune Generate® 来进行具有结构化、较低认知需求的认证——速度和可扩展性是关键。这个增强的 AI 过程让 SME 专注于验证,而不是初稿。

  • 产出增加
  • 编辑效率
  • 统计等价性
  • 内容可行性

展望未来,CompTIA 正在探索其他用例,集中且负责任的 AI 可以在其认证组合中提供类似的价值——始终强调质量和控制。

下载成功故事