一家頭部數字內容公司,如何藉助AI技術全面革新試題編制流程

這家公司擁有近200門考試科目以及超過1.8萬道題目,傳統的組卷方式成爲了其發展的絆腳石。而新的人工智能技術不僅提升了出題效率,還大幅節省了成本。

Shutterstock 417879736

背景

作爲數字創新領域的先驅,這家行業領先的公司不斷進化,以滿足全球內容創作者和開發者日益變化的需求。從最初的軟件公司起步,它已成長爲頂級的數字內容工具供應商,始終擁抱創新以適應市場變化。

挑戰

隨着公司的產品種類不斷豐富,在數字領域的影響力日益擴大,對認證項目的需求也與日俱增。自2018年以來,爲了滿足這一需求,公司將其認證課程的數量增加了五倍多。如今,該公司擁有超過170門考試科目以及1.8萬多道題目,要維持這樣的考試開發進度幾乎不可能。

這種快速擴張帶來了一些挑戰,例如:

  • 需要一種更加靈活且經濟高效的解決方案來更新考試內容,不給團隊增加過重的負擔。
  • 加強安全措施以應對日益增長的網絡安全威脅。 
  • 需要新增試題以滿足實操考試和再認證的需求。

意識到需要一個強大的解決方案,這家公司開始尋求合作伙伴,希望對方不僅能提供滿足需求的方案,還應秉持合作、創新的精神,共同達成如下目標:

  • 加強題庫開發,提供原創且安全的試題。
  • 能夠製作更多的試卷,以支持實操考試材料。
  • 建立一套整合人工智能技術的流程。

合作戰略

2022年末,爲應對這些挑戰,這家公司與Prometric旗下專門從事人工智能增強測試開發解決方案的 Finetune 公司建立了戰略合作伙伴關係。雙方攜手共同實施了 Finetune Generate®,這一方案結合了先進的人工智能技術生成試題和主題專家(SME)的審題工作,形成了“AI+人”的試題生成模式,從而徹底改變認證項目。

雙方團隊緊密協作,對Finetune Generate進行了定製化調整,以滿足該公司的獨特需求,最終驗證該解決方案完全符合所有關鍵要求。

安全性是首要考量因素。Finetune Generate的可定製性和訪問控制功能使這家公司能夠在受控環境中,基於自身的題目、參考資料、考試大綱、認知水平描述及出題規則來訓練模型,有效防範外部干擾。這種方式確保公司對其在平臺內創建的內容擁有完整的版權,從而對安全性充滿信心。

實施流程

此次合作採用了四步實施方法,通過參考主題專家(SME)的反饋意見以及編題研討會的成果,持續對模型進行優化調整。結合Prometric專家在試題開發方面的專業知識以及該公司專家的行業知識,雙方團隊對人工智能模型進行了微調,確保生成的題目通過心理測量學的效度測試。

通過合作,雙方成功開發了26個新的人工智能模型,專門用於支持試題編制工作。這些模型將每道題目的創作時間從90分鐘縮短至30分鐘,使出題效率提升了67%。公司預計,隨着工具的持續優化,未來還將實現更多的提升。

"這一步纔是真正見證奇蹟的時刻。我們把內容提供給Prometric公司,由他們開始構建模型。由人工智能和數據科學家組成的優秀團隊對所有內容進行標記,並根據我們的需求來構建模型。" - 考試與內容開發高級經理

 

成果

與Prometric的合作使該公司能夠加快創作獨有的考試內容,同時確保這些內容與最新的行業標準和產品更新保持一致。藉助Generate的人工智能技術,該公司採用了更加敏捷的命題方法,從而能夠快速適應行業的發展變化。

這種創新方法覆蓋了整個認證生態系統,包括再認證考試、實操考試以及課程結業評估。這既確保了所有參與者都能獲得高質量且一致的體驗,同時也滿足了該認證項目不斷髮展變化的需求。

通過Prometric的AI命題工具Finetune Generate達成的目標 

縮短了上市時間:加快認證考試的開發和發佈週期,及時更新以符合最新的行業標準。

1. 節省成本:採用人工智能技術使每道題目的成本降低了超過60%,提高了流程效率。

2. 高效利用專家優勢:通過將出題時間縮短67%,該公司能夠更高效地利用主題專家(SME)的資源。

 

"我們在人工智能領域的投入對於應對我們項目的規模和複雜性至關重要。如果沒有Finetune Generate,要維持當前的考試開發水平將變得極爲困難。" - 全球數字認證項目負責人

 

通過與Prometric旗下的Finetune公司合作,該公司找到了一位理想的戰略合作伙伴,成功掃清了障礙,實現了高效且安全的考試開發流程。藉助人工智能技術,試題創作從傳統的人工操作轉變爲自動化流程,不僅節省了時間和成本,還顯著提高了生產效率,爲未來的業務拓展奠定了堅實的基礎。

數據越多,人工智能系統越完善,這家公司在認證領域已經取得了競爭優勢。Finetune生成安全可靠試題的能力不僅有助於優化資源配置,在節省時間和成本方面也取得了顯著成效。基於這一成功經驗,這家公司目前正計劃將Generate應用於更多的產品和課程中。

這家公司的數字認證項目全球負責人預計,隨着Finetune系統的持續優化,成本還會進一步降低。“讓我們擁抱人工智能的潛力。” 他總結道。

閱讀更多