背景
德克薩斯州第10區教育服務中心（ESC）在促進學生成功和塑造全州教育環境方面發揮了關鍵作用。作為二十個其他ESC的合作夥伴，第10區為120個公立和特許學校區、超過3,000所學校和900,000多名學生提供服務。該ESC創建、分發和支持一個題庫TEKSbank，該題庫被600個學區和特許學校、超過5,000所學校和300多萬名學生使用。從課程開發和教學支持到領導力培訓和特殊教育服務，第10區致力於賦能教育工作者，豐富學習經歷，為各種背景和能力的學生驅動積極的結果。
挑戰
第10區發布了一個題庫TEKSbank，供學區使用，以幫助學生為高風險考試——德克薩斯州學業準備評估（STAAR®）做好準備。9萬道TEKSbank考題與州的課程標準德克薩斯州基本知識和技能（TEKS）對齊，並標註了其他標籤，如韋布的知識深度（DOK）和布魯姆的分類法。
隨著教育趨勢的變化和州標準的更新，第10區投入大量精力以確保題庫的對齊和相關性。
為了確保內容與州的課程標準對齊並包含不同難度級別，第10區每年進行多個對齊項目。合同工被聘用來手動分析每個項目。一些項目要求每個12個年級級別有一位課程專家來審核多達2,000個項目。這些審核過程不僅耗時，而且手動審核導致更新項目之間缺乏準確性和一致性。
第10區在維護內容對齊方面花費了大量時間和資源，幾乎沒有時間優先考慮內容的增長和改進。每年花費15萬美元僅僅用於更新現有內容的標準或標籤並不罕見。這在2023年變得更加重要，因為德克薩斯州的教育環境經歷了重大變革，引入了技術增強項目（TEIs）和線上評估。這是對傳統評估方法的一次突破，挑戰教育工作者準備學生迎接一個強調批判性思維和知識深度展示的新範式。為了支持教師並引導他們進入這個新領域，第10區面臨著創建20,000個高質量TEIs的挑戰。
第10區最初列出了四個主要目標，試圖通過尋找新的合作夥伴來實現。
- 確保與最新州標準對齊
- 識別知識差距
- 指派知識深度（DOK）
- 用文化相關的內容更新
在開始實施新技術以簡化流程之前，ESC還需要考慮幾個重要因素：
- 在整個過程中需要保持人類監督
- 持續調整和完善內容
- 減少對齊項目的時間，以便有更多時間增強和開發更多問題
第10區在2023年3月與Prometric的Finetune團隊聯繫。Finetune迅速理解了ESC的挑戰，並開始實施Finetune Catalog™，這是一種AI-人類混合工具，用於內容對齊並提供深入的題庫和學習材料見解。
“Finetune對K-12內容和標準有很好的理解。即使我們沒有技術性的AI知識來描述它，但與他們進行關於我們想要的內容的對話是很容易的。”
- Jim Newhouse, 前第10區數據解決方案助理主任
結果
第10區向Finetune提供了學習材料，如考試藍圖、標準、題庫等。Finetune利用這些內容構建了一個定制的Catalog AI模型，旨在分析其內容並查看其與韋布的知識深度的對齊情況。在第一次對齊後，Catalog報告了96%的準確率，讓第10區的團隊對未來內容的發展和改進感到興奮和樂觀。那些需要對齊改進的“乾草堆中的針”是可以修復的，他們能夠比以往更快、更便宜且更精確地做到這一點。
隨著第一次對齊的準確性，ESC還獲得了一個將對未來評估的構建有用的理由。這個複雜的理由已成為一個變革性的新數據集合，他們能夠通過評估平台提供給考試建設者和教師。
“Catalog的實施僅花了幾週時間，而不是預期的六個月，並將所需的合同工人數從十個減少到僅三個。使用Finetune Catalog來完成對齊任務，節省了時間和金錢，提高了整體生產力。”
- Jim Newhouse, 前第10區數據解決方案助理主任
現在，在數學、英語語言藝術和閱讀（ELAR）、科學和社會研究等核心內容領域每年節省約10萬美元的情況下，第10區可以重新投資於生產新內容以增長其當前的題庫。TEKSbank現在配備了25%（20,000）前沿的技術增強問題，提供更深入的知識評估和對學生技能的更準確評估。
“我們認為AI是一種由人類編程、由人類監督和由人類分析的工具。”- Jim Newhouse, 前第10區數據解決方案助理主任
下載成功故事