背景
德克薩斯州第十區教育服務中心（ESC）在促進學生成功和塑造全州教育格局方面扮演著關鍵角色。作為與其他二十個ESC的合作夥伴，第十區服務於120個公立及特許學校學區、超過3,000所學校，以及全州超過900,000名學生。該ESC創建、分發和支持一個題庫TEKSbank，該題庫被600個學校學區和特許學校、超過5,000所學校以及超過300萬學生所使用。從課程開發和教學支持到領導培訓和特殊教育服務，第十區致力於賦能教育工作者，豐富學習體驗，並推動各種背景和能力的學生取得積極的成果。
挑戰
第十區出版了一個題庫TEKSbank，幫助學校學區為高風險考試德克薩斯州學業準備評估（STAAR®）做好準備。90,000道TEKSbank測試題目與州的課程標準德克薩斯州必要知識與技能相一致，以及其他標籤，如韋布的知識深度（DOK）和布魯姆的分類法。
隨著教育趨勢的變化和州標準的更新，第十區投入大量精力以確保題庫的對齊和相關性。
為了確保內容與州的課程標準對齊並包含不同難度級別，第十區每年進行多個對齊項目。雇用承包商手動分析每個題目。一些項目需要為每個12個年級聘請一位課程專家，來審核多達2,000個題目。這些審核過程不僅耗時，還導致更新項目之間缺乏準確性和一致性。
第十區在維護內容對齊方面花費了大量的時間和資源，幾乎沒有時間優先考慮內容的增長和改進。每年花費150,000美元僅用於更新現有內容的標準或標籤並不罕見。這在2023年變得更加重要，因為德克薩斯州的教育格局經歷了重大變革，推出了技術增強的題目（TEIs）和在線評估。這是對傳統評估方法的一次偏離，挑戰教育工作者為一種強調批判性思維和知識的複雜展示的新範式做好學生的準備。為了支持教師並引導他們進入這個新領域，第十區面臨著創建20,000個高質量TEIs的挑戰。
第十區最初概述了他們希望通過尋找新的合作夥伴來實現的四個主要目標。
- 確保與最新州標準的對齊
- 識別知識空白
- 賦予知識深度（DOK）更新內容以符合文化相關性
在開始實施新技術以簡化流程之前，ESC還需要考慮幾個重要因素：
- 需要在整個過程中保持人類監督
- 不斷調整和完善內容
- 減少對齊項目的時間，以便有更多時間增強和開發更多問題
第十區於2023年3月與Prometric的Finetune團隊取得了聯繫。Finetune迅速理解了ESC的挑戰，並開始工作以實施Finetune Catalog™，這是一個AI與人類混合的內容對齊工具，提供深入的洞察，涵蓋題庫和學習材料。
“Finetune對K-12內容和標準有非常好的理解。即使我們沒有技術AI知識來描述它，與他們討論我們想要的內容也很容易。”
- Jim Newhouse，前第十區數據解決方案助理主任
結果
第十區向Finetune提供了考試藍圖、標準、題庫等學習材料。Finetune利用這些內容構建了一個定制的Catalog AI模型，用於分析他們的內容並查看其與韋布的知識深度的對齊程度。在第一次對齊後，Catalog報告了96%的準確率，讓第十區的團隊對未來內容的發展和改進感到興奮和樂觀。那些需要改進對齊的“稻草堆中的針”是可以修復的，他們能夠比以往更快、更便宜、更精確地完成這項工作。
除了第一次對齊的準確性外，ESC還獲得了一個在未來評估建設中非常有用的理由。這一複雜的理由已成為他們能夠通過評估平台提供給測試建設者和教師的變革性新數據集。
“Catalog的實施只用了幾週，而不是預計的六個月，所需的承包商數量從十人減少到僅三人。使用Finetune Catalog來完成對齊任務釋放了時間和資金，並提高了整體生產力。”
- Jim Newhouse，前第十區數據解決方案助理主任
現在，每個核心內容領域（包括數學、英語語言藝術和閱讀、科學及社會研究）節省了約100,000美元的開支，第十區可以重新投資於生產新內容，以增長其現有的題庫。TEKSbank現在配備了25%（20,000）最先進的技術增強問題，提供更深入的知識評估和對學生技能的更準確評估。
“我們將AI視為一種由人類編程、由人類監督、由人類分析的工具。”
- Jim Newhouse，前第十區數據解決方案助理主任
下載成功案例