背景
德克萨斯州第10区教育服务中心（ESC）在促进学生成功和塑造全州教育格局方面发挥着关键作用。作为其他二十个ESC的合作伙伴，第10区服务于120个公立和特许学校学区，覆盖全州超过3,000所学校和90多万名学生。该ESC创建、分发并支持一个题库TEKSbank，被600个学区和特许学校、超过5,000所学校以及300多万学生使用。从课程开发和教学支持到领导力培训和特殊教育服务，第10区致力于赋能教育工作者，丰富学习体验，并推动来自不同背景和能力的学生取得积极成果。
挑战
第10区发布了一个题库TEKSbank，供学区帮助学生为高风险考试——德克萨斯州学业准备评估（STAAR®）做准备。90,000个TEKSbank测试问题与州的课程标准——德克萨斯州必备知识和技能相一致，并标注了其他标签，如韦布的知识深度（DOK）和布卢姆的分类法。
随着教育趋势的变化和州标准的更新，第10区投入大量精力确保题库保持一致和相关。
为了确保内容与州的课程标准保持一致，并包含不同难度级别，第10区每年进行多次对齐项目。聘请承包商手动分析每个条目。一些项目要求每个12个年级水平都有一位课程专家审查多达2,000个条目。这些审查过程不仅耗时，而且手动审查过程导致更新条目缺乏准确性和一致性。
第10区在维护内容对齐方面花费了大量时间和资源，几乎没有时间优先考虑内容的增长和改善。每年花费15万美元仅用于更新现有内容的标准或标签并不罕见。2023年，德克萨斯州的教育格局经历了重大转变，推出了技术增强的题目（TEI）和在线评估，这使得这一点变得更加重要。这一变化与传统评估方法背道而驰，挑战教育工作者为强调批判性思维和深刻知识展示的新范式做好学生准备。为了支持教师并引导他们进入这一新领域，第10区面临着创建20,000个高质量TEI的挑战。
第10区最初概述了四个主要目标，试图通过寻找新的合作伙伴来实现。
- 确保与最新州标准的一致性
- 识别知识空白
- 分配知识深度（DOK）更新内容以增强文化相关性
ESC还需要考虑几个重要因素，然后才能开始实施新技术以简化流程：
- 需要在整个过程中保持人类监督
- 不断调整和完善内容
- 缩短对齐项目的时间，以便有更多时间增强和开发更多问题
第10区在2023年3月与Prometric的Finetune团队取得了联系。Finetune迅速理解了ESC面临的挑战，并开始实施Finetune Catalog™，这是一种与人类合作的AI工具，用于内容对齐，能够深入洞察题库和学习材料。
“Finetune对K-12内容和标准有很好的理解。尽管我们没有技术AI知识来描述它，但与他们讨论我们想要的内容非常容易。”
- Jim Newhouse, 前第10区数据解决方案助理主任
结果
第10区向Finetune提供了学习材料，如考试蓝图、标准、题库等。Finetune利用这些内容构建了一个定制化的Catalog AI模型，以分析他们的内容并查看与韦布的知识深度的对齐程度。在第一次对齐后，Catalog报告了96%的准确率，这让第10区的团队对未来内容的发展和改进感到兴奋和乐观。那些需要改进对齐的“干草堆中的针”是可以修复的，他们将能够比以往更快、更便宜和更精确地完成。
除了第一次对齐的准确性外，ESC还获得了一些有助于未来评估构建的理由。这些复杂的理由已成为一个变革性的新数据集合，他们能够通过评估平台提供给测试构建者和教师。
“Catalog的实施仅用了几周，而不是预计的六个月，并且将所需的承包商数量从十个减少到仅三个。使用Finetune Catalog完成对齐任务释放了时间和资金，提高了整体生产力。”
- Jim Newhouse, 前第10区数据解决方案助理主任
现在，节省了大约10万美元的核心内容领域费用，包括数学、英语语言艺术与阅读（ELAR）、科学和社会研究，第10区可以重新投资于生产新内容，以扩大其当前的题库。TEKSbank现在配备了25%（20,000个）尖端的技术增强问题，这提供了更深入的知识评估和对学生技能的更准确评估。
“我们将AI视为一种由人类编程、由人类监督、由人类分析的工具。” - Jim Newhouse, 前第10区数据解决方案助理主任
下载成功故事