得克萨斯州第10区通过定制人工智能改变教育。

第10地区的 K-12 高风险德克萨斯州学术准备评估考试需要内容改进,但只有 Prometric AI 能够快速、经济高效地银行和调整 9 万个项目。

Transforming Education with the Power of Customized AI Solutions

背景

德克萨斯州第10地区教育服务中心(ESC)在促进学生成功和塑造该州教育格局方面发挥着关键作用。作为其他20个ESC的合作伙伴,第10地区为德克萨斯州的120个公立和特许学区,3000多所学校以及超过90万名学生提供服务。ESC创建、分发和支持一个项目库TEKSbank,被600个学区和特许学校、5000多所学校和超过300万名学生使用。从课程开发和教学支持到领导力培训和特殊教育服务,第10地区致力于赋能教育工作者,丰富学习经验,并为所有背景和能力的学生带来积极的成果。

挑战

第10区发布了一个项目库 TEKSbank,供学区使用,以帮助学生准备高风险考试——得克萨斯州学术准备评估(STAAR®)。这个包含 90,000 道题目的 TEKSbank 测试问题与该州的课程标准相一致,包括得克萨斯基础知识和技能,以及其他标签,比如韦伯认知深度(DOK)和布鲁姆的认知分类。

随着教育趋势的变化和州标准的更新,第10区付出了大量努力,确保题库与标准保持一致和相关。

为确保内容符合州的课程标准,并包含各种难度级别,第10区每年进行多个对齐项目。承包商被聘请手动分析每个项目。有些项目需要为 12 个年级的每一个纲要专家审查多达 2,000 个项目。这些审查过程不仅耗时,而且手动审查过程导致更新项目之间的准确性和一致性不足。

第10区花费了大量时间和资源来维护内容的对齐,几乎没有时间优先考虑内容的增长和改进。每年仅更新现有内容的标准或标签就要花费 15 万美元并不罕见。这在 2023 年变得更为重要,当时得克萨斯的教育格局经历了巨大变革,引入了技术增强型项目(TEIs)和在线评估。这标志着传统评估方法的转变,挑战了教育工作者为学生准备强调批判性思维和知识复杂表达的新范式。为了支持教师并引领他们进入这个新的领域,第10区面临着创建 20,000 个高质量 TEIs 的挑战。

Finetune 对 K-12 内容和标准有很好的理解。即使我们不了解技术人工智能知识如何描述,与他们进行对话也很容易。

吉姆·纽豪斯

前区域10数据解决方案助理总监

合作策略

Region 10 最初明确了他们通过寻找新伙伴所试图实现的四个主要目标。

  • 确保与最新州标准的一致性
  • 确定知识空白
  • 分配知识深度(DOK)更新具有文化相关性的内容

“我们认为AI是一个由人类编程、由人类监督和由人类分析的工具。”

- 吉姆·纽豪斯(Jim Newhouse),前Region 10数据解决方案助理主任

ESC在开始实施新技术以简化实践之前,还需要考虑几个重要因素:

  • 需要在整个过程中保持人类监督
  • 不断调整和完善内容
  • 减少对齐项目的时间,以便有更多时间来增强和开发更多问题

Region 10于2023年3月与Prometric的Finetune团队取得联系。Finetune迅速理解了ESC面临的挑战,并开始着手实施Finetune Catalog™,这是一种AI与人类结合的工具,可对项目库和学习资料进行深入洞察,以实现内容对齐。

“目录的实施仅花了几周时间,而不是预计的六个月,并且减少了所需承包商的数量,从十个减少到三个。使用Finetune目录来完成对齐任务释放了时间和金钱,并提高了整体生产率。”

吉姆·纽豪斯

前区域10数据解决方案助理主任

结果

第10地区向Finetune提供了学习材料,如考试蓝图、标准、题库等。Finetune利用这些内容构建了一个定制的 Catalog AI 模型,该模型可用于分析他们的内容,并查看其与韦伯认知深度的匹配程度。在第一次对齐之后,Catalog 报告显示准确率达到了96%,使第10地区的团队为未来内容的发展和改进感到兴奋和乐观。那些需要对齐改进的“大海捞针”是可以解决的,他们能够比以往更快、更便宜、更精确地完成。

除了第一次对齐的准确率之外,ESC 还提供了一个有助于未来评估构建的基础。这个复杂的基础已经成为一组新的转变性数据,他们可以通过评估平台向测试构建者和教师提供。

现在,每个核心内容领域,包括数学、英语语言艺术和阅读(ELAR)、科学和社会研究,每个领域节省了约10万美元,第10地区可以重新投资于生产新内容以扩展其当前的题库。TEKSbank现在配备了25%(20,000个)尖端技术增强型问题,这提供了更深入的知识评估和更准确的学生技能评估。

下载成功故事