背景
テキサス州の地域10教育サービスセンター（ESC）は、学生の成功を促進し、州全体の教育環境を形成する上で重要な役割を果たしています。地域10は、20の他のESCのパートナーとして、120の公立およびチャータースクール地区、3,000を超える学校、そして90万人以上の学生をテキサス州全体で支援しています。ESCは、600の学校地区とチャーター、5,000を超える学校、300万人以上の学生が使用するアイテムバンクTEKSbankを作成、配布、サポートしています。カリキュラム開発や指導サポートから、リーダーシップトレーニングや特別支援教育サービスに至るまで、地域10は教育者を支援し、学習体験を豊かにし、すべてのバックグラウンドと能力を持つ学生に対してポジティブな成果を促進することにコミットしています。
課題
地域10は、学校地区が学生を高リスク試験、テキサス州学力準備試験（STAAR®）に備えるためのアイテムバンクTEKSbankを公開しています。90,000のTEKSbankテスト問題は、州のカリキュラム基準であるテキサス必須知識とスキルに整合しており、ウェブの知識の深さ（DOK）やブルームのタクソノミーといった他のタグとも関連しています。
教育のトレンドが変化し、州が基準を更新する中で、地域10はバンクが整合性を保ち、関連性を持つように多くの努力を注いでいます。
内容が州のカリキュラム基準に整合し、さまざまな難易度を含むようにするために、地域10は毎年複数の整合性プロジェクトを実施しています。契約者が各アイテムを手動で分析するために雇われます。一部のプロジェクトでは、12学年それぞれに対して1人のカリキュラム専門家が最大2,000アイテムをレビューする必要があります。これらのレビュー過程は時間を要するだけでなく、手動レビューのプロセスは更新されたアイテム間での正確性と一貫性の欠如を引き起こしました。
地域10は、コンテンツの整合性を維持するためにかなりの時間とリソースを費やしており、コンテンツの成長と改善を優先する時間がほとんどありませんでした。既存のコンテンツの基準やタグを更新するために、年間150,000ドルを費やすことも珍しくありませんでした。これは、テキサスの教育環境が技術強化アイテム（TEI）とオンライン評価の導入により大きな変革を遂げた2023年にさらに重要になりました。これは従来の評価方法からの逸脱であり、教育者に批判的思考と知識の高度な実証を強調する新しいパラダイムに学生を備えさせることを求めました。教師を支援し、この新しいフロンティアに導くために、地域10は20,000の高品質TEIを作成するという課題に直面しました。
地域10は、新しいパートナーを調達することで達成しようとしている4つの主要な目標を最初に概説しました。
- 最新の州基準への整合性を確保する
- 知識のギャップを特定する
- 知識の深さ（DOK）を割り当てる
- 文化的関連性を持つコンテンツを更新する
ESCはまた、新しい技術の実装を開始する前に、いくつかの重要な要素を考慮する必要がありました：
- プロセス全体での人間の監視の維持が必要
- コンテンツの継続的な調整と改善
- 整合性プロジェクトの時間を削減し、より多くの質問の強化と開発により多くの時間を確保する
地域10は2023年3月にPrometricのFinetuneチームと接続しました。Finetuneは、ESCの課題を迅速に理解し、アイテムバンクや学習資料に関する深い洞察を持つコンテンツ整合性のためのAI-人間ハイブリッドツールFinetune Catalog™の実装に取り組み始めました。
「FinetuneはK-12コンテンツと基準について非常に良い理解を持っていました。私たちが求めていることについて会話するのが簡単でした。たとえ私たちがそれを説明するための技術的なAIの知識を持っていなくても。」
- ジム・ニューハウス, 元地域10データソリューションアシスタントディレクター
結果
地域10は、試験の青写真、基準、アイテムバンクなどの学習資料をFinetuneに提供しました。Finetuneはこのコンテンツを取り込み、彼らのコンテンツを分析し、ウェブの知識の深さにどれほど整合しているかを見るカスタマイズされたCatalog AIモデルを構築しました。最初の整合性の結果、Catalogは96%の正確性を報告し、地域10のチームは将来のコンテンツの開発と改善に対して期待と楽観を抱くことになりました。「干し草の中の針」のように整合性改善が必要だったアイテムは修正可能であり、以前よりも迅速かつ安価、かつ正確に行うことができました。
最初の整合性の正確性に加えて、ESCは今後の評価の構築に役立つ根拠を提供されました。この複雑な根拠は、テストビルダーや教師に評価プラットフォームを通じて提供できる新しいデータの変革的なコレクションとなりました。
「Catalogの実装は数週間で完了し、予定の6ヶ月ではなく、必要な契約者の数を10人からわずか3人に減少させました。Finetune Catalogを使用して整合性タスクを達成することで、時間とお金が節約され、全体的な生産性が向上しました。」
- ジム・ニューハウス, 元地域10データソリューションアシスタントディレクター
現在、数学、英語言語芸術と読書（ELAR）、科学、社会科を含む主要なコンテンツエリアごとに約100,000ドルの節約ができた地域10は、現在のアイテムバンクを成長させるために新しいコンテンツの生産に再投資できます。TEKSbankは現在、25%（20,000）の最先端の技術強化された質問を備えており、より深い知識の評価と学生スキルのより正確な評価を提供しています。
「私たちはAIを、人間によってプログラムされ、人間によって監視され、人間によって分析されるツールと考えています。」
- ジム・ニューハウス, 元地域10データソリューションアシスタントディレクター
ダウンロード成功事例