10 지역의 K-12 고등학교 State of Texas Assessments of Academic Readiness 시험은 콘텐츠 개선이 필요했지만, 90,000개의 항목을 효율적으로 은행에 보관하고 일치시킬 수 있는 것은 프로메트릭 AI 뿐이었습니다.
배경
텍사스의 10번 교육 서비스 센터(ESC)는 학생들의 성공을 촉진하고 주 전역의 교육 환경을 형성하는 데 중추적인 역할을 합니다. 10번 지역은 20개의 다른 ESC와 협력하여 텍사스 주 전역에 걸쳐 120개의 공립 및 차터 스쿨 디스트릭트, 3,000개가 넘는 학교, 그리고 900,000명을 넘는 학생들을 지원합니다. ESC는 600개 스쿨 디스트릭트 및 차터, 5,000개가 넘는 학교, 그리고 3백만 명을 넘는 학생들이 사용하는 TEKSbank라는 항목 은행을 만들고 배포하며 지원합니다. 교육과정 개발, 교육 지원부터 리더십 교육 및 특수 교육 서비스에 이르기까지, 10번 지역은 교육자들에게 권한을 부여하고 학습 경험을 풍부하게 하며 모든 배경과 능력을 가진 학생들에게 긍정적인 결과를 이끌어내기 위해 헌신하고 있습니다.
도전 과제
지역 10은 학교 지역을 위해 고등학교 평가 시험인 텍사스 학업준비평가(STAAR®)를 대비하기 위해 아이템 은행 TEKSbank를 발행합니다. 90,000개의 TEKSbank 시험 문항은 해당 주의 교육과정 기준인 텍사스 주요 지식과 기술(Texas Essential Knowledge and Skills)뿐만 아니라 Webb의 인지 깊이(DOK) 및 블룸의 세분화(Taxonomy)와 같은 다른 태그에 맞춰져 있습니다.
교육 트렌드가 변화하고 주가 표준을 업데이트 할 때, 지역 10은 은행이 맞춰져 있고 관련성을 갖도록 많은 노력을 기울입니다.
콘텐츠가 주의 교육과정 기준에 맞추어지고 다양한 난이도 수준을 포함하고 있는지 확인하기 위해, 지역 10은 매년 여러 맞춤 프로젝트를 실시합니다. 계약업자는 각 항목을 수동으로 분석하도록 고용됩니다. 일부 프로젝트에서는 12개 학년 각각에 대해 단일 교육 전문가가 최대 2,000개의 문항을 검토해야 할 수도 있습니다. 이러한 검토 과정은 시간이 많이 소요되는데, 수동 검토 과정은 업데이트된 항목들 사이에 정확도와 일관성 부족을 야기했습니다.
지역 10은 콘텐츠 맞춤 업데이트에 상당한 시간과 자원을 소비하며, 콘텐츠 성장과 개선에 우선순위를 두기 위한 시간이 거의 없었습니다. 기존 콘텐츠의 표준이나 태그를 업데이트하는 데 연간 15만 달러를 소비하는 것은 흔한 일이 아니었습니다. 이는 2023년 텍사스의 교육 환경이 기술 강화 항목(TEI) 및 온라인 평가 도입으로 크게 변화함에 따라 더욱 중요해졌습니다. 이는 전통적인 평가 방법에서 벗어나 교육자들에게 비판적 사고와 지식의 정교한 시연을 강조하는 새로운 패러다임에 대비할 수 있도록 학생들을 준비시키는 것을 강조했습니다. 교사를 지원하고 이들을 이 새로운 선도자로 이끌기 위해, 지역 10은 20,000개의 고품질 TEI를 만들어야 하는 도전에 직면했습니다.
"Finetune은 K-12 콘텐츠와 표준에 대한 매우 좋은 이해력을 가지고 있었습니다. 우리가 원하는 것에 대해 대화를 나누는 것이 쉬웠으며 기술적인 AI 지식이 없어도 어떻게 설명해야 하는지에 대해 이야기할 수 있었습니다."
짐 뉴하우스
지역 10 부 데이터 솔루션 부문 전 부사장
파트너십 전략
지역 10은 새로운 파트너를 확보함으로써 달성하려고 했던 네 가지 주요 목표를 초기에 개요로 설정했습니다.
최신 주요 표준에 대한 일치성 보장
지식 간극 식별
지식의 깊이 할당(DOK) 문화적 관련성을 갱신
“우리는 AI를 인간이 프로그래밍하고, 인간이 감독하며, 인간이 분석하는 도구로 생각합니다.”
- 짐 뉴하우스, 이전 지역 10 데이터 솔루션 부차장
ESC는 새로운 기술을 도입하여 업무를 간소화하기 전에 고려해야 할 여러 중요한 요소를 고려해야 했습니다.
과정 전반에 걸친 인간의 감독 유지 필요
콘텐츠의 지속적인 조정 및 완벽성
조정 프로젝트의 시간 단축을 통해 더 많은 질문을 향상하고 개발할 시간 확보
지역 10은 2023년 3월 Prometric의 Finetune 팀과 연락을 맺었습니다. Finetune은 ESC의 도전 과제를 신속히 이해하고 Finetune Catalog™을 구현하기 위해 작업을 시작했습니다. 이는 항목 은행 및 학습 자료 전체에 걸친 깊은 통찰력을 제공하는 AI-인간 혼합 도구입니다.
“카탈로그의 구현은 예상된 6개월 대신 몇 주만에 이루어졌으며, 필요한 계약업체 수가 10개에서 3개로 감소했습니다. 정렬 작업을 수행하기 위해 Finetune Catalog를 사용하는 것은 시간과 비용을 절약하고 전체 생산성을 높이는 데 도움이 되었습니다.”
짐 뉴하우스
지난 지역 10 부 데이터 솔루션 부사장
결과
10지역은 Finetune에 시험 블루프린트, 표준, 항목 은행 등의 학습 자료를 제공했습니다. Finetune은 이 콘텐츠를 가져와 웹(Webb)의 인지 깊이와 얼마나 잘 부합하는지 분석하는 사용자 정의 카탈로그 AI 모델을 구축했습니다. 첫 번째 정렬 이후, 카탈로그는 정확도가 96%라고 보고했으며, 10지역 팀은 미래 콘텐츠의 발전과 개선에 기대감을 가지게 되었습니다. 개선이 필요한 "숲속의 바늘"은 수정할 수 있었고, 그들은 지금까지보다 더 빠르고 저렴하고 정확하게 할 수 있었습니다.
첫 번째 정렬의 정확도와 함께, ESC는 미래 평가 구축에 유용한 근거를 제공받았습니다. 복잡한 근거는 시험 제작자와 교사들에게 평가 플랫폼을 통해 공급할 수 있는 혁신적인 새로운 데이터 모음이 되었습니다.
이제, 수학, 영어 언어 예술 및 독해 (ELAR), 과학, 사회 과학을 포함한 핵심 콘텐츠 영역 당 약 $100,000의 절감으로, 10지역은 현재 항목 은행을 확장하기 위해 새로운 콘텐츠를 생산하는 데 재투자할 수 있습니다. TEKSbank는 이제 25% (20,000개)의 첨단 기술을 활용한 질문을 갖추어, 학생들의 기술을 보다 정확하게 평가하고 깊이 있는 지식 평가를 제공합니다.