배경
텍사스의 10번째 교육 서비스 센터(ESC)는 학생 성공을 촉진하고 주 전역의 교육 환경을 형성하는 데 중요한 역할을 합니다. 20개의 다른 ESC와 파트너 관계를 맺고 있는 10번째 지역은 텍사스 전역의 120개 공립 및 차터 학교 구역, 3,000개 이상의 학교, 90만 명 이상의 학생들을 지원합니다. 이 ESC는 600개 학교 구역과 차터, 5,000개 이상의 학교, 300만 명 이상의 학생들이 사용하는 TEKSbank라는 항목 은행을 생성, 배포 및 지원합니다. 커리큘럼 개발 및 교수 지원에서 리더십 교육 및 특수 교육 서비스에 이르기까지, 10번째 지역은 교육자를 지원하고 학습 경험을 풍부하게 하며 모든 배경과 능력을 가진 학생들에게 긍정적인 결과를 주기 위해 노력하고 있습니다.
과제
10번째 지역은 텍사스 주 학업 준비도 평가(State of Texas Assessments of Academic Readiness, STAAR®)를 준비하는 데 도움을 주기 위해 학교 구역을 위해 TEKSbank라는 항목 은행을 발행합니다. 90,000개의 TEKSbank 시험 질문은 주의 커리큘럼 기준인 텍사스 필수 지식 및 기술(Texas Essential Knowledge and Skills)에 맞춰 조정되며, Webb의 지식 깊이(Depth of Knowledge, DOK) 및 Bloom의 분류학과 같은 다른 태그와도 일치합니다.
교육 트렌드가 변화하고 주가 기준을 업데이트함에 따라, 10번째 지역은 은행이 일치하고 관련성이 있도록 많은 노력을 기울이고 있습니다.
주 커리큘럼 기준에 맞게 콘텐츠가 조정되고 다양한 난이도를 포함하도록 보장하기 위해, 10번째 지역은 매년 여러 번의 조정 프로젝트를 수행합니다. 계약자가 고용되어 각 항목을 수동으로 분석합니다. 일부 프로젝트는 각 12개 학년 수준에 대해 최대 2,000개 항목을 검토하기 위해 단일 커리큘럼 전문가가 필요합니다. 이러한 검토 과정은 시간 소모가 클 뿐만 아니라, 수동 검토 과정은 업데이트된 항목 간의 정확성과 일관성이 부족하게 만들었습니다.
10번째 지역은 콘텐츠 정렬을 유지하는 데 상당한 시간과 자원을 소비하고 있었으며, 콘텐츠 성장 및 개선을 우선시할 시간이 부족했습니다. 기존 콘텐츠의 기준이나 태그를 업데이트하는 데 연간 150,000달러를 사용하는 것은 드문 일이 아니었습니다. 2023년에는 텍사스의 교육 환경이 기술 강화 항목(TEIs) 및 온라인 평가의 도입으로 큰 변화를 겪으면서 더욱 중요해졌습니다. 이는 전통적인 평가 방법에서 벗어난 것이며, 교육자들에게 비판적 사고와 지식의 정교한 시연을 강조하는 새로운 패러다임에 대해 학생들을 준비시키는 도전을 안겼습니다. 교사들을 지원하고 그들을 이 새로운 영역으로 이끌기 위해, 10번째 지역은 20,000개의 고품질 TEI를 만드는 도전에 직면했습니다.
10번째 지역은 새로운 파트너를 소싱하여 달성하고자 하는 네 가지 주요 목표를 처음으로 설정했습니다.
- 최신 주 기준에 대한 일치 보장
- 지식 격차 식별
- 지식 깊이(DOK) 할당 문화적 관련성을 가진 콘텐츠 업데이트
ESC는 또한 새로운 기술을 구현하여 관행을 간소화하기 전에 몇 가지 중요한 요소를 고려해야 했습니다:
- 프로세스 전반에 걸쳐 인간 감독 유지 필요
- 콘텐츠의 지속적인 조정 및 완벽화
- 질문을 더 많이 향상시키고 개발할 수 있도록 조정 프로젝트의 시간을 줄이기
10번째 지역은 2023년 3월 Prometric의 Finetune 팀과 연결했습니다. Finetune은 ESC의 과제를 신속하게 이해하고 항목 은행 및 학습 자료 전반에 걸쳐 심층적인 통찰력을 제공하는 콘텐츠 정렬을 위한 AI-인간 하이브리드 도구인 Finetune Catalog™를 구현하기 위해 작업을 시작했습니다.
"Finetune은 K-12 콘텐츠와 기준에 대한 이해가 정말 좋았습니다. 우리가 원하는 것에 대해 이야기하는 것이 쉬웠습니다. 비록 우리가 그것을 설명하는 기술적 AI 지식을 가지고 있지 않았지만 말입니다.”
- 짐 뉴하우스, 전 10번째 지역 데이터 솔루션 부국장
결과
10번째 지역은 Finetune에 시험 청사진, 기준, 항목 은행 등과 같은 학습 자료를 제공했습니다. Finetune은 이 콘텐츠를 사용하여 그들의 콘텐츠를 분석하고 Webb의 지식 깊이에 얼마나 잘 맞는지를 확인하는 맞춤형 Catalog AI 모델을 구축했습니다. 첫 번째 정렬 후, Catalog는 96%의 정확도를 보고하여 10번째 지역 팀을 흥분시키고 향후 콘텐츠 개발 및 개선에 대한 낙관적인 기대를 안겨주었습니다. 정렬 개선이 필요한 “건초 더미 속의 바늘”은 수정이 가능했으며, 그들은 이전보다 더 빠르고 저렴하며 정밀하게 수행할 수 있었습니다.
첫 번째 정렬의 정확도와 함께, ESC는 향후 평가 구축에 유용한 근거를 제공받았습니다. 이 복잡한 근거는 그들이 평가 플랫폼을 통해 시험 제작자와 교사에게 공급할 수 있는 변혁적인 데이터 모음이 되었습니다.
“Catalog의 구현은 예상했던 6개월 대신 불과 몇 주가 걸렸고, 필요한 계약자 수를 10명에서 단 3명으로 줄였습니다. Finetune Catalog를 사용하여 정렬 작업을 수행함으로써 시간과 비용이 절약되었고 전반적인 생산성이 증가했습니다.”
- 짐 뉴하우스, 전 10번째 지역 데이터 솔루션 부국장
이제 수학, 영어 언어 예술 및 독서(ELAR), 과학, 사회 과목을 포함하여 핵심 콘텐츠 영역당 약 100,000달러의 절감 효과를 얻은 10번째 지역은 현재 항목 은행을 성장시키기 위해 새로운 콘텐츠 생산에 재투자할 수 있습니다. TEKSbank는 이제 25% (20,000) 최첨단 기술 강화 질문을 갖추고 있으며, 이는 더 깊은 지식 평가와 학생 기술의 더 정확한 평가를 제공합니다.
“우리는 AI를 인간이 프로그래밍하고, 인간이 감독하며, 인간이 분석하는 도구로 생각합니다.”
- 짐 뉴하우스, 전 10번째 지역 데이터 솔루션 부국장
다운로드 성공 사례