배경
텍사스의 10지역 교육 서비스 센터(ESC)는 학생 성공을 촉진하고 주 전역의 교육 환경을 형성하는 중요한 역할을 합니다. 20개의 다른 ESC와 파트너로서 10지역은 120개의 공립 및 차터 학교 지역, 3,000개 이상의 학교, 90만 명 이상의 학생을 지원합니다. ESC는 600개 학교 지역 및 차터, 5,000개 이상의 학교, 300만 명 이상의 학생이 사용하는 항목 은행인 TEKSbank를 생성, 배포 및 지원합니다. 커리큘럼 개발과 교육 지원에서 리더십 훈련 및 특수 교육 서비스에 이르기까지 10지역은 교육자를 지원하고, 학습 경험을 풍부하게 하며, 모든 배경과 능력을 가진 학생들에게 긍정적인 결과를 이끌어 내기 위해 최선을 다하고 있습니다.
도전 과제
10지역은 텍사스 주 학업 준비도 평가(State of Texas Assessments of Academic Readiness, STAAR®)라는 고위험 시험을 준비하는 데 도움이 되는 항목 은행인 TEKSbank를 게시합니다. 90,000개의 TEKSbank 시험 질문은 주의 커리큘럼 기준인 텍사스 필수 지식 및 기술(Texas Essential Knowledge and Skills)과 웹의 지식 깊이(Webb’s Depth of Knowledge, DOK) 및 블룸의 분류법(Bloom’s Taxonomy)과 같은 다른 태그에 맞춰 조정되어 있습니다.
교육 트렌드가 변화하고 주가 기준을 업데이트함에 따라 10지역은 은행이 일치하고 관련성이 있도록 많은 노력을 기울이고 있습니다.
주 커리큘럼 기준에 콘텐츠가 일치하고 다양한 난이도를 포함하도록 보장하기 위해, 10지역은 매년 여러 차례의 정렬 프로젝트를 실시합니다. 계약자가 각 항목을 수동으로 분석하도록 고용됩니다. 일부 프로젝트는 12개 학년 수준마다 커리큘럼 전문가를 한 명씩 배정하여 최대 2,000개의 항목을 검토하도록 요구합니다. 이러한 검토 과정은 시간 소모가 클 뿐만 아니라, 수동 검토 과정은 업데이트된 항목 간의 정확성과 일관성 부족으로 이어졌습니다.
10지역은 콘텐츠 정렬 유지에 상당한 시간과 자원을 소비하고 있었으며, 콘텐츠 성장 및 개선을 우선시할 시간이 거의 없었습니다. 기존 콘텐츠의 기준이나 태그를 업데이트하는 데 매년 $150,000를 소비하는 것은 드문 일이 아니었습니다. 2023년에는 기술 강화 항목(TEIs) 및 온라인 평가 도입으로 텍사스의 교육 환경이 큰 변화를 겪으면서 이 문제가 더욱 중요해졌습니다. 이는 전통적인 평가 방법에서 벗어난 것으로, 교육자들에게 비판적 사고와 지식의 정교한 시연을 강조하는 새로운 패러다임에 학생들을 준비시킬 것을 도전했습니다. 교사를 지원하고 이 새로운 경계로 이끌기 위해 10지역은 20,000개의 고품질 TEI를 만들라는 도전에 직면했습니다.
10지역은 새로운 파트너를 소싱하여 달성하려는 네 가지 주요 목표를 처음으로 설정했습니다.
- 최신 주 기준에 맞추기
- 지식 격차 식별
- 지식 깊이(DOK) 할당 및 문화적 관련성을 갖춘 콘텐츠 업데이트
ESC는 또한 새로운 기술을 구현하여 관행을 간소화하기 전에 몇 가지 중요한 요소를 고려해야 했습니다:
- 과정 전반에 걸쳐 인간의 감독 유지 필요
- 콘텐츠의 지속적인 조정 및 개선
- 질문을 향상하고 개발하기 위해 정렬 프로젝트 시간을 줄이기
10지역은 2023년 3월에 Prometric의 Finetune 팀과 연결했습니다. Finetune은 ESC의 문제를 빠르게 이해하고, 항목 은행 및 학습 자료 전반에 걸쳐 심층 통찰력을 제공하는 콘텐츠 정렬을 위한 AI-인간 하이브리드 도구인 Finetune Catalog™를 구현하기 위해 작업을 시작했습니다.
"Finetune은 K-12 콘텐츠와 기준에 대해 매우 잘 이해하고 있었습니다. 우리가 원하는 것을 설명하는 기술적 AI 지식이 없었음에도 불구하고 그들과 대화하는 것은 쉬웠습니다.”
- 짐 뉴하우스, 전 10지역 데이터 솔루션 부국장
결과
10지역은 시험 청사진, 기준, 항목 은행 등과 같은 학습 자료를 Finetune에 제공했습니다. Finetune은 이 콘텐츠를 사용하여 그들의 콘텐츠를 분석하고 웹의 지식 깊이와 얼마나 잘 일치하는지를 확인하는 맞춤형 Catalog AI 모델을 구축했습니다. 첫 번째 정렬 후, Catalog는 96%의 정확도를 보고하여 10지역 팀은 미래의 콘텐츠 개발 및 개선에 대해 흥분하고 낙관적이었습니다. 정렬 개선이 필요한 “건초 더미 속의 바늘”들은 수정 가능했으며, 그들은 이전보다 더 빠르고 저렴하며 정확하게 이를 수행할 수 있었습니다.
첫 번째 정렬의 정확성과 함께 ESC는 미래 평가 구축에 유용할 수 있는 근거를 제공받았습니다. 이 복잡한 근거는 그들이 평가 플랫폼을 통해 시험 제작자와 교사에게 제공할 수 있는 변혁적인 새로운 데이터 모음이 되었습니다.
“Catalog의 구현은 예상된 6개월이 아닌 몇 주 만에 완료되었고, 필요한 계약자 수를 10명에서 3명으로 줄였습니다. Finetune Catalog를 사용하여 정렬 작업을 수행하는 것은 시간과 비용을 절약하고 전반적인 생산성을 향상시켰습니다.”
- 짐 뉴하우스, 전 10지역 데이터 솔루션 부국장
이제 수학, 영어 언어 예술 및 독서(ELAR), 과학 및 사회 과목을 포함한 핵심 콘텐츠 영역당 약 $100,000의 절약을 통해 10지역은 현재 항목 은행을 성장시키기 위해 새로운 콘텐츠 제작에 재투자할 수 있습니다. TEKSbank는 이제 25% (20,000)의 최첨단 기술 강화 질문을 갖추고 있어 더 깊은 지식 평가와 학생 기술의 보다 정확한 평가를 제공합니다.
“우리는 AI를 인간에 의해 프로그래밍되고, 인간에 의해 감독되며, 인간에 의해 분석되는 도구로 생각합니다.” - 짐 뉴하우스, 전 10지역 데이터 솔루션 부국장
다운로드 성공 사례