Latar Belakang
Pusat Layanan Pendidikan Wilayah 10 (ESC) di Texas memainkan peran penting dalam mendorong keberhasilan siswa dan membentuk lanskap pendidikan di seluruh negara bagian. Sebagai mitra dari dua puluh ESC lainnya, Wilayah 10 melayani 120 distrik sekolah negeri dan charter, lebih dari 3.000 sekolah, dan lebih dari 900.000 siswa di seluruh negara bagian Texas. ESC membuat, mendistribusikan, dan mendukung bank item, TEKSbank, yang digunakan oleh 600 distrik sekolah dan charter, lebih dari 5.000 sekolah, dan lebih dari 3 juta siswa. Dari pengembangan kurikulum dan dukungan instruksional hingga pelatihan kepemimpinan dan layanan pendidikan khusus, Wilayah 10 berkomitmen untuk memberdayakan pendidik, memperkaya pengalaman belajar, dan mendorong hasil positif bagi siswa dari semua latar belakang dan kemampuan.
Tantangan
Wilayah 10 menerbitkan bank item, TEKSbank, untuk distrik sekolah guna membantu mempersiapkan siswa untuk ujian berisiko tinggi, Penilaian Kesiapan Akademik Negara Bagian Texas (STAAR®). 90.000 pertanyaan ujian TEKSbank diselaraskan dengan standar kurikulum negara bagian, Pengetahuan dan Keterampilan Esensial Texas, serta tag lainnya seperti Kedalaman Pengetahuan Webb (DOK) dan Taksonomi Bloom.
Seiring perubahan tren pendidikan dan pembaruan standar negara bagian, Wilayah 10 melakukan banyak upaya untuk memastikan bank tersebut selaras dan relevan.
Untuk memastikan konten sesuai dengan standar kurikulum negara bagian dan mencakup berbagai tingkat kesulitan, Wilayah 10 melakukan beberapa proyek penyelarasan per tahun. Kontraktor dipekerjakan untuk menganalisis setiap item secara manual. Beberapa proyek memerlukan satu ahli kurikulum untuk setiap tingkat kelas 12 untuk meninjau sebanyak 2.000 item. Tidak hanya proses tinjauan ini memakan waktu, tetapi proses tinjauan manual juga mengakibatkan kurangnya akurasi dan konsistensi di antara item yang diperbarui.
Wilayah 10 menghabiskan banyak waktu dan sumber daya untuk mempertahankan keselarasan konten, dengan sedikit waktu untuk memprioritaskan pertumbuhan dan perbaikan konten. Tidak jarang menghabiskan $150.000 per tahun hanya untuk memperbarui standar atau tag pada konten yang ada. Ini menjadi semakin penting pada tahun 2023 ketika lanskap pendidikan Texas mengalami transformasi signifikan dengan diperkenalkannya item yang ditingkatkan teknologi (TEIs) dan penilaian daring. Ini merupakan perubahan dari metode penilaian tradisional dan menantang pendidik untuk mempersiapkan siswa menghadapi paradigma baru yang menekankan pemikiran kritis dan demonstrasi pengetahuan yang canggih. Untuk mendukung guru dan memimpin mereka ke batas baru ini, Wilayah 10 dihadapkan pada tantangan menciptakan 20.000 TEI berkualitas tinggi.
Wilayah 10 awalnya menggariskan empat tujuan utama yang mereka coba capai dengan mencari mitra baru.
- Memastikan keselarasan dengan standar negara bagian terbaru
- Mengidentifikasi kesenjangan pengetahuan
- Menetapkan kedalaman pengetahuan (DOK) Memperbarui konten dengan relevansi budaya
ESC juga perlu mempertimbangkan beberapa faktor penting sebelum mereka memulai implementasi teknologi baru untuk memperlancar praktik:
- Perlu mempertahankan pengawasan manusia sepanjang proses
- Penyelarasan konten yang terus-menerus dan penyempurnaan
- Mengurangi waktu proyek penyelarasan untuk memberikan lebih banyak waktu untuk meningkatkan dan mengembangkan lebih banyak pertanyaan
Wilayah 10 terhubung dengan tim Finetune Prometric pada Maret 2023. Finetune dengan cepat memahami tantangan ESC dan mulai bekerja untuk menerapkan Finetune Catalog™, alat hybrid AI-manusia untuk penyelarasan konten dengan wawasan mendalam di seluruh bank item dan materi pembelajaran.
"Finetune memiliki pemahaman yang sangat baik tentang konten K-12 dan standar. Mudah untuk berbicara dengan mereka tentang apa yang kami inginkan meskipun kami tidak memiliki pengetahuan teknis AI tentang cara menjelaskannya.”
- Jim Newhouse, mantan Asisten Direktur Solusi Data Wilayah 10
Hasil
Wilayah 10 memberikan Finetune materi pembelajaran seperti cetak biru ujian, standar, bank item, dan lainnya. Finetune mengambil konten ini dan membangun model AI Katalog yang disesuaikan yang akan menganalisis konten mereka dan melihat seberapa baik itu selaras dengan Kedalaman Pengetahuan Webb. Setelah penyelarasan pertama, Katalog melaporkan tingkat akurasi 96%, membuat tim Wilayah 10 bersemangat dan optimis untuk pengembangan dan perbaikan konten mereka di masa depan. “Jarum dalam tumpukan jerami” yang perlu perbaikan keselarasan dapat diperbaiki, dan mereka akan dapat melakukannya lebih cepat, lebih murah, dan lebih tepat daripada sebelumnya.
Seiring dengan akurasi penyelarasan pertama, ESC diberikan rasional yang akan berguna dalam pembangunan penilaian di masa depan. Rasional yang kompleks ini telah menjadi kumpulan data baru yang transformatif yang dapat mereka berikan kepada pembuat ujian dan guru melalui platform penilaian.
“Implementasi Katalog hanya memakan waktu beberapa minggu alih-alih enam bulan yang diproyeksikan dan mengurangi jumlah kontraktor yang dibutuhkan dari sepuluh menjadi hanya tiga. Menggunakan Finetune Catalog untuk menyelesaikan tugas penyelarasan telah menghemat waktu dan uang serta meningkatkan produktivitas secara keseluruhan.”
- Jim Newhouse, Mantan Asisten Direktur Solusi Data Wilayah 10
Sekarang, dengan penghematan sekitar $100.000 per area konten inti, termasuk matematika, seni bahasa Inggris dan membaca (ELAR), sains, dan studi sosial, Wilayah 10 dapat menginvestasikan kembali dalam memproduksi konten baru untuk menumbuhkan bank item yang ada. TEKSbank kini dilengkapi dengan 25% (20.000) pertanyaan canggih yang ditingkatkan teknologi, yang memberikan penilaian pengetahuan yang lebih dalam dan evaluasi yang lebih akurat terhadap keterampilan siswa.
“Kami menganggap AI sebagai alat yang diprogram oleh manusia, diawasi oleh manusia, dan dianalisis oleh manusia.” - Jim Newhouse, mantan Asisten Direktur Solusi Data Wilayah 10
Unduh Kisah Sukses