Kisah Sukses/Region 10 Texas Mengubah Pendidikan dengan Kecerdasan Buatan yang Disesuaikan
Region 10 Texas Mengubah Pendidikan dengan Kecerdasan Buatan yang Disesuaikan
Ujian K-12 tingkat tinggi Region 10 State of Texas Assessments of Academic Readiness memerlukan perbaikan konten, tetapi hanya Prometric AI yang bisa dengan cepat menyusun dan menyelaraskan 90.000 item secara efisien.
Latar Belakang
Pusat Layanan Pendidikan (ESC) Wilayah 10 di Texas memainkan peran kunci dalam memajukan kesuksesan siswa dan membentuk lanskap pendidikan di seluruh negara bagian. Sebagai mitra bagi dua puluh ESC lainnya, Wilayah 10 melayani 120 distrik sekolah umum dan sekolah charter, lebih dari 3.000 sekolah, dan lebih dari 900.000 siswa di seluruh negara bagian Texas. ESC menciptakan, mendistribusikan, dan mendukung bank soal, TEKSbank, yang digunakan oleh 600 distrik sekolah dan sekolah charter, lebih dari 5.000 sekolah, dan lebih dari 3 juta siswa. Mulai dari pengembangan kurikulum dan dukungan instruksional hingga pelatihan kepemimpinan dan layanan pendidikan khusus, Wilayah 10 berkomitmen untuk memberdayakan pendidik, memperkaya pengalaman belajar, dan menciptakan hasil positif bagi siswa dari berbagai latar belakang dan kemampuan.
Tantangan
Wilayah 10 menerbitkan bank soal, TEKSbank, untuk distrik sekolah untuk membantu mempersiapkan siswa menghadapi ujian berisiko tinggi, State of Texas Assessments of Academic Readiness (STAAR®). Ada 90.000 pertanyaan ujian TEKSbank yang disesuaikan dengan standar kurikulum negara bagian, Texas Essential Knowledge and Skills, serta tag-tag lain seperti Webb’s Depth of Knowledge (DOK) dan Bloom’s Taxonomy.
Saat tren pendidikan berubah dan negara bagian memperbarui standarnya, Wilayah 10 berusaha keras memastikan bank soal ini selaras dan relevan.
Untuk memastikan konten sesuai dengan standar kurikulum negara bagian dan mengandung berbagai tingkat kesulitan, Wilayah 10 melakukan beberapa proyek penyelarasan setiap tahun. Kontraktor dikontrak untuk menganalisis setiap item secara manual. Beberapa proyek memerlukan satu ahli kurikulum untuk masing-masing dari 12 tingkat kelas untuk meninjau hingga 2.000 item. Proses peninjauan ini tidak hanya memakan waktu, tetapi proses peninjauan manual ini menyebabkan kurangnya akurasi dan konsistensi di antara item-item yang diperbarui.
Wilayah 10 menghabiskan banyak waktu dan sumber daya untuk menjaga keselarasan konten, dengan sedikit waktu untuk memprioritaskan pertumbuhan dan perbaikan konten. Tidak jarang menghabiskan $150.000 setiap tahun hanya untuk memperbarui standar atau tag pada konten yang sudah ada. Hal ini menjadi lebih penting pada tahun 2023 ketika lanskap pendidikan Texas mengalami transformasi signifikan dengan diperkenalkannya teknologi-enhanced items (TEIs) dan asesmen daring. Hal ini melangkah dari metode asesmen tradisional dan menantang pendidik untuk mempersiapkan siswa menghadapi paradigma baru yang menekankan berpikir kritis dan demonstrasi pengetahuan yang canggih. Untuk mendukung para guru dan membimbing mereka memasuki zona baru ini, Wilayah 10 dihadapkan pada tantangan menciptakan 20.000 TEIs berkualitas tinggi.
Finetune memiliki pemahaman yang sangat baik tentang konten K-12 dan standarnya. Mudah untuk berdiskusi dengan mereka mengenai apa yang kita inginkan meskipun kita tidak memiliki pengetahuan teknis AI tentang bagaimana menggambarkannya.
Jim Newhouse
Mantan Direktur Asisten Solusi Data Region 10
Strategi Kemitraan
Region 10 awalnya menetapkan empat tujuan utama yang ingin dicapai dengan mencari mitra baru.
Memastikan keselarasan dengan standar terbaru negara bagian
Mengidentifikasi kesenjangan pengetahuan
Menetapkan kedalaman pengetahuan (DOK) Memperbarui konten dengan relevansi budaya
“Kami menganggap Kecerdasan Buatan sebagai alat yang diprogram oleh manusia, diawasi oleh manusia, dan dianalisis oleh manusia.”
- Jim Newhouse, Mantan Direktur Asisten Solusi Data Region 10
ESC juga perlu mempertimbangkan beberapa faktor penting sebelum mereka memulai implementasi teknologi baru untuk menyederhanakan praktik:
Kebutuhan untuk mempertahankan pengawasan manusia sepanjang proses
Penyesuaian dan penyempurnaan konten secara konstan
Mengurangi waktu proyek penyelarasan untuk memberi lebih banyak waktu untuk meningkatkan dan mengembangkan pertanyaan lebih lanjut
Region 10 terhubung dengan tim Finetune dari Prometric pada Maret 2023. Finetune dengan cepat memahami tantangan ESC dan mulai bekerja untuk menerapkan Finetune Catalog™, alat hibrida AI-manusia untuk penyelarasan konten dengan wawasan mendalam di seluruh bank soal dan materi pembelajaran.
Implementasi Katalog hanya membutuhkan beberapa minggu daripada enam bulan yang diproyeksikan dan mengurangi jumlah kontraktor yang diperlukan dari sepuluh menjadi hanya tiga. Menggunakan Finetune Katalog untuk menyelesaikan tugas penyesuaian telah membebaskan waktu dan uang serta meningkatkan produktivitas secara keseluruhan.
Jim Newhouse
Mantan Direktur Asisten Solusi Data Wilayah 10
Hasi
Wilayah 10 menyediakan Finetune dengan materi pembelajaran seperti rancangan ujian, standar, bank soal, dan lain-lain. Finetune mengambil konten ini dan membangun model Catalog AI yang disesuaikan yang akan bekerja untuk menganalisis konten mereka dan melihat seberapa baik kesesuaiannya dengan Webb's Depth of Knowledge. Setelah penyesuaian pertama, Katalog melaporkan tingkat akurasi 96%, meninggalkan tim Wilayah 10 sangat antusias dan optimis untuk pengembangan dan perbaikan konten mereka di masa depan. "Jarum dalam tumpukan jerami" yang memerlukan perbaikan kesesuaian dapat diperbaiki, dan mereka akan dapat melakukannya lebih cepat, lebih murah, dan lebih tepat dari sebelumnya.
Bersama dengan akurasi penyesuaian pertama, ESC diberikan alasan yang akan berguna dalam pembangunan penilaian di masa depan. Alasan yang kompleks telah menjadi koleksi data baru yang transformatif yang dapat mereka berikan kepada pembangun tes dan guru melalui platform penilaian.
Sekarang, dengan penghematan sekitar $100,000 per area konten inti, termasuk matematika, bahasa Inggris dan membaca (ELAR), sains, dan studi sosial, Wilayah 10 dapat reinvestasi dalam memproduksi konten baru untuk mengembangkan bank soalnya saat ini. TEKSbank kini dilengkapi dengan 25% (20,000) pertanyaan teknologi mutakhir, yang memberikan penilaian pengetahuan yang lebih dalam dan evaluasi keterampilan siswa yang lebih akurat.
