Latar Belakang
Pusat Layanan Pendidikan Wilayah 10 (ESC) di Texas memainkan peran penting dalam mendorong keberhasilan siswa dan membentuk lanskap pendidikan di seluruh negara bagian. Sebagai mitra bagi dua puluh ESC lainnya, Wilayah 10 melayani 120 distrik sekolah negeri dan charter, lebih dari 3.000 sekolah, dan lebih dari 900.000 siswa di seluruh negara bagian Texas. ESC menciptakan, mendistribusikan, dan mendukung bank item, TEKSbank, yang digunakan oleh 600 distrik sekolah dan charter, lebih dari 5.000 sekolah, dan lebih dari 3 juta siswa. Dari pengembangan kurikulum dan dukungan pengajaran hingga pelatihan kepemimpinan dan layanan pendidikan khusus, Wilayah 10 berkomitmen untuk memberdayakan pendidik, memperkaya pengalaman belajar, dan mendorong hasil positif bagi siswa dari berbagai latar belakang dan kemampuan.
Tantangan
Wilayah 10 menerbitkan bank item, TEKSbank, untuk distrik sekolah guna membantu mempersiapkan siswa untuk ujian berisiko tinggi, Penilaian Kesiapan Akademik Negara Bagian Texas (STAAR®). 90.000 soal ujian TEKSbank diselaraskan dengan standar kurikulum negara bagian, Pengetahuan dan Keterampilan Esensial Texas, serta tag lain seperti Kedalaman Pengetahuan Webb (DOK) dan Taksonomi Bloom.
Seiring perubahan tren pendidikan dan pembaruan standar negara bagian, Wilayah 10 menginvestasikan banyak usaha untuk memastikan bank tersebut selaras dan relevan.
Untuk memastikan konten sesuai dengan standar kurikulum negara bagian dan memiliki berbagai tingkat kesulitan, Wilayah 10 melakukan beberapa proyek penyelarasan setiap tahun. Kontraktor dipekerjakan untuk menganalisis setiap item secara manual. Beberapa proyek memerlukan satu ahli kurikulum untuk masing-masing dari 12 tingkat kelas untuk meninjau hingga 2.000 item. Proses tinjauan ini tidak hanya memakan waktu, tetapi proses tinjauan manual juga menyebabkan kurangnya akurasi dan konsistensi di antara item yang diperbarui.
Wilayah 10 menghabiskan jumlah waktu dan sumber daya yang signifikan untuk mempertahankan penyelarasan konten, dengan sedikit waktu untuk memprioritaskan pertumbuhan dan perbaikan konten. Tidak jarang menghabiskan $150.000 setiap tahun hanya untuk memperbarui standar atau tag pada konten yang ada. Ini menjadi semakin penting pada tahun 2023 ketika lanskap pendidikan Texas mengalami transformasi signifikan dengan diperkenalkannya item yang ditingkatkan teknologi (TEI) dan penilaian online. Ini merupakan penyimpangan dari metode penilaian tradisional dan menantang pendidik untuk mempersiapkan siswa untuk paradigma baru yang menekankan pemikiran kritis dan demonstrasi pengetahuan yang kompleks. Untuk mendukung guru dan memimpin mereka ke dalam batasan baru ini, Wilayah 10 dihadapkan pada tantangan untuk menciptakan 20.000 TEI berkualitas tinggi.
Wilayah 10 awalnya merangkum empat tujuan utama yang ingin mereka capai dengan mencari mitra baru.
- Memastikan keselarasan dengan standar negara bagian terbaru
- Mengidentifikasi kesenjangan pengetahuan
- Menetapkan kedalaman pengetahuan (DOK) Memperbarui konten dengan relevansi budaya
ESC juga perlu mempertimbangkan beberapa faktor penting sebelum mereka memulai penerapan teknologi baru untuk memperlancar praktik:
- Perlu mempertahankan pengawasan manusia sepanjang proses
- Penyesuaian dan penyempurnaan konten yang konstan
- Mengurangi waktu proyek penyelarasan untuk memberikan lebih banyak waktu untuk meningkatkan dan mengembangkan lebih banyak pertanyaan
Wilayah 10 terhubung dengan tim Finetune Prometric pada Maret 2023. Finetune dengan cepat memahami tantangan ESC dan mulai bekerja untuk menerapkan Finetune Catalog™, alat hibrida AI-manusia untuk penyelarasan konten dengan wawasan mendalam di seluruh bank item dan materi pembelajaran.
"Finetune memiliki pemahaman yang sangat baik tentang konten K-12 dan standar. Sangat mudah untuk berdiskusi dengan mereka tentang apa yang kami inginkan meskipun kami tidak memiliki pengetahuan teknis AI tentang cara mendeskripsikannya.”
- Jim Newhouse, Mantan Asisten Direktur Solusi Data Wilayah 10
Hasil
Wilayah 10 memberikan Finetune dengan materi pembelajaran seperti cetak biru ujian, standar, bank item, dan lainnya. Finetune mengambil konten ini dan membangun model AI Katalog yang disesuaikan yang akan bekerja untuk menganalisis konten mereka dan melihat seberapa baik konten tersebut diselaraskan dengan Kedalaman Pengetahuan Webb. Setelah penyelarasan pertama, Katalog melaporkan tingkat akurasi 96%, membuat tim Wilayah 10 bersemangat dan optimis untuk pengembangan dan perbaikan konten mereka di masa depan. "Jarum dalam tumpukan jerami" yang memerlukan perbaikan penyelarasan dapat diperbaiki, dan mereka akan dapat melakukannya lebih cepat, lebih murah, dan lebih tepat daripada sebelumnya.
Seiring dengan akurasi penyelarasan pertama, ESC juga diberikan rasional yang akan berguna dalam pembangunan penilaian di masa depan. Rasional yang kompleks ini telah menjadi kumpulan data baru yang transformatif yang dapat mereka berikan kepada pembuat ujian dan guru melalui platform penilaian.
“Penerapan Katalog hanya memakan waktu beberapa minggu alih-alih enam bulan yang diproyeksikan dan mengurangi jumlah kontraktor yang dibutuhkan dari sepuluh menjadi hanya tiga. Menggunakan Katalog Finetune untuk menyelesaikan tugas penyelarasan telah membebaskan waktu dan uang serta meningkatkan produktivitas secara keseluruhan.”
- Jim Newhouse, Mantan Asisten Direktur Solusi Data Wilayah 10
Sekarang, dengan penghematan sekitar $100.000 per area konten inti, termasuk matematika, seni bahasa Inggris dan membaca (ELAR), ilmu pengetahuan, dan studi sosial, Wilayah 10 dapat menginvestasikan kembali dalam memproduksi konten baru untuk mengembangkan bank item mereka yang ada. TEKSbank sekarang dilengkapi dengan 25% (20.000) pertanyaan yang ditingkatkan teknologi mutakhir, yang menyediakan penilaian pengetahuan yang lebih dalam dan evaluasi yang lebih akurat terhadap keterampilan siswa.
“Kami menganggap AI sebagai alat yang diprogram oleh manusia, diawasi oleh manusia, dan dianalisis oleh manusia.”
- Jim Newhouse, Mantan Asisten Direktur Solusi Data Wilayah 10
Unduh Kisah Sukses