Itu Menantang Tantangan Hukum
Organisasi yang mengembangkan dan mengelola tes online harus memahami bahwa pengembangan item tes lebih dari sekadar menulis pertanyaan. Untuk melindungi kandidat dan organisasi pengujian, item pengujian online harus mampu menghadapi tantangan hukum. Ujian yang dapat dipertahankan secara hukum adalah ujian yang dirancang untuk memberikan semua kandidat kesempatan yang sama untuk menampilkan pengetahuan mereka dan tidak mendiskriminasi kelompok berdasarkan ras, warna kulit, asal kebangsaan, jenis kelamin, agama, atau cacat yang dilindungi.
Tetapi bagaimana organisasi dapat memastikan bahwa tes online mereka dapat dipertahankan secara hukum? Mengintegrasikan sejumlah praktik terbaik dalam pengembangan item ke dalam program pengujian dapat membantu memastikan bahwa item pengujian secara akurat dan adil mengukur pengetahuan, keterampilan, dan kemampuan untuk semua kandidat di kelompok ini.
Pertama dan terutama, mengikuti proses standar untuk pengembangan item tes sangat penting untuk defensibilitas hukum item tes online. Proses ini harus mencakup pelatihan standar untuk semua penulis item serta ulasan item yang ketat dan proses persetujuan. Proses peninjauan mencakup evaluasi hal-hal seperti sensitivitas, gaya, kebenaran, tingkat kognitif, dan struktur keseluruhan dari semua item tes. Bagian dari proses peninjauan standar dilakukan oleh para ahli materi pelajaran dan sebagian dilakukan oleh psikometri dan profesional pengembangan pengujian. Karena fokus tinjauan psikometrik dan pengembangan tes adalah objektivitas, sebaiknya dilakukan oleh para profesional pengembangan tes, tidak hanya oleh para ahli materi pelajaran atau penulis item. Individu dilatih dalam kompleksitas evaluasi psikometrik dari item dalam cahaya yang berbeda, lebih kritis daripada ahli subjek atau penulis item dan lebih efektif dalam memastikan objektivitas item tes.
Kedua, organisasi dapat meningkatkan defisiensi legal tes online dengan pengumpulan data yang sedang berlangsung dan analisis hasil tes. Menggunakan metrik untuk mengevaluasi kinerja item tes online di lapangan dan untuk menentukan pola respons tes dapat memastikan bahwa tidak ada satu kelompok yang merespons secara berbeda terhadap pertanyaan di seluruh papan.
Analisis data respons item (cara kandidat menjawab suatu item) dapat mengidentifikasi apakah terminologi atau deskripsi dalam item tidak sesuai untuk bagian tertentu dari populasi kandidat. Anehnya, modifikasi hanya beberapa kata dalam item ujian dapat memiliki efek besar pada kinerja kandidat. Misalnya, ketika mengembangkan item untuk ujian lisensi tertentu, ditemukan bahwa penulis item tertentu suka menggunakan kata "mencopet" daripada "mencuri." Karena kata "pencuri" tidak memiliki arti penting terhadap area lisensi yang diuji, dan kata "mencuri" adalah kata yang lebih umum dikenal di berbagai kelompok etnis dan sosial ekonomi, mengubah satu kata itu menciptakan item yang lebih valid untuk seluruh pengujian. populasi. Analisis pasca-administrasi mengkonfirmasi bahwa perubahan tersebut menciptakan kinerja barang yang lebih adil.
Terakhir, catatan tertulis dari pengembangan dan evaluasi program uji yang berkelanjutan dapat berfungsi sebagai perlindungan dalam kasus tantangan hukum. Proses pengembangan tes hanya valid jika didokumentasikan. Dokumentasi harus mencakup analisis pekerjaan yang menjadi dasar penugasan penulisan item dan kualifikasi pakar materi pelajaran dan staf pengembangan pengujian yang terlibat dalam siklus pengembangan item dan tinjauan. Item dan data tingkat ujian juga harus disimpan setelah evaluasi bersama dengan informasi pengaturan standar dan metodologi penilaian terkait.
Ketika melakukan peninjauan ujian yang telah ditantang di pengadilan, dengan cepat menjadi jelas bahwa tidak selalu ujian "terbaik" yang berhasil melawan tantangan hukum. Ujian yang tahan terhadap tantangan hukum biasanya adalah ujian yang mengikuti praktik pengembangan tes standar yang diterima industri dan mendokumentasikan langkah-langkah mereka di sepanjang jalan. Tanpa proses dan dokumentasi, bahkan ujian yang berkinerja baik dapat gagal mengesankan pengadilan.
Organisasi yang mengembangkan dan mengelola tes online harus selalu merancang konten ujian dan penilaian dengan skenario hukum yang berpotensi buruk. Penambahan praktik terbaik ini ke dalam proses pengujian yang ada akan sangat membantu mengurangi kemungkinan tantangan hukum dan menangani litigasi jika perlu:
- Standarisasi pengembangan item tes
- Tinjauan item yang ketat dan proses persetujuan
- Pengumpulan data yang sedang berlangsung dan analisis hasil ujian dan item
- Dokumentasi proses pengembangan tes dan evaluasi yang sedang berlangsung
Pengetahuan yang berusaha diukur oleh organisasi adalah objektif, dan dengan menerapkan praktik terbaik di atas, organisasi dapat membantu memastikan bahwa ujian mereka juga objektif.