Model Pengaturan Standar Virtual untuk Sukses

“Validitas mengacu pada sejauh mana bukti dan teori mendukung interpretasi skor tes untuk penggunaan tes yang diusulkan. Oleh karena itu, validitas merupakan pertimbangan paling mendasar dalam mengembangkan tes dan mengevaluasi tes.” ( Standar Tes Pendidikan dan Psikologi , hal. 11)

Sejak pandemi dimulai dan industri pengujian mengalami goncangan besar, banyak diskusi dan penelitian berpusat di sekitar validitas pengujian yang diawasi dari jarak jauh versus pengujian bata-dan-mortir, tetapi kami telah mendengar lebih sedikit tentang validitas proses pengembangan pengujian jarak jauh. versus proses pengembangan tes secara langsung. Jika Anda dulu melakukan sebagian besar rapat pengembangan pengujian secara langsung tetapi telah beralih ke virtual, apakah Anda telah mengambil langkah mundur untuk mempertimbangkan validitas proses Anda dan apakah Anda masih mendapatkan hasil yang sama dengan menjalankannya secara virtual atau tidak?

Dalam dunia pengembangan pengujian, Pengaturan Standar adalah salah satu komponen terpenting. Proses Penetapan Standar mendefinisikan apa itu skor kelulusan, dan apa artinya seseorang telah lulus ujian. Penetapan Standar berhubungan langsung dengan validitas, yang menentukan apakah kita memiliki bukti untuk mendukung penggunaan skor tes untuk membuat keputusan.

Di antara aktivitas pengembangan pengujian, Pengaturan Standar secara unik menantang untuk memfasilitasi dari jarak jauh karena pertimbangan berikut:

Masalah Keamanan : Ahli Materi Pelajaran (UKM) memiliki akses penuh ke konten ujian.

Kompleksitas : Prosesnya bisa sulit untuk dijelaskan dan dicerna.

Keterlibatan Tingkat Tinggi : Penetapan Standar Kualitas memerlukan tingkat keterlibatan UKM yang tertinggi. Partisipasi parsial atau pasif akan memungkinkan prosedur dan pertimbangan penting untuk diabaikan dan tidak diperiksa.

Tidak Mudah Direvisi : Setelah selesai, set standar untuk tes sangat sulit dan membosankan untuk diubah. Skor pemotongan yang ditetapkan memerlukan upaya yang sangat besar untuk memperbarui, dan setelah dilakukan, setiap perubahan skor pemotongan dapat berdampak buruk pada kandidat.

Studi kasus di bawah ini menggambarkan tiga model sukses untuk Pengaturan Standar virtual, masing-masing melibatkan tantangan dan solusi unik.

STUDI KASUS #1 : American Board for Certification in Orthotics, Prosthetics and Pedorthics (ABC)

Tantangan khusus untuk program ujian volume kecil

STUDI KASUS #2 : Komisi Sertifikasi untuk Juru Bahasa Kesehatan (CCHI)

Metode khusus untuk ujian CHI ™ -Spanyol

STUDI KASUS #3 : National-Interstate Council of State Boards of Cosmetology (NIC)

Proses dan tantangan khusus dari pengaturan standar semi-jauh untuk ujian praktik

Untuk konteksnya, ada 8 langkah kunci dalam proses Pengaturan Standar Angoff yang Dimodifikasi:

rekrutmen UKM
Pelatihan
Diskusi kandidat yang memenuhi syarat minimal atau borderline
Peringkat latihan
Peringkat Angoff: putaran 1
Diskusi kelompok tentang item yang ditandai
Peringkat Angoff: putaran 2
Skor potongan akhir yang direkomendasikan

STUDI KASUS #1: American Board for Certification in Orthotics, Prosthetics and Pedorthics (ABC)

ABC memiliki beberapa program ujian volume kecil dalam ortotik, prostetik, dan disiplin ilmu terkait. Pemberi sertifikasi dapat melakukan pekerjaan teknis, memiliki tingkat pendidikan yang berbeda-beda, dan beberapa bahkan bekerja dalam pengaturan tipe ritel.

Pengaturan Standar Jarak Jauh memberikan sejumlah keuntungan untuk program ABC:

UKM tidak perlu bepergian
Menghemat biaya dan upaya koordinasi
Kemampuan untuk menjangkau konstituen UKM yang lebih luas
Kemampuan untuk menggantikan UKM dengan sedikit pemberitahuan

Pengaturan Standar Jarak Jauh juga memberi ABC tantangan unik:

Sesi perlu dipecah menjadi beberapa hari/waktu
Mempertahankan keterlibatan UKM lebih menantang
Teknologi yang dibutuhkan untuk berpartisipasi dapat menghadirkan tantangan
UKM yang bekerja di ritel atau pengaturan klinis mungkin tidak dapat melakukan panggilan selama jam kerja
UKM mungkin tidak memiliki akses ke ruang pribadi untuk melakukan panggilan

ABC merekomendasikan untuk mengatasi tantangan keterlibatan di atas dengan menjadi lebih proaktif dalam perencanaan ke depan, membuat jadwal yang disesuaikan dengan UKM dan mungkin di luar jam kerja normal, dan mempertahankan keterlibatan selama proses berlangsung. Pertimbangkan untuk mengadakan rapat "pra-permainan teknologi" untuk menguji koneksi dan memecahkan masalah guna membangun kepercayaan diri dalam rapat dan berkolaborasi secara virtual. Jelaskan dengan jelas komitmen yang diperlukan terlebih dahulu kepada UKM potensial, termasuk kebutuhan mereka untuk berada di ruang pribadi.

Secara desain, pertemuan penetapan standar tatap muka memungkinkan perhatian terfokus oleh UKM, sehingga perbedaan paling menantang yang ada pada pertemuan penetapan standar jarak jauh adalah memfasilitasi tingkat keterlibatan dan komunikasi yang sama yang dialami dalam pertemuan penetapan standar tatap muka yang efektif.

STUDI KASUS #2: Komisi Sertifikasi untuk Juru Bahasa Kesehatan (CCHI)

Ujian bahasa Spanyol CCHI memerlukan metode khusus untuk mengatasi kekhasan ujian seperti komponen kinerja dwibahasa (Spanyol-Inggris), format rekaman audio, dan fakta bahwa ujian tersebut dinilai oleh manusia. Kondisi ini menciptakan tantangan bagi CCHI dalam proses penetapan standar jarak jauh, khususnya dalam rekrutmen dan pelatihan UKM.

Tantangan Unik dalam Rekrutmen dan Pelatihan UKM:

Masalah keamanan memerlukan penekanan khusus pada integritas pribadi & profesional UKM
Literasi UKM di platform online dan berinteraksi dengan audio
Diperlukan kecepatan koneksi broadband yang signifikan
Menyampaikan ujian audio online ke UKM (konfigurasi tes tambahan; masalah TI)
Interaksi kelompok agak melemah (dibandingkan dengan tatap muka) karena tidak ada akses ke UKM lain di luar pertemuan yang dijadwalkan

Modalitas jarak jauh dalam pengaturan standar sangat bermanfaat bagi perekrutan dan pelatihan UKM untuk jenis program ujian ini. Ada lebih banyak peluang untuk representasi UKM yang beragam menurut varian bahasa Spanyol mereka dan representasi UKM yang beragam sesuai dengan pengaturan layanan kesehatan yang mereka tafsirkan. Format 3 pertemuan dan kerja mandiri asinkron memungkinkan UKM untuk mencerna informasi dengan lebih baik dan lebih bijaksana dalam evaluasi mereka dan rekomendasi, dan oleh karena itu penilaian UKM independen ditingkatkan.

Ujian bilingual dan ujian yang memerlukan format serupa memerlukan proses yang tidak standar untuk modalitas jarak jauh dan tatap muka. Dalam modalitas jarak jauh, pertemuan orientasi diperlukan untuk menetapkan harapan yang jelas dan menangani aspek proses dan teknologi proyek. Kemungkinan besar akan ada kebutuhan untuk pelatihan tambahan tentang proses penilaian manusia, skala dan konvensi penilaian. Dalam hal ini, metode Extended Modified Angoff yang dilengkapi dengan metode Beuk Relative-Absolute Compromise merupakan pendekatan yang paling efektif untuk menentukan nilai potong.

STUDI KASUS #3: National-Interstate Council of State Boards of Cosmetology (NIC)

Protokol pengaturan standar jarak jauh yang digunakan untuk Ujian Praktik NIC adalah contoh proses dan tantangan spesifik dari pengaturan standar semi-jauh untuk ujian praktik. Ujian Praktik NIC adalah ujian kinerja langsung yang digunakan untuk Tata Rias dan bidang terkait. Ini digunakan di beberapa negara bagian di seluruh AS, dan biasanya dikelola di kantor dewan atau konferensi/ballroom hotel. Ujian terdiri dari beberapa bagian waktunya, dan kandidat bertanggung jawab untuk membawa persediaan mereka sendiri. Seorang pengawas dan penilai diperlukan, dan calon tiruan run-through disertakan dalam proses penetapan standar.

Proses penetapan standar untuk ujian ini diubah menjadi model hybrid tatap muka/jarak jauh karena pandemi dan disertai dengan sejumlah tantangan baru. Sebelum pandemi, semua aktivitas pengembangan pengujian telah dilakukan secara langsung dan pengaturan standar praktis adalah satu-satunya aktivitas pengembangan pengujian yang ditentukan oleh NIC untuk mewajibkan kehadiran langsung untuk menjalankan kandidat tiruan. Ada beberapa pertanyaan apakah pelaksanaan ujian melalui webinar secara real time atau pra-rekaman akan sama efektifnya dengan UKM yang melihatnya secara langsung. Pada akhirnya, NIC memilih untuk mencari lokasi baru bagi UKM untuk bertemu dan meminta fasilitator bergabung melalui webinar.

Proses pengaturan standar hibrid jarak jauh/langsung mencakup pelatihan UKM pendahuluan, serta peninjauan standar kritis dan kandidat target. Sebuah ruangan didirikan untuk meniru pengaturan ujian dan peran (seperti pengawas, penguji, dan pencatat waktu) ditugaskan untuk run-through kandidat tiruan. Run-through calon tiruan dilakukan dan diamati, dinilai, dan kemudian dibahas oleh UKM. Sesi tanya jawab dengan calon tiruan diikuti. Peringkat Angoff diberikan oleh UKM dan kandidat tiruan sebelum diakhiri dengan diskusi kelompok dan penyesuaian, dan kemudian skor akhir ditentukan. Bahkan dengan penyesuaian virtual dari aktivitas pengembangan pengujian yang diperlukan, ada beberapa tantangan untuk proses pengaturan standar jarak jauh.

Tantangan untuk Pengaturan Standar Jarak Jauh

Akses terbatas ke fasilitas sebelumnya
Teknologi dan/atau peralatan Audio Visual mungkin tidak familiar
Mencetak materi yang diperbarui lebih memakan waktu dan mungkin mahal
Kemampuan fasilitator untuk memberikan masukan yang berpengetahuan terbatas
Hambatan untuk keterlibatan UKM
Distribusi dan kontrol dokumen yang aman
Beberapa UKM cenderung tidak hadir secara langsung saat ini
Tanggung jawab tambahan jatuh ke Perwakilan Klien

Mengadopsi pengaturan standar jarak jauh juga memberikan beberapa manfaat pada program ujian, termasuk tidak ada perubahan keseluruhan pada proses pengaturan standar praktis. Menyelenggarakan run-through kandidat tiruan di ruang konferensi hotel lebih baik meniru lingkungan pengujian nyata, dan teknologi audio/visual lebih unggul daripada pengaturan pertemuan normal. Jangkauan rekrutmen yang lebih luas memberikan UKM baru dengan beragam demografi yang mampu memberikan umpan balik yang lebih tepat dan deskriptif selama diskusi. Juga, karena keterbatasan fasilitas, pengaturan waktu diatur secara efisien. Pada akhirnya, pengaturan standar jarak jauh adalah cara yang efisien dan nyaman untuk menjaga program tetap pada jalurnya.

Pengaturan standar virtual dapat menjadi alat penghemat program bila dijalankan dengan benar, dengan mempertimbangkan secara cermat perbedaan antara proses tatap muka dan proses virtual.

Pertimbangan Utama dalam Proses Pengaturan Standar Jarak Jauh :

Perekrutan UKM: Seleksi UKM secara menyeluruh untuk memastikan Anda dapat memercayai mereka untuk mengakses konten pengujian dari rumah, dan merekrut lebih banyak UKM daripada yang dibutuhkan jika terjadi pengurangan di menit-menit terakhir.
Komunikasi dan manajemen keterlibatan UKM sebelum acara: Uraikan dengan jelas tingkat komitmen sehingga UKM tidak terkejut dengan banyaknya waktu dan upaya yang terlibat dalam Penetapan Standar.
Keterlibatan UKM selama acara: Pertimbangkan bagaimana Anda dapat mengoptimalkan partisipasi di semua titik dalam proses, seperti mengharuskan atau sangat menganjurkan penggunaan kamera untuk mencerminkan keterlibatan langsung.
Teknologi: Uraikan persyaratan dengan jelas sebelumnya, dan pertimbangkan pertemuan "teknologi pra-permainan" untuk memastikan partisipasi penuh semua orang. Pastikan bahwa penggunaan dan transisi teknologi yang digerakkan oleh fasilitator berjalan mulus sehingga tidak ada waktu yang terbuang.
Keamanan: Pertimbangkan bahwa ada peningkatan tingkat risiko yang melekat pada Pengaturan Standar jarak jauh. Pastikan UKM menandatangani NDA dan memahami tanggung jawab mereka, dan menyaringnya secara menyeluruh selama proses rekrutmen.
Solusi kreatif untuk situasi/ujian unik: Setiap ujian adalah unik, tetapi dimungkinkan untuk menyesuaikan modalitas pengaturan standar virtual untuk setiap situasi – bahkan jika model hibrida diperlukan untuk ujian praktik!

Dan akhirnya, pertimbangan yang paling penting:

Validitas: Apakah Anda akan mendapatkan tingkat validitas proses pengaturan standar yang sama dalam model virtual? Apakah Anda akan mendapatkan produk yang sama (yaitu, skor pemotongan yang sama) seperti yang Anda dapatkan jika Anda melakukan pengaturan standar secara langsung?