Organisasi yang mengembangkan dan memberikan tes terkomputerisasi menghadapi banyak tantangan yang sama dengan yang bekerja dengan tes kertas dan pensil tradisional, termasuk masalah yang berkaitan dengan keamanan, pengeditan psikometrik, dan defensibilitas hukum. Masalah baru juga muncul dengan pengujian berbasis komputer (CBT), khususnya karena tes lebih banyak dilakukan melalui Internet. Masalah-masalah ini termasuk peningkatan risiko kecurangan kandidat dan overexposure item.
Untuk mengatasi tantangan yang sedang berlangsung yang disajikan oleh pengujian secara umum serta beberapa masalah baru seputar CBT, organisasi harus mengikuti proses standar untuk pengembangan item pengujian dan pengeditan psikometrik. Misalnya, menggunakan beberapa penulis item untuk mengembangkan konten tes adalah praktik yang umum, tetapi dapat menyebabkan variasi dalam gaya, format, dan kesulitan item tes. Panduan gaya dengan templat dan standar serta aturan pengembangan item dapat membantu meningkatkan konsistensi, format, dan variasi item. Selain itu, pelatihan pengembangan konten dapat memastikan bahwa penulis memiliki alat untuk mengembangkan item dan template item yang kredibel dan dapat dipertahankan yang dapat digunakan untuk membuat variasi berbeda dari pertanyaan yang sama, sehingga meningkatkan ukuran bank item dalam waktu yang lebih singkat.
Evaluasi statistik dari item tes di lapangan memungkinkan organisasi untuk mendapatkan umpan balik pada kinerja item spesifik dan tingkat kognitif. Kecerdasan ini memungkinkan revisi proses pengembangan item dan umpan balik untuk pengembang item tes tertentu - membantu menentukan apa yang efektif dan bagaimana item di dalam tarif lapangan. Ini juga memungkinkan organisasi untuk membuat keputusan tentang penyimpanan barang, modifikasi dan penugasan.
Setiap organisasi yang mengembangkan atau mengelola tes harus sadar akan proses penyuntingan psikometrik - yang mencakup evaluasi tingkat kesulitan item dan mempertimbangkan hal-hal seperti tata bahasa, sensitivitas, dan gaya. Psikometrik juga menyediakan peninjauan bentuk dan fungsi item tes, seperti opsi paralel, informasi yang cukup untuk menjawab pertanyaan dan panjang jawaban.
Dengan pentingnya ditempatkan pada objektivitas, editing psikometrik paling baik dilakukan oleh para profesional pengembangan tes, bukan ahli materi pelajaran atau penulis item. Individu yang terlatih dalam kompleksitas pengeditan psikometrik mengevaluasi item dalam cahaya kritis yang berbeda dari para ahli subjek atau penulis item. Namun, penting juga untuk memiliki ulasan dan persetujuan atas item akhir yang diedit oleh para ahli subjek di bidang yang sesuai.
Item yang dikembangkan untuk CBT dan PPT harus dapat dipertahankan secara hukum untuk memastikan perlindungan jika terjadi tantangan hukum. Untuk memastikan defensibilitas hukum, organisasi harus menerapkan proses standar untuk pengembangan item dan tinjauan psikometrik, seperti dibahas di atas.
Evaluasi defensibilitas hukum mencakup tinjauan kritis ujian baik dari sudut pandang konten dan psikometrik untuk memastikan bahwa ujian dikembangkan sesuai dengan Standar untuk Tes Pendidikan dan Psikologis . Pengadilan tunduk pada Standar ketika mengevaluasi kredibilitas ujian yang bersangkutan. Defensibilitas hukum dapat dicapai melalui beberapa metodologi. Aspek yang paling penting dari proses pengembangan adalah untuk mengikuti dan mendokumentasikan metodologi standar dan menyertakan personil pengembangan pengujian yang sesuai dalam proses. Ada banyak langkah berbeda dalam proses pengembangan tes dan metodologi berbeda yang dapat digunakan untuk setiap langkah. Misalnya, saat menentukan nilai potong untuk suatu ujian, proses seperti Modifikasi Angoff atau Metode Bookmark dapat digunakan untuk menentukan standar yang sesuai untuk lulus. Setiap metode menggunakan teknik yang berbeda untuk menentukan bilah yang harus dicapai seorang kandidat untuk menerima status kelulusan.
Untuk mengurangi risiko paparan berlebih, perusahaan pengujian mengembangkan bank soal besar yang konten penyegarannya secara rutin disegarkan. Mengambil pimpinan dari pengembang dan administrator uji besar, organisasi yang mengelola tes berbasis komputer akan ingin mempertimbangkan untuk menggunakan bank soal yang diperluas dan penyegaran item uji terjadwal untuk memastikan bahwa kandidat tidak melihat item atau desain yang sama, umumnya mengurangi kemungkinan pembagian kandidat informasi.
Dalam banyak program pengujian berisiko tinggi, administrator pengujian mengumpulkan dan memeriksa data forensik untuk mengukur seberapa sering kandidat pengujian terpapar pada item tes tertentu, rata-rata waktu yang dihabiskan kandidat untuk item dan bagaimana respons kandidat terhadap item berubah seiring waktu dan paparan. Ini memastikan penyesuaian yang sedang berlangsung dari proses pengembangan konten dan konten untuk memastikan kredibilitas, legalitas, dan keamanan.
Ada juga metodologi berbeda yang dapat diterapkan menganalisis hasil kandidat setelah pemeriksaan. Salah satu dari jenis analisis tersebut adalah analisis item diferensial, yang mengevaluasi kinerja kelompok pada item tes (kelompok dapat didefinisikan berdasarkan jenis kelamin, etnis atau faktor lain). Item yang berkinerja berbeda secara signifikan di seluruh kelompok kandidat kemudian dievaluasi kembali untuk menentukan penggunaan di masa depan.
Banyaknya faktor yang perlu dipertimbangkan dalam mengembangkan konten untuk pengujian berbasis komputer semua memberikan kredibilitas dan integritas pada ujian itu sendiri. Organisasi yang dapat mempertimbangkan desain dan implementasi program pengujian mereka secara proaktif lebih baik daripada organisasi yang bermigrasi ke pengujian berbasis komputer dengan tergesa-gesa. Pendekatan proaktif yang memperhitungkan pengembangan item dan sumber daya pengeditan serta parameter keamanan dan TI melayani organisasi dengan lebih baik dalam jangka panjang, karena meningkatkan validitas pengujian, keadilan kandidat dan menawarkan tingkat perlindungan yang lebih tinggi terhadap tantangan hukum.