Las organizaciones que desarrollan y entregan pruebas computarizadas enfrentan muchos de los mismos desafíos que las que trabajan con las pruebas tradicionales de papel y lápiz, incluidas las cuestiones relacionadas con la seguridad, la edición psicométrica y la defensa legal. También surgen nuevos problemas con las pruebas basadas en computadora (TCC), específicamente porque las pruebas se administran más ampliamente a través de Internet. Estos problemas incluyen un mayor riesgo de trampas de candidatos y sobreexposición de elementos.
Para abordar los desafíos actuales presentados por las pruebas en general, así como algunos de los nuevos problemas relacionados con la TCC, las organizaciones deben seguir los procesos estándar para el desarrollo de elementos de prueba y la edición psicométrica. Por ejemplo, el uso de múltiples escritores de elementos para desarrollar el contenido de la prueba es una práctica común, pero puede conducir a variaciones en el estilo, formato y dificultad del elemento de prueba. Una guía de estilo con plantillas y normas y normas de desarrollo de elementos puede ser muy útil para mejorar la consistencia, el formato y la variedad de elementos. Además, la capacitación en desarrollo de contenido puede garantizar que los escritores tengan las herramientas para desarrollar elementos y plantillas de elementos creíbles y defendibles que se puedan usar para crear diferentes variaciones de la misma pregunta, aumentando así el tamaño del banco de elementos en un período de tiempo más corto.
La evaluación estadística de los ítems de prueba en el campo permite a las organizaciones obtener retroalimentación sobre el desempeño de ítems específicos y niveles cognitivos. Esta inteligencia permite la revisión de los procesos de desarrollo de elementos y la retroalimentación para desarrolladores de elementos de prueba específicos, lo que ayuda a determinar qué es efectivo y cómo funcionan los elementos en el campo. Esto también permite a la organización tomar decisiones sobre la retención, modificación y asignación de elementos.
Cualquier organización que desarrolle o administre pruebas debe ser consciente del proceso de edición psicométrica, que incluye la evaluación de los niveles de dificultad de los ítems y toma en cuenta cosas como la gramática, la sensibilidad y el estilo. La psicometría también proporciona la revisión de la forma y la función del elemento de prueba, como las opciones paralelas, información suficiente para responder la pregunta y la longitud de la respuesta.
Con la importancia dada a la objetividad, la edición psicométrica es mejor realizada por profesionales de desarrollo de pruebas, no por expertos en la materia o escritores de ítems. Las personas capacitadas en la complejidad de la edición psicométrica evalúan los elementos bajo una luz diferente y crítica que los expertos en la materia o los escritores de elementos. Sin embargo, es importante contar con la revisión y aprobación del artículo final editado por expertos en la materia en el campo apropiado.
Los artículos desarrollados para CBT y PPT deben ser legalmente defendibles para garantizar la protección en caso de un desafío legal. Para garantizar la defensa legal, las organizaciones deben implementar un proceso estándar para el desarrollo de artículos y la revisión psicométrica, como se discutió anteriormente.
La evaluación de la defensa legal incluye una revisión crítica del examen desde una perspectiva de contenido y psicométrica para garantizar que el examen se desarrolló de acuerdo con el Estándar para Pruebas Educativas y Psicológicas . Los tribunales difieren de las Normas cuando evalúan la credibilidad del examen en cuestión. La defensa legal se puede lograr a través de varias metodologías. El aspecto más importante del proceso de desarrollo es seguir y documentar metodologías estandarizadas e incluir personal de desarrollo de pruebas apropiado en el proceso. Hay muchos pasos diferentes en el proceso de desarrollo de pruebas y diferentes metodologías que se pueden utilizar para cada paso. Por ejemplo, al determinar el puntaje de corte para un examen, se pueden usar procesos como el Angoff modificado o el Método de marcador para determinar el estándar apropiado para aprobar. Cada uno de los métodos utiliza una técnica diferente para determinar la barra que debe alcanzar un candidato para recibir un estado de aprobación.
Para mitigar el riesgo de sobreexposición de artículos, las compañías de pruebas desarrollan grandes bancos de artículos de prueba a partir de los cuales el contenido de la prueba se actualiza rutinariamente. Tomando el liderazgo de los grandes desarrolladores y administradores de pruebas, las organizaciones que administran pruebas basadas en computadora querrán considerar el uso de bancos de ítems expandidos y la actualización programada de ítems de prueba para garantizar que los candidatos no vean los mismos ítems o diseños, generalmente disminuyendo la probabilidad de que los candidatos compartan información.
En muchos programas de pruebas de alto riesgo, los administradores de pruebas recopilan y examinan datos forenses para medir con qué frecuencia los candidatos a pruebas están expuestos a elementos de prueba particulares, el tiempo promedio que los candidatos pasan en los elementos y cómo las respuestas de los candidatos a los elementos cambian con el tiempo y la exposición. Esto asegura el ajuste continuo del proceso de desarrollo del artículo y el contenido para garantizar credibilidad, legalidad y seguridad.
También hay diferentes metodologías que se pueden implementar analizando los resultados del candidato después del examen. Uno de esos tipos de análisis es un análisis diferencial de ítems, que evalúa el desempeño del grupo en los ítems de la prueba (los grupos pueden definirse por género, origen étnico u otros factores). Los elementos que tienen un rendimiento significativamente diferente entre los grupos de candidatos se vuelven a evaluar para determinar su uso futuro.
La multitud de factores a considerar en el desarrollo de contenido para pruebas basadas en computadora le otorgan credibilidad e integridad al examen en sí. Las organizaciones capaces de considerar cuidadosamente el diseño y la implementación de sus programas de prueba funcionan mejor de manera proactiva que las organizaciones que migran rápidamente a las pruebas basadas en computadora. Un enfoque proactivo que tenga en cuenta el desarrollo de elementos y los recursos de edición, así como los parámetros de seguridad y TI, sirve mejor a la organización a largo plazo, ya que aumenta la validez de la prueba, la imparcialidad del candidato y ofrece un mayor nivel de protección contra desafíos legales.
Regresar a la página de Eficiencia de prueba y Defensibilidad legal