“La validez se refiere al grado en que la evidencia y la teoría respaldan las interpretaciones de los puntajes de las pruebas para los usos propuestos de las pruebas. La validez es, por lo tanto, la consideración más fundamental al desarrollar pruebas y evaluar pruebas”. ( Estándares para pruebas educativas y psicológicas , p. 11)
Desde que comenzó la pandemia y la industria de las pruebas experimentó una gran reorganización, gran parte de la discusión y la investigación se han centrado en la validez de las pruebas supervisadas de forma remota frente a las pruebas físicas, pero hemos oído menos sobre la validez de los procesos de desarrollo de pruebas remotas. versus procesos de desarrollo de pruebas en persona. Si solía realizar la mayoría de sus reuniones de desarrollo de pruebas en persona pero ha cambiado a virtual, ¿ha dado un paso atrás para considerar la validez de sus procesos y si aún está obteniendo el mismo resultado al realizarlos virtualmente?
En el mundo del desarrollo de pruebas, el establecimiento de estándares es uno de los componentes más importantes. El proceso de establecimiento de estándares define qué es un puntaje de aprobación y qué significa que alguien haya aprobado el examen. El establecimiento de estándares se conecta directamente con la validez, que determina si tenemos la evidencia para respaldar el uso de los puntajes de las pruebas para tomar decisiones.
Entre las actividades de desarrollo de pruebas, el establecimiento de estándares es especialmente desafiante para facilitar de forma remota debido a las siguientes consideraciones:
Problemas de seguridad : los expertos en la materia (SME) tienen acceso total al contenido del examen.
Complejidad : El proceso puede ser difícil de explicar y digerir.
Compromiso de alto nivel : el establecimiento de estándares de calidad requiere el más alto nivel de compromiso de las PYME. La participación parcial o pasiva permitirá que se pasen por alto y no se examinen procedimientos y consideraciones importantes.
No se revisa fácilmente : una vez completado, el estándar establecido para una prueba es muy difícil y tedioso de cambiar. Los puntajes de corte establecidos requieren una gran cantidad de esfuerzo para actualizarlos y, una vez administrados, cualquier cambio en los puntajes de corte puede afectar negativamente a los candidatos.
Los estudios de caso a continuación ilustran tres modelos exitosos para el establecimiento de estándares virtuales, cada uno de los cuales implica desafíos y soluciones únicos.
- Desafíos especiales para programas de exámenes de pequeño volumen
ESTUDIO DE CASO #2 : Comisión de Certificación de Intérpretes Médicos (CCHI)
- Métodos especiales para el examen CHI™ -Español
ESTUDIO DE CASO #3 : Consejo Nacional-Interestatal de Juntas Estatales de Cosmetología (NIC)
- Procesos y desafíos específicos de un establecimiento de estándares semi-remoto para exámenes prácticos
- contratación de pymes
- Capacitación
- Discusión del candidato mínimamente calificado o borderline
- Calificaciones de práctica
- Calificaciones de Angoff: ronda 1
- Discusión en grupo de los elementos marcados
- Calificaciones de Angoff: ronda 2
- Puntuación de corte final recomendada
ESTUDIO DE CASO #1: Junta Estadounidense para la Certificación en Ortesis, Prótesis y Pedortesis (ABC)
ABC tiene múltiples programas de exámenes de pequeño volumen en ortesis, prótesis y disciplinas relacionadas. Los certificados pueden trabajar en trabajos técnicos, tener diferentes niveles de educación y algunos incluso trabajan en entornos de tipo minorista.
La configuración estándar remota proporcionó una serie de ventajas para los programas de ABC:
- Las pymes no necesitan viajar
- Ahorro de costes y esfuerzo de coordinación
- Capacidad para aprovechar un grupo mucho más amplio de pymes
- Capacidad para reemplazar las pymes con poco aviso
La configuración remota de estándares también planteó a ABC desafíos únicos:
- Las sesiones deben dividirse en varios días/horarios
- Mantener el compromiso de las pymes es más desafiante
- La tecnología necesaria para participar puede presentar desafíos
- Es posible que las PYME que trabajan en entornos clínicos o minoristas no puedan comprometerse a realizar llamadas durante el horario laboral
- Las pymes pueden no tener acceso a un espacio privado para estar en llamadas
ABC recomienda abordar los desafíos anteriores para el compromiso siendo más proactivo en la planificación anticipada, creando un cronograma que se adapte a las pymes y puede estar fuera del horario comercial normal, y manteniendo el compromiso durante todo el proceso. Considere tener una reunión de "tecnología previa al juego" para probar las conexiones y solucionar problemas para generar confianza en las reuniones y colaboraciones virtuales. Explique claramente el compromiso requerido por adelantado a las PYMES potenciales, incluida la necesidad de que estén en un espacio privado.
Por diseño, las reuniones de establecimiento de estándares en persona permiten que las pymes presten atención, por lo que la diferencia más desafiante que presentan las reuniones de establecimiento de estándares a distancia es facilitar el mismo nivel de participación y comunicación que se experimenta en las reuniones de establecimiento de estándares efectivas en persona.
ESTUDIO DE CASO #2: Comisión de Certificación de Intérpretes Médicos (CCHI)
El examen de español de CCHI requiere métodos especiales para abordar las peculiaridades del examen, como el componente de desempeño bilingüe (español-inglés), el formato de grabación de audio y el hecho de que es calificado por humanos. Estas condiciones crearon desafíos para CCHI en el proceso de establecimiento de estándares a distancia, específicamente en el reclutamiento y capacitación de PYMES.
Desafíos únicos en el reclutamiento y la capacitación de las PYME:
- Las preocupaciones de seguridad requieren un énfasis especial en la integridad personal y profesional de las pymes.
- Alfabetización de las pymes en plataformas en línea e interacción con audio
- Se requiere una velocidad significativa de conexión de banda ancha
- Entrega de un examen de audio en línea para PYME (configuración de prueba adicional; problemas de TI)
- Las interacciones grupales se debilitan un poco (en comparación con las presenciales) ya que no hay acceso a otras pymes fuera de las reuniones programadas.
Los exámenes bilingües y los exámenes que requieren un formato similar requieren un proceso no estándar tanto para las modalidades remotas como presenciales. En la modalidad remota, se necesita una reunión de orientación para establecer expectativas claras y abordar los aspectos de proceso y tecnología del proyecto. Lo más probable es que se necesite capacitación adicional sobre el proceso de calificación humana, las escalas y las convenciones de calificación. En este caso, el método de Angoff Modificado Extendido complementado por el método de Compromiso Relativo-Absoluto de Beuk fue el enfoque más eficaz para determinar las puntuaciones de corte.
ESTUDIO DE CASO #3: Consejo Nacional-Interestatal de Juntas Estatales de Cosmetología (NIC)
El protocolo de establecimiento de estándares remoto utilizado para el examen práctico de NIC es un ejemplo de los procesos y desafíos específicos de un establecimiento de estándares semi-remoto para exámenes prácticos. El examen práctico de NIC es un examen de rendimiento en persona que se utiliza para cosmetología y campos relacionados. Se utiliza en varios estados de los EE. UU. y, por lo general, se administra en las oficinas de la junta directiva o en los salones de conferencias o de baile de los hoteles. El examen consta de múltiples secciones cronometradas y los candidatos son responsables de traer sus propios suministros. Se requiere un supervisor y evaluadores, y se incluye un ensayo de candidato simulado en el proceso de establecimiento de estándares.
El proceso de establecimiento de estándares para estos exámenes cambió a un modelo híbrido presencial/remoto debido a la pandemia y estuvo acompañado por una serie de nuevos desafíos. Antes de la pandemia, todas las actividades de desarrollo de pruebas se habían realizado en persona y el establecimiento de estándares prácticos era la única actividad de desarrollo de pruebas determinada por NIC que requería una presencia en persona para la ejecución del candidato simulado. Hubo algunas dudas sobre si realizar la ejecución del examen durante un seminario web en tiempo real o una ejecución pregrabada sería tan eficaz como si las PYME lo vieran en persona. En última instancia, NIC optó por encontrar un nuevo lugar para que las pymes se reunieran y contar con un facilitador que se uniera a través de un seminario web.
El proceso híbrido de establecimiento de estándares a distancia/en persona incluyó una capacitación preliminar para PYME, así como una revisión de los estándares críticos y el candidato objetivo. Se instaló una sala para imitar un entorno de examen y se asignaron roles (como supervisor, examinadores y cronometrador) para el ensayo del candidato simulado. Las pymes realizaron y observaron, calificaron y luego debatieron el ensayo de candidatos simulados. Siguió una sesión de preguntas y respuestas con el candidato simulado. Las PYME y el candidato simulado proporcionaron calificaciones de Angoff antes de finalizar con una discusión grupal y ajustes, y luego se estableció un puntaje de corte final. Incluso con el ajuste virtual de las actividades de desarrollo de pruebas requeridas, hubo varios desafíos para el proceso de establecimiento de estándares remotos.
Desafíos para el establecimiento remoto de estándares
- Acceso limitado a las instalaciones por adelantado.
- La tecnología y/o el equipo audiovisual pueden ser desconocidos
- Imprimir materiales actualizados requiere más tiempo y posiblemente sea más costoso
- La capacidad del facilitador para proporcionar aportes informados está restringida
- Obstáculos para la participación de las pymes
- Distribución y control seguro de documentos
- Algunas pymes tienen menos probabilidades de asistir en persona en este momento
- Las responsabilidades adicionales recaen en el representante del cliente
El establecimiento de estándares virtuales puede ser una herramienta de ahorro de programas cuando se ejecuta correctamente, con una cuidadosa consideración de las diferencias entre los procesos presenciales y virtuales.
Consideraciones clave en el proceso de establecimiento de estándares a distancia :
- Contratación de pymes: evalúe minuciosamente a las pymes para asegurarse de que puede confiar en ellas para acceder al contenido de prueba desde casa y contrate a más pymes de las necesarias en caso de abandono de última hora.
- Comunicación y gestión de la participación de las PYME antes del evento: describa claramente el nivel de compromiso para que las PYME no se sorprendan por la cantidad de tiempo y esfuerzo que implica establecer un estándar.
- Participación de las pymes durante el evento: Considere cómo puede optimizar la participación en todos los puntos del proceso, como exigir o alentar encarecidamente el uso de la cámara para reflejar la participación en persona.
- Tecnología: describa claramente los requisitos con anticipación y considere una reunión de "tecnología previa al juego" para garantizar la participación total de todos. Asegúrese de que el uso de la tecnología impulsada por el facilitador y las transiciones sean fluidas para que no se pierda tiempo.
- Seguridad: Considere que existe un mayor nivel de riesgo inherente a la configuración remota de estándares. Asegúrese de que las PYME firmen acuerdos de confidencialidad y comprendan su responsabilidad, y examínelos minuciosamente durante el proceso de contratación.
- Soluciones creativas para situaciones/exámenes únicos: cada examen es único, pero es posible adaptar la modalidad de establecimiento de estándares virtuales a cada situación, ¡incluso si se necesita un modelo híbrido para un examen práctico!
Y finalmente, la consideración más importante:
Validez: ¿Obtendrá el mismo nivel de validez del proceso de establecimiento de estándares en un modelo virtual? ¿Obtendrá el mismo producto (es decir, la misma puntuación de corte) que obtendría si realizara el establecimiento de normas en persona?