As organizações que desenvolvem e entregam testes computadorizados enfrentam muitos dos mesmos desafios que aqueles que trabalham com testes tradicionais de papel e lápis, incluindo questões relacionadas à segurança, edição psicométrica e defensibilidade legal. Novos problemas também surgem com o teste baseado em computador (CBT), especificamente porque os testes são administrados mais amplamente via Internet. Esses problemas incluem um risco aumentado de trapaça de candidato e superexposição de itens.
Para enfrentar os desafios constantes apresentados pelos testes em geral, bem como alguns dos novos problemas relacionados à TCC, as organizações precisam seguir processos padrão para o desenvolvimento de itens de teste e edição psicométrica. Por exemplo, o uso de vários gravadores de itens para desenvolver o conteúdo do teste é uma prática comum, mas pode levar a variações no estilo, formato e dificuldade do item de teste. Um guia de estilo com modelos e padrões e regras de desenvolvimento de itens pode ajudar bastante a melhorar a consistência, o formato e a variedade dos itens. Além disso, o treinamento em desenvolvimento de conteúdo pode garantir que os escritores tenham as ferramentas para desenvolver itens confiáveis e defensáveis e modelos de itens que podem ser usados para criar diferentes variações da mesma pergunta, aumentando assim o tamanho do banco de itens em um período menor.
A avaliação estatística dos itens de teste em campo permite que as organizações obtenham feedback sobre o desempenho de itens específicos e os níveis cognitivos. Essa inteligência permite a revisão dos processos de desenvolvimento de itens e feedback para desenvolvedores específicos de itens de teste - ajudando a determinar o que é eficaz e como os itens se saem no campo. Isso também permite que a organização tome decisões sobre retenção, modificação e atribuição de itens.
Qualquer organização que desenvolva ou administre testes deve estar consciente do processo de edição psicométrica - um que inclua a avaliação dos níveis de dificuldade dos itens e leve em consideração coisas como gramática, sensibilidade e estilo. A psicometria também fornece a revisão da forma e função do item de teste, como opções paralelas, informações suficientes para responder à pergunta e duração da resposta.
Com a importância atribuída à objetividade, a edição psicométrica é melhor realizada por profissionais de desenvolvimento de testes, não por especialistas no assunto ou por elaboradores de itens. Indivíduos treinados na complexidade da edição psicométrica avaliam os itens sob uma luz crítica diferente dos especialistas no assunto ou dos autores. É importante, no entanto, também ter a revisão e aprovação do item final editado por especialistas no assunto no campo apropriado.
Os itens desenvolvidos para CBT e PPT devem ser legalmente defensáveis para garantir a proteção no caso de uma contestação legal. Para garantir a defensibilidade legal, as organizações devem implementar um processo padrão para desenvolvimento de itens e revisão psicométrica, conforme discutido acima.
A avaliação da defensibilidade legal inclui uma revisão crítica do exame, tanto do ponto de vista psicológico quanto do conteúdo, para garantir que o exame foi desenvolvido de acordo com o Padrão para testes educacionais e psicológicos . Os tribunais adiam as Normas ao avaliar a credibilidade do exame em questão. A defensibilidade legal pode ser realizada através de várias metodologias. O aspecto mais importante do processo de desenvolvimento é seguir e documentar metodologias padronizadas e incluir pessoal de desenvolvimento de teste apropriado no processo. Existem muitas etapas diferentes no processo de desenvolvimento de teste e metodologias diferentes que podem ser usadas para cada etapa. Por exemplo, ao determinar a pontuação reduzida para um exame, processos como o Angoff modificado ou o Método de marcador podem ser usados para determinar o padrão apropriado para aprovação. Cada um dos métodos usa uma técnica diferente para determinar a barra que um candidato deve alcançar para receber um status de aprovação.
Para reduzir o risco de superexposição de itens, as empresas de teste desenvolvem grandes bancos de itens de teste a partir dos quais o conteúdo do teste é atualizado rotineiramente. Assumindo a liderança dos grandes desenvolvedores e administradores de teste, as organizações que administram testes baseados em computador devem considerar o uso de bancos de itens expandidos e a atualização agendada de itens de teste para garantir que os candidatos não vejam os mesmos itens ou designs, geralmente diminuindo a probabilidade de candidatos compartilharem em formação.
Em muitos programas de teste de alto risco, os administradores de teste coletam e examinam dados forenses para medir com que frequência os candidatos a teste são expostos a itens de teste específicos, o tempo médio que os candidatos gastam em itens e como as respostas dos candidatos aos itens mudam com o tempo e a exposição. Isso garante o ajuste contínuo do processo e do conteúdo de desenvolvimento do item para garantir credibilidade, legalidade e segurança.
Também existem diferentes metodologias que podem ser implementadas analisando os resultados do candidato após o exame. Um desses tipos de análise é uma análise diferencial de itens, que avalia o desempenho do grupo nos itens de teste (os grupos podem ser definidos por sexo, etnia ou outros fatores). Itens com desempenho significativamente diferente em grupos de candidatos são reavaliados para determinar o uso futuro.
A infinidade de fatores a serem considerados no desenvolvimento de conteúdo para testes baseados em computador confere credibilidade e integridade ao próprio exame. As organizações capazes de considerar cuidadosamente o design e a implementação de seus programas de teste se saem proativamente melhor do que as organizações que migram para testes baseados em computador com pressa. Uma abordagem proativa que considera os recursos de desenvolvimento e edição de itens, bem como os parâmetros de segurança e TI, atende melhor a organização a longo prazo, pois aumenta a validade do teste, a imparcialidade do candidato e oferece um nível mais alto de proteção contra desafios legais.
Retornar à página Eficiência de teste e Defensibilidade legal