“Validade refere-se ao grau em que a evidência e a teoria apoiam as interpretações das pontuações dos testes para usos propostos dos testes. A validade é, portanto, a consideração mais fundamental no desenvolvimento de testes e na avaliação de testes.” ( Padrões para Testes Educacionais e Psicológicos , p. 11)
Desde que a pandemia começou e o setor de testes passou por uma grande mudança, muitas discussões e pesquisas se concentraram na validade dos testes supervisionados remotamente versus testes físicos, mas ouvimos menos sobre a validade dos processos de desenvolvimento de testes remotos versus processos de desenvolvimento de testes presenciais. Se você costumava realizar a maioria de suas reuniões de desenvolvimento de teste pessoalmente, mas mudou para o virtual, você deu um passo atrás para considerar a validade de seus processos e se ainda está obtendo o mesmo resultado executando-os virtualmente?
No mundo do desenvolvimento de testes, a configuração padrão é um dos componentes mais importantes. O processo de configuração padrão define o que é uma pontuação de aprovação e o que significa que alguém passou no exame. A configuração padrão se conecta diretamente à validade, que determina se temos evidências para apoiar o uso de pontuações de testes para tomar decisões.
Entre as atividades de desenvolvimento de teste, a configuração padrão é um desafio único para facilitar remotamente devido às seguintes considerações:
Preocupações de segurança : Especialistas no assunto (SMEs) têm acesso total ao conteúdo do exame.
Complexidade : O processo pode ser difícil de explicar e digerir.
Envolvimento de alto nível : A definição de padrões de qualidade requer o mais alto nível de envolvimento das PME. A participação parcial ou passiva permitirá que procedimentos e considerações importantes sejam negligenciados e não examinados.
Não Facilmente Revisado : Uma vez concluído, o padrão definido para um teste é muito difícil e tedioso de mudar. As pontuações de corte estabelecidas exigem um enorme esforço para atualizar e, uma vez administradas, quaisquer alterações nas pontuações de corte podem afetar negativamente os candidatos.
Os estudos de caso abaixo ilustram três modelos bem-sucedidos de configuração de padrões virtuais, cada um envolvendo desafios e soluções exclusivas.
ESTUDO DE CASO #1 : Conselho Americano para Certificação em Órteses, Próteses e Pedorthics (ABC)
- Desafios especiais para programas de exames de pequeno volume
ESTUDO DE CASO #2 : Comissão de Certificação para Intérpretes de Saúde (CCHI)
- Métodos especiais para o exame CHI ™ -Espanhol
ESTUDO DE CASO # 3 : Conselho Nacional-Interestadual de Conselhos Estaduais de Cosmetologia (NIC)
- Processos e desafios específicos de um padrão semi-remoto para exames práticos
- Recrutamento de PME
- Treinamento
- Discussão do candidato minimamente qualificado ou limítrofe
- Classificações de prática
- Classificações de Angoff: 1ª rodada
- Discussão em grupo de itens sinalizados
- Classificações de Angoff: 2ª rodada
- Pontuação final de corte recomendada
ESTUDO DE CASO #1: Conselho Americano para Certificação em Órteses, Próteses e Pedorthics (ABC)
A ABC tem vários programas de exames de pequeno volume em órteses, próteses e disciplinas relacionadas. Os certificados podem trabalhar em empregos técnicos, ter níveis variados de educação e alguns até mesmo trabalhar em ambientes do tipo varejo.
O Remote Standard Setting forneceu uma série de vantagens para os programas da ABC:
- PMEs não precisam viajar
- Economiza em custos e esforço de coordenação
- Capacidade de atingir um público muito mais amplo de PMEs
- Capacidade de substituir PMEs com pouco aviso
O Remote Standard Setting também apresentou à ABC desafios únicos:
- As sessões precisam ser divididas em vários dias/horários
- Manter o envolvimento das PMEs é mais desafiador
- A tecnologia necessária para participar pode apresentar desafios
- As PMEs que trabalham em estabelecimentos de varejo ou clínicos podem não conseguir se comprometer com chamadas durante o horário de trabalho
- PMEs podem não ter acesso a espaço privado para atender chamadas
A ABC recomenda abordar os desafios de engajamento acima sendo mais proativo no planejamento antecipado, criando um cronograma adaptado às PMEs e que pode estar fora do horário comercial normal e mantendo o engajamento durante todo o processo. Considere fazer uma reunião de “pré-jogo de tecnologia” para testar conexões e solucionar problemas para aumentar a confiança na reunião e colaboração virtual. Explique claramente o compromisso necessário com antecedência para potenciais PMEs, incluindo a necessidade de que elas estejam em um espaço privado.
Por design, as reuniões de definição de padrões presenciais permitem atenção focada por parte das PMEs, portanto, a diferença mais desafiadora que as reuniões de definição de padrões remotas apresentam é facilitar o mesmo nível de envolvimento e comunicação experimentado em reuniões de definição de padrões presenciais efetivas.
ESTUDO DE CASO #2: Comissão de Certificação para Intérpretes de Saúde (CCHI)
O exame de espanhol da CCHI requer métodos especiais para abordar peculiaridades do exame, como o componente de desempenho bilíngue (espanhol-inglês), formato de gravação de áudio e o fato de ser avaliado por humanos. Essas condições criaram desafios para a CCHI no processo de definição de padrões remoto, especificamente no recrutamento e treinamento de PMEs.
Desafios únicos no recrutamento e treinamento de PMEs:
- As preocupações com a segurança exigem uma ênfase especial na integridade pessoal e profissional das PMEs
- Alfabetização das PMEs em plataformas online e interação com áudio
- Velocidade significativa necessária de conexão de banda larga
- Entrega de um exame de áudio online para PMEs (configuração de teste extra; problemas de TI)
- As interações em grupo são um pouco enfraquecidas (em comparação com as presenciais), pois não há acesso a outras PMEs fora das reuniões agendadas
Exames bilíngues e exames que exigem formato semelhante exigem um processo fora do padrão para as modalidades remota e presencial. Na modalidade remota, é necessária uma reunião de orientação para definir expectativas claras e abordar aspectos de processo e tecnologia do projeto. Provavelmente haverá necessidade de treinamento adicional sobre o processo de classificação humana, escalas e convenções de classificação. Nesse caso, o método Extended Modified Angoff suplementado pelo método Beuk Relative-Absolute Compromise foi a abordagem mais eficaz para determinar as pontuações de corte.
ESTUDO DE CASO #3: Conselho Nacional Interestadual de Conselhos Estaduais de Cosmetologia (NIC)
O protocolo de ajuste de padrão remoto usado para o Exame Prático NIC é um exemplo dos processos e desafios específicos de um ajuste de padrão semi-remoto para exames práticos. O Exame Prático NIC é um exame de desempenho presencial usado para Cosmetologia e áreas afins. Ele é usado em vários estados dos EUA e normalmente administrado em escritórios de diretoria ou conferências/salões de festas de hotéis. O exame é composto por várias seções cronometradas, e os candidatos são responsáveis por trazer seus próprios suprimentos. Um inspetor e avaliadores são necessários, e uma simulação do candidato está incluída no processo de definição de padrões.
O processo de definição de padrões para esses exames mudou para um modelo híbrido presencial/remoto devido à pandemia e foi acompanhado por uma série de novos desafios. Antes da pandemia, todas as atividades de desenvolvimento de testes eram realizadas pessoalmente e a definição prática de padrões era a única atividade de desenvolvimento de testes determinada pela NIC para exigir uma presença pessoal para a simulação do candidato. Houve alguma dúvida sobre se a realização do exame por meio de webinar em tempo real ou um pré-gravado seria tão eficaz quanto as PMEs que o assistem pessoalmente. Por fim, a NIC optou por encontrar um novo local para as PMEs se encontrarem e ter um facilitador para participar via webinar.
O processo híbrido de definição de padrões remoto/presencial incluiu um treinamento preliminar de SME, bem como a revisão dos padrões críticos e do candidato-alvo. Uma sala foi montada para imitar um ambiente de exame e funções (como inspetor, examinadores e cronometrista) foram atribuídas para a simulação de candidatos. A simulação do candidato foi realizada e observada, avaliada e depois discutida pelas PMEs. Seguiu-se uma sessão de perguntas e respostas com o candidato simulado. As classificações de Angoff foram fornecidas pelas PMEs e pelo candidato simulado antes de terminar com uma discussão em grupo e ajustes, e, em seguida, uma pontuação de corte final foi estabelecida. Mesmo com o ajuste virtual das atividades de desenvolvimento de testes exigidas, houve vários desafios para o processo de configuração remota de padrões.
Desafios para a configuração remota de padrões
- Acesso limitado às instalações com antecedência
- A tecnologia e/ou equipamentos audiovisuais podem não ser familiares
- A impressão de materiais atualizados é mais demorada e possivelmente cara
- A capacidade do facilitador de fornecer informações com conhecimento é restrita
- Barreiras ao envolvimento de PMEs
- Distribuição e controle seguro de documentos
- Algumas PMEs são menos propensas a comparecer pessoalmente neste momento
- Responsabilidades adicionais cabem ao Representante do Cliente
A configuração de padrão virtual pode ser uma ferramenta de economia de programa quando executada corretamente, com consideração cuidadosa das diferenças entre processos presenciais e virtuais.
Principais Considerações no Processo de Configuração Remota de Padrões :
- Recrutamento de PMEs: analise minuciosamente as PMEs para garantir que você possa confiar nelas para acessar o conteúdo de teste em casa e recrute mais PMEs do que o necessário em caso de atrito de última hora.
- Gestão de comunicação e engajamento das PMEs antes do evento: descreva claramente o nível de comprometimento para que as PMEs não se surpreendam com quanto tempo e esforço estão envolvidos em uma configuração padrão.
- Engajamento de PMEs durante o evento: considere como você pode otimizar a participação em todos os pontos do processo, como exigir ou incentivar fortemente o uso da câmera para espelhar o envolvimento pessoal.
- Tecnologia: Descreva claramente os requisitos com antecedência e considere uma reunião “pré-jogo de tecnologia” para garantir a participação total de todos. Assegure-se de que o uso e as transições de tecnologia orientados pelo facilitador sejam contínuos para que nenhum tempo seja desperdiçado.
- Segurança: Considere que há um aumento do nível de risco inerente à configuração remota de padrões. Assegure-se de que as PMEs assinem NDAs e compreendam sua responsabilidade e os examinem minuciosamente durante o processo de recrutamento.
- Soluções criativas para situações/exames únicos: Cada exame é único, mas é possível adaptar a modalidade de definição de padrão virtual a cada situação – mesmo que seja necessário um modelo híbrido para um exame prático!
E, finalmente, a consideração mais importante:
Validade: Você obterá o mesmo nível de validade do processo de definição de padrões em um modelo virtual? Você obterá o mesmo produto (ou seja, a mesma pontuação de corte) que obteria se conduzisse a configuração padrão pessoalmente?