Prometric은 종이 기반 배송에서 컴퓨터 기반 배송으로 프로그램을 전환 한 경험이 풍부합니다. 테스트 개발 부서는 이러한 전환 과정에서 후보 성능에 미치는 영향을 최소화하기 위해 방법론의 연구 및 적용에 직접 참여한 심리학자와 함께 있습니다.
연구
지난 10-15 년 동안 CBT (Computer-Based Testing)가 획기적으로 발전함에 따라 종이 기반 시험과 컴퓨터 기반 시험의 비교 가능성에 대한 산업 연구의 양이 상당히 증가했습니다. 예상 한 바와 같이, 컴퓨터를 테스트 모집단에 처음 도입 할 때 일반적으로 발견 된 연구 결과는 더 이상 오늘날 테스트 환경에 들어가는 후보 모집단과 관련이 없습니다. 응시자 집단이 컴퓨터에 대한 노출, 액세스 및 친숙도면에서 진화함에 따라 컴퓨터 기반 시험의 도입 효과가 크게 감소했습니다. 이는 컴퓨터의 가용성이 모든 인구 하위 그룹에서 기하 급수적으로 증가함에 따라 여러 후보 세그먼트에 해당됩니다.
지난 5-10 년 (가장 최근 1997 년에 수행 된)의 여러 연구 결과를 요약하면 연구 분야에서 다음과 같은 주요 사항이 확인되었습니다.
- 종이 기반 대 컴퓨터 기반 테스트의 시험 성능에 미치는 영향 크기는 일반적으로 통계적으로 중요하지 않으며 (p> 0.05), 두 테스트 방법 사이에 실질적인 차이가 없음을 나타냅니다.
- 종이 기반과 컴퓨터 기반으로 제공되는 개별 품목에 대한 차등 품목 기능 (DIF) 분석은 일반적으로 품목 유형이 두 가지 배송 방법 모두에 도움이 될 때 두 배송 채널의 품목 성능이 비슷하다는 것을 나타냅니다.
- 컴퓨터 기반 시험 배달과 관련하여 응시자 풀과의 명확한 의사 소통은 배달 모드가 최종 응시자 성능에 영향을 줄 가능성을 더욱 줄일 수 있습니다.
- 모의 시험 환경에서의 준비 및 실습 (실습 시험 및 / 또는 라이브 시험 이전의 자습서를 통해)은 후보 성능 불안을 줄이고 공정한 시험 결과에 더 기여할 수 있습니다.
테스트 업계 내에서 이용할 수있는 이론적 연구 외에도 Prometric은 여러 전달 채널에서 후보 성능을 평가하고 비교하는 데 실질적인 경험을 가지고 있습니다. 다수의 클라이언트를 한 전달 모드에서 다른 전달 모드로 성공적으로 마이그레이션했으며 모든 후보자에게 (사용중인 채널에 관계없이) 지식을 표시 할 공정한 기회가 제공되도록 후보 성과를 지속적으로 평가했습니다. 또한 Prometric에는 이중 전송 모델 (용지 기반 및 컴퓨터 기반)을 사용하는 여러 클라이언트가있어 여러 테스트 환경에서 시험 성능과 개별 항목 성능의 비교 성을 지속적으로 모니터링 할 수 있습니다. Prometric의 연구 결과는 일반 테스트 커뮤니티에서 위에서 언급 한 사항을 일관성있게 반영하며 원하는 결과를 보장하는 접근 방식을 개발하고 발전시킬 수있었습니다.
연습
시험 프로그램을 마이그레이션 할 때 고려해야 할 몇 가지 단계가 있습니다. 많은 개별 작업이 있지만 주요 활동에는 다음이 포함됩니다.
- 현재 품목 은행의 평가 현재 종이 기반 품목 은행의 평가는 일반적으로 프로젝트 시작시 컴퓨터 기반 환경에 대한 적용 가능성을 보장하고 향후 평가를위한 기준 통계를 수집하기 위해 수행됩니다.
- 항목 표시 수정 필요한 경우 Prometric은 컴퓨터 기반 환경에서 전체 시험에서 공평한 성능의 가능성을 높이기 위해 개별 항목 수정에 대해 권장합니다.
- 지원자에게 의사 소통 노력 준비 Prometric은 고객과 협력하여 새로운 전달 모델을 도입하기 전에 후보자 모집에 적합한 의사 소통 캠페인이 개발되도록합니다.
- 샘플 시험 및 / 또는 자습서 준비 Prometric은 시험 제공 모델을 사용하여 응시자 모집단의 편의 수준을 높이기 위해 라이브 시험 전에 응시자에게 제공되는 연습 시험 및 / 또는 자습서를 준비합니다.
- 시험 및 항목 분석 2 단계에서 수집 한 기본 데이터를 사용하여 Prometric은 시험 및 항목 수준의 성능을 평가하여 후보 성과의 비교 가능성을 보장합니다.
- 지속적인 모니터링 및 유지 보수 비교 가능성을 처음 확인한 후 배송 모델의 평가가 중단되지 않습니다. Prometric 심리학자는 USPS 항목 및 시험의 성능을 지속적으로 모니터링하여 수용 가능한 통계 매개 변수 내에서 성능을 발휘하고 향후 테스트 개발 요구를 예측합니다.
Prometric은 테스트 개발 및 전달 프로세스에 위의 방법론을 포함시켜 모든 후보자에게 공정하고, 유효하며 법적으로 방어 가능한 프로세스를 보장합니다. 컴퓨터 기반 시험을 성공적으로 수행 한 경험은 시험 수명주기 동안 제품의 품질과 성능을 보장하는 입증 된 프로세스와 일치합니다.