컴퓨터 화 된 테스트를 개발하고 제공하는 조직은 보안, 심리 편집 및 법적 방어와 관련된 문제를 포함하여 기존의 종이 및 연필 테스트를 사용하는 조직과 동일한 과제를 많이 경험합니다. 컴퓨터 기반 테스트 (CBT)에서도 새로운 문제가 발생합니다. 특히 테스트는 인터넷을 통해보다 광범위하게 관리됩니다. 이러한 문제에는 후보 부정 행위 및 항목 과다 노출의 위험 증가가 포함됩니다.
CBT와 관련된 새로운 문제뿐만 아니라 일반적인 테스트로 인해 발생하는 지속적인 문제를 해결하기 위해 조직은 테스트 항목 개발 및 심리 편집을 위해 표준 프로세스를 따라야합니다. 예를 들어, 테스트 항목을 개발하기 위해 여러 항목 작성자를 사용하는 것이 일반적이지만 테스트 항목 스타일, 형식 및 난이도 변화가 발생할 수 있습니다. 템플릿과 항목 개발 표준 및 규칙이 포함 된 스타일 가이드는 항목 일관성, 형식 및 다양성을 향상시키는 데 먼 길을 갈 수 있습니다. 또한 컨텐츠 개발 교육을 통해 작성자는 동일한 질문의 다양한 변형을 작성하는 데 사용할 수있는 신뢰할 수 있고 방어 가능한 항목 및 항목 템플리트를 개발할 수있는 도구를 확보 할 수 있으므로 짧은 시간 내에 항목 뱅크의 크기가 증가합니다.
현장에서 테스트 항목의 통계적 평가를 통해 조직은 특정 항목 성능 및인지 수준에 대한 피드백을 얻을 수 있습니다. 이 인텔리전스를 사용하면 특정 테스트 항목 개발자를위한 항목 개발 프로세스 및 피드백을 수정할 수있어 효과적인 항목과 해당 항목이 필드에서 어떻게 작용하는지 확인할 수 있습니다. 또한 조직은 품목 보존, 수정 및 할당에 대한 결정을 내릴 수 있습니다.
테스트를 개발하거나 관리하는 조직은 항목 난이도 평가를 포함하고 문법, 민감도 및 스타일과 같은 항목을 고려하는 심리 편집 과정을 알고 있어야합니다. Psychometrics는 또한 병렬 옵션, 질문 및 답변 길이에 대한 충분한 정보와 같은 테스트 항목 양식 및 기능을 검토합니다.
객관성에 중점을 두어 심리 편집은 주제 전문가 나 항목 작성자가 아닌 테스트 개발 전문가가 수행하는 것이 가장 좋습니다. 심리 측정 편집의 복잡성에 대해 교육을받은 개인은 주제 전문가 또는 항목 작성자와는 다른, 중요한 관점에서 항목을 평가합니다. 그러나 해당 분야의 주제 전문가가 최종 편집 한 항목을 검토하고 승인하는 것도 중요합니다.
CBT 및 PPT 용으로 개발 된 품목은 법적 문제가 발생할 경우 보호를 위해 법적으로 방어 할 수 있어야합니다. 법적 방어력을 보장하기 위해 조직은 위에서 설명한대로 항목 개발 및 심리 측정 검토를위한 표준 프로세스를 구현해야합니다.
법적 방어력 평가에는 시험이 교육 및 심리 테스트 표준에 따라 개발되었는지 확인하기 위해 내용 과 심리학 적 관점에서 시험을 비판적으로 검토하는 것이 포함됩니다. 법원은 문제의 시험의 신뢰성을 평가할 때 표준에 따라야합니다. 법적 방어는 여러 방법론을 통해 달성 할 수 있습니다. 개발 프로세스의 가장 중요한 측면은 표준화 된 방법론을 따르고 문서화하고 프로세스에 적절한 테스트 개발 담당자를 포함시키는 것입니다. 테스트 개발 프로세스에는 여러 단계가 있으며 각 단계에 사용할 수있는 다른 방법론이 있습니다. 예를 들어, 시험의 점수를 결정할 때 Modified Angoff 또는 Bookmark Method와 같은 프로세스를 사용하여 합격을위한 적절한 표준을 결정할 수 있습니다. 각 방법은 다른 기술을 사용하여 합격 상태를 받기 위해 응시자가 도달해야하는 막대를 결정합니다.
항목 과다 노출의 위험을 줄이기 위해 테스트 회사는 테스트 내용을 정기적으로 새로 고치는 대형 테스트 항목 뱅크를 개발합니다. 대규모 테스트 개발자와 관리자의 주도로 컴퓨터 기반 테스트를 관리하는 조직은 확장 된 항목 뱅크와 예약 된 테스트 항목 새로 고침을 사용하여 후보자가 동일한 항목이나 디자인을 보지 못하도록하여 일반적으로 후보자 공유 가능성을 줄입니다. 정보.
많은 고위험 테스트 프로그램에서 테스트 관리자는 테스트 후보가 특정 테스트 항목에 노출되는 빈도, 후보자가 평균 항목에 소비하는 평균 시간 및 항목에 대한 후보 응답이 시간과 노출에 따라 어떻게 변하는지를 측정하기 위해 법의학 데이터를 수집하고 검사합니다. 이를 통해 아이템 개발 프로세스 및 컨텐츠를 지속적으로 조정하여 신뢰성, 합법성 및 보안을 보장합니다.
시험 후 후보 결과를 분석하여 구현할 수있는 다른 방법론도 있습니다. 이러한 유형의 분석 중 하나는 테스트 항목에 대한 그룹 성능을 평가하는 미분 항목 분석입니다 (그룹은 성별, 민족 또는 기타 요인으로 정의 될 수 있음). 그런 다음 후보 그룹간에 크게 다르게 수행되는 항목을 다시 평가하여 향후 사용을 결정합니다.
컴퓨터 기반 테스트를위한 컨텐츠를 개발할 때 고려해야 할 다양한 요소는 모두 시험 자체에 대한 신뢰성과 무결성을 제공합니다. 조직은 테스트 프로그램의 설계 및 구현을 신중하게 고려하여 서둘러 컴퓨터 기반 테스트로 마이그레이션하는 조직보다 더 나은 서비스를 제공합니다. 보안 및 IT 매개 변수뿐만 아니라 항목 개발 및 편집 리소스를 설명하는 사전 접근 방식은 테스트 유효성, 후보 공정성을 높이고 법적 문제에 대해 더 높은 수준의 보호를 제공하므로 장기적으로 조직에 더 나은 서비스를 제공합니다.