보안 및 유연성 구축 방법
일부 고객은 고정 양식은 아니지만 응시자가 시험에 응시할 때 품목 은행에서 자동으로 무작위로 생성 할 수있는 시험을 선호합니다. Prometric은 여러 유형의 은행 기반 테스트를 지원하는 시험 은행을 개발할 수 있습니다.
선형 온더 플라이 테스트 (LOFT).
LOFT는 시험 관리 직전 또는 시험 중 시험 센터에서 사전 등식 양식을 조립 한 것입니다. LOFT (그림 2)는 각 응시자마다 고유 한 비교 가능한 고정 양식을 생성하는 데 사용됩니다. LOFT는 모든 항목이 사전 테스트되고 공통 스케일로 배치 될 때 가능합니다. 실제적으로 LOFT는 컴퓨터 기반 테스트 (CBT)를 사용하여 관리해야합니다.
테스트 양식의 구성은 LOFT 테스트를위한 테스트 풀의 구성에 직접적인 영향을 미칩니다. LOFT의 대부분의 항목 풀에는 하나의 양식에 필요한 테스트 항목 수의 최소 10 배가 포함됩니다. 항목 풀은 단일 테스트를 구성하는 것처럼 세부 사항에주의를 기울여 통계 및 내용 사양을 사용하여 조립됩니다 (Ariel, van der Linden, & Veldkamp, 2006). 각 항목 풀은 항목 통계 및 내용 사양 (Way, 1998)이있는 많은 시도 항목과 내용 큐 및 겹침에 대한 지표를 포함하는 항목 통으로 구성됩니다. 품목 통은 LOFT와 같이 많은 품목을 필요로하는 CBT 아키텍처를위한 품목 풀을 조립하기위한 기초입니다.
Testlet이있는 LOFT.
Testlet 레벨 LOFT는 개별 항목이 아닌 사전 조립 된 고유 한 테스트 릿을 사용하여 테스트 센터에서 개별 양식을 작성합니다. 각 testlet에는 하나의 testlet에만 속하는 고유 한 항목이 포함되어 있지만 전체 테스트 사양을 나타내도록 구성되어 있거나 (그림 3) 테스트 청사진의 다른 섹션에 중점을 둘 수 있습니다 (그림 4). 대부분의 테스트 릿에는 테스트 사양에 따라 각각 15 ~ 25 개의 항목이 있습니다. 전자의 경우 무작위로 선택된 병렬 테스트 렛 세트가 결합되어 최종 양식을 작성합니다. 후자의 경우, 각 컨텐츠 영역에 대해 테스트 릿이 무작위로 선택되고 결합되어 최종 양식이 작성됩니다.
테스트 렛은 클래식, Rasch 또는 항목 응답 이론 모델을 사용하여 구성 할 수 있습니다. 테스트 렛이있는 LOFT는 항목이 사전 테스트되고 (a) 단일 테스트 렛으로 샘플링하기에 테스트 청사진이 단순하고 /하거나 (b) 풀이 여러 개의 병렬 테스트 렛을 생성하기에 충분히 큰 경우에 적합합니다. 테스트 렛이있는 LOFT는 CBT를 사용하여 관리해야합니다.
테스트 렛이있는 LOFT의 항목 볼륨 요구 사항은 해당 테스트 렛이 풀의 다른 모든 테스트 렛과 내용 및 통계적 특성이 동일하며 약 5 개의 전체 길이 테스트 양식입니다. 물론 더 많은 항목이 고유 한 테스트 양식의 조합으로 변환 될 수 있으며 동일한 테스트 렛이 여러 가지 다른 고유 한 테스트 양식에 나타날 수 있습니다. 테스트 청사진의 다른 섹션 내에 조립 된 테스트 렛이있는 LOFT의 경우, 각 요구 사항의 청사진에 필요한 질문 수가 다르기 때문에 항목 요구 사항이 전체 길이 테스트 양식으로 약 10 개로 증가합니다.
품목 통은 이후에 관리를 위해 현장으로 방출되는 LOFT 품목 풀을 구성하는 데 사용되는 시험 문제의 대규모 모음 (Way, 1998)입니다. 풀은 노출 관리에 도움이되고 테스트 보안과 점수의 무결성을 유지하기위한 수단으로 여러 관리 창 안팎으로 회전하는 경우가 많습니다 (Ariel, Veldkamp, & van der Linden, 2004). 그러나 일부 테스트 타케 터가 테스트 내용의 보안을 위반하기 위해 공동 노력을 기울인다면 이러한 회전 조치는 취약하지 않습니다.
그림 3. 전체 청사진에 걸쳐 테스트 렛이있는 LOFT
그림 4. 섹션 별 테 블릿이있는 LOFT
전산화 적응 시험 (CAT-FL, CAT-VL)
전산화 적응 시험은 개별 시험 응시자의 능력 수준에 가까운 품목을 관리합니다 (그림 5 참조). 이는 비 적응 형태에서 가능한 것보다 더 효율적인 측정을 만들지 만, 시험 응시자들은 고정 형태로 구성된 시험에 비해 CAT 시험이 더 어렵다는 인식을 만듭니다. 이러한 인식은 한 시험 대상자를 위해 선택된 항목이 테스트 세션에서 관리 된 이전 항목에서 결정된 해당 개인의 숙련도에 맞춰져 있다는 사실에 기인합니다. 이 측정 효율성을 활용하여 비 대응 형식보다 더 정확한 점수를 산출하는 고정 길이 테스트 (CAT-FL) 또는 비 대응 형식보다 짧은 가변 길이 테스트 (CAT-VL)를 만들 수 있습니다. 비슷한 정밀도. 능력 척도를 따라 정밀한 측정이 필요한 경우 CAT가 가장 적합합니다. 숫자가 정확하거나 합산 된 점수는 적응 형 테스트에서 작동하지 않습니다. Rasch 또는 IRT 점수 방식을 사용해야합니다. 여기에는 정답 또는 부정확하게 응답 된 각 항목의 불변 Rasch 또는 항목 응답 이론 매개 변수가 고려됩니다. CAT는 CBT를 사용하여 관리해야합니다.
그림 5. 전산화 적응 테스트
컴퓨터 마스터리 테스트 (CMT)
선형 또는 CAT 관리 방법을 사용하는 자격 증명 보드의 문제는 일부 통과 실패 결정이 해당 결정 오류를 결정하거나 제한 할 방법이없이 잘못 만들어 졌다는 것입니다. 이러한 잘못된 통과 실패 결정을 반영하는 분류 오류에는 두 가지 유형의 오류가 포함됩니다. (A) 실패해야하는 개인을 통과시키는 허위 긍정 및 (B) 실패해야하는 개인을 수반하는 잘못된 부정.
이러한 잘못된 결정은 시험이 관심있는 지식과 기술을 거의 완벽하게 측정하지 않기 때문에 발생합니다. 시험 문제 또는 문제 상황은 요청 될 수있는 관심있는 직업과 관련된 모든 것의 표본 일 뿐이며, 요청 된 사람들은 일부 응시자의 능력에 대해 오도하는 그림을 제시 할 수 있습니다. 응시자의 합격 실패 상태에 대한 잘못된 결정을 피하기위한 일반적인 비 컴퓨터 기반 솔루션에는 고정 길이 테스트의 컷오프 점수를 높이거나 낮추는 것이 포함됩니다. 이로 인해 더 중요한 분류 오류의 크기가 원하는 방향으로 증가 또는 감소하지만 다른 분류 오류의 크기는 반대 방향으로 증가 또는 감소합니다. 전산화 된 숙련도 테스트는 컴퓨터를 활용하고 CAT에 필요한 많은 리소스를 요구하지 않으면 서 클라이언트에 대한이 잘못된 결정 문제를 해결하도록 설계되었습니다.
CMT ( Computerized Mastery Test ) 에서 일부 응시자는 다른 응시자보다 더 많은 질문을받습니다. CMT 시험의 문제는 시험 규격에 정의 된 모든 내용을 포괄하는 동일한 수의 비 중첩 문제로 구성된 더 작은 고정 길이 그룹으로 세분됩니다. 표준 작업 분석에서 나온 것과 동일한 테스트 사양입니다. 우리는 이러한 소그룹의 질문을 테 틀릿이라고 부릅니다. CMT 시험에 사용되는 테스트 렛 크기는 질문 할 수있는 가장 적은 수의 질문과 직접 관련이 있으며 전체 테스트 계획에 비례 적으로 적용됩니다. (우리는 testlet 당 15 ~ 25 개의 질문이 대부분의 시험 시험 사양표에 맞는다는 것을 발견했습니다.) CMT 시험에서, 각 testlet은 평균 난이도와 점수의 분산에서 다른 모든 testlet과 동일 (동일)하도록 구성됩니다. 각각은 동일한 방식으로 전체 테스트 컨텐츠 계획을 포함하도록 설계되었습니다.
CMT 시험에서는 모든 응시자에게 먼저 기본 시험을 실시합니다. (기본 테스트는 다단계 테스트 프로세스의 첫 번째 단계로 생각할 수 있습니다.) 기본 테스트는 겹치지 않는 동일한 테스트 렛으로 구성된 풀에서 무작위로 선택된 여러 테스트 렛으로 구성됩니다. 이 기본 테스트에서 극단적 인 수준 (높음 또는 낮음)으로 수행 한 응시자는 합격 후 즉시 합격 또는 불합격합니다. 부정확 한 결정 오류가 가장 가능성이 높은 중간 성능을 가진 응시자는 단일 테 블릿 형태로 추가 질문을 받음으로써 기존 표준을 충족했음을 입증 할 수있는 추가 기회를 제공합니다. 부정확 한 결정 오류가 발생할 가능성이 높은 후보자에게 추가 테스트 렛을 관리하는이 프로세스는 전체 길이 테스트에 도달 할 때까지 계속됩니다.이 시점에서 최종 합격 실패 결정은 전체 길이 선형 검사에서 작성된 것과 동일합니다. . 이 최종 전장 컷오프 점수는 선형 테스트 컷오프 점수와 동일한 방식으로 결정됩니다. 컷 점수 연구가 수행되고 고객은 컷오프 점수를 결정합니다.
수험생이 CMT를 진행하는 방법에 대한 예가 아래 첨부 된 그림에 나와 있습니다. 7 단계의 테스트가 있으며 첫 번째 단계 이후에도 응시자는 여전히 "연속"영역에 있으므로 추가 테 블릿을받습니다. 이 테스트 프로세스는이 예에서 시험관이 실패 영역에 빠지고 테스트가 중단 될 때까지 세 번째 단계까지 계속됩니다.
선형 테스트에 비해 CMT의 장점 중 하나는 클라이언트가 의사 결정 오류를 만들기 위해 상대 허용 오차를 지정할 수 있다는 것입니다. 그림 1에 표시된 통과 연속 실패 영역의 모양은 이러한 클라이언트 결정에 따라 변경됩니다. 컷오프 점수를 설정하는 것 외에도 클라이언트는 어떤 결정 오류가 더 심각한 지 또는 동일한 지 결정합니다. 우리의 예비 연구에 따르면 고객이 표현한 허용 오차 (손실) 내에서 CMT 모델을 사용하여 대부분의 후보를 분류 할 수 있습니다.
CAT에 비해 CMT의 두 번째 장점은 CAT (교정 된) 항목 풀을 작성하는 데 필요한 것보다 테스트 렛 풀을 작성하는 데 필요한 질문이 적다는 것입니다. 우리는 몇 개의 겹치는 (일반적인) 항목을 가진 3 개에서 5 개의 선형 테스트 양식이 적절한 테스트 렛 풀을 형성하는 데 필요한 모든 것임을 발견했습니다. 또한 많은 후보자 샘플이 필요하지 않습니다. 우리는 항목 응답 이론 (IRT)을 사용하지 않지만 여전히 컴퓨터를 활용하는 CMT 방법을 개발했습니다. (일부 CMT 모델은 IRT를 사용하지만 다른 CMT 모델은 그렇지 않습니다. IRT 를 사용하지 않는 CMT 모델은 점수 계산에서 올바른 수의 질문을 사용하기 때문에 응시자에게 설명하기가 매우 쉽습니다.) 실제로 일부 CMT 모델은 항목이 서로 조건부로 독립적 일 필요가 없으며 테스트 내용이 일차원 일 필요도 없습니다. IRT를 사용하는 CAT 항목 풀의 일반적인 요구 사항입니다.
CMT 시험을 통해 한 후보자가 어떻게 진행될 수 있는지에 대한 예
(1998 년 Kim & Cohen 참조)
Prometric은 캡처 한 양식 어셈블리 보고서를 생성합니다. (a) 원시 및 보고서 점수 척도의 시험 양식 기술 통계, (b) 항목 난이도, 차별 및 항목 별 응답 시간 통계, (c) 가능한 각 점수에 대한 조건부 표준 측정 오류 (적절한 경우), (d) 적절한 경우 시험 정보 및 시험 특성 기능, (e) 각 양식의 시험 청사진 준수, (f) 시험 시간 막대 그래프 및 (g) 해당되는 경우 총 시험 점수 분포.