“타당도는 증거와 이론이 제안된 테스트 사용에 대한 테스트 점수의 해석을 뒷받침하는 정도를 나타냅니다. 따라서 유효성은 테스트를 개발하고 테스트를 평가할 때 가장 기본적인 고려 사항입니다.” ( 교육심리검사기준 , p. 11)
대유행이 시작되고 테스트 업계가 큰 변화를 겪은 이후로 많은 논의와 연구가 원격 감독 테스트와 오프라인 테스트의 유효성에 중점을 두었지만 원격 테스트 개발 프로세스의 유효성에 대해서는 덜 들었습니다. 대인 테스트 개발 프로세스. 대부분의 테스트 개발 회의를 직접 수행했지만 가상으로 전환한 경우 프로세스의 유효성과 가상으로 수행하여 여전히 동일한 결과를 얻고 있는지 여부를 고려하기 위해 한 걸음 물러서셨습니까?
테스트 개발의 세계에서 표준 설정은 가장 중요한 구성 요소 중 하나입니다. 표준 설정 프로세스는 합격 점수와 누군가가 시험에 합격했다는 의미를 정의합니다. 표준 설정은 테스트 점수를 사용하여 결정을 내릴 수 있는지 여부를 결정하는 유효성과 직접 연결됩니다.
테스트 개발 활동 중에서 표준 설정은 다음과 같은 고려 사항으로 인해 원격으로 촉진하기가 매우 어렵습니다.
보안 문제 : SME(Subject Matter Expert)는 시험 콘텐츠에 대한 전체 액세스 권한이 있습니다.
복잡성 : 프로세스를 설명하고 소화하기 어려울 수 있습니다.
높은 수준의 참여 : 품질 표준 설정에는 가장 높은 수준의 SME 참여가 필요합니다. 부분적 또는 수동적 참여는 중요한 절차와 고려 사항이 간과되고 검토되지 않도록 합니다.
쉽게 수정되지 않음 : 테스트를 위한 표준 세트가 완료되면 변경하기가 매우 어렵고 지루합니다. 설정된 컷 점수는 업데이트하는 데 엄청난 노력이 필요하며, 일단 적용되면 컷 점수에 대한 변경 사항이 후보자에게 부정적인 영향을 미칠 수 있습니다.
아래 사례 연구는 각각 고유한 과제와 솔루션을 포함하는 가상 표준 설정에 대한 세 가지 성공적인 모델을 보여줍니다.
사례 연구 #1 : American Board for Certification in Orthotics, Prosthetics and Pedorthics (ABC)
- 소규모 시험 프로그램을 위한 특별 과제
- CHI ™ -스페인어 시험 을 위한 특별한 방법
사례 연구 #3 : 전국 주간 미용 위원회(NIC)
- 실기 시험을 위한 반원격 표준 설정의 특정 프로세스 및 과제
문맥상 일반적인 수정된 Angoff 표준 설정 프로세스에는 8가지 주요 단계가 있습니다.
- 중소기업 채용
- 훈련
- 최소 자격 또는 경계 후보에 대한 토론
- 연습 평가
- 앙고프 평점: 1라운드
- 플래그가 지정된 항목에 대한 그룹 토론
- 앙고프 평점: 2라운드
- 최종 추천 컷 점수
사례 연구 #1: American Board for Certification in Orthotics, Prosthetics and Pedorthics(ABC)
ABC는 보조기, 보철 및 관련 분야의 여러 소규모 시험 프로그램을 보유하고 있습니다. 인증자는 기술 직무에 종사하고 다양한 수준의 교육을 받았으며 일부는 소매업 환경에서도 일할 수 있습니다.
원격 표준 설정은 ABC 프로그램에 다음과 같은 많은 이점을 제공했습니다.
- 중소기업은 여행을 갈 필요가 없다
- 비용 및 조정 노력 절감
- 훨씬 더 광범위한 중소기업을 활용할 수 있는 능력
- 적은 공지로 SME를 대체할 수 있는 기능
Remote Standard Setting은 또한 ABC에게 다음과 같은 고유한 과제를 제시했습니다.
- 세션을 여러 날/시간으로 분할해야 합니다.
- 중소기업의 참여를 유지하는 것이 더 어렵습니다.
- 참여에 필요한 기술은 도전 과제를 제시할 수 있습니다.
- 소매 또는 임상 환경에서 일하는 SME는 근무 시간 동안 전화를 받지 못할 수 있습니다.
- SME는 통화를 위해 개인 공간에 액세스하지 못할 수 있습니다.
ABC는 미리 계획을 세울 때 보다 적극적으로 참여하고, SME에 맞게 조정된 일정을 만들고, 정상 업무 시간 외에 있을 수 있으며, 프로세스 전반에 걸쳐 참여를 유지함으로써 참여에 대한 위의 문제를 해결할 것을 권장합니다. 연결을 테스트하고 문제를 해결하여 가상 회의 및 공동 작업에 대한 자신감을 키우기 위해 "기술 사전 게임" 회의를 갖는 것을 고려하십시오. 잠재적인 SME가 사적 공간에 있어야 할 필요성을 포함하여 사전에 필요한 약속을 명확하게 설명합니다.
설계상, 대면 표준 설정 회의는 SME의 집중적인 관심을 허용하므로, 현존하는 가장 어려운 차이점은 원격 표준 설정 회의는 효과적인 대면 표준 설정 회의에서 경험한 것과 동일한 수준의 참여 및 의사 소통을 촉진하는 것입니다.
사례 연구 #2: 의료통역사 인증위원회(CCHI)
CCHI의 스페인어 시험은 이중 언어(스페인어-영어) 수행 구성 요소, 오디오 녹음 형식 및 사람이 평가한다는 사실과 같은 시험 특성을 해결하기 위해 특별한 방법이 필요합니다. 이러한 조건은 특히 SME 채용 및 교육에서 원격 표준 설정 프로세스에서 CCHI에 어려움을 야기했습니다.
SME 채용 및 교육의 고유한 과제:
- 보안 문제는 SME의 개인적 및 직업적 무결성을 특별히 강조해야 합니다.
- 온라인 플랫폼에서의 SME의 문해력 및 오디오와의 상호 작용
- 상당한 속도의 광대역 연결 필요
- SME에 온라인으로 오디오 시험 제공(추가 테스트 구성, IT 문제)
- 예정된 회의 외에 다른 SME에 액세스할 수 없기 때문에 그룹 상호 작용이 다소 약해집니다(대면에 비해).
이중 언어 시험과 유사한 형식이 필요한 시험은 원격 및 대면 양식 모두에 대해 비표준 프로세스가 필요합니다. 원격 방식에서는 명확한 기대치를 설정하고 프로젝트의 프로세스 및 기술 측면을 다루기 위해 오리엔테이션 회의가 필요합니다. 인적 평가 프로세스, 척도 및 평가 규칙에 대한 추가 교육이 필요할 가능성이 높습니다. 이 경우 Beuk Relative-Absolute Compromise 방법에 의해 보완된 Extended Modified Angoff 방법이 컷 스코어를 결정하는 가장 효과적인 접근 방식이었습니다.
사례 연구 #3: NIC(National-Interstate Council of State Boards of Cosmetology)
NIC 실기 시험에 사용되는 원격 표준 설정 프로토콜은 실기 시험을 위한 반원격 표준 설정의 특정 프로세스 및 과제의 예입니다. NIC 실기 시험은 미용 및 관련 분야에 사용되는 대면 수행 시험입니다. 미국 전역의 여러 주에서 사용되며 일반적으로 이사회 사무실이나 호텔 회의/연회장에서 관리됩니다. 시험은 여러 시간 섹션으로 구성되며 응시자는 자신의 준비물을 가져와야 합니다. 감독관과 평가자가 필요하며 표준 설정 프로세스에는 모의 후보자 런스루가 포함됩니다.
이 시험의 표준 설정 프로세스는 전염병으로 인해 하이브리드 대면/원격 모델로 변경되었으며 여러 가지 새로운 도전 과제가 수반되었습니다. 팬데믹 이전에는 모든 테스트 개발 활동이 직접 수행되었으며 실제 표준 설정은 NIC가 모의 후보자 런스루를 위해 직접 참석해야 한다고 결정한 유일한 테스트 개발 활동이었습니다. 웨비나를 통해 실시간으로 시험 런스루를 진행하는 것이 중소기업이 직접 보는 것만큼 효과적일지, 아니면 미리 녹음된 런스루를 통해 진행하는 것이 효과적인지에 대한 질문이 있었습니다. 궁극적으로 NIC는 중소기업이 웨비나를 통해 만나고 진행자가 참여할 수 있는 새로운 장소를 찾기로 결정했습니다.
하이브리드 원격/대면 표준 설정 프로세스에는 예비 SME 교육과 주요 표준 및 대상 후보 검토가 포함되었습니다. 시험 환경을 모방하도록 방을 설정하고 모의 후보자를 위한 역할(감독관, 시험관, 계시원 등)을 할당했습니다. 모의 후보자 런스루를 수행하고 관찰하고 평가한 다음 중소기업에서 논의했습니다. 모의 후보자와의 Q&A 시간이 이어졌습니다. Angoff 등급은 중소기업과 모의 후보자가 그룹 토론과 조정을 끝내기 전에 제공한 후 최종 컷 점수가 설정되었습니다. 필요한 테스트 개발 활동의 가상 조정에도 불구하고 원격 표준 설정 프로세스에는 몇 가지 문제가 있었습니다.
원격 표준 설정에 대한 도전
- 사전에 시설 이용 제한
- 기술 및/또는 시청각 장비가 익숙하지 않을 수 있습니다.
- 업데이트된 자료를 인쇄하는 것은 더 많은 시간과 비용이 소요될 수 있습니다.
- 지식이 풍부한 정보를 제공하는 촉진자의 능력이 제한됨
- 중소기업 참여의 장벽
- 안전한 문서 배포 및 제어
- 일부 중소기업은 현재 직접 참석할 가능성이 낮음
- 추가 책임은 고객 담당자에게 있습니다.
가상 표준 설정은 대면 프로세스와 가상 프로세스의 차이점을 신중하게 고려하여 제대로 실행될 때 프로그램 절약 도구가 될 수 있습니다.
- SME 모집: SME 를 철저히 선별하여 가정에서 테스트 콘텐츠에 액세스하고 막바지에 인력이 소진될 경우 필요한 것보다 더 많은 SME를 모집할 수 있는지 확인합니다.
- 행사 전 커뮤니케이션 및 SME 참여 관리: 표준 설정에 소요되는 시간과 노력에 대해 SME가 놀라지 않도록 참여 수준을 명확하게 설명합니다.
- 이벤트 중 SME 참여: 대면 참여를 반영하기 위해 카메라 사용을 요구하거나 강력하게 권장하는 등 프로세스의 모든 지점에서 참여를 최적화할 수 있는 방법을 고려합니다.
- 기술: 사전에 요구 사항을 명확하게 설명하고 "기술 게임 전" 회의를 고려하여 모든 사람이 완전히 참여할 수 있도록 합니다. 시간이 낭비되지 않도록 촉진자 중심의 기술 사용 및 전환이 원활하게 이루어지도록 합니다.
- 보안: 원격 표준 설정에 고유한 위험 수준이 증가한다는 점을 고려하십시오. 중소기업이 NDA에 서명하고 책임을 이해하도록 하고 채용 과정에서 철저히 심사합니다.
- 고유한 상황/시험을 위한 창의적인 솔루션: 모든 시험은 고유하지만 가상 표준 설정 방식을 모든 상황에 적용할 수 있습니다. 심지어 실제 시험에 하이브리드 모델이 필요한 경우에도 마찬가지입니다!
그리고 궁극적으로 가장 중요한 고려 사항:
유효성: 가상 모델에서 동일한 수준의 표준 설정 프로세스 유효성을 얻을 수 있습니까? 표준 설정을 직접 수행했을 때와 동일한 제품 (즉, 동일한 컷 스코어)을 얻을 수 있습니까?