고전 시험 이론에 대한 내부 심리 측정 지침

이 문서는 Prometric 내부 심리학자가 추가 검토를 위해 내부 항목을 평가하고 표시하는 일반적인 지침을 설명합니다. 이 지침은 고전적인 테스트 이론을 활용하는 프로그램에 적용됩니다.

표 1 : 통계 사양 요약
양식 조립 및 통계 검토의 요소	사양 / 표준
1. 아이템 난이도	P- 값 = .30-.89 (최적) *
2. 품목 차별 지수에 대한 목표 가치	rpBis> .20
3. 내부 일관성 신뢰성 추정을위한 목표 범위	알파> .80
4. 분류 일관성 또는 신뢰성 추정을위한 목표 범위	리빙스턴> .80
허용 범위가 최적 범위보다 크고 아래에 설명되어 있습니다.

의도 된 아이템 난이도

P- 값 = 0.30 ~ 0.89

Prometric 직원은 개별 p- 값이 절대적이고 반복 가능한 값을 나타내거나 구체적인 해석을 보증하지 않음을 인식하도록 훈련되었습니다. 오히려 Prometric 심리학자는 추세를 평가하는 데 사용할 수있는 모든 항목 분석 정보를 검토합니다. 참고 : p- 값만으로는 대부분의 항목 해석에 충분하지 않습니다. 모든 기본 품목 검토는 품목 처분 결정을 내리기 전에 p- 값과 rpBis를 통합합니다.

표 2 : p- 값 지침
p- 값 (어려워하기 쉽다)	품목 해석
1.00에서 0.96	SME에서 제거 또는 개정을 위해 플래그를 지정해야하는 측정 값이 최소 인 허용되지 않는 품목.
0.90에서 0.95	매우 쉬운 (허용되지 않는) 항목 : 적절한 차별을 위해 rpBis를 검토하십시오. SME를 검토해야 할 수도 있습니다.
0.89에서 0.80	상당히 쉬운 (허용 가능한) 항목 : rpB가 검토를 통해 차별을 확인합니다.
0.79에서 0.40	단단하고 적당히 쉬운 (허용 할 수있는) 품목 : rpBis가 사양 내에있는 경우 사용하십시오.
0.39에서 0.30	어려운 (허용되는) 항목 : rpB가 면밀히 검토되고 rpBis가 사양에 맞는 경우 사용하십시오.
0.29에서 0.20	매우 어려운 (허용되지 않는) 항목 : 적절한 차별을 위해 rpBis를 검토하십시오. 중소기업의 검토가 필요할 수 있습니다.
0.19에서 0.00	허용되지 않는 품목 : 부적절하게 어렵거나 결함이있는 경우. 중소기업에 의해 제거 또는 개정 된 것으로 표시되어야합니다.

아이템이 한계가있는 것으로 밝혀지면 개발자는 아이템의 rpBis를 봅니다. rpBis가 높으면 해당 항목을 시험에 유지하기 위해 더 많은 허용 오차가 부여됩니다.

품목 식별 지수의 목표 값

rpBis = 0.20 ~ 1.00

포인트 Biserial (rpBis)은 Prometric 심리학자가 각 항목의 차별 력을 결정하는 데 사용됩니다. 다른 고전 통계와 마찬가지로 rpBis의 사용은 정확한 과학이 아닙니다. 경우에 따라 낮은 rpBis 값은 특히 높거나 낮은 p- 값, 신뢰할 수없는 산만으로 인한 낮은 항목 분산, 후보자의 동질성으로 인한 낮은 점수 변동 또는 매우 치우친 점수 분포로 인해 발생할 수 있습니다. 따라서 Prometric 심리학자는 항목 분석을 검토 할 때 몇 가지 통계를 고려해야합니다. 표 3은 개발자가 항목 판별을 검토 할 때 사용하는 지침을 요약합니다. 이 가이드 라인은 항목이 올바르게 입력되었고 후보 샘플이 충분히 크다고 가정합니다.

표 3 : rpBis 지침
RpBis (강약)	품목 해석
1.00에서 0.50	매우 강함 (허용됨)
0.49에서 0.30	강력 함 (허용됨)
0.29에서 0.20	허용 가능 (검토가 필요할 수 있음)
0.19에서 0.10	여백 (허용되지 않는 항목) : 텍스트와주의를 집중시킵니다.
0.09에서 0.00	약한 (허용 할 수없는) 항목 : p- 값이 매우 높을 수 있습니다. 중소기업에 의한 제거 또는 개정을위한 플래그.
-0.01 ~ –0.20	허용되지 않는 품목 : 부적절하게 어렵거나 다른 결함. 중소기업에 의해 제거 또는 개정 된 것으로 표시되어야합니다.

표 4는 다양한 범위의 알파 계수에 대해 심리 측정 팀이 사용한 해석을 나열합니다.

표 4 : 알파 지침
알파	내부 일관성 신뢰성 해석
0.60 미만	새로운 형태를 요구하는 허용 할 수없는 계수
0.60에서 0.69	양식 수정 또는 제거가 필요한 열악한 계수
0.70 ~ 0.79	양식 검토 / 수정이 필요할 수있는 한계 계수
0.80 ~ 0.89	좋은 계수
0.90 이상	우수한 계수

합격 / 불합격 결정의 분류 일관성 또는 신뢰성 추정치의 목표 범위

r = 0.80 이상

Prometric은 의사 결정 일관성 신뢰성을 계산하기 위해 Livingston의 제곱 오류 손실 방법을 선택했습니다. 이 방법은 다른 신뢰성 측정과 같이 해석 될 수 있기 때문에 선택되었습니다 (위에서 논의). 임계 값 손실 방법보다 훨씬 덜 복잡하며 모든 단일 관리 양식에 대해 실행할 수 있습니다. 이 통계의 사용은 교육 및 심리 테스트 표준, p. 20.

Prometric Recommendations-품목 은행 비율
품목 은행에 대한 Prometric의 내부 표준 및 고객 권장 사항은 아래 표 1에 나와 있습니다.

표 1 : 표준 양식 기반 납품을위한 품목 은행에 대한 권장 사항
추천 레벨	범위
1. 최소 목표 범위	양식당 항목 수의 1.5 ~ 2 배
2. 허용 가능한 목표 범위	양식당 항목 수의 2 ~ 3 배
3. 최적의 목표 범위	양식당 항목 수의 3 ~ 5 배

테스트 효율성 및 법적 방어 페이지로 돌아 가기