成功のための仮想標準設定モデル

「妥当性とは、エビデンスと理論が、提案されたテストの使用に関するテストスコアの解釈をサポートする程度を指します。したがって、妥当性は、テストの開発とテストの評価において最も基本的な考慮事項です。」（教育および心理テストの基準、p。11）

パンデミックが始まり、テスト業界が大きな混乱を経験して以来、リモートで監督されたテストと実店舗でのテストの有効性を中心に多くの議論と研究が行われてきましたが、リモートテスト開発プロセスの有効性についてはあまり聞いていません。対面テスト開発プロセス。以前はほとんどのテスト開発会議を直接行っていたが、仮想に移行した場合は、プロセスの有効性と、仮想で実行しても同じ結果が得られるかどうかを検討するために一歩後退しましたか？

テスト開発の世界では、標準設定は最も重要なコンポーネントの1つです。標準設定プロセスは、合格点とは何か、そして誰かが試験に合格したことを意味するものを定義します。標準設定は妥当性に直接関連しており、テストスコアを使用して意思決定を行うことをサポートする証拠があるかどうかを判断します。

テスト開発活動の中で、標準設定は、次の考慮事項のためにリモートで容易にすることは非常に困難です。

セキュリティ上の懸念：対象分野の専門家（SME）は、試験の内容に完全にアクセスできます。

複雑さ：プロセスの説明と消化が難しい場合があります。

高レベルの関与：品質基準設定には、最高レベルのSME関与が必要です。部分的または受動的な参加により、重要な手順と考慮事項を見逃し、検討することができなくなります。

簡単に改訂できない：完了すると、テストの標準セットを変更するのは非常に難しく、面倒です。確立されたカットスコアは更新するのに多大な労力を必要とし、一度管理されると、カットスコアへの変更は候補者に悪影響を与える可能性があります。

以下のケーススタディは、仮想標準設定の3つの成功したモデルを示しており、それぞれに固有の課題とソリューションが含まれています。

ケーススタディ＃1 ：装具、義肢および小児科の認定のためのアメリカ委員会（ABC）

少量試験プログラムの特別な課題

ケーススタディ＃2 ：医療通訳者認定委員会（CCHI）

CHI™の特別な方法-スペイン語試験

ケーススタディ＃3 ：国家美容評議会（NIC）

実地試験のためのセミリモート標準設定の特定のプロセスと課題

コンテキストとして、一般的な修正Angoff標準設定プロセスには8つの重要なステップがあります。

中小企業の採用
トレーニング
最低限の資格を持つ候補者または境界線の候補者についての話し合い
練習評価
Angoffの評価：ラウンド1
フラグが立てられたアイテムのグループディスカッション
Angoffの評価：ラウンド2
最終的な推奨カットスコア

ケーススタディ＃1：装具、義肢および小児科の認定のためのアメリカ委員会（ABC）

ABCには、装具、補綴、および関連分野の複数の少量試験プログラムがあります。認定者は技術的な仕事をしたり、さまざまなレベルの教育を受けたり、小売業のような環境で働いたりすることもあります。

リモート標準設定は、ABCのプログラムに多くの利点をもたらしました。

中小企業は旅行する必要はありません
コストと調整の労力を節約
中小企業のはるかに幅広い構成員を活用する能力
中小企業をほとんど通知なしに置き換える能力

リモート標準設定はまた、ABCに固有の課題を提示しました。

セッションは複数の日/時間に分割する必要があります
中小企業の関与を維持することはより困難です
参加するために必要なテクノロジーは課題を提示する可能性があります
小売店や臨床現場で働く中小企業は、勤務時間中に電話をかけることができない場合があります
SMEは、通話中のプライベートスペースにアクセスできない場合があります

ABCは、事前の計画をより積極的に行い、SMEに合わせて通常の営業時間外になる可能性のあるスケジュールを作成し、プロセス全体を通じてエンゲージメントを維持することにより、エンゲージメントに対する上記の課題に対処することをお勧めします。「テクノロジープレゲーム」ミーティングを開催して、接続をテストし、トラブルシューティングを行って、仮想的にミーティングとコラボレーションに自信を持たせることを検討してください。プライベートスペースにいる必要性を含め、潜在的なSMEに事前に必要なコミットメントを明確に説明します。

設計上、対面式の標準設定会議ではSMEが集中的に注意を向けることができるため、リモート標準設定会議で最も難しい違いは、効果的な対面式の標準設定会議で経験したのと同じレベルの関与とコミュニケーションを促進することです。

ケーススタディ＃2：医療通訳者認定委員会（CCHI）

CCHIのスペイン語試験では、バイリンガル（スペイン語-英語）のパフォーマンスコンポーネント、録音形式、有人であるという事実など、試験の特性に対処するための特別な方法が必要です。これらの条件は、特にSMEの採用とトレーニングにおいて、リモート標準設定プロセスでCCHIに課題をもたらしました。

SMEの採用とトレーニングにおける独自の課題：

セキュリティ上の懸念から、中小企業の個人的および専門的な誠実さに特に重点を置く必要があります
オンラインプラットフォームとオーディオとの相互作用における中小企業のリテラシー
ブロードバンド接続に必要なかなりの速度
中小企業にオンラインで音声試験を提供する（追加のテスト構成、ITの問題）
スケジュールされた会議の外で他の中小企業へのアクセスがないため、グループの相互作用は（対面で比較して）いくらか弱められています

標準設定でのリモートモダリティは、このタイプの試験プログラムのSME募集およびトレーニングに特に有益です。スペイン語のバリエーションに応じてSMEを多様に表現し、解釈する医療環境に応じてSMEを多様に表現する機会が増えます。3回の会議と非同期の独立した作業の形式により、SMEは情報をより適切に消化し、評価をより慎重に行うことができます。と推奨事項、したがって独立した中小企業の判断が強化されます。

バイリンガル試験および同様の形式を必要とする試験では、遠隔モダリティと対面モダリティの両方で非標準のプロセスが必要です。リモートモダリティでは、明確な期待を設定し、プロジェクトのプロセスとテクノロジーの側面に対処するためのオリエンテーションミーティングが必要です。人間の評価プロセス、スケール、および評価規則に関する追加のトレーニングが必要になる可能性が高くなります。この場合、カットスコアを決定するための最も効果的なアプローチは、BeukRelative-AbsoluteCompromiseメソッドによって補完されたExtendedModifiedAngoffメソッドでした。

ケーススタディ＃3：国家美容評議会（NIC）

NIC実技試験に使用されるリモート標準設定プロトコルは、実地試験用のセミリモート標準設定の特定のプロセスと課題の例です。 NIC実技試験は、美容および関連分野で使用される対面式のパフォーマンス試験です。これは、米国全体の複数の州で使用されており、通常、取締役会のオフィスやホテルの会議/ボールルームで管理されています。試験は複数の時間指定セクションで構成されており、受験者は自分の物資を持参する責任があります。監督官と評価者が必要であり、模擬候補者のランスルーが標準設定プロセスに含まれています。

これらの試験の標準設定プロセスは、パンデミックのために対面/リモートのハイブリッドモデルに変更され、多くの新しい課題が伴いました。パンデミックの前は、すべてのテスト開発活動は対面で行われ、実際の標準設定は、模擬候補者の実行のために対面での存在を必要とするNICによって決定された唯一のテスト開発活動でした。ウェビナーを介して試験のランスルーをリアルタイムで実施するのか、事前に記録されたランスルーを実施するのが、中小企業が直接それを見るのと同じくらい効果的であるのかについて、いくつかの疑問がありました。最終的に、NICは、SMEが会うための新しい場所を見つけ、ウェビナーを介してファシリテーターを参加させることを選択しました。

ハイブリッドリモート/対面標準設定プロセスには、予備的なSMEトレーニング、および重要な標準とターゲット候補のレビューが含まれていました。試験の設定を模倣するために部屋が設定され、模擬候補者のランスルーに役割（監督官、試験官、計時など）が割り当てられました。模擬候補のランスルーが実行され、観察され、評価され、SMEによって議論されました。続いて、模擬候補者との質疑応答が行われました。 Angoffの評価は、グループディスカッションと調整で終了する前に、SMEと模擬候補者によって提供され、最終的なカットスコアが確立されました。必要なテスト開発アクティビティを仮想的に調整したとしても、リモート標準設定プロセスにはいくつかの課題がありました。

リモート標準設定への挑戦

事前の施設へのアクセスが制限されている
テクノロジーおよび/またはオーディオビジュアル機器はなじみがない可能性があります
更新された資料の印刷は、より時間がかかり、場合によっては費用がかかります
知識のある入力を提供するファシリテーターの能力は制限されています
中小企業の関与に対する障壁
安全なドキュメントの配布と管理
現時点で直接出席する可能性が低い一部の中小企業
追加の責任はクライアントの代表者にあります

リモート標準設定を採用することも、実際の標準設定プロセスに全体的な変更がないことを含め、試験プログラムにいくつかの利点をもたらしました。ホテルの会議室で模擬候補のランスルーをホストすることは、実際のテスト環境をよりよく模倣し、オーディオ/ビジュアルテクノロジーは通常の会議設定よりも優れていました。採用の範囲が広がることで、新しいSMEにさまざまな人口統計が提供され、ディスカッション中に、より正確で説明的なフィードバックを提供することができました。また、施設の制約により、タイミングを効率的に管理しました。最終的に、リモート標準設定は、プログラムを軌道に乗せるための効率的で便利な方法でした。

仮想標準設定は、対面プロセスと仮想プロセスの違いを慎重に考慮して、適切に実行するとプログラムを節約するツールになります。

リモート標準設定プロセスにおける重要な考慮事項：

SMEの採用：SMEを徹底的にスクリーニングして、自宅からテストコンテンツにアクセスすることを信頼できることを確認し、土壇場での離職の場合に必要以上のSMEを採用します。
イベント前のコミュニケーションとSMEエンゲージメント管理：SMEが標準設定にどれだけの時間と労力を費やしているかに驚かないように、コミットメントのレベルを明確に説明します。
イベント中の中小企業の関与：対面での関与を反映するためにカメラの使用を要求または強く奨励するなど、プロセスのすべてのポイントで参加を最適化する方法を検討します。
テクノロジー：事前に要件の概要を明確にし、「テクノロジープレゲーム」ミーティングを検討して、全員が完全に参加できるようにします。ファシリテーター主導のテクノロジーの使用と移行がシームレスであることを確認して、時間を無駄にしないようにします。
セキュリティ：リモート標準設定に固有のリスクのレベルが高くなることを考慮してください。 SMEがNDAに署名し、その責任を理解していることを確認し、採用プロセス中にそれらを徹底的にスクリーニングします。
ユニークな状況/試験のための創造的なソリューション：すべての試験はユニークですが、実際の試験にハイブリッドモデルが必要な場合でも、仮想標準設定モダリティをすべての状況に適応させることが可能です！

そして最終的に、最も重要な考慮事項：

妥当性：仮想モデルで同じレベルの標準設定プロセスの妥当性を取得しますか？標準設定を直接行った場合と同じ製品（つまり、同じカットスコア）が得られますか？