„Validität bezieht sich auf den Grad, in dem Beweise und Theorie die Interpretationen von Testergebnissen für die vorgeschlagene Verwendung von Tests stützen. Validität ist daher die grundlegendste Überlegung bei der Entwicklung von Tests und der Bewertung von Tests.“ ( Standards für pädagogische und psychologische Tests , S. 11)
Seit Beginn der Pandemie und der großen Umwälzung der Testbranche haben sich viele Diskussionen und Forschungen auf die Gültigkeit von fernüberwachten Tests im Vergleich zu stationären Tests konzentriert, aber wir haben weniger über die Gültigkeit von Remote-Testentwicklungsprozessen gehört gegenüber persönlichen Testentwicklungsprozessen. Wenn Sie früher die meisten Ihrer Testentwicklungsmeetings persönlich abgehalten haben, aber auf virtuell umgestiegen sind, sind Sie einen Schritt zurückgetreten, um die Gültigkeit Ihrer Prozesse zu prüfen und ob Sie immer noch das gleiche Ergebnis erzielen, wenn Sie sie virtuell durchführen?
In der Welt der Testentwicklung ist die Standardeinstellung eine der wichtigsten Komponenten. Der Standardeinstellungsprozess definiert, was eine zum Bestehen erforderliche Punktzahl ist und was es bedeutet, dass jemand die Prüfung bestanden hat. Die Standardeinstellung ist direkt mit der Gültigkeit verbunden, die bestimmt, ob wir die Beweise haben, die die Verwendung von Testergebnissen zum Treffen von Entscheidungen unterstützen.
Unter den Testentwicklungsaktivitäten ist die Standardeinstellung aufgrund der folgenden Überlegungen eine einzigartige Herausforderung für die Remote-Unterstützung:
Sicherheitsbedenken : Fachexperten (KMU) haben vollen Zugriff auf Prüfungsinhalte.
Komplexität : Der Prozess kann schwer zu erklären und zu verdauen sein.
Engagement auf hohem Niveau : Das Setzen von Qualitätsstandards erfordert ein Höchstmaß an Engagement von KMU. Teilweise oder passive Teilnahme wird dazu führen, dass wichtige Verfahren und Erwägungen übersehen und nicht untersucht werden.
Nicht leicht zu überarbeiten : Einmal vollständig, ist es sehr schwierig und mühsam, den Standardsatz für einen Test zu ändern. Etablierte Cut-Scores erfordern einen enormen Aufwand für die Aktualisierung, und sobald sie einmal durchgeführt wurden, können sich Änderungen an den Cut-Scores nachteilig auf die Kandidaten auswirken.
Die folgenden Fallstudien veranschaulichen drei erfolgreiche Modelle für die virtuelle Standardsetzung, die jeweils einzigartige Herausforderungen und Lösungen beinhalten.
FALLSTUDIE #1 : American Board for Certification in Orthotics, Prosthetics and Pedorthics (ABC)
- Besondere Herausforderungen für kleinvolumige Prüfungsprogramme
FALLSTUDIE #2 : Zertifizierungskommission für Dolmetscher im Gesundheitswesen (CCHI)
- Spezielle Methoden für die CHI ™ -Spanischprüfung
FALLSTUDIE #3 : National-Interstate Council of State Boards of Cosmetology (NIC)
- Spezifische Prozesse und Herausforderungen einer semi-remote Standardeinstellung für praktische Prüfungen
Zum Kontext gibt es 8 Schlüsselschritte in einem typischen Modified Angoff Standard Setting-Prozess:
- KMU-Rekrutierung
- Ausbildung
- Besprechung des minimal qualifizierten oder grenzwertigen Kandidaten
- Bewertungen üben
- Angoff-Wertungen: Runde 1
- Gruppendiskussion über gekennzeichnete Elemente
- Angoff-Wertungen: Runde 2
- Endgültige empfohlene Schnittpunktzahl
FALLSTUDIE #1: American Board for Certification in Orthotics, Prosthetics and Pedorthics (ABC)
ABC bietet mehrere kleinvolumige Prüfungsprogramme in Orthetik, Prothetik und verwandten Disziplinen an. Zertifizierte können technische Berufe ausüben, unterschiedliche Bildungsniveaus aufweisen und einige arbeiten sogar in Einzelhandelsumgebungen.
Remote Standard Setting bot eine Reihe von Vorteilen für die Programme von ABC:
- KMU müssen nicht reisen
- Spart Kosten und Koordinationsaufwand
- Fähigkeit, einen viel breiteren Kreis von KMU zu erschließen
- Fähigkeit, KMU mit kurzer Vorankündigung zu ersetzen
Remote Standard Setting stellte ABC auch vor einzigartige Herausforderungen:
- Sitzungen müssen auf mehrere Tage/Zeiten aufgeteilt werden
- Die Aufrechterhaltung des Engagements von KMU ist eine größere Herausforderung
- Die für die Teilnahme erforderliche Technologie kann Herausforderungen darstellen
- KMU, die im Einzelhandel oder in Kliniken arbeiten, können sich während der Arbeitszeit möglicherweise nicht auf Anrufe einlassen
- KMU haben möglicherweise keinen Zugang zu privatem Raum, um Anrufe zu tätigen
ABC empfiehlt, die oben genannten Herausforderungen für das Engagement anzugehen, indem es proaktiver bei der Vorausplanung vorgeht, einen Zeitplan erstellt, der auf die KMU zugeschnitten ist und möglicherweise außerhalb der normalen Geschäftszeiten liegt, und das Engagement während des gesamten Prozesses aufrechterhält. Erwägen Sie, ein „Technologie-Pregame“-Meeting abzuhalten, um Verbindungen zu testen und Fehler zu beheben, um Vertrauen in virtuelle Meetings und Zusammenarbeit aufzubauen. Erklären Sie potenziellen KMU im Voraus klar das erforderliche Engagement, einschließlich der Notwendigkeit, dass sie sich in einem privaten Umfeld befinden.
Von Natur aus ermöglichen persönliche Standardsetzungs-Meetings eine fokussierte Aufmerksamkeit von KMU, so dass der größte Unterschied bei Remote-Standardsetzungs-Meetings darin besteht, das gleiche Maß an Engagement und Kommunikation zu ermöglichen, das in effektiven, persönlichen Standardsetzungs-Meetings erlebt wird.
FALLSTUDIE #2: Zertifizierungskommission für Dolmetscher im Gesundheitswesen (CCHI)
Die Spanischprüfung von CCHI erfordert spezielle Methoden, um Besonderheiten der Prüfung zu berücksichtigen, wie z. B. die zweisprachige (Spanisch-Englisch) Leistungskomponente, das Audioaufzeichnungsformat und die Tatsache, dass sie von Menschen bewertet wird. Diese Bedingungen stellten die CCHI vor Herausforderungen im Remote-Standardsetzungsprozess, insbesondere bei der Rekrutierung und Schulung von KMU.
Einzigartige Herausforderungen bei der Rekrutierung und Schulung von KMU:
- Sicherheitsbedenken erfordern eine besondere Betonung der persönlichen und beruflichen Integrität von KMU
- Kompetenz von KMU in Online-Plattformen und Interaktion mit Audio
- Erforderliche erhebliche Geschwindigkeit der Breitbandverbindung
- Bereitstellung einer Online-Audioprüfung für KMU (zusätzliche Testkonfiguration; IT-Probleme)
- Gruppeninteraktionen sind etwas abgeschwächt (im Vergleich zu persönlichen Treffen), da außerhalb der geplanten Treffen kein Zugang zu anderen KMU besteht
Zweisprachige Prüfungen und Prüfungen, die ein ähnliches Format erfordern, erfordern einen nicht standardmäßigen Prozess sowohl für Fern- als auch für Präsenzmodalitäten. Bei der Remote-Modalität ist ein Orientierungstreffen erforderlich, um klare Erwartungen festzulegen und Prozess- und Technologieaspekte des Projekts anzusprechen. Es wird höchstwahrscheinlich Bedarf an zusätzlicher Schulung über den menschlichen Bewertungsprozess, Skalen und Bewertungskonventionen geben. In diesem Fall war die Extended Modified Angoff-Methode, ergänzt durch die Beuk Relative-Absolute Compromise-Methode, der effektivste Ansatz, um Cut-Scores zu ermitteln.
FALLSTUDIE #3: National-Interstate Council of State Boards of Cosmetology (NIC)
Das für die NIC-Praktische Prüfung verwendete Remote-Standardsetzungsprotokoll ist ein Beispiel für die spezifischen Prozesse und Herausforderungen einer halbfernen Standardsetzung für praktische Prüfungen. Die praktische NIC-Prüfung ist eine persönliche Leistungsprüfung, die für die Kosmetik und verwandte Bereiche verwendet wird. Es wird in mehreren Bundesstaaten der USA verwendet und in der Regel in Vorstandsbüros oder Hotelkonferenz-/Ballsälen verwaltet. Die Prüfung besteht aus mehreren zeitlich festgelegten Abschnitten, und die Kandidaten sind dafür verantwortlich, ihre eigenen Materialien mitzubringen. Ein Betreuer und Bewerter sind erforderlich, und ein Scheinkandidaten-Durchlauf ist im Standardeinstellungsprozess enthalten.
Der Standardsetzungsprozess für diese Prüfungen wurde aufgrund der Pandemie auf ein hybrides Präsenz-/Remote-Modell umgestellt und war von einer Reihe neuer Herausforderungen begleitet. Vor der Pandemie wurden alle Testentwicklungsaktivitäten persönlich durchgeführt, und die praktische Standardeinstellung war die einzige von NIC festgelegte Testentwicklungsaktivität, die eine persönliche Anwesenheit für den Scheinkandidaten-Durchlauf erforderte. Es stellte sich die Frage, ob die Durchführung des Prüfungsdurchlaufs über ein Webinar in Echtzeit oder ein vorab aufgezeichneter Durchlauf genauso effektiv wäre, wie wenn die KMU ihn persönlich sehen würden. Letztendlich entschied sich NIC dafür, einen neuen Ort für KMU zu finden, an dem sie sich treffen können, und einen Moderator per Webinar beitreten zu lassen.
Der hybride Remote-/persönliche Standardsetzungsprozess umfasste eine vorbereitende KMU-Schulung sowie eine Überprüfung der kritischen Standards und des Zielkandidaten. Ein Raum wurde eingerichtet, um eine Prüfungsumgebung nachzuahmen, und Rollen (wie Aufsichtsperson, Prüfer und Zeitnehmer) wurden für den Scheinkandidaten-Durchlauf zugewiesen. Der Scheinkandidaten-Durchlauf wurde durchgeführt und von KMUs beobachtet, bewertet und anschließend diskutiert. Es folgte eine Q&A-Runde mit dem Scheinkandidaten. Angoff-Ratings wurden von KMU und dem Scheinkandidaten bereitgestellt, bevor es mit einer Gruppendiskussion und Anpassungen endete, und dann wurde ein endgültiger Schnittwert festgelegt. Selbst bei der virtuellen Anpassung der erforderlichen Testentwicklungsaktivitäten gab es mehrere Herausforderungen für den Remote-Standardsetzungsprozess.
Herausforderungen für die Remote-Standardeinstellung
- Begrenzter Zugang zu den Einrichtungen im Voraus
- Technologie und/oder audiovisuelle Geräte können ungewohnt sein
- Das Drucken aktualisierter Materialien ist zeitaufwändiger und möglicherweise kostspieliger
- Die Fähigkeit des Moderators, sachkundigen Input zu geben, ist eingeschränkt
- Hindernisse für KMU-Engagement
- Sichere Verteilung und Kontrolle von Dokumenten
- Einige KMU werden derzeit weniger wahrscheinlich persönlich teilnehmen
- Zusätzliche Verantwortlichkeiten fallen dem Kundenvertreter zu
Virtuelle Standardsetzung kann bei richtiger Ausführung und sorgfältiger Berücksichtigung der Unterschiede zwischen persönlichen und virtuellen Prozessen ein programmsparendes Werkzeug sein.
Wichtige Überlegungen im Remote-Standardeinstellungsprozess :
- KMU-Rekrutierung: Überprüfen Sie die KMU gründlich, um sicherzustellen, dass Sie darauf vertrauen können, dass sie von zu Hause aus auf Testinhalte zugreifen, und rekrutieren Sie mehr KMU als nötig im Falle einer Abwanderung in letzter Minute.
- Kommunikations- und SME-Engagement-Management vor der Veranstaltung: Stellen Sie den Umfang des Engagements klar dar, damit KMU nicht überrascht sind, wie viel Zeit und Mühe eine Standardeinstellung erfordert.
- KMU-Engagement während der Veranstaltung: Überlegen Sie, wie Sie die Teilnahme an allen Punkten des Prozesses optimieren können, z.
- Technologie: Skizzieren Sie die Anforderungen im Voraus klar und erwägen Sie ein „Technologie-Pre-Game“-Meeting, um die volle Teilnahme aller sicherzustellen. Stellen Sie sicher, dass die moderierungsgesteuerte Technologienutzung und -übergänge nahtlos sind, damit keine Zeit verschwendet wird.
- Sicherheit: Berücksichtigen Sie, dass die Remote-Standardeinstellung ein erhöhtes Risiko in sich birgt. Stellen Sie sicher, dass KMU NDAs unterzeichnen und ihre Verantwortung verstehen, und überprüfen Sie sie während des Einstellungsprozesses gründlich.
- Kreative Lösungen für einzigartige Situationen/Prüfungen: Jede Prüfung ist einzigartig, aber es ist möglich, die virtuelle Standardsetzungsmodalität an jede Situation anzupassen – auch wenn für eine praktische Prüfung ein Hybridmodell benötigt wird!
Und zum Schluss die wichtigste Überlegung:
Validität: Werden Sie in einem virtuellen Modell das gleiche Maß an Validität des Standardsetzungsprozesses erreichen? Bekommen Sie das gleiche Produkt (dh die gleiche Schnittpunktzahl), als wenn Sie die Standardeinstellung persönlich durchführen würden?