«Η εγκυρότητα αναφέρεται στο βαθμό στον οποίο τα στοιχεία και η θεωρία υποστηρίζουν τις ερμηνείες των βαθμολογιών των τεστ για προτεινόμενες χρήσεις των τεστ. Ως εκ τούτου, η εγκυρότητα είναι το πιο θεμελιώδες στοιχείο για την ανάπτυξη δοκιμών και την αξιολόγηση δοκιμών.» ( Standards for Educational and Psychological Testing , σελ. 11)
Από τότε που ξεκίνησε η πανδημία και ο κλάδος δοκιμών γνώρισε μια μεγάλη αναταραχή, πολλές συζητήσεις και έρευνες επικεντρώθηκαν γύρω από την εγκυρότητα των δοκιμών εξ αποστάσεως προστασίας έναντι των δοκιμών με τούβλα και κονιάματα, αλλά έχουμε ακούσει λιγότερα για την εγκυρότητα των διαδικασιών ανάπτυξης εξ αποστάσεως δοκιμών έναντι των διαδικασιών ανάπτυξης προσωπικών δοκιμών. Εάν πραγματοποιούσατε τις περισσότερες από τις συναντήσεις ανάπτυξης δοκιμών αυτοπροσώπως, αλλά έχετε μεταφερθεί σε εικονικό, έχετε κάνει ένα βήμα πίσω για να εξετάσετε την εγκυρότητα των διαδικασιών σας και εάν εξακολουθείτε να λαμβάνετε ή όχι το ίδιο αποτέλεσμα εκτελώντας τις εικονικά;
Στον κόσμο της ανάπτυξης δοκιμών, η Standard Setting είναι ένα από τα πιο σημαντικά στοιχεία. Η διαδικασία Standard Setting καθορίζει τι είναι η επιτυχία και τι σημαίνει ότι κάποιος έχει περάσει την εξέταση. Η τυπική ρύθμιση συνδέεται απευθείας με την εγκυρότητα, η οποία καθορίζει εάν έχουμε τα στοιχεία που να υποστηρίζουν τη χρήση βαθμολογιών δοκιμών για τη λήψη αποφάσεων.
Μεταξύ των δραστηριοτήτων ανάπτυξης δοκιμών, η Τυπική ρύθμιση είναι μοναδική πρόκληση για τη διευκόλυνση εξ αποστάσεως λόγω των ακόλουθων εκτιμήσεων:
Προβλήματα ασφάλειας : Οι ειδικοί σε θέματα (ΜΜΕ) έχουν πλήρη πρόσβαση στο περιεχόμενο των εξετάσεων.
Πολυπλοκότητα : Η διαδικασία μπορεί να είναι δύσκολο να εξηγηθεί και να αφομοιωθεί.
Δέσμευση υψηλού επιπέδου : Η ρύθμιση προτύπων ποιότητας απαιτεί το υψηλότερο επίπεδο δέσμευσης ΜΜΕ. Η μερική ή παθητική συμμετοχή θα επιτρέψει να παραβλεφθούν και να μην εξεταστούν σημαντικές διαδικασίες και ζητήματα.
Δεν αναθεωρείται εύκολα : Μόλις ολοκληρωθεί, το πρότυπο σύνολο για μια δοκιμή είναι πολύ δύσκολο και κουραστικό να αλλάξει. Οι καθιερωμένες βαθμολογίες περικοπής απαιτούν τεράστια προσπάθεια για ενημέρωση και, αφού εφαρμοστούν, τυχόν αλλαγές στη μείωση των βαθμολογιών ενδέχεται να επηρεάσουν αρνητικά τους υποψηφίους.
Οι παρακάτω περιπτωσιολογικές μελέτες απεικονίζουν τρία επιτυχημένα μοντέλα εικονικής τυπικής ρύθμισης, το καθένα από τα οποία περιλαμβάνει μοναδικές προκλήσεις και λύσεις.
- Ειδικές προκλήσεις για προγράμματα εξετάσεων μικρού όγκου
ΜΕΛΕΤΗ ΠΕΡΙΠΤΩΣΗΣ #2 : Επιτροπή Πιστοποίησης για Διερμηνείς Υγείας (CCHI)
- Ειδικές μέθοδοι για την εξέταση CHI ™ -Ισπανικά
ΜΕΛΕΤΗ ΠΕΡΙΠΤΩΣΗΣ #3 : Εθνικό-Διακρατικό Συμβούλιο Κρατικών Συμβουλίων Κοσμετολογίας (NIC)
- Συγκεκριμένες διαδικασίες και προκλήσεις ενός ημι-απομακρυσμένου προτύπου για πρακτικές εξετάσεις
- Προσλήψεις ΜΜΕ
- Εκπαίδευση
- Συζήτηση του υποψηφίου με ελάχιστα προσόντα ή οριακά
- Βαθμολογίες εξάσκησης
- Αξιολογήσεις Angoff: γύρος 1
- Ομαδική συζήτηση των επισημασμένων στοιχείων
- Βαθμολογίες Angoff: γύρος 2
- Τελική προτεινόμενη βαθμολογία περικοπής
ΜΕΛΕΤΗ ΠΕΡΙΠΤΩΣΗΣ #1: Αμερικανικό Συμβούλιο Πιστοποίησης στην Ορθωτική, Προσθετική και Παιδορθική (ABC)
Το ABC διαθέτει πολλαπλά προγράμματα εξετάσεων μικρού όγκου σε ορθωτική, προσθετική και συναφείς κλάδους. Οι πιστοποιητές μπορεί να εργάζονται σε τεχνικές εργασίες, να έχουν διαφορετικά επίπεδα εκπαίδευσης και μερικοί να εργάζονται ακόμη και σε χώρους λιανικής.
Η απομακρυσμένη τυπική ρύθμιση παρείχε μια σειρά από πλεονεκτήματα για τα προγράμματα του ABC:
- Οι ΜΜΕ δεν χρειάζεται να ταξιδεύουν
- Εξοικονομεί κόστος και προσπάθεια συντονισμού
- Δυνατότητα αξιοποίησης μιας πολύ ευρύτερης εκλογικής περιφέρειας ΜΜΕ
- Δυνατότητα αντικατάστασης ΜΜΕ με ελάχιστη προειδοποίηση
Το Remote Standard Setting παρουσίασε επίσης το ABC με μοναδικές προκλήσεις:
- Οι συνεδρίες πρέπει να χωριστούν σε πολλές ημέρες/χρόνες
- Η διατήρηση της δέσμευσης των ΜΜΕ είναι πιο δύσκολη
- Η τεχνολογία που απαιτείται για τη συμμετοχή μπορεί να παρουσιάσει προκλήσεις
- Οι ΜΜΕ που εργάζονται σε καταστήματα λιανικής ή κλινικές μπορεί να μην μπορούν να δεσμευτούν σε κλήσεις κατά τη διάρκεια των ωρών εργασίας
- Οι ΜΜΕ ενδέχεται να μην έχουν πρόσβαση σε ιδιωτικό χώρο για να είναι σε κλήσεις
Το ABC συνιστά να αντιμετωπιστούν οι παραπάνω προκλήσεις όσον αφορά τη δέσμευση με το να είστε πιο προορατικοί στον μελλοντικό προγραμματισμό, δημιουργώντας ένα χρονοδιάγραμμα που είναι προσαρμοσμένο στις ΜΜΕ και μπορεί να είναι εκτός του κανονικού ωραρίου λειτουργίας και διατηρώντας τη δέσμευση σε όλη τη διαδικασία. Σκεφτείτε το ενδεχόμενο να πραγματοποιήσετε μια συνάντηση «τεχνολογίας πριν από το παιχνίδι» για να δοκιμάσετε τις συνδέσεις και να αντιμετωπίσετε προβλήματα, ώστε να δημιουργήσετε εμπιστοσύνη στη συνάντηση και τη συνεργασία εικονικά. Εξηγήστε ξεκάθαρα την απαιτούμενη δέσμευση εκ των προτέρων προς τις πιθανές ΜΜΕ, συμπεριλαμβανομένης της ανάγκης να βρίσκονται σε ιδιωτικό χώρο.
Σχεδιασμένα, οι προσωπικές συναντήσεις καθορισμού προτύπων επιτρέπουν την εστίαση της προσοχής από τις ΜΜΕ, επομένως οι πιο απαιτητικές συναντήσεις καθορισμού προτύπων από απόσταση που υπάρχουν είναι να διευκολύνουν το ίδιο επίπεδο δέσμευσης και επικοινωνίας με αποτελεσματικές, αυτοπροσώπως συναντήσεις καθορισμού προτύπων.
ΜΕΛΕΤΗ ΠΕΡΙΠΤΩΣΗΣ #2: Επιτροπή Πιστοποίησης για Διερμηνείς Υγείας (CCHI)
Η εξέταση Ισπανικών του CCHI απαιτεί ειδικές μεθόδους για την αντιμετώπιση των ιδιαιτεροτήτων της εξέτασης, όπως η δίγλωσση (ισπανικά-αγγλική) συνιστώσα απόδοσης, η μορφή εγγραφής ήχου και το γεγονός ότι έχει βαθμολογηθεί από τον άνθρωπο. Αυτές οι συνθήκες δημιούργησαν προκλήσεις για τους CCHI στη διαδικασία καθορισμού προτύπων εξ αποστάσεως, ειδικά στην πρόσληψη και κατάρτιση ΜΜΕ.
Μοναδικές προκλήσεις στις προσλήψεις και την κατάρτιση ΜΜΕ:
- Οι ανησυχίες για την ασφάλεια απαιτούν ιδιαίτερη έμφαση στην προσωπική και επαγγελματική ακεραιότητα των ΜΜΕ
- Γραμματισμός των ΜΜΕ σε διαδικτυακές πλατφόρμες και αλληλεπίδραση με τον ήχο
- Απαιτείται σημαντική ταχύτητα ευρυζωνικής σύνδεσης
- Παροχή ηλεκτρονικής εξέτασης ήχου σε ΜΜΕ (επιπλέον δοκιμαστική διαμόρφωση, ζητήματα πληροφορικής)
- Οι ομαδικές αλληλεπιδράσεις είναι κάπως αποδυναμωμένες (σε σύγκριση με τις προσωπικές) καθώς δεν υπάρχει πρόσβαση σε άλλες ΜΜΕ εκτός προγραμματισμένων συναντήσεων
Οι δίγλωσσες εξετάσεις και οι εξετάσεις που απαιτούν παρόμοια μορφή απαιτούν μια μη τυπική διαδικασία τόσο για εξ αποστάσεως όσο και για διαπροσωπικές διαδικασίες. Στον απομακρυσμένο τρόπο, απαιτείται μια συνάντηση προσανατολισμού για να τεθούν σαφείς προσδοκίες και να αντιμετωπιστούν πτυχές διαδικασίας και τεχνολογίας του έργου. Θα υπάρξει περισσότερο από πιθανόν ανάγκη για πρόσθετη εκπαίδευση σχετικά με τη διαδικασία αξιολόγησης του ανθρώπου, τις κλίμακες και τις συμβάσεις αξιολόγησης. Σε αυτήν την περίπτωση, η μέθοδος Extended Modified Angoff που συμπληρώθηκε από τη μέθοδο Beuk Relative-Absolute Compromise ήταν η πιο αποτελεσματική προσέγγιση για τον προσδιορισμό των βαθμολογιών περικοπής.
ΜΕΛΕΤΗ ΠΕΡΙΠΤΩΣΗΣ #3: Εθνικό-Διακρατικό Συμβούλιο Κρατικών Συμβουλίων Κοσμετολογίας (NIC)
Το πρωτόκολλο απομακρυσμένης ρύθμισης προτύπων που χρησιμοποιείται για την πρακτική εξέταση NIC είναι ένα παράδειγμα των ειδικών διαδικασιών και των προκλήσεων μιας ημι-απομακρυσμένης ρύθμισης προτύπων για πρακτικές εξετάσεις. Το NIC Practical Examination είναι μια αυτοπροσώπως εξέταση απόδοσης που χρησιμοποιείται για την Κοσμετολογία και συναφείς τομείς. Χρησιμοποιείται σε πολλές πολιτείες στις Η.Π.Α. και συνήθως χορηγείται σε γραφεία του διοικητικού συμβουλίου ή σε αίθουσες συνεδρίων/συσκέψεων ξενοδοχείων. Η εξέταση αποτελείται από πολλαπλές ενότητες χρονομετρημένες και οι υποψήφιοι είναι υπεύθυνοι να φέρουν τις δικές τους προμήθειες. Απαιτούνται επόπτες και βαθμολογητές, ενώ στη διαδικασία τυπικής ρύθμισης περιλαμβάνεται μια εικονική διεκπεραίωση υποψηφίου.
Η τυπική διαδικασία ρύθμισης για αυτές τις εξετάσεις άλλαξε σε ένα υβριδικό μοντέλο αυτοπροσώπως/απομακρυσμένο λόγω της πανδημίας και συνοδεύτηκε από μια σειρά από νέες προκλήσεις. Πριν από την πανδημία, όλες οι δραστηριότητες ανάπτυξης δοκιμών πραγματοποιούνταν αυτοπροσώπως και η πρακτική ρύθμιση προτύπων ήταν η μόνη δραστηριότητα ανάπτυξης δοκιμών που προσδιορίστηκε από την NIC ότι απαιτούσε προσωπική παρουσία για την προσποίηση υποψηφίου. Υπήρχε κάποιο ερώτημα σχετικά με το εάν η διεξαγωγή της εξέτασης μέσω διαδικτυακού σεμιναρίου σε πραγματικό χρόνο ή μια προηχογραφημένη παρουσίαση θα ήταν τόσο αποτελεσματική όσο οι ΜΜΕ που θα το δουν αυτοπροσώπως. Τελικά, η NIC επέλεξε να βρει μια νέα τοποθεσία για να συναντηθούν οι ΜΜΕ και να συμμετάσχει ένας συντονιστής μέσω διαδικτυακού σεμιναρίου.
Η υβριδική διαδικασία ρύθμισης προτύπων εξ αποστάσεως/ατομικά περιελάμβανε μια προκαταρκτική εκπαίδευση ΜΜΕ, καθώς και ανασκόπηση των κρίσιμων προτύπων και του υποψηφίου-στόχου. Δημιουργήθηκε μια αίθουσα για να μιμείται ένα σκηνικό εξέτασης και ρόλοι (όπως επιθεωρητής, εξεταστές και χρονομέτρης) ανατέθηκαν για τον υποψήφιο υποψήφιο. Η παρουσίαση του εικονικού υποψηφίου πραγματοποιήθηκε και παρατηρήθηκε, βαθμολογήθηκε και στη συνέχεια συζητήθηκε από τις ΜΜΕ. Ακολούθησε μια συνεδρία Q&A με την υποψήφια υποψήφια. Οι βαθμολογίες Angoff παρέχονταν από τις ΜΜΕ και τον υποψήφιο υποψήφιο πριν τελειώσουν με μια ομαδική συζήτηση και προσαρμογές, και στη συνέχεια καθορίστηκε μια τελική βαθμολογία. Ακόμη και με την εικονική προσαρμογή των απαιτούμενων δραστηριοτήτων ανάπτυξης δοκιμών, υπήρχαν αρκετές προκλήσεις στη διαδικασία απομακρυσμένης ρύθμισης προτύπων.
Προκλήσεις για την απομακρυσμένη τυπική ρύθμιση
- Περιορισμένη πρόσβαση στις εγκαταστάσεις εκ των προτέρων
- Η τεχνολογία ή/και ο οπτικοακουστικός εξοπλισμός ενδέχεται να μην είναι εξοικειωμένοι
- Η εκτύπωση ενημερωμένων υλικών είναι πιο χρονοβόρα και πιθανώς δαπανηρή
- Η ικανότητα του διευκολυντή να παρέχει πληροφορίες με γνώσεις είναι περιορισμένη
- Εμπόδια στη δέσμευση των ΜΜΕ
- Ασφαλής διανομή και έλεγχος εγγράφων
- Ορισμένες ΜΜΕ είναι λιγότερο πιθανό να παρευρεθούν αυτοπροσώπως αυτή τη στιγμή
- Πρόσθετες ευθύνες βαρύνουν τον Εκπρόσωπο Πελατών
Η εικονική τυπική ρύθμιση μπορεί να είναι ένα εργαλείο εξοικονόμησης προγράμματος όταν εκτελείται σωστά, με προσεκτική εξέταση των διαφορών μεταξύ διαπροσωπικών και εικονικών διαδικασιών.
Βασικά ζητήματα στη διαδικασία απομακρυσμένης τυπικής ρύθμισης :
- Προσλήψεις ΜΜΕ: Ελέγχετε διεξοδικά τις ΜΜΕ για να βεβαιωθείτε ότι μπορείτε να τους εμπιστευτείτε την πρόσβαση σε περιεχόμενο δοκιμής από το σπίτι και να στρατολογήσετε περισσότερες ΜΜΕ από όσες χρειάζονται σε περίπτωση φθοράς την τελευταία στιγμή.
- Επικοινωνία και διαχείριση δέσμευσης ΜΜΕ πριν από την εκδήλωση: Περιγράψτε ξεκάθαρα το επίπεδο δέσμευσης, έτσι ώστε οι ΜΜΕ να μην εκπλήσσονται από το πόσος χρόνος και προσπάθεια απαιτείται σε ένα Πρότυπο Ρύθμιση.
- Δέσμευση ΜΜΕ κατά τη διάρκεια της εκδήλωσης: Σκεφτείτε πώς μπορείτε να βελτιστοποιήσετε τη συμμετοχή σε όλα τα σημεία της διαδικασίας, όπως η απαίτηση ή η σθεναρή ενθάρρυνση της χρήσης της κάμερας για αντικατοπτρισμό της προσωπικής δέσμευσης.
- Τεχνολογία: Περιγράψτε ξεκάθαρα τις απαιτήσεις εκ των προτέρων και σκεφτείτε μια συνάντηση «τεχνολογίας πριν από το παιχνίδι» για να εξασφαλίσετε την πλήρη συμμετοχή όλων. Βεβαιωθείτε ότι η χρήση και οι μεταβάσεις τεχνολογίας που βασίζονται σε διευκολυντές είναι απρόσκοπτες, ώστε να μην χάνεται χρόνος.
- Ασφάλεια: Σκεφτείτε ότι υπάρχει αυξημένο επίπεδο κινδύνου που είναι εγγενές στην απομακρυσμένη Τυπική ρύθμιση. Βεβαιωθείτε ότι οι ΜΜΕ υπογράφουν NDA και κατανοούν τις ευθύνες τους και εξετάζουν διεξοδικά κατά τη διαδικασία πρόσληψης.
- Δημιουργικές λύσεις για μοναδικές καταστάσεις/εξετάσεις: Κάθε εξέταση είναι μοναδική, αλλά είναι δυνατό να προσαρμόσετε την εικονική μέθοδο ρύθμισης προτύπων σε κάθε κατάσταση – ακόμα κι αν χρειάζεται ένα υβριδικό μοντέλο για μια πρακτική εξέταση!
Και τελικά, η πιο σημαντική σκέψη:
Εγκυρότητα: Θα έχετε το ίδιο επίπεδο εγκυρότητας διαδικασίας τυπικής ρύθμισης σε ένα εικονικό μοντέλο; Θα λάβετε το ίδιο προϊόν (δηλαδή, την ίδια βαθμολογία περικοπής) όπως θα κάνατε εάν πραγματοποιούσατε την τυπική ρύθμιση αυτοπροσώπως;