Πώς να οικοδομήσουμε την ασφάλεια και την ευελιξία
Μερικοί πελάτες προτιμούν τις εξετάσεις που δεν είναι σταθερές μορφές, αλλά αυτό μπορεί να δημιουργηθεί αυτόματα και τυχαία από μια τράπεζα αντικειμένων τη στιγμή που ο υποψήφιος στέκεται κάτω για έλεγχο. Η Prometric έχει τη δυνατότητα να αναπτύξει τράπεζες εξετάσεων που υποστηρίζουν πολλούς τύπους τραπεζικών δοκιμών.
Γραμμική δοκιμή επί πτήσης (LOFT).
Το LOFT είναι η συναρμολόγηση προκαθορισμένων μορφών στο κέντρο δοκιμών λίγο πριν ή κατά τη διάρκεια της δοκιμής. Το LOFT (Εικόνα 2) χρησιμοποιείται για τη δημιουργία μοναδικών συγκρίσιμων σταθερών μορφών για κάθε δοκιμαστή. Το LOFT είναι δυνατό όταν όλα τα στοιχεία δοκιμάζονται και τοποθετηθούν σε κοινή κλίμακα. Για να είναι πρακτικό, το LOFT πρέπει να χορηγείται χρησιμοποιώντας δοκιμές με βάση υπολογιστή (CBT).
Η κατασκευή της φόρμας δοκιμής θα έχει άμεση επίδραση στην κατασκευή της ομάδας δοκιμών για δοκιμές LOFT. Οι περισσότερες ομάδες στοιχείων για το LOFT περιέχουν τουλάχιστον τουλάχιστον 10 φορές τον αριθμό των στοιχείων ελέγχου που απαιτούνται για οποιαδήποτε φόρμα. Οι συγκεντρώσεις αντικειμένων συγκεντρώνονται χρησιμοποιώντας στατιστικές και προδιαγραφές περιεχομένου με τόσο μεγάλη προσοχή στη λεπτομέρεια σαν να συναρμολογούσε ένα μόνο τεστ (Ariel, van der Linden, & Veldkamp, 2006). Κάθε ομάδα αντικειμένων κατασκευάζεται από ένα κουτί στοιχείων που περιέχει πολλά δοκιμασμένα στοιχεία με στατιστικές στοιχείων και προδιαγραφές περιεχομένου (Way, 1998) καθώς και δείκτες για το περιεχόμενο και το αλληλεπικαλυπτόμενο περιεχόμενο. Οι κάδοι αντικειμένων αποτελούν τη βάση για τη συγκέντρωση ομάδων αντικειμένων για αρχιτεκτονικές CBT που απαιτούν πολλά αντικείμενα, όπως το LOFT.
LOFT με Δοκιμαστικές Μονάδες.
Το LOFT σε δοκιμαστικό επίπεδο χρησιμοποιεί προ-συναρμολογημένα μοναδικά δοκιμαστικά αντί για μεμονωμένα αντικείμενα για την κατασκευή εξατομικευμένων μορφών στο κέντρο δοκιμών. Κάθε δοκιμή περιέχει μοναδικά αντικείμενα που ανήκουν μόνο σε ένα δοκιμαστικό, αλλά έχουν κατασκευαστεί για να αντιπροσωπεύουν ολόκληρη την προδιαγραφή δοκιμής (Εικόνα 3) ή μπορούν να επικεντρωθούν σε διαφορετικές ενότητες του σχεδίου δοκιμής (Σχήμα 4). Τα περισσότερα δοκίμια περιέχουν 15 έως 25 τεμάχια το καθένα ανάλογα με τις προδιαγραφές των δοκιμών. Στην πρώτη περίπτωση, μια τυχαία επιλεγμένη ομάδα παράλληλων δοκιμαστών συνδυάζεται για να δημιουργήσει την τελική μορφή. Στην τελευταία περίπτωση, επιλέγεται τυχαία μια δοκιμή για κάθε περιοχή περιεχομένου και συνδυάζεται για να δημιουργηθεί η τελική μορφή.
Τα δοκίμια μπορούν να κατασκευαστούν χρησιμοποιώντας μοντέλα θεωρίας αντίδρασης κλασικής, Rasch ή αντικειμένων. Το LOFT με δοκιμαστικά είναι κατάλληλο όταν τα στοιχεία δοκιμάζονται και όταν (α) το σχέδιο δοκιμής είναι αρκετά απλό για να δειγματιστεί με ένα μόνο δοκιμαστικό δείγμα ή / και (β) η δεξαμενή είναι αρκετά μεγάλη για να δημιουργήσει πολλαπλά παράλληλα δοκιμαστικά. Το LOFT με δοκιμαστικά πρέπει να χορηγηθεί με χρήση CBT.
Η απαίτηση όγκου αντικειμένων για LOFT με δοκιμαστικά, όπου αυτά τα δοκιμαστικά είναι ισοδύναμα σε περιεχόμενο και στατιστικά χαρακτηριστικά σε κάθε άλλο δοκιμαστικό δείγμα στην ομάδα είναι περίπου πέντε μορφές δοκιμών πλήρους μήκους. Φυσικά, περισσότερα αντικείμενα μεταφράζονται σε περισσότερους δυνατούς συνδυασμούς μοναδικών μορφών δοκιμής, με το ίδιο δοκιμαστικό δείγμα να εμφανίζεται ενδεχομένως σε πολλές διαφορετικές αλλά μοναδικές μορφές δοκιμής. Για το LOFT με δοκιμαστικά που συναρμολογούνται σε διαφορετικές ενότητες του σχεδίου δοκιμής, οι απαιτήσεις του στοιχείου αυξάνονται σε περίπου δέκα μορφές δοκιμής πλήρους μήκους, λόγω των διαφορών στον αριθμό των ερωτήσεων που απαιτούνται σε κάθε τμήμα του σχεδίου.
Οι κάδοι αντικειμένων είναι μεγάλες συλλογές δοκιμασμένων ερωτήσεων (Way, 1998) που χρησιμοποιούνται για την κατασκευή των ομάδων αντικειμένων LOFT που στη συνέχεια απελευθερώνονται στο πεδίο για διοίκηση. Οι πισίνες συχνά περιστρέφονται μέσα και έξω από διαφορετικά παράθυρα διαχείρισης για να βοηθήσουν στον έλεγχο της έκθεσης και ως μέτρο που αποσκοπεί στη διατήρηση της ασφάλειας των δοκιμών και της ακεραιότητας των αποτελεσμάτων (Ariel, Veldkamp, & van der Linden, 2004). Ωστόσο, εάν υπάρξει συντονισμένη προσπάθεια εκ μέρους ορισμένων δοκιμαστών να παραβιάσουν την ασφάλεια του περιεχομένου δοκιμής, αυτά τα μέτρα περιστροφής δεν είναι άτρωτα.
Σχήμα 3. LOFT με Testlets σε ολόκληρο το Blueprint
Σχήμα 4. LOFT με τις δοκιμασίες κατά τμήματα
Ηλεκτρονική προσαρμοστική δοκιμή (CAT-FL, CAT-VL)
Μια αυτοματοποιημένη προσαρμοστική δοκιμή διαχειρίζεται στοιχεία που βρίσκονται κοντά στο επίπεδο ικανότητας του επιλεγέντος δοκιμαστή (βλ. Εικόνα 5). Αυτό δημιουργεί πιο αποτελεσματική μέτρηση από ό, τι είναι δυνατόν με μη προσαρμοστικές μορφές, αλλά δημιουργεί την αντίληψη μεταξύ των δοκιμαστών ότι οι δοκιμές CAT είναι πιο δύσκολες σε σύγκριση με τις δοκιμές που κατασκευάζονται ως σταθερές μορφές. Αυτή η αντίληψη οφείλεται στην πραγματικότητα ότι τα στοιχεία που επιλέγονται για κάθε εξεταστή είναι προσανατολισμένα στην επάρκεια του συγκεκριμένου ατόμου όπως καθορίζεται από τα προηγούμενα στοιχεία που διαχειρίστηκαν στη δοκιμαστική συνεδρία. Αυτή η αποτελεσματικότητα μέτρησης μπορεί να αξιοποιηθεί για να δημιουργηθεί μια δοκιμή σταθερού μήκους (CAT-FL), η οποία αποδίδει ακριβέστερες βαθμολογίες από μια μη προσαρμοστική μορφή ή μια δοκιμασία μεταβλητού μήκους (CAT-VL) που είναι μικρότερη από μια μη προσαρμοστική μορφή συγκρίσιμη ακρίβεια. Το CAT είναι το πλέον κατάλληλο όταν απαιτείται ακριβής μέτρηση σε όλη την κλίμακα ικανότητας. Ο αριθμός των σωστών ή αθροισμένων βαθμολογιών δεν θα λειτουργήσει με προσαρμοστικό έλεγχο: Πρέπει να χρησιμοποιηθούν μέθοδοι βαθμολόγησης Rasch ή IRT. Αυτές λαμβάνουν υπόψη τις αμετάβλητες παραμέτρους Rasch ή θεωρίας απόκρισης αντικειμένων κάθε στοιχείου που απαντάται σωστά ή λανθασμένα. Το CAT πρέπει να χορηγείται χρησιμοποιώντας CBT.
Σχήμα 5. Ηλεκτρονική δοκιμή προσαρμογής
Ηλεκτρονική Δοκιμή Μάστερ (CMT)
Ένα πρόβλημα για τις επιτροπές διαπιστευτηρίων που χρησιμοποιούν γραμμικές ή CAT μεθόδους διοίκησης είναι ότι ορισμένες αποφάσεις pass-fail εκτελούνται λανθασμένα χωρίς καμία μέθοδο για τον προσδιορισμό ή τον περιορισμό αυτού του λάθους απόφασης. Τα λάθη ταξινόμησης, που αντικατοπτρίζουν αυτές τις λανθασμένες αποφάσεις pass-fail, περιλαμβάνουν δύο τύπους σφαλμάτων: (A) Ψευδείς θετικές, που αφορούν τη μετάβαση ατόμων που θα αποτύχουν και (Β) ψευδώς αρνητικά, που συνεπάγονται αποτυχημένα άτομα που πρέπει να περάσουν.
Αυτές οι λανθασμένες αποφάσεις συμβαίνουν επειδή οι δοκιμές δεν είναι σχεδόν ποτέ τέλεια μέτρα των γνώσεων και των δεξιοτήτων του ενδιαφέροντος. Οι δοκιμαστικές ερωτήσεις ή οι προβληματικές καταστάσεις είναι μόνο ένα δείγμα όλων εκείνων που σχετίζονται με την εργασία που σας ενδιαφέρει που θα μπορούσαν να ζητηθούν και εκείνες που ζητήθηκαν μπορεί να δώσουν μια παραπλανητική εικόνα των δυνατοτήτων κάποιων υποψηφίων. Τυπικές λύσεις που δεν βασίζονται σε υπολογιστές για την αποφυγή λανθασμένων αποφάσεων σχετικά με την κατάσταση υποβάθμισης ενός υποψηφίου περιλαμβάνουν την αύξηση ή μείωση της βαθμολογίας αποκοπής για μια δοκιμή σταθερού μήκους. Αυτό έχει ως αποτέλεσμα το μέγεθος του σημαντικότερου σφάλματος ταξινόμησης να αυξάνεται ή να μειώνεται στην επιθυμητή κατεύθυνση, αλλά το μέγεθος του άλλου σφάλματος ταξινόμησης αυξάνεται ή μειώνεται στην αντίθετη κατεύθυνση. Ο υπολογιστικός έλεγχος μάστερ σχεδιάστηκε για να εκμεταλλευτεί τον υπολογιστή και να λύσει αυτό το πρόβλημα λανθασμένης απόφασης για πελάτες, ενώ δεν απαιτεί τους μεγάλους πόρους που απαιτεί η CAT.
Σε μια αυτοματοποιημένη δοκιμή μάστερ (CMT) , ορισμένοι υποψήφιοι διοικούνται με περισσότερες ερωτήσεις από άλλους υποψηφίους. Τα ερωτήματα σε μια εξέταση CMT υποδιαιρούνται σε μικρότερες ομάδες σταθερού μήκους ίσου αριθμού μη επικαλυπτόμενων ερωτήσεων που καλύπτουν όλο το περιεχόμενο που ορίζεται στις προδιαγραφές των δοκιμών. Αυτές είναι οι ίδιες προδιαγραφές δοκιμής που προέκυψαν από μια τυποποιημένη ανάλυση εργασίας. Καλούμε αυτές τις μικρές ομάδες ερωτήσεων testlets. Το μέγεθος των δοκιμασιών που χρησιμοποιούνται σε κάθε εξέταση CMT σχετίζεται άμεσα με τον μικρότερο αριθμό ερωτήσεων που μπορούν να τεθούν και εξακολουθούν να καλύπτουν αναλογικά το σύνολο του σχεδίου δοκιμών. (Έχουμε διαπιστώσει ότι οπουδήποτε από 15 έως 25 ερωτήσεις ανά δοκιμή ταιριάζουν με τους πίνακες προδιαγραφών των δοκιμών των περισσότερων εξετάσεων.) Σε μια εξέταση CMT, κάθε δοκιμή θα κατασκευαστεί έτσι ώστε να είναι ίδια με κάθε άλλο δοκιμαστικό μέσο σε μέση δυσκολία και διάδοση βαθμολογιών το καθένα θα σχεδιάστηκε έτσι ώστε να καλύπτει το σύνολο του σχεδίου περιεχομένου δοκιμής με τον ίδιο τρόπο.
Σε μια εξέταση CMT, όλοι οι υποψήφιοι υποβάλλονται πρώτα σε δοκιμασία βάσης. (Μπορούμε να σκεφτούμε τη βασική δοκιμασία ως το πρώτο στάδιο μιας διαδικασίας δοκιμής σε πολλά στάδια.) Η δοκιμή βάσης αποτελείται από πολλαπλά πειράματα που επιλέγονται τυχαία από μια δεξαμενή αποτελούμενη από μη ισορροπημένα ίσα δοκιμαστικά. Οι υποψήφιοι που εκτελούν σε ακραία επίπεδα (υψηλή ή χαμηλή) σε αυτή τη βασική δοκιμή περάσουν ή αποτύχουν αμέσως μετά την ολοκλήρωσή τους. Οι υποψήφιοι με ενδιάμεση απόδοση - για τους οποίους είναι πιθανότερο ένα σφάλμα εσφαλμένης απόφασης - διαχειρίζονται πρόσθετες ερωτήσεις με τη μορφή ενιαίων δοκιμαστικών δοκιμών, επιτρέποντάς τους να έχουν επιπλέον ευκαιρίες να αποδείξουν ότι πληρούν τα καθιερωμένα πρότυπα. Αυτή η διαδικασία διαχείρισης πρόσθετων δοκιμασιών σε εκείνους τους υποψηφίους για τους οποίους είναι πιθανότερο ένα εσφαλμένο σφάλμα απόφασης συνεχίζει μέχρι να επιτευχθεί ο έλεγχος πλήρους μήκους, οπότε μια τελική απόφαση pass-fail γίνεται ταυτόσημη με εκείνη που έγινε σε γραμμική εξέταση πλήρους μήκους . Αυτή η τελική βαθμολογία πλήρους μήκους προσδιορίζεται με τον ίδιο τρόπο που προσδιορίζεται μια γραμμική βαθμολογία τερματισμού δοκιμής. Εκτελείται μια μελέτη βαθμολόγησης και ο πελάτης αποφασίζει για το σκορ αποκοπής.
Ένα παράδειγμα παρέχεται στο συνοδευτικό σχήμα παρακάτω για τον τρόπο με τον οποίο ένας εξεταστής μπορεί να προχωρήσει μέσω του CMT. Παρατηρήστε ότι υπάρχουν επτά στάδια δοκιμών και ότι μετά το πρώτο στάδιο, ο υποψήφιος βρίσκεται ακόμα στην περιοχή "συνεχής" και έτσι λαμβάνει ένα επιπλέον δοκιμαστικό. Αυτή η διαδικασία δοκιμής συνεχίζεται σε αυτό το παράδειγμα μέχρι το τρίτο στάδιο, όταν ο εξεταστής πέσει στην περιοχή αποτυχίας και σταματά η δοκιμή.
Ένα πλεονέκτημα της CMT πάνω από τις γραμμικές δοκιμές είναι ότι επιτρέπει στον πελάτη να καθορίσει τη σχετική ανοχή για να κάνει είτε λάθος απόφασης. Το σχήμα των περιοχών pass-continue-fail που φαίνονται στο σχήμα 1 θα αλλάξει με βάση αυτές τις αποφάσεις πελάτη. Εκτός από τη ρύθμιση της βαθμολογίας αποκοπής, ο πελάτης αποφασίζει ποιο σφάλμα απόφασης είναι πιο σοβαρό ή αν είναι εξίσου σοβαρό. Η προκαταρκτική μας έρευνα δείχνει ότι μπορούμε να ταξινομήσουμε τους περισσότερους υποψηφίους χρησιμοποιώντας το μοντέλο CMT και μέσα σε αυτές τις ανοχές (απώλειες) που εκφράζει ο πελάτης.
Ένα δεύτερο πλεονέκτημα του CMT over CAT είναι ότι απαιτούνται λιγότερα ερωτήματα για να δημιουργηθεί μια ομάδα δοκιμαστικών δοκιμών από ό, τι απαιτείται για τη δημιουργία μιας ομάδας CAT (βαθμονομημένων στοιχείων). Έχουμε διαπιστώσει ότι οπουδήποτε από τρεις έως πέντε γραμμικές μορφές δοκιμής με μερικά επικαλυπτόμενα (κοινά) αντικείμενα είναι όλα αυτά που είναι απαραίτητα για να σχηματίσουν ένα κατάλληλο pool δοκιμών. Επίσης, δεν είναι απαραίτητα μεγάλα δείγματα υποψηφίων. Έχουμε αναπτύξει μεθόδους CMT που δεν χρησιμοποιούν θεωρία απόκρισης αντικειμένων (IRT), αλλά εξακολουθούν να εκμεταλλεύονται τον υπολογιστή. (Ορισμένα από τα μοντέλα μας CMT χρησιμοποιούν το IRT, ενώ άλλα δεν τα χρησιμοποιούν. Αυτά τα μοντέλα CMT που δεν χρησιμοποιούν το IRT είναι πολύ εύκολο να εξηγηθούν στους υποψηφίους, επειδή χρησιμοποιούν σωστά τον αριθμό των ερωτήσεων για τον υπολογισμό των βαθμολογιών.) τα μοντέλα CMT μας δεν απαιτούν τα στοιχεία να είναι ανεξάρτητα εξαρτώμενα από το ένα το άλλο ούτε απαιτεί το περιεχόμενο δοκιμής να είναι μονοδιάστατο. Αυτές είναι τυπικές απαιτήσεις των ομάδων στοιχείων CAT που χρησιμοποιούν IRT.
Ένα παράδειγμα του πώς ένας υποψήφιος μπορεί να προχωρήσει μέσω μιας εξέτασης CMT
(βλέπε Kim & Cohen, 1998)
Το Prometric δημιουργεί μια έκθεση συναρμολόγησης φόρμας που συλλαμβάνει. (γ) τυποποιημένα τυποποιημένα σφάλματα μέτρησης για κάθε πιθανή βαθμολογία (εάν είναι απαραίτητο), (δ) στατιστικά στοιχεία τυποποιημένων τύπων δοκιμών στην ακατέργαστη κλίμακα βαθμολογίας και κλίμακα βαθμολογίας αναφοράς, (β) στατιστικές δυσκολίες, τις πληροφορίες δοκιμής και τις χαρακτηριστικές δοκιμαστικές λειτουργίες, ανάλογα με την περίπτωση, ε) τη συμμόρφωση κάθε μορφής με το υπόδειγμα δοκιμής, στ) τα ιστογράμματα του χρόνου δοκιμής και ζ) τις συνολικές κατανομές των δοκιμών, εάν χρειάζεται.