Hintergrund
Die Society of Actuaries (SOA) ist die größte berufsständische Organisation für Aktuare der Welt mit mehr als 30.000 Mitgliedern. Durch Bildung und Forschung fördert die SOA Aktuare als Führungskräfte in der Messung und dem Management von Risiken, um die finanziellen Ergebnisse für Einzelpersonen, Organisationen und die Öffentlichkeit zu verbessern. Im Jahr 2017 strebte die SOA an, ihre Bildungsbemühungen während aller Phasen des Lebenszyklus ihrer Qualifikationen (von der Vorqualifikation bis zur beruflichen Weiterbildung) zu erweitern, indem sie mehr Inhalte zu prädiktiven Analysen hinzufügte. Während sie im Bereich der beruflichen Weiterbildung schnell vorankommen konnten, war die Hinzufügung von prädiktiven Analysen zu ihrer Vorqualifikationsausbildung Teil eines größeren Restrukturierungsprojekts für das Curriculum der Associates (ASA).
Situation
Angesichts eines zunehmenden Bedarfs, Kandidaten auf eine Weise zu bewerten, die widerspiegelt, wie sie ihre täglichen Aufgaben erfüllen, und in dem Wissen, dass das Thema sich nicht für traditionelle Prüfmethoden eignet, benötigte die SOA eine Möglichkeit, Softwaretools zu integrieren, die von Aktuaren bei der Durchführung prädiktiver Analysen verwendet werden, einschließlich Word, Excel und R/RStudio. Darüber hinaus musste die Prüfung beaufsichtigt und in einem sicheren Bereich durchgeführt werden, um das Wissen der Kandidaten über die Materialien und Ansätze zur prädiktiven Modellierung bestmöglich zu messen.
Die Entwicklung dieses innovativen Item-Typs würde jedoch erfordern, mehrere Hindernisse zu überwinden, darunter Lizenzierungsfragen für Word- und Excel-Produkte, die Verfügbarkeit von Prüfungszentren, um die Kandidaten nicht zu belasten, und angemessene Sicherheitsprotokolle, um die Wirksamkeit der Prüfung zu gewährleisten.
Strategie
Da sie einen Partner für die Testentwicklung benötigten, der eine Softwarelizenzierungslösung, ein etabliertes Netzwerk globaler Prüfungszentren, bewährte Sicherheitsverfahren und die Bereitschaft zur Weiterentwicklung der Prüfungsentwicklung bieten konnte, gab die SOA eine Ausschreibung speziell für dieses Vorhaben heraus. Durch die Nutzung unserer mehr als 10-jährigen Beziehung und unserer Fähigkeit, alle Anforderungen der SOA, die im Wettbewerbsvergabeverfahren festgelegt wurden, zu erfüllen, wurde Prometric von der SOA ausgewählt, um ein innovatives Item zu entwickeln, das die Fähigkeit eines Aktuars zur Durchführung prädiktiver Analysen bestmöglich testet und erfasst.
Gemeinsam begannen Prometric und die SOA mit der Zusammenarbeit bei der Entwicklung des Item-Typs für prädiktive Analysen, wobei Prometric eine Lösung entwickelte, die alle drei gewünschten Tools in die Bewertung integrierte. Das innovative Item, das zweimal im Jahr durchgeführt wird, erfordert:
- Kandidaten müssen 10-12 Aufgaben über mehr als 5 Stunden hinweg durch konstruktive Antworten abschließen.
- Die Testteilnehmer müssen ihre Fähigkeit demonstrieren, jede Aufgabe zu bearbeiten, indem sie unterstützende Dateien und Dokumente über Word und R/RStudio bereitstellen, wobei Excel bei Bedarf verfügbar ist.
- Die Bewertung erfolgt durch menschliche Prüfer der SOA.
Prometric arbeitete auch eng mit der SOA zusammen, um eine Online-Demonstration zu entwickeln, die den Kandidaten hilft, sich im Voraus auf die Prüfung vorzubereiten.
Von dort aus setzten Prometric und die SOA die sichere Installation der Software im globalen Prüfungszentrumnetzwerk fort. Ein Pilotprojekt wurde mit Fachexperten (SMEs) an mehreren Standorten weltweit durchgeführt, wobei Mitarbeiter von SOA und Prometric anwesend waren, um einen erfolgreichen Start zu gewährleisten.
Ergebnis
Mit der Technologie von Prometric und der Bereitschaft, verschiedene Aspekte von Tests und technologischer Unterstützung zu kombinieren, sowie der Flexibilität der SOA, den Item-Typ neu zu gestalten und schnell auf auftretende Probleme zu reagieren, wurde nach einem Jahr der Entwicklung und dem Pilotstart mit SMEs die erste echte Prüfung im Dezember 2018 an Kandidaten durchgeführt.
Der neue Item-Typ ermöglicht eine höherstufige Datenanalyse und dient gleichzeitig als Unterscheidungsmerkmal zur Konkurrenz. Die SOA ist nicht nur die erste in der Aktuarbranche, die diese Art von realitätsnahen Tests anbietet, sondern hat auch exklusive Rechte an dem maßgeschneiderten Design des Tests.
Im Jahr 2019 beschlossen die SOA und Prometric, die laufende Partnerschaft um weitere sieben Jahre zu verlängern; während dieser Zeit werden wir weiterhin zusammenarbeiten, um auf dem Erfolg des innovativen Item-Typs aufzubauen und Wege zu finden, die SOA und ihre Prüfungen zu differenzieren und zu stärken.
"Die Entwicklung und Einführung dieses Item-Typs ist ein großer Schritt nach vorn für die Aktuarkandidaten der Society of Actuaries. Sie ermöglicht es den Kandidaten, ihre Fähigkeiten in kritischen Themenbereichen durch die Verwendung von Tools, die am Arbeitsplatz üblich sind, nachzuweisen. Die Entwicklung des Item-Typs erforderte innovative Anstrengungen eines gemeinsamen SOA-Prometric-Entwicklungsteams. Die SOA freut sich begeistert auf die Anpassung dieses Konzepts an andere Komponenten unseres Qualifikationswegs."
Geschäftsführer Bildung Society of Actuaries
Download Erfolgsstory