SOA verbetert itemontwikkeling met innovatieve nieuwe oplossingen

De Society of Actuaries (SOA) moest de competentie in voorspellende analyses meten, dus ging het een samenwerking aan met Prometric om innovatieve items te ontwikkelen die kennis in real-world situaties meten.

Innovative Item Development Revolutionizing predictive analytics and actuary testing

Achtergrond

De Society of Actuaries (SOA) is de grootste actuarieel professionele organisatie ter wereld met meer dan 30.000 leden. Door middel van onderwijs en onderzoek bevordert de SOA actuarissen als leiders in het meten en beheren van risico's om financiële resultaten voor individuen, organisaties en het publiek te verbeteren. In 2017 wilde de SOA hun onderwijsinspanningen tijdens alle fasen van de credential lifecycle (van pre-kwalificatie tot professionele ontwikkeling) verbeteren door meer inhoud over voorspellende analytics toe te voegen. Hoewel ze snel vooruit konden gaan op het gebied van professionele ontwikkeling, was de toevoeging van voorspellende analytics aan het pre-kwalificatieonderwijs onderdeel van een groter herstructureringsproject voor het curriculum van de associate (ASA).

Situatie

Met de erkenning van een toenemende behoefte om kandidaten te beoordelen op een manier die weerspiegelt hoe ze hun dagelijkse functies uitvoeren, en wetende dat het onderwerp zich niet leent voor traditionele examenmethoden, had de SOA een manier nodig om softwaretools te integreren die door actuarissen worden gebruikt bij het uitvoeren van voorspellende analytics, waaronder Word, Excel en R/RStudio. Bovendien moest het examen onder toezicht worden afgenomen en in een beveiligd gebied worden voltooid om de kennis van de kandidaten over het materiaal en hun benaderingen van voorspellende modellering het beste te meten.

Echter, de ontwikkeling van dit innovatieve itemtype zou het overwinnen van verschillende obstakels vereisen, waaronder licentieproblemen voor Word- en Excel-producten, beschikbaarheid van testcentra om de kandidaten niet te belasten, en de juiste beveiligingsprotocollen om de effectiviteit van het examen te waarborgen.

Strategie

Wetende dat ze een testontwikkelingspartner nodig hadden met een softwarelicentieoplossing, een gevestigde wereldwijde netwerkinfrastructuur voor testcentra, bewezen beveiligingsprocedures en de bereidheid om de volgende stap in de ontwikkeling van examens te zetten, heeft de SOA een RFP uitgegeven specifiek voor deze initiatief. Door gebruik te maken van onze relatie van meer dan 10 jaar en onze capaciteit om aan alle vereisten van de SOA te voldoen zoals uiteengezet in het competitieve biedproces, werd Prometric gekozen door de SOA om een innovatief item te ontwikkelen dat het beste de vaardigheid van een actuaris om voorspellende analytics uit te voeren zou testen en vastleggen.

Samen begonnen Prometric en SOA samen te werken aan de ontwikkeling van het itemtype voor voorspellende analytics, waarbij Prometric een oplossing ontwikkelde die alle drie de gewenste tools in de beoordeling integreerde. Het innovatieve item, dat twee keer per jaar wordt afgenomen, vereist:

  • Kandidaten om 10-12 taken te voltooien in meer dan 5 uur via geconstrueerde reacties.
  • Testdeelnemers om hun vermogen te demonstreren om door elke taak te werken door ondersteunende bestanden en documenten via Word en R/RStudio te verstrekken, met Excel beschikbaar indien nodig.
  • Menselijke beoordeling uitgevoerd door de SOA.

Prometric werkte ook nauw samen met de SOA om een online demo te ontwikkelen om kandidaten te helpen begrijpen hoe ze het examen van tevoren konden navigeren.

Vanaf daar gingen Prometric en SOA verder met een veilige installatie van de software in het wereldwijde netwerk van testcentra. Een pilot werd uitgevoerd met inhoudelijke experts (SME's) op verschillende locaties over de hele wereld, met medewerkers van SOA en Prometric aanwezig om een succesvolle lancering te waarborgen.

Resultaat

Met de technologie van Prometric en de bereidheid om verschillende aspecten van testen en technologische ondersteuning te combineren, en de flexibiliteit van de SOA om het itemtype opnieuw te werken en snel problemen op te lossen die zich voordeden, werd na een jaar van ontwikkeling en de pilotlancering met SME's, het eerste echte examen afgenomen voor kandidaten in december 2018.

Het nieuwe itemtype heeft geleid tot een hoger niveau van data-analyse, terwijl het ook dient als een onderscheidende factor ten opzichte van de concurrentie. Niet alleen is de SOA de eerste in de actuariële industrie die dit type real-world testing aanbiedt, ze hebben ook exclusieve rechten op het op maat gemaakte ontwerp van de test.

In 2019 besloten SOA en Prometric om de voortdurende samenwerking voor nog eens zeven jaar te verlengen; gedurende deze tijd zullen we blijven samenwerken om voort te bouwen op het succes van het innovatieve itemtype, en manieren te vinden om de SOA en hun examens te onderscheiden en te versterken.

"De ontwikkeling en lancering van dit itemtype is een enorme stap voorwaarts voor de actuariele kandidaten van de Society of Actuaries. Het stelt kandidaten in staat om bekwaamheid in kritieke onderwerpgebieden aan te tonen door gebruik te maken van tools die gebruikelijk zijn op de werkplek. De ontwikkeling van het itemtype vereiste innovatieve inspanningen van een gezamenlijk ontwikkelteam van SOA en Prometric. SOA kijkt enthousiast uit naar de aanpassing van dit concept naar andere componenten van ons credentialing pad."

Managing Director of Education Society of Actuaries

Download Succesverhaa

Verbeter uw beoordelingsprogramma met Prometric-oplossingen