Zoeken
Succesverhalen / Digitale contentleider transformeert het maken van examenvragen met AI.

Digitale Contentleider transformeert het maken van examenitems met AI.

Met bijna 200 examens en meer dan 18.000 items werden traditionele examenopbouwmethoden een obstakel voor groei. Nieuwe AI-technologieën maakten grotere capaciteit en aanzienlijke kostenbesparingen mogelijk.

Shutterstock 417879736

Achtergrond

Een pionier in digitale innovatie, deze sectorleider heeft zich voortdurend ontwikkeld om te voldoen aan de dynamische behoeften van contentmakers en ontwikkelaars over de hele wereld. Vanaf haar begin als een softwarebedrijf tot het worden van een topaanbieder van digitale contenttools, belichaamt het een toewijding aan innovatie en aanpassingsvermogen.

De Uitdaging

Naarmate het productportfolio van de organisatie groeide en haar invloed in het digitale domein toenam, groeide ook de vraag naar certificeringsprogramma's. Sinds 2018 heeft het bedrijf zijn certificeringsaanbod meer dan vervijfvoudigd om aan deze vraag te voldoen. Met meer dan 170 examens en meer dan 18.000 items werd het handhaven van de ontwikkeling van examens bijna onmogelijk.

Deze snelle uitbreiding bracht verschillende uitdagingen met zich mee, zoals:

  • De behoefte aan een meer flexibele en kosteneffectieve oplossing om exameninhoud bij te werken zonder teams te overbelasten.
  • Verbeterde beveiligingsmaatregelen om te reageren op toenemende cyberdreigingen.
  • De vraag naar aanvullende examenitems ter ondersteuning van oefentests en recertificeringsprogramma's.

Met het besef van de noodzaak van een robuuste oplossing, zocht de organisatie een partner die deze inspanningen kon ondersteunen met een toewijding aan samenwerking, innovatie en het behalen van specifieke doelstellingen:

  • Verbeterde ontwikkeling van itembanken met originele, veilige items.
  • Het vermogen om meer examenvormen te produceren ter ondersteuning van oefenmateriaal voor tests.
  • Het opzetten van een proces voor het opnemen van AI-technologie.

We hebben veel platforms en oplossingen geëvalueerd voor het ontwikkelen van examenitems en hebben gekozen voor Finetune van Prometric. Het kwam allemaal neer op hoe het systeem kan worden getraind op basis van onze parameters in plaats van generieke parameters.

Wereldwijd hoofd van het digitale certificeringsprogramma

Partnerschapsstrategie.

In de tweede helft van 2022 reageerde de organisatie op deze uitdagingen door een strategisch partnerschap aan te gaan met Finetune van Prometric, een bedrijf dat gespecialiseerd is in op AI gebaseerde testontwikkelingsoplossingen. Samen gingen ze aan de slag om het certificeringsprogramma te revolutioneren door het implementeren van het gepatenteerde Finetune Generate®, een AI hybride itemgeneratie-oplossing die geavanceerde AI combineert met een beoordeling door experts op het gebied van vakinhoud (SME).

De teams werkten samen om Finetune Generate op maat te maken om te voldoen aan de unieke behoeften van de organisatie en ontdekten dat de oplossing voldeed aan alle essentiële vereisten.

Veiligheid was een belangrijke zorg, dus de aanpasbare, toegangsgecontroleerde mogelijkheden van Finetune Generate maakten het mogelijk voor het bedrijf om het model te trainen met zijn eigen vragen, itemverwijzingen, examenblauwdrukken, beschrijvingen van cognitieve niveaus en regels voor het schrijven van items in een gecontroleerde omgeving, als bescherming tegen externe interferentie. Deze aanpak gaf de organisatie volledig eigendom over de inhoud die binnen het platform werd gecreëerd, waardoor totaal vertrouwen in de beveiliging werd gegarandeerd.

Het Implementatieproces

De samenwerking volgde een implementatiebenadering in vier stappen, waarbij het model voortdurend werd verfijnd met feedback van KMO's en workshops voor itemontwikkeling. Door zowel gebruik te maken van de expertise van Prometric op het gebied van itemontwikkeling als van de domeinexpertise van het bedrijf, heeft het team het AI-model verder verfijnd, met als resultaat dat er psychometrisch geldige items werden gegarandeerd.

Als gevolg hiervan heeft de samenwerking 26 nieuwe AI-modellen voortgebracht ter ondersteuning van itemontwikkeling, waarbij de tijd voor het maken van een item werd teruggebracht van 90 minuten naar 30 minuten per item - een afname van 67% in ontwikkeltijd. De organisatie verwacht verdere verbeteringen naarmate de tool verder wordt verfijnd.

"Dit is het punt waar de magie echt plaatsvindt. Alle inhoud wordt overgedragen aan Prometric, en zij beginnen met het opbouwen van het model. Een geweldig team van AI- en datascientists tagt alles en bouwt het model op basis van onze behoeften."

- Senior Manager Exam and Content Development

"Onze investering in AI is cruciaal voor het verwerken van de omvang en complexiteit van onze programma's. Zonder Finetune Generate zou het handhaven van dit niveau van examenontwikkeling onbeheersbaar zijn."

Wereldwijd hoofd van het digitale certificeringsprogramma

Resultaa

Samenwerken met Prometric stelde het bedrijf in staat om de creatie van unieke exameninhoud te versnellen, terwijl tegelijkertijd werd gezorgd voor afstemming met de nieuwste branchenormen en productupdates. Dankzij de AI-technologie van Generate heeft de organisatie een meer wendbare aanpak aangenomen voor de ontwikkeling van items, waardoor snelle aanpassing aan branchewijzigingen mogelijk is.

Deze innovatieve aanpak strekte zich uit over het gehele certificatie-ecosysteem, inclusief hernieuwingsexamens, oefenexamens en eindcursusbeoordelingen. Hierdoor werd een hoogwaardige, consistente ervaring voor alle deelnemers gewaarborgd, terwijl werd ingespeeld op de voortdurend veranderende behoeften van het programma.

Doelen Behaald met Prometric's AI-aangedreven Finetune Generate:

  1. Geoptimaliseerde Time-to-Market: Versnelde ontwikkelings- en releasedoorlopen voor certificatie-examens, waardoor tijdige updates mogelijk waren om aan branchenormen te voldoen.
  2. Kostenbesparing: De adoptie van AI-technologie leidde tot meer dan 60% kostenbesparing per item, waardoor het proces efficiënter werd.
  3. Efficiënt Gebruik van Expertise: Door de creatietijd van items met 67% te verminderen, heeft het bedrijf effectief de resources van experts geoptimaliseerd.

Met Finetune van Prometric vond de organisatie een strategische partner die in staat was om obstakels weg te nemen bij de efficiënte, veilige ontwikkeling van examens. De integratie van AI heeft itemcreatie getransformeerd van een handmatig proces naar een tijds- en kostenbesparende operatie, waardoor de productiviteit werd verhoogd en verdere uitbreiding mogelijk werd.

Naarmate het AI-systeem blijft verbeteren met aanvullende gegevens, heeft de organisatie een concurrentievoordeel behaald in de certificatieruimte. De mogelijkheid van Finetune om veilige, robuuste items te genereren heeft geholpen bij het optimaliseren van resources en heeft aanzienlijke tijds- en kostenbesparingen aangetoond. Met dit succes zijn plannen in ontwikkeling om Generate te integreren in meer aanbiedingen en cursussen.

De Global Head of Digital Certification Program verwacht verdere kostenbesparingen naarmate het Finetune-systeem geavanceerder wordt. "Laten we het potentieel van AI omarmen," concludeerde hij.

Download Succesverhaa