Zoeken
Succesverhalen / CompTIA maakt gebruik van Finetune AI.

CompTIA maakt gebruik van Finetune AI om snel op te schalen zonder kwaliteit te verliezen.

CompTIA versnelt de ontwikkeling van beoordelingen door hoogwaardige testitems te maken met Finetune AI, waardoor het zijn wereldwijde certificeringsprogramma kan uitbreiden om te voldoen aan de eisen van de arbeidsmarkt.

Shutterstock 2463474777

Achtergrond

CompTIA is 's werelds toonaangevende leverancier van leverancier-neutrale IT-training en certificeringen. In samenwerking met duizenden instellingen rust CompTIA leerlingen uit met loopbaanvaardigheden via eersteklas leermiddelen, gerespecteerde referenties en uitgebreide loopbaanondersteuning.

Om te voldoen aan de groeiende wereldwijde vraag—met name voor hun A+ examen—werkte CompTIA samen met Prometric, waarbij ze Finetune AI inzetten voor een op maat gemaakte AI-oplossing. Deze samenwerking maakte een sneller proces voor het maken van inhoud mogelijk, terwijl de kwaliteit, psychometrische strengheid en deskundig toezicht behouden bleven—waarmee CompTIA's missie om efficiënte, loopbaanvaardige referenties te leveren werd bevorderd.

De Uitdaging

Met de wereldwijde vraag die steeg, moest CompTIA de inhoudscreatie versnellen voor 16 kernprogramma's. Certificeringen met een hoog volume zoals A+ vormden een bijzondere uitdaging. Elk item moest voldoen aan strenge psychometrische normen voor eerlijkheid, betrouwbaarheid en juridische verdedigbaarheid.

  • Het handhaven van kwaliteit is te traag
  • Algemene AI beperkt het eigendom van intellectuele eigendom
  • SME's moeten meer controle hebben

Het traditionele ontwikkelingsmodel kon niet bijbenen. Het was grondig maar traag - te traag voor de evoluerende behoeften van CompTIA. Het team had een benadering nodig die de betrokkenheid van SME's behield, redactionele nauwkeurigheid en volledig eigendom van intellectuele eigendom mogelijk maakte, terwijl tegelijkertijd een snellere output werd bereikt.

Shutterstock 2325628103

"Gespecialiseerde modellen zijn veel minder vatbaar voor hallucinaties omdat ze getraind zijn om dat eruit te filteren, en ons alleen het goede te geven."

Wendy Gavin - Wendy Gavin

Senior Product Manager, Finetune AI Senior Product Manager, Finetune AI

Strategisch Partnerschap

CompTIA lanceerde een meerjarige samenwerking met Finetune AI om kunstmatige intelligentie in te zetten voor itemontwikkeling. Samen creëerden ze een domeinspecifiek AI-model genaamd Finetune Generate®.

In tegenstelling tot algemene tools zoals ChatGPT of Copilot, is Finetune AI het enige op maat gemaakte, gepatenteerde AI-model in de VS dat is ontworpen voor en door beoordelingsprofessionals, waardoor hallucinaties worden geminimaliseerd en wordt voldaan aan strenge redactionele normen. De A+ certificering diende als pilot vanwege de gestructureerde inhoud en het hoge aantal items.

Het project bracht Finetune AI-experts, CompTIA-contentontwikkelingsteams en SME's samen om het model te trainen op eigen blauwdrukken, stijlgidsen en doelstellingen. De AI ondersteunde—maar verving nooit—de auteurschap van SME's, waardoor snellere opstellingen en iteraties mogelijk werden.

Innovatie met Finetune Generate

CompTIA heeft Finetune Generate® geïntegreerd in een hybride workflow die is ontworpen voor schaalbaarheid. Het model is getraind op de gepatenteerde materialen van CompTIA, waardoor de output in lijn was met toon, structuur en leervoorkeuren. SME's hoefden vaak weinig of geen wijzigingen aan te brengen in de door AI gegenereerde concepten.

CompTIA behield de volledige eigendom van door AI ondersteunde content, met behoud van controle en veiligheid. Het gereedschap presteerde bijzonder goed op Bloom's niveau 2 en 3 doelstellingen, die vaak voorkomen in instapcertificeringen zoals A+.

Belangrijkste voordelen:

  • Aangepaste Model Training
  • Efficiënt Opstellen
  • Beveiliging van Intellectueel Eigendom
  • Ideaal voor Lagere Cognitieve Niveaus

“We gebruiken Generate op een manier die resulteert in duidelijke voordelen op het gebied van QC-efficiëntie.”

- Danielle Castelli, Directeur, Exam Development, CompTIA

Een psychometrische evaluatie van A+ examenversies 1101 en 1102 heeft de aanpak bevestigd. SME's produceerden 5,7 items per uur—een stijging van 3,3—waarbij de meeste slechts minimale aanpassingen vereisten. Psychometrische benchmarks (moeilijkheid, discriminatie, betrouwbaarheid) bleven binnen de verwachte normen, en items werden met succes verplaatst van pretest naar beoordeelde status na veldtesten.

"Samenwerken met [Prometric] heeft ons in staat gesteld om ons examenontwikkelingsprogramma uit te breiden, zodat het proces efficiënter verloopt op een manier waar zowel onze testontwikkelaars als experts op het gebied hebben geprofiteerd."

Danielle Castelli

Directeur, Examenontwikkeling, CompTIA - Computing Technology Industry Association

Resultaa

Vandaag de dag blijft CompTIA Finetune Generate® gebruiken voor certificeringen met gestructureerde, cognitieve eisen op een lager niveau, waar snelheid en schaalbaarheid essentieel zijn. Dit op AI gebaseerde proces stelt experts in staat zich te concentreren op validatie in plaats van eerste versies.

  • Verhoogde Output
  • Redactionele Efficiëntie
  • Statistische Equivalentie
  • Levensvatbaarheid van Inhoud

Vooruitkijkend, onderzoekt CompTIA aanvullende gebruiksscenario's waar gefocuste, verantwoorde AI vergelijkbare waarde kan leveren binnen zijn certificeringsportfolio, altijd met de nadruk op kwaliteit en controle.

Download Succesverhaa