Le Charles Foster agus Jesse Hamer
Ro-ràdh
Thar nam bliadhnaichean bho 2021, tha sinn air faicinn comas Mhodalan Cànain Mòr (LLMs) aig Finetune airson a bhith a’ cruth-atharrachadh mar a tha proifeiseantaich ann an foghlam & measadh ag obair. Tha an astar dràmadach a tha na adhartasan seo a’ ciallachadh gu bheil bun-bheachdan a’ dol bho thoys rannsachaidh seachdain gu toradh viral an ath sheachdain.
Mar sin, cha robh e na iongnadh fhaicinn dè cho toilichte ‘s a bha freagairt ChatGPT: ann an aon deasbad, thuig a h-uile duine gu robh sinn air an toll a thogail air rud mòr. A’ toirt aire don t-sealladh a th’ ann an-dràsta agus don neo-shoilleireachd, dh’ fhaodadh duine teagamh a bhith aige: ciamar a tha Finetune Generate air a’ phàirt seo? Ma dh’ fhaodainn dìreach iarraidh air chatbot àbhaisteach mo sgrìobhadh a dhèanamh dhomh, carson a dh’ fheumas mi rud sam bith eile?
Tha sinn a’ smaoineachadh air Mhodalan Cànain Mòr mar mhodalan bunait: siostaman AI a tha leotha fhèin le trèanadh farsaing agus iomadach a’ leigeil leotha a bhith mar bhunait airson raon farsaing de chleachdaidhean. Tha beagan bhuidhnean, a’ gabhail a-steach Anthropic, EleutherAI, agus OpenAI (leasachaidh ChatGPT) a’ trèanadh na modalain gigante seo agus a’ dèanamh iad freagairteach do dhaoine eile. Ach, tha na modalain fhèin mar bhun-lair: tha comas mòran nas motha aca nuair a thèid iad a chur a-steach do shystem nas motha, freagairteach do thagraidhean sònraichte. Mar a tha ann an teicneòlasan eile le pròiseasan coitcheann mar a’ Lìon, dh’ fhaodadh gum bi feum air ginealach de luchd-rannsachaidh agus empronaichean a’ togail siostaman thairis air, airson a bhith comasach air a chomas a choileanadh. Ann an agallamh le Ezra Klein, dh’ innis CEO OpenAI, Sam Altman, faireachdainn coltach:
Tha mi a’ smaoineachadh nach e ar n-ìre as fheàrr san t-saoghal, agus cha toil leinn ar aire a dh’ fhàgail [bhon], na h-uile toradh breagha a thèid a thogail thairis air [modalan cànain mòra]. Agus mar sin tha sinn a’ smaoineachadh mu ar n-roles mar a bhith a’ faighinn a-mach mar a thogail na siostaman AI as comasaiche san t-saoghal agus an uairsin a dhèanamh freagairteach do dhuine sam bith a leanas ar riaghailtean airson na siostaman seo a thogail thairis orra.
Altman, 2023
Le bhith a’ comasachadh LLMs le teicneòlasan traidiseanta mar bhun- fhiosrachadh agus eadar-aghaidh daonna ann an freagairtean, faodaidh sinn stackan teicneòlais fa-leth a chruthachadh, no applachain ginealach, a leigeas leinn an comas LLMs a leigeil ma sgaoil airson innealan glic a chruthachadh ann an diofar raointean tagraidh. Tha Generate agus ChatGPT mar dhà eisimpleir tràth de na.
Leis an framework seo ann am inntinn, thig sinn a dhèanamh coimeas eadar ChatGPT agus Finetune Generate mar applachain ginealach a thogail air GPT-3, bhon taobh freagairteach de leasachadh nithean.
Àrd-amasan Dealbhaidh
Tha ChatGPT agus Finetune Generate air an dealbhadh gu bhith a’ toirt seachad eadar-aghaidh nas intuitive do luchd-cleachdaidh airson freagairt le modalan ginealach mar GPT-3. A bharrachd air sin, tha na dà applachain gu math eadar-dhealaichte. Tha misean aig OpenAI gus siostaman AI sàbhailte, coitcheann a thogail do gach duine, agus thug iad ChatGPT gu bhith a’ toirt seachad blas don phoball mun deidhinn dè tha comasan nan modalan cànain. agus mar phàirc cho-fhaireachdainn airson togalaichean a’ deuchainn bheachdan ùra.
Agus aig Finetune, ged a tha sinn a’ dol an sàs leis an choimhearsnachd rannsachaidh nas fharsainge mun leudachadh air modalan cànain (faic ar com-pàirt le OpenAI air leasachadh air rannsachadh semantics), cha robh ar n-amas le Generate gu bhith a’ togail siostaman coitcheann ùra, ach gun robh sinn airson an inneal as fheàrr a thogail airson sgrìobhadh nithean le taic AI. Sin as coireach gu bheil Generate air a thogail gu sònraichte le luchd-sgrìobhadair nithean ann an inntinn, timcheall air an cleachdadh as fheàrr, cànan, agus sruthan-obrach. Bha na h-uile riaghailtean dealbhaidh againn stèidhichte air freagairtean bho raon farsaing de luchd-tionnsgain tràth. Tha gach mòdail Generate a tha sinn a’ togail air a dhealbh gus freagairtean a thoirt do structar sònraichte gach measadh, agus bheir e dha na h-ùsanaich na smachdan sònraichte a tha a dhìth airson an obair. Tha a bharrachd air sin, faodaidh sgiobaichean làn de luchd-sgrìobhadair nithean co-obrachadh air leasachadh nithean le Generate, le feartan a chaidh a thogail a leigeas le rianachd chead agus às-mhalairt structaraichte gu cruthan mar QTI.
Specifigeach
Tha modalan cànain mòra a’ dol tro fhànais trèanadh toiseach ris an canar trèanadh ro-làimh, far a bheil iad a’ faighinn eòlas air milleanan de dhuilleagan bhon lìon, leabhraichean, agus stòrasan eile ann an aon seisean fada. Air sgàth cho daor ‘s a tha an cruthachadh air eòlas fhaighinn bhon fhiosrachadh sin, tha an eòlas aca gu tric freagairteach às deidh sin. Oir tha e na phàirt dialaichte tana air a’ phàirt GPT-3, tha bun- fhiosrachadh ChatGPT coltach ris gu bheil e stèidhichte, nach gabh atharrachadh. Ma dh’ innis, gu h-iomlan, neach-teicnigeach do chuid a thaobh siostam sònraichte, cha bhiodh an mòdail sin freagairteach dhaibh, oir chan eil dòigh sam bith aig an mòdail a bhith ag ionnsachadh mu chuspairean ùra.
Tha com-pàirt Finetune a’ ruith an raon bho K-12 gu foghlam àrd-ìre gu cead & teisteanas, agus a’ toirt a-steach raon farsaing de dh’ raointean.
Mar sin, tha e deatamach dhuinn gum feum na modalain a thoghlas sinn airson an luchd-com-pàirt ionnsachadh bhon t-susbaint sònraichte aca—fiù ‘s ma tha an susbaint sin gu math sònraichte no ùr—agus feumar iad a bhith freagairteach le stuthan ùra nuair a thèid an cur ris.
Gus seo a dhèanamh comasach, tha ar sgioba R&D AI air ar modhan fhèin a leasachadh gus eòlas ùr a ghabhail a-steach gu h-èifeachdach do mhodalan cànain agus gus an cur a-steach do na riaghailtean sònraichte de mheasadh. A bharrachd air sin, tha Generate ag ionnsachadh gu dinimigeach thairis air an t-seachdain gus nithean a thargain gu freagairteach do shusbaint sònraichte agus stoidhle gach gnothach. Fhad ‘s a tha sinn ag obair air a’ bhliadhna seo, tha sinn a’ planadh a’ toirt a-steach grunn fheartan a bhios a’ leantainn air adhart le bhith a’ leasachadh smachd agus freagairteachd ar modalain, bho thargan freagairtean freagairteach gu smachd mionaideach air iom-fhillteachd cognitive agus barrachd.
Àrainneachd
Mar dheasbad eòlas, tha ChatGPT air a dhealbhadh gus freagairtean a thoirt seachad air mar a tha daoine a’ freagairt le modalan cànain, airson OpenAI a bhith comasach air an teicneòlas bunaiteach a tha a’ toirt taic do na APIs aca a leasachadh. Air sgàth seo, nuair a tha luchd-cleachdaidh a’ bruidhinn ri ChatGPT, tha na freagairtean sin air an stòradh agus dh’ fhaodadh iad a dhol a-steach do dhàta trèanadh san àm ri teachd, gus cuideachadh le bhith a’ trèanadh a’ ghinealach ath next de mhodalan. Tha sin a’ ciallachadh ma tha thu a’ leasachadh nithean measadh le ChatGPT, dh’ fhaodadh na modalain san àm ri teachd a bhith eòlach air sin no a bhith air a chuimhneachadh, a’ freagairt do na nithean agad agus stoidhle nithean ann an dòighean nach do dh’ iarr thu, a’ cur an cunnart an tèarainteachd aca.
Tha tèarainteachd na chuspair cudthromach ann an leasachadh nithean.
Tha Generate a’ cumail nithean tèarainte, air an casg, le gach neach-cleachdaidh a’ faighinn cothrom air a mhodail fhèin a-mhàin.
Fiù ‘s taobh a-staigh neach-cleachdaidh aon, faodaidh luchd-cleachdaidh a bhith cuingealaichte gu nithean sònraichte a chaidh a chruthachadh. Le Generate, tha luchd-cleachdaidh an-còmhnaidh nan sealbhadairean de na nithean sam bith a tha iad a’ cruthachadh, ge bith a bheil iad dìreach a’ feuchainn ri mòdail toiseach no a’ gabhail ris an inneal gu h-èifeachdach.
Creideas & Taic
Tha a’ mhòr-chuid de na tha a’ dèanamh cleachdadh gu torach de LLM duilich gu bheil e gu bunaiteach a’ dol an aghaidh: faigh freagairtean eadar-dhealaichte nuair a dh’ iarr thu an aon cheist dhà uair. Tha seo a’ dol an aghaidh na tha sinn a’ dùileachadh bho na h-innealan againn: tha sinn a’ cunntadh orra gu bhith earbsach. Tha seo a’ leantainn gu aon de na duilgheadasan as maireannach leis a’ ChatGPT agus leis an t-sreath LLM eile, gu dearbh gu bheil e duilich creidsinn anns na freagairtean aca nuair nach eil fios agad carson a chaidh na freagairtean sin a thaghadh. An robh e stèidhichte air fìrinnean a tha a’ freagairt don mhodal, no air fìor-thòisich a tha a’ freagairt don mhodal, no fiù ‘s air fìor-phlagiar a th’ ann an stòras nach eil a’ freagairt?
Tha na h-ìrean airson creideas ann an foghlam & measadh àrd, nas àirde na airson chatbots àbhaisteach. Tha luchd-cleachdaidh ag iarraidh a bhith eòlach gu bheil nithean a thèid a thoirt a-mach tro Generate gu bhith gu dearbh ùr, stèidhichte air an stuth aca fhèin, agus gu bheil iad dligheach.
Tha ar sgiobail Measadh agus R&D AI ag obair le gach neach-cleachdaidh gus modalain a chruthachadh freagairteach do na feumalachdan aca, agus gus an freagairtean a ghabhail a-steach do leasachadh modalain leantainneach.
Tha sinn cuideachd a’ dèanamh sgrùdaidhean làimhe & fèin-ghluasadach gus dearbhadh gu bheil na moladh a tha Generate a’ dèanamh freagairteach do shònrachaidhean a’ luchd-cleachdaidh. Bidh sinn a’ leigeil a-mach feart ùr a leigeas le luchd-cleachdaidh a bhith a’ freagairt gu furasta nithean a chaidh a chruthachadh le stòrasan freagairteach, gus am bi freagairtean sa bhad ann gu bheil na nithean a tha iad a’ cruthachadh freagairteach do fhìrinnean.
Co-dhùnadh
Is e seo àm inntinneach far a bheil ceudan de thagraidhean ginealach a’ dol a thogail, a’ leantainn raon farsaing de chothroman freagairteach airson LLMs. Mar a tha thu a’ rannsachadh iad mar dhuine a tha gu mòr a’ cur luach air càileachd measadh ann an foghlam, teisteanasan agus ceadan, tha sinn a’ moladh gu bheil e an-còmhnaidh freagairtean a’ cumail an inntinn:
- Cò a tha an tagradh seo air a dhealbhadh airson?
- Am bheil an mhodal a tha an tagradh seo a’ cleachdadh air a thrèanadh gu sònraichte airson na tha feum air ar buidheann, a’ gabhail a-steach ar feumalachdan tèarainteachd?
- Ciamar a thèid an dàta a bheir mi seachad a chleachdadh?
- A bheil mi ag iarraidh tasgadh a dhèanamh ann an ùine agus airgead gus am modail coitcheann a dhèanamh freagairteach (e.g. an UI freagairteach freagairteach) agus earbsach le ar Luchd-eòlais (SMEs) gus a bhith freagairteach do ar sruth-obrach agus freagairtean àrd-seasamh?
Tha sinn fhathast ann am maide na h-ùine a tha an teicneòlas air a bhith gu math inntinneach, ach tha an raon de chomasan a tha tagraidhean ginealach a’ leigeil ma sgaoil air feadh grunn ghnìomhachasan a’ fàs soilleir. Mar sin tha guthan de chùl-fhios air an toirt a-steach le Gary Marcus bho NYU agus feadhainn eile.
Agus aig Finetune, tha sinn gu mòr toilichte leantainn air adhart a’ sealltainn barrachd feartan anns an treas bliadhna againn a bhios a’ dèanamh Generate eadhon nas freagairteach, eadhon nas earbsach, agus eadhon nas cuideachail air feadh an t-sreath foghlam agus measadh.
Air ùrachadh 29 Giblean, 2025