Gan Charles Foster a Jesse Hamer
Cyflwyniad
Ers 2021, yn Finetune rydym wedi gweld y potensial o Fodelau Iaith Mawr (LLMs) ar gyfer trawsnewid y ffordd y mae proffesiynolion yn addysg a phrofiad yn gweithio. Mae'r cyflymder dramatig o gynnydd yn y maes hwn wedi golygu y gall cysyniadau fynd o fod yn degan ymchwil un wythnos, i gynnyrch firus yr wythnos nesaf.
Felly, nid oedd yn syndod gweld pa mor gyffrous oedd y ymateb i ChatGPT: mewn un demo, roedd pawb yn deall ein bod ni ar drothwy rhywbeth mawr. O ystyried y cyffro a'r ansicrwydd presennol, efallai y byddai rhywun yn meddwl: sut mae Finetune Generate a nodwyd yn ffitio i'r dirwedd hon? Os gallwn ofyn i sgwrsio generig wneud fy ysgrifennu i mi, pam byddai angen unrhyw beth arall?
Rydym yn hoffi meddwl am Fodelau Iaith Mawr fel fodelau sylfaenol: systemau AI sydd â hyfforddiant eang a amrywiol sy'n eu galluogi i weithredu fel y sylfaen ar gyfer ystod eang o achosion defnydd. Mae nifer o sefydliadau gan gynnwys Anthropic, EleutherAI, a OpenAI (datblygwr ChatGPT) yn hyfforddi’r modelau enfawr hyn a'u gwneud ar gael i eraill eu defnyddio. Ond y modelau eu hunain yw’r haen sylfaenol yn unig: mae ganddynt much potensial gwell pan gaiff eu gwehyddu i mewn i system fwy, wedi'i theilwra ar gyfer cais penodol. Yn union fel technolegau cyffredinol eraill fel y We, efallai y bydd angen cenhedlaeth gyfan o ymchwilwyr a menterwyr i adeiladu systemau ar ei ben, er mwyn iddi wireddu ei photensial. Mewn cyfweliad â Ezra Klein, mynegodd Prif Swyddog Gweithredol OpenAI Sam Altman deimlad tebyg:
Yr hyn sy’n credu nad ydym ni’n gorau yn y byd ynddo, nac yr ydym am ddarganfod ein sylw [o], yw’r holl gynnyrch gwych a fydd yn cael eu hadeiladu ar ben [fodelau iaith mawr]. Felly rydym yn meddwl am ein rôl fel peidio â bod yn gyffrous am ein hunain, ond i ddod o hyd i sut i adeiladu'r systemau AI mwyaf galluog yn y byd ac yna eu gwneud ar gael i unrhyw un sy’n dilyn ein rheolau i adeiladu'r holl systemau hyn ar eu pen.
Altman, 2023
Trwy gyfuno LLMs gyda thechnolegau mwy traddodiadol fel cronfeydd gwybodaeth a rhyngwynebau dynol-yng-ngolwg, gallwn greu staciau technoleg aeddfed, neu ceisiadau generatif, sy'n ein galluogi i ryddhau gallu LLMs i greu offer clyfar ym mhob math o ardaloedd cais. Mae Generate a ChatGPT yn ddau enghraifft cynnar o’r rhain.
Gyda'r fframwaith hwn mewn golwg, gadewch i ni gymharu ChatGPT a Finetune Generate fel ceisiadau generatif, y ddau wedi'u hadeiladu ar GPT-3, o safbwynt datblygu eitemau.
Goleuadau Dylunio
Mae ChatGPT a Finetune Generate yn bwriadu darparu rhyngwyneb mwy deallus i ddefnyddwyr rhyngweithio â modelau generatif fel GPT-3. Y tu hwnt i hynny, mae'r ddau gais yn eithaf gwahanol. Mae gan OpenAI genhadaeth i adeiladu systemau AI diogel, cyffredinol ar gyfer pawb, ac adeiladodd ChatGPT i roi blas i'r cyhoedd cyffredin ar yr hyn y gall modelau iaith ei wneud gyda iaith naturiol, ac i weithredu fel sandbocs i adeiladwyr roi cynnig ar syniadau newydd.
Yn Finetune, er ein bod yn ymwneud â'r gymuned ymchwil ehangach o amgylch arloesedd model iaith (gweler ein cydweithrediad gyda OpenAI ar welliannau i chwilio semantig), ein nod gyda Generate nid oedd yn bennaf i adeiladu systemau cyffredinol newydd, ond yn hytrach i adeiladu'r offer gorau posib ar gyfer ysgrifennu eitemau dan gymorth AI. Dyna pam y mae Generate wedi'i adeiladu'n benodol gyda ysgrifenwyr eitemau mewn golwg, o amgylch eu harferion gorau, iaith, a llif gwaith. Roedd ein holl gyfyngiadau dylunio yn seiliedig ar ymgysylltu â llu o ddefnyddwyr cynnar. Mae pob model Generate a adeiladwn yn cael ei ddylunio i adlewyrchu strwythur unigryw pob asesiad, ac yn rhoi'r rheolaethau penodol sydd eu hangen ar gyfer eu tasg i'r defnyddiwr. Yn fwy na hynny, gall timau cyfan o ysgrifenwyr eitemau gydweithio ar ddatblygu eitemau gan ddefnyddio Generate, gyda swyddogaethau wedi'u hymgorffori i ganiatáu rheoli caniatâd a throsglwyddo strwythuredig i fformatau fel QTI.
Penodoldeb
Mae modelau iaith mawr yn mynd drwodd trwy gyfnod hyfforddi cyntaf o'r enw pretraining, lle yn sesiwn hir maen nhw'n dysgu gan miliynau o dudalennau o'r we, llyfrau, a ffynonellau eraill. Oherwydd pa mor ddrud yw cyfrifo dysgu o'r mewnbwn hynny, mae eu gwybodaeth fel arfer yn sefydlog ar ôl hynny. Gan ei bod yn fframwaith sgwrsio tenau ar ben GPT-3, mae gan ChatGPT yn debyg seilwaith gwybodaeth sefydlog na ellir ei newid. Os, dyweder, byddai technydd eisiau cymorth o ran system eiddo, ni fyddai model felly yn debygol o fod o gymorth iddynt, oherwydd nad oes gan y model unrhyw ffordd o ddysgu pwnc newydd.
Mae partneriaid Finetune yn cwmpasu'r amrediad o K-12 i addysg uwch i drwyddedu a chymhwyso, ac yn cwmpasu amrywiaeth eang o ddisgyblaethau.
O ganlyniad, mae'n hanfodol i ni fod y modelau a adeiladwn ar eu cyfer yn dysgu o'u cynnwys unigryw—er nad yw'r cynnwys hwnnw'n eithaf penodol neu newydd—ac yn rhaid eu bod yn gallu cael eu diweddaru gyda deunyddiau newydd pan fyddant yn dod ar gael.
I wneud hyn yn bosibl, mae ein tîm AI R&D wedi gwirfoddoli ein dulliau ein hunain i gynnwys gwybodaeth newydd yn effeithlon yn y modelau iaith a'u targedu i'r canllawiau penodol o asesiad. Yn fwy na hynny, mae Generate yn dysgu'n dynamig dros amser i dargedu eitemau'n well at gynnwys penodol a steil tasgau pob cwsmer. Throughout this year we plan to roll out several more features that will continue to improve the controllability and adaptability of our models, from key phrase targeting to fine-grained control over cognitive complexity and beyond.
Diogelwch
Fel demo arbrofol, mae ChatGPT yn cael ei gynllunio i gael adborth ar sut mae pobl yn rhyngweithio â modelau iaith, fel y gall OpenAI wella'r dechnoleg sylfaenol sy'n cefnogi ei APIs. Oherwydd hyn, pan fydd defnyddwyr yn siarad gyda ChatGPT, caiff yr interactions hynny eu storio a gallant fynd i mewn i ddata hyfforddi yn y dyfodol, i helpu hyfforddi'r genhedlaeth nesaf o fodelau. Mae hynny'n golygu os ydych chi'n datblygu eitem asesu gyda ChatGPT, gallai modelau yn y dyfodol wybod amdano neu ei gofio, gan ddangos eich eitemau a steil eitem yn ffyrdd na fwriadwyd, gan risgio eu diogelwch.
Mae diogelwch yn bryder allweddol o fewn datblygiad eitemau.
Mae Generate yn cadw eitemau'n ddiogel, wedi'u wthio, gyda phob cwsmer yn cael mynediad yn unig i'w modelau eu hunain.
Hyd yn oed o fewn cwsmer unigol, gellir cyfyngu defnyddwyr i gael mynediad yn unig i eitemau a gynhelir yn benodol. Gyda Generate, mae cwsmeriaid bob amser yn berchen ar unrhyw eitemau a gynhelir ganddynt, ni waeth a ydynt yn ceisio dim ond rhoi cynnig ar fodel cychwynnol neu a ydynt wedi mabwysiadu'r offer ar raddfa.
Ymddiriedaeth a Chefnogaeth
Mae llawer o'r hyn sy'n gwneud defnyddio LLM yn gynhyrchiol yn anodd yn y ffaith ei fod yn yn sylfaenol ar hap: gofynnwch iddo'r un cwestiwn ddwywaith a bydd yn rhoi dwy ateb gwahanol i chi. Mae hyn yn mynd yn erbyn yr hyn yr ydym fel arfer yn ei ddisgwyl gan ein offer: rydym yn dibynnu arnynt i fod yn ddibynadwy. Mae hyn yn arwain at un o'r problemau mwyaf parhaus gyda ChatGPT a gyda thechnolegau LLM eraill, sef ei fod yn anodd ymddiried yn eu cynnyrch pan nad ydych yn gwybod pam y dewiswyd y cynnyrch hynny. A oedd yn seiliedig ar ffeithiau y mae'r model yn eu cofrestru, neu gelwyddau a wnaethpwyd gan y model, neu hyd yn oed wedi eu lladrata o ryw ffynhonnell nad yw'n weladwy?
Mae'r safonau ar gyfer ymddiriedaeth yn addysg a phrofiadau yn uchel, llawer uwch na rhai ar gyfer chatbots anffurfiol. Mae cwsmeriaid am wybod bod eitemau maent yn eu cynhyrchu trwy Generate yn wirioneddol newydd, yn seiliedig ar eu deunyddiau eu hunain, ac yn ddilys.
Mae ein timau Mesur a AI R&D yn gweithio gyda phob cwsmer i greu modelau wedi'u teilwra i'w hanghenion, a chynnwys eu adborth mewn gwelliannau parhaus i'r modelau.
Rydym hefyd yn perfformio gwirio llaw a awtomataidd i wirio bod y cynigion a wna Generate yn cyd-fynd â manylebau'r cwsmer. Byddwn yn fuan yn cyflwyno nodwedd newydd a fydd yn galluogi defnyddwyr i gyfeirio eitemau a gynhelir yn hawdd gyda deunyddiau cyfeirio, fel y gallant gael sicrwydd ar unwaith bod y eitemau a gynhelir ganddynt yn seiliedig ar ffaith.
Casgliad
Mae hwn yn gyfnod cyffrous lle bydd cannoedd o geisiadau generatif yn cael eu datblygu, pob un yn ceisio achosion defnydd gwahanol ar gyfer LLMs. Wrth i chi archwilio nhw fel rhywun sy'n poeni'n ddifrifol am ansawdd asesiad yn addysg, cymhwysedd a thrwyddedu, rydym yn argymell bob amser cadw'r cwestiynau canlynol mewn golwg:
- Pwy mae'r cais hwn wedi'i gynllunio ar ei gyfer?
- Ydy'r model a ddefnyddir gan y cais hwn wedi'i hyfforddi'n benodol ar gyfer yr hyn sydd ei angen ar fy sefydliad, gan gynnwys ein hanghenion diogelwch?
- Sut bydd y data a gynhelir gennyf yn cael ei ddefnyddio?
- Ydw i am fuddsoddi'r amser a'r arian i wneud model cyffredinol crai'n ddefnyddiol (er enghraifft, y UI priodol) ac yn ddibynadwy gan ein Harbenigwyr Pwnc (SMEs) i'w integreiddio yn ein llif gwaith a'r cais defnydd uchel?
Rydym yn dal yn y dyddiau cynnar o'r dechnoleg drawiadol hon, ond mae'r ehangder o alluoedd y bydd ceisiadau generatif yn eu galluogi ar draws diwydiannau lluosog yn dod yn amlwg. Felly hefyd yw lleisiau'r rhybuddion a fynegwyd gan Gary Marcus o NYU a phobl eraill.
Yn Finetune rydym yn gyffrous iawn i barhau i ddangos mwy o nodweddion yn ein trydydd flwyddyn a fydd yn gwneud Generate hyd yn oed mwy perfformiadol, hyd yn oed mwy dibynadwy, ac hyd yn oed mwy defnyddiol ar draws y dirwedd dysgu a phrofiad cyfan.
Diweddarwyd Ebrill 29, 2025