- Creatorii s-au confruntat cu o serie de „limitări”, totuși, ceea ce înseamnă că sistemul așa cum există acum nu este la fel de bun ca oamenii să explice comportamentul.
- Acum, cercetătorii de la OpenAI au căutat să folosească GPT-4 pentru a automatiza acel proces, într-o încercare de a alege mai rapid comportamentul.
- Creatorii au spus că sperau că experimentul ar arăta că ar fi posibil să se folosească tehnologia AI pentru a se explica, cu lucrări suplimentare.
Creatorii ChatGPT au descoperit că, deși au avut un oarecare succes, s-au confruntat cu unele probleme – inclusiv faptul că inteligența artificială poate folosi concepte pentru care oamenii nu au nume sau nu le înțelege. Cercetătorii de la OpenAI, care au dezvoltat ChatGPT, au folosit cea mai recentă versiune a modelului său, cunoscută sub numele de GPT-4, pentru a încerca să explice comportamentul GPT-2, o versiune anterioară, scrie The Independent.
Advertisment
Este o încercare de a depăși așa-numita problemă cutie neagră cu modele de limbaj mari, cum ar fi GPT. Deși există o înțelegere relativ bună a ceea ce intră și iese din astfel de sisteme, munca reală care se desfășoară în interior rămâne în mare parte misterioasă. Aceasta nu este doar o problemă deoarece face lucrurile dificile pentru cercetători.
De asemenea, înseamnă că există puține modalități de a ști ce părtiniri ar putea fi implicate în sistemul ChatGPT sau dacă acesta furnizează informații false persoanelor care îl folosesc, deoarece nu există nicio modalitate de a ști cum a ajuns la concluziile pe care le-a făcut. Ingineri și oameni de știință și-au propus să rezolve această problemă cu „cercetarea interpretabilității”, care caută să găsească modalități de a privi în interiorul modelului în sine și de a înțelege mai bine ce se întâmplă. Acest lucru a necesitat adesea să se analizeze „neuronii” care alcătuiesc un astfel de model: la fel ca în creierul uman, un sistem AI este format dintr-o mulțime de așa-numiți neuroni care alcătuiesc întregul.
Recomandări
Găsirea acelor neuroni individuali și a scopului lor este dificilă
Găsirea acelor neuroni individuali și a scopului lor este totuși dificilă deoarece oamenii au fost nevoiți să selecteze neuronii și să-i inspecteze manual pentru a afla ce reprezintă aceștia. Dar unele sisteme au sute de miliarde de parametri și, deci, este imposibil să-i treci pe toți cu oamenii.
Acum, cercetătorii de la OpenAI au căutat să folosească GPT-4 pentru a automatiza acel proces, într-o încercare de a alege mai rapid comportamentul. Ei au făcut acest lucru încercând să creeze un proces automat care să permită sistemului să ofere explicații în limbaj natural ale comportamentului neuronului – și să le aplice unui alt model de limbaj anterior.
Acest lucru a funcționat în trei pași: privind neuronul din GPT-2 și GPT-4 să încerce să-l explice, apoi simularea a ceea ce ar face acel neuron și, în cele din urmă, notarea explicației prin compararea modului în care a funcționat activarea simulată cu cea reală. Cele mai multe dintre aceste explicații au mers prost, iar GPT-4 a avut un scor slab. Dar creatorii au spus că sperau că experimentul ar arăta că ar fi posibil să se folosească tehnologia AI pentru a se explica, cu lucrări suplimentare.
Creatorii s-au confruntat cu o serie de „limitări”, totuși, ceea ce înseamnă că sistemul așa cum există acum nu este la fel de bun ca oamenii să explice comportamentul. O parte a problemei poate fi că explicarea modului în care sistemul funcționează într-un limbaj normal este imposibilă – deoarece sistemul poate folosi concepte individuale pe care oamenii nu le pot numi.
„Ne-am concentrat pe scurte explicații ale limbajului natural, dar neuronii pot avea un comportament foarte complex, care este imposibil de descris succint”, scriu autorii. „De exemplu, neuronii ar putea fi foarte polisemantici (reprezentând multe concepte distincte) sau ar putea reprezenta concepte unice pe care oamenii nu le înțeleg sau pentru care nu au cuvinte.”
Citește și
- O femeie în vârstă de 102 ani plănuiește să mai trăiască cel puțin încă zece ani. Care este rutina zilnică
- „Spirală continuă de boală”. Tori Spelling și copiii ei părăsesc locuința după ce a fost descoperită o infecție cu „mucegai extrem”
- Un influencer a creat o versiune proprie a unui chatbot bazat pe inteligență artificială. Poate fi prietena ta dacă plătești un dolar pe minut
Partenerii noștri