Nu toate modelele de inteligență artificială (IA) „open source” sunt de fapt deschise

Multe dintre modelele de limbaj mare care alimentează chatboții se revendică a fi deschise, dar restricționează accesul la cod și datele de antrenament.

Giganți tehnologici precum Meta și Microsoft își descriu modelele de inteligență artificială (IA) drept „open source” fără a dezvălui informații importante despre tehnologia de bază, afirmă cercetătorii care au analizat o serie de modele populare de chatboți. Definiția open source în contextul modelelor IA nu este încă stabilită, dar susținătorii spun că o deschidere completă stimulează știința și este esențială pentru a face IA responsabilă. Definirea exactă a termenului open source este probabil să devină din ce în ce mai importantă odată cu intrarea în vigoare a Legii Inteligenței Artificiale a Uniunii Europene. Această legislație va aplica reglementări mai puțin stricte pentru modelele clasificate ca deschise.

Unele companii mari culeg beneficiile declarării modelelor lor ca fiind open source, în timp ce încearcă „să scape cu dezvăluirea a cât mai puține informații posibile”, spune Mark Dingemanse, un specialist în știința limbajului la Universitatea Radboud din Nijmegen, Olanda. Această practică este cunoscută sub denumirea de open-washing.

„Spre surprinderea noastră, jucătorii mici, cu resurse relativ puține, fac un efort suplimentar”, spune Dingemanse, care împreună cu colegul său Andreas Liesenfeld, un lingvist computațional, au creat un clasament al celor mai deschise și mai puțin deschise modele. Ei și-au publicat concluziile pe 5 iunie în cadrul Conferinței ACM 2024 privind Echitatea, Responsabilitatea și Transparența. Studiul elimină „multă agitație și exagerări în jurul dezbaterii actuale despre open-sourcing”, spune Abeba Birhane, cercetător în științe cognitive la Trinity College Dublin și consilier în materie de responsabilitate IA la Mozilla Foundation, o organizație non-profit cu sediul în Mountain View, California.

Ce înseamnaă de fapt Open Source?

Termenul open source provine din software, unde înseamnă acces la codul sursă și fără limitări în utilizarea sau distribuția unui program. Dar, având în vedere complexitatea modelelor mari de IA și volumele uriașe de date implicate, realizarea acestora ca open source este departe de a fi simplă, iar experții încă lucrează la definirea conceptului de IA open source. Dezvăluirea tuturor aspectelor unui model nu este întotdeauna de dorit pentru companii, deoarece le poate expune la riscuri comerciale sau legale, spune Dingemanse. Alții argumentează că eliberarea completă a modelelor riscă să fie folosită în mod abuziv.

Dar a fi etichetat ca open source poate aduce și mari beneficii. Dezvoltatorii pot obține deja avantaje de relații publice prezentându-se ca fiind riguroși și transparenți. Și în curând vor exista și implicații legale. Legea IA a UE, care a fost adoptată în acest an, va excepta modelele open source de uz general, până la o anumită dimensiune, de la cerințele extinse de transparență și le va supune unor obligații mai reduse și încă nedefinite. „Este corect să spunem că termenul open source va căpăta o importanță juridică fără precedent în țările guvernate de Legea IA a UE”, spune Dingemanse.

În studiul lor, Dingemanse și Liesenfeld au evaluat 40 de modele mari de limbaj — sisteme care învață să genereze text prin asocierea cuvintelor și frazelor în volume mari de date. Toate aceste modele pretind a fi „open source” sau „deschise”. Cei doi au creat un clasament al deschiderii evaluând modelele pe 14 parametri, inclusiv disponibilitatea codului și a datelor de antrenament, ce documentație este publicată și cât de ușor este de accesat modelul. Pentru fiecare parametru, au evaluat dacă modelele erau deschise, parțial deschise sau închise. Această abordare pe o scară glisantă a analizei deschiderii este una utilă și practică, spune Amanda Brock, director executiv al OpenUK, o organizație non-profit cu sediul la Londra care se concentrează pe tehnologia deschisă.

Cercetătorii au descoperit că multe modele care pretind a fi deschise sau open source — inclusiv Llama de la Meta și Gemma de la Google DeepMind — sunt, de fapt, doar „open weight”. Asta înseamnă că cercetătorii externi pot accesa și utiliza modelele antrenate, dar nu le pot inspecta sau personaliza. De asemenea, nu pot înțelege pe deplin cum au fost adaptate pentru sarcini specifice; de exemplu, folosind feedback uman. „Nu dezvălui multe,dar pot revendica căsunt deschiși deschidere,” spune Dingemanse. Ceea ce este deosebit de îngrijorător, spun autorii, este lipsa de transparență în privința datelor pe care modelele sunt antrenate. Aproximativ jumătate dintre modelele pe care le-au analizat nu oferă detalii despre seturile de date, dincolo de descrieri generice, spun ei.

Un purtător de cuvânt al Google spune că compania este „precisă în ceea ce privește limbajul” folosit pentru a descrie modelele, alegând să eticheteze Gemma LLM ca fiind deschisă, mai degrabă decât open source. „Conceptele existente de open-source nu pot fi întotdeauna aplicate direct la sistemele de IA,” au adăugat ei. Microsoft încearcă să fie „cât mai precisă posibil în ceea ce privește ceea ce este disponibil și în ce măsură”, spune un purtător de cuvânt. „Alegem să facem artefacte precum modele, coduri, instrumente și seturi de date disponibile publicului, deoarece comunitățile de dezvoltatori și cercetători au un rol important în avansarea tehnologiei IA.” Meta nu a răspuns la o solicitare de comentarii din partea revistei Nature. Modelele realizate de firme mai mici și grupuri de cercetare au tendința de a fi mai deschise decât cele ale marilor companii de tehnologie, a constatat analiza. Autorii subliniază BLOOM, construit de o colaborare internațională, în mare parte academică, ca un exemplu de IA cu adevărat open source.

 „Peer review” devine demodat

Cercetările științifice detaliind modelele sunt extrem de rare, au descoperit cei doi. Revizuirea colegială pare să fi „căzut aproape complet în afara modei”, fiind înlocuită de postări pe bloguri cu exemple alese pe sprânceană sau preprinturi corporative care sunt sărace în detalii. Companiile „ar putea lansa un document frumos, atractiv pe site-ul lor, care pare foarte tehnic. Dar dacă îl examinezi cu atenție, nu există nicio specificație despre ce date au intrat în acel sistem,” spune Dingemanse. Nu este încă clar câte dintre aceste modele vor se încadra în definiția UE de open source. Conform legii, aceasta ar trebui să se refere la modelele care sunt lansate sub o licență „liberă și deschisă” care, de exemplu, permite utilizatorilor să modifice un model, dar nu spune nimic despre accesul la datele de antrenament. Refinarea acestei definiții va constitui probabil „un punct de presiune unic care va fi vizat de lobiștii corporativi și de marile companii”, afirmă articolul.

Și deschiderea contează pentru știință, spune Dingemanse, deoarece este esențială pentru reproducibilitate. „Dacă nu o poți reproduce, este greu de spus că este știință,” spune el. Singura modalitate prin care cercetătorii pot inova este prin ajustarea modelelor, iar pentru a face acest lucru au nevoie de suficiente informații pentru a-și construi propriile versiuni. Nu doar atât, dar modelele trebuie să fie deschise pentru a fi examinate. „Dacă nu putem privi în interior pentru a ști cum este făcut cârnatul, nu știm nici dacă să fim impresionați de el,” spune Dingemanse. De exemplu, s-ar putea să nu fie o realizare pentru un model să treacă un anumit examen dacă a fost antrenat pe multe exemple ale testului. Și fără responsabilitatea datelor, nimeni nu știe dacă au fost folosite date nepotrivite sau cu drepturi de autor, adaugă el.

Liesenfeld spune că cei doi speră să ajute alți cercetători să evite „să cadă în aceleași capcane în care am căzut noi”, atunci când caută modele de utilizat în predare și cercetare.

Articolul a fost preluat – vezi Sursa