Studiu: ChatGPT a avut dificultăți în evaluarea ipotezelor științifice

Un nou studiu a testat ChatGPT pe peste 700 de ipoteze științifice, cerându-i să stabilească dacă acestea sunt adevărate sau false. Rezultatele au arătat o acuratețe limitată și un nivel semnificativ de inconsistență, inclusiv la întrebări identice repetate. Cercetarea indică probleme mai ales în identificarea afirmațiilor false și recomandă prudență în utilizarea IA pentru decizii importante.

Echipa de cercetători a evaluat peste 700 de ipoteze și a adresat aceeași întrebare de 10 ori pentru fiecare caz, pentru a măsura consecvența răspunsurilor. Când experimentul a fost realizat pentru prima dată în 2024, ChatGPT a răspuns corect în 76,5% din situații, iar într-un test de urmărire din 2025 precizia a crescut la 80%. După ajustarea rezultatelor pentru a ține cont de ghicirea aleatorie, performanța sistemului a fost estimată la doar aproximativ 60% peste nivelul șansei. Cea mai mare dificultate a apărut la identificarea afirmațiilor false, corect etichetate în doar 16,4% din cazuri.

Studiul a evidențiat și o inconsistență notabilă a răspunsurilor. Chiar și atunci când a primit exact aceeași solicitare de 10 ori, ChatGPT a oferit răspunsuri consecvente în aproximativ 73% din cazuri. Potrivit lui Cicek, profesor asociat la Departamentul de Marketing și Afaceri Internaționale din cadrul Carson College of Business al WSU și autor principal al publicației, au existat situații în care sistemul a alternat între „adevărat” și „fals” pentru aceeași întrebare, inclusiv cazuri cu cinci răspunsuri „adevărat” și cinci „fals”.

Concluziile cercetării indică necesitatea prudenței atunci când sistemele de inteligență artificială sunt folosite în decizii importante, mai ales în contexte care cer raționament nuanțat sau complex. Autorii arată că, deși IA generativă poate produce un limbaj fluent și convingător, aceasta nu demonstrează încă același nivel de înțelegere conceptuală. Pe baza acestor rezultate, cercetătorii recomandă liderilor de afaceri să verifice informațiile generate de IA și să înțeleagă mai bine limitele practice ale acestor sisteme.

Deși analiza s-a concentrat pe ChatGPT, Cicek a spus că experimente similare realizate cu alte instrumente de inteligență artificială au produs rezultate comparabile. Lucrarea se sprijină și pe cercetări anterioare care îndeamnă la prudență față de entuziasmul excesiv legat de IA. Un sondaj național din 2024 a arătat, de asemenea, că consumatorii erau mai puțin dispuși să cumpere produse atunci când acestea erau promovate cu accent pe inteligența artificială.