- ChatGPT nu a fost în stare să răspundă întrebărilor adresate de cercetătorii de la Universitatea Long Island.
- Răspunsurile generate de chatbot erau vagi, dar complexe, dând impresia de acuratețe.
- Mai rău, ChatGPT a inventat referințele științifice atunci când i-au fost solicitate.
ChatGPT nu are chiar toate răspunsurile la el, arată un nou studiu.
Cercetătorii de la Universitatea Long Island i-au adresat chatbot-ului 39 de întrebări medicale care se regăseau în baza de date a Colegiului de Farmacie din cadrul universității.
Răspunsurile lui ChatGPT au fost apoi comparate cu răspunsurile scrise și verificate de farmaciști profesioniști.
Studiul arată că ChatGPT a oferit răspunsuri corecte la doar 10 dintre întrebări. Pentru celelalte 29, răspunsurile erau fie incomplete, fie neclare, sau nu răspundeau întrebării în sine, scrie CNN.
Descoperirea a fost prezentată la reuniunea anuală a Societății Americane a Farmaciștilor din Sistemul de Sănătate, în Anaheim, California.
ChatGPT, chatbot-ul lansat de OpenAI în noiembrie 2022, a devenit rapid cea mai utilizată aplicație din istorie, cu aproape 100 de milioane de oameni care s-au înregistrat în doar 2 luni.
Datorită popularității sale, chatbot-ul le-a atras atenția cercetătorilor, îngrijorați că studenții, farmaciștii sau clienții obișnuiți vor căuta la ChatGPT răspunsuri la curiozitățile lor medicale, spune Sara Grossman, un profesor asociat la Universitatea Long Island și unul dintre autorii studiului.
Răspunsuri periculoase
Întrebările, spun cercetătorii, l-au făcut pe ChatGPT să genereze răspunsuri imprecise, ba chiar periculoase.
Într-o întrebare, de exemplu, cercetătorii l-au întrebat pe ChatGPT dacă medicamentul antiviral Paxlovid pentru Covid-19 și medicamentul pentru scăderea presiunii arteriale verapamil ar provoca reacții adverse în organism dacă ar fi combinate. ChatGPT a răspuns că interferența celor două nu ar avea efecte adverse.
În realitate, oamenii care iau ambele medicamente se confruntă cu creșterea presiunii arteriale, care poate provoca amețeală sau leșin. Pacienții care le combină, de regulă, urmează un tratament creat de medici, reducând oricum doza de verapamil și avertizându-i pe oameni să se ridice încet în picioare atunci când stau jos, spune Grossman.
Recomandările lui ChatGPT, spune Grossman, i-ar fi pus în pericol pe oameni. Într-un email trimis către CNN, Grossman a scris că „alegerea lui ChatGPT ca sfătuitor în astfel de chestiuni i-ar pune în pericol pe pacienți, sugerându-le medicamente care, combinate, provoacă reacții adverse care ar fi putut fi evitate”.
ChatGPT inventează
Atunci când cercetătorii i-au cerut chatbot-ului să le ofere referințe științifice pentru a-și susține fiecare dintre răspunsuri, au descoperit că ChatGPT a putut să le ofere la doar 8 dintre ele – și la fiecare dintre ele, au fost surprinși să descopere că chatbot-ul a inventat referințele.
La prima vedere, citările păreau corecte: Erau formulate corect, aveau link-uri atașate și erau citate sub numele unor jurnale științifice legitime. Cu toate acestea, când echipa a încercat să dea de articolele citate, au realizat că ChatGPT le-a oferit citări false.
Grossman, care a lucrat puțin cu chatbot-ul înainte de începerea studiului, a fost surprinsă să vadă cu câtă încredere își sintetiza informația ChatGPT – aproape instantaneu, iar răspunsurile păreau atât de credibile, încât ar fi fost nevoie de profesioniști care să le poată contrazice.
„Răspunsurile erau structurate într-o manieră profesionistă și sofisticată, iar asta întărea credibilitatea instrumentului”, a spus Grossman.
Cum se apără OpenAI
Un purtător de cuvânt de la OpenAI, compania care a creat ChatGPT, a declarat că le recomandă utilizatorilor să nu se bazeze pe răspunsurile chatbot-ului sau să înlocuiască ajutorul medical real.
Purtătorul de cuvânt a menționat și că politica ChatGPT indică faptul că „modelele dezvoltate de OpenAI nu sunt antrenate să ofere informații medicale” și că „nu ar trebui folosite niciodată pentru a pune vreun diagnostic sau a stabili tratamente pentru condițiile medicale serioase”.
Deși Grossman nu e sigură de câți oameni ar folosi ChatGPT pentru a afla răspunsuri la întrebări medicale, este totuși îngrijorată de faptul că ar putea apela la el la fel cum apelează la Google la prima durere de cap.
Pentru informații medicale, Grossman recomandă site-uri guvernamentale de încredere, precum pagina MedlinePlus aparținând Institutului Național de Sănătate (NIH) din SUA.
Chiar și așa, Grossman nu crede că online-ul poate înlocui vreodată experiența unui medic real: „Fiecare pacient e diferit”.
Citește și