Penn State: chatboty AI trafnie odpowiadały na codzienne pytania zdrowotne w niemal 76 proc. przypadków

Badacze z Penn State poinformowali 28 maja, że chatboty AI udzielały poprawnych odpowiedzi na codzienne pytania zdrowotne w „niemal 76 proc.” przypadków. Autorzy badania zaznaczają jednak, że część odpowiedzi zawierała błędy, które mogły być potencjalnie szkodliwe dla użytkowników.

W badaniu wzięły udział 34 osoby związane z uczelnią, które przygotowały 212 promptów oraz odpowiedzi dotyczących rzeczywistych i hipotetycznych problemów zdrowotnych. Uczestnicy korzystali z czterech modeli: ChatGPT-4o, ChatGPT-3.5, Gemini-1.5 Pro i Llama 3-8B. Zespół opisał projekt jako próbę odtworzenia sposobu, w jaki przeciętny użytkownik internetu korzysta dziś z AI jako internetowego „symptom checkera”. Wyniki mają zostać przedstawione podczas konferencji ACM Fairness, Accountability and Transparency, która odbędzie się 25–28 czerwca w Montrealu.

Odpowiedzi modeli oceniało dziewięciu lekarzy posiadających certyfikację specjalistyczną. Sprawdzali oni zarówno trafność odpowiedzi, jak i ich potencjalną szkodliwość, stosując sześciostopniową skalę: od bardzo niskiej do bardzo wysokiej. Według komunikatu uczelni chatboty osiągnęły „niemal 76 proc.” trafności. Badacze nie wyjaśnili jednak w udostępnionych materiałach, jak dokładnie zdefiniowali ten wskaźnik i w jaki sposób wyliczyli końcowy wynik.

Ograniczenia badania

Autorzy wskazali też, że modele radziły sobie słabiej w niektórych dziedzinach, między innymi w neurologii i dermatologii. W komunikacie cytowanym przez Penn State współautor badania Amulya Yadav powiedział, że zespół chciał sprawdzić, jak dokładnie duże modele językowe odpowiadają na pytania, które zwykli ludzie zadają im w sprawach zdrowotnych, oraz jak szkodliwe mogą być takie odpowiedzi. Z kolei główny autor Bonam Mingole podkreślił, że uczestnicy mogli wybierać model i korzystać z niego tak, jak robiliby to na co dzień.

Badanie różni się od wielu wcześniejszych testów modeli językowych w medycynie, ponieważ nie opierało się na egzaminach ani ustrukturyzowanych benchmarkach. Miało raczej pokazać praktyczne wykorzystanie narzędzi AI przez zwykłych użytkowników szukających w sieci wstępnych informacji o objawach lub stanie zdrowia. Jednocześnie próba była niewielka: objęła 34 uczestników i 212 promptów, a materiał opiera się głównie na komunikacie uczelni i wypowiedziach autorów.

Pełniejsza ocena wyników będzie możliwa po publikacji preprintu lub pełnych danych, w tym rozbicia rezultatów dla poszczególnych modeli i specjalności. Na razie badanie sugeruje, że AI może wspierać wyszukiwanie informacji zdrowotnych, ale nadal nie eliminuje ryzyka błędnych i potencjalnie niebezpiecznych odpowiedzi.