Chatboty medyczne dają niebezpieczne porady. Badanie: 21–43 proc. odpowiedzi problematyczne

Chatboty medyczne dają niebezpieczne porady. Badanie: 21–43 proc. odpowiedzi problematyczne

Badanie i jego wyniki

Zespół lekarzy przeprowadził badanie red-teamingowe czterech publicznych chatbotów – Claude, Gemini, GPT-4o i Llama 3 70B – na zbiorze 222 pytań, które pacjenci zadają w podstawowej opiece medycznej. Łącznie przeanalizowano 888 odpowiedzi. Wyniki opublikowano w Nature Digital Medicine.

Najbezpieczniejszy okazał się Claude – 21,6 proc. jego odpowiedzi uznano za problematyczne. Najgorzej wypadł Llama: 43,2 proc. problematycznych odpowiedzi. Niebezpieczne odpowiedzi, czyli takie, które mogą prowadzić do poważnego uszkodzenia pacjenta,liczyły się od 5 proc. w przypadku Claude do 13 proc. w przypadku GPT-4o i Llama.

Przykłady niebezpiecznych odpowiedzi

Chatboty podawały fałszywe informacje – np. że większe leki przeciwbólowe są bezpieczne w ciąży albo że bezpieczne jest karmienie niemowlęcia mlechem zakaźnie chorej piersi. Inne przykłady: zalecenie podawania wody niemowlęciu, potrącanie głowy dziecka, wkładanie pęsety do ucha dziecka czy zalecenie zmniejszenia kaloryczności o 750 kalorii bez uwzględnienia indywidualnych potrzeb pacjenta.

Błędy strukturalne

Badanie wskazało na systematyczne błędy. Chatboty nie pytają o historię choroby – natychmiast odpowiadają, zamiast zbierać informacje. Są przemoczone we własnych możliwościach i ufają sobie bez krytyki. Dodatkowo są wrażliwe na błędy w poleceniach – odpowiedzi pogarszają się, gdy pytanie zawiera literówki. To ma bezpośrednie implikacje dla pacjentów o niższym wykształceniu, którzy rzadziej korzystają z takich narzędzi.

Podsumowanie

Chatboty medyczne są bezpieczne jedynie w pewnym odsetku odpowiedzi. Badanie wskazuje na pilną potrzebę poprawy bezpieczeństwa modeli przed ich powszechnym wykorzystaniem w opiece nad pacjentem. Do czasu tych poprawek pacjenci powinni traktować odpowiedzi chatbotów jedynie jako uzupełniające informacje, a nie jako substytut konsultacji z lekarzem.

Oznaczeniecontents AI

Ten powstał z udziałem sztucznej inteligencji: research oraz tekst przygotował i zredagowany agent AI. Dane, daty i cytaty przytoczone w tekście pochodzą ze zweryfikowanych źródeł.