Chatbot, który radził chorym dietę: AI a zaburzenia odżywiania
Program zaprojektowany, by chronić, zaczął szkodzić
Wiosną 2023 roku amerykańskie Narodowe Stowarzyszenie na rzecz Zaburzeń Odżywiania (NEDA) wycofało ze swojego serwisu chatbota o imieniu Tessa — zaledwie kilka dni po tym, jak ogłosiło plan zastąpienia nim ludzkiej infolinii. Powód był bolesny w swojej ironii: bot, stworzony jako wsparcie dla osób zmagających się z anoreksją i bulimią, udzielał chorym porad dietetycznych. Jak opisała sprawa m.in. stacja NPR i portal Wired, Tessa zalecała użytkowniczce odchudzanie w tempie jednego do dwóch funtów tygodniowo, liczenie kalorii z deficytem rzędu pięciuset do tysiąca kilokalorii dziennie, cotygodniowe ważenie się, a nawet pomiar tkanki tłuszczowej szczypcami kaliprowymi.
Pierwsza osoba, która podniosła alarm, działaczka Sharon Maxwell, opublikowała na przełomie maja i czerwca 2023 roku zrzuty ekranu rozmowy z botem. Jej wniosek był jednoznaczny: każda z tych wskazówek to element, który sam w sobie prowadzi do rozwoju zaburzenia odżywiania. Psycholożka Alexis Conason, specjalizująca się w leczeniu tych chorób, powtórzyła test i uzyskała te same rekomendacje. Restrykcje żywieniowe, obsesyjne liczenie kalorii i kontrola wagi nie są przy zaburzeniach odżywiania „zdrowym stylem życia” — są objawem i paliwem choroby.
Reakcja organizacji i kontekst zwolnień
Co szczególnie obciążające, NEDA początkowo odrzuciła zarzuty, a jej przedstawicielka publicznie sugerowała, że zgłaszająca kłamie — dopiero konfrontacja ze zrzutami ekranu wymusiła usunięcie tego stanowiska. Kilka dni później organizacja zawiesiła bota, przyznając, że udzielone informacje były szkodliwe i sprzeczne z podstawowymi zasadami stowarzyszenia. Interim prezeska Liz Thompson tłumaczyła mediom, że problematyczne odpowiedzi trafiły do niewielkiego odsetka użytkowników, a winowajcą mieli być „źli aktorzy” celowo próbujący wprowadzić program na manowce. Nie zmieniało to jednak faktu, że narzędzie skierowane do osób w kryzysie okazało się nieprzewidywalne w kontakcie z realnymi pytaniami.
Tło całej sprawy budziło dodatkowe emocje. Decyzja o zawieszeniu Tessy zapadła tuż po tym, jak NEDA rozstała się z sześciooma etatowymi pracownikami infolinii oraz ponad dwustusobową grupą wolontariuszy — cztery dni po tym, jak załoga oficjalnie zawiązała związek zawodowy. Jak podało NPR, infolinia obsłużyła rok wcześniej blisko siedemdziesiąt tysięcy połączeń. W praktyce oznaczało to moment, w którym osoby szukające pomocy nie miały ani ludzi, ani działającego bota.
Skąd wzięły się szkodliwe rady
Paradoksalnie Tessa nie była generatywną sztuczną inteligencją typu ChatGPT. Program opracowany na Washington University w St. Louis bazował na scenariuszu terapeutycznym „Body Positive”, opartym na terapii poznawczo-behawioralnej, i został przetestowany w randomizowanym badaniu klinicznym opisanym w 2021 roku, obejmującym ponad siedmiuset uczestników — jako narzędzie profilaktyki dawało wtedy obiecujące rezultaty. Szkodliwe porady dotyczące odchudzania pojawiły się jednak w wersji rozbudowanej o nowe możliwości i nigdy nie były częścią scenariusza pisanej przez specjalistów. Twórczyni programu, dr Ellen Fitzsimmons-Craft, mówiła otwarcie, że była wstrząśnięta treścią odpowiedzi, których sama nie umiała wyjaśnić.
To kluczowa lekcja dla całej branży zdrowotnej: nawet system oparty na sztywnych regułach, pozytywnie zwalidowany w badaniu, może po modyfikacjach zachować się w sposób nieprzewidziany. W przypadku modeli generatywnych ryzyko jest wielokrotnie większe, bo odpowiedzi powstają na bieżąco i nie da się ich w całości przewidzieć ani przetestować przed publikacją.
Co mówią standardy leczenia
Wytyczne brytyjskiego instytutu NICE dotyczące rozpoznawania i leczenia zaburzeń odżywiania (wytyczna NG69) stawiają sprawę jasno: podstawą leczenia jest psychoterapia prowadzona przez wyspecjalizowanych fachowców — terapia poznawczo-behawioralna ukierunkowana na zaburzenia odżywiania, terapia rodzinna u młodzieży lub prowadzone samopomocowe programy wspierane kontaktami z terapeutą. Leczenia zaburzeń z napadami objadania się nie ukierunkowuje się na utratę wagi, a pacjentów radzi się wprost, by podczas terapii nie podejmowały prób odchudzania, bo mogą one nasilać objawy. Żadna z tych ścieżek nie przewiduje miejsca dla automatycznego doradcy dyktującego deficyty kaloryczne osobie chorej.
Jak się chronić
Osoby zmagające się z zaburzeniami odżywiania powinny traktować każdy czatbot — niezależnie od marki i deklaracji twórców — jako narzędzie informacyjne, nie terapeutyczne. Sygnałem ostrzegawczym jest każda rekomendacja ograniczania jedzenia, liczenia kalorii czy kontroli wagi skierowana do osoby, która zgłasza problem z jedzeniem. Warto wybierać aplikacje posiadające jasno opisane nadzór kliniczny i recenzowane badania, a przy pierwszych oznakach choroby kontaktować się z lekarzem lub ośrodkiem specjalistycznym. Rodzice nastolatków powinni wiedzieć, że dzieci coraz częściej pytają maszyny o rzeczy, których nie mówią rodzicom.
Sprawa Tessy pozostaje podręcznikowym przykładem tego, że w medycynie testowanie technologii nie kończy się na publikacji naukowej — system trzeba monitorować przez cały czas jego działania, zwłaszcza gdy adresuje go do osób bezbronnych.
