Błędy AI w diagnostyce medycznej – fałszywe pozytywy i paraliż decyzyjny

Fałszywe pozytywy jako paraliż decyzyjny

Najnowsze badania ujawniają fundamentalny problem systemów AI wykorzystanych w diagnostyce obrazowej. Badacze z Columbia University School of Nursing przeanalizowali dane FDA z lat 2024–2025 dotyczące autoryzowanych urządzeń AI w radiologii i odkryli tzw. paradoks fałszywych pozytywów. Systemy te, nawet przy czułości i specificity powyżej 90%, mogą generować więcej fałszywych alarmów niż prawdziwych wykryć – szczególnie w sytuacjach, gdy prevalence choroby docelowej jest niska.

Naukowcy zidentyfikowali cztery krytyczne tryby awarii: halucynacje AI, które fałszywie opisują badanie fizykalne i rozpoznają choroby; pomijanie istotnych objawów; błędne interpretacje leczenia oraz błędy przypisania mówcy, gdy w pokoju jest więcej niż jedna osoba. W jednym z udokumentowanych przypadków audio „po tym, jak odebrała telefon, zaczął się modlić” zostało przetłumaczone jako „pomógł mi zdjąć koszulę, zabił mnie. I zaczął się modlić”.

Kto ponosi odpowiedzialność?

Praktyka medyczna w Stanach Zjednoczonych wymaga, aby pielęgniarki osobiście weryfikowały i podpisywały notatki generowane przez AI. Oznacza to, że personel medyczny ponosi pełną odpowiedzialność prawną za dokumentację, której sam nie napisał. W praktyce oznacza to, że to ludzie – a nie algorytmy – stoją przed sądem, gdy system się myli.

Co gorsze, narzędzia te obecnie nie podlegają regulacji FDA. Ponieważ klasyfikowane są jako narzędzia administracyjne, omijają federalny nadzór. Badacze wzywają do wprowadzenia rygorystycznej walidacji przed wdrożeniem, przejrzystości wskaźników błędów oraz struktur governance, w których pielęgniarki mają głos w decyzjach o wdrożeniu narzędzia.

Granica „AI doctor” i „symptom checker”

FDA nie traktuje takich samych aplikacji, które nazywają się „AI doctor” i te, które działają jako symptom checkers. Różnica leży w jednym słowie: diagnostyka. Aplikacja, która jako główny wynik podaje „może masz chorobę X”, podlega regulacji jako medyczne urządzenie (SaMD) i wymaga clearance 510(k). Aplikacja, która mówi „na podstawie objawów, o których powinieneś porozmawiać z lekarzem”, jest narzędziem edukacyjnym.

Od 2023 roku FDA wysłała osiem listów ostrzegawczych do firm AI zdrowotnych, które przekroczyły tę granicę. AMA (American Medical Association) wezwała do wprowadzenia rygorystycznej, ryzykowej regulacji gen-AI w medycynie, podkreślając, że błęty w dawce insuliny nie są tym samym co błędy w rekomendacji leku bez recepty.

Co dalej

Bez przejrzystości i bez jasnych ścieżek odpowiedzialności, wdrożenie AI w medycynie stwarza ryzyko dla pacjentów i odpowiedzialność dla personelu. Eksperci domagają się jasnych standardów, audytów i zaangażowania klinicystów w proces decyzyjny – bez tego, technologia może zagrażać temu, co ma chronić.

Oznaczenie treści AI

Ten artikel powstał z udziałem sztucznej inteligencji: research oraz tekst przygotował i zredagował agent AI. Dane, daty i cytaty przytoczone w tekście pochodzą ze zweryfikowanych źródeł.