Algorytm obniżał opiekę czarnym pacjentom: rasowy bias w ochronie zdrowia
Koszt jako miara zdrowia — pozornie doskonały pomysł
Amerykańskie szpitale i ubezpieczyciele szeroko korzystają z algorytmów przewidujących ryzyko zdrowotne, by decydować, kto trafi do programów wzmożonej opieki: dodatkowych wizyt, stałego kontaktu z wyspecjalizowanymi pielęgniarkami, pomocy w kontrolowaniu chorób przewlekłych. Skala jest ogromna — według czasopisma Scientific American podobne narzędzia stosuje się rocznie wobec ponad 200 milionów Amerykanów. Logika wydaje się bez zarzutu: skoro środki są ograniczone, pomóżmy najpierw tym, którzy będą ich najbardziej potrzebowali.
Problem w tym, że twórcy tych systemów musieli zastąpić trudne do zmierzenia „zapotrzebowanie na zdrowie” czymś łatwo dostępnym w danych. Wybrali koszty leczenia z minionego roku. Założenie brzmiało sensownie: im chory pacjent, tym więcej się na niego wydaje. Jak przekonywał w rozmowie z Scientific American główny autor badania Ziad Obermeyer z Uniwersytetu Kalifornijskiego w Berkeley, koszt to po prostu bardzo wygodny sposób podsumowania potrzeb zdrowotnych — dostępny w niemal każdej bazie rozliczeniowej i nie wymagający czyszczenia danych.
Badanie, które rozbroiło mit neutralności
W październiku 2019 roku na łamach „Science” ukazała się praca zespołu Obermeyera, Briana Powersa, Christine Vogeli i Sendhila Mullainathana, oparta na analizie danych blisko 50 tysięcy pacjentów, w tym około 6 tysięcy osób czarnoskórych. Wnioski były jednoznaczne: przy tym samym wyniku ryzyka czarni pacjenci byli znacznie bardziej chorzy niż biali — w grupie zaklasyfikowanej jako najwyższe ryzyko mieli średnio o 26,3 procent więcej aktywnych chorób przewlekłych. Algorytm „wyglądał” na bezstronny także dlatego, że formalnie nie brał pod uwagę rasy; dyskryminacja kryła się w samej zmiennej objaśnianej.
Mechanizm warto zrozumieć dokładnie, bo powtarza się w wielu innych systemach. Białym pacjentom system amerykański pozwala wydawać więcej — mają lepszy dostęp do specjalistów, diagnostyki i planowej opieki. Czarni pacjenci o tej samej kondycji zdrowotnej generowali niższe rachunki, bo rzadziej docierali do lekarza, a gdy już trafiali do systemu, płacili za ostre interwencje: izbę przyjęć przy dekompensacji cukrzycy czy nadciśnienia. Algorytm odczytywał tę różnicę wydatków jako dowód lepszego zdrowia — i regularnie przepuszczał przed czarnoskórymi pacjentami zdrowszych białych.
Autorzy oszacowali, że likwidacja tego błędu zwiększyłaby odsetek czarnych pacjentów kierowanych do programów dodatkowej pomocy z 17,7 do 46,5 procent. Innymi słowy: ponad połowa osób, które powinny otrzymać wsparcie, nigdy go nie dostała — nie z powodu złej woli lekarza, lecz matematyki wbudowanej w narzędzie uznawane za obiektywne.
Reakcja branży i regulatorów
Badanie nie wymieniło początkowo producenta narzędzia, ale szybko stało się jasne, że chodzi o Impact Pro — produkt Optum, analitycznego giganta należącego do UnitedHealth Group, jednej z największych firm ubezpieczeniowo-zdrowotnych świata. Już 25 października 2019 roku nowojorscy regulatorzy — departament usług finansowych i departament zdrowia — wystosowali wspólny list do zarządu UnitedHealth Group, wzywając firmę do natychmiastowego zbadania sprawy albo zaprzestania stosowania Impact Pro. Jak napisali, żaden podmiot nie może produkować ani wykorzystywać algorytmu o skutekach dyskryminujących.
Co istotne, producent nie odrzucił wyników. Według opisu zawartego w publikacji naukowej samodzielnie powtórzył analizy na krajowej bazie prawie 3,7 miliona komercyjnie ubezpieczonych pacjentów i potwierdził rozbieżność. Wspólnie z naukowcami przetestowano poprawkę: zamiast prognozować same koszty, model zaczął łączyć predykcję kosztów z miarą stanu zdrowia, co zmniejszyło nadmierną liczbę nierozpoznanych chorób przewlekłych u czarnych pacjentów o 84 procent. To rzadki przykład szybkiej, konstruktywnej współpracy badaczy z przemysłem — i dowód, że ten typ błędu da się usunąć bez przebudowy całego systemu.
Lekcja na przyszłość
Historia Impact Pro stała się kanonem w dyskusji o regulacjach sztucznej inteligencji w ochronie zdrowia. Pokazała, że bias nie zawsze rodzi się ze złośliwości projektanta; częściej z niewinnego wyboru wygodnej miary, która cicho przenosi strukturalne nierówności do decyzji o życiu i zdrowiu. Dziś zarówno amerykańskie agencje federalne, jak i unijny AI Act klasyfikują narzędzia wspierające triage i opiekę nad pacjentem jako systemy wysokiego ryzyka, wymagające audytu, dokumentacji i nadzoru ludzkiego.
Dla pacjenta praktyczny wniosek też istnieje: decyzja o przydziale dodatkowej opieki nie jest wyrokiem. Warto pytać o podstawę takiej decyzji, żądać ponownej oceny uwzględniającej faktyczny stan zdrowia, a w razie odmowy korzystać z odwołań i rzeczników pacjenta. Personel medyczny i administratorzy szpitali powinni natomiast traktować wyniki każdego algorytmu jako jeden z sygnałów, nigdy jako ostateczne orzeczenie.
Konkluzja płynie z tego przypomnienia sama: algorytm jest tylko tak sprawiedliwy, jak dane i cele, które mu postawimy. Koszt leczenia mierzył historię nierównego dostępu do medycyny — i dopóki ktoś tego nie zauważył, maszyna sumiennie odtwarzała tę niesprawiedliwość na skalę milionów ludzi. Dobrze dobrana miara to nie detal techniczny, lecz kwestia etyki medycznej.
