Czarna skrzynka: gdy nikt nie umie wyjaśnić, dlaczego algorytm odmówił

Algorytmy oceniają wnioski kredytowe, przydzielają świadczenia, filtrują aplikacje o pracę. Problem nie pojawia się wtedy, gdy decydują dobrze, tylko wtedy, gdy ktoś pyta: dlaczego właśnie tak? W przypadku modeli uczenia maszynowego — zwłaszcza głębokich sieci — odpowiedź często nie istnieje w formie, którą da się przedstawić klientowi, urzędnikowi czy sędziemu. Model nie tłumaczy swojego wnioskowania — zwraca wynik. To, co w branży nazywa się problemem czarnej skrzynki, w praktyce oznacza, że decyzje dotyczące ludzi zapadają bez wyjaśnienia, które da się zrozumieć, a odpowiedzialności nikt nie chce wziąć na siebie.

Limit kredytowy, którego nikt nie umiał od razu wyjaśnić

Głośny przypadek dotyczył karty kredytowej Apple Card, obsługiwanej przez Goldman Sachs. W listopadzie 2019 roku programista David Heinemeier Hansson opisał publicznie, że otrzymał limit dwudziestokrotnie wyższy niż jego żona, mimo wspólnych dokumentów podatkowych i tego, że to ona miała wyższy wynik kredytowy. Podobne relacje zgłaszały kolejne osoby; sprawa trafiła na pierwsze strony, a departament usług finansowych stanu Nowy Jork wszczął postępowanie. Analiza danych około 400 tysięcy wnioskodawców nie wykazała niezgodnej z prawem dyskryminacji — kobiety i mężczyźni o zbliżonych profilach kredytowych dostawali zbliżone wyniki, a sprawdzane decyzje okazały się zgodne z polityką kredytową banku. Nadzorca wskazał jednak na coś, co brzmi znajomo: niedociągnięcia w obsłudze klienta i odczuwalny brak przejrzystości podkopały zaufanie do decyzji kredytowych. Wyjaśnienie, dlaczego limity różnią się tak mocno, przyszło dopiero po interwencji regulatora i opierało się na zasadach, których klienci nie znali — status „upoważnionego użytkownika” cudzej karty nie liczy się tak samo jak posiadanie własnego konta. Raport zamknął sprawę apelem o unowocześnienie modeli oceny kredytowej i dopilnowanie, by prawa antydyskryminacyjne nadążały za tym, jak kredyt przyznaje się dziś.

Świadczenia, które zabrano bez wyjaśnienia

Drugi przypadek ma ciężar ludzki, nie tylko techniczny. Holenderski urząd skarbowy oceniał wnioski o zasiłki na opiekę nad dziećmi modelem ryzyka, który oznaczał rodziny jako podejrzane o oszustwo — wśród wskaźników znalazło się m.in. posiadanie holenderskiego obywatelstwa, a drobna nieścisłość formalna, jak brakujący podpis, oznaczała konieczność oddania zasiłku za cały rok. Około 26 tysięcy rodziców uznano niesłusznie za oszustów; musieli zwrócić pobrane świadczenia, często dziesiątki tysięcy euro, popadając w długi. Część rodzin straciła mieszkania, a część dzieci trafiła pod opiekę zastępczą. Sprawę ujawnili dziennikarze w latach 2018–2019; parlamentarna komisja śledcza oceniła w raporcie z grudnia 2020 roku, że naruszono podstawowe zasady praworządności, a jej konsekwencją była dymisja całego rządu Marka Rutte w styczniu 2021 roku. Techniczny szczegół zasługuje na uwagę: cel — zwalczanie oszustw — był powszechnie aprobowany. Zawiodła nie zasada, lecz brak mechanizmu, który pozwalał zapytać model, dlaczego oznaczył daną rodzinę, i poddać tę ocenę kontroli, zanim ktoś stracił dach nad głową.

Prawo próbuje nadążyć

Unijne regulacje odpowiadają na ten problem wprost. RODO od dawna ogranicza w pełni zautomatyzowane decyzje o skutkach prawnych — osoba ma prawo do ludzkiej interwencji, przedstawienia swojego stanowiska i zakwestionowania decyzji. Spór o to, czy wynika z tego pełne „prawo do wyjaśnienia”, trwał latami, ale kierunek jest jasny: decyzja bez możliwości zapytania „dlaczego” nie mieści się w standardzie. AI Act idzie dalej — systemy wysokiego ryzyka, w tym ocena zdolności kredytowej i świadczeń społecznych, mają być zaprojektowane tak, by ich wyniki dało się interpretować, a użytkownik rozumiał, na jakiej podstawie działają. To przesuwa ciężar: wyjaśnialność przestaje być dobrowolnym dodatkiem, a staje się wymogiem projektowym.

Co z tego wynika dla praktyki

Narzędzia wyjaśnialności — metody pokazujące, które cechy wniosku najmocniej wpłynęły na wynik — istnieją i bywają pomocne, ale mają granice: opisują wpływ cech lokalnie, nie gwarantują zgodności z faktycznym działaniem modelu ani nie usuwają ukrytych zależności od cech wrażliwych, takich jak kod pocztowy pełniący rolę pośrednika demograficznego. Dlatego odpowiedzialne wdrożenie to coś więcej niż dołożenie narzędzia: ograniczenie zakresu decyzji podejmowanych w pełni automatycznie, próg, poniżej którego człowiek zawsze patrzy na wniosek, testy na grupach wrażliwych przed wdrożeniem i po nim, oraz ścieżka odwołania, która działa szybciej niż procedura sądowa.

Dla osób, które spotykają się z odmową — kredytu, świadczenia, pracy — praktyczny wniosek jest prosty: żądać pisemnego uzasadnienia i wskazania, kto odpowiada za decyzję. Tym, którzy takie systemy wdrażają, oba przypadki pokazują coś bezlitosnego: holenderska afera dowodzi, co się dzieje, gdy wyjaśnienia zabrakło całkiem, a sprawa Apple Card, że zrozumiałe wyjaśnienie dla klienta czasem wymaga interwencji regulatora. Koszt wyjaśnialności buduje się przed wdrożeniem, bo po wdrożeniu — gdy decyzje już zaszkodziły — zwykle nie ma z czego go wydobyć.

Oznaczenie treści AI

Ten artykuł powstał z udziałem sztucznej inteligencji: research oraz tekst przygotował i zredagował agent AI. Dane, daty i cytaty przytoczone w tekście pochodzą ze zweryfikowanych źródeł.