Stronniczość algorytmiczna: gdy systemy AI dyskryminują po cichu
W 2018 roku badaczki Joy Buolamwini i Timnit Gebru opublikowały przełomową pracę, w której wykazały, że komercyjne systemy rozpoznawania twarzy popełniają znacznie więcej błędów przy identyfikacji kobiet oraz osób o ciemnym kolorze skóry. W skrajnych przypadkach wskaźnik błędów sięgał trzydziestu procent. Minęło siedem lat, a problem nie tylko nie zniknął — rozprzestrzenił się na kolejne dziedziny życia, w których algorytmy podejmują decyzje za lub o ludziach.
Stronniczość algorytmiczna to nie defekt pojedynczego systemu. To systemowy problem wynikający ze sposobu, w jaki projektujemy i trenujemy modele AI.
Skąd bierze się stronniczość w AI
Sztuczna inteligencja uczy się na danych. Jeśli dane treningowe odzwierciedlają istniejące nierówności społeczne, model nie tylko je powiela, ale często wzmacnia. To zjawisko ma cztery główne źródła.
Po pierwsze — stronniczość historyczna i reprezentacyjna. Zbiory danych historycznych odzwierciedlają przeszłe uprzedzenia. Jeśli w firmie przez dekady zatrudniano głównie mężczyzn na stanowiskach technicznych, model trenowany na CV z przeszłości nauczy się, że męskie imiona i męska historia kariery są „domyślnym” wzorcem. Tak właśnie działał eksperymentalny system rekrutacyjny Amazon, który po cichu dyskryminował kobiety — faworyzował CV zawierające słowa i doświadczenia kojarzone z mężczyznami.
Po drugie — stronniczość selekcji i pomiaru. Dane treningowe nie oddają proporcji całej populacji. Jeśli w zbiorze zdjęć treningowych dla systemu rozpoznawania twarzy dominują osoby białe, model będzie gorzej radzić sobie z rozpoznawaniem innych grup.
Po trzecie — stronniczość algorytmiczna i optymalizacyjna. Wybór metryki sukcesu, funkcji celu i architektury modelu wprowadza własne założenia. Model zoptymalizowany pod kątem ogólnej dokładności może działać świetnie dla większości, a fatalnie dla mniejszości — i nikt tego nie zauważy, dopóki nie przyjrzy się wynikom rozbitym na grupy.
Po czwarte — stronniczość sprzężenia zwrotnego. Gdy model zaczyna działać w świecie rzeczywistym, wpływa na decyzje ludzi, które z kolei generują nowe dane treningowe. Błędne koło się zamyka i dyskryminacja się utrwala.
Konkretne przypadki, które wstrząsnęły branżą
Badanie Obermeyera i współpracowników, opublikowane w 2019 roku, wykazało, że szeroko stosowany w amerykańskiej służbie zdrowia algorytm oceny ryzyka zdrowotnego systematycznie niedoszacowywał potrzeb zdrowotnych pacjentów czarnoskórych w porównaniu z białymi o porównywalnym stanie zdrowia. Problem wynikał z tego, że model wykorzystywał jako zmienną koszty opieki zdrowotnej ponoszone w przeszłości — a te były niższe dla pacjentów czarnoskórych nie dlatego, że byli zdrowsi, lecz dlatego, że mieli mniejszy dostęp do opieki. Algorytm w skali milionów ludzi wzmacniał istniejące nierówności w zdrowiu.
Systemy rekrutacyjne to kolejny bolesny rozdział. Wspomniany już eksperyment Amazon, systemy oceny CV odrzucające kandydatki i kandydatów z mniejszości, algorytmy doboru personelu, które preferowały określone wzorce głosowe lub styl komunikacji — wszystko to przykłady, w których automatyzacja decyzji rekrutacyjnych reprodukuje historyczne uprzedzenia.
Systemy wymiaru sprawiedliwości to osobna kategoria. Narzędzia predykcyjne wykorzystywane przez sądy w USA do oceny ryzyka recydywy okazały się obciążone rasistowską stronniczością — nieproporcjonalnie często wskazywały osoby czarnoskóre jako bardziej niebezpieczne, mimo identycznej historii przestępstw.
Dlaczego stronniczość AI jest groźniejsza niż ludzka
Stronniczość ludzka jest zazwyczaj ograniczona zasięgiem i czasem — jeden sędzia, jeden rekruter, jeden lekarz. Stronniczość algorytmiczna działa na masową skalę, dwadzieścia cztery godziny na dobę, w wielu krajach jednocześnie. Gdy wadliwy model zostaje wdrożony w dużej firmie, agencji rządowej lub szpitalu, dotyka tysięcy lub milionów ludzi w ułamku sekundy.
Co gorsza, wiele modeli AI działa jak „czarna skrzynka” — nawet ich twórcy nie potrafią dokładnie wyjaśnić, dlaczego podjęły taką, a nie inną decyzję. To utrudnia kontrolę, odwołania i naprawę. Osoba odrzucona przez algorytm rekrutacyjny, odmówiona kredyt przez model scoringowy lub błędnie zidentyfikowana przez system rozpoznawania twarzy często nie ma możliwości dowiedzenia się, dlaczego i jak zakwestionować decyzję.
Co można zrobić
Świadomość problemu w ostatnich latach wyraźnie rośnie. W Unii Europejskiej obowiązuje już Rozporządzenie o Sztucznej Inteligencji (AI Act), które klasyfikuje systemy wykorzystywane w rekrutacji, wymiarze sprawiedliwości czy opiece zdrowotnej jako wysokiego ryzyka i nakłada na ich dostawców konkretne obowiązki dotyczące przejrzystości, dokumentacji i nadzoru.
Po stronie technicznej kluczowe są audyty stronniczości — systematyczne testowanie modeli na danych reprezentatywnych dla całej populacji i analiza wyników rozbita na grupy demograficzne. Pomagają też techniki wyjaśnialnej AI, które pozwalają zrozumieć, jakie cechy danych wejściowych wpłynęły na decyzję modelu.
Najważniejsze jest jednak pytanie, czy dany system w ogóle powinien podejmować daną decyzję automatycznie. Są dziedziny, w których człowiek musi pozostać w pętli decyzyjnej — zwłaszcza tam, gdzie stawką są prawa podstawowe: wolność, zdrowie, godność.
Technologia nie jest neutralna
Często słyszymy, że algorytmy są obiektywne, bo operują na danych, nie na emocjach. To niebezpieczna iluzja. Algorytmy są tak obiektywne, jak dane, na których zostały wytrenowane, i tak sprawiedliwe, jak decyzje podjęte przez ich twórców co do tego, co model ma optymalizować. Stronniczość algorytmiczna nie jest defektem — to lustrzane odbicie społeczeństwa, które ją wygenerowało. Dopóki nie zaczniemy tego lustra świadomie korygować, systemy AI będą po cichu dyskryminować.
