Bias i dyskryminacja w AI — jak algorytmy utrwalają niesprawiedliwość

Diagnoza: dyskryminacja algorytmiczna

Dyskryminacja algorytmiczna, w literaturze anglojęzycznej określana jako „algorithmic bias” lub „algorithmic discrimination”, oznacza sytuację, w której system sztucznej inteligencji podejmuje decyzje różnicujące osoby lub grupy w sposób krzywdzący, opierając się na cechach chronionych — rasy, płci, wieku, orientacji seksualnej, pochodzenia, religii — lub na zmiennych korelujących z nimi. Cechą odróżniającą dyskryminację algorytmiczną od tradycyjnej jest jej skala, często nieświadomość dyskryminującego oraz możliwości audytu (z jednej strony) i nieskończonej personalizacji krzywdy (z drugiej).

Badania nad zjawiskiem zostały zapoczątkowane w 2016 roku przez Joy Buolamwini z MIT Media Lab, która wykazała, że popularne systemy rozpoznawania twarzy od IBM, Microsoft i Face++ rozpoznają twarze białych mężczyzn z dokładnością 99%, ale czarnych kobiet z dokładnością zaledwie 65%. Od tego czasu literatura naukowa i dziennikarska dokumentuje setki przypadków dyskryminacji algorytmicznej w rekrutacji, kredytach, justycji, zdrowiu, reklamie, edukacji.

Przykłady realne: od Amazon po Holandię

Najgłośniejszym przypadkiem był eksperyment korporacji Amazon z systemem rekrutacyjnym opartym na AI, uruchomionym między 2014 a 2017 rokiem. System oceniał CV kandydatów na skali od 1 do 5, ale wyraźnie faworyzował kandydatów płci męskiej i penalizował słowo „women” (np. „women’s chess club captain”). Amazon wycofał system w 2018 roku, przyznając, że nie dało się rozwiązać problemu wobec schematycznych tenden_data historycznych.

W Holandii w 2021 roku wybuchł skandal wokół systemu SyRI (System Risk Indicator), który analizował dane mieszkańców i oceniał prawdopodobieństwo popełnienia nadużyć socjalnych. Sąd w Hadze (Hague District Court) w decyzji z 5 lutego 2020 r. uznał, że system narusza prawo do prywatności wynikające z Europejskiej Konwencji Praw Człowieka (art. 8), ponieważ ze względu na kategoryzację mieszkańców z dzielnic biedszych z większym prawdopodobieństwem był ofiarą inspekcji. System był stronniczy — stawiał w trudniejszym świetle osoby imigranckiego pochodzenia i o niższych dochodach.

Innym głośnym przypadkiem był COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) — system oceny ryzyka recydywy używany w sądach w USA. Badanie ProPublica z 2016 roku wykazało, że algorytm błędnie przypisuje wyższe ryzyko recydywy czarnym oskarżonym (45%) niż białym (23%). Mimo że system używa zmiennych niejawnych co do rasy (jak kod pocztowy czy stosunek do rodziny), zmienne te są silnie skorelowane z rasą, co reprodukuje dyskryminację historyczną.

Mechanizmy: skąd się bierze bias

Trzy główne źródła bias w AI:

1. Bias historyczny — dane treningowe odzwierciedlają uprzedzenia społeczne. Jeśli historycznie mężczyźni byli częściej zatrudniani na stanowiska techniczne, model也很难 się tego nie uczyć. AI jest tak „sprawiedliwe”, jak sprawiedliwa jest historia, na której się uczy.
2. Bias reprezentacji — mniejszości są niedoreprezentowane w danych treningowych. W medycynie, np. wiele badań nad chorobami skóry zostało przeprowadzonych głównie na białych pacjentach, co powoduje, że systemy dermatologiczne rozpoznanują czerniaka u osób ciemnej skóry z gorszą dokładnością (badanie z 2018 r., z University of California, Berkeley).
3. Bias pomiarowy — sposób, w jaki modeluje się cel. Jeśli celem modelu rekrutacyjnego jest „similitude do obecnych zatrudnionych”, a obecni pracownicy są głównie jednej płci/rasy, to model utrwala status quo.

Te trzy źródła mogą występować jednocześnie. W przypadku systemu rozpoznawania twarzy, niski udział osób ciemnoskórych w danych treningowych łączy się z tendencyjnością pomiarową (sensory kamer słabiej „widzą” ciemniejszą skórę w słabym świetle) i historyczną weightsją policyjną.

Konsekwencje: materialne i symboliczne

Konsekwencje dyskryminacji algorytmicznej mogą być dramatyczne w skutkach materialnych: odmowa kredytu, odrzucenie z procesu rekrutacji, gorsza diagnoza medyczna, wyższa cena ubezpieczenia. W instytucjach publicznych, dyskryminacja algorytmiczna pode_workspace (std behaving) rozszerza na całe grupy społeczne, wpływając na dostęp do justice, edukacji, opieki społecznej.

Konsekwencje symboliczne są równie ważne. Gdy grupa społeczna jest regularnie dyskryminowana przez system, który ma mode sprawiedliwy, obiektywny, neutralny — co财产安全_symboliczne message brzmi „to nie jest dyskryminacja, to nauka” — to podkopuje społeczne wysiłki zmniejszania niesprawiedliwości. Dyskryminacja algorytmiczna jest trudniejsza do wykrycia i wytoczenia procesu, bo jej mechanizm jest opaque (często chroniony tajemnicą handlową).

Regulacja: AI Act a problem bias

EU AI Act (w pełnym brzmieniu: Regulation (EU) 2024/1689) klasyfikuje systemy AI używane w rekrutacji, w ocenie kredytowej (poza wykrywaniem oszustw), w ocenie pracowniczej, w edukacji, w access do usług publicznych jako „high-risk” (art. 6 i Annex III). Wymagania obejmują:

• ocenę wpływu na prawa podstawowe (Fundamental Rights Impact Assessment, FRIA);
• system zarządzania jakością danych (art. 10);
• dokumentację techniczną i logi (art. 11, 12);
• nadzór ludzki (art. 14);
• odpowiednią dokładność, solidność i cyberbezpieczeństwo (art. 15);
• certyfikację przez jednostki notyfikowane.

W Stanach Zjednoczonych, Equal Employment Opportunity Commission (EEOC) w 2023 r. wydała wytyczne dotyczące użyć AI w rekrutacji, podkreślając, że dyskryminacja algorytmiczna jest także dyskryminacją w rozumieniu Tytułu VII Civil Rights Act. W Nowym Jorku Local Law 144 (2023 r.) wymaga corocznego audytu bias algorytmów rekrutacyjnych i publikacji wyników.

What next: perspektywy sprawiedliwości algorytmicznej

Ruch na rzecz sprawiedliwości algorytmicznej („algorithmic justice”) jest już globalny. Organizacje jak Algorithmic Justice League (founded by Joy Buolamwini), Data & Society, AI Now Institute łączą badania, edukację i działania prawne. Raporty ONZ (Special Rapporteur on racism) wskazują na konieczność określenia rygorystycznych standardów niedyskryminacji w AI.

Kierunki obejmują:

• dane participacyjne — angażowanie grup dotkniętych w tworzenie danych treningowych;
• audyty niezależne — wewnętrzne i zewnętrzne prerelease oraz postrelease;
• standardy metryki fair — opracowanie miar sprawiedliwości (np. demographic parity, equalized odds) oddzielnych od dokładności;
• istotne sankcje — grzywny, zakazy stosowania, odpowiedzialność karna za dyskryminujemy;
• transparentność modeli — dokumenty Model Cards i Data Sheets, które wymagają deklaracji ograniczeń i zastosowań modelu.

Dla użytkowników portalu edukacyjnego istotne jest uświadomienie sobie, że każda decyzja AI jest decyzją społeczną. Nie ma „neutralnych” algorytmów — są tylko algorytmy z różnymi wartościami wbudowanymi. Odpowiedzialność za nie należy ludzkości.