Błędne zatrzymania przez AI: gdy algorytm składa oskarżycielskie orzeczenie
Orzeczenie algorytmu
W październiku 2025 roku badacze z Instytutu AI na Uniwersytecie Stanford opublikowali wyniki rzadkiego audytu wewnętrznego narzędzia rekrutacyjnego. Okazało się, że algorytm jednego z dostawców systematycznie obniżał wyniki aplikacji zawierających wskazówki identyfikacji płci — udział w organizacjach kobiecych, słowa kluczowe, nawet formatowanie CV. W badaniu opartym na identycznych aplikacjach, ale z różnymi sygnałami demograficznymi, system faworyzował starszych mężczyzn nad kobietami i młodymi kandydatami, a w innym teście — kobiety nad czarnymi mężczyznami z identycznymi kwalifikacjami. Wyniki były powtarzalne i skalowalne: 26 procent czarnych aplikujących i 15 procent azjatyckich doświadczało sytuacji, w której system dyskryminował ich grupę etniczną w konkretnym ogłoszeniu.
To nie jest jedyny wymiar problemu. Badania wskazują, że systemy rozpoznawania twarzy — wykorzystywane przez organy ścigania, podmioty prywatne, a także w miejscach pracy — generują błędne identyfikacje z częstotliwością znacznie wyższą niż deklarowana przez producentów. W przypadku systemów opartych na zbiorach danych zdominowanych przez osoby rasy białej, dokładność identyfikacji spada drastycznie przy ocenie twarzy osób z ciemniejszą karnacją, a także przy zmianach oświetlenia, kąta i ekspresji. Konsekwencje wykraczają poza zatrudnienie: błędne zatrzymania, błędne oskarżenia, utrata dostępu do usług i ograniczenie prawa do przemieszczania się.
W kontekście nadzoru, AI wspiera systemy automatycznego śledzenia — od czytników tablic rejestracyjnych (ALPR) po kamery z analizą behawioralną. Raport OECD z 2025 roku wskazuje, że incydent z wykorzystaniem kamer Flock Safety doprowadził do nieautoryzowanego dostępu do danych nadzorczych, a same systemy zostały wykorzystane do lokalizacji podejrzanych poza zakresem prawnym. W wielu jurysdykcjach dane z takich systemów są udostępniane między agencjami bez jasnych zasad ochrony, co prowadzi do faktycznego rozszerzenia nadzoru poza zasięg pierwotnej zgody.
Prawo, które nadąża z opóźnieniem
Europejski AI Act, obowiązujący od lipca 2024 roku, wprowadza klasyfikację ryzyka dla systemów AI, w tym systemów biometrycznego rozpoznawania w przestrzeni publicznej i w miejscach pracy. Systemy wysokiego ryzyka muszą spełniać wymogi audytu, przejrzystości i nadzoru człowieka w pętli decyzyjnej. W październiku 2025 roku w Kalifornii sfinalizowano przepisy precyzujące, jak obowiązujące przepisy antydyskryminacyjne mają odnosić się do narzędzi AI w rekrutacji. W czerwcu 2026 roku wejdzie w życie Colorado AI Act, który wymaga od twórców i użytkowników narzędzi rekrutacyjnych zachowania należytej staranności przy zapobieganiu dyskryminacji algorytmicznej.
Jednak prawo pozostaje w tyle za technologią. Problemy z identyfikacją algorytmiczną nigdy nie są w pełni widoczne — systemy są zamknięte, dane treningowe często niedostępne, a wyniki nie podlegają obowiązkowej publikacji. Agencja Praw Podstawowych UE wskazuje, że w wymiarze sprawiedliwości, opiece zdrowotnej i rozpoznawaniu twarzy systemy AI mogą utrwalać rasizm systemowy i generować wyniki dyskryminacyjne na masową skalę. Krytycy podkreślają, że sam zakaz stosowania algorytmów nie rozwiązuje problemu: jeśli decyzja o zatrudnieniu, kredycie czy nadzorze zależy od narzędzia, którego logika jest nieprzejrzysta, obywatel pozbawiany jest skutecznej obrony.
W praktyce najlepszą ochroną pozostaje procedura: wymaganie weryfikacji ludzkiej przy decyzjach o dużym wpływie, audyt zewnętrzny narzędzi przed wdrożeniem, oraz prawo do wyjaśnienia decyzji algorytmicznej. W kontekście nadzoru kluczowe jest ograniczenie retencji danych i wyraźne określenie, które agencje mogą z których zbiorów korzystać. Bez tego AI przestaje być narzędziem bezpieczeństwa — staje się źródłem ryzyka o charakterze systemowym.
