Błędne aresztowania: gdy algorytm wskaże niewinnego

Gdy algorytm niszczy życie jednostki

W styczniu 2020 roku Robert Williams wracał z pracy do domu w Farmington Hills, w stanie Michigan. Kiedy wymknął się z samochodu, zastali go na podjeździe dwóch policjantów. Został aresztowany w obecności żony i dwóch córek. Policja nie powiedziała mu, dlaczego. Kiedy zapytał, odpowiedzieli: “To wszystko przez twoją twarz”.

Williams spędził 30 godzin w areszcie. Powodem było rozpoznanie jego twarzy przez algorytm, który porównał nagranie z kamery monitoringowej z bazą zdjęć praw jazdy stanu Michigan. Algorytm twierdził, że człowiek na nagraniu to Williams. To było techniczne porównanie - ale w realnym świecie okazało się, że Williams nie miał nic wspólnego z przestępstwem. Został wypuszczony, gdy okazało się, że na oryginalnym nagraniu był inny człowiek.

Sprawa Williams v. Detroit została zarejestrowana w 2021 roku. Adwokaci American Civil Liberties Union (ACLU) dochodzili odszkodowania i reformy stosowania algorytmów przez policję. W marcu 2024 roku Detroit City Council zgodził się na ugodę 300 tysięcy dolarów odszkodowania. Williams nigdy nie odzyskał reputacji w społeczności.

Skala zjawiska

Przypadki takie jak Williams to więcej niż kuriozalne wyjątki. W grudniu 2023 roku Georgetown Law Center’s Center on Privacy & Technology opublikował analizę wszystkich znanych przypadków fałszywego rozpoznania twarzy w Stanach Zjednoczonych. Zespół udokumentował co najmniej siedem przypadków oficjalnych aresztowań niewinnych osób w latach 2019-2023, ale wskazali, że to może być jedynie szczyt góry lodowej.

Każdy z tych przypadków cechuje kilka wspólnych wzorców. Po pierwsze - asymetria demograficzna. Twarze osób czarnoskórych i latynoskich rozpoznawane są błędnie częściej niż białych. Drugim wspólnym wzorem jest brak transparentności. Policja często nie informuje oskarżonych, że zidentyfikowano ich na podstawie algorytmu, przedstawiając wynik jako twardy dowód.

Algorytm nie jest neutralny

Problem ze stosowaniem rozpoznawania twarzy przez policję polega na tym, że system nie jest równie dokładny dla wszystkich. Badanie opublikowane przez NIST w 2023 roku wykazało, że dla niektórych komercyjnych systemów błąd rozpoznania ciemnoskórych kobiet jest 10 do 100 razy większy niż w przypadku białych mężczyzn. Algorytmy rozpoznawania twarzy są trenowane głównie na zdjęciach z dostępnych baz danych, w których osoby białe są nadreprezentowane. Ten bias treningowy jest potem przenoszony na realne działania policyjne.

Drugi problem to próg pewności. W praktyce komercyjnej policja ustawia próg dopasowania (match score) - jeśli algorytm zwróci dopasowanie powyżej progu, uznaje się to za trafienie. W niektórych stanach próg ten jest ustawiony na 80% prawdopodobieństwa. Badanie Georgetown Law pokazało, że w usługach policji stanowych progi różnią się znacząco, a niektóre systemy - jak Rekognition Amazon - zwracają nawet kilka potencjalnych dopasowań, pozostawiając ostateczną decyzję funkcjonariuszowi.

Odpowiedzialność spada na człowieka

Kluczowy problem prawny: gdy algorytm wskazuje osobę, kto ponosi odpowiedzialność za błąd? W sprawie People v. Mejia (2022) sąd apelacyjny w Kalifornii orzekł, że adwokat oskarżonego nie został poinformowany, że świadkowie wizualni wykorzystali algorytm rozpoznawania twarzy. W praktyce oznacza to, że zeznania świadka wizualnego nie mogą być traktowane tak samo jak zwykłe rozpoznanie - gdy algorytm wpłynął na świadka, dowód jest zanieczyszczony.

Sprawa Mejia zwróciła uwagę na inną kwestię: jeśli policja używa algorytmu rozpoznawania, to kowalscy, sędziowie i adwokaci mają prawo wiedzieć. Brak tej wiedzy uniemożliwia skutecznie bronienie się oskarżonego. Z tego powodu kilka stanów USA (Kalifornia, Wirginia, Massachusetts) wprowadziło przepis wymagający, aby policyjne dokumenty dotyczące rozpoznawania twarzy były ujawniane obronie.

Europejski model bezpieczeństwa

W Unii Europejskiej AI Act (Rozporządzenie z 2024) klasyfikuje systemy rozpoznawania twarzy wykorzystywane w organach egzekwowania prawa do wyszukiwania osób jako wysokiego ryzyka. Wymóg artykułu 10 narzuca, że systemy te muszą podlegać ocenie wpływu na prawa podstawowe (Fundamental Rights Impact Assessment). Ponadto - co ważne - art. 5 zakazuje stosowania systemów rozpoznawania twarzy “w czasie rzeczywistym” w przestrzeni publicznej w celu egzekwowania prawa, z pewnymi wyjątkami ( Katastrofy, terroryzm, poważne przestępstwa z karą powyżej 4 lat).

Niemiecka policja w 2024 roku wstrzymała program pilotażowy rozpoznawania twarzy na dworcach kolejowych po tym, jak BfDI (Federalny Komisarz ds. Ochrony Danych) określił niejasne kryteria stosowania jako niezgodne z GDPR. W Finlandii w 2023 roku Data Protection Ombudsman [ __] wstrzymał rozszerzenie programu rozpoznawania twarzy w portach lotniczych. W tych krajach podejście do biometrii w egzekwowaniu prawa jest bardziej ostrożne niż w USA.

Co musimy zrozumieć

Najważniejsza lekcja z przypadków fałszywych aresztowań jest sformułowana przez Joy Buolamwini z MIT Media Lab: “Jeśli algorytm skłania nas do aresztowania, śledzenia lub rozpoznania, zawsze musi być odpowiedzialny człowiek, a system musi być weryfikowany niezależnie.”

W praktyce oznacza to, że policja musi:

• Zawsze informować podejrzanego, że zidentyfikowano go na podstawie algorytmu, jeżeli tak było.
• Ustalać wyższe progi dopasowania, odpowiednie dla mniejszości, w których algorytmy są mniej dokładne.
• Wykonywać double-blind identyfikację: inny funkcjonariusz nie wiedzący o algorytmie ocenia rzeczywistą zgodność wizualną.
• Zapewniać audytowe ścieżki: system musi rejestrować, kto, kiedy i dlaczego uruchomił rozpoznawanie.
• Regularnie badać demograficzną różnicę skuteczności algorytmów.

Koszt asymetrii

Asymetria społeczna jest klarowna. Gdy system jest poprawny, zatrzymywany jest podejrzany. Gdy system jest błędny, niewinny człowiek doświadcza aresztowania, kaucji, kosztów prawnych, opóźnienia w pracy i utraty reputacji. Cena zawiedzionego systemu rzadko jest pokrywana przez jego operatora.

Z tego powodu nie wystarczy polepszać algorytmów. Wymagane jest wzmocnienie praw jednostki wobec nacisku technologii, spowolnienie w partageements [zaimpulsowego wdrażania], i wiarygodne mechanizmy niezależnego audytu. Tylko wtedy technologia rozpoznawania twarzy, w przypadków szczególnych, może być używana bez narażania niewinnych ludzi na niewłaściwe aresztowanie.