Algorytm w sądzie: gdy od wyroku zależy matematyka
Gdy sąd decyduje, czy oskarżony czeka na proces na wolności, czy w areszcie, coraz częściej obok akt sprawy leży wydruk z systemu oceny ryzyka. Algorytm analizuje wiek, historię procesów karnych, sytuację zawodową i wylicza punktową ocenę: prawdopodobieństwo, że oskarżony nie stawi się na rozprawie albo popełni przestępstwo przed procesem. Sędzia dostaje liczbę. Liczba wygląda obiektywnie. I właśnie to jest najbardziej problematyczne.
Obietnica obiektywności
Reformatorzy wymiaru sprawiedliwości wprowadzali te systemy z dobrych powodów. Decyzje o areszcie zapadały zbyt często na podstawie intuicji sędziego — a intuicja bywa zawodna i niejednakowa wobec różnych oskarżonych. Algorytm obiecywał standaryzację: te same kryteria dla wszystkich, jasną skalę, mniej przypadkowych aresztów. W Stanach Zjednoczonych narzędzia tego typu, takie jak COMPAS czy PSA, trafiły do setek sądów. W Europie systemy oceny ryzyka również bywają elementem procedur dotyczących tymczasowego aresztowania.
Problem w tym, że standaryzacja nie jest tożsama z bezstronnością. Skala wyliczana na podstawie danych z przeszłości dziedziczy to, co w przeszłości zapisano — łącznie z dekadami nierównego egzekwowania prawa.
Sprawa Loomis i granice obiektywności
Punkt zwrotny dla tej dyskusji nastąpił w Stanach Zjednoczonych w 2016 roku, kiedy najwyższy sąd stanu Wisconsin rozpatrzył sprawę Erica Loomisa. Loomis został skazany w dużej mierze na podstawie oceny ryzyka wygenerowanej przez system COMPAS — ale producent nie ujawnił, jak dokładnie algorytm wylicza wynik, powołując się na tajemnicę przedsiębiorstwa. Sąd podtrzymał wyrok, wskazując jednak na potrzebę ostrzeżeń: wynik oceny ryzyka nie może być jedyną podstawą wymiaru kary i musi być traktowany z ostrożnością.
Dla obrońców sprawa pokazała coś więcej. Jeżeli strona oskarżona nie może zbadać algorytmu, nie może też podważyć jego wyniku — a zatem traci realną możliwość obrony przed jednym z najważniejszych dowodów w sprawie. To bezpośrednio styka się z prawem do rzetelnego procesu, gwarantowanym także w Europie przez Europejską Konwencję Praw Człowieka.
Matematyka dziedziczy dyskryminację
Badacze wielokrotnie sprawdzali, czy te skale działają jednakowo wobec różnych grup. Analizy systemu COMPAS wskazywały, że czarnoskórzy oskarżeni częściej byli błędnie oznaczani jako wysokie ryzyko, niż było to w rzeczywistości, natomiast białoskórzy — częściej błędnie oznaczani jako niskie ryzyko. Producent kwestionował metodologię tych analiz, ale spór unaocznił głębszy problem: nawet formalnie poprawna skala może działać nierówno wobec różnych grup, jeśli dane treningowe odzwierciedlają nierówną praktykę policyjną i sądową.
Dyskryminacja nie musi więc być zapisana w kodzie. Wystarczy, że jest zapisana w danych — a kod zrobi z niej regułę.
Skala bez wyjaśnienia
Kolejny problem to brak wyjaśnienia. Sędzia dostaje wynik: „wysokie ryzyko”. Nie dostaje odpowiedzi na pytanie, dlaczego — które czynniki zadziałały, jak bardzo, czy można je podważyć. Tymczasem Europejski Trybunał Praw Człowieka i unijne regulacje, takie jak RODO oraz AI Act, wymagają transparentności systemów, które wpływają na prawa człowieka. AI Act zalicza systemy oceny ryzyka recydywy do kategorii wysokiego ryzyka, co oznacza obowiązki dokumentacji, nadzoru człowieka i kontroli jakości danych.
Przepisy te dopiero wchodzą w życie — a systemy działają już dziś.
Co można zrobić
Kilka zasad ogranicza ryzyko. Przede wszystkim: wynik algorytmu nie może być jedyną podstawą decyzji — sędzia musi mieć możliwość jego odrzucenia, a odrzucenie powinno być możliwe do uzasadnienia. Strona oskarżona powinna mieć dostęp do informacji o czynnikach, które wpłynęły na wynik, oraz do realnej drogi ich podważenia. Skale powinny być regularnie badane pod kątem różnic między grupami, a wyniki tych badań — jawne. Wreszcie: tam, gdzie system nie może być wyjaśniony, nie powinien decydować o wolności człowieka.
Obiektywność w sądzie to nie liczba. To proces, który można zbadać — przez obie strony, na równych zasadach.
Oznaczenie treści AI
Ten artykuł powstał z udziałem sztucznej inteligencji: research oraz tekst przygotował i zredagował agent AI. Dane, daty i cytaty przytoczone w tekście pochodzą ze zweryfikowanych źródeł.
