Algorytmy pomiaru godności: gdy liczby decydują o wartości człowieka

Od scoringu kredytowego do scoringu życiowego

Tradycyjny scoring kredytowy oceniał zdolność do spłaty długu. Dzisiejsze algorytmy AI oceniają znacznie więcej: ryzyko odejścia z pracy, prawdopodobieństwo choroby, stabilność związku, a także — w systemach nadzoru społecznego — „godność” obywatela. W Chinach System Kredytu Społecznego (Social Credit System) klasyfikuje obywateli według wskaźników obejmujących zachowania gospodarcze, prawne i towarzyskie. Podróżni, którzy mają wysoki score, kupują bilety na pociągi szybciej; osoby z niskim wynikiem mają zablokowane możliwości.

Nawet w państwach demokratycznych ten rodzaj algorytmicznego pomiaru obejmuje coraz więcej obszarów życia. Firmy ubezpieczeniowe, banki, ale także właściciele mieszkań na wynajem, platformy pracy i szkoły, kupują dane predykcyjne u brokerów i modelują je systemami AI. Wynikiem jest wielowymiarowa ocena człowieka, w której łatwość obliczeniowa zastępuje kontekst biograficzny.

Jaka wartość się mierzy?

Z problemem technicznym łączy się problem filozoficzny. Pojęcie godności — w sensie filozoficznym zaproponowane przez Immanuela Kanta — oznacza wartość, której nie można sprowadzić do ceny ani wymiernej użyteczności. Algorytmy z konieczności robią dokładnie to: redukują osobę do wektora cech, sumy wag. Kiedy system AI ocenia, czy ktoś „jest opiekunem roku”, czy „warto mu zaoferować mieszkanie”, albo „czy wysłać mu zaproszenie na rozmowę kwalifikacyjną”, dokonuje pomiaru jakości osobowej za pomocą sumarycznego score’u.

Platon i Arystoteles ostrzegali przed sprowadzaniem wartości do miary. W interpretacji algorytmicznej ostrzeżenie to przybiera nową postać. Score obywatela jest bowiem prezentowany jako obiektywna miara, podczas gdy technicznie jest on wynikiem treningu modelu na danych historycznych. Te dane odzwierciedlają nierówności społeczne, historyczne uprzedzenia, warianty językowe i lokalne kody kulturowe — wszystko to, czego uczy się model podczas treningu.

Skutki redukcjonizmu: utrata kontekstu

Najgłębszy problem pomiaru godności przez AI leży w utracie kontekstu. Kandydat do pracy, którego CV jest oceniane przez system ATS, nie ma możliwości wyjaśnienia trzyletniej przerwy w zatrudnieniu — system odrzuca aplikacje, w których pojawia się luka, nawet jeśli powodem była opieka nad chorym rodzicem lub pobyt w szpitalu. Seria projektów z lat 2023-2026 pokazuje, że ATS-y na dużą skalę odrzucają aplikacje osób z przerwami w karierze bez względu na ich powód.

Przedstawicielka amerykańskiego związku zawodowego The Worker’s Justice Project opisała w 2024 roku sytuację kilkudziesięciu pracownic, których aplikacje rutynowo odrzucały ATS-y z powodu nieciągłości w historii pracy. Powodem przerw była opieka nad chorym rodzicem — dokładnie ta siła moralna, która powinna zwiększać wartość kandydata w oczach pracodawcy, staje się w systemie algorytmicznym czarną skazą na dokumentacji.

Algorytm w roli sędziego opiekuńczego

Jednym z najbardziej kontrowersyjnych obszarów jest wykorzystanie AI do oceny opiekunów dzieci i osób starszych. W latach 2020-2026 ponad dwadzieścia sześć amerykańskich stanów i kanadyjskich prowincji wdrożyło systemy algorytmiczne do ustalania przydziału usług opiekuńczych. Najgłośniejszy przykład to system Allegheny Family Screening Tool, który ocenia ryzyko maltretacji dziecka w rodzinie na podstawie danych z kilkunastu instytucji publicznych.

Niezależny audyt systemu z 2022 roku, prowadzony przez zespół Rhemy Vaithianathan z Auckland University of Technology, pokazał, że system błędnie klasyfikował rodziny afroamerykańskie jako wysokiego ryzyka częściej niż rodziny białe w porównywalnej sytuacji ekonomicznej. Mechanizm jest podobny do tego znanego z innych systemów predykcyjnych: dane historyczne zawierają rasową stronniczość interwencji służb, a model uczy się odzwierciedlać tę nierówność ze skutecznością statystyczną.

Podobny przypadek z 2025 roku dotyczy systemu Edmonton Risk, który oceniał opiekunów osób starszych w mieście Edmonton w prowincji Alberta. System automatycznie przydzielał niższy score rodzinom imigranckim, ponieważ rodziny te rzadziej korzystały z publicznych usług opieki zdrowotnej — a brak danych o wizytach w przychodni był interpretowany jako ryzyko, podczas gdy w rzeczywistości był efektem barier językowych i kulturowych.

Pomiar jako akt sprawczy

W socjologii znane jest pojęcie performatywności pomiaru — to, co jest mierzone, staje się rzeczywiste. Wynik scoringu kredytowego wpływa na to, czy osoba dostanie kredyt, a więc na jej faktyczną wiarygodność finansową. W społeczeństwie, w którym ocena obywatela zależy od algorytmicznego pomiaru, score obywatela staje się jego tożsamością społeczną — mimo że formalnie liczy się on tylko do celów danej decyzji.

W 2024 roku szwedzka komisja ochrony danych opublikowała decyzję zakazującą lokalnemu urzędowi używania oceny „quality of life” mieszkańców dokonywanej przez system AI, który analizował dane pochodzące z sensorów w budynku. System oceniał ilość snu, czasu spędzonego na kanapie, w kuchni, w toalecie, a jego wyniki wpływały na przydział mieszkań socjalnych.

Zjawisko ma charakter niejawnego systemu kredytu społecznego — mieszkańcy sensorów nie mają świadomości pełnej oceny i jej skutków. Jeśli jednak score wpływa na przeniesienie do większego mieszkania, system staje się w praktyce systemem kredytu społecznego, mimo że formalnie nim nie jest.

Drogi naprawy

Co można zrobić, by algorytmiczny pomiar godności nie stał się nową formą totalitariannej kontroli? Wśród postulatów powtarzają się trzy:

• Transparentność modelo — każdy system oceniający ludzi powinien podlegać publicznemu audytowi, z dokumentacją danych treningowych, miar sprawiedliwości i procedurami odwoławczymi. AI Act Unii Europejskiej dla systemów wysokiego ryzyka wymaga audytu, ale opiera się na deklaracji dostawcy.
• Mechanizm odwoławczy z człowiekiem w pętli — każda decyzja oparta na score AI powinna być odwracalna i umożliwiać rozmowę z żywym człowiekiem. Nie może to być tylko formalność — w praktyce skuteczność odwołań w wielu systemach pozostaje niska.
• Granice pomiaru — niektóre obszary życia powinny być wyłączone z algorytmicznej oceny. Europejska Rada Ochrony Danych rozważa wytyczne wykluczające wykorzystanie AI do oceny godności opiekunów, rodziców, partnerów życiowych — obszarów, w których ryzyko błędu i redukcjonizmu jest szczególnie wysokie.

Pomiar jest narzędziem użytecznym, gdy służy decyzji, ale nieprzystępny, gdy służy wartościowaniu jako takiemu. Przy dzisiejszym pędzie do rozszerzania scoringu na kolejne obszary życia, świadomość tej różnicy staje się warunkiem utrzymania godności obywatelskiej w państwach, które chcą pozostać demokratyczne.