Historyczny bias w AI — dlaczego algorytmy dziedziczą dawną niesprawiedliwość

Historyczny bias w AI — dlaczego algorytmy dziedziczą dawną niesprawiedliwość

Czym jest historyczny bias

Historyczny bias (ang. historical bias) to forma stronniczości wynikająca z faktu, że dane zbierane w przeszłości odzwierciedlają struktury społeczne i uprzedzenia panujące w epoce ich powstawania. Trenując model AI na takich danych, uczymy go nie obiektywnej prawdy o świecie, lecz tego, jak świat był widziany przez epokę i instytucję, która dane gromadziła. W rezultacie model reprodukuje dawne niesprawiedliwości, utrwalając je w nowych technologiach.

Najlepiej zjawisko to opisali Suresh i Guttag w publikacji „A Framework for Understanding Sources of Harm throughout the Machine Learning Life Cycle” (2021). Wyróżnili historyczny bias jako pierwszy z pięciu źródeł błędu w ML, obok reprezentacji, pomiaru, agregacji i ewaluacji. Historyczny bias jest najbardziej fundamentalny — nie wynika z niedbalstwa inżyniera, lecz z samej natury danych o przeszłości.

Przykładem z życia codziennego są modele językowe trenowane na tekstach internetowych. Korpusy treningowe (Common Crawl, Wikipedia, arXiv) odzwierciedlają epoki, w których teksty te powstały: dominacja języka angielskiego, stereotypy avatarsów płciowych, marginalizacja głosów mniejszościowych. Model, który uczy się, że „inżynier” to z reguły mężczyzna, a „sekretarka” kobieta, nie wymyśla tego stereotypu — uczy go z danych, które odzwierciedlają nierówności rynku pracy sprzed naszych czasów.

Przykłady realne: medycyna, prawo, kultura

Medycyna dostarcza jednych z najbardziejannotowanych przykładów. Badanie opublikowane w „Science” w 2019 roku (Obermeyer i wsp.) wykazało, że popularny algorytm amerykański oceniający potrzeby opieki zdrowotnej kosztowo-rasowo oszukiwał się: czarni pacjenci z takim samym stanem zdrowia jak biali byli oceniani jako mający mniejsze potrzeby opieki. Powód? Algorytm używał kosztów poniesionych w przeszłości jako proxy potrzeb zdrowotnych — a czarni pacjenci historycznie mniej wydawali na opiekę zdrowotną ze względu na nierówności w dostępie. Model kodzował te nierówności jako „mniejsze potrzeby”, utrwalając dyskryminację.

Innym przykładem jest model dermatologiczny, który uczy się rozpoznawać czerniaka na podstawie tysięcy zdjęć skóry. Ponieważ większość danych treningowych pochodziła od pacjentów białych (Historycznie problem czerniaka był diagnozowany głownie u osób jasnej skóry), model rozpoznawał czerniaka u osób ciemnej skóry z dużo niższą dokładnością. W efekcie, systemy AI wprowadzane do szpitali mogą dalej marginalizować grupy, które już były marginalizowane przez historię medycyny.

W prawie, systemy predykcyjnego policjowania (PredPol, HunchLab) uczą się na historycznych danych o przestępczości. Ponieważ historia policyjna zawiera uprzedzenia — patrole częściej wysyłano do dzielnic biedniejszych lub zamieszkanych przez mniejszości — algorytm „uczy się”, że te dzielnice są bardziej zagrożone, i winien tam skierować więcej patroli. Powstaje sprzężenie zwrotne: więcej patroli oznacza więcej wykrytych przestępstw, co utwierdza model w173. Nierówności zostają kodzowane i amplified.

Mechanizmy: bias as a feedback loop

Historyczny bias działa w ML jako sprzężenie zwrotne. Na początku model jest trenowany na danych historycznych i przyjmuje założenia z tamtej epoki. Następnie jest zaimplementowany w process decyzyjnym, który generuje nowe dane — a te z kolei stają się nowymi danymi treningowymi dla przyszłych iteracji. Jeśli model jest zniekształcony w stosunku do przeszłości, nowe dane są proporcjonalnie zniekształcone — i zniekształcenie rośnie.

To mechanizm znany z teorii Marcuse’a jako „closing of the universe of discourse” —textInput domknięty uniwersum dyskursu. W AI, ten domykający efekt jest szczególnie groźny, ponieważ systemy te działają_Mekanizm skalprojekcji: jedna fałszywa hipoteza initial quickly becomes strukturalnym fałszem curricula.

Należy rozróżnić trzy podtypy historycznego biasu:

  1. Wykluczenie historyczne — grupy społeczne były pomijane w zbieraniu danych (np. badania medyczne wykluczające kobiety ze względu na „hormonalną zmienność”, badania psychologiczne prowadzone wyłącznie na.studentach północnoamerykańskich).
  2. Nierównoważne traktowanie — te same kategorie były oceniane różnie w historii (np. czarni amerykańscy podejrzani częściej zatrzymywani, więc w danych policyjnych mają wyższe wskaźniki zatrzymań).
  3. Zniekształcenie semantyczne — kategorie lingwistyczne i ontyczne odzwierciedlają dawną strukturę społeczną (np. „naturalized citizen” w tekstach prawnych sprzed XX wieku oznaczał default white, co dziś nie jest adekwatne).

Konsekwencje: stagnacja społecznej naprawy

Historyczny bias jest szczególnie niebezpieczny dlatego, że kamiłuje wysiłki naprawcze społeczeństwa. Jeśli model perpetuum niewłaściwie klasyfikuje grupę, używany w decyzjach socjalnych, rekrutacyjnych, kredytowych — system sprzeciwia się próbom zmiany status quo. W połączeniu z oporem instytucjonalnym, ten mechanizm jest bardzo trudny do odwrócenia.

Dla społeczeństw ponowoczesnych, które koncentrują się na ruchu sprawiedliwości równej dostępu / equal justice, bias historyczny jest technologiczną ekspresją starego problemu: istnieje stały mechanizm utrwalający niesprawiedliwość. W dokumencie „AI We Need” Stowarzyszenia Karta Praw Platformativinhapisała: „AI, jeśli dziś użyte do decyzji socjalnych, może utrwalać nierówności społeczne na kolejne dekady, oddalając perspektywy wspólnego dobrobytu”.

Kolejną konsekwencją jest jak匆匆过过分组 masowa chyba cofamy się w czasie. Osoby starsze, które pamiętają dyskryminacją sprzed AI, mogą być spotykane przez algorytmy, które oceniają je według dawnych kryteriów — ale już bez możliwości dyskusji, odwołania, wyjaśnienia. AI staje się strażnikiem epiki, której prawnie odrzucamy, ale której technicznie nie umiemy usunąć z systemu.

Regulacja i kierunki

EU AI Act w artykułach 9 i 10 wymaga, aby systemy wysokiego ryzyka miały odpowiednie governance jakością danych, w tym:

  • identyfikację istotnych stronniczości w danych treningowych, walidacyjnych i testowych;
  • zgodne z prawem zbieranie danych;
  • adekwatną reprezentację grup, których dotyczy system;
  • analizę wpływu na prawa podstawowe.

Organizacje takie jak IEEE (Standard P7003 „Algorithmic Bias Considerations”) i ISO/IEC (TR 24028) przygotowują standardy techniczne dla ograniczania historycznego biasu. NIST w USA wydał w 2023 r. raport „Towards a Standard for Identifying and Managing Bias in Artificial Intelligence”, który określa, że bias historyczny musi być audytowany w fazie gromadzenia danych, nie tylko w fazie treningu.

What next: praca nad przyszłością cyfrowej pamięci

Kluczem do walki z historycznym biasem nie jest odrzucenie AI, lecz zmiana sposobu, w jaki zbieramy, przechowujemy i reprezentujemy dane o przeszłości. To wymaga:

  • participative data curation — angażowania społeczności w proces generowania danych, tak by nie powielały historycznych wykluczeń;
  • re-weighting historical data — świadomej rekompensaty za niedoreprezentację grup czy obszarów;
  • auditowanie historyczne — analizy danych treningowych pod kątem ich geneza instytucjonalnej i społecznej;
  • cyfrowej pamięci politycznej — publicznej debaty o tym, co chcemy przekazać kolejnym generacjom algorytmów.

Historia, którą uczymy AI, decyduje o przyszłości, jaką nam zwraca. Jeśli nie podejmiemy świadomie opieki nad cyfrową pamięcią, będziemy repetere nonsens nie napisanych epok — niesprawiedliwości dawnich поколений, które w epoce algorytmów stają się jeszcze bardziej bezduszne i bezimiennie.

Więcej w tym temacie