Algorytmiczna monokultura: jeden system odsiewający odrzuca te same osoby u 150 pracodawców naraz
Kiedy kandydat dostaje odmowę z jednej firmy, winny bywa rynek. Kiedy te same osoby są odrzucane przez kolejne firmy jedna po drugiej, a wszystkie używają tego samego narzędzia do oceny podań, mamy do czynienia z czymś nowym — i znacznie groźniejszym.
Zespół badawczy Stanford HAI opublikował pierwsze na taką skalę badanie algorytmów rekrutacyjnych działających „w terenie”, a nie w warunkach laboratoryjnych. Naukowcy prześledzili 4 miliony aplikacji złożonych przez 3,4 miliona osób na 1700 ogłoszeń w 150 pracodawcach z 11 sektorów. Wspólny mianownik: każde podanie oceniał system sztucznej inteligencji zbudowany przez jednego zewnętrznego dostawcy, którego modele przypisywały aplikacjom etykiety „polecany” albo „niepolecony”.
Dyskryminacja zmierzona prawniczą miarą
Zamiast własnych wskaźników badacze sięgnęli po regułę czterech piątych stosowaną przez amerykańską komisję EEOC — jeśli któraś grupa jest rekomendowana rzadziej niż w 80 procentach względem grupy najbardziej faworyzowanej, sygnalizuje to dyskryminację w rozumieniu amerykańskiego prawa pracy. Wynik był jednoznaczny: 26 procent czarnoskórych kandydatów i 15 procent kandydatów azjatyckich aplikowało przynajmniej raz na stanowisko, gdzie system dyskryminował ich grupę.
Gdyby algorytm rekomendował czarnoskórych i azjatyckich aplikujących w tym samym tempie co grupę najbardziej faworyzowaną — najczęściej białych kandydatów — około 40 tysięcy podań więcej trafiłoby do dalszego etapu rekrutacji.
Monokultura: problem większy niż suma biasów
Najciekawszy wniosek badania dotyczy jednak struktury rynku. Około 90 procent amerykańskich pracodawców korzysta z narzędzi AI do wstępnej selekcji kandydatów, a większość polega na tych samych kilku dostawcach. Badacze nazywają to monokulturą algorytmiczną — analogią do rolnictwa, gdzie uprawa jednej odmiany na ogromnym obszarze czyni cały plon podatnym na pojedynczą chorobę.
W tradycyjnym modelu błąd oceniającego w jednej firmie był izolowany: kandydat odrzucony przez rekrutera w przedsiębiorstwie A mógł zostać zauważony w firmie B. Gdy dziesiątki pracodawców delegują ocenę do jednego modelu, jego systematyczna skrzywienie nakładają się na siebie. Osoba raz źle „zaklasyfikowana” przez system spotyka go ponownie przy każdej kolejnej aplikacji — a kandydat nie ma pojęcia, że o jego losach decyduje ten sam mechanizm za różnymi logotypami. Badanie pokazuje też, że agregacja danych na poziomie całego dostawcy maskuje dyskryminację widoczną dopiero na poziomie poszczególnych stanowisk.
Dlaczego trudno się bronić
Monokultura algorytmiczna psuje podstawowy mechanizm korekty rynku pracy: próbę. Kandydat, który nie wiedzie sobie dobrze, zmienia strategię, poprawia dokumenty, celuje w inne branże. Jeśli jednak wszędzie czeka na niego ten sam model z tymi samymi skrzywieniami, informacja zwrotna znika — odrzucenia wyglądają na osobistą porażkę, choć są efektem jednej wadliwej funkcji oceniającej.
Dodatkowy wymiar ma charakter prawny. Skoro dostawca narzędzia podejmuje decyzje wpływające na zatrudnienie u wielu pracodawców, odpowiedzialność za dyskryminację rozmywa się między firmę kupującą usługę a podmiot ją świadczący. Przepisy antydyskryminacyjne były pisane z myślą o rekruterze-człowieku, nie o jednym modelu obsługującym setki firm jednocześnie.
Co z tego wynika
Badanie Stanforda nie dowodzi złej woli — pokazuje mechanikę. Algorytmy uczą się na historycznych danych o zatrudnieniu, więc odtwarzają skrzywienia, które w tych danych tkwiły, i robią to na skalę, jakiej ludzki rekruter nigdy nie osiągnął. Rozwiązania rysują się w trzech kierunkach: obowiązkowe audyty zgodności narzędzi rekrutacyjnych z prawem antydyskryminacyjnym, dywersyfikacja dostawców po stronie pracodawców oraz przejrzystość wobec kandydatów — prawo do wiedzy, że oceniła je maszyna i jaki system.
Na razie jednak rynek zmierza w przeciwnym kierunku: coraz więcej aplikacji, coraz mniej etatów dla początkujących i coraz większa koncentracja wśród dostawców narzędzi selekcji. Monokultura pogłębia się szybciej, niż rośnie świadomość jej ryzyk.
