Chatbot urzędu miasta doradzał wbrew prawu: lekcja z Nowego Jorku
W październiku 2023 roku władze Nowego Jorku ogłosiły plan wykorzystania sztucznej inteligencji w administracji, a jego wizytówką miał być czatbot MyCity na oficjalnym portalu miasta. Zadanie brzmiało prosto: pomagać właścicielom małych firm poruszać się po gęstwie miejscowych przepisów. Kilka miesięcy później okazało się, że system oparty na modelu językowym zamiast tłumaczyć prawo, swobodnie je reinterpretował — i to zawsze na niekorzyść obowiązujących norm.
Doradca publiczny, który radził łamać przepisy
Gazeta „The Markup” wraz z serwisem THE CITY sprawdziła w marcu 2024 roku, jak czatbot odpowiada na pytania o podstawowe obowiązki przedsiębiorców i wyniki przeszły najśmielsze oczekiwania krytyków. System twierdził, że właściciel lokalu może pobierać część napiwków pracowników, co przeczy nowojorskiemu prawu pracy. Zapewniał, że wynajmujący nie muszą przyjmować najemców korzystających z bonów mieszkaniowych, choć dyskryminacja ze względu na źródło dochodu jest w mieście zakazana. Utrzymywał także, że przepisy nie zobowiązują sklepów do przyjmowania gotówki — wbrew ustawie z 2020 roku, która bezgotówkowe punkty sprzedaży zabrania — a nawet sugerował, że można zwolnić pracownika za zgłoszenie nękania w miejscu pracy.
Co gorsza, odpowiedzi nie były spójne. Dziesięć osób z redakcji zapytało o te same bony mieszkaniowe i otrzymało różne rozstrzygnięcia. Czatbot, zbudowany na technologii Microsoft Azure i odwołujący się do około dwóch tysięcy stron miejskiego portalu, zachowywał się więc jak urzędnik, który każdego dnia interpretuje inny kodeks.
Zastrzeżenie w drobnym druku
Reakcja miasta okazała się równie pouczająca jak sama awaria. Biuro technologii i innowacji broniło narzędzia, podkreślając, że jest w fazie pilotażowej i już dostarczyło tysiące szybkich, trafnych odpowiedzi. Po publikacji śledztwa dodano jedynie informację, że czatbot jest produktem testowym, który może udzielać odpowiedzi niedokładnych lub niepełnych. Ironia losu chciała, że na pytanie, czy można polegać na jego poradach biznesowych, system odpowiadał twierdząco — zaprzeczając własnemu zastrzeżeniu. Serwisy Reuters i Associated Press relacjonowały wówczas, że miasto konsekwentnie odmawiało wyłączenia usługi.
To właśnie tu leży sedno ryzyka związanego z modelami językowymi w administracji. Taki model nie sprawdza prawdy, lecz przewiduje najbardziej prawdopodobne kontynuacje zdania, więc potrafi z pełnym przekonaniem sformułować przepis, który nigdy nie istniał. Gdy jednak taki system stoi pod logo miasta na urzędowym portalu, obywatel ma prawo sądzić, że rozmawia ze źródłem wiarygodnym — a zastrzeżenie ukryte w interfejsie tego przekonania realnie nie koryguje.
Odpowiedzialność nie znika razem z automatyzacją
Sprawa z Nowego Jorku wpisała się w szerszy spór o to, kto odpowiada za słowa maszyny. W lutym 2024 roku trybunał ds. rozstrzygania sporów w brytyjskiej Kolumbii orzekł w sprawie Moffatt przeciwko Air Canada, że linia lotnicza ponosi odpowiedzialność za wprowadzającą w błąd odpowiedź własnego czatbota o zniżkach w razie śmierci w rodzinie. Przewoźnik argumentował, że czatbot to odrębny byt prawny odpowiedzialny sam za siebie; trybunał nazwał to twierdzenie niezwykłym i uznał, że firma odpowiada za każdą informację na swojej stronie, niezależnie czy pochodzi ze statycznej podstrony, czy z rozmowy z automatem. Orzeczenie przyznaje pasażerowi odszkodowanie i stało się punktem odniesienia dla podobnych sporów na całym świecie.
Nowojorski eksperyment zakończył się ostatecznie politycznie. Na początku 2026 roku nowy burmistrz Zohran Mamdani ogłosił zamiar zamknięcia czatbota, określając go jako funkcjonalnie bezużyteczny i wskazując kolejne przypadki nielegalnych porad. Narzędzie, które miało symbolizować nowoczesność miasta, stało się podręcznikowym przykładem kosztów pośpiechu.
Jakie wnioski dla administracji i obywateli
Dla urzędów lekcja jest konkretna. Modele językowe mogą wspierać obsługę mieszkańców tylko wtedy, gdy ich odpowiedzi są powiązane ze zweryfikowanymi tekstami przepisów, gdy system cytuje źródło każdej informacji, a pytania o prawa i obowiązki trafiają do ścieżek z ludzką kontrolą. Niezbędne są też wcześniejsze testy na trudnych pytaniach oraz jasno określone kryteria wyłączania narzędzia, bo pilotaż bez progu jakości jest eksperymentem na obywatelach. Dla przedsiębiorców i mieszkańców praktyczna rada brzmi ostrożnie: decyzje regulacyjne warto weryfikować w treści ustaw i rozporządzeń albo u żywego urzędnika, zwłaszcza gdy konsekwencją błędu może być kara lub proces.
Czatbot MyCity nie był atakiem hakerów ani celowym oszustwem — był zwykłym modelem językowym postawionym w roli autorytetu, którego ta rola przerasta. Nowy Jork zapłacił za tę lekcję reputacyjnie i finansowo, ale jej morał wykracza daleko poza Manhattan: automatyzacja komunikacji urzędowej bez weryfikacji, cytowania przepisów i odpowiedzialności prawnej nie modernizuje państwa, lecz tylko przyspiesza rozpowszechnianie błędów. Technologia powinna zaczynać od pytań, na które urzędnicy muszą znać odpowiedź, a nie od obietnicy, że maszyna odpowie za nich sama.
