Niewidzialna manipulacja: ataki adwersarskie na wzrok maszyn w fabrykach
Oko, które nie męczy się nigdy
Na współczesnych liniach produkcyjnych kontrolę jakości przejęły kamery. Systemy wizyjne sprawdzają spawy, płytki drukowane, powierzchnie metalu, dekoracyjne elementy urządzeń — szybciej i wytrwalej niż jakikolwiek kontroler jakości. W połączeniu z uczeniem maszynowym tworzą fundament tzw. produkcji bezdefektowej: maszyna widzi wadę, zatrzymuje partię, ostrzega operatora.
Tylko że to oko można oslepić. Ataki adwersarskie — drobne, starannie zaprojektowane zaburzenia wejścia, które zmieniają werdykt modelu, pozostając niewidoczne dla człowieka — z teorii badawczej stały się udokumentowanym zagrożeniem dla przemysłowych systemów inspekcji.
Przezroczystość jako broń
Jedno z najciekawszych odkryć ostatnich miesięcy dotyczy czegoś pozornie banalnego: kanału alfa w obrazach zapisanych w formacie RGBA. Ta warstwa odpowiada za przezroczystość pikseli i jest przez większość systemów wizyjnych ignorowana albo odrzucana bez sprawdzenia. Badanie opublikowane w PLOS One pokazało, że oszust może wstrzyknąć zaburzenia właśnie tam — widzialna treść obrazu pozostaje bez zmian, a model widzi co innego niż człowiek.
Skutki, jakich autorzy doświadczyli na modelach detekcji obiektów, są wymierne. W detekcji wad spawów zaburzenia skupiły się wzdłuż granic spawu i rozmyły kontury detekcji; w płytkach drukowanych — mimo regularnej, wyraźnie odznaczającej się struktury obwodów — doprowadziły do całkowicie błędnych predykcji. Najbardziej skrajny wynik dotyczył pęknięć na powierzchni metalu: spadek skuteczności był tak głęboki, że model wytwarzał etykiety klas całkowicie niepasujące do obrazu. Zaburzenia potwierdzono też na modelach generatywnych i wizyjno-językowych — to nie jest słabość jednej konkretnej architektury.
Naklejka na obiektywie
Druga droga ataku jest jeszcze prostsza i wymaga tylko dostępu do hali. Zamiast modyfikować pliki, oszust przykleja do obiektywu kamery kontrolnej przezroczystą naklejkę z naniesionym wzorem adwersarskim. Badanie technik naklejkowych na przemysłowym zbiorze benchmarkowym MVTec AD — przeprowadzone zarówno w symulacji, jak i w warunkach rzeczywistych, z fizycznymi naklejkami na obiektywach — potwierdziło ilościowo, że takie ataki wywołują nieprawidłowe działanie systemów automatyki fabrycznej, przy czym zaburzone obrazy zachowują wysokie podobieństwo do oryginałów.
W praktyce oznacza to, że system może nie wykryć wadliwego produktu albo nie zauważyć usterki samej maszyny. Pomijać można także fakt, że ataki adwersarskie przeżywają przechwycenie przez kamerę — to potwierdzili badacze już w klasycznej pracy o atakach fizycznych na klasyfikatory obrazów, gdy zaburzone zdjęcia wykonane telefonem komórkowym w dalszym ciągu były błędnie klasyfikowane.
Skutki na hali
Konsekwencje rozchodzą się w trzech kierunkach. Po pierwsze, wadliwy produkt trafia do klienta — a wraz z nim koszt reklamacji, ryzyko warranty, w skrajnych przypadkach zagrożenie dla bezpieczeństwa użytkownika, jeśli wadliwy element ma kontakt z ciałem lub pełni funkcję konstrukcyjną. Po drugie, odwrócony werdykt działa też w drugą stronę: system może „widzieć” wady, których nie ma, i zatrzymywać dobre partie, co kosztuje przestoje i nerwy operatorów. Po trzecie, powtarzające się błędy podważają zaufanie do samej automatyzacji — a przecież o jej sensie decyduje wiarygodność.
Warto odnotować, że modele przemysłowe bywają bardziej podatne niż klasyfikatory ogólne: w badaniach nad odpornością wizyjnych modeli przemysłowych dokładność bazowego modelu spadała poniżej trzydziestu procent pod wpływem umiarkowanych zaburzeń typu gradientowego. Strukturalne, regularne dane — jak obwody PCB — okazywały się zaskakująco czułe na manipulację w kanale alfa.
Obrona, która działa
Na szczęście obrona też jest realna i tania. Badanie z PLOS One proponuje lekki mechanizm detekcji oparty na analizie histogramu i błędu średniokwadratowego w kanale alfa — osiąga bardzo wysoką skuteczność wykrywania próbek adwersarskich przy niskim odsetku fałszywych alarmów. W badaniach nad modelami przemysłowymi skuteczną strategią okazało się trening adwersarski połączony z kontrolami spójności reprezentacji — wprowadzony narzut czasowy mieścił się w ułamku milisekundy na obraz, czyli w granicach typowych wymagań czasu rzeczywistego.
Do tego dochodzą praktyki organizacyjne: kontrola fizycznego dostępu do kamer i stacji roboczych, weryfikacja pochodzenia danych zasilających doszkalanie, niezależne warstwy inspekcji sprawdzające inne sygnały niż jeden klasyfikator, a także proste oględziny próbek kontrolnych ludzkim okiem — bo to, co widzialne dla człowieka, bywa niewidzialne dla maszyny i odwrotnie.
Zamiast podsumowania
Wizyjna kontrola jakości pozostaje jednym z najlepszych zastosowań sztucznej inteligencji w przemyśle — i dokładnie dlatego jest celem. Im częściej maszyna podejmuje decyzje o losie partii produktu, tym cenniejsza staje się zdolność odwrócenia jej werdyktu. Obrona zaczyna się nie od droższych modeli, lecz od założenia, że obraz wejściowy może być kłamstwem — nawet jeśli wygląda idealnie.
Oznaczenie treści AI
Ten artykuł powstał z udziałem sztucznej inteligencji: research oraz tekst przygotował i zredagował agent AI. Dane, daty i cytaty przytoczone w tekście pochodzą ze zweryfikowanych źródeł.
