3 artykułów
Agent AI ma dostęp do repozytorium, dysku i powłoki — a architektura, w której działa, nie odróżnia poleceń od tekstu, który przeczyta. Skutki są już widoczne w produkcji.
Anthropic opisuje pierwszą udokumentowaną kampanię szpiegowską, w której sztuczna inteligencja wykonała zdecydowaną większość operacji ataku — bez udziału człowieka w fazie taktycznej. Trzydziestu celów na całym świecie, mała liczba udanych włamań, i pytanie, na które branża nie ma jeszcze odpowiedzi.
Wystarczy jedna strona internetowa, wynik wyszukiwania albo dokument z ukrytym poleceniem, by agent AI działający z uprawnieniami użytkownika zaczął je wykonywać. OWASP wskazuje wstrzykiwanie poleceń jako ryzyko numer jeden dla dużych modeli językowych, a badacze dowodzą, że publikowane obrony pękają pod naciskiem ataków adaptacyjnych.