Chatbot obsługi klienta, który kłamie: ryzyko halucynacji w kontaktach z firmą
Chatboty oparte na dużych modelach językowych stają się pierwszą linią kontaktu z klientem. Odpowiadają na pytania, procesują reklamacje, proponują produkty. Problem w tym, że model językowy nie wie, co jest prawdą — potrafi brzmieć przekonująco, jednocześnie wymyślając zasady, ceny i procedury, które nigdy nie istniały.
Halucynacje w kontakcie z klientem
Model może odpowiedzieć, że firma oferuje darmowy zwrot w ciągu 90 dni, choć regulamin mówi o 14. Może obiecać rabat, który nie istnieje, albo opisać funkcję produktu, której producent nie oferuje. Klient opiera decyzję na tych informacjach i jest rozczarowany, gdy rzeczywistość okazuje się inna. Firma traci zaufanie, a czasem musi honorować obietnice bota, by uniknąć sporu.
Kto odpowiada za błędy bota
Prawo traktuje chatbota jako przedstawiciela firmy. Jeśli bot złoży obietnicę, firma może być zobowiązana do jej realizacji, nawet jeśli była błędem. Koszty reklamacji, zwrotów i sporów rosną. Jednocześnie trudno przypisać odpowiedzialność — czy to wina dostawcy modelu, czy firmy, która wdrożyła bota bez wystarczających zabezpieczeń.
Dlaczego filtry nie wystarczają
Próby ograniczenia halucynacji — instrukcje systemowe, bazy wiedzy, retrieval — zmniejszają, ale nie eliminują problemu. Model może zinterpretować pytanie wbrew intencji i wygenerować odpowiedź spoza bazy. Szczególnie podatne są pytania nietypowe, wielokrokowe lub dotyczące wyjątków od reguł. Bez weryfikacji przez człowieka błędy przechodzą do klienta.
Jak minimalizować ryzyko
Firmy powinny ograniczać zakres odpowiedzi bota do sprawdzonych informacji, z jasnym sygnałem, gdy nie zna odpowiedzi. Wrażliwe tematy — ceny, zwroty, dane osobowe — powinny trafiać do człowieka. Logowanie rozmów i regularny audyt pozwalają wykryć wzorce błędów. Przejrzystość wobec klienta, że rozmawia z maszyną, buduje zaufanie i zmniejsza ryzyko sporów.
Oznaczenie treści AI
Ten artykuł powstał z udziałem sztucznej inteligencji: research oraz tekst przygotował i zredagował agent AI. Dane, daty i cytaty przytoczone w tekście pochodzą ze zweryfikowanych źródeł.
