Bezsensowny tekst o ogonach zająca: co nauka mówi o degeneracji modeli AI karmionych własnymi wytworami

Zdjęcie wygenerowane przez AI w serwisie stockowym, post w mediach społecznościowych napisany przez chatbota, recenzja produktu masowo produkowana przez skrypt — wszystko to ląduje w internecie, a internet od dekad jest głównym źródłem danych do treningu kolejnych modeli. Naukowcy od dawna zadawali sobie pytanie, co się stanie, gdy modele zaczną się żywić przede wszystkim własnymi wytworami. Odpowiedź dało badanie opublikowane 24 lipca 2024 roku na łamach „Nature”: proces nazwany „model collapse”, który — jak wykazali autorzy — jest nieunikniony dla modeli uczonych na nieprzefiltrowanych danych syntetycznych.

Eksperyment: degradacja na żywo

Zespół Ilii Shumailova, Zakhar Shumaylova, Yirena Zhao, Nicolasa Papernota, Rossa Andersona i Yarina Gala (Uniwersytety Cambridge i Oksfordu oraz Vector Institute) zaczął od wygenerowania za pomocą modelu językowego wpisów podobnych do haseł Wikipedii. Następnie trenował kolejne iteracje modelu na tekstach wyprodukowanych przez poprzednika. W miarę jak dane syntetyczne zanieczyszczały zbiór treningowy, wyniki modelu stawały się coraz bardziej bezsensowne: dziewiąta iteracja uzupełniła artykuł o angielskich wieżach kościelnych traktatem o historii wielu kolorów ogonów zająca.

Jeszcze bardziej wymowny jest drugi wynik badania. Zanim doszło do pełnego załamania, modele uczone na tekstach pochodzących od AI zaczynały zapominać informacje, które w oryginalnych danych pojawiały się najrzadziej — a ich wyniki stawały się coraz bardziej jednorodne. To cichy, trudny do zauważenia etap degradacji: nie ma katastrofy, nie ma komunikatów o błędach, jest tylko stopniowe znikanie całych obszarów rzadkiej wiedzy. Model nadal działa, dalej odpowiada, tylko coraz mniej mówi o tym, co niepowtarzalne.

Znikające ogony rozkładu

Formalnie zjawisko opisano jako proces degeneracyjny, w którym model z czasem traci informacje o prawdziwym rozkładzie danych — nawet bez zmiany samego rozkładu. Najpierw znikają ogony rozkładu, czyli najrzadsze, najbardziej charakterystyczne elementy zbioru, a zachowania modelu z pokolenia na pokolenie zbiegają do punktu przeciętności z bardzo małą wariancją. Autorzy wykazali, że proces ten zachodzi również w innych typach modeli generatywnych — w wariacyjnych koderach automatycznych (VAE) i mieszaninach gaussowskich (GMM) — i że jest powszechny wśród wszystkich uczących się modeli generatywnych.

Współautor badania Zakhar Shumaylov, badacz AI z Uniwersytetu w Cambridge, podsumował to w rozmowie z „Nature”: „Przekaz jest taki, że musimy być bardzo ostrożni z tym, co kończy w naszych danych treningowych. W przeciwnym razie »rzeczy zawsze, dają się udowodnić, pójdą źle«”.

Dlaczego to groźniejsze, niż wygląda

Warto rozróżnić dwa scenariusze. Pierwszy to celowe zatrucie danych (data poisoning), czyli przypadek, gdy ktoś celowo wprowadza do zbioru treningowego treści mające zmienić zachowanie modelu. Model collapse jest od tego niezależny: zachodzi nawet wtedy, gdy nikt niczego nie sabotuje — wystarczy, że niekuratorowane treści masowo generowane przez modele trafiają do treningu kolejnych generacji. Drugi scenariusz to właśnie ten cichy: gdy coraz większa część internetu to treści generowane przez AI, a licznik generacji rośnie, z każdym cyklem zostaje mniej tego, co w danych ludzkie.

Współczesne modele uczą się na danych, które już zawierają wytwory wcześniejszych modeli — i to jest praktyczny problem już dziś, nie na zapas. Ponad miliard postów przeanalizowanych przez firmę Pangram między kwietniem a czerwcem 2026 roku pokazuje skalę: średnio 13,8 proc. treści w mediach społecznościowych zostało w pełni wygenerowanych przez AI, a co czwarty długi post (ponad 250 słów) był w pełni maszynowy. Na LinkedIn — platformie, która historycznie uchodziła za wolną od najgorszych treści maszynowych — w pełni wygenerowanych było 30 proc. krótkich i 41 proc. długich postów, a ogółem odpowiadały one za 62 proc. całego wykrytego przez firmę kontentu AI. LinkedIn odpowiada za jedną trzecią zeskanowanych postów, a za prawie dwie trzecie całego AI kontentu.

LinkedIn zapowiedział wykrywanie i obniżanie zasięgów postów wygenerowanych przez AI przy użyciu własnego algorytmu — ironicznie, sama zapowiedź również została wygenerowana przez AI. To symptom szerszego problemu: skoro nawet platformy nie potrafią odróżnić treści maszynowych od ludzkich, każdy nieprzefiltrowany strumień danych z sieci staje się cichym zagrożeniem dla jakości kolejnych modeli.

Czy da się to zatrzymać?

Autorzy badania nie twierdzą, że koniec jest bliski. Zjawisko jest najgroźniejsze przy treningu wielopokoleniowym na niekuratorowanych danych syntetycznych — a kluczowym słowem jest tu „niekuratorowanych”. Ochrona przed model collapse polega na tym, by do treningu trafiały dane sprawdzane przez ludzi, z zachowaniem oryginalnych źródeł i z kontroli jakości. Zespół podkreślał, że problem jest uniwersalny dla modeli uczonych na niekuratorowanych danych — a zatem dla każdego, kto trenuje modele na strumieniach z sieci bez filtracji.

Dla użytkowników wynika z tego wniosek mniej oczywisty, niż mogłoby się wydawać: jakość odpowiedzi AI, z której korzystamy na co dzień, zależy od tego, co zostało w danych ludzkie i rzadkie. Degeneracja modeli to nie spektakularna awaria, ale cichy proces: z każdym pokoleniem treningu zostaje mniej tego, co niepowtarzalne. A im mniej niepowtarzalnego, tym większa część tego, co czytamy w internecie, jest przeciętna — bo tak właśnie wygląda zbieżność do przeciętności.

Oznaczenie treści AI

Ten artykuł powstał z udziałem sztucznej inteligencji: research oraz tekst przygotował i zredagował agent AI. Dane, daty i przypisy autorów badania pochodzą z „Nature” i The Overspill; statystyki Pangram z raportu tej firmy.