Załamanie modeli AI: co się dzieje, gdy uczy się na własnych odpowiedziach

Sieci neuronowe uczy się na danych. Do tej pory te dane pochodziły głównie od ludzi — z książek, artykułów, stron internetowych, forów. To się zmienia. Coraz większą część tekstów, obrazów i kodu dostępnych w internecie tworzą same modele sztucznej inteligencji. Gdy kolejna generacja modeli uczy się na takim materiale, wchodzi w błędne koło: uczy się na własnych odpowiedziach, tylko o pokolenie wcześniejszych. Badacze m.in. z Oksfordu i Cambridge opisali to zjawisko w artykule opublikowanym w czasopiśmie „Nature” 24 lipca 2024 roku, nadając mu nazwę model collapse — załamanie modelu.

Na czym polega problem

Gdy model w procesie treningu dostaje dane wygenerowane przez inny model, traci informację o tych fragmentach rozkładu danych, które są rzadkie, nietypowe albo leżą na marginesie. W pierwszej iteracji straty są subtelne. W kolejnych narastają: model zapomina o niszowych perspektywach, upraszcza rozkłady, a odpowiedzi stają się coraz bardziej uśrednione i powtarzalne. W skrajnym przypadku model zaczyna generować treści odbiegające od rzeczywistości — na przykład przypisując losowe pojęcia do zupełnie niezwiązanych z nimi słów.

Co istotne, załamanie nie zawsze przyjmuje dramatyczną formę. Autorzy artykułu w „Nature” rozróżniają jego dwie odmiany: wczesną, w której model zaczyna tracić informację o skrajnych, rzadkich fragmentach rozkładu danych, oraz późną, w której wygenerowany rozkład niewiele już przypomina oryginału, a odpowiedzi stają się niemal identyczne. Wczesna odmiana jest groźniejsza, bo trudno ją zauważyć — model nadal brzmi przekonująco, tylko mniej wiernie oddaje świat.

W eksperymentach z udziałem modelu językowego OPT-125m trenowanego na tekstach z Wikipedii, kolejne generacje modelu stopniowo traciły spójność tematu — jeden z przykładów opisanych w artykule dotyczył tekstu, który zaczął się od architektury sakralnej, a po kilku generacjach zamienił się w ciąg zdań o niezwiązanych z tematem zwierzętach. Badacze wykazali też, że zachowanie choćby części oryginalnych danych treningowych (w tym eksperymencie — około 10 procent w każdej generacji) istotnie spowalnia degradację modelu.

Zanieczyszczenie internetu treściami AI

Zjawisko model collapse opisano w warunkach laboratoryjnych, ale jego praktyczny odpowiednik dzieje się już teraz. Generatory tekstu napisały ogromną liczbę artykułów, opisów produktów, postów i komentarzy, które trafiły do publicznego internetu. Część z nich jest oznaczona, większość — nie. Kolejne modele, trenowane na zrzutach sieci, połykają te treści wraz z oryginalnymi i nie odróżniają jednych od drugich.

To rodzi realne ryzyka, które dotyczą nie tylko firm trenujących modele:

• Degradacja jakości kolejnych modeli. Im więcej treści od maszyn w danych treningowych, tym trudniej o wierny obraz świata.
• Utrata różnorodności perspektyw. Modele zaczynają faworyzować najczęstsze, uśrednione sformułowania, a rzadsze punkty widzenia znikają z odpowiedzi.
• Utrudnione wykrywanie treści AI. Modele wykrywające tekst generowany maszynowo same są trenowane na danych — gdy granica między ludzkim a maszynowym zaczyna się zacierać, ich trafność spada.
• Problem dla przyszłych pokoleń modeli. Dane raz zanieczyszczone trudno oczyścić — nie istnieje niezawodny sposób wycofania treści wygenerowanych przez AI z publicznych zbiorów.

Czy da się temu zaradzić

Badacze wskazują kilka kierunków. Po pierwsze, utrzymywanie dostępu do danych stworzonych przez ludzi — w tym archiwizowanych zbiorów z czasów, zanim generatory stały się powszechne. Po drugie, oznaczanie treści wygenerowanych maszynowo, aby umożliwić ich odfiltrowanie. Po trzecie, trening na danych z wielu niezależnych źródeł zamiast na jednym zrzucie sieci — różnorodność źródeł spowalnia degradację. Żadna z tych metod nie rozwiązuje problemu w pełni, a wszystkie wymagają współpracy twórców modeli, wydawców i samych użytkowników.

Dla zwykłego czytelnika najważniejszy wniosek jest taki: jakość treści w internecie to wspólny zasób. Gdy znacząca część publikowanych tekstów powstaje bez wiedzy merytorycznej i bez weryfikacji, cierpią na tym zarówno przyszłe modele, jak i dziś żyjący ludzie, którzy szukają rzetelnych informacji.

Oznaczenie treści AI

Ten artykuł powstał z udziałem sztucznej inteligencji: research oraz tekst przygotował i zredagował agent AI. Dane, daty i cytaty przytoczone w tekście pochodzą ze zweryfikowanych źródeł.