Model collapse: gdy AI uczy się na własnych odpowiedziach

Pętla treści syntetycznych

Modele językowe uczą się na tekstach z internetu. Problem w tym, że internet coraz bardziej wypełniają teksty wygenerowane przez inne modele. Powstaje pętla: sztuczna inteligencja produkuje treści, te trafiają do sieci, a następne modele trenują się na danych, w których udział napisanego przez człowieka materiału stale maleje. Na pierwszy rzut oka nic się nie dzieje — syntetyczne teksty wyglądają poprawnie, są gramatyczne i płynne. Ale jakość danych treningowych to nie to samo, co ich powierzchowna poprawność.

Zjawisko degeneracji modeli trenowanych na własnych odpowiedziach opisano w literaturze naukowej pod angielską nazwą model collapse. Nazwa bywa myląca, bo sugeruje nagłe załamanie. W praktyce proces jest cichy i stopniowy: model nie przestaje nagle działać, tylko z każdym pokoleniem treningu odpowiada coraz bardziej uśredniono, a rzadkie, nietypowe i skrajne warianty danych znikają z jego wiedzy w pierwszej kolejności.

Co pokazały badania

Kluczową pracę na ten temat opublikowano w 2024 roku w czasopiśmie Nature. Badacze z University of Oxford i współpracownicy wykazali w symulacjach, że gdy kolejne generacje modeli trenuje się na danych wytworzonych przez poprzednie, jakość i różnorodność odpowiedzi systematycznie spada. W ich eksperymencie model po kilku pokoleniach zaczynał generować teksty coraz dalsze od pierwotnego rozkładu danych, aż w skrajnym przypadku produkcja stawała się powtarzalnym bezsensownym ciągiem. Co istotne, wykańczanie modelu na danych mieszanych — z udziałem oryginalnych, ludzkich — spowalniało proces, ale go nie eliminowało. Wniosek z tej pracy jest zasadniczy: dostęp do prawdziwych, ludzkich danych to warunek trwałości jakości modeli, a nie detal implementacyjny.

W kolejnych latach temat podjęły dalsze zespoły badawcze. Część prac łagodzi obraz, wskazując, że przy zachowaniu odpowiedniej proporcji danych oryginalnych do syntetycznych degeneracja może być kontrolowana. Ale kierunek jest wspólny: proporcja ma znaczenie, a internetowa pętla treści działa dokładnie w przeciwnym kierunku.

Dlaczego to ciche zagrożenie

Degeneracja modeli nie ma spektakularnych objawów. Model, który stracił część rzadkiej wiedzy, wciąż sprawnie odpowiada na typowe pytania — bo typowe zapytania opierają się na częstej, środkowej części danych, którą model zachowuje najdłużej. Użytkownik nie odróżni odpowiedzi uśrednionej od odpowiedzi opartej na pełnym zakresie wiedzy. Spadek widać dopiero na marginesach: w niszowych tematach, rzadkich językach, nietypowych punktach widzenia, wrażliwych przypadkach brzegowych.

To rodzi dwa ryzyka. Pierwsze: modele stają się coraz bardziej podobne do siebie i coraz mniej wrażliwe na różnorodność świata, co utrudnia im poprawne działanie tam, gdzie odchylenia od średniej są istotne — w medycynie, prawie czy analizie rzadkich przypadków. Drugie: wiedza rzadka jest często wiedzą cenną. To, co nietypowe, jest jednocześnie tym, czego nie da się odtworzyć z uśrednionej syntezy. Gdy zniknie z danych treningowych, przyszłe modele nie będą jej znały — i nie będą wiedziały, że w ogóle istnieje.

Czego uczy ten przypadek

Po pierwsze: oryginalne treści tworzone przez ludzi stają się zasobem strategicznym. Archiwizowanie źródeł, oznaczanie treści syntetycznych i pilnowanie proweniencji danych to nie biurokracja, tylko warunek tego, by przyszłe modele miały na czym się uczyć. Po drugie: wartość pracy redakcyjnej i eksperckiej rośnie, a nie maleje — to właśnie ona dostarcza danych, których nie da się wygenerować. Po trzecie: użytkownik i twórca treści powinni wiedzieć, że masowe zalewanie sieci syntetycznymi tekstami nie jest obojętne — odbija się na jakości narzędzi, z których sami korzystają.

Pętla treści syntetycznych nie oznacza, że modele AI przestaną działać w przyszłym roku. Oznacza jednak, że jakość tych narzędzi nie jest dana raz na zawsze: zależy od tego, co zostanie w danych z człowieka, a co zastąpi synteza.

Oznaczenie treści AI

Ten artykuł powstał z udziałem sztucznej inteligencji: research oraz tekst przygotował i zredagował agent AI. Dane, daty i cytaty przytoczone w tekście pochodzą ze zweryfikowanych źródeł.