AIが生成したものをAIが取り込んで劣化していく「AI狂牛病」

生成AIモデルをトレーニングするためのデータは、インターネットから取得されることが少なくありません。

そのため現在のように合成データがネット上で急増すると、「AIモデルが過去に作られた合成データを取得 → それを元にAIモデルが合成データを生成 → 次世代AIモデルがその合成データを取得」というループが発生する可能性があります。

今回、バラニューク氏ら研究チームは、そのようなループの結果何が起きるかを、画像生成AIを用いて調査しました。


AIによる「学習→生成→学習」のループが発生 / Credit:Canva,ナゾロジー編集

その結果、ループが繰り返されるにつれて、AIモデルが生成する画像の質が劣化していくと分かりました。

例えば、あるケースではループが繰り返されるうちに、生成された人物画像には、格子状の模様が強く現れるようになりました。


ループにより生成される人物画像に格子状の模様が強く入っていく / Credit:Digital Signal Processing Group/Rice University_Breaking MAD: Generative AI could break the internet（2024）

第1世代の生成画像は本物と見分けがつかないのに対し、第9世代の生成画像の方が明らかに画質が劣化してしまっています。

一方で、データの品質を維持しようとした場合、ループによって多様性が失われることが分かりました。


ループにより、生成される人物画像の多様性が失われる / Credit:Digital Signal Processing Group/Rice University_Breaking MAD: Generative AI could break the internet（2024）

AIモデルは品質を維持するのに効果的なデータを選別するようになり、結果として生成される画像は、世代を重ねるごとにどんどん似てくるのです。

「手書きの数字」の画像を使ったテストでは、ループによって数字が徐々に判読不能になりました。


ループにより手書き文字の画像が崩れていく / Credit:Digital Signal Processing Group/Rice University_Breaking MAD: Generative AI could break the internet（2024）

この悲惨な現象は、ウシにウシを与えることで生じた「狂牛病の蔓延」に類似していることから、研究者は「モデルオートファジー障害（Model Autophagy Disorder (MAD)）」と呼んでいます。

現在、そして将来のAIの世界では、AIにAIを与えることで、まさに「AI狂牛病」とも言える現象が生じていくかもしれません。

（※「AI狂牛病」という名称は存在しません。研究者は狂牛病との類似性を指摘していますが、研究者はこの現象をMADと名付けています）

バラニューク氏も、この課題を何世代にもわたって放置すると、「インターネット全体のデータ品質と多様性が損なわれる」と指摘しています。

「生成AIモデルの開発」と「合成データの生成」が盛んに行われているまさに今、「AI狂牛病」は静かに広がっているのかもしれません。

参考文献

Breaking MAD: Generative AI could break the internet
https://news.rice.edu/news/2024/breaking-mad-generative-ai-could-break-internet

Cannibal AIs Could Risk Digital ‘Mad Cow Disease’ Without Fresh Data
https://www.sciencealert.com/cannibal-ais-could-risk-digital-mad-cow-disease-without-fresh-data

元論文

SELF-CONSUMING GENERATIVE MODELS GO MAD（PDF）
https://doi.org/10.48550/arXiv.2307.01850

ライター

大倉康弘: 得意なジャンルはテクノロジー系。機械構造・生物構造・社会構造など構造を把握するのが好き。科学的で不思議なおもちゃにも目がない。趣味は読書で、読み始めたら朝になってるタイプ。

編集者

ナゾロジー 編集部