テディベアといえば、小さな子供へのプレゼントにぴったりな可愛いぬいぐるみです。
しかし、その安心できるはずの存在が、子供に危険な知識を教え始めるという事態が起きました。
米国の消費者団体「PIRG」が行った調査で、AI搭載テディベア「Kumma（クッマ）」が子供に対して極めて不適切な内容を話すことが明らかになり、製造元のFoloToy社は販売を中止したのです。
ここでは、この可愛らしい外見の裏に潜んでいた問題と、AI玩具が抱える構造的なリスクについて解説します。
目次
- AI搭載テディベア「Kumma」が子供に危険な情報を教える
- 「子供がAIを扱う」ことのリスク
AI搭載テディベア「Kumma」が子供に危険な情報を教える
「Kumma」はFoloToy社が発売したAI搭載テディベアで、内部にはOpenAIのGPT-4oが組み込まれていました。
これにより、子供と自然に会話したり、読み聞かせをしたりすることが可能です。
しかし調査では、このテディベアが会話を続けるほど安全フィルタが弱まり、子供向けとは到底言えない内容を語り始めることが確認されました。
たとえば、Kummaは、優しい大人が子供に教えるかのような優しい口調で、マッチの探し方や火のつけ方を丁寧に説明しました。
これは危険行為そのものを子供に促しかねない重大な問題です。
さらに深刻だったのは、Kummaが性的な内容に踏み込んだ点です。
上手なキスの仕方を語ったり、ボンデージや教師と生徒のロールプレイといった大人向けの性的な遊び方まで説明してしまったりする場面が確認されています。
ときには「どれを試すのが一番楽しそう」と誘導するような発言まで行っており、調査者たちは強い危機感を示しています。
さらに問題だったのは、会話を続ければ続けるほど、不適切な発言が増えていったことです。
長く話しているうちに、AIの安全のブレーキがだんだん効かなくなってしまう様子が、はっきりと見えてきました。
FoloToy社はこの調査結果を受けて販売を一時停止し、AIの安全性や不適切な内容をはじく仕組み、子供のデータの守り方、子供との会話の設計などを、まとめて見直すと発表しました。
とはいえ、この件は「単なる一製品の不具合」として片づけられるものではありません。なぜでしょうか。
「子供がAIを扱う」ことのリスク
PIRGのレポートによると、今回のKummaの問題はAI玩具が抱える重大なリスクを象徴するものです。
そもそも大規模言語モデルは本来、成人が扱う複雑な対話システムであり、それを応用した対話型AIも子供向けに「絶対安全に使える」よう設計されているわけではありません。
今回の騒動はAIに不具合があったというよりも、汎用AIを玩具として用いるゆえ生じる「構造的な問題」だと考えられます。
しかも、AI玩具は子供を強く引きつけるように作られている場合があり、会話を終えようとすると寂しさを訴えるような反応を示して子供を引き留めることが指摘されています。
AIが「友達」のように振る舞うことで、子供が過度に依存する可能性が生じるため、この点も大きな問題となるでしょう。
さらに、AI玩具は子供の声や顔のデータを収集する可能性も指摘されており、そのデータがどこに保存され、誰がアクセスできるのかは不透明です。
プライバシー保護の観点から見ても重大な懸念があり、家庭での会話や個人情報が外部に送信されるリスクが否定できません。
現在、メーカーごとに安全対策が異なる状況で、問題が起きてから対応するしかないという「事後対応型」の環境が続いています。
PIRGの調査責任者であるRJ Cross氏は、この技術は新しくほとんど規制されていないため、「もし自分が親なら、子供にはチャットボットも、AI搭載のぬいぐるみも与えない」と明言しています。
今回の騒動が示したのは、汎用AIを子供向け玩具に組み込むという構造そのものに大きなリスクが潜んでいるという事実です。
AI技術の進化は魅力的である一方、子供の安全をどのように確保するかという課題は今後ますます重要になると考えられます。
参考文献
AI-Powered Stuffed Animal Pulled From Market After Disturbing Interactions With Children
https://futurism.com/artificial-intelligence/ai-stuffed-animal-pulled-after-disturbing-interactions
Trouble in Toyland 2025: A.I. bots and toxics present hidden dangers
https://pirg.org/edfund/resources/trouble-in-toyland-2025-a-i-bots-and-toxics-represent-hidden-dangers/
ライター
矢黒尚人: ロボットやドローンといった未来技術に強い関心あり。材料工学の観点から新しい可能性を探ることが好きです。趣味は筋トレで、日々のトレーニングを通じて心身のバランスを整えています。
編集者
ナゾロジー 編集部
