音楽の中身が可視化される音楽地図

――最初にやったウェブサービスはどんなものだったんですか？

後藤：やはりデジタル化された膨大にある楽曲の魅力を引き出すには、まずそれを自動解析しなければなりません。そこで「Songle (ソングル)」というサービスを研究開発しました。

Songleではさきほどご説明したSmartMusicKIOSKの楽曲構造（サビや繰り返し区間）に加えて、メロディ、ビート、コード進行という4つの代表的な音楽的要素を自動で解析できます。それらを可視化して楽曲の中身を聴く前にわかるようにしたものを、私は「音楽地図」と名付けました。


楽曲構造を可視化するウェブサービスSongle。画像をクリックするとSongleを体験できます。 / Credit:産業技術総合研究所

後藤：音楽地図のサビをクリックすればそこから再生できるようにしたので、これでとうとうSmartMusicKIOSKを誰でも体験できるようになったんです！これによって私の長年の夢が1つ叶いました。

――これは解析結果だけを見るサイトではなくて、ここに音楽データを投げ込めばそれを解析してくれるんですか？

後藤：はい、ニコニコ動画やYouTubeの音楽動画、ピアプロなどに対応していて、URLを入力すると10分くらいで自動解析してくれます。そうしてすでに自動解析されている250万曲以上の音楽地図も閲覧できます。ただ、Songleは音楽の配信はしていなくて、元のサイトからユーザーのウェブブラウザが直接再生する仕組みになっています。

もちろん自動解析なので、結果に誤りがある場合もありますが、それに気づいた人が自由に訂正できるような機能も付いています。

※Songleのサービスを体験してみる

音楽に連動した世界

後藤：こうしてSongleで自動解析した音楽地図があると、それを使っていろいろな「音楽に連動した世界」を作れることに気づきました。

つまり楽曲のどのタイミングで何が起きるかということが分かっているので、音楽に合わせてロボットを踊らせたり、CGの映像を表示したりできるんです。

そのためのAPI (Songle Widget) を公開すると産業界も興味を持ってくれて、ロボット制御システムV-Sidoで有名なアスラテック株式会社とコラボをして、音楽に合わせてロボットを踊らせるシステム「V-Sido × Songle（ブシドー・ソングル）」を開発しました。


ロボットたちが音楽に同期して踊る「V-Sido × Songle（ブシドー・ソングル）」。画像をクリックすると実際のデモ映像を視聴できます。 / Credit:産業技術総合研究所

――これ可愛らしいですね。いろんなロボットがみんな音に合わせて同期して踊れるんですね。

後藤：こうやって音楽に連動してロボットや照明機器、CGをいろいろと制御しているうちに、さらに、大規模に数百台～数千台のスマホやパソコン、さまざまな機器を一斉に音楽に同期させることができれば、かつてない音楽体験が実現できるということを思いつきました。そこで、「Songle Sync（ソングルシンク）」という大規模音楽連動制御のためのプラットフォームを研究開発しました。

これを使うと、イベント会場の音楽の再生に同期して、そこにいる沢山の人たちのスマホの画面表示を一斉に変化させたり、スマホ以外にも照明機器の色を変えたりロボットを動かしたりすることができるんです。

――これ初音ミクのイベントでも使われたっていうので話題になってましたよね。

後藤：そうなんです、2017年に幕張メッセで開催された初音ミク「マジカルミライ2017」というイベントで、DJステージを見ている600人以上の方々のスマホ画面に、Songle Syncで一斉に変わるCG映像演出を表示しました。スマホだとアプリをインストールしないと使えないような面倒なイメージがあるかと思うんですけど、Songle Syncはアプリが一切不要で、会場に来た人がパッとQRコードをスマホのカメラで読み取ってアクセスするだけで、即座に連動できるというのがポイントです。

さらに、2018年に初音ミクライブの「SNOW MIKU LIVE! 2018」でも実証実験を行って、数百人のスマホ画面に音楽に連動したCG映像が表示される演出をしました。ライブ中はみんなステージを見たいので、ライブが始まる前の待っている時間に、会場で流れるBGMに同期させてCG映像をスマホのウェブブラウザ上で生成して表示していました。

――ああいう時間は割と暇ですもんね。会場で待っている人たちのスマホの画面が音楽に同期して動いたら確かに楽しいですね。

後藤：その後も、初音ミクの誕生日イベントで世界中からお祝いのメッセージを募集して、それを「マジカルミライ2018/2019」のイベント会場で音楽に同期させながらスマホに映すという演出もやりました。これは非常に好評で、2020年以降もオンラインで毎年実施しています。

※「Songle Sync」リンク　こちらをクリックして「体験する」を押してみてください

――えー、これはすごい素敵ですね。

後藤：実は過去の演出はこちらにアクセスして「演出スタイルの選択」から選べば、今からでも体験できます。例えば3台のスマホでアクセスすれば、それらが同期している様子を見ることができます。

――これがズレずに全てのデバイスで同期できるというのは、音楽に合わせているからということになるんですか？

後藤：はい、ただ普通はこういう制御をしようと思うと、演出が変わるタイミングでその命令をサーバから送って、スマホがそれを受け取って表示するので、バラバラにズレて同期できないんです。YouTubeのライブ配信とかでも、ズレてしまいますよね。

Songle Syncでは、演出が変わるタイミングでは一切通信しないのがポイントです。実はSongleの音楽地図を活用して、それを各スマホに事前に配っておくんです。そして楽曲の再生開始時刻さえ決めておけば、各ビートがどのタイミングかはスマホ内で計算できます。あとはそのタイミングで表示を変えれば、ビートに同期しているように見えるわけです。これならばスマホが増えても、演出をピタッと合わせることができます。


Songle Syncが同期できる仕組み / Credit:産業技術総合研究所

――これはつまり曲を再生する最初のタイミングを合わせれば同期できるという感じなんですか？

後藤：基本はそうなのですが、実際にはスマホやパソコンの時計は必ずしも正確でなく、途中参加も可能な仕組みにしているので、それを何百台、何千台と同期させるには最初に合わせるだけではダメで、どういう頻度で通信をして時刻合わせをするかとか、異なる環境の機器をどうやって同期させるかという部分でもかなり試行錯誤しました。

ただ重要なのは、Songle Syncの演出を体験する人たちはそうしたことを何も意識せずにQRコードを読み取るだけでよいし、実は演出を作るプログラマーですら通信のことは意識せず、1台のスマホ向けの演出をプログラミングするだけで大丈夫という点なんです。あとは、私たちのSongle Syncが面倒くさい通信の仕組みを裏側ですべて実行して、沢山のスマホが連動してくれます。

産業界の方々がプログラミングをする形でSongle SyncのAPIが活用された事例として、2019年の花火大会で、花火の打ち上げに連動した音楽を来場者のスマホで流しながら、曲名やCGを表示する演出に利用されました。


花火大会の演出でも利用されたSongle Sync。画像をクリックすると実際の花火大会の様子が再生されます。 / Credit:産業技術総合研究所

――ああ、ウチの近所の花火大会も会場にスピーカーを置いて音楽と連動した打ち上げってやってましたけど、やっぱ距離によって聞こえなくなったり音と光だとズレていったりってあったので、それをスマホから聞いて楽しめたらすごくいいですね。

後藤：さらに、街と音楽が連動する演出も可能で、2020年に札幌市の中央部で開催された「SYNCHRONICITY 2020」というイベントでも利用されました。音楽に合わせてビルや街路樹が光っているんですが、公共の場所なので音楽は実際には鳴っていなくて静かなんです。

でも、通りがかりの人がこのイベントのQRコードをスキャンすると、スマホのヘッドホンからSongle Syncの仕組みで音楽が流れてきて、アクセスした人だけが音楽と連動した演出として楽しめる仕組みになっています。


「SYNCHRONICITY 2020」画像をクリックするとイベントの様子を視聴できます。 / Credit:産業技術総合研究所

――こうしてみると、圧倒されてしまうほど色々なところで活躍していて、音楽地図を生み出す音楽理解技術から新しい体験が次々と作られていますね。

後藤：ありがとうございます。ここまでは音楽に連動した新たな音楽体験という鑑賞側の話でしたが、他にも、音楽に連動した映像コンテンツの創作支援にも取り組みました。

――ああ、そこで最初に紹介した「TextAlive」の研究に繋がっていくんですね。

後藤：そうです。さきほどはどうして音楽に合わせて自動で歌詞の演出が表示できるのかという技術的な説明は飛ばしていましたが、歌詞の各文字の発声タイミングを自動推定する音楽理解技術を開発して利用しています。さらに、「TextAlive」もSongleの音楽地図を利用していて、音楽のビートやサビで演出が自動で変わるようになっています。


「TextAlive」が自動でリリックビデオを生成できる仕組み / Credit:産業技術総合研究所

――なるほど、さっき見せてもらったときは、すごいけど何でそんな事ができるのかわかりませんでしたが、こうして説明を聞くと納得ですね。

ただ、これってその歌詞をタイミング良く表示するという部分の技術もすごいですけど、普通に見ていてカッコいいっていうのがすごいですよね。表示される歌詞のデザインが非常に優れていて、この部分のカッコよさっていうのはどうやって作っているんだろうっていうのも気になるんですが。

後藤：こうしたウェブサービスは私1人の力ではなく、チームで作っているものですが、それはTextAliveの研究開発を主導している加藤淳が外部の協力も得ながら頑張っている部分です。彼はTextAliveのサーバもクライアントも実装しただけでなく、デザインセンスにも優れています。

ここでちょっと注意していただきたいんですが、さっきの「SmartMusicKIOSK」は私が1人でサビ検出技術を研究開発してインタフェースも自分でOpenGLで実装した研究ですが、それ以外のさまざまなウェブサービスや技術は、産総研のメディアインタラクション研究グループの非常に優秀な研究者たち、エンジニアたちと一緒にチームワークで作ったものなんです。

なので私が代表して紹介はしていますが、私一人だけの研究成果だと勘違いしないようにしていただけたらと思います。

――そうですね。確かに一般の人たちは研究のチームって言われてもあまりピンと来ないところがあるかもしれないですが、映画なんかと同じですよね。大勢の人たちが集まって作られている。

後藤：映画ほど人数は多くなくて少人数チームですが、これだけ大規模で複雑な技術になると一人で完成させるのは難しいです。TextAliveもウェブサービスとしての実装や演出の自動生成とかは加藤が担当していますが、音楽理解技術の研究には加藤は関わっていなくて、例えば歌詞の発声タイミング推定は、中野倫靖が開発した技術です。

なので、私たちのウェブサービスを体験しながら、その辺りも意識していただけたら嬉しいです。そうした多才なプロの研究者がチームを組んで研究できるところが産総研の強みでもありますから。

（広告の後にも続きます）

自分の好きな音楽に出会う技術

――さきほど後藤さんは音楽がデジタル化されて膨大な楽曲にアクセスできるようになった一方で、好みの楽曲に出会うことが難しいという問題を話されていましたよね。

後藤：はい、既に膨大な楽曲がある上に、新しい楽曲も日々生まれ続けているので、残りの人生すべてを使って音楽を聴き続けたとしても、この世のすべての音楽を自分でチェックするというのは不可能なわけです。なので、音楽理解技術の力を借りながら、自分好みの音楽に出会える技術が重要になります。

――確かにそれはどんなコンテンツにもありうる問題ですよね。だから最近はこれを見た人はこんなのも見てますとか、あなたのオススメみたいな提案をするシステムってどこにでも搭載されてますね。

後藤：そういうシステムの多くは、協調フィルタリングという技術に基づいています。ただ、その技術は問題があって、人気のある作品ばかりがオススメされやすいんです。つまりまだ誰も聴いていない作品、新人の作品は、それを好きになりそうな人がいたとしても表示されないんです。

これは視聴者にとって好みの楽曲に出会えず、人気の楽曲にさらに人気が集中してしまう問題を生みます。そうするとクリエイターにとっても、せっかく創った曲が、それを気に入ってくれるはずの視聴者に気づいてもらえずに、どんどん良い曲が埋もれていってしまう問題を生むんです。

つまりこれは音楽を聴く側にとっても創る側にとっても、さらには多様で豊かな音楽文化の未来にとっても解決すべき本質的な問題で、しかも、技術の力なしには解決不可能な問題なわけです。

そこで研究開発したのが、音楽発掘のための「Kiite（キイテ）」というサービスです。

※Kiite の公式サイト


好みの楽曲を発掘するサービス「Kiite」 / Credit:産業技術総合研究所

これは裏側に音楽理解技術や音楽推薦技術が入っていて、ニコニコ動画にある歌声合成楽曲（ボカロ楽曲）46万曲の中から好みの楽曲を効率よく探索できるというサービスです。

試し聴きするのにも便利なサービスで、Songleで解析したサビだけを次々と聴いていける機能が付いています。ここでも私が約20年前に作ったSmartMusicKIOSKのサビ検出技術が役立っているのが嬉しいです。

――ほんとにどこまでも使える技術ですごいですね。

後藤：この画面で下側のオレンジ色になっている区間がサビですが、沢山の曲のサビの出だしを次々と聴いていって、気に入った曲があれば「いいね」（お気に入りボタン）を押して、後で楽曲全体をゆっくり聴き直すということができます。

本当は最初から最後まで聴いてもらえた方がクリエイターは嬉しいのですが、まったく聴いてもらえないぐらいなら、曲のサビだけでもちょっと聴いてもらって、発掘してもらえる方がよい、というのがこの機能のコンセプトです。


「Kiite」のプレーヤー画面。画像をクリックすると「Kiite」のデモ解説動画が視聴できます。 / Credit:産業技術総合研究所

それでも46万曲を全部聴くということはできないですから、自分にあった聴きたい曲を絞り込めるレーダー機能というものも用意しています。

これは音楽の印象を自動解析していて、激しめの曲とか、のんびりした曲というのがレーダー画面の違うエリアに配置されています。例えば、のんびりした曲というエリアをクリックすると、その候補になる楽曲がリストアップされて聴くことができます。


「Kiite」の音楽の印象で曲を探すレーダー機能。画像をクリックするとデモ解説が視聴できます。 / Credit:産業技術総合研究所

――激しめの曲とかそういう印象はビートなんかを元に推定しているんですか？

後藤：いえ、違います。これは事前に人手でラベリングした音楽の印象を大量に機械学習させて、その学習の結果から音楽の印象というものをシステムが推定できるようになっているんです。ここまでに説明してきたのとはまったく別の音楽理解技術を使っています。なのでこのサービスは印象から曲を探せるっていうのが特長の1つになっています。

他にも、音楽推薦機能、いわゆるリコメンド機能が付いているのも大きな特長で、ユーザーが過去に「いいね」をした曲とかに基づいて、その人の好きそうな楽曲がリストアップされます。これはすごく便利で、そこにさらにサムアップとかでフィードバックをしていくと、どんどんその人の好みに合わせた推薦エンジンが育っていきます。

どうしても今までは、知っている曲名とかアーティスト名を入力して探すとか、ランキングに頼って曲を聴くという場合が多いので、それとはまったく異なる曲との出会い方を実現したかったんです。

――では、この推薦する技術っていうのは、よくサブスクとか通販で使われている協調フィルタリングとは全然違うんですね。

後藤：はい、違います。それだとさきほどもお話した通り、いろんな人が聴いて人気が出た曲だけが推薦されやすくなってしまいます。でもKiiteは人気があるから推薦されるだけではなくて、まだ誰も聴いていないけど、その人が好きな曲調に近い楽曲を音楽理解技術で解析して推薦できるのが特長です。音楽の中身や、自分や他の人がどう聴いているか、同じクリエイターの作品か、とかに基づいて総合的に推薦できるんです。

――じゃあ今日誰かが投稿したばかりでまだ誰も聴いていない曲だったとしても、その人が好きそうなら推薦されるということなんですね。

後藤：そうです。なので、これはクリエイター側にも嬉しい機能になっています。

ただ、いくら優れた仕組みを作っても、コンピュータが推薦してくるものだけを聴くという方法では、人間の自由意志を奪いかねません。なのでこのKiiteでは、推薦は音楽と出会う一手段にすぎなくて、他にもさまざまなやり方で自分の知らない音楽と出会う仕組みを取り入れています。

その1つが2020年5月に公開した「Kiite Cafe（キイテカフェ）」というみんなで一緒に音楽が聴けるサービスです。


「Kiite Cafe」の画面。画像をクリックするとデモ解説を視聴できます。 / Credit:産業技術総合研究所

この丸いアイコンの1つ1つがKiiteのユーザーで、ここにいる人たちがみんなで一緒に同じ音楽を同じ瞬間に聴いています。そしてここで流れる曲は、集まっている人たちの好きな曲がランダムに再生されるんです。特に、みんなに聴いてもらいたい曲は各自が「イチ推しリスト」としてセットできて、そこから優先的に選ばれます。画面の右上を見ると、誰のイチ推しリストから流れたのかがわかります。

そして、それを一緒に聴いている人たちが、吹き出しのコメントで感想や喜びの声を書き込んで会話ができる機能も付いています。さらには、その曲が気に入って「いいね（ハートマーク）」を押すと、自分のアイコンの右上にハートのアニメーションが出るんです。

ここで自分の好きな曲が流れたときに、他の人たちが気に入ってハートが表示されると、ものすごく嬉しくて感激するんです。これはほんとに衝撃的で、自分で作った曲ではないのに、自分の好きな曲をみんなが気に入って反応してくれる感動は、是非体験してもらいたいです。

――リアルタイムにみんなで共有して聴いているから、その場で生のリアクションがもらえるっていう部分が大きいんですね。

後藤：まさにそうなんです。自分が好きな曲を目の前の人が聴いて、その人が喜んで私も好きって反応してくれる。その輪が広がっていくっていうのが、多くの人の感動を呼んで、このサービスのファンになる人が増えていきました。

Kiite Cafeはもともと、コロナウイルスによってみんなで集まって音楽を聴くということが難しくなってしまった2020年に、私たちも何か貢献できないかと考えて作ったサービスなのですが、みんなで好きな音楽をオススメし合って一緒に聴くという体験が提供できただけでなく、「自分の好きな曲を他の人たちが気に入るまさにその瞬間」を見ることができるという新たな価値を生むことができて、さらには、普通の音楽推薦とは異なる方法で音楽との出会いの場を作れたという点でも、非常に魅力的なサービスだと思っています。

※Kiite Cafeを使ってみる

――確かにこのごちゃごちゃっとアイコンが表示される雑多な感じも、クラブハウスにいるみたいで盛り上がりを感じて楽しいですね。

後藤：ですよね。そうしたデザインも含めて、同じチームの石田啓介が中心的にアイデアを出して実装をしているのですが、本当に素晴らしいです。Kiiteの研究開発チームで毎週のように打ち合わせながら、アイデアを出し合って、さらに新しい機能も次々と追加していきました。

例えば、Kiite Cafeを公開してしばらくすると、普通のカフェみたいに、これを使って貸切コラボイベントとかもできないか、ということになりました。そこで、コラボ時間帯だけは選曲をランダムにしないで、プレイリストを決めてライブみたいに盛り上がれる機能を追加して2020年8月から開催しました。

さらに2021年3月には、コラボイベント中だけペンライトを振れる新機能を付けました。しかも、せっかく私たちがやるからには音楽理解技術を使わない手はない、ということで、さきほどのSongleの音楽地図を利用して、曲ごとのテンポに合わせて振る速さが変わるようにしたんです。初めてお披露目したとき、ペンライトを振る速さが変わる！とユーザーがものすごく驚いてくれて、嬉しかったです。

2023年8月には、3周年記念でファンに対する感謝を込めて、さらにペンライトの色も変えられる新機能を付けました。


色とりどりのペンライトを振って音楽を楽しむユーザーたち。画像をクリックするとデモ解説を視聴できます。 / Credit:産業技術総合研究所

――研究で公開されている技術がこれだけ大勢を感動させているというのはすごいですね。

後藤：ユーザーの皆さまには私たちも本当に感謝していて、私たちの想像を超えてすごい応援をしてくれているんです。

以前もKiite Cafeファンの皆さまが自発的に「Kiite Cafe宣伝祭」というのをやってくださって、テキストやイラスト、動画のようなさまざまな形で広告とかCMを作って、「よいサービスだからみんな使って」ってSNSで宣伝してくれたんです。事前にはもちろん知らなかったので、本当に驚いて、開発チーム一同、喜んでいました。

他にも驚いたことはいろいろあって、「マジカルミライ2023」のイベント会場にはいつものようにいっぱい花（フラワースタンド）が贈られて並んでいたんですが、そこになんと、Kiite Cafeファンがお金を出しあって「Kiite Cafeユーザー一同」というフラワースタンドを出していたんです。

あまりに嬉しくて、私も記念写真を撮ってしまいました。

――これすごい素敵な話ですね。研究の話を伺っててこんなエモい話を聞くとは思いませんでした。

後藤：今ずっとKiite Cafeの話をしてきましたが、2023年にはさらに、「Kiite World（キイテワールド）」っていう新しいサービスを公開しています。

これはKiiteのユーザーが好みの100曲のプレイリスト（100選）を作ったら、それを自分の「音楽世界」として公開して、お互いに聴くことができるというコンセプトのサービスです。


自分の「音楽世界」を公開してお互いに聴き合える「Kiite World」。画像をクリックするとデモ解説を視聴できます。 / Credit:産業技術総合研究所

左下の雲みたいな白い点1つ1つが楽曲で、ランダムに並んでるわけでなくて、さきほどの音楽推薦技術によって、似た好みを持つ人たちが好きそうな楽曲が近くになるように計算されて配置されているんです。

――少し大きい白い丸がいくつもあるのはなんですか？

後藤：これは今アクセスしているユーザーを表示しています。お互いの位置や何を聴いているのかもわかる仕組みです。

さらに、一緒に同期して同じ曲を聴く機能も付いています。この機能を使うと、ピンクの線で結ばれて、一緒に聴いているんだな、ってことがわかります。音楽をイヤホンで聴いてるときに片方貸してあげて一緒に聴くことがあるじゃないですか。そんな感じで、他の人が聴いている音楽に興味があったら、誰でも一緒に聴けるんです。


ユーザーが同期して一緒に曲を聴くこともできる。 / Credit:産業技術総合研究所

しかも、日時を決めて呼びかければ、みんなで一緒に音楽を聴くイベントを誰でも気軽に開催できるんです。実は2023年12月にはアドベントカレンダー企画ということで、Kiite Worldのユーザーの皆さまがほぼ毎日そういうイベントを開催してくれていて驚きました。それ以前にもさまざまなイベントが開催されていましたし、1月以降もいろいろなコンセプトで、沢山のKiite Worldイベントを呼びかけてくれています。

――ほんと広がり方がすごいですね。

後藤：多くの皆さまにこうして興味を持っていただけるのは本当にありがたくて嬉しいです。

――これはもうほんとサービスとして成立しているように見えますが、やはり研究の一環なんですよね？

後藤：そうです。私たちはウェブサービスに関連した論文もいろいろと書いて学会で発表してきていますが、例えばKiite Cafeでは論文発表よりも先にサービスを公開して、ユーザーの皆さまが楽しんでいる様子なども含めて後から論文にしています。

――こうした研究は学術的にはどのような評価を受けているんですか？

後藤：受賞や国際論文採択も含めて高く評価していただいていますが、アイデアや技術の新規性だけでなく、実際にサービスを公開してどう使われたかも分析している点が、さらに高い評価につながっているかと思っています。

――なるほど。さきほどからユーザーへの感謝をずっと述べられていますけど、もう後藤さんたちの研究というのは利用するユーザーと一体になって進んでいく研究なんですね。

後藤：とてもありがたく思っています。今回のこの記事もそのきっかけになればと思うんですが、私たちの研究に興味を持ってくれて、ウェブサービスを利用してもらえるのは本当に嬉しいです。また、これをきっかけに音楽情報処理を研究すること自体に興味を持って、未来に一緒に研究分野を盛り上げてくれる人たちが増えてくれると、さらに嬉しいなと感じています。