熱い水と冷たい水ではクロマベクトルが違っていた

人間もAIも音だけで水の温度を聞き分けられるとしたら、いったいどんな音を判断材料にしているのか？

先に述べたように、既存の研究では熱い水と冷たい水には明白な音響的違いはないとされています。

研究者たちがAIの判断を参考に、水の音の特徴に対して計算的抽出を試みたところスペクトル重心、ゼロ交差率、メル周波数ケプストラム係数（MFCC）は、冷水音と温水音の間で有意差が見られませんでした。

スペクトル重心は、音の「明るさ」を表す指標です。たとえば、ギターの高音域を強調した音はスペクトル重心が高く、ベースの低音域を強調した音はスペクトル重心が低いといった具合です。 ゼロ交差率は、音の波形が時間軸上でゼロラインをどれだけ頻繁に横切るかを示す指標です。これは音の「粗さ」や「ノイズ」を測るのに役立ちます。 MFCCは、音声認識や音響解析で広く使用される指標で、音の周波数スペクトルの特徴をコンパクトに表現し音声や楽器の聞き分けに役立ちます。 / Credit:Mohr Wenge et al . Hearing temperatures: employing machine learning for elucidating the cross-modal perception of thermal properties through audition . Frontiers in Psychology (2024)

スペクトル重心、ゼロ交差率、メル周波数ケプストラム係数（MFCC）は、音の特徴を数値的に捉えるための重要な指標です。

これらの指標に違いがない場合、その音の種類は非常に似ている、または同じものであるとみなされやすくなります。

しかし研究者たちが新たにクロマベクトルと呼ばれる音の特徴を調べたところ、熱い水と冷たい水の間に有意な差がみられることが明らかになりました。

音の調性（音楽的な高さや和音）を分析するための音響特徴の一つです。

クロマベクトルを調べることで、特定の音の周波数成分がどの音階（C、C♯、Dなど）の音を強く含んでいるかを知ることができます。

この結果は、AIも人間も水の複雑な音を和音として処理し、そのなかで目立つ音階と温度の関係を結び付けている可能性を示します。

研究者たちは視覚や聴覚と違い、温度を処理する脳領域が脳全体に広がっていることが何らかの役割を果たしている可能性があると述べています。

また今回の研究は、人間は多種類の感覚を統合する能力が、想定していたよりも優れている可能性を示しています。

もしかしたら私たちが気付いていないだけで、視覚を聞いたり温度をみたりする能力が人間にも存在するのかもしれません。

参考文献

‘Hearing’ Temperature: Uncovering a hidden human ability to perceive temperature through sound
https://www.eurekalert.org/news-releases/1054016

元論文

Hearing temperatures: employing machine learning for elucidating the cross-modal perception of thermal properties through audition
https://doi.org/10.3389/fpsyg.2024.1353490

ライター

川勝康弘: ナゾロジー副編集長。
大学で研究生活を送ること10年と少し。
小説家としての活動履歴あり。
専門は生物学ですが、量子力学・社会学・医学・薬学なども担当します。
日々の記事作成は可能な限り、一次資料たる論文を元にするよう心がけています。
夢は最新科学をまとめて小学生用に本にすること。

編集者

ナゾロジー 編集部