第9回 Audio data visualization 基礎

Monday, June 12, 2023

今回は Audio data の扱いの勉強をしていきます!

サンプルファイル

chimanaco/takara-univ-media-programming-2023
前回と同じく08が本日のディレクトリです。

Audio Spectrum を表示する /project1/Audio_spectum_Instancing1, 2

別の Audio data visualization の方法として、スペクトラムもよく使われます。TouchDesigner では Audio Spectrum CHOP で FFT というアルゴリズムを使って Audio のスペクトラムを生成することができます。

ここでは2D でテクスチャを作ってそれを 3D に起こすという手法を使います。

Network

以下のような手順になります。

  • Audio Spectrum CHOP でスペクトラム生成
  • Resample CHOP でサンプル数を変更
  • CHOPTo TOP でテクスチャに変換
  • Feedback を使ってテクスチャを作る

Audio Spectrum をインスタンシングでビジュアライズする /project1/Audio_spectum_Instancing3, 4

できたテクスチャを元に Instancing を使ってビジュアライズした例です。

Network

Audio Spectrum を SOP でビジュアライズする /project1/Audio_spectum_SOP

できたテクスチャを元に SOP に変形を加えてビジュアライズした例です。

Network

本日の課題: audioAnalysis を使って Audio data visualize してみる

今日紹介した audioAnalysis から出力されるデータを使って音に反応するものを作ってください。プロジェクトフォルダごと Teams に提出してください。

参考

第10回 Azure Kinect を使ってみよう

第8回 音に反応するビジュアルを作る1