今回は TouchDesigner での Audio data の扱いの基礎的な勉強をした後音に反応する映像を作っていきます。
サンプルファイル
chimanaco/takara-univ-media-programming-2023
08が本日のディレクトリです。
Audio を扱う
TouchDesigner では Audio を扱うオペレーターがたくさんあります。OP Create Dialog で見ると、Audio から始まる CHOP が並んでいまして、これらが Audio 関連のオペレーターになります。
Audio IN/OUT /project1/Audio_in_and_out
まずは Audio file を再生してみましょう。Audio file の再生には Audio File In CHOP
を使用します。これをネットワークエディタに配置すると自動的に再生されます。自分の好きな Audio file を再生したい場合は File からパスを指定してください。
波形が動いているので何かしら再生されているらしいというのは分かるのですが、このままだと何も聞こえません。スピーカーやヘッドホンなどを通して出力をするには Audio Device Out CHOP
を配置して出力先を Device から選択します。Volume や Pan などのパラメーターもあります。
注意！Audio Device Out CHOP に接続をする前に必ず PC の音量を確認してください！予想外に大音量で再生される可能性もあります。
オーディオインターフェイスやマイクなどを使用して外部デバイスから Audio を取り込む場合は Audio Device In CHOP を使用します。
また、Movie に Audio が含まれている場合は、Audio Movie CHOP
で Audio の情報を取得することができます。Movie File In TOP で Audio を取得したい Movie を指定します。
Audio 音量の解析 /project1/Audio_volume_analyze
Audio data visualization の方法としてはいくつかあるんですが、まずは Analyze CHOP
を使用して音量を解析する方法をご紹介します。Analyze CHOP は Audio 関係にとどまらずどの CHOP でも使えるものなのですが、Function にある設定の中で Maximum が最大値、RMS Power はRMS (root-mean-square)は二乗した値の中央値（平均値）の平方根です。いい感じに平均をとるものと考えてください。これらが生成する値を使って、視覚化を行うことができます。
Trail CHOP と インスタンシングを使った Visualization
Audio Filter CHOP
では特定の周波数範囲のみ取り出すフィルターを作ることができます。Filter パラメーターで Low Pass で低周波、Band Pass で中周波、High Pass で高周波をそれぞれ通過させることができます。
これらを使いやすくしたコンポーネントも TouchDesigner にデフォルトでついています。
Palette > Tools > audioAnalysis
Audio 音量の解析を使用したビジュアライズのサンプル /project1/Audio_volume_Viz_1-4
インスタンシングを使って audioAnalysis を使用した音に反応するサンプルを作ってみましたので一緒に見ていきましょう。
本日の課題： audioAnalysis を使って Audio data を visualize してみる
今日紹介した audioAnalysis から出力されるデータを使って音に反応するものを作ってください。プロジェクトフォルダごと Teams に提出してください。