手続き型オーディオ

コンピュータで過ごす時間は、「画面を見る」ことです。つまり、人がコードを書いたり、映画を見たり、ニュースを再生したり、学習したりすることです。 人の主な感覚が視力だからです。 そして、現実の認識、それとの相互作用のメカニズムを大きく決定し、多くの技術の開発を導きます。

過去数十年にわたるハードウェアとソフトウェアの進化の一般的な例：Wolfenstein 3D（1992）とCrysis 3（2013）を比較してください。 この間、コンピューターグラフィックスがどれほど高度で複雑なものであるかを過小評価することは困難です。

しかし、悲しいかな、これは音では言えません。 状況を修正する方法については、記事があります。

ページからの画像peripheriques.free.fr/blog/index.php?/past/2010-pure-data-read-as-pure-data

この記事の基礎は、Andy Farnellが定期的に行う講義の資料です。 これらの講義では、彼はコンピューターオーディオ（または手続き型オーディオ、手続き型/コンピューターオーディオ）の開発と使用に関する彼のビジョンの本質を概説し、コミュニティと共有したいいくつかの興味深い例を示します。

Andyについて一言：サウンドデザイナー、プログラマー、多くの大学の教授、元オーディオエンジニア。 彼の現在のプロとしての経歴は、かつてデモシーン、特にブラックロータスの作品に強く影響されていました。 AndyはDesigning Soundの著者でもあります。DesigningSoundには、音響物理学、モデリング、心理音響学に関する有用な理論が豊富に含まれており、ビジュアルプログラミング言語Pure Dataで書かれたさまざまな実践演習が含まれています。



記事は予想よりもわずかに大きいことが判明したため、結果をただ聞くだけでも面白い場合は、例のあるセクションに直接進んでください。

それどころか、詳細をさらに掘り下げて、講義全体を見てみたいと思います。その中で、アンディは多くの興味深いことを語っています。

ちょっとした歴史

そのため、コンピューターグラフィックスの機能は、オブジェクトとその相互作用をリアルタイムで詳細にモデリングすることになりました。 これはすべて、個々のグラフィックコアやより最適な画像構築アルゴリズムなど、多くの技術と概念の使用によるものです。 これにより、目に見える品質の損失なしに、システムリソースに関して視覚化を適応させることができます。 視覚空間で動的な詳細レベルを使用すると、リソースを節約できます（たとえば、Mipmappingメソッド）。 しかし、当然、これはすぐには現れませんでした。 既に述べたWolfenstein 3Dゲームは、誰もが覚えているとひどく見えました。 一部の専門家の間では、写真のアプローチがラミスト（1993）として永遠に残るという意見がありました。 しかし、コンピューターの低電力とひどい結果は、愛好家を止めませんでした。



グラフィックスの開発と並行して、「注意不足」のコンピューターオーディオはまだ初期段階であったため、サウンド合成に関する真剣な思考はアプリケーションでは考慮されませんでした。 人が「シンセサイザー」という言葉を聞いた今日でも、最初の連想は、恐らくプラスチックの平行六面体からばかげた音を抽出する、華麗な髪の男であると認めなければなりません。 現在、まったく異なる性質の調和のとれた、複雑で美しいサウンドを作成できるシンセサイザーがあります（たとえば、Native InstrumentsのMassiveや、 Habréの使用について最近書いた U-heのZebra など ）。 面白いことに、「一人称シューティングゲーム」という言葉を聞いたとき、私はまったくゲーマーではありませんが、巨大なピクセルや8ビットカラーとは関係がありません。

現在の状況

サウンド指向でないアプリケーションのオーディオテクノロジーは、適応性と柔軟性がありません。 サウンドを作成するアプローチは、ほとんどの場合、事前に準備されたデータに基づいており、これにより多くの重大な制限が生じます。 シミュレートされた空間内のオブジェクトの数が直線的に増加すると、それらの可能な相互作用の数は非線形に増加します（n（n-1）/ 2）。 一般的な場合、考えられるすべての種類の相互作用を予測し、それぞれの音を準備することは不可能であるため、現実的な音場を作成することはできません。 さらに、ステージ上のオブジェクトの重要性と近接性に関係なく、オブジェクトに関連付けられたオーディオの再生に費やされるリソースはまったく変化しません。 元のオーディオファイルは、たとえば44.1 kHz 24ビットなので、再生されます。 無限に近づくと、このアプローチは効果がなくなります。 さらに、計算オーディオの使用に対するデフォルトの議論は、現代の従来のコンピューターのパフォーマンスはおそらく不十分であるということです。 さらに明らかになると、これは長い間真実ではありませんでした。 この講義のすべての例は、リソースのごく一部を使用して、通常のGHzラップトップでライブで計算されました。



データベースベースの設計とは異なり、手続き型オーディオでは、サウンドの動的な詳細レベルを使用できます。 モデルの個々のブロックのオンとオフを切り替え、必要に応じて、複雑な信号の詳細を削除したり、より単純なものに置き換えたりして、人間による音響知覚の音響心理学的機能を使用します。 たとえば、雨の音をシミュレートすることは、個々の水滴の落下から始めるのが自然です。 時間が経つにつれて、液滴の密度が十分に高くなると、雨のノイズは通常のフィルター処理されたピンクノイズに完全に近似します。これは一種のオーディオミトマッピングです。

手続き型オーディオ開発プロセス

手続き型オーディオには、プログラムを作成するときと同じ原則であるモジュール性と再利用を適用した、よく構造化された設計プロセスが含まれます。 このような組織化されたアプローチには、多くの肯定的な結果があります。 サウンドデザインスタックにはいくつかの抽象化レベルがあり、デザイナーは自分が快適なレベルで作業できるため、デザイナーの仕事の創造的な要素をまったく殺さないとすぐに言わなければなりません。 これを支持して、Andyは7レベルのOSIモデルの実用性との類似性を引き出し、次の一般的なスタック構造を提供します。

1. 行動（行動）
2. モデル
3. 方法
4. 実装

ご想像のとおり、動作は音を引き起こす動作です。 特に困難はありません。



一方、モデリングは最も難しい段階です。 ここでは、プロセスの物理だけでなく、音の知覚の特徴も理解することが重要です。 オブジェクトの構造に深く入り込まないでください。 最終的には、デスクトップの生産性が高いにもかかわらず、リアルタイムで計算することが不可能な非常に複雑なモデルをいつでも書くことができます（数秒を作成するのに何時間もかかった水の音の正確なシミュレーションを覚えている人もいます ）。 しかし、非常に複雑なモデルであっても十分なパワーがあります。アンディによると、ロンドンのクイーンメアリー大学の研究グループは、CUDAテクノロジーが計算オーディオで非常にうまく使用でき、優れた結果を提供できることを示しました（残念ながら、結果の説明は見つかりませんでした）。

デイビッド・ベック（サウンドデザイナー、優れた本「The Csound Book」の著者）によると、サウンドのリアリズムは超越的なディテールと正確さではなく、「音響的実行可能性」と呼ばれるものと関係しています。物理的パラメータが可聴音にどの程度関連しているか。 知覚が私たちにとって有意義であると思われる場合、私たちは直感的に「正しい」と考えます。

物理モデリングで最も重要な概念の1つは、「署名プロセス」です。これは、生成されるサウンドが大きく依存するプロセスです。 たとえば、ウォーキングの場合、サポート反応が重要です。 次に、足が特定の領域に及ぼす力に依存します。 歩行のタイプに応じて、ほとんどの重量をheまたはつま先に移すことができます。 構造的な観点から、脚は3つの関節として表すことができます。 さらに、2つのレッグがあり、それらは位相相関にあります。 などなど。 モデルは複雑になっています。 しかし、最終的には、オブジェクトの速度という1つのパラメーターのみに完全に依存し、このパラメーターを抽象度の高いレベルで制御することは基本的です。

一般的に、モデリングでは、バランスのとれたアプローチを使用し、何かが外に聞こえる方法を理解し、ニーズに応じて、物理的特異性に頼る必要があります（現象的アプローチ、物理的情報/コンテキスト化モデル）。 これは、ハイパーリアリズムへの現実的な概念からの逸脱を意味する場合があります。 たとえば、人生では、銃はゲームで聞こえるほどの表現力はありません。 ハイパーリアリズムは、リアリズムよりもゲーマーによく認識されます。



方法とは、特定のサウンドを合成するために使用されるサウンドデザインテクニックのパレットです。 たとえば、代わりに加算合成または周波数変調を使用できます。 これは、この記事で掘り下げてはならない別の大きなトピックです。 メソッドはしばしば互換性があることに注意することが重要です。



一般的かつ詳細な実装の観点から、多くの興味深い点もあります。

以下を実装する可能な方法の1つ。 シミュレートされた各オブジェクトには独自のメソッドがあります。 これらのメソッドの一部は、オブジェクトによって作成されたサウンドと相関しています。 物理レベルでは、オブジェクトは、他のオブジェクトと衝突したときに送信されるインパルスに反応すると言うことができます。 パルスのパラメーターとオブジェクトのプロパティに応じて、音が生成されます。 このため、各オブジェクトには、インパルスに対するオブジェクトの音響応答を決定する独自の「インパルスキー」（インパルスシグネチャ）が必要です。

実装層にも互換性があります。 オーディオプログラミングの専門家でもあるダンストールは、アンディの本（メソッドを含む）から例を取り上げ、SuperColliderで書き直しました。 結果は同じ品質でした。

その他のプラス

先ほど言ったように、モジュール化と再利用は多くの良い結果をもたらします。

そのような例を見てみましょう。 クラス「Turbine」のオブジェクトを作成しました。これは、航空機のエンジンのノイズを生成します。 航空機には2つのエンジンがあります。 クラスの2番目のオブジェクトを作成します。 コックピットに仮想的に配置されている人の場合、これら2つのオブジェクトによって生成された音を使用しますが、それらを空間処理モジュールに通します（動作中の心理音響学：人は左右に1つのエンジンを聞きます）。コックピットの特性（インパルス応答-任意の空間の固有の特性。大まかに言って、これは部屋の壁が音のさまざまなスペクトル成分を反射する方法であり、これは部屋にいる効果を生み出します）。 そして、滑走路で飛行機を過ぎて飛んでいる人のために、ドップラー効果と近接/除去モジュールをシミュレートするモジュールを通してソース音をスキップする必要があります（望むなら、滑走路から反射音を追加できます）。

このアプローチのもう1つの良い結果は、スケーラビリティです。 設定に応じて、同じ「シリンダー」クラスが、ブリキ缶、大きなドラム、巨大なパイプの一部をシミュレートするとしましょう。 または、同じ断続的な摩擦モジュールを使用して、ドアヒンジのきしみ音、家具の革のトリムのきしみ音、タイヤのきしみ音、または手ぬぐいをガラスに擦り付けます。



最も重要な側面の1つは財政的です。 アンディは彼の経験から興味深い話をしました。 サウンドエンジニアである彼の友人は、飛行機シミュレーターのために実際の飛行機のエンジンの音を録音しました。 これを行うには、数千ユーロのマイクを用意し、エンジン自体を1日レンタルし、燃料を購入し、資格のあるサービスエンジニアの仕事を1日支払い、格納庫のレンタルを支払い、チーム全体に医療保険を支払う必要がありました。 サウンドエンジニアは、いわゆる 分析記録-つまり、エンジン内の個々のコンポーネントとプロセスの記録：点火シーケンス、さまざまなキャビティの特定の共振振動、燃料遮断後のローターブラシのノイズ、およびその他の同様の詳細。 出力は、数十ギガバイトの高品質のレコードでした。 Andyはこれらのレコードを注意深く分析し、1 kB未満の重量のモデルを作成し、ネットブックでリアルタイムに簡単に計算できます。 もちろん、音は非常にリアルであることが判明しました。

見込み

数年前、2005年、Andyはゲーム開発の分野で志を同じくする人々を見つけようとしましたが、彼によると、この業界は一般的に考えられているよりもはるかに保守的であることが判明しました。 人々が実際に代替案について考えていないという事実に加えて、たとえすべての議論が引用されたとしても、確立されたゲーム開発プロセスを変えて、実験が失敗した場合にお金を失うことを望む人はほとんどいません。 さらに、開拓者はほとんどいないため、手続き型オーディオを作成するための実証済みで効果的な方法はありません。 しかし、彼らはまだそこにいて、最近はもっと多くの人がいます。 たとえば、ゲームPugs Luv Beatsがあります 。その主な機能は、ゲームプレイに応じて手順音楽に正確にあります。 オーディオエンジンはPure Dataにも実装されています。

もちろん、手続き型オーディオの使用を開始することは困難ですが、モジュールとコンポーネントのライブラリは徐々に飽和状態になり、将来、サウンドデザインを作成するプロセスは速くなり、より良い結果が得られます。

このアプローチが従来のサウンドデザインに取って代わることを恐れるのも価値がありません。計算オーディオは既存のツールセットを補完するものであり、完全に置き換えるものではありません。 これがいくつの専門分野を作成し、どのように市場を拡大するかを想像するのは簡単です。 さらに、録音された音声と手続き型音声の間にはグラデーションがあります（たとえば、グレインディクショナリを使用できます）-ゲーム中にアルゴリズム的に音声が収集される元の音声のマイクロサンプル）。



この音へのアプローチはどこまで行けますか？ 徐々に、多くの新しいニッチがインタラクティブアートや同期メディアに登場します。 おそらく、音楽レコードではなく、それを生成するアルゴリズムを使用してディスクを購入することが可能になります（ある程度可能になりました ）。 ただし、これはライブサウンドと人間の録音に完全に置き換わるものではありませんが、芸術全体の知覚体験を大幅に拡大および豊かにします。 繰り返しますが、これはまったくバイポーラのことではなく、手続き型オーディオを使用した本格的なアプローチの全範囲が頭に浮かびます。 たとえば、コンピューターグラフィックスでは、動きを完全にシミュレートした後、時間の経過とともに、動きがライブアクターから記録されるモデルに切り替えました。 これは現実を記録する別の方法です。

例

音の複雑さの昇順：

• 砂利でのウォーキングとランニング（@ 50：53）
• ドアヒンジ用にパラメーター化された間欠摩擦モジュール（@ 48：55）
• スイッチ（@ 54：07）とそれに基づく時計（@ 55：50）
• 車のエンジン（別のビデオから）タイヤのスクリーチ（間欠摩擦モジュール） （@ 53：08）
• 電気モーター（@ 1：01：49）およびそのようなモジュールのロボット（@ 1：02：15）
• プロペラブレード（@ 1：03：53）
• 換気シャフト内のファン（ブレード+電気モーター+鉱山のインパルス応答） （@ 1：05：34）
• 風（@ 1：07：36） 、雨（@ 1：09：14） 、窓（@ 46：50） 、3つすべて、「嵐の間に窓のそばに座る」 （@ 1：10：15）
• ロボット用の「音声モジュール」 （@ 1：11：37） 、同じ基準でのライオンと牛（@ 1：12：28）
• 炎（@ 1：13：41） 、航空機の同じエンジン（タービン+炎） （@ 1：16：01）
• 地上のヘリコプター（プロペラモデルを使用） （@ 1：19：38）および飛行（近似/除去モジュールを使用） （@ 1：25：02）

材料：

1. 2013年ロンドンでのAndy Farnellの講演： www.youtube.com/watch?v=sp83-Pq7TyQ （同じ素材ですが、5つのパートに分かれており、品質は1、2、3、4、5）
2. パブリックドメインの書籍「Designing Sound」からの抜粋： aspress.co.uk/ds/pdf/pd_intro.pdf
3. Designingsound.orgでのAndyのインタビュー： designsound.org/2012/01/procedural-audio-interview-with-andy-farnell
4. 同じ場所でのパグスLuv Beatsのクリエイターへのインタビュー： designsound.org/2012/01/the-sound-of-pugs-luv-beats
5. ロンドンのクイーンメアリー大学でのオーディオモデリングの有効性と品質に関する研究： http : //www.eecs.qmul.ac.uk/~josh/documents/HendryReiss-AES129.pdf
6. 純粋なデータ： puredata.info
7. また、音楽テクノロジーコースの調査： class.coursera.org/musictech-001とすぐに開始されるChucKコース： www.coursera.org/course/chuck101から、実用的かつ文化的な観点から素晴らしいことを述べたいと思います。