そして、何人のドローンが牛乳を与えますか？ サウンドデザインのリバースエンジニアリング技術

この記事は、ロシア語の表現力によって、サウンドデザインのリバースエンジニアリングの経験を伝えることが可能かどうかを把握しようとする試みです。



かつて、音楽フォーラムを読みながら、映画Oblivionでサウンドデザインを議論するトピックに出会いました。 人々はドローンの音を出すプロセスに興味を持っていました。 数週間後には本質的に答えがなかったため、そのトピックは公式ビデオに表示されなかったため、リバースエンジニアリング手法を使用して自分で答えを見つけようとすることにしました。



ドローンが参加した最初のシーン（映画の12分目）は、 YouTubeで見ることができ、リファレンスとして選ばれました。 数時間の作業の後、次の結果を得ることができました。

準備する

開発サイクル全体は、次の段階に分けることができます。

1. トピックに関する追加情報を検索します
   • 映画の吹き替えに関わるスタジオからのビデオ
   • クリエイターとのインタビュー
   • 専門的なフォーラムでのディスカッション（突然誰かがすでにすべてを理解していて、自転車を発明した）
   • 関連技術記事
2. オリジナルの分析
   • 波形、スペクトログラムなどの視覚的分析
   • シーンで使用されるすべてのサウンドのリストを作成する
   • 技術用語での各音の説明（音色、スペクトル、合成の種類、レイヤー、アーティキュレーション）
   • 各サウンド（オブジェクト、感情）の関連付けのリストを作成する
   • 関連する音のグループ化（繰り返しのアクションを避けるため）
3. 適切なツールの選択
   • スペクトラムアナライザー
   • オーディオエディター
   • シンセサイザー
4. 合成
   • 合成自体
   • 追加のサウンドデザイン

オリジナルの分析

まず、 ffmpegを使用して、ムービーから30秒間の参照シーンを切り取り、オーディオファイルとして保存しました。これをメインホストにインポートして、プロセスでの便利なA / B比較を行いました。 次に、 SoXを使用して、各オーディオチャネルの大判（2000x2000ピクセル）スペクトログラムを作成しました。 私は自分のスペクトルエディターを持っているAdobe Auditionでスペクトルのほとんどの仕事をスペクトルで費やしているという事実にもかかわらず、SoXスペクトログラムを使用すると、全体としてのサウンド画像と6つの5.1サウンドチャンネルのそれぞれの充填をすばやく把握できます。





Adobe Auditionの元の5.1シーンサウンドのスペクトログラム



選択したエピソードは非常に静的であるため、メインサウンドは中央チャンネルにあり、スペクトログラムによって確認されます。 これにより、今後の作業が大幅に促進されます。 ffmpegを使用して、センターチャンネルをエクスポートし、オーディオエディターで開きます。





中央チャンネルのサウンド表示の波およびスペクトルモード



原則として、波形表示モードは単純なサウンドの分析に役立ちます。これを使用して取得できる主な情報は、サウンドが表示されるポイント、振幅と持続時間です。 バックグラウンドノイズと多層要素がある複雑なシーンの場合、スペクトルモードに安全に切り替えることができます。



一言で言えば、波とスペクトルモードの違い：波モードでは、音は2次元空間XYで表されます。Xは時間軸で、Yは波の振幅（dB）です。 スペクトルモードでは、3次元空間XYZで音を見ることができます。ここで、Xは時間、YはHz単位の周波数範囲、Zは信号の強度（音量）です。



シーンの最初の6秒を分析しましょう。 これはそのスペクトルがどのように見えるかです：







シーンを注意深く聞いてスペクトログラムを調べた後、次のサウンド要素を区別できます。







それらを論理グループに分割します。







次のリストを取得します。

1. Barえる犬
2. ドラムロール
3. 高周波ドローン作動音
4. サーボ機構の音
   
   a。 高周波ノイズ（5aに加えて）
   
   b。 高周波ノイズ（5bに加えて）
   
   c。 サーボロック音（7に追加）
5. 信号
   
   a。 「質問」
   
   b。 「回答」
6. 低周波信号（7に追加）
7. サイレン
8. エンジン音
9. バックグラウンドブロードバンドノイズ（環境音、風、砂など）

これがサウンドカードです。 マップを思い出させてください！=テリトリー。 この場合、これはシーンの音声コンテンツに対する主観的なビジョンです。 別の人のカードとグループは異なる場合があります。 それに何の問題もありません。今後のアクションと最終結果は、マップを描画する妥当性と詳細度に依存することを理解することが重要です。



それで地図。 犬のbarえ声とドラムロールはドローンとは関係ないため、すぐに手順3に進みます。





ドローンアクティベーションサウンドスペクトログラム



スペクトログラムは、この音の始まりが5000から10000 Hzの範囲に収まり、その後6000から12000 Hzの範囲に線形に入ることを示しています。 つまり、起動音の開始時のようなスペクトルで静的な音を合成し、自動化を使用して、起動音の終了時の状態にスムーズにピッチを変更できます。 この要素のまさに音は音色の特徴を持ち、スペクトルでは、ノイズの中で個々の倍音が見えます。 最初は、帯域通過フィルター（5000〜10000 Hzの通過帯域）で処理された高調波の多い信号（たとえば、のこぎり波）であると想定できます。 このプロセスを繰り返してみましょう。

合成

シンセサイザーU-HEゼブラは、その憂鬱な外観だけでなく、非常に柔軟なモジュール構成、およびほぼすべての複雑なサウンドを作成できる多数のユニークな効果で、ミュージシャンやサウンドデザイナーの間で知られています。 有名なサウンドデザイナーのハワードスカーは、「インセプション」、「ダークナイト」、「ダークナイトライジング」などの映画のサウンドを作成するためにZebraを使用しました。





シンセサイザーU-HEゼブラ。 ドローンアクティベーションサウンドプリセット



上記のスクリーンショットのプリセットのロジックは単純です：ラップ効果（追加の高調波とノイズでスペクトルを強化するため）とBandworks（5000-10000 Hzの範囲を除くスペクトルからすべてを削除するバンドパスフィルター）は、のこぎり波を生成するオシレーターOSC1に適用されます。 OSC1（Tune）のピッチは、MSEG1エンベロープを使用して時間とともに変化します。 チェーンの終わりに、カットオフフィルター（VCF1）がBandworksが処理できない10,000 Hzを超える周波数をカットし、共鳴（Res）と飽和（Drive）でサウンドをわずかに圧縮します。 サウンド生成のプロセス全体は、一連のモジュールとして表すことができます。



OSC1->ラップ-> Bandworks >>> MSEG1 >>> VCF1-> Res-> Drive >>> Envelope 1



リストの最後のモジュールは、いわゆる 私たちの場合、全体の音量の変化を制御するADSRエンベロープ 。



この操作の結果として、以下を取得します。





オリジナル（A）と合成（B）の活性化音のスペクトルの比較



GoogleドライブからMP3サンプルをダウンロードする

プレイヤー

メカニズムの合成

サーボ機構の合成は別のトピックであり、元のシーンでは録音されたサンプルがこれらの要素の音声演技に使用された可能性が最も高いため、この記事では詳しく説明しません。 メカニズムの動作音は、オン、オン、オフの3つのフェーズで構成されているとしか言えません。 仕事の音はループの短い断片であり、オフフェーズが発生するまで繰り返されます。 1秒あたり20回を超える周波数でループフラグメントを繰り返すと、この（キャリア）周波数（振動）が人の耳に聞こえる領域に表示されます。 このような状況で聞こえるのは、ドローンと呼ばれます。 たとえば、無人機には、作動中のファンの音、機械および工作機械のエンジン、ドリル、電気シェーバー、虫の鳴き声などが含まれます。無人機（およびその他の音）は音楽的です（ピッチ、つまり音調を判断できる場合）。無調（調性を判断することは困難または不可能です）。 私たちのシーンの飛行ドローンの場合、加速時に実行中のエンジンを扱っています。つまり、無人ドローンであり、そのキャリア周波数は徐々に増加しています。 グループのスクリーンショットでは、このサウンドには番号8が付けられ、前の要素と同じ原理に従って合成されます。 スペクトログラムでは、すべての高調波がはっきりと見える場所を選択し、その時点での周波数を記録し、1つ以上のシンセサイザーオシレーターを使用して再現します。 次に、ピッチの変化を自動化し、加速をシミュレートします。 エンジンの音はシーンで重要な役割を果たしていないため、すべての詳細を再生することはしませんでしたが、アイデア自体を示すためにZebraのプリセットをすぐに投げました。





エンジンサウンドプリセット





合成エンジン音のスペクトログラム



GoogleドライブからMP3サンプルをダウンロードする

プレイヤー

サイレン合成

どうぞ サイレンの音色は、主にキャラクターの存在によってドローンのサウンドパレットから際立っています。 これは、他の冷たい電子ツイーターやブザーとは異なります。 これは、 何かが間違っているように見える （そしてこれが災害になる）ことを示唆するかのように 、それを聞く人に差し迫ったトラブルを明白に約束する音です。





映画からのサイレンのスペクトログラム



これは倍音が豊富な音で、倍音では不安定な周波数のわずかな振動が見られます。これは野生生物の音に典型的です。 サイレンは人や動物の鳴き声に似ており、音色はA、Y、Sの音の間の何かに似ており、ライブサウンドであることを確認します。 最初は、映画の制作に携わったサウンドエンジニアがおそらくフィリップディックを読み、羊の鳴き声をこの音のソースとして使用することにしたのではないかと考えました。これは一種のイースターエッグです。 しかし、freesound.orgで羊を探していると、彼らの声が高すぎるため、同じような声の特徴を持つ大型の動物を探す必要があるという結論に達しました。 雌牛の最初のサンプルは、私が探していたものであることが判明しました。



タイムストレッチ、ディストーションの効果を適用し、このローイングにピッチをわずかに調整すると、次のようになります。



GoogleドライブからMP3サンプルをダウンロードする

プレイヤー



低周波信号（6）とリバーブを追加します。



GoogleドライブからMP3サンプルをダウンロードする

プレイヤー



映画のサイレンの範囲と牛の最終バージョンを比較します。

信号合成

3つの要素5a、5b、6はすべて、1つまたは3つの同様の楽器で演奏される音程で、 FMシンセシスに特徴的な特性がトレースされます。 音もDTMF信号に似ています。 これらの瞬間は、スペクトログラムを分析することなく、間隔そのものと同じように、耳だけで決定されます。5aの場合、これはトリトンアップ、5bの場合、クイントダウン、6のクォートアップです。 次に、ZebraのFMオシレーターを試してみると、かなりすぐに同様のサウンドが得られます。







GoogleドライブからMP3サンプルをダウンロードする

プレイヤー



オシレーターOSC1は、ピッチを設定する正弦波を生成します。 OSC2とFMオシレーターFMO1は相互に不協和音であり（OSC1の周波数はOSC1トーンの周波数の倍数ではありません）、サイレンや警察のクラッカーのような強烈な音になります。

背景

バックグラウンドノイズは、おそらく、サウンドピクチャのほとんどの人の情報コンポーネントによって最も過小評価されているものに属します。 ただし、生活の他のすべての分野の背景についても同様です。 かつて、風景などのジャンルの出現は絵画の革命となり、素人のテンプレートは、主人公が行動していなかった絵画の目に引き裂かれました。 今日、誰もがモナリザがどのように見えるかを知っていますが、誰も彼女が開いた窓のそばに座っているか、多分きれいなフィールドに立っているかどうか、彼女の後ろに示されているものを覚えているわけではありません それでも、背景が完全に削除されると、すぐに目を引きます。 音の背景と同じ話。 そうでない場合、シーンはそのリアリズム、雰囲気、セマンティックの負荷を失います。 サウンドイベントは... "nowhere。"で発生します。 したがって、私たちのシーンの音を復活させるために、私はfreesound.orgでそれに適した感情的な背景を取り上げました。



すべての機能を備えた最終バージョン：



GoogleドライブからMP3サンプルをダウンロードする

プレイヤー

結論として

この記事を思いついたとき、最終バージョンにあるすべてのサウンドを作成するプロセスを説明するつもりでした。 しかし、私がここで飼育した水の量から判断すると、このパラグラフに到達したのはおそらく少数です。 こんにちは 最後まで読んでくれてありがとう。

参照資料

FMシンセシス（Wikipedia）

DTMF（ウィキペディア）

ADSRエンベロープ（ウィキペディア）

牛のサンプル

環境サンプル

最終バージョンのサーボ機構のサンプル[1] 、 [2]

ハワード・スカー

U-HEシマウマ