ミュージカルリハーサル：オンライン中

この記事では、いくつかの同様のプログラムについて簡単に説明するとともに、この分野で独自のソフトウェアを開発した経験について説明します。 使用可能なプログラムには、必要な機能がすべて同時に搭載されていませんでした。

まえがき

年末年始の2012年の初めに、私は奇妙な映画に出会いました。





このビデオは、コメントに書かれているように、異なるスタジオにある人々がライブで歌うことを示しています。 どんなテクノロジーなのかが面白くなってきました。 唯一の手がかりは、NETDUETTOという言葉でした。 日本企業のヤマハの研究所の1つによって作成されたこのようなソフトウェアがあることが判明しました。 はい、問題は、プログラムが日本語ロケールにのみインストールされることです。 ネットワークを検索した後、任意のロケールにインストールされた非公式のディストリビューションが見つかりました。 しかし、今では実行可能ファイル自体は起動しませんでした。 パッチは配布キットにバンドルされていましたが、気に入らなかったため、独自のパッチを作成することにしました。 IDAを介してロケール定義コードを見つけ、HEXエディターでnop置換を使用してパッチを適用すると、プログラムは開始されましたが、インターフェースは表示されませんでした。 それは日本語ロケールで作成されたためです。 Restoratorをいじくり回した後、プログラムに英語のインターフェイスを教えました（ちなみに、これは.exeファイル自体にあり、単に非アクティブです）。実験を開始することができました（ link ）。

ネットデュエット

このプログラムはうまく機能し、オンライン音楽リハーサルの最大4人の参加者がサポートされます。 はい、それは不運です。 最大オーディオ品質は44.1 kHz /モノです。 キーボードプレーヤーのように私にとってはモノラルです（キーボードの場合、ステレオエフェクトが非常に必要になることもあります）。私は間違いなくそれが気に入らず、アナログの検索が始まりました。

忍者

唯一の適切なアナログはニンジャムでした。 しかし、彼はオンラインリハーサルの参加者の1人のコンピューターをサーバーとして使用したため、ある参加者から別の参加者への音は間接的ではなく、このサーバーを通過します。 詳細を考えると、うまく調整されたゲームでミリ秒が重要な場合、そのような中間リンクは受け入れられません（Netduettoは直接動作し、オンラインリハーサルの各参加者はそれぞれとオーディオデータを交換します）。 そして、このツールをテストすることさえせずに、ステレオモードをサポートし、中間サーバーなしで動作するプログラムを書き始めました。

Steinberg VST Connect SE

しかし、最初に、同様の機能を持つ別の深刻なプログラムについて言及します。 残りの部分とは、2つの部分に分けられています。 1つはサウンドエンジニア用で、DAW（デジタルオーディオワークステーション-サウンドを操作するためのプロフェッショナルプログラムの一般名）から起動され、もう1つはアーティスト用に別の実行可能ファイルとして起動されます。 別の制限-他のプログラムとは異なり、これは2人だけを接続し、リハーサルとしてではなく、スタジオを訪問する必要のないリモートレコーディングとして位置付けられます。 しかし、現時点では、試してみることができるのはCubase 7の所有者だけです。残念ながら、私は自分自身を含めません。

世界の音楽ツール

だから、 私の開発 。 このプログラムは、長年にわたるトレントクライアントmTorrentの監視とUDPの経験を使用して作成されました。 次に、プログラムを開発する過程で私にとって興味深いと思われるいくつかのことについてお話したいと思います。



プログラムは純粋なWinapiで書かれています。 これは、今回はインストールせずに実行できる実行可能ファイルを作成する必要があったためです。 また、サードパーティのソフトウェアやライブラリ（.NETなど）をインストールしなくても、これらは2つです。 その結果、100 KBをわずかに超えるサイズのファイルは完全に機能し、Windows XP SP2でも機能します。



インターネット上のサーバー（たとえば、ヤマハであり、ミュージシャンとのいわゆる「部屋」に関する情報を格納するためにNetduettoで使用されているサーバー）がない場合、プログラム内から独自のIPアドレスを見つけることは明らかではありませんでした。 結局のところ、インターネットは直接でもルーターの背後でも可能です（もちろん、大まかに言えば）。 また、インターフェイスのアドレスを決定する標準機能によって返される、ターミナルローカルネットワークのアドレスではなく、外部IPアドレスを決定する必要があります。 したがって、外部IPアドレスを含む小さなページで応答するサイトが見つかりました。 インターネットにはそのようなサイトが多数あるため、最小サイズとページデザインのサイトは数年間変更されていません。



バッファリング、または過度の信号遅延との戦い。 あなたはギターを取り、コンピューターのサウンドカードのマイク入力に接続し、コードを取りました。 そして、サウンドカードのADCによって信号がデジタル化され、n個のサンプル（nは2の倍数、通常は128、256または512）がASIOドライバーに転送されます。 プログラム（たとえば、NetduettoとMusic Over The Worldツールの両方）はこのドライバーにアクセスして、このバッファー（ASIOドライバーの入力バッファー）のn個のデータサンプルの更新を通知します。 プログラムで定期的に合計されるのは、オーディオ信号のnサンプルのデータです。 また、ネットワーク経由で定期的に、NetduettoとMusic Over The World Toolプログラム（バッファリングの点で1つの重要な違いがあるので、私はそれらを比較します）は、オーディオ信号のmサンプルを含むネットワークパケットの形式でオンラインリハーサルの他の参加者からデータを受信します各リモート参加者から。 そのため、プログラムには2つのイベントがあります。サウンドカードの入力からの音声信号の新しいn個のサンプルが受信され、ネットワーク経由でリモート参加者からの音声信号の新しいm個のサンプルが受信されます。 N個のサンプル：出力ASIOバッファーに転送され（自分が演奏していることを聞くことができます）、オンラインリハーサルの他の参加者にもネットワーク経由で送信されます。 Mカウント：ここで、NetduettoのMusic Over The World Toolプログラムの主な違いを待っています。 Netduettoでは、リモート参加者からのデータは、参加者間のping、ASIOドライバーの入力および出力バッファーのサイズ、および参加者のオーディオストリームの圧縮設定に応じて、動的に調整可能なサイズを持つ中間バッファーに入ります。 したがって、Netduettoでは、リモート参加者からオーディオサンプルを受信するためのスキームは次のようになります。



（ネットワーク経由で受信したm個のサンプル）->（中間バッファー）->（ASIOドライバーの出力バッファー）->（サウンドカードのDAC）



一方、Music Over The World Toolでは、このスキームは次のようになります。



（ネットワーク経由で受信したm個のサンプル）->（ASIOドライバーの出力バッファー）->（サウンドカードのDAC）



そして、バッファーの不足はどういう意味ですか？ これは、対談者が数ミリ秒早くコードを聞くことを意味します。 そして、数ミリ秒は何ですか？ たくさんですか？ 特定のタスクのコンテキストでは、これは非常に具体的です。 このバッファーがなければ、Music Over The Worldツールでは、120-140のペースで問題なく再生できます。 もちろん、奇跡は起こらず、すべての費用を支払う必要があります。参加者のすべてのコンピューターに同じサイズのASIOドライバーの入力および出力バッファーをインストールする必要があります。 また、このアプローチでは、未圧縮の非圧縮データのみを送信できます。 しかし、それは価値があります。



さらに、Music Over The World Toolはp2pテクノロジーに基づいて機能するため、メカニズムがデバッグされている間、他の参加者の音声サンプルを含むUDPパケットが切断されたピアのIPアドレスへの送信を停止する間、それをいじる必要がありました。 サービスチャネル（個別のUDPポート）を介して、現在接続されているIPアドレスのリストが、オンラインリハーサルの各参加者に1秒間に1回送信されます。 そして、参加者の1人が切断した（プログラムを閉じた）場合、オーディオサンプルのメインチャネルのUDPパケットからのあられが引き続きIPアドレス（参加者ごとに個別のUDPポート）にばらまかれます。 これを避けるために、メインチャネルでのデータ交換の制御を導入する必要がありました。 また、これまでに接続されたすべてのIPアドレスのテーブルと、数秒間データが到着していないアドレスへの音声サンプル付きの非送信パケットの保存も行います。



他のプログラムとのもう1つの重要な違いは、 VSTおよびVSTi（VST FLStudioを介して間接的に接続）の統合サポートです。 つまり このプログラムから、ハンドラーを掛けることができます。たとえば、演奏されたコードは、過負荷のエレキギターのように聞こえます。 また、MIDIキーボードを接続して、VSTi楽器で演奏することもできます。 また、オーディオ信号のルーティングを検討したり、サードパーティのプログラムを実行したりする必要はありません（VSTiをサポートするためのFLSTのVSTバージョンの必要性を除く）。



オーディオ信号のルーティングといえば。 Netduettoにはすばらしいドライバーがインストールされており、退屈したVACを置き換えることができます入力はドライバーカーネル内で行われます）。 その主な目的（Netduettoでは、ASIOドライバーの出力信号全体が複製されます。これは、たとえばこのオーディオをインターネットにブロードキャストする場合に便利です）、その助けにより、DAW出力を少なくともNetduettoまたはMusic Over The Worldツールの入力に接続できます。

さらに、これらの仮想オーディオドライバーの複数のコピーをインストールできます。



誰かがこの場所を読んでも、それが何であり、なぜかをほとんど想像できない場合。 これらは、距離を目立たなくする技術の実装です。 自宅のコンピューターの前に座って、何キロも離れた友達と同じ部屋にいるかのように音楽を再生できます。 高品質のCDオーディオ。



PS：歴史。 ずいぶん前...数年前、私たちの同胞はすでに同様のプログラムを作成しました。 しかし、当時はASIOも現代のインターネットもありませんでした。 当初、このプログラムはOmnimusicと呼ばれ、その後Musigyプロジェクトになりました。 現在、そのプロジェクトの痕跡はインターネット上で発見されていません。