iOSでのAVAudioEngineサウンドエンジンの紹介

このトピックに関する記事を探してRunetを見ると、その不在に驚いています。 おそらく、人々はクラスのヘッダーに十分な説明があるかもしれませんし、おそらく誰もが経験的にそれを勉強したいだけかもしれません。 何らかの形で、このクラスに初めて出会った人、または実例の必要性を感じた人のために、パートナーであるMusic Topiaからこのシンプルで実用的なガイドを提供します。



サウンドを扱うという点では、Appleは競合他社よりも先を行っており、これは偶然ではありません。 同社は、トラックの再生、録音、処理のための優れたツールを提供しています。 これにより、AppStoreには、オーディオコンテンツと何らかの形で機能する膨大な数のアプリケーションが表示されます。 これらには、優れたサウンドを持つプレーヤー（ Vox ）、エフェクトの編集および適用用のツールを備えたオーディオエディター（ Sound Editor ）、音声変更アプリケーション（ Voicy Helium ）、対応するサウンドをかなり正確に模倣する楽器のさまざまなシミュレーター（ Virtuoso Piano ）が含まれます、さらにはDJインストレーションのシミュレーター（ X Djing ）。











Appleは、オーディオを操作するために、いくつかのツールを組み合わせたAVFoundationフレームワークを提供しています。 たとえば、AVAudioPlayerは単一のトラックを再生するために使用され、AVAudioRecorderはマイクからの音を録音するために使用されます。 そして、これらのクラスが提供する機能のみが必要な場合は、それらを使用してください。 エフェクトを適用したり、複数のトラックを同時に再生したり、ミックスしたり、オーディオの処理や編集を行ったり、特定のオーディオノードの出力からサウンドを録音したりする必要がある場合は、 AVAudioEngineが役立ちます。 何よりも、このクラスはトラックにエフェクトをかける能力に惹かれます。 イコライザーと音声を変更する機能を備えた多くのアプリケーションは、これらの効果に基づいて構築されています。 さらに、Appleは開発者が独自のエフェクト、サウンドジェネレーター、およびインストゥルメントを作成できるようにします。

主な要素とその関係

メインのAVAudioEngineエンジンから始めましょう。 このエンジンは、オーディオ信号を生成および処理し、オーディオ入力および出力を表すオーディオノード接続のグループです。 望ましい結果を達成するために特定の方法で配置されたオーディオノードの図として説明することもできます。 つまり、AVAudioEngineは、マイクロ回路（この場合はオーディオノード）が配置されたマザーボードであると言えます。



デフォルトでは、エンジンはオーディオデバイスに接続され、リアルタイムで自動的にレンダリングされます。 また、手動モードで動作するように構成することもできます。つまり、デバイスに接続せずに、クライアントからの要求に応答して、通常はリア​​ルタイムで、またはさらに高速にレンダリングします。



このクラスを使用する場合、すべての操作が正しく実行されるように、特定の順序で初期化とメソッドを実行する必要があります。 アイテムに対する一連のアクションは次のとおりです。

1. まず、オーディオセッションAVAudioSessionを設定します。
2. エンジンを作成します。
3. AVAudioNodeノードを個別に作成します。
4. ノードをエンジンに接続します（接続）。
5. ノード同士を接続します（接続します）。
6. エンジンを始動します。

1.オーディオセッションのセットアップ



オーディオセッションを設定しないと、アプリケーションが正常に動作しなかったり、音声がまったく聞こえなかったりします。 構成手順の具体的なリストは、エンジンがアプリケーションで実行する機能（記録、再生、またはその両方）によって異なります。 次の例では、オーディオセッションを再生のみに設定します。

[[AVAudioSession sharedInstance] setCategory:AVAudioSessionCategoryPlayback error:nil]; [[AVAudioSession sharedInstance] overrideOutputAudioPort:AVAudioSessionPortOverrideSpeaker error:nil]; [[AVAudioSession sharedInstance] setActive:YES error:nil];
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

録音用に設定するには、カテゴリAVAudioSessionCategoryRecordを設定する必要があります。 すべてのカテゴリはこちらから入手できます 。



2.エンジンの作成



このエンジンが機能するには、AVFoundationフレームワークをインポートしてクラスを初期化する必要があります。

 #import <AVFoundation/AVFoundation.h>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

初期化は次のとおりです。

 AVAudioEngine *engine = [[AVAudioEngine alloc] init];
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

3.ノードの作成



AVAudioEngineは、それに接続されているAVAudioNodeクラスのさまざまな子クラスで動作します。 ノードには入力バスと出力バスがあり、接続ポイントと見なすことができます。 たとえば、エフェクトには通常1つの入力バスと1つの出力バスがあります。 バスには、AudioStreamBasicDescriptionの形式で表示される形式があり 、サンプリング周波数、チャネル数などのパラメーターが含まれます。 ノード間の接続が作成されると、ほとんどの場合、これらの形式は一致するはずですが、例外があります。



オーディオノードの各タイプを個別に検討してください。



オーディオノードの最も一般的なタイプはAVAudioPlayerNodeです。 名前が示すように、この種類はオーディオの再生に使用されます。 ノードは、指定されたAVAudioBufferビューバッファーまたはAVAudioFileによって開かれたオーディオファイルのセグメントからサウンドを再生します。 バッファとセグメントは、特定のポイントで再生するようにスケジュールすることも、前のセグメントの直後に再生することもできます。



初期化と再生の例：

 AVAudioPlayerNode *playerNode = [[AVAudioPlayerNode alloc] init]; … NSURL *url = [[NSBundle mainBundle] URLForResource:@"sample" withExtension:@"wav"]; AVAudioFile *audioFile = [[AVAudioFile alloc] initForReading:url error:nil]; [playerNode scheduleFile:audioFile atTime:0 completionHandler:nil]; [playerNode play];
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

次に、AVAudioNodeクラスの子でもあるAVAudioUnitクラスについて考えます。 AVAudioUnitEffect（AVAudioUnitの子クラス）は、エフェクトクラスの属クラスとして機能します。 最も一般的に使用されるエフェクトは、AVAudioUnitEQ（イコライザー）、AVAudioUnitDelay（遅延）、AVAudioUnitReverb（エコー効果）、およびAVAudioUnitTimePitch（加速または減速効果、ピッチ）です。 それぞれに、サウンドを変更および処理するための独自の設定セットがあります。



遅延効果の例に対する効果の初期化と調整：

 AVAudioUnitDelay *delay = [[AVAudioUnitDelay alloc] init]; delay.delayTime = 1.0f;//      ,  0  2 
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

次のノードAVAudioMixerNodeは、ミキシングに使用されます。 厳密に1つの入力ノードを持つ他のノードとは異なり、ミキサーには複数の入力ノードを含めることができます。 ここでは、プレーヤーノードをエフェクトノードとイコライザーと組み合わせて、ノード出力が既にAVAudioOutputNodeに接続されて、最終的なサウンドを出力できます。



ミキサーと出力ノードを初期化する例：

 AVAudioMixerNode *mixerNode = [[AVAudioMixerNode alloc] init]; AVAudioOutputNode *outputNode = engine.outputNode;
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

4.エンジンへのノードの接続



ただし、ノードを宣言するだけでは機能しません。 エンジンに接続し、入出力バスを介して他のノードに接続する必要があります。 このエンジンは、起動時にノードの動的な接続、切断、削除をわずかな制限付きでサポートします。

• すべての動的再接続は、ミキサーノードの前で発生する必要があります。
• 通常、エフェクトを削除すると、隣接するノードが自動的に結合されますが、入力チャネルと出力チャネルの数が異なるノードまたはミキサーを削除すると、グラフが破損する可能性があります。

ノードをエンジンに接続するには「attachNode：」メソッドが使用され、エンジンからデタッチするには「detachNode：」が使用されます。

 [engine attachNode:playerNode]; [engine detachNode:delay];
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

5.ノード同士の接続



接続されたすべてのノードは、サウンド出力のために共通の回路に接続する必要があります。 接続は、出力する内容によって異なります。 エフェクトが必要です-エフェクトノードをプレーヤーノードに接続し、2つのトラックを結合する必要があります-2つのプレーヤーノードをミキサーに接続します。 または、2つの個別のトラックが必要な場合があります。1つはクリアなサウンドで、もう1つは処理済みのサウンドです。 接続順序はそれほど重要ではありませんが、接続シーケンスは最終的にメインミキサーに接続し、メインミキサーはオーディオ出力ノードに接続する必要があります。 例外は入力ノードです。これは通常、マイクからの録音に使用されます。



図とコードの形式で例を示します。



1）効果のあるプレイヤー

 [engine connect:playerNode to:delay format:nil]; [engine connect:delay to:reverb format:nil]; [engine connect:reverb to:engine.mainMixerNode format:nil]; [engine connect:engine.mainMixerNode to:outputNode format:nil]; [engine prepare];
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

2）2人のプレーヤー、そのうちの1人がサウンドを処理する

 [engine connect:player1 to:eq format:nil]; [engine connect:eq to:pitch format:nil]; [engine connect:pitch to:mixerNode fromBus:0 toBus:0 format:nil]; [engine connect:player2 to:mixerNode fromBus:0 toBus:1 format:nil]; [engine connect:mixerNode to:outputNode format:nil]; [engine prepare];
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

3）4人のプレーヤー、うち2人はイコライザーによって処理されます

 [engine connect:player1 to:mixer1 fromBus:0 toBus:0 format:nil]; [engine connect:player2 to:mixer1 fromBus:0 toBus:1 format:nil]; [engine connect:mixer1 to:eq format:nil]; [engine connect:eq to:engine.mainMixerNode fromBus:0 toBus:0 format:nil]; [engine connect:player3 to: engine.mainMixerNode fromBus:0 toBus:1 format:nil]; [engine connect:player4 to: engine.mainMixerNode fromBus:0 toBus:2 format:nil]; [engine connect:engine.mainMixerNode to:engine.outputNode format:nil]; [engine prepare];
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

エンジンを操作するために必要なすべての手順を検討したので、これらのすべてのアクションを一緒に確認し、実行する必要がある順序をよりよく想像するための小さな例を作成します。 AVAudioEngineエンジンで調整可能な低域、中域、高域のイコライザーを備えたプレーヤーを作成する例を次に示します。

 - (instancetype)init { self = [super init]; if (self) { [[AVAudioSession sharedInstance] setCategory:AVAudioSessionCategoryPlayback error:nil]; [[AVAudioSession sharedInstance] overrideOutputAudioPort:AVAudioSessionPortOverrideSpeaker error:nil]; [[AVAudioSession sharedInstance] setActive:YES error:nil]; engine = [[AVAudioEngine alloc] init]; playerNode = [[AVAudioPlayerNode alloc] init]; AVAudioMixerNode *mixerNode = engine.mainMixerNode; AVAudioOutputNode *outputNode = engine.outputNode; AVAudioUnitEQ *eq = [[AVAudioUnitEQ alloc] initWithNumberOfBands:3]; eq.bands[0].filterType = AVAudioUnitEQFilterTypeParametric; eq.bands[0].frequency = 100.f; eq.bands[1].filterType = AVAudioUnitEQFilterTypeParametric; eq.bands[1].frequency = 1000.f; eq.bands[2].filterType = AVAudioUnitEQFilterTypeParametric; eq.bands[2].frequency = 10000.f; [engine attachNode:playerNode]; [engine attachNode:eq]; [engine connect:playerNode to:eq format:nil]; [engine connect:eq to:engine.mainMixerNode format:nil]; [engine connect:engine.mainMixerNode to:engine.outputNode format:nil]; [engine prepare]; if (!engine.isRunning) { [engine startAndReturnError:nil]; } } return self; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

さて、再生方法の例：

 -(void)playFromURL:(NSURL *)url { AVAudioFile *audioFile = [[AVAudioFile alloc] initForReading:url error:nil]; [playerNode scheduleFile:audioFile atTime:0 completionHandler:nil]; [playerNode play]; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

起こりうる問題

AVAudioEngineを使用して開発する場合は、アプリケーションが正常に動作しないかクラッシュする原因になることを忘れないでください。



1.オーディオセッションと再生前の起動の確認



再生する前に、常にオーディオセッションを設定する必要があります。何らかの理由で、アプリケーションの使用中にカテゴリがリセットまたは変更される場合があります。 また、再生する前に、エンジンが停止している可能性があるため（たとえば、同じエンジンの別のアプリケーションに切り替えた結果として）、エンジンが実行されているかどうかを確認する必要があります。 そうしないと、アプリケーションがクラッシュするリスクがあります。

 [[AVAudioSession sharedInstance] setCategory:AVAudioSessionCategoryPlayback error:nil]; [[AVAudioSession sharedInstance] overrideOutputAudioPort:AVAudioSessionPortOverrideSpeaker error:nil]; [[AVAudioSession sharedInstance] setActive:YES error:nil]; if (!engine.isRunning) { [engine startAndReturnError:nil]; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

2.ヘッドセットの切り替え



もう1つの重要なポイントは、ヘッドフォンまたはBluetoothヘッドセットの接続/切断です。 同時に、エンジンも停止し、頻繁に再生されるトラックの再生が停止します。 したがって、「AVAudioSessionRouteChangeNotification」という通知を受け取るオブザーバーを追加することで、この瞬間を捉える価値があります。 セレクターで、オーディオセッションを設定し、エンジンを再起動する必要があります。

 [[NSNotificationCenter defaultCenter] addObserver:self selector:@selector(audioRouteChangeListenerCallback:) name:AVAudioSessionRouteChangeNotification object:nil];
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

おわりに

この記事では、AVAudioEngineに精通し、その操作方法のポイントを見て、いくつかの簡単な例を示しました。 これはAppleの武器庫にある優れたツールであり、これを使用すると、複雑さの程度がさまざまで、ある程度サウンドを処理する多くの興味深いアプリケーションを作成できます。