Android NDK：OpenSL ESとの連携

こんにちは、ガーディアン。



以前にOpenALについて書きました 。 同志zagayevskiy は、 後にOpenSL ESに関する良い記事を書きました 。 私たちのゲームの1つでは、サウンドを操作するためのすべてのコードを書き直さないように、OpenSL ES（Androidのポートを使用）のすべてを書き直しませんでした。 ゲームでは多くのサウンドが使用されていなかったため、OpenALに問題はありませんでした。 しかし、前回のゲームでは、多くのサウンドを使用し（ゲームの詳細が私たちに義務を課していました）、ここで大きな問題に直面しました（プレイの遅延-小さい方）。 OpenSL ESのすべてを書き直すことにしました 。 これを行うために、既に話したラッパーをいくつか書きました。 これをハブで共有することにしました。誰かが役に立つかもしれません。

1. OpenSL ESの簡単な説明 。
2. オーディオコンテンツ 。
3. ラッパーについて少し 。
4. オブジェクトを扱う原則 。
5. ライブラリ（コンテキスト）の初期化 。
6. サウンドを操作します。
7. PCM再生 。
8. 圧縮形式を再生します 。
9. おわりに
10. 追加します。 情報 。

OpenSL ES簡単な説明

このことは、Android API 9（Android 2.3）以降で利用可能です。 一部の機能は、Android API 14（Android 4.0）以降でのみ使用できます。 OpenSL ESは、C ++から呼び出すこともできるC言語インターフェイスを提供し、サウンドを操作するためのAndroid Java APIの一部と同じ機能を提供します。

• android.media.MediaPlayer
• android.media.MediaRecorder

注 ：OpenSL ESに基づいていますが、このAPIはOpenSL ES 1.0.1のプロファイルの完全な実装ではありません。



Libaはご想像のとおり、純粋なCで記述されています。したがって、完全なOOPはありません。 特別な構造が使用されます（疑似オブジェクト指向構造（:)と呼びましょう。これは、構造へのポインターを最初の引数として取る関数へのポインターを含む通常のC構造です。C++ではこのようになりますが、明示的に。 ESは2種類の構造です。

• オブジェクト （ SLObjectItf
  
  
  
  ）は、特定の範囲のタスクを実行し、これらのリソースに関する情報を保存するように設計された一連のリソースの抽象化です。 オブジェクトを作成すると、そのタイプが決定されます。これにより、ヘルプを使用して解決できるタスクの範囲が決定されます。
• インターフェイス （ SLEngineItf
  
  
  
  、 SLSeekItf
  
  
  
  など）は、特定のオブジェクトによって提供される一連の相互に関連する機能の抽象化です。 インターフェイスには、オブジェクトに対してアクションを実行するために使用される多くのメソッドが含まれています。 インターフェイスは、そのインターフェイスでサポートされるメソッドの正確なリストを定義するタイプです。 インターフェイスは、インターフェイスのタイプを参照するためにコードで使用できる識別子によって定義されます（たとえば、 SL_IID_VOLUME, SL_IID_SEEK
  
  
  
  ）。 インターフェイスのすべての定数と名前は非常に明白なので、特別な問題はありません。

要約すると、オブジェクトはリソースの割り当てとインターフェースの取得に使用されます。 そして、これらのインターフェイスの助けを借りて初めてオブジェクトを操作します。 1つのオブジェクトに複数のインターフェイスを設定できます（ボリュームの変更、位置の変更など）。 デバイス（またはオブジェクトの種類）によっては、一部のインターフェイスが利用できない場合があります。 SLDataLocator_AndroidFD



を使用してアセットディレクトリからオーディオをストリーミングできることを事前に説明しますSLDataLocator_AndroidFD



は、トラック上の位置を移動するためのインターフェースをサポートしています。 同時に、ファイル全体をバッファーにロードし（ SLDataLocator_AndroidFD



を使用）、既にそこから再生することができます。 ただし、このオブジェクトはSL_IID_SEEK



インターフェイスをサポートしていないため、トラック内を移動しても機能しません= /

音声コンテンツ

オーディオコンテンツをアプリケーションにパックする方法は多数あります。

• リソース res / raw /ディレクトリにオーディオファイルを配置すると、 リソースのAPIを使用して簡単にアクセスできます。 ただし、これらのリソースへの直接のネイティブアクセスはないため、Javaコードからコピーする必要があります。
• 資産 アセット/ディレクトリにオーディオファイルを配置することにより、ネイティブマネージャーを使用してC ++からそれらにアクセスできます。 詳細については、 android / asset_manager.hおよびandroid / asset_manager_jni.hヘッダーを参照してください。
• ネットワーク 。 URIデータロケーターを使用して、ネットワークから直接オーディオを再生できます。 これに必要な許可を忘れないでください（：
• ローカルファイルシステム 。 URIデータロケーターは、ローカルファイルにアクセスするためのfile：スキームをサポートします。ただし、ファイルがアプリケーションにアクセスできる場合（つまり、別のアプリケーションの内部ストレージからのファイルの読み取りは失敗します）。 Androidでは、LinuxユーザーIDおよびグループIDメカニズムを使用してファイルへのアクセスが制限されていることに注意してください。
• 記録します。 アプリケーションは、マイクからオーディオを録音し、コンテンツを保存して、後で再生できます。
• インラインでコンパイルおよびリンクされます 。 オーディオコンテンツをライブラリに直接プッシュしてから、バッファーキューデータロケーターで再生できます。 これは、PCM形式の短い曲に非常に適しています。 PCMデータは、bin2cツールを使用して16進文字列に変換されます。
• リアルタイム生成 。 アプリケーションは、オンザフライでPCMデータを生成（合成）し、バッファーキューデータロケーターを使用して再生できます。

ラッパーについて少し

私は一般的にOOPのファンなので、何らかの方法でCメソッドの特定の機能をグループ化し、それをクラスでラップして、将来的に作業しやすくするようにしています。 OpenALでこれを行った方法との類推により、クラスが登場しました。

1. OSLContext
   
   
   
   彼は、ライブラリを初期化し、必要なバッファをインスタンス化する責任があります。
2. OSLSound
   
   
   
   サウンドを操作するための基本クラス。
3. OSLWav
   
   
   
   WAVを操作するためのクラス。 OSLSoundから継承して、操作用の共通インターフェイスを維持します。 oggを使用するには、OpenALで行ったようにOSLOggクラスを作成できます。 これらの形式ではダウンロードプロセスが根本的に異なるため、このような区別をしました。 WAVはきれいな形式で、そこにバイトを読み込むのに十分です。oggはOgg Vorbisを使用して解凍する必要がありますが、mp3（：
4. OSLMp3
   
   
   
   Mp3を操作するためのクラス。 OSLSoundから継承して、操作用の共通インターフェイスを維持します。 mp3をストリーミングするので、このクラスは私にはあまり役に立たない。 しかし、ラメなどを使用してmp3をデコードする場合は、load（char * filename）メソッドでデコードを実装し、BufferPlayerを使用できます。
5. OSLPlayer
   
   
   
   実際には、サウンドを操作するためのメインクラスです。 実際のところ、OpenSL ESの作業メカニズムはOpenALとは異なります。 OpenALには、バッファーと音源（バッファーを掛ける）のための特別な構造があります。 OpenSL ESでは、すべてが異なるプレイヤーを中心に展開します。
6. OSLBufferPlayer
   
   
   
   。 ファイル全体をメモリにロードする場合、このプレーヤーを使用します。 通常、短い効果音（ショット、爆発など）に使用されます。 既に述べたように、 SL_IID_SEEK
   
   
   
   インターフェースをサポートしていないため、トラック内を移動することはできません。
7. OSLAssetPlayer
   
   
   
   を使用すると、assetsディレクトリからストリーミングできます（つまり、ファイル全体をメモリにロードしません）。 長いトラック（バックグラウンドミュージックなど）を再生するために使用します。

オブジェクトを扱う原則

オブジェクトを操作するサイクル全体は次のようなものです。

1. 目的のインターフェイスを指定してオブジェクトを取得します。
2. (*obj)->Realize(obj, async)
   
   
   
   呼び出して実装します。
3. (*obj)-> GetInterface (obj, ID, &itf)
   
   
   
   呼び出して、必要なインターフェイスを取得します
4. インターフェイスを介して作業します。
5. オブジェクトを削除し、 (*obj)->Destroy(obj)
   
   
   
   呼び出して使用したリソースをクリーンアップします。

ライブラリーの初期化（コンテキスト）

まず、フラグlOpenSLESをjniディレクトリのAndroid.mkファイルのLOCAL_LDLIBSセクションに追加します： LOCAL_LDLIBS += -lOpenSLES



と2つのヘッダーファイルを接続します。

 #include <SLES/OpenSLES.h> #include <SLES/OpenSLES_Android.h>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

次に、 slCreateEngine



メソッドを使用して、ライブラリ（OpenALのコンテキストに似たもの）をslCreateEngine



するオブジェクトを作成する必要があります。 結果のオブジェクトは、OpenSL ES APIにアクセスするための中心的なオブジェクトになります。 次に、 Realize



メソッドを使用してオブジェクトを初期化します。

 result = slCreateEngine(&engineObj, //pointer to object 0, // count of elements is array of additional options NULL, // array of additional options lEngineMixIIDCount, // interface count lEngineMixIIDs, // array of interface ids lEngineMixReqs); if (result != SL_RESULT_SUCCESS ) { LOGE("Error after slCreateEngine"); return; } result = (*engineObj)->Realize(engineObj, SL_BOOLEAN_FALSE ); if (result != SL_RESULT_SUCCESS ) { LOGE("Error after Realize"); return; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

次に、 SL_IID_ENGINE



インターフェイスを取得する必要があります。 SL_IID_ENGINE



インターフェイスを介して、スピーカーへのアクセス、サウンドの再生などが可能になります。

 result = (*engineObj)->GetInterface(engineObj, SL_IID_ENGINE, &engine); if (result != SL_RESULT_SUCCESS ) { LOGE("Error after GetInterface"); return; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

CreateOutputMix



メソッドを使用してスピーカーを操作するためにOutputMixオブジェクトを取得して初期化することは残ります。

 result = (*engine)->CreateOutputMix(engine, &outputMixObj, lOutputMixIIDCount, lOutputMixIIDs, lOutputMixReqs); if(result != SL_RESULT_SUCCESS){ LOGE("Error after CreateOutputMix"); return; } result = (*outputMixObj)->Realize(outputMixObj, SL_BOOLEAN_FALSE); if(result != SL_RESULT_SUCCESS){ LOGE("Error after Realize"); return; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

OSLContext



のコンストラクターでメインオブジェクトを初期化することに加えて、必要なすべてのプレーヤーの初期化が行われます。 プレーヤーの最大数は制限されています。 20個まで作成することをお勧めします。

 void OSLContext::initPlayers(){ for(int i = 0; i< MAX_ASSET_PLAYERS_COUNT; ++i) assetPlayers[i] = new OSLAssetPlayer(this); for(int i = 0; i< MAX_BUF_PLAYERS_COUNT; ++i) bufPlayers[i] = new OSLBufferPlayer(this); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

音を扱う

実際、サウンドの種類は2つのカテゴリに分けることができます。WAVと圧縮形式（mp3、oggなど）に含まれるクリーン（圧縮データではなく）PCMです。 Mp3とoggをデコードして、すべて同じ非圧縮PCMオーディオデータを取得できます。 PCMでの作業には、BufferPlayerを使用します。 圧縮されたAssetPlayer形式の場合、ファイルのデコードにはかなりの費用がかかるためです。 mp3を使用する場合、古い携帯電話でハードウェアをデコードすることはできません。サードパーティのソフトウェアソリューションの助けを借りて、デコードには数十秒以上かかりますが、これは受け入れられません。 さらに、このようなPCMデータは非常に重くなります。



メソッドが呼び出されると、player（）はコンテキスト（ OSLContext



）から無料のプレーヤーを要求します。 サウンドのループが必要な場合はOSLAssetPlayer



を取得し、そうでない場合はOSLBufferPlayer



を取得します。

PCMプレイ

私は再びWAV自体を読むことについては書きません。これについてはOpenALに関する記事で見ることができます。 同じ記事で、受信したPCMデータを使用してBufferPlayerを作成する方法を説明します。







一般的に、複雑なことは何もありません。 それはただ大きな問題です。 SLDataFormat_PCM



の構造に注意してSLDataFormat_PCM



。 WAVファイルのヘッダーから読み取らず、自分でパラメーターを明示的に入力したのはなぜですか？ 私はすべてのWAVファイルを単一の形式、つまり 同じチャンネル数、周波数、ビットレートなど 実際には、バッファを作成し、パラメータで2つのチャネルを指定し、1つのチャネルでトラックを再生しようとすると、アプリケーションがクラッシュします。 唯一のオプションは、ファイルの形式が異なる場合、バッファ全体を再初期化することです。 しかし、全体の魅力は、プレーヤーを1回初期化してから、そのバッファーを変更するだけです。 したがって、2つのオプションがあります。異なるパラメーターを持つ複数のプレーヤーを作成するか、すべての.wavファイルを同じ形式にするかです。 まあ、または毎回バッファを再初期化する-_-



ボリューム用のインターフェイスに加えて、2つのインターフェイスがあります。

• チャネル管理用のSL_IID_MUTESOLO
  
  
  
  （マルチチャネルオーディオのみの場合、これはSLDataFormat_PCM構造体のnumChannelsフィールドに示されます）。
• SL_IID_EFFECTSEND
  
  
  
  、スーパーインポーズ効果（仕様による-リバーブ効果のみ）。

プレーヤーを選択してサウンドをインストールするときにキューにサウンドを追加する：

 void OSLBufferPlayer::setSound(OSLSound * sound){ if(bufferQueue == NULL) LOGD("bufferQueue is null"); this->sound = sound; (*bufferQueue)->Clear(bufferQueue); (*bufferQueue)->Enqueue(bufferQueue, sound->getBuffer() , sound->getSize()); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

圧縮形式を再生する

WAVでは、すべてのサウンドを保存することはオプションではありません。 また、ファイル自体が多くのスペースを占有するためではなく（これも）、メモリにロードするだけでは、このためのRAMが十分にありません（：



各形式のクラスを作成し、将来、必要に応じてそれらのデコードの一部を作成します。 mp3には、 OSLMp3



クラスがあります。実際には、将来プレーヤーにインストールするためにファイル名のみを保存します。 同じことがoggやその他のサポートされている形式でも可能です。



初期化の完全な方法、コメントの説明をします。

おわりに

OpenSL ESの学習は非常に簡単です。 また、彼には多くの機会があります（たとえば、オーディオを録音できます）。 クロスプラットフォームの問題があるのは残念です。 OpenALはクロスプラットフォームですが、Androidではあまりうまく動作しません。 OpenSLにはいくつかのマイナス点、コールバックの奇妙な動作、すべての仕様機能がサポートされているわけではありません。 しかし、一般的に、実装の容易さと安定した運用はこれらの欠点をカバーします。



ソースはgithub.comで取得できます

追加します。 インファ

トピックに関する興味深い読書：

1. 開発者のサイトにある埋め込みオーディオアクセラレーションの標準 。
2. クロノスグループ株式会社 OpenSL ES仕様 。
3. Android NDK。 C / C ++でのAndroid向けのアプリケーション開発。
4. GG vorbis