🚡 ♈️ 🤳🏿 Android NDK：OpenSL ES 🎪 🏳️ 🍮

こんにちは、親愛なるハラジテリ！

最近、ハブを読んでいるときに、 Android NDKとOpenALに関する記事を見ました。また、コメントでは、OpenSL ESについて質問がありました。それから、このライブラリに関する記事を書くというアイデアを思いつきました。 NDKのC ++で記述されたAndroidゲームにサウンドと音楽を追加する必要があるときに、このトピックを扱いました。記事は完全であると主張していません。基本だけがあります。

内容：

OpenSL ES構造の簡単な説明
ライブラリメカニズムの初期化とスピーカーを操作するためのオブジェクトの作成
PCMプレイ（wav）
MP3プレイ、OGG
おわりに

1.構造の簡単な説明

OpenSL ESでの作業は、C言語の擬似オブジェクト指向の構造に基づいています。プロジェクトがCで記述されている場合に使用されますが、オブジェクト指向のアプローチが必要です。一般に、擬似オブジェクト指向構造は、C ++のように、ただし明示的に、構造へのポインターを最初の引数として受け取る関数へのポインターを含む通常のC言語構造です。

OpenSL ESには、上記の2つの主なタイプの構造があります。

オブジェクト （SLObjectItf）は、特定の範囲のタスクを実行し、これらのリソースに関する情報を保存するように設計された一連のリソースの抽象化です。オブジェクトを作成すると、そのタイプが決定されます。これにより、ヘルプを使用して解決できるタスクの範囲が決定されます。オブジェクトはJava言語のオブジェクトに似ており、C ++のクラスのように考えることができます
インターフェイス （SLEngineItf、SLPlayItf、SLSeekItfなど）は、特定のオブジェクトによって提供される一連の相互に関連する機能の抽象化です。インターフェイスには、オブジェクトに対してアクションを実行するために使用される多くのメソッドが含まれています。インターフェイスは、そのインターフェイスでサポートされるメソッドの正確なリストを定義するタイプです。インターフェイスは識別子によって定義されます。この識別子は、インターフェイスの種類を参照するためにコードで使用できます。

簡単に言えば、リソースを割り当ててインターフェイスを取得するにはオブジェクトが必要であり、インターフェイスはオブジェクトの機能へのアクセスを提供します。 1つのオブジェクトに複数のインターフェイスを含めることができます。デバイスによっては、一部のインターフェイスが利用できない場合があります。しかし、私はこれに遭遇していません。

2.ライブラリメカニズムの初期化と、スピーカーを操作するためのオブジェクトの作成

OpenSL ESをAndroid NDKに接続するには、lOpenSLESフラグをAndroid.mkファイルのLOCAL_LDLIBSセクションに追加するだけです。

LOCAL_LDLIBS := /*...*/ -lOpenSLES

使用されるヘッダーファイル：

 #include <SLES/OpenSLES.h> #include <SLES/OpenSLES_Android.h>

OpenSL ESでの作業を開始するには、slCreateEngineを呼び出してOpenSL ESエンジンオブジェクト（SLObjectItf）を初期化し、SL_IID_ENGINEインターフェイスを使用して作業することを示す必要があります。これは、他のオブジェクトを作成できるようにするために必要です。このような呼び出しによって取得されたオブジェクトは、OpenSL ES APIにアクセスするための中心的なオブジェクトになります。次に、オブジェクトはRealize擬似メソッドを使用して実装する必要があります。これは、C ++のコンストラクターに類似しています。 Realizeの最初のパラメーターは、実装されているオブジェクト（これに類似）を示し、2番目はオブジェクトが非同期かどうかを示すasyncフラグです。

現在のAndroid NDK実装では、一般的に1つのライブラリエンジンと最大32個のオブジェクトを作成できます。ただし、オブジェクトを作成する操作は失敗する場合があります（たとえば、システムリソースの不足が原因）。

ライブラリエンジンの初期化

 SLObjectItf engineObj; const SLInterfaceID pIDs[1] = {SL_IID_ENGINE}; const SLboolean pIDsRequired[1] = {SL_TRUE}; SLresult result = slCreateEngine( &engineObj, /*   */ 0, /*     */ NULL, /*  , NULL,     */ 1, /* ,      */ pIDs, /* ID */ pIDsRequired /* , ,    .   SL_TRUE,    ,   ,    SL_RESULT_FEATURE_UNSUPPORTED*/ ); /* .   slCreateEngine   –   */ if(result != SL_RESULT_SUCCESS){ LOGE("Error after slCreateEngine"); return; } /* .      this*/ result = (*engineObj)->Realize(engineObj, SL_BOOLEAN_FALSE); //     /*      ,    */ if(result != SL_RESULT_SUCCESS){ LOGE("Error after Realize engineObj"); return; }

次に、SL_IID_ENGINEインターフェイスを取得する必要があります。このインターフェイスを使用して、スピーカー、音楽、サウンドなどにアクセスできます。

インターフェースSL_IID_ENGINEの取得

 SLEngineItf engine; result = (*engineObj)->GetInterface( engineObj, /*this*/ SL_IID_ENGINE, /*ID */ &engine /*  */ );

オブジェクトを扱う一般的なスキームについて少し説明しましょう。

目的のインターフェイスを指定してオブジェクトを取得します
(*obj)->Realize(obj, async);

呼び出して実装し(*obj)->Realize(obj, async);
(*obj)-> GetInterface (obj, ID, &itf);

呼び出して、必要なインターフェイスを取得します(*obj)-> GetInterface (obj, ID, &itf);
インターフェイスを操作する
(*obj)->Destroy(obj);

呼び出してオブジェクトを削除します(*obj)->Destroy(obj);

スピーカーを操作するには、engineObjオブジェクトのエンジンインターフェイスの擬似メソッドCreateOutputMixを使用してoutputMixObjオブジェクトを作成します（これは怖いだけなので、読者はオブジェクトとインターフェイスを区別できるようになります）。このオブジェクトは後で音声出力のために必要になります。

スピーカーを操作するためのオブジェクトを作成する

 SLObjectItf outputMixObj; const SLInterfaceID pOutputMixIDs[] = {}; const SLboolean pOutputMixRequired[] = {}; /* slCreateEngine()*/ result = (*engine)->CreateOutputMix(engine, &outputMixObj, 0, pOutputMixIDs, pOutputMixRequired); result = (*outputMixObj)->Realize(outputMixObj, SL_BOOLEAN_FALSE);

SLOutputMixItfは、音声出力デバイス（スピーカー、ヘッドフォン）を表すオブジェクトです。 OpenSL ES仕様は、利用可能なI / Oデバイスのリストを取得する機能を提供しますが、Android NDKの実装は十分に完了しておらず、デバイスのリストの取得や必要なデバイスの選択をサポートしていません（公式にはSLAudioIODeviceCapabilitiesItfがこれを対象としています）。

3. PCMの再生（wav）

簡単にするために、WAVヘッダーのデータは使用しないことをすぐに言わなければなりません。必要に応じて、このサポートを追加するのは簡単です。ここで、見出しはデータのサイズを正しく決定するためにのみ必要です。

PCMバッファーの使用

 struct WAVHeader{ char RIFF[4]; unsigned long ChunkSize; char WAVE[4]; char fmt[4]; unsigned long Subchunk1Size; unsigned short AudioFormat; unsigned short NumOfChan; unsigned long SamplesPerSec; unsigned long bytesPerSec; unsigned short blockAlign; unsigned short bitsPerSample; char Subchunk2ID[4]; unsigned long Subchunk2Size; }; struct SoundBuffer{ WAVHeader* header; char* buffer; int length; }; /*   PCM    AAssetManager:*/ SoundBuffer* loadSoundFile(const char* filename){ SoundBuffer* result = new SoundBuffer(); AAsset* asset = AAssetManager_open(assetManager, filename, AASSET_MODE_UNKNOWN); off_t length = AAsset_getLength(asset); result->length = length - sizeof(WAVHeader); result->header = new WAVHeader(); result->buffer = new char[result->length]; AAsset_read(asset, result->header, sizeof(WAVHeader)); AAsset_read(asset, result->buffer, result->length); AAsset_close(asset); return result; }

それでは、クイックバッファオーディオ出力を設定しましょう。このために、特別な拡張機能SLDataLocator_AndroidSimpleBufferQueueを使用します。また、音楽を再生するには、SLDataSourceとSLDataSinkの2つの構造を入力する必要があります。これらはそれぞれ、オーディオチャネルの入力と出力を記述しています。

バッファリングされたオーディオ出力設定

 /*,     CreateAudioPlayer()     */ SLDataLocator_AndroidSimpleBufferQueue locatorBufferQueue = {SL_DATALOCATOR_ANDROIDSIMPLEBUFFERQUEUE, 1}; /*   */ /*,      wav*/ SLDataFormat_PCM formatPCM = { SL_DATAFORMAT_PCM, 1, SL_SAMPLINGRATE_44_1, SL_PCMSAMPLEFORMAT_FIXED_16, SL_PCMSAMPLEFORMAT_FIXED_16, SL_SPEAKER_FRONT_CENTER, SL_BYTEORDER_LITTLEENDIAN }; SLDataSource audioSrc = {&locatorBufferQueue, &formatPCM}; SLDataLocator_OutputMix locatorOutMix = {SL_DATALOCATOR_OUTPUTMIX, outputMixObj}; SLDataSink audioSnk = {&locatorOutMix, NULL}; const SLInterfaceID pIDs[1] = {SL_IID_BUFFERQUEUE}; const SLboolean pIDsRequired[1] = {SL_BOOLEAN_TRUE }; /* */ result = (*engine)->CreateAudioPlayer(engine, &playerObj, &audioSrc, &audioSnk, 1, pIDs, pIDsRequired); result = (*playerObj)->Realize(playerObj, SL_BOOLEAN_FALSE);

Android NDKでのOpenSL ESの実装は厳密ではありません。一部のインターフェイスが指定されていない場合、これは取得できないという意味ではありません。 しかし、それをしない方が良いです 。自分の上にSL_IID_PLAYインターフェイスを示します。

 SLPlayItf player; result = (*playerObj)->GetInterface(playerObj, SL_IID_PLAY, &player); SLBufferQueueItf bufferQueue; result = (*playerObj)->GetInterface(playerObj, SL_IID_BUFFERQUEUE, &bufferQueue); result = (*player)->SetPlayState(player, SL_PLAYSTATE_PLAYING);

SL_IID_PLAYおよびSL_IID_BUFFERQUEUEに加えて、次のような他のインターフェイスをリクエストできます。

ボリュームコントロール用のSL_IID_VOLUME
チャネル管理用のSL_IID_MUTESOLO（マルチチャネルオーディオのみの場合、これはSLDataFormat_PCM構造体のnumChannelsフィールドに示されます）。
エフェクトを重ね合わせるためのSL_IID_EFFECTSEND（仕様による-リバーブ効果のみ）

など

(*player)->SetPlayState(player, SL_PLAYSTATE_PLAYING);

新しく作成されたプレーヤーをオンにします。キューが空の間、無音のみが聞こえます。音をキューに入れましょう。

キューにサウンドを追加する

 SoundBuffer* sound = loadSoundFile("mySound.wav"); (*soundsBufferQueue)->Clear(bufferQueue); /*   ,   - .  ,  ,     */ (*soundsBufferQueue)->Enqueue(bufferQueue, sound->buffer, sound->length); /*     SoundBuffer,     */

それだけです、最も単純なwavプレーヤーは準備ができています。

仕様にもかかわらず、Android NDKはPCM以外の形式の音楽のバッファー出力をサポートしていないことに注意してください。

4. MP3再生、OGG

上記のスキームは、長い音楽ファイルの再生には適していません。まず、長いwavファイルの重量が非常に大きくなるためです。 MP3またはOGGを使用することをお勧めします。 OpenSL ESは、すぐに使用できるストリーミングファイルをサポートしています。バッファリングされた出力との違いは、音楽ファイルごとに個別のプレーヤーオブジェクトを作成する必要があることです。このプレーヤーの再生中にファイルを変更することはできません。

音楽を再生する準備をします。

ファイル復号化ツールを使用する

 struct ResourseDescriptor{ int32_t decriptor; off_t start; off_t length; }; /*  AAssetManager*/ ResourseDescriptor loadResourceDescriptor(const char* path){ AAsset* asset = AAssetManager_open(assetManager, path, AASSET_MODE_UNKNOWN); ResourseDescriptor resourceDescriptor; resourceDescriptor.decriptor = AAsset_openFileDescriptor(asset, &resourceDescriptor.start, &resourceDescriptor.length); AAsset_close(asset); return resourceDescriptor; }

次に、SLDataSourceとSLDataSinkを再度入力します。そして、オーディオプレーヤーを作成します。

プレイヤー作成

 ResourseDescriptor resourceDescriptor = loadResourceDescriptor("myMusic.mp3"); SLDataLocator_AndroidFD locatorIn = { SL_DATALOCATOR_ANDROIDFD, resourseDescriptor.decriptor, resourseDescriptor.start, resourseDescriptor.length } SLDataFormat_MIME dataFormat = { SL_DATAFORMAT_MIME, NULL, SL_CONTAINERTYPE_UNSPECIFIED }; SLDataSource audioSrc = {&locatorIn, &dataFormat}; SLDataLocator_OutputMix dataLocatorOut = { SL_DATALOCATOR_OUTPUTMIX, outputMixObj }; SLDataSink audioSnk = {&dataLocatorOut, NULL}; const SLInterfaceID pIDs[2] = {SL_IID_PLAY, SL_IID_SEEK}; const SLboolean pIDsRequired[2] = {SL_BOOLEAN_TRUE, SL_BOOLEAN_TRUE}; SLObjectItf playerObj; SLresult result = (*engine)->CreateAudioPlayer(engine, &playerObj, &audioSrc, &audioSnk, 2, pIDs, pIDsRequired); result = (*playerObj)->Realize(playerObj, SL_BOOLEAN_FALSE);

ソースデータを記述するために、MIMEタイプを使用します。これにより、ファイルタイプが自動検出されます。

次に、インターフェイスSL_IID_PLAYおよびSL_IID_SEEKを取得します。後者は、ファイル内の再生位置とループを変更するために必要です。再生状態と速度に関係なく使用できます。

インターフェイスの取得

 SLPlayItf player; result = (*playerObj)->GetInterface(playerObj, SL_IID_PLAY, &player); SLSeekItf seek; result = (*playerObj)->GetInterface(playerObj, SL_IID_SEEK, &seek); (*seek)->SetLoop( seek, SL_BOOLEAN_TRUE, /* */ 0, /*   (0 )*/ SL_TIME_UNKNOWN /*  */ ); (*player)->SetPlayState(player, SL_PLAYSTATE_PLAYING);

理論的には、ループメカニズムはゲームのバックグラウンドミュージックの設定に便利です。実際には、作曲の終了から開始までの間に0.5〜1.0秒が経過します（聴覚の時間、さまざまなデバイスに浮かぶ）。バックグラウンドミュージックの途中と終わりをスムーズにフェードさせることで、これを克服しました。 T.O. ギャップは見えません。

仕様によれば、さまざまなコールバックをSLPlayItfインターフェースでハングさせることができます。 Androidでは、NDK機能はサポートされていません（メソッドはSL_RESULT_SUCCESSを返しますが、コールバックは機能しません）。

プレーヤーを停止または一時停止するには、SLPlayItfインターフェイスのSetPlayStateメソッドを使用し、値SL_PLAYSTATE_STOPPEDまたはSL_PLAYSTATE_PAUSEDをそれぞれ使用できます。 GetPlayStateメソッドは同じ値を返し、プレーヤーの状態を調べます。

5.結論

OpenSL ES APIは非常に豊富で、サウンドの再生に加えて、録音することができます。ここでは、サウンドレコーディングについては触れませんが、それは非常にうまく機能していると言うだけです。データを取得するには、バッファキューが使用されます。データはPCM形式です。

ライブラリは、クロスプラットフォーム開発で使用するのが困難です。多くの機能は、Android専用のメソッドによって実装されます。それにもかかわらず、私には非常に快適に思えました。

短所では、無料の実装が見られ、仕様からの多くのものはサポートされていません。さらに、このAPIはAndroid SDKで使用可能なAPIよりも高速ではありません。

文学

シルヴァンレタブイル。 Android NDK。 C / C ++でのAndroid向けのアプリケーション開発。
クロノスグループ株式会社 OpenSL ES仕様。

優れた、より完全なコード例は、標準のAndroid NDK（NativeAudioプロジェクト）にあります。

Android NDK全般、特にOpenSL ESを使用する必要性についての質問を予想して、すぐに回答します。 Android NDKは、有名なゲーム開発会社のテストタスクの条件に必要でした（ハブでのコンテストがありました）。後にそれは私にとって挑戦になりました。仕事を美しく仕上げることはできますか。スモッグ。 OpenSL ESは気まぐれに選択しました私は彼やOpenALと一緒に仕事をした経験がありませんでした。そのため、Javaでの描画呼び出しはanい解決策だと考えました。

Android NDK：OpenSL ES

1.構造の簡単な説明

2.ライブラリメカニズムの初期化と、スピーカーを操作するためのオブジェクトの作成

3. PCMの再生（wav）

4. MP3再生、OGG

5.結論

文学

More articles: