STM32F7-DiscoveryのSIP電話

みなさんこんにちは。



しばらく前に、Emboxに基づいて1 MBのROMと192 KBのRAMを備えたSTM32F4-DiscoveryでSIP電話をどのように起動したかについて説明しました。 ここでは、そのバージョンは最小限であり、サーバーを使用せず、音声を一方向にのみ送信する2台の電話を直接接続したと言わなければなりません。 そのため、サーバーを介した通話、双方向の音声伝送を備えたより完全な電話を立ち上げることを決定しましたが、同時に可能な限り最小のメモリサイズを維持しました。





電話では、PJSIPライブラリの一部としてsimple_pjsuaアプリケーションを選択することが決定されました。 これは、サーバーに登録し、呼び出しを受信および応答できる最小限のアプリケーションです。 以下に、STM32F7-Discoveryでこれを実行する方法をすぐに説明します。

実行方法

1. Emboxの構成

   make confload-platform/pjsip/stm32f7cube
         
         
   
           
           
           
         
   
       
           
           
           
         
         
   
           
           
           
         
   
       
        

2. conf / mods.configファイルで、目的のSIPアカウントを設定します。
   
   
   
   

    include platform.pjsip.cmd.simple_pjsua_imported( sip_domain="server", sip_user="username", sip_passwd="password")
         
         
   
           
           
           
         
   
       
           
           
           
         
         
   
           
           
           
         
   
       
        

   
   
   serverはSIPサーバー（たとえば、sip.linphone.org）であり、 usernameとpasswordはアカウントのユーザー名とパスワードです。
   
   
3. makeコマンドでEmboxをビルドします。 wikiおよび記事にあるボードのファームウェアについて。
   
   
4. Emboxコンソールで「simple_pjsua_imported」コマンドを実行します
   
   
   
   

    00:00:12.870 pjsua_acc.c ....SIP outbound status for acc 0 is not active 00:00:12.884 pjsua_acc.c ....sip:alexk2222@sip.linphone.org: registration success, status=200 (Registration succes 00:00:12.911 pjsua_acc.c ....Keep-alive timer started for acc 0, destination:91.121.209.194:5060, interval:15s
         
         
   
           
           
           
         
   
       
           
           
           
         
         
   
           
           
           
         
   
       
        

   
   
   
5. 最後に、スピーカーまたはヘッドフォンをオーディオ出力に挿入し、ディスプレイの近くにある2つの小さなMEMSマイクと話します。 Linuxからsimple_pjsua、pjsuaアプリケーションを使用して呼び出します。 まあ、または、他の種類のlinphoneを使用できます。
   
   

これはすべて、 wikiで説明されています 。

どうやってこれに来たの？

そのため、最初はハードウェアプラットフォームの選択に関して疑問が生じました。 STM32F4-Discoveryがメモリに収まらないことが明らかだったため、STM32F7-Discoveryが選択されました。 彼女には1 MBのフラッシュドライブと256 KBのRAM（+ 64の特別な高速メモリ、これも使用します）があります。 また、サーバーを介した呼び出しについてはあまり多くありませんが、入ろうとすることにしました。



従来、タスクはいくつかの段階に分割されていました。

• QEMUでPJSIPを実行します。 デバッグには便利でしたが、AC97コーデックを既にサポートしていました。
• QEMUおよびSTM32での音声の録音と再生。
• PJSIP内からsimple_pjsuaアプリケーションを移植します。 SIPサーバーに登録して呼び出しを行うことができます。
• 独自のAsteriskベースのサーバーを展開してテストし、sip.linphone.orgなどの外部サーバーを試してください

EmboxのサウンドはPortaudioを介して機能します。PortaudioはPISIPでも使用されます。 QEMUで最初の問題が発生しました。WAVは44100 Hzで良好に再生されましたが、8000で明らかに問題が発生しました。 それは周波数を設定することの問題であることが判明しました-デフォルトでは機器の44100でしたが、これはプログラムによって変更されませんでした。



ここでは、一般的にサウンドがどのように再生されるかを少し説明する価値があります。 サウンドカードは、所定の周波数で再生または録音するメモリにポインタを設定できます。 バッファが終了すると、割り込みが生成され、次のバッファから実行が継続されます。 実際、これらのバッファは、前のバッファが再生される前に事前に満たされている必要があります。 この問題は、STM32F7でさらに発生します。



次に、サーバーをレンタルして、アスタリスクを展開しました。 多くのデバッグが必要でしたが、マイクに向かって話したくないため、自動再生と録音を行う必要がありました。 これを行うために、simple_pjsuaにパッチを適用して、オーディオデバイスの代わりにファイルをスリップできるようにしました。 PJSIPでは、これは非常に簡単に行われます。ポートの概念がデバイスまたはファイルのいずれかであるためです。 また、これらのポートは他のポートに柔軟に接続できます。 コードはpjsip リポジトリで確認できます 。 その結果、スキームは次のようになりました。 Asteriskサーバーで、Linux用とEmbox用の2つのアカウントを取得しました。 次に、 simple_pjsua_importedコマンドがEmboxで実行され、 Emboxがサーバーに登録されます。その後、LinuxからEmboxを呼び出します。 接続時に、アスタリスクサーバーで接続全体が確立されていることを確認します。しばらくすると、EmboxでLinuxから音が聞こえるはずです。Linuxでは、Emboxから再生されるファイルを保存します。



QEMUで機能した後、STM32F7-Discoveryへの移植に切り替えました。 最初の問題は、画像サイズに関して「-Os」コンパイラの最適化が含まれていないと、1 MB ROMに収まらなかったことです。 したがって、「-O」が含まれます。 さらに、パッチはC ++サポートをオフにしているため、pjsuaにのみ必要であり、simple_pjsuaを使用します。



simple_pjsuaをフィッティングした後、今ではそれを起動する機会があると判断しました。 しかし、最初に、音声の録音と再生に対処する必要がありました。 質問-どこに書くか？ 外部メモリ-SDRAM（128 MB）を選択しました。 自分で試すことができます：



周波数が16000 Hzで持続時間が10秒のステレオWAVを作成します。

 record -r 16000 -c 2 -d 10000 -m C0000000
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

負け：

 play -m C0000000
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

2つの問題がありました。 コーデックを備えた最初のものはWM8994であり、スロットなどの概念を持ち、これらのスロットは4です。したがって、デフォルトでは、これが設定されていない場合、オーディオを再生すると4つのスロットすべてで再生が行われます。 したがって、16000 Hzの周波数では8000 Hzを受信しましたが、8000 Hzの場合、再生は単に機能しませんでした。 スロット0と2のみが選択された場合、正常に機能しました。 もう1つの問題は、STM32Cubeのオーディオインターフェイスでした。オーディオ出力は、SAI（シリアルオーディオインターフェイス）を介してオーディオ入力と同期して動作します（詳細は理解できませんでしたが、共通のクロックを共有し、オーディオ出力が初期化されると、オーディオが何らかの方法で接続されます入力）。 つまり、それらを個別に起動することはできないため、次のことを行いました。オーディオ入力とオーディオ出力は常に機能します（割り込みを含む）。 しかし、システムで何も失われていない場合は、空のバッファをオーディオ出力に挿入するだけで、再生が開始されると、正直にそれを埋め始めます。



さらに、彼らは声を録音するときの音が非常に静かであるという事実に遭遇しました。 これは、STM32F7-Discovery上のMEMSマイクが16000 Hz未満の周波数で何らかの形でうまく機能しないためです。 したがって、8000 Hzが来ても、16000 Hzを設定します。 このため、真実は、ある周波数から別の周波数へのソフトウェア変換を追加することでした。



次に、RAMにあるヒープのサイズを増やす必要がありました。 見積もりによると、pjsipは約190 Kbを必要とし、約100 Kbしかありませんでした。 ここでは、少しの外部メモリ-SDRAM（約128 Kb）を使用する必要がありました。



これらすべての編集を行った後、LinuxとEmboxの間で最初のパッケージを見て、音が聞こえました！ しかし、音はひどいもので、QEMUのようではありませんでした。 それから私たちは何が問題になるのか考えました。 デバッグの結果、Emboxにはオーディオバッファを充填/アンロードする時間がないことがわかりました。 pjsipが1フレームを処理している間に、バッファー処理の完了前に2つの割り込みが発生しました。これは多すぎます。 高速化する最初の考えはコンパイラの最適化でしたが、すでにPJSIPに含まれていました。 2つ目はハードウェアの浮動小数点です。これについては記事で説明しました 。 しかし、実践が示しているように、FPUは速度を大幅に向上させることはありませんでした。 次のステップは、スレッドに優先順位を付けることでした。 Emboxにはさまざまなスケジューリング戦略があり、優先度をサポートし、オーディオストリームを最高の優先度に設定するものを含めました。 それも助けにはなりませんでした。



次は、外部メモリを使用して作業しているという考えでした。アクセスが非常に頻繁に行われる構造に移動するのは良いことです。 simple_pjsuaがメモリを割り当てるタイミングとその下の予備分析を行いました。 190 Kbのうち、最初の90 KbはPJSIPの内部ニーズに割り当てられており、あまり頻繁にアクセスされないことが判明しました。 次に、着信呼び出し中にpjsua_call_answer関数が呼び出されます。この関数では、着信フレームと発信フレームを処理するためにバッファーが割り当てられます。 約100 kbでした。 そして、ここでは次のように行動しました。 呼び出し時まで、データは外部メモリに保存されます。 呼び出し後すぐに-すぐにヒープ内のRAMを交換します。 したがって、すべての「ホット」データは、より高速で予測可能なメモリに転送されました。



その結果、これらすべてにより、 simple_pjsuaを起動し、サーバーを介して呼び出しを行うことができました。 そして、sip.linphone.orgなどの他のサーバーを介して。

結論

その結果、 simple_pjsuaを実行し、サーバーを介して両方向に音声を送信することが判明しました。 追加で消費された128 Kb SDRAMの問題は、わずかに強力なCortex-M7（たとえば、512 Kb RAMを備えたSTM32F769NI）を使用することで解決できますが、同時に256 Kbになる可能性はまだありません:) 、さらに良い-試してみてください。 いつものように、すべてのソースはリポジトリにあります 。