アスタリスク+ UniMRCP + VoiceNavigator。 アスタリスクの音声合成と認識。 パート1

パート2

パート3

パート4



アスタリスクに対するコミュニティの関心が高まったことを考えると、私は貢献し、合成と音声認識を使用した音声メニューの構築について話し合うことにしました。



この記事は、アスタリスクでIVRを構築した経験があり、音声セルフサービスシステムを理解している専門家を対象としています。



GHS（音声セルフサービスシステム）は、音声アプリケーションを作成する機能を大幅に拡張し、ユーザーがオペレーターの介入なしに情報を受信し、サービスを個別に注文できるようにします。 これには、通話のルーティング、フライトスケジュールに関する情報の要求と発行、銀行口座の状態、タクシーの注文、医師との予約などがあります。

認識により、DTMFを使用して作成された線形メニューを放棄し、人間の言語でシステムと会話し、複数の選択肢を持つメニューを簡単に作成できます。

合成は、動的に変化する情報と大量のテキストデータを使用して作業を大幅に簡素化します。









以下では、アスタリスクとVoiceNavigatorの統合について説明します 。 私はそれを開発し、とりわけ小さなプラットフォーム（Asterisk、FreeSWITCH）とのサポートと統合に携わっている会社の従業員です。 私は解決策が支払われていると言わなければなりません。 ロシア語の音声の合成と認識のための実際に機能するオープンソースアプリケーションはありません。

アスタリスクでのロシア語音声の合成と認識

合成および認識機能を実装するための業界標準は、 MRCPプロトコルの使用です。



アスタリスクはこれにUniMRCPライブラリを使用します。

UniMRCPは、MRCPクライアントとMRCPサーバーの機能を実装するために必要なツールを含む、オープンソースのクロスプラットフォームソフトウェアです。

このプロジェクトはゆっくりと開発されており、私が知る限り、これは今日のMRCPプロトコルで作業するための唯一のオープンソースソリューションです。 アスタリスク（1.4以降のすべてのバージョン）およびFreeSWITCHをサポートします。

VoiceNavigator

VoiceNavigatorは、別のWindowsマシンにインストールされるソフトウェアパッケージであり、MRCPプロトコルを使用して合成および認識エンジンへのアクセスを提供します。

これには、STC MRCPサーバー、STC TTS音声合成スイート、およびSTC ASR音声認識スイートが含まれます。

MRCPサーバー

MRCPサーバーは、使用される音声プラットフォームとASRおよびTTSとの間の相互作用を制御します。 STC MRCPサーバーは、アスタリスク、FreeSWITCH、Avaya Voice Portal、Genesys Voice Platform、Cisco Unified CCX、Siemens OpenScapeの音声プラットフォームをサポートしています。



MRCP要求は、 RTSPプロトコルコマンドによって送信されます。

オーディオデータを送信するために、 RTPプロトコルが使用されます。

MRCPサーバーを介した音声プラットフォームは、音声認識および合成モジュールへのアクセスを要求します。これに応じて、さまざまな相互作用スキームが使用されます。

ASR

ASRモジュールは音声認識を扱います。 ASRの重要な概念はSRGS文法です。

SRGS （音声認識文法仕様）は、音声認識で使用される文法の構造を記述する標準です。 SRGSを使用すると、音声エンジンで認識できる単語またはフレーズを指定できます。

文法の作成は別の科学であり、興味があれば、別の記事を書く準備ができています。

Tts

TTSモジュールは、音声合成アプリケーションで使用するために、XMLに基づく音声合成マークアップ言語（XML）を使用します。

合成はタグによって制御されます。 彼らの助けを借りて、発音の決定、イントネーションの制御、速度、音量、ポーズの長さ、読書ルールなどを行うことができます。

MDGからの音声合成の例はここにありますvitalvoice.ru/demo

作業スキーム

コールが音声プラットフォームに到着します。

音声プラットフォームは、音声メニュースクリプトをアクティブにし、それに応じて加入者とのさらなる対話が行われます。

音声メニューのシナリオは、システムが加入者への指示をいつ読むべきか、質問をし、回答を処理する方法を決定します。

VoiceNavigatorは、音声プラットフォームから音声認識および音声合成要求を受信して​​実行し、 MRCPプロトコルを使用して実行結果を返します。

音声認識では、音声プラットフォームはSRGS文法とデジタル化された音声を送信し、 NLSMLの形式で回答を受信します。

音声合成では、音声プラットフォームはプレーンテキストまたはSSMLを送信し、それに応じて合成音声を受信します。

UniMRCPをインストールして構成する

実用的な部分に移りましょう。

以下では、Asterisk CentOSのネイティブでのUniMRCPのインストールについて説明します。 他のOSにインストールする場合、わずかな違いがある場合があります。



公式サイトからuni-ast-package-0.3.2の最新バージョンをダウンロードします。

パッケージに含まれるもの：

• アスタリスクバージョン1.6.2.9-このバージョンでの動作は、UniMRCP開発者によって検証されています。

• アスタリスク-UniMRCP-ブリッジ 0.1.0-アスタリスクとUniMRCPモジュールをペアリングするためのブリッジ。

• UniMRCP-モジュールUniMRCP 1.0.0。

• APR -Apache Portable Runtime 1.4.2。

• APR-Util -Apacheポータブルランタイムユーティリティライブラリ1.3.9。

• Sofia-SIP -SIPユーザーエージェントライブラリ12.1.10。



インストールには、autoconf、libtool、gcc、pkg-configが必要です。

解凍すると、フォルダーのルートに3つのスクリプトが表示されます。

ast-install.sh-システムにインストールされていない場合に出荷されるアスタリスクをインストールします。

uni-install.sh-UniMRCPをインストールします

connector-install.sh-アスタリスクとUniMRCPの間のブリッジをインストールします。



これらをこの順序で起動し（アスタリスクがインストールされている場合-ast-install.shは必要ありません）、すべての質問に肯定的に答えます。

すべてがエラーなくインストールされていることがわかります。

私の経験では、依存関係が満たされていない場合にのみエラーが発生します。 Asteriskが以前にソースからビルドされていた場合、すべての依存関係はすでに満たされているはずであり、インストールは迅速かつ簡単になります。



インストール後、Asteriskには2つの新しいモジュールres_speech_unimrcp.soおよびapp_unimrcp.soがあり、ダイヤルプランにはMRCPSynthおよびMRCPRecogコマンドが追加されました。 アスタリスクコンソールに入力して、インストールを確認できます。

*CLI> module show like mrcp

Module Description Use Count

res_speech_unimrcp.so UniMRCP Speech Engine 0

app_unimrcp.so MRCP suite of applications 0

2 modules loaded







合成および認識リソースを使用するには、それらを接続する必要があります。 ファイル/etc/asterisk/mrcp.confは、MRCPサーバーへの接続に使用されます。 その内容を編集するか、次の内容に置き換えることができます（最も重要なパラメーターを説明するためにコメントが追加されています）。

[general]

; ASR TTS, .

; MRCP-

default-asr-profile = vn-internal

default-tts-profile = vn-internal

; UniMRCP logging level to appear in Asterisk logs. Options are:

; EMERGENCY|ALERT|CRITICAL|ERROR|WARNING|NOTICE|INFO|DEBUG -->

log-level = DEBUG

max-connection-count = 100

offer-new-connection = 1

; rx-buffer-size = 1024

; tx-buffer-size = 1024

; request-timeout = 60



;

[vn-internal]

; +++ MRCP settings +++

; MRCP-

version = 1

;

; +++ RTSP +++

; === RSTP settings ===

; MRCP-

server-ip = 192.168.2.106



;, VoiceNavigator

server-port = 8000

; force-destination = 1



; MRCP-

;( VoiceNavigator – )

resource-location =



; VoiceNavigator

speechsynth = tts

speechrecog = asr

;

; +++ RTP +++

; === RTP factory ===

;IP- , Asterisk RTP-.

rtp-ip = 192.168.2.104

; rtp-ext-ip = auto



; RTP-

rtp-port-min = 32768

rtp-port-max = 32888

; === RTP settings ===

; --- Jitter buffer settings ---

playout-delay = 50

; min-playout-delay = 20

max-playout-delay = 200

; --- RTP settings ---

ptime = 20

codecs = PCMU PCMA L16/96/8000

; --- RTCP settings ---

rtcp = 1

rtcp-bye = 2

rtcp-tx-interval = 5000

rtcp-rx-resolution = 1000







Asteriskを再起動すると、プロファイルがアクティブになり、システムが動作して最初の音声アプリケーションを作成する準備が整います。



前述のように、アスタリスクはapp_unimrcp.soライブラリのMRCPSynthおよびMRCPRecog関数を使用して動作します。

MRCPSynth

MRCPSynth関数の形式は次のとおりです。

MRCPSynth（テキスト、オプション）、ここで

text-合成用テキスト（text \ SSML）、

オプション -合成パラメーター。



合成パラメーター：

p -mrcp.confファイルに含まれる合成リソースへの接続プロファイル

i-数字、電話のどれをクリックすると、合成が中断されます

f-合成音声を記録するためのファイルの名前（記録は生で行われ、パラメータまたはファイル名が指定されていない場合、記録は実行されません）

v- 「Mary8000」など、合成する必要がある音声。

機能を使用したダイヤルプランの例

平文：

 exten => 7577,n,MRCPSynth(    )
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

SSML：

 exten => 7577,MRCPSynth(<?xml version=\"1.0\"?><speak version=\"1.0\" xml:lang=\"ru-ru\" xmlns=\"http://www.w3.org/2001/10/synthesis\"><voice name=\"8000\">    .</voice></speak>)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

平文よりもSSMLを使用する利点は、さまざまなタグ（音声、音声の速度と表現力、一時停止、テキストの解釈など）を使用できることです。

MRCPRecog

MRCPRecog関数の形式は次のとおりです。

MRCPRecog（文法、オプション）、ここで

grammar-文法（URL \ SRGS）、httpサーバー上にあるファイルへのリンクまたは関数本体で直接指定されます。

オプション -認識オプション。



認識オプション：

p -mrcp.confファイルに含まれる認識リソースへの接続プロファイル

i-認識が中断されるDTMFコードの数字。

値が「any」または他の文字の場合、受信時に認識が中断され、文字がダイヤル計画に返されます。

f-招待として再生するファイルの名前

b-再生ファイルを中断する機能（割り込みモード）および認識を開始する機能（中断することはできません= 0、中断することができ、音声検出はASRエンジン= 1によって実行され、中断することができ、音声検出はアスタリスク= 2によって実行されます）

t-認識が開始され、単一の認識オプションがない場合、認識システムが認識タイムアウト（003）コードで認識手順を中断できる時間。 値は、[0..MAXTIMEOUT]の範囲でミリ秒単位で指定されます。

ct-自信を持って認識されるしきい値（0.0-1.0）。

認識中に返される信頼レベルが信頼しきい値より低い場合、認識の結果は一致しません。

sl-非辞書コマンドに対する感度。 （0.0-1.0）。 値が大きいほど、ノイズに対する感度が高くなります。

nb-返される認識結果の数を定義します。 N個の認識結果が返されますが、信頼レベルは信頼しきい値を超えています。 デフォルト値= 1。

nit-認識が開始され、音声が見つからなかった場合、認識システムがコードno-input-timeout（002）で認識手順を中断できる時間。 値は、[0..MAXTIMEOUT]の範囲でミリ秒単位で指定されます。

機能を使用したダイヤルプランの例

関数本体で文法を設定する：

 exten => 7577,n,MRCPRecog(<?xml version=\"1.0\"?><grammar xmlns=\"http://www.w3.org/2001/06/grammar\" xml:lang=\"ru-ru\" version=\"1.0\" mode=\"voice\" root=\"test\"><rule id=\"test\"><one-of><item></item><item></item><item></item><item></item><item></item><item></item><item></item><item></item><item></item></one-of></rule></grammar>,f=hello&b=1)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

文法リファレンス：

 exten => 7577,n,MRCPRecog(http://192.168.1.1/digits.xml,f=hello&b=1)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

パラメータf = hello＆b = 1は、サウンドファイルのスコアリングを提供します。たとえば、「1〜100の数字を話す」などです。これは、割り込みを使用して中断できます。 メッセージを最後まで聞かずに会話を開始して、認識プロセスを開始します。



認識結果は、変数$ {RECOG_RESULT}でNLSMLとしてアスタリスクに返されます。

回答例：

 <?xml version="1.0"?><result grammar="C:\Documents and Settings\All Users\Application Data\Speech Technology Center\Voice Digger\temp\e856d208-7794-43b0-bb89-01947e37e655.slf"><interpretation confidence="90" grammar="C:\Documents and Settings\All Users\Application Data\Speech Technology Center\Voice Digger\temp\e856d208-7794-43b0-bb89-01947e37e655.slf"><input mode="speech" confidence="90" timestamp-start="2011-07-04T0-00-00" timestamp-stop="2011-07-04T0-00-00"></input><instance confidence="90"><SWI_literal></SWI_literal><SWI_grammarName>C:\Documents and Settings\All Users\Application Data\Speech Technology Center\Voice Digger\temp\e856d208-7794-43b0-bb89-01947e37e655.slf</SWI_grammarName><SWI_meaning>8</SWI_meaning></instance></interpretation></result>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

この結論で最も重要なパラメーターは次のとおりです。

認識結果=「8」

信頼レベル= 90

セマンティックタグ：8



初期段階では、REGEXを使用してアプリケーションロジックを構築できます。たとえば、

 exten => 8800,5,GotoIf(${REGEX("" ${RECOG_RESULT})}?100:10)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

より正しいのは、NLSMLパーサーの使用です。

VoiceNavigatorに付属のパーサーは、PerlのAGIスクリプトです。 変数exten => s、n、AGI（NLSML.agi、$ {QUOTE（$ {RECOG_RESULT}）}）の値を渡すことができ、その結果変数$ {RECOG_UTR0} = 8、$ {RECOG_INT0} = 8、$ { RECOG_CNF0} = 90。

数字の簡単な音声認識アプリケーションの例

 exten => 7577,1,Answer exten => 7577,n,MRCPSynth(     .   ) exten => 7577,n,MRCPRecog(<?xml version=\"1.0\"?><grammar xmlns=\"http://www.w3.org/2001/06/grammar\" xml:lang=\"ru-ru\" version=\"1.0\" mode=\"voice\" root=\"test\"><rule id=\"test\"><one-of><item></item><item></item><item></item></one-of></rule></grammar>,f=beep&b=1) exten => 7577,n,GotoIf(${REGEX("" ${RECOG_RESULT})}?one:if_2) exten => 7577,n(if_2),GotoIf(${REGEX("" ${RECOG_RESULT})}?two:if_3) exten => 7577,n(if_3),GotoIf(${REGEX("" ${RECOG_RESULT})}?three:error) exten => 7577,n(one),MRCPSynth(   ) exten => 7577,n,Hangup exten => 7577,n(two),MRCPSynth(   ) exten => 7577,n,Hangup exten => 7577,n(three),MRCPSynth(   ) exten => 7577,n,Hangup exten => 7577,n(error),MRCPSynth(    ) exten => 7577,n,Hangup
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

次のシリーズでは、使用される合成タグと認識文法の構築について詳しく説明します。



質問やコメントを待っています。