統合のために、クローズドソースでオープンAPIを使用した音声認識に最適なオーディオシステムを見つける

導入する代わりに

レポートを少し補足することにしましたが、それはまだ学生でした。 時間が経ち、彼らが言うように、進歩は止まっていない。 音声認識技術は動的に開発されています。 何かが現れ、何かが消えます。 開発者がライセンス契約に基づいて製品で使用できる最も有名な音声エンジンに注目します。 私はコメントや追加を喜んでいます。

内容：

1. 指定されたクラスの画像上に目立つオブジェクトを構築するのに最適な色空間の検索と分析

2. 分類の主要な特徴の定義と、表情の数学的モデルの開発

3. 最適な顔認識アルゴリズムの合成

4. 顔認識アルゴリズムの実装とテスト

5. さまざまな状態のユーザーの唇の画像のテストデータベースを作成して、システムの精度を向上させる

6. オープンソースの音声認識に基づいて最適な音声認識システムを検索する

7. 統合のためのオープンAPIを備えた最適なクローズドソースオーディオ音声認識システムを検索する

8. テストレポートを使用して、ビデオ拡張機能を音声認識システムに統合する実験

目的：

クローズドソースコード、つまりオープンソースソフトウェアの定義に適合しないライセンスに基づいて、最適な音声認識システム（音声エンジン）を決定します。

タスク：

クローズドソースの概念に該当する音声認識オーディオシステムを特定します。 この操作用のオープンAPIを備えた最適な音声ライブラリにビデオモジュールを統合する見込みがあるため、音声をテキストに変換する音声システムの最もよく知られているバージョンを検討してください。 私たちの目標と目的のために、クローズドソースコードに基づいて音声認識オーディオシステムを使用することの妥当性について結論を導きます。

はじめに

独自の音声認識システムの実装は、非常に複雑で時間とリソースを消費するタスクであり、この作業のフレームワーク内で達成することは困難です。 したがって、提示されたビデオ識別技術を、このための特別な機能を持つ音声認識システムに統合することが提案されています。 クローズドソースの音声認識システムはより効率的に実装され、その中の音声認識の精度がより高いため、ビデオ開発の作業への統合は、オープンソースの音声音声認識システムと比較して、より有望な方向と見なされるべきです。 ただし、クローズドソースコードを使用した音声認識システムには、サードパーティのソリューションを仕事に統合するための適切なドキュメントがないことが多い、またはこの方向が支払われているという事実を念頭に置く必要があります。 。

クローズドソース（独自のソフトウェア）

クローズドソースコードの定義に関しては、プログラムのバイナリ（コンパイル済み）バージョンのみが配布され、ライセンスはプログラムのソースコードへのアクセスの欠如を意味し、プログラムの変更を作成することを困難にすることを意味していると言わなければなりません。 ソースコードへのサードパーティのアクセスは、通常、秘密保持契約への署名時に許可されます。 [1]。

クローズドソースソフトウェアは、専有（専有）ソフトウェアです。 ただし、「クローズドソース」というフレーズはさまざまな方法で解釈できることに注意してください。 それは、プログラムのソースコードが利用できないライセンスを意味する場合があるためです。 ただし、これをオープンソースの反意語と見なすと、オープンソースライセンスの定義に適合しないソフトウェアを指します。これはわずかに異なる意味を持っています。 これらの論争の的となっている問題の1つは、アプリケーションプログラミングインターフェイスの概念の解釈方法でした。

アプリケーションプログラミングインターフェイス（API）

2004年3月24日以来、クローズドソースプログラムに関する欧州委員会の決定に基づき、訴訟の結果、アプリケーションプログラミングインターフェイスまたはアプリケーションプログラミングインターフェイス（英語-アプリケーションプログラミングインターフェイス）を表すAPI定義が登場しました。 API-外部ソフトウェア製品で使用するためにアプリケーション（ライブラリ、サービス）によって提供される既製のクラス、プロシージャ、関数、構造、および定数のセット。 プログラマーがあらゆる種類のアプリケーションを作成するために使用します。

APIは、プログラム（モジュール、ライブラリ）が提供する機能を定義しますが、APIを使用すると、この機能がどのように実装されているかを抽象化できます。

プログラム（モジュール、ライブラリ）がブラックボックスと見なされる場合、APIはこのボックスのユーザーが利用できる多くの「ハンドル」であり、彼はそれをひねってプルすることができます。

ソフトウェアコンポーネントは、APIを介して相互に通信します。 この場合、通常、コンポーネントは階層を形成します。高レベルのコンポーネントは低レベルのコンポーネントのAPIを使用し、それらはさらに低レベルのコンポーネントのAPIを使用します。

この原則に従って、インターネット上でデータを送信するためのプロトコルが構築されます。 標準プロトコルスタック（OSIネットワークモデル）には、7レベル（ビット転送の物理層から、HTTPおよびIMAPプロトコルと同様のアプリケーションプロトコルのレベルまで）が含まれています。 各レベルは、前のレベルのデータ転送の機能を使用し、必要な機能を次のレベルに提供します。

プロトコルの概念の意味はAPIの概念に近いことに注意することが重要です。 両方とも機能の抽象化であり、最初の場合はデータ転送について、2番目の場合はアプリケーションの相互作用についてのみです。 [2]。

Dragon Mobile SDK

ツールキット自体はNDEVと呼ばれます。 必要なコードとドキュメントを入手するには、「協力プログラム」のサイトに登録する必要があります。 ウェブサイト：

dragonmobile.nuancemobiledeveloper.com/public/index.php [5]。

Toolkit（SDK）には、クライアントコンポーネントとサーバーコンポーネントの両方が含まれています。 図は、トップレベルでの相互作用を示しています。



図 1. Dragon Mobile SDKテクノロジーの仕組み



Dragon Mobile SDKは、さまざまなコードサンプルとプロジェクトテンプレート、ドキュメント、および音声サービスのあらゆるアプリケーションへの統合を簡素化するソフトウェアプラットフォーム（フレームワーク）で構成されています。



Speech Kitフレームワークを使用すると、音声認識および合成（TTS、Text-to-Speech）サービスをアプリケーションに簡単かつ迅速に追加できます。 このプラットフォームは、非同期の「クリーンな」ネットワークAPIを介してサーバー上にある音声処理コンポーネントへのアクセスも提供し、オーバーヘッドとリソース消費を最小限に抑えます。



Speech Kitプラットフォームは、すべての低レベルサービスを自動的に管理するフル機能の高レベル「フレームワーク」です。



図 2.アーキテクチャスピーチキット



プラットフォームは、いくつかの調整されたプロセスを実行します。

1.録音と再生のためにオーディオシステムを完全に制御します。

2.ネットワークコンポーネントはサーバーへの接続を管理し、新しいリクエストごとにタイムアウトした接続を自動的に復元します

3.音声終了検出器は、ユーザーが発言を終了したことを検出し、必要に応じて録音を自動的に停止します

4.エンコードコンポーネントは、ストリーミングオーディオ録音を圧縮および解凍し、帯域幅要件を減らし、平均遅延時間を減らします。



サーバーシステムは、音声処理サイクルに関係するほとんどの操作を担当します。 音声認識または音声合成のプロセスは、サーバー上で完全に実行され、音声ストリームを処理または合成します。 さらに、サーバーは開発者の構成に従って認証します。



Speech Kitプラットフォームはネットワークサービスであり、音声認識または音声合成クラスを使用する前にいくつかの基本設定が必要です。



このインストールは、2つの基本操作を実行します。

まず、アプリケーションを識別して承認します。

次に、音声サーバーとの接続を確立します。これにより、音声処理の迅速な要求が可能になり、ユーザーサービスの品質が向上します。

音声認識

認識テクノロジーにより、ユーザーは通常テキスト入力が必要な場所で入力する代わりに口述することができます。 音声認識エンジンは、テキスト結果のリストを提供します。 いかなる方法でもユーザーインターフェイス（UI）オブジェクトに関連付けられていないため、最適な結果の選択と代替結果の選択は、各アプリケーションのユーザーインターフェイスの裁量にとどまります。





図 3.音声認識プロセス



Android OSでのアプリケーションの作業で、Dragon Mobile SDKのソリューションを統合することができました。 音声認識業界の先駆者は、特に英語で優れた結果を示しています。 ただし、制限付きの無料機能は最大の欠点と見なされる必要があります。1日あたりのリクエストは1万件のみで、すぐにアプリケーションが機能するには不十分になりました。 アクセスは有料です 。

Google Speech Recognition API

図 4. Google Voice Searchのロゴ



これは、音声認識テクノロジーを使用して音声検索を入力できるGoogle製品です。 この技術は携帯電話やコンピューターに統合されており、音声を使用して情報を入力できます。 2011年6月14日以降、Googleは音声検索エンジンのGoogle検索への統合を発表し、それ以来、安定モードで動作しています。 パーソナルコンピューター上のこのテクノロジーは、Google Chromeブラウザーでのみサポートされています。 この機能は、dev-channelアセンブリではデフォルトで有効になっていますが、コマンドフラグを追加することで手動で有効にできます。 Androidフォンで音声コマンドを入力するための音声制御機能もあります。



最初は、Google Voice Search-長さ35〜40ワードの短い検索クエリをサポートしていました。 リクエストを送信するには、マイクのオンとオフを切り替える必要がありましたが、使用するには非常に不自然でした（このような機能はまだGoogle検索バーに残っていたので、マイクをクリックするだけです）。 ただし、2013年2月末に、Chromeブラウザーに連続音声認識機能が追加され、実際にGoogle Voice Searchが音声入力に変換されました（ Google Translateでの入力例を使用してテクノロジーを試すことができます）。 この技術は、たとえばここでも実験的にテストできます 。 ここで完全なドキュメントをお読みください 。 以前に多くの開発者がさまざまなトリックを不正に使用してGoogle Speech API認識チャネルに侵入したことで罪を犯した場合、2014年5月以降頻繁にAPIが変更されると、APIにアクセスするプロセスが実際に有効になります。音声認識システムのデータを取得するには、 Google Developersにアカウントを登録するだけで十分です。その後、法的分野の枠組み内でシステムを操作できます。



デフォルトの音声検索には、Google、Wikipedia、YouTube、Bing、Yahoo、DuckDuckGo、Wolfram | Alphaなどのサービスが付属しています。 独自の検索エンジンを追加することもできます。 この拡張機能は、HTML5検索フォームを使用するすべてのサイトに音声入力ボタンも追加します。 拡張機能を動作させるにはマイクが必要です。 音声入力は非常に実験的なものであるため、機能しなくても驚かないでください。 [3]。



これを行うには、Google Voice Searchテクノロジーを使用するために、以下を実行する必要があります。

FLACまたはSpeex形式の音声データを使用して、 アドレスに POSTリクエストを行う必要があります （現在は頻繁に変更されます。たとえば、5月に3つの変更があり、そのために準備する必要があります）。 C＃を使用したWAVEファイルの認識のデモを実装しました。 1日あたりのクエリ制限の数は気付きませんでした。 他の多くの音声認識システムと同様に、10,000文字にはリスクがありましたが、このような値を実験的に証明しており、毎日克服できます。



このテクノロジーがどのように機能するかについては特に触れません。 Habrを含む多くの記事がネットワーク上で利用可能です。 音声認識システムの動作原理は、Nuanceの例に関する上記の段落で説明したものとほぼ同じであることに注意してください。

Yandexスピーチキット

図 5. Yandex Speech Kitロゴ



私はこのライブラリを個人的に使用していなかったことがすぐにわかります。 私たちと一緒に働いたプログラマーの経験についてのみお話しします。 彼は、ドキュメントを理解するのは非常に難しく、システムではリクエストの数に1日あたり10,000の制限があるため、最終的にYandexのデータベースを使用しなかったと言いました。 開発者によると、このツールキットはロシア語のナンバー1であり、スイスで単独で働いていた会社の研究グループ、モスクワで他の人が、この分野で技術的なブレークスルーを行うことができました。 しかし、グリゴリー・バクノフによれば、このような決定により、「特許の観点からの音声認識の分野の多くは有名なニュアンスに属し、Yandexは音声認識システムの開発のための発信列車のワゴンを捕まえた最後の1つだった」ため、国際市場に参入することは非常に困難です



技術の簡単な説明： api.yandex.ru/speechkit/

Androidドキュメント： api.yandex.ru/speechkit/generated/android/html/index.html

IOSドキュメント： api.yandex.ru/speechkit/generated/ios/html/index.html



ライブラリは、Yandex Technologiesポータルでダウンロードできます： api.yandex.ru/speechkit/downloads/

Microsoft Speech API

図 6. Microsoft Speech APIロゴ



また、マイクロソフトは最近、音声技術の積極的な開発を開始しました。 特に音声アシスタントCortanaの発表と、Skypeの英語からドイツ語への、またはその逆の同時遠隔翻訳のための自動技術の開発後

現在、 4つのユースケースがあります。



1. WindowsおよびWindows Server2008。マネージコードまたはネイティブコードを使用してWindowsアプリケーション用の音声エンジンを追加できます。APIから取得し、WindowsおよびWindows Server 2008に組み込まれている音声エンジンを制御できます。

2.音声プラットフォーム。 プラットフォームをMicrosoft配布ディストリビューション（音声認識ツールまたは音声合成ツールを備えた言語パック）を使用するアプリケーションに埋め込みます。

3.埋め込み。 人が音声コマンドを使用してデバイスと対話できるようにする組み込みソリューション。 たとえば、Windows Automotiveの音声コマンドを使用してフォード車を運転する

4.サービス。 リアルタイムで使用できる音声機能を備えたアプリケーションを開発することにより、音声ソリューションのインフラストラクチャの作成、保守、および近代化から解放されます。

Microsoft Speech Platform（SDKが利用可能）

インストール後-次のパスでヘルプを見ることができます

また、別のランタイムを配置する必要があります（ リンク ）

ランタイム言語（バージョン11）も同様です。 つまり 言語ごとに、辞書をダウンロードしてインストールする必要があります。 英語とロシア語の辞書の2つのバージョンを見ました。



システム要件（SDKの場合）

OSサポート

Windows 7、Windows Server 2008、Windows Server 2008 R2、Windows Vista



開発とサポート

•Windows Vista以降

•Windows 2003 Server以降

•Windows 2008 Server以降



展開は次でサポートされています

•Windows 2003 Server以降

•Windows 2008 Server以降

長所：

1）準備ができた技術、使用してください！ （SDKを使用）

2）マイクロソフトからのサポート



短所：

1）潜在的な競合他社から分離されていない

2）私の理解では、サーバーWindows（Windows 2003 Server、Windows 2008 Server以降）にのみ展開できます。

3）Windows 8の開発は発表されておらず、Windows 7のみがWindowsの初期バージョンです

音声合成および認識にMicrosoft Speech API 5.1を使用する

IPAの使用方法に関する記事



私が理解しているように、インストール（Windows XPのみ）、Speech API 5.1はMicrosoft Speech Platform（v 11）に含まれているので、この記事を読むのは理にかなっています。

Microsoft Speech APIプロジェクトの例

Microsoft.Speech.dllの操作に関するMSDNリンク



1.音声認識システム（Microsoft.Speech）の使用を開始する方法



2. 音声認識エンジン。 文法の読み込み。 方法

例：

C＃、コンピューターまたはSystem.Speechとの会話

System.Speechの使用方法に関する短い記事 。 著者は、Windows Vistaまたは7の英語版の必要性を指摘しています。



C＃による音声認識-ディクテーションおよびカスタムグラマー

音声認識タスク（音声からテキストへ）にMicrosoftシステムクラスを使用する方法に関するチュートリアルで、著者は逆音声からテキストへのタスクに関するブログ投稿も行いました。

チュートリアルのプロジェクト（WinForms）が起動され、組み立てられます。 20秒間隔の認識があります。 ソフトウェアを管理するための狭い辞書認識-選択肢（「電卓」、「メモ帳」、「Internet Explorer」、「ペイント」）; 「start calculator」などのフレーズを言うと その後、対応するソフトウェアが起動します。



C＃テキストからスピーチ

WPFのクライアント。

この記事の目的は、システムの機能について簡単に説明することです。 音声エンジンクラスの仕組みを詳しく見てみましょう。 また、 ここですべてのMSDNドキュメントを見つけることができます 。

.NETでの文法の作成

GrammarBuilderクラスの例

Microsoft .NET Speech APIを使用すると、音声認識に特化したMicrosoftリサーチセンターとの対話から恩恵を受けるアプリケーションをすばやく簡単に作成できます。 仕事のために文法的なプロセスとフォームを構築できます。 この記事は 、これらすべてを実装する方法の例です。 プログラミング言語C＃で。

Windows Phone 8のスピーチ

Windows Phone 8での音声認識プログラミングのいくつかの側面を次に示します。

おわりに

したがって、最も一般的なクローズドソース音声認識システムを検討した結果、データライブラリによると、Dragon NaturallySpeakingに基づく製品が最も正確であると見なされることに注意する必要があります。視覚的なモバイル拡張機能に基づく認識タスクに最適です（優れたドキュメントと埋め込み用のシンプルなAPIコードがあるため）。ただし、このツールキットには非常に複雑なライセンスシステム、このテクノロジを使用するための手順とルールがあることに注意してください。したがって、Dragon Mobile SDKにカスタム製品を実装することは困難になります。



そのため、この場合、目的とタスクにGoogleスピーチツールの使用を検討する方が適切です。Googleスピーチツールは、Dragon Mobile SDKに比べて計算能力が大きいため、より埋め込まれ、高速です。また、Google音声認識の利点は、1日あたりのリクエスト数に制限がないことです（クローズドソースコードを備えた多くの音声認識システムでは、リクエスト数が10,000に制限されています）。また、この会社はライセンス契約に基づいて音声エンジンの開発に積極的に取り組み始めました。 2014年5月に、企業からの頻繁なAPI変更の飛躍が始まり、プロセスを調整するためにGoogleDevelopersのステータスを取得する必要があることを再度お知らせします。



オープンソースの音声認識システムと比較して、クローズドソースの認識システム（ただし開発者向けのオープンAPI）の大きな利点は、高精度（巨大なデータベースライブラリによる）と音声認識速度です。タスクは関連領域です。

参照資料

1）著作権に関するよくある質問（および回答）：www.chillingeffects.org/copyright/faq.cgi#QID805

2）Stoughton、Nick（2005年4月）。「標準の更新」（PDF）。USENIX。2009-06-04取得。

3）Kai Fu Li、音声入力API仕様。編集者の草案2010年10月18日最新の編集者の草案：dev.w3.org ...編集者：Satish Sampath、Google Inc. Bjorn Bringert、Google Inc.

4）Google Chrome音声検索：habrahabr.ru/post/111201

5）Dragon Mobile SDK公式ページ：dragonmobile.nuancemobiledeveloper.com/public/index.php



続く