7日でロシア語を話す「アナログ」Siriの開発

Siriを搭載したiPhone 4Sが「オンボード」でリリースされた後、残りのAppleガジェットの所有者は少し取り残されたように感じました。 Appleでさえ、新しいiPadにSiriを含めていません。 世界中の開発者は、Siriを他のデバイスに移植するか、同様のデバイスを作成しようとしました。 そして、ロシア語のApp Storeだけが黙っていました。 おそらくすべての開発者は非常に忙しく、私はこの迷惑な誤解を修正することにしました...

免責事項：

1.「アナログ」という言葉は、引用符で囲まれても無駄ではありません。 私のアプリケーションはSiriに少し似ているのではなく、アマチュアのクラフトです。 Siriに本当に似たものを作成するには、膨大なリソースと多額のお金が必要であることを理解しています。

2.はい、Appleは4Sに組み込まれた特別なノイズリダクションチップのため、他のiPhoneをサポートしていないとAppleが説明していることを知っています。 しかし、私はこれを強く信じていません。おそらく彼らのサーバーは4Sからの負荷に耐えられないでしょう。 また、すべてのAppleガジェットをSiriに接続すると、サーバーがクラッシュします。

3.アプリケーションは、楽しみのためだけに作成されており、実用的な目標を追求していません。 そして、これに加えて、主要な作品も機能しました。

なぜ7日で？

最初は、いくつかの理由でこのプロジェクトに多くの時間を費やさないことにしました。 第一に、AppleはApp StoreのSiriに似たプログラムを見逃さないと書かれた多くの記事を読みました。 さらに、彼は既存のもの、たとえばEviをApp Storeから削除しようとしています。 したがって、私のプログラムが見逃される可能性は高いです。 ちなみに、私が書いたrutracker.orgのクライアントで。 レビューに4回アプリケーションを4回送信し、検閲官が私に言ったすべてを修正しましたが、プログラムはApp Storeにアクセスしませんでした（後でこのビジネスについて発言し、w3bsit3-dns.comに簡易バージョンを投稿したので、仕事を失うことはありません）。 第二に、もちろん、完全なプログラムを作成するためのリソースがありません。

1日目。 設計

最初は、アプリケーションロジック自体を考えました。 当然、すべてのテキストから音声への変換および音声からテキストへの変換は、サーバー上で実行する必要があります。 そして、アプリケーション自体は単なるインターフェースです。 この場合、ソリューションはクロスプラットフォームであるだけでなく、最も弱いデバイスでも動作します。 AndroidおよびWindows Phoneでの移植性を確保するには、これらのプラットフォームでインターフェイスを作成するだけです。



したがって、アプリケーションロジックは次のようになります。

A）対話者の音声を記録し、認識のためにサーバーに送信します。

B）サーバーから認識された行を受け取り、簡単な初期処理を実行します。 これらは、最も一般的な質問への回答であり、マットと呪いを遮断し、Yandex検索と天気予報検索の単語を傍受します。 SMSの送信やメールのチェックなどの他のコマンドは、これまでのところ、レビューを通過しないことを恐れて、埋め込まないことを決定しました。

C）フィルター処理された行を認識のためにサーバーに送信します。 そして、それに答えて答えを得る。

D）音声に変換するためにサーバーに応答を送信し、mp3ストリームへのリンクを取得して応答を再生します。



はい、それはゆっくりと判明しましたが、これまでのところ、これらすべてを1つのサーバーに結合することを除いて、別のオプションは表示されません。 しかし、これはコストのまったく異なる順序です。専用の強力なサーバーはおそらくそうではありません。 テキストを音声に変換するための音声認識エンジンの購入とライセンス供与など。今のところ、このようなロジックについて説明しましょう。

二日目。 検索エンジン

エンジンを探しています。 これは小さな問題ではありませんでした。 第一に、それらのほとんどは支払われており、1000語あたり50ドル以上であり、第二に、非常に少量がロシア語のスピーチを認識し、第三に、ロシア語を認識するものの品質はひどいです。



ispeech.orgエンジンを停止しました。 まず、「音声からテキストへ」と「テキストから音声へ」の2つの変換を一度に実行できます。 第二に、iPhone用のSDKがあり、このSDKを使用する場合、キーと認識は無料で無料です。 当然、「ボール」のために、私は何かを犠牲にしなければなりませんでした。 彼はうんざりしてロシアの都市を認めている。 したがって、発音が難しい都市で天気予報を見つけることは現実的ではありません。 モスクワでは、問題ありません。



APIを学習します。 私はJSON形式に決めました。 キーをサーバーに送信し、認識される言語、サウンドファイル形式や音声自体などのサービスフィールドをbase64encode、.waveファイルでエンコードします。 エラーの場合は、JSON形式のエラーも返されます。 そして、成功すれば、テキストの行と認識の正確さ。

同様に、逆変換が行われます。 話すためのライン、言語、およびサービスフィールドをサーバーに送信し、応答としてmp3ストリームを取得します。

3日目。 私はアプリケーションを書き始めています。 設計

私はSiriに似たものを得ようとしますが、それは正確には繰り返されません。そうでない場合、検閲は切断されます。

これが何が起こったのかです。



まあ、私はデザイナーではありません。 日が無駄になりました。

4日目。 アプリケーションロジックを書いています

通常のhttp投稿リクエストで複雑なことはありません。 APIを埋め込みます。 最初のテスト。 やったー！ 動作しますが、それほど高速ではありません。 WI FIが正常な場合、実際のSiriよりは遅いですが。 3Gでは、速度が低下します。 GPRSでは、ただの拷問であり、あなたは答えを待つことができません。 その理由はすぐにわかりました。 ウェーブファイルはサーバーに圧縮され、ULAWコーデック、44 kHzサンプリングで圧縮されます。 ファイルは巨大であることが判明し、8 KHzの音声用に圧縮する必要があります。 何かがうまくいかない。 私は問題があると自分自身にマークし、それを採点して先に進みます。 マットと呪いをフィルタリングします。

5日目。 Yandexと天気の検索の統合。 App Storeへの送信

「検索」、「検索」、「検索」、「天気」などの重要なフィールドを強調表示します。 信頼性のために、正確に何を探しているか、どの都市で天気予報が必要かを尋ねる必要があります。 のようです。 都市の理解が不十分であることがわかります。 多くの労力が消えますが、この機能を捨てないことに決め、突然エンジンは最終的に都市をよりよく理解することを学びます。 私は何度も何度もテストしています。 結果に満足。 App Storeにアプリケーションを投稿し、サーバーの作成中にレビューを待ちます。

6日目。 言語学と音声分析。 サーバーのスペル

人工知能と音声分析に関する文献を研究しています。 静かにクソ。 基本をマスターします。 これまでのところ、人工知能に煩わされることなく、単にアプリケーションをフレーズに解析し、最も単純な分析を行い、キーワードを選択し、データベースでそれらを検索することにしました。

どちらの方向に移動するかについての簡単なアイデアの概要を説明します。 そこで、知識ベースを作成し、検索することで、文から選択したキーワードとベースを比較し、質問に最も近いレコードを発行します。

私は対話型プログラムのオープンソース辞書を見つけますが、もちろんその品質は十分ではなく、それらを改良する必要があります。 しかし、最初はそれで十分です。



私は、サーバーで答えを検索するための複雑なPHPプログラムを書いていません。 部外者がサーバーにアクセスせず、サーバーをドロップしないように、アプリケーションに組み込まれたトークンを電話が送信できるようにしました。 承認中、私はあまり気にしないことにしました。

また、私はアイデアを気に入っていますが、電話座標をGPSサーバーにまだ送信しないことにしました。 電話機の座標がわかっていれば、天気予報サーバーのAPIを使用して天気予報を発行できます。 携帯電話の座標を使用して、最寄りのバー、カフェ、ショップを見つけることもできます。 しかし、ここでも、通常のAPIを備えたリソースが必要です。これに対してリクエストを送信し、調整して、明確な回答を受け取りました。 このアイデアを書き留めて、アプリケーションの新しいバージョンを作成する場合は後で延期しました。



電話のUDID [IMEI]を使用して、質問とその回答はすべてデータベースに入力されます。 はい、はい、ビッグブラザーはあなたを見ています（冗談です）。 実際、これはプログラムの開発に必要です。 尋ねられた質問を知って、私はすぐに知識ベースを補充し、プログラムの不具合をキャッチできます。 UDIDは、さらなる開発に必要です。 プログラムで以前の質問を記憶することを計画しているため、UDIDを使用して電話を識別します。 前の質問を知っていれば、アプリケーションの動作をさらにインテリジェントにすることができます。 興味深いことに、Siriは対話を構築するときに以前の質問を考慮していますか？

ナレッジベースで回答を検索する場合、全文検索MATCH-AGAINSTが使用されます。 通常のSQLクエリ、特別なものはありません。

7日目。 きょう

知識ベースでの検索がどのように機能するかをテストしました。 満足しました。 私は座ってHabrに関する記事を書きました。12歳の息子は知識ベースを教えたいという願望を表明しました。

彼はインターネットでSiriに最もよく尋ねられる情報を見つけました。私は長い間笑いました。 現在、私はこの記事を書いていますが、彼は世界の理解を「機械の頭の中」に置いています。 VKontakteはOdnoklassnikiなどより優れています。 もちろん、それから彼がそこにある基地に持ってきたものすべてを検証します。

まとめ

何が起こった。

7日間、会話をサポートし、いくつかの質問に答えることができる単純な仮想対談者を書くことはかなり可能です。 もちろん、Siriの前は月のようでしたが、ちょっとしたエンターテイメントとしてはかなり適しています。 それは「エンターテインメント」カテゴリにあり、検閲官がアプリケーションを逃した場合、それは落ちます。

AndroidやWidows Phoneに簡単に移植できます。



プログラムの欠点。

1. wave形式のため、サーバーへの音声の長時間送信。

サンプリングレートを8 KHzに下げる予定ですが、まだ方法がわかりません。



2.特にロシアの都市では、認識エンジンによる音声認識はあまり良くありません。

おそらく私はGoogleエンジンを使用するでしょう、彼はもっと上手に話します。 しかし、彼にとっては、スピーチをFLAC形式にトランスコードする必要がありますが、その方法もわかりません。 適切なライブラリを探す必要があります。 そして、もちろん、そのような道の認可された純度の問題は残っています 。



3. Siriよりも実行速度が遅くなります。

これは、音声認識エンジンを購入して専用サーバーにインストールすることによってのみ解決されます。 この方法で行くかどうかはわかりませんが、非常に高価です。



4. Siriでできることの多くはできません。

さて、この問題は、更新プログラムのリリースとナレッジベースの開発によって解決されます。 これは時間の問題であり、これに割り当てられる資金です。



あなたがいくつかのポイントを逃した場合、私はコメントで答える準備ができています。



UPD： Habrazhitelの要請により、漏れを避けるために、ビデオを追加しました。

www.youtube.com/watch?v=UzFGgH741Cw



UPD2：別のビデオを追加しました。

www.youtube.com/watch?v=LVlllVSyln8



UPD3：プレリリースバージョンはこちら

www.youtube.com/watch?v=JlkJva-TGfY