skype、jabber、whatsappを介したChatbotアプリケーション

こんにちは

簡単なエンターテイメントサービスチャットボットが1つ作成されたストーリーをお話しします。

エントリー

私について：私はHabrを長い間（約5年）読んでいますが、実際に共有したかったので、1か月前に登録しました。 私はIT会社でテストエンジニアとして働いています。 しかし、私は常に開発に魅了されました。 そして約7年前、フリーランスはメインの仕事と並行して従事していました。 彼は、小さなものすべてのように、グーグルの助けを借りて理解し始めました。 彼はあらゆる種類のウェブわいせつを書いた。 これはすべて、特定の財務目標を達成するためです。 そして確かに、すべての人生はサイクルで構成されていました：目標の検索-あらゆる手段による達成-満足-新しい目標の検索。 だからフリーランスでした。

転換点

2012/2013年の冬でした。 私はオンラインコンサルタントプロジェクトでフリーランスに取り組んでおり、jabberとskypeとの統合を行う必要がありました。つまり、オペレーターがimクライアントに入力することでクライアントと連携し、サイトユーザーがすべてをWebで取得できるようにしました。 グーグルで検索した後、jabberではすべてがシンプルであり、任意のxmppサーバー（私はejabberedを選択しました）とそれを操作するためのライブラリJAXL（githubでそれを取りました）、そしてバージョン2.xでした。 しかし、Skypeには問題がありました。開発者セクションのサイトでは、一部のキットが有料で提供され（サーバーの使用を禁止するライセンス）、不要なライセンス認証が行われ、何らかのAPIについて言及されていました。 そして、もっとシンプルなものが欲しかった。 そして、 「* nixシステムでPHPを使用してSkype APIにアクセスする」でこのAPIに出会いましたが、スカイプWebサイトでAPIを操作することへの参照はありませんが、dbus経由で操作するためのPDFをダウンロードしました。 私が探していたすべてのものがありました。



システムがx64の場合、skypeにはいくつかのx86依存関係が必要でしたが、私が読んだ記事には記載されていないいくつかの問題が一度にありました。

sudo dpkg --add-architecture i386 sudo aptitude update
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

サーバー側でメッセージを受信する：

 preg_match('#RECEIVED|SENT#Uis')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

-すべてのメッセージに応答するため、正しく機能しません

-そして、実際には、メッセージの一部がdbusの深さで消えて、phpがそれらに到達しないため、そのような構造を使用しないほうが良いです。つまり、スクリプトは多くの場合、すべてのメッセージを受信できないか、while（）サイクル中にメッセージをまったく受信しません。 試行錯誤によって、すべてのメッセージを100％キャプチャする方法が見つかりました。スクリプトがアイドル状態またはリロードされた後でも、次のようになります。

 $oSkype->Invoke('SEARCH MISSEDMESSAGES')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

dbusでは、未処理のメッセージをすべて送信します（SEENフラグはありません）。

 $oSkype->Invoke('SET CHATMESSAGE ' . $iMessageId . ' SEEN');
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

そしてメインループでそれらをキャッチします：

 preg_match('/^CHATMESSAGES/', $sNotify)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ボットユーザーからの承認についても同じことが行われます（将来のユーザーは、スカイプで承認を送信するだけで登録できます）。

 $oSkype->Invoke("SEARCH USERSWAITINGMYAUTHORIZATION")
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

待つのではなく：

 preg_match('/^USER ([a-zA-Z0-9_\.]+) RECEIVEDAUTHREQUEST (.)+/', $sNotify, $aMatches)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これも時々失火します。 ユーザーが連絡先リストからボットを削除したことを知る必要がある場合、別のニュアンスがこれに関連しています。次に、開始されます。

 /* Client unlink */ if (preg_match('/BUDDYSTATUS 2/', $sNotify)) { //... }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ただし、ボットからユーザーに認証を送信するときに同様の問題が発生した場合は、注意して状況を監視する必要があります。

 $oSkype->Invoke("SET USER [USER_NAME] BUDDYSTATUS 2 [AUTH_MESSAGE]");
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

しかし、OSユーザーが非アクティブになった後に就寝すると、スカイプボットがなくなるという問題を解決できませんでした。 スカイプ設定では、それはaway_mode = offであり、この行は役に立ちません：

 $oSkype->Invoke('SET USERSTATUS ONLINE');
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

その後のみ、スカイプは安定して動作し始めました。



そして、私はすべての開発と同じように、9.xの時点でfreebsdのセットアップを開始しました。ああ、このシステムが気に入ったので、長い間苦労しましたが、dbusでskypeを起動しませんでした。マネージャーとdbusおよびそれらの矛盾

   /root/.dbus/session-bus/ id  dbus      export DBUS_SESSION_BUS_ADDRESS=8c9916eb531f5f9a0458961c000033bc-1
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Habrの記事で示されているように、私は常に助けにはならなかったので、すべてをLinuxにインストールしなければなりませんでした。私はdebianを選びました。 バックエンドWebはfreebsdのままであり、memcacheを介して互いに通信していました。 はい、はい、高貴な「バイク」ですが、それについては以下で詳しく説明します。

チャットボットコードはWebコードに関連付けられていたので、できるだけ早くそれを作成したかったため、以前は使用したことがなく、実際には理解していなかった「メッセージキュー」を適切に決定するのではなく、ロジックを使用してphp + memcacheからターンを作成し始めました登録を行うためのロック、およびimオペレーターのクライアントへの認証とメッセージの非同期送信。 それはあなたが目をつぶることができる恐ろしい「機械」でしたが、私が知る限り、それは機能し、まだ機能しています。 想像してみてください：ユーザーのボット/ OS 6個、Debianユーザーごとに6個の仮想デスクトップを上げ、vncウィンドウ6個、それぞれに4つのスクリプト（skypeとjabberボット、筆記キューのワーカー）があります。 サーバーを再起動するたびに骨の折れる作業になり、6人のユーザーでシステムにログインし、それぞれのvncを開き、ターミナルを開いてそこで4つのphpスクリプトを実行しました。 VNCを使用しているときに、ボットが時々奇妙なエラー、特にJAXLでクラッシュしました。

 Interrupted system call  jaxl_loop.php
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

初期化場所「new JAXL（）」のフィールドを変更/削除することで処理されました。Googleでの非常に厳しい期限内の検索では、慎重に解決できませんでした。

準備完了、安定

2013年の春に、私は完璧主義を楽しもうと思い、アイデアの面で面白くて必要なものを、コードの面ではなく、いつものように美しく書くべきだと考えました。 そして彼はアイデアを探し始めました。 そして、結局のところ、彼女は私の鼻の下にいました。 たとえば、私はよくwindows7またはmacosで電卓を呼び出したり、携帯電話で天気を監視したりします。 そして、ほぼ一日中、起きている間、私はコンピューターで過ごします。 結論はそれ自体で要求されました。頻繁に使用される操作を常に開いているアプリケーションに転送し、コンピューター上の既存のタスクに対して実行される操作の数を減らす必要があります。 ビンゴ 私は必死にグーグルに登り、既製のソリューション、すなわち一般的なIMプロトコルを介してチャットボットとして実装されたあらゆる種類のアプリケーションを探しました。 そのとき、私は1つも見つけませんでした（見た目が悪いのですか？）。 独自に作成する必要があります。それは無料で、最も重要なことは自分で使用することです。 USSDコマンドを使用して、skypeとjabber（後でwhatsapp）を介してユーザーとやり取りできるボットのチャットを作成し、以前よりもよく書いて完全なソリューションを作成し、ドメイン名、ロゴ、ウェブサイトのデザイン、サイト自体を選択する必要がありました残りはこれに必要なもの、つまり、完全な開発サイクルと製品の展開です。



タスクは簡単ではなく、私は以前にそれをやったことがありませんでした。 しかし、あなたは最初の一歩を踏み出す必要があります.... そして彼はすでに終わっていた。 正直に言うと、サーバーを監視し、サーバーを監視するためにskype / jabber / whatsappでコンソールsshエミュレーションを使用するのがいかにクールかとすぐに考えました（現時点では、このタスクは実装が延期されていますが、既にいくつかの開発があります）。

そして、「10分間の電子メール」サービスの類似物を手に入れたいと思っていました。私の人気のあるサービスの所有者に私のものへの統合について書いて、私は何も良いことを期待していませんでした、私の直感は失望しませんでした、このシステムの開発者はサービスが無料であると丁寧に拒否し、開発者はかろうじて彼をカバーしますこのサービスで広告に費やした時間。 そして、私はそれを頻繁に使用します。 さて、このトピックでバイクをいじくり始めましたが、今のところまだ終わっていません。そのため、試行錯誤されたアイデアをすべてすばやく作成することはあまり適していません。

フリーランスではうまくいきませんでした（しかし、私はあまり動揺しませんでした、その目的は経済的で、フリーランスはそれを解決するのに役立ちました、他の目標はありませんでした、ああはい、私はスポーツバイクに乗って、今では確かに目標はありませんでした） （私は以前のIT会社で絶えず働いていましたが、より興味深いプロジェクトで働いていましたが、それでも私が気に入ったものからは程遠いものでした）。 2か月間、コードを見ましたが、とにかくチャットボットのコンテキストでのphpコードの観点からは、ある種の怪物でした。 しかし、サイトのデザインはほとんど変更されずに残っており、すぐにフラットUIを作成し始めました。彼にとって、近い将来成功したように思えました。 春の終わりに、私は異なる性質の個人的な問題を経験しており、このサービスを忘れており、2013年11月にその開発に戻ります。最初に行うことは、すべてのチャットボットコードを削除することです。 そして、memcacheのキューなしで再び書き込みを開始します。

ゼロから

彼は、将来のアーキテクチャのテキスト、モジュール（web、api、bot）の構造を書きました。 memcacheのストレージ構造に関するドキュメントのコンパイル-将来、彼の「メモリパレス」に大量のロジックが保持されないように、これらすべてが大いに役立ちました。

始まりは私の頭の中にありました：

Web ： freebsd 10 + php 5.x + apache + mysql 5.x + apc



、 2番目の読み取り

php 5.x nginx + php-fpm, apc, opcache.





Chatbot ： debian wheezy gnome + php 5.x + skype + memcache ( , ) + ejabbered JAXL 2.x ( 3.x)+ rabbitMQ ( ) PhpAmqpLib ( memcache github).







各アプリケーションのアーキテクチャ：skypeのボットリスナー、jabberのボットリスナー、whatsappのボットリスナー、ユーザーの追加/削除とサービスの追加/削除を処理するユーザーワーカー（rabbitMQ）、api metdesを呼び出すAPIワーカー（rabbitMQ）、メッセージを送信するスパマーワーカー（rabbitMQ）と3つのヘルパー（すべてのプロトコル）は、ユーザーワーカーとスパマーワーカーからコマンドを受信する最も単純な送信ボットであり、バックグラウンドでも呼び出され、作業後に閉じられ、すべてのボットアクティビティを直接実装します（承認を取り消し、メッセージ「X」で承認を送信し、メッセージを送信します）。



私が見、テストしている間に、私の仕事を見た仕事の同僚が提案しました：

さあ、バイバー！

そして、私は再び不可欠なアシスタント、グーグルに目を向けました。 オープンAPIについては何もありませんでしたが、whatsappを使用するオプションを見つけてサービスに固定しました（githubでライブラリコード「WhatsProt」を取得しました）。 ただし、whatsappは主に非ロシア語話者向けであるため、ボットおよびサイトで翻訳を行う必要があります。 「そもそもプロジェクトをどの言語に翻訳しますか？」を読み、英語、ロシア語、簡体字中国語、ドイツ語、スペイン語を選択し、中国語を拒否しました。

Webの基盤としてZF 2.xを採用しました。 すべてのアプリケーションを単一のボットとして実装し、各アプリケーションを個別のボットとして実装することを計画しました。 最初のスキームは非常に不安定でした（まだドキュメント化されていないキャッシュおよび「メッセージキュー」としてmemcacheに依存していたため）、それを拒否しましたが、部分的に返されました。 2つ目は、すでに8つのボットの後、スカイプとジャバーで連絡先リストを散らかし始め、また、ローカルの仮想マシン上のリソース、特にスカイプ自体を信じられない速度で消費しました。ボットごとに、デスクトップとスカイプで別々のユーザーを実行する必要があったためです（同じ環境で複数の異なるスカイプを実行し、それぞれのAPIにid dbusセッションでバインドすることは可能ですが、まだ試していません）、このスキームを放棄し、後でそれらを組み合わせて、各ボットがグループ化されたいくつかのアプリケーションを実装します 思考。 私はこの一連のアプリケーションから始めました。

• 基本（さまざまな操作とユーザー統計）
• 電卓
• 天気
• 「ハノイの塔」の仕組みを備えたゲーム（まだリリースしていません。クロールせずにASCIIピラミッドをアートで描く方法を理解していないため、フォントはスカイプで私とゲームをプレイします）
• マジックボール8
• 利用可能な3つのいずれかのクライアントから（登録されていなくても）メッセージを（ボット自体および許可なくWebサイトから）ユーザーに送信する機能
• 通貨レート
  
  
  1. 変換率
  2. 世界のソース
  3. 欧州中央銀行
  4. OCBC Bank（シンガポール）
  5. ロシア中央銀行
  6. ウクライナ国立銀行
  7. ベラルーシ国立銀行
  8. 中国銀行
  9. カナダ銀行
  10. ビットコインレート

11月と12月と1月に、ほぼ安定したバージョンを作成しました。最も重要なことは、友人のテストに適したバージョンです。

しかし、その後、 「GoogleはXMPPのサポートを放棄しています」という記事に出会い、少し腹が立ちました 。 しかし、しばらくして、記事「パニックなし！ GoogleがXMPPで行ったことについて '' 、私はすべてがうまくいくことに気づき、私は常にgoogle xmppを使用しています。 ホスティングにすべてを注ぎます。 私のテストVMは7ボット（各ボット/アプリケーション用の3つのスクリプト（skype-jabber-whatsapp）および各アプリケーション用の3つのワーカー：ユーザーワーカー、APIワーカー（APIを介してデータベースとのすべてのやり取りを記述しました-なぜ、今まで）わかりませんが、モジュール式であり、ウェブとボットの1つのエントリポイントでテストが容易になりました）、スパムワーカー、すべての労働者は野ウサギMQを介して作業しました）3.5 GBのRAMを消費し、すべてのホスティング事業者は2 GBと4 GBの料金を持ちました4GBの場合は2倍になりますが、これは私には向いていませんでした。これはすべて手に入らず、サービスは無料であるため、「デジタルオーシャン」に書きました このサービスのニーズのリクエストに応じリットルHabré）はRAMの異なる数のVMを与えることですが、弱いプロセッサと、それは重要ではなかったです。 彼らは私を拒否しました。 期待。 「comparevps」でホスティング業者を比較し、2GBと同じ金額で4GBのシステムを使用しましたが、このホスティング業者との仕事の経験は予想よりもやや悪いことが判明しましたが、すべてお金がかかります（残念ながらこの場合）。 そして、購入したVPSをすばやく入手するために、完全に機能するサービスの段階にfreebsdとdebianサーバーをインストールするための2つのステップバイステップの手順を書きました。



しかし、2台のサーバー（web用のfreebsd +チャットボット用のdebian）を使用するのは便利ではありませんでした。 そして、それはdebianでした。パッケージから必要なものの最新バージョンを、freebsdアセンブリとポートでどうすればできるのか、不愉快に驚きました。 それから、特にlinuxやdebianの嫌悪者でなくなった方法と原因を見つけ出し、良い方法で狂信者になりました（今では "must have"に "Red Hat"もあります）。



私は友達の先端で新しいアプリケーションを追加しました：

• 世界時計（オフセット、時間、日没、日の出、タイムゾーン）
• ハッシュジェネレーター
• Habraパーサー（ボットは簡単な説明とともにその日の最高の記事へのすべてのリンクをダンプします）
• ホロスコープ（難易度は、サポートされているすべての言語で、元のホロスコープを探す必要があることでした。その場で翻訳するのは悪いことです）

11個のボットがあり、6個のスクリプト（1番目のスカイプ、2番目のジャバー、3番目のwhatsapp、3人のワーカー）ごとに、システムには4 GBもありませんでした。 先に言ったように、アプリケーションをテーマ別のボットに結合する必要があることを理解する時が来ました。 ベース、オフィス（電卓、為替レート、世界時計）、ライフスタイル（天気、星占い、8ka）、開発者（habra、ハッシュ）が登場しました。 現在は2.5GBで十分です。 それから少し疲れて、 「Jabberが完全な暗号化に切り替えます」をゆっくり読んで、xmpp.netで彼のサーバーをテストすることを決め、Aレーティングを受け取りました。 ちなみに、DNSでこれを行うまで、長い間、jabberしたサーバーを強制的に公開することはできませんでした（また、サーバー間対話を追加することもできませんでした）。





しかし、私はまだjabberまたはサイトのSSL証明書を持っていませんでした。 60ドルで2つ、私は笑わず、 「Get a free SSL certificate」という記事を見つけて、急いで行きました。 すべてがシンプルで明確です。



すべてのサービスを手動で復元するのは非常にうんざりしていました。ホストが原因でサーバーがクラッシュしたり、再起動後に空白のままだった場合は、月曜日にのみ見つけた問題を何らかの方法で解決する必要がありましたこれは土曜日に起こりました。 私は多くの異なることを試しました。最終的に、システムは再起動後、すべての* nixユーザー（skypeの場合）に完全に自動的にログインし、その下でグラフィカルシェルでターミナルを起動し、6つのタブを開いてそれぞれに必要なphpスクリプトを起動しますいつでも出力（デバッグのために軽微な問題が発生することがあります）：



シャットダウンや起動中にメールを受信するために、 このスクリプトを使用しました。 今では、サーバーで何が起こっているのかを常に把握しており、サーバーが単独で完全に上昇し、驚きがあってもすべてのボットが機能することを知っていました。 さらに、バックアップbdをローテーションで設定し、メールでダンプをダンプします（まだ小さいです）。



ハートブリードについてHabréについて読み、おそらくすべてとして、サーバーをチェックしました-すべては問題ありませんでしたが、TLS 1.2をオンにすることができず、常にFを取得しました。同時に、さまざまなサービスをテストするためのハートブリードの悪用を発見しました。私はそれをしませんでした。セキュリティエンジニアとして自分自身を試すのは面白かったです。同時に「nikto.pl」を試し、「nessus」スキャナーに触発されました。 しかし、チャットボットに戻って、私はlibsslと「g」であるopensslを再配置し、nginxの依存関係を確認し、古いlibとリンクしていることを常に見て、wheezyの代わりにnginxをsqueezeに置くだけでした。 これがnginxにリンクされた古いlibsslの理由でしたが、そのため私には脆弱性がありませんでした。 「事故」とあなたは言います。 「事故は偶然ではありません」と答えます。



ところで、whatsappの場合、私が理解しているように、アカウントからのパスワードの無料受信はしばらくしてから閉じられますが、今では非常に簡単に取得できます：



しかし、新しい接続（私のスキームでは、1つのスクリプトがコマンドをリッスンし、もう1つがキューを介して受信した応答を送信する）が現在の接続を中断するという問題があります。 whatsappがキューを部分的に放棄し、phpスクリプト自体の自動再起動を行う必要がありました。

ユーザーが何かを書いたときに「タイピング」ステータスを表示するためのジャバーボットの興味深いヒントを次に示します。



, whatsapp skype , spamer , ,

 posix_kill(getmypid(), 9);
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

jabber

 $oJabber->send_end_stream();
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

:

• email 10
• im
• skype / jabber

, . , , ( ) .



, - , github. , , xml whatsapp «typing» , :



: «» , , ! .



PS 1 : , « : » . , . , . , , .



: Free Object Motion Tracking Plugin at Final Cut Pro X, Adobe Premier and DaVinci Resolve.