すべてのIoTデバイスとクラウド間のマスターマスターアプリケーションのレプリケーションとスケーリング

写真は、プロトタイピングに使用されるデバイスを示しています。 ご覧のとおり、x86プロセッサ（Intel Edison）が基盤として採用されています



みなさんこんにちは。 この記事では、IoTデバイスとクラウドアプリケーション間のデータ同期に関連する1つの興味深い問題を解決した経験を共有したいと思います。 まず、プロジェクトの主なアイデアと目標について説明し、次にその技術的な側面と実装について詳しく説明します。ContikiOS、データベース、プロトコル、および同様の側面についてです。 結論として、システムの構築に使用されるテクノロジーを簡単にリストします。

プロジェクトについて簡単に

まず、プロジェクトの主なアイデアについて話しましょう。 以下は、完成したシステムの動作原理の概略図です。







クラウドサービスを介して、または（Wi-Fiを介して）IoTデバイスに直接接続するユーザーがいます。 また、インターネット上のどこかにクラウドアプリケーションサーバーがあります。 AWSやAzureインスタンス、専用サーバーなど、何でもクラウドとして機能します。 アプリケーションサーバーとIoTデバイス間でデータを交換するには、何らかのプロトコルを使用して接続を確立します。 IoTデバイスは何らかの形で相互に接続されています（たとえば、イーサネットまたはWi-Fiを介して）。 さらに、テレメトリーデータ（照度や温度のインジケーターなど）を生成するIoTデバイスの別のグループがあります。



合計で、100を超えるデバイス、さらには1000を超えるデバイスを入力できます。 私の主なタスクは、クラウドとこれらのIoTデバイス間のデータ交換を提供することでした。 先に進む前に、システムに課せられた要件に言及する価値があります。

• IoTデバイス間でデータを同期する必要があります。
• IoTデバイスからデータを収集する必要があります。
• IoTデバイスとクラウドの間でデータを同期する必要があります。

技術的な実装

ここではすべてが非常に簡単です。ユーザーはHTTP（S）、WebSocket、または同様のプロトコルを介してアプリケーションサーバーに接続します。 読者向けの小さなタスク：アプリケーションサーバーとIoTデバイス間の接続に使用できるものは何だと思いますか？







MQTTについて考えた場合、間違いなく正しいです！ HTTP（S）を選択した人と同様に。 実際、どのプロトコルも適切です-あなたの好みに合わせて選択してください！ 私の選択は失敗しました-ドラムロール-非同期複製！ データベースのレプリケーションは正常です。







レプリケーションが必要な理由を尋ねられるかもしれません。 答えは簡単です。複製を使用してデータを同期するので、クラウドとIoTデバイスを含むあらゆる場所で同じバージョンのデータベースをサポートできます。 ただし、レプリケーションの実装は非常に困難です。 複製が必要な場合は、それをサポートするデータベースを入手してください。なぜなら、私は繰り返しますが、複製はデータベースに本来備わっているからです。



ここで、プロジェクトで作業する際に検討したデータベースについて、 SQLite 、 Redis 、 MySQL 、 PostgreSQL 、 Tarantoolのいくつかの言葉を言いたいと思います。



それらの特性を比較し、MySQLとPostgreSQLを除くいくつかの部分をIoTデバイス上で実行しようとしました。 以下に、その由来を説明します。



SQLiteは、IoTデバイスにデータを直接保存するための優れたソリューションであることは間違いありませんが、レプリケーションがなく、異なるプロセスからの同時アクセスをサポートしていません。

Redisはマスターマスタレプリケーションをサポートしていないため、双方向レプリケーションが必要なため、問題を解決できません。



MySQLとPostgreSQLはIoTデバイスには重すぎるので、それらをインストールしようとはしませんでした。 ただし、これを行うことに決めた場合は、コメントで自由に経験を共有してください。



私のリストの最後の1つはTarantoolデータベースでした。 私はTarantoolプロジェクトのコミッターであるとすぐに言わなければならないので、プロジェクト自体とそれをうまく開発している人々を知っています。 さらに、Tarantoolにはマスターマスタレプリケーションがあります。 全体として、私にとっては間違いなく最良の選択肢でした。 プロジェクトで別のデータベースを使用できます。 私が伝えようとしている主なアイデアは、IoTデバイスがマスターマスタレプリケーションでデータベースを使用してデータを交換できるということです。



これまで、私は表面的にプロジェクトを知っているだけでした。 それでは、技術的な側面を少し掘り下げてみましょう。



Tarantoolの使用中に発生した問題から始めます。 まず、TarantoolはARMv7アーキテクチャで実行されませんでした。 第二に、Tarantoolは32ビット環境で起動しなかったため、状況が悪化しただけです。 最終的に、これらの問題を解決することができました。 以下は、これを助けてくれた開発ルールです。

1. CMakeのツールチェーンファイルを使用します。 それ以外の場合、あなたは、私のように、CMakeファイルの修正に多くの時間を費やします。
2. サイズが指定されていない符号なしの型またはその他の型を使用しないでください。 libcにはuint32_tなどの特別なタイプがあります。 そうしないと、未定義の動作が発生する可能性があります。 このルールは、C / C ++にのみ適用されます。
3. 自動テストを移植します。

自動テストはIoTデバイスで実行できることが期待されています。 そうでない場合、多くのデバッグ時間を無駄にするリスクがあります。



そのため、マスターとマスターのレプリケーションを備えた作業データベースがあります。 いいね！ 次のステップは、 6LoWPANを使用して、このデータベースがインストールされているデバイスを接続することです。 6LoWPANを介して互いに接続された多くのIoTデバイスのネットワークがあり、そこからすべてのテレメトリデータを収集する必要があることを思い出させてください。





完成したシステムの簡単なスキーム



センサーを備えたデバイスは、電波を介してテレメトリーデータを送信します。 この標準は6LoWPAN（低電力ワイヤレスパーソナルエリアネットワーク上のIPv6）と呼ばれます。 プロジェクトでLoRaWANを使用しなかったことに注意してください。 このテクノロジーの将来の使用を見つけるかもしれませんが、この記事では6LoWPANに焦点を当てます。 したがって、遠隔測定データの収集には、システムの重要な部分であるゲートウェイを使用します。 ゲートウェイは、電波を介して送信されるデータを収集するためのWANアンテナを備えたMIPSデバイス（MIPSはプロセッサのファミリーです）です。 さらに、6LBRアプリケーションがゲートウェイにインストールされ、受信データをIPv6パケットに変換します。

付録6LBR

上の画像は、6LBRの仕組みを示しています。 6LBRがインストールされたゲートウェイは、ワイヤレスセンサーネットワークと他のネットワークとの間のコンバーターとして機能します。 この図は、6LBRがデフォルトで機能するという理由だけで、ワイヤレスセンサーネットワークからIPネットワークへの変換を示しています。 少し後で、この動作を変更する方法を説明します。



詳細については、GitHubの6LBRページを参照してください 。



6LBRを使用すると何が得られますか？ まず、6LBRアプリケーションでTCPおよびUDPスタック機能を使用できるように、IPスタックを取得します。 次に、6LBRで任意のI / Oデバイスを使用できます。 生データをbashに直接書き込むことができるとします。 =）残念ながら、6LBRはMQTTに直接書き込みません。 MQTTブローカーは生データについて何も知らないので、我慢する必要があります。



MQTTブローカーへの直接入力が必要なのはなぜですか？ 答えは簡単です。問題はレガシーコードです。

ここで、6LBRアプリケーションについて少しお話したいと思います。 一般に、6LBRアプリケーションは、IPスタックを使用したり他のことを実行できるAPIで記述されたCコードです。 このようなアプリケーションの開発には、少なくとも2つの困難が伴います。複雑なストリームモデルと複雑なメモリモデルです。 そのため、我慢して、プログラムの頻繁なクラッシュに備えてください。 以下に、私が開発した6LBRアプリケーションの小さな部分を示します（事前に謝罪します。ソースが閉じているため、意図的に混乱したコードでのみ写真を投稿できます）。







1つの興味深いことに注意してください-PROCESS_YIELD（）。 6LBRには協調マルチタスクがあります。つまり、6LBRアプリケーションはループの各反復で制御を返す必要があります。 コードの実行時間が長すぎてはなりません。



それでは、私たちのプロジェクトがどの段階にあるのかをもう一度見てみましょう。 ゲートウェイとそれにインストールされた6LBRアプリケーションを使用して、その内部でデータを読み書きするためのメッシュネットワークを作成しました。 また、MQTTメッセージでIPパケットをラップすることもできました。各メッセージには、テレメトリデータなど、デバイスに関する情報が含まれています。 さらに、I / Oデバイスを操作する機会がありました。たとえば、UARTでMQTTメッセージを記録できるとしましょう。 しかし、その後、新しい問題に遭遇しました。TarantoolはMQTTブローカーでは動作しません。 以下に、この制限をどのようにして回避したかを説明します。



純粋なC MQTTライブラリで記述されたlibmosquittoを使用することにしました。これは、MQTTをアプリケーションに簡単に統合できるためです。 以下は、このライブラリを使用してMQTTメッセージを操作する例です（ リンク ）。

static int mosq_poll_one_ctx(mosq_t *ctx, int revents, size_t timeout, int max_packets) { /** XXX * I'm confused: socket < 0 means MOSQ_ERR_NO_CONN */ int rc = MOSQ_ERR_NO_CONN; int fd = mosquitto_socket(ctx->mosq); if (fd >= 0) { /** Wait until event */ revents = coio_wait(fd, revents, timeout); if (revents != 0) { if (revents & COIO_READ) rc = mosquitto_loop_read(ctx->mosq, max_packets); if (revents & COIO_WRITE) rc = mosquitto_loop_write(ctx->mosq, max_packets); } /** * mosquitto_loop_miss * This function deals with handling PINGs and checking * whether messages need to be retried, * so should be called fairly _frequently_(!). * */ if (ctx->next_misc_timeout < fiber_time64()) { rc = mosquitto_loop_misc(ctx->mosq); ctx->next_misc_timeout = fiber_time64() + 1200; } } return rc; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ソケット記述子へのリンクを取得し、独自のイベントループを使用していくつかのイベントを処理できます。 そしてそれは素晴らしいことです！ 6LBRのように、Tarantoolが協調マルチタスクを実行しているという事実に注目したいと思います。 Tarantoolは、 coio_wait()



を使用して制御を返します。



そうそう、 TarantoolはLuaアプリケーションサーバーでもあることを忘れていました。 サプライズ！ そこで、libmosquittoをLuaに移植しました。 以下は、前の例で見た関数を呼び出すコードです。

 __poll_forever = function(self) local mq = self.mqtt while true do self.connected, _ = mq:poll_one() if not self.connected then if self.auto_reconect then self:__try_reconnect() else log.error( "mqtt: the client is not currently connected, error %s", emsg) end end fiber.sleep(self.POLL_INTERVAL) end end,
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

また、libmosquitto APIからすべての関数を移植しました。 ここで結果を見ることができます 。 リンクは使用例を示します。 メッシュネットワーク内のすべてのデバイスからデータを収集するために必要なことは、特定の場所からsubscribe()



関数を呼び出し、 get()



メソッドを公開するget()



です！

おわりに

私たちが得たものを見てみましょう：







アプリケーションサーバーへの接続は、Tarantool master-masterが提供するレプリケーションを通じて確立されます。 これから2つの有用なプロパティが続きます。

1. アプリケーションサーバーがデータを変更すると、この更新されたデータはネットワーク上のすべてのIoTデバイスに配信されます。
2. IoTデバイスがデータを変更すると、この更新されたデータがアプリケーションサーバーに配信されます。

これらのプロパティが私の問題の解決策です。



マスターマスタレプリケーションを使用してIoTデバイスを接続することもできます。 したがって、デバイスとクラウドは、すべてのデータを同期するために使用できるクラスターに結合されます。 すべてのIoTデバイスとクラウドは、それらの間の接続が失われない限り、ほとんどの時間同期されます。 接続が復元されるとすぐに、すべてのデータが再び同期されます。 素晴らしい！



6LBRアプリケーションがインストールされたゲートウェイを使用すると、IoTデバイスと他のIoTデバイス間でデータを交換できます。 各メッセージをMQTTメッセージにラップし、UARTチャネルに送信します。



MQTTブローカーがインストールされたIoTデバイス#Nは、UARTチャネルからこれらのメッセージを読み取ります。 MQTTブローカーは、MQTT接続を介してメッセージをTarantoolにリダイレクトします。 Tarantoolはそれらを読み取り、Tarantoolアプリケーションサーバーは各メッセージに対していくつかのコードを実行します。



#N IoTデバイスは、Tarantoolマスター/マスターレプリケーションを介して他のすべてのデバイスに接続されます。 同じレプリケーションを使用して、すべてのデバイスをクラウドに接続します。



それだけです！ 私はこの課題を解決しました。私の経験が将来のあなた自身のプロジェクトに役立つことを本当に願っています。 要約すると、私はTarantoolを専用サーバーのメインフロントエンドとアプリケーションサーバーの両方として使用しました。 このトピックに興味がある場合は、英語の他の記事をご覧になることをお勧めします。 連絡を取り合い、引き続きご注目ください！