GISおよび分散コンピューティング

みなさんこんにちは！ 再び地理情報技術についてお話します。 この記事では、古典的なGISの世界と今なおトレンディなBigDataトレンドの接点で、テクノロジーに関するシリーズを始めています。 分散コンピューティングをジオデータの操作に適用する主な機能について説明し、既存のツールの概要を簡単に説明します。



今日、私たちは大量の非構造化データに囲まれていますが、最近まで処理することは考えられませんでした。 そのようなデータの例は、たとえば、正確な天気予報に使用される天気センサーデータです。 より構造化された、しかしそれほど大きくないデータセットは、たとえば、衛星画像です（OpenDataScienceコミュニティからの多くの記事は、機械学習を使用した画像処理アルゴリズムにささげられています）。 たとえば、ロシア全土の高解像度画像のセットは、数ペタバイトのデータを取ります。 または、OpenStreetMapの改訂履歴は1テラバイトのxmlです。 またはレーザースキャンデータ。 最後に、ドローンからトラクターに至るまで、多くの機器を備えた膨大な数のセンサーからのデータ（はい、IoTについて話している）。 さらに、デジタル時代では、私たち自身がデータを作成しますが、その多くには位置情報が含まれています。 モバイル通信、スマートフォン上のアプリケーション、クレジットカード-これらすべてが、私たちの空間にデジタルポートレートを作成します。 これらのポートレートの多くは、非常に巨大な非構造化データのセットを作成します。





_{画像上-GeoWaveを使用したOpenStreetMapトラックの視覚化}



GISと分散コンピューティングの接点はどこですか？ ビッグジオデータとは何ですか？ どのツールが役立ちますか？



ここで、少しハッキングされたが、それでも意味がないわけではない、BigData、Big Dataという用語について言及します。 この用語のデコードは、多くの場合、解読者の個人的な意見、どのツール、どの領域で使用するかに依存します。 多くの場合、BigDataは、大量の非構造化データを処理するためのテクノロジーとアルゴリズムを説明する包括的な用語として使用されます。 多くの場合、主なアイデアは、分散コンピューティングアルゴリズムの使用によるデータ処理の速度です。



データの処理速度と量に加えて、データの「複雑さ」には別の側面があります。 複雑なデータを並列処理の「パーティション」に分割する方法は？ ジオデータはもともと複雑なデータでしたが、「ビッグジオデータ」への移行に伴い、この複雑さが指数関数的に増加しています。 したがって、数十億のレコードだけでなく、数十億の地理オブジェクトを処理することが重要になります。これらのオブジェクトは、ポイントだけでなく、ラインとポリゴンです。 さらに、多くの場合、空間関係の計算が必要です。

空間分割

空間インデックス付けは救助に来ます、そして、多くの場合、古典的なインデックス付け方法はここで不十分に適用できます。 2次元および3次元空間のインデックス付けには多くのアプローチがあります。 たとえば、多くの測地ネットワーク、クアドラントツリー、Rツリーに慣れている：







最も興味深い方法の1つは、上の図のさまざまな「空間充填曲線」、Z曲線、およびギルバート曲線です。 これらの曲線の発見者はジュゼッペペアノでした。 主なアイデアは、空間全体をフラクタル的に埋める曲線を使用して、多次元空間を1次元に変換することです。 たとえば、ヒルベルト曲線が平面を満たす方法は次のとおりです。







したがって、これらの曲線は地球の表面に見えます。







これらのインデックスを採用することで、ようやくジオデータのパーティション分割を行うことができます。 技術を再発明する必要がありますか？ 幸いなことにそうではありません！ すでに存在するフレームワークが助けになります。 それらの多くがあり、それぞれに独自の適用性と強みがあります。 以下に、最も注目すべきものについて説明します。

GeoJinni（以前のSpatialHadoop）

GeoJinni（以前はSpatialHadoopと呼ばれていました）は、Hadoopの非常に興味深い拡張機能であり、Hadoopのさまざまなレイヤーとコンポーネントに地理空間機能を追加して、大きなジオデータを格納、処理、インデックス付けします。 正確には、この拡張機能はMapReduceおよびストレージレイヤーに影響し、独自の操作レイヤーも追加します。



最下位レベルでは、新しいデータタイプが追加され、ジオデータをKey-Valueとして保存および処理できます。 また、さまざまなジオデータ形式をロードおよびアンロードするためのツールも追加されます。 Hadoopリポジトリの古典的な構造（またはむしろその不在）とは対照的に、GeoJinniはローカルとグローバルの2つのインデックススペース層を作成します。 グローバルインデックスを使用すると、クラスターノードでデータをパーティション分割できますが、ローカルインデックスは各ノードのパーティションを管理します。 この概念により、グリッド、Rツリー、R +ツリーの3種類のインデックスを使用できます。 すべてのインデックスはユーザーの要求に基づいて構築され、HDFSに直接配置されます。



GeoJinniは、既存のHadoopクラスターの拡張機能としてインストールされます。クラスターを再構築する必要はありません。 拡張機能は、Apache Hadoop、Cloudera、HortonworksなどのさまざまなHadoopディストリビューションに問題なくインストールできます。

ジオメサ

GeoMesaは、ストリーミングデータを含む大きな時空間データの分散処理、分析、視覚化のために特別に作成されたツールのセットです。 たとえば、IoTセンサーデータストリーム、ソーシャルネットワークデータ。



大規模なデータセットを格納するための基礎は、Accumulo、HBase、Google Bigtableなどの分散列ストレージタイプです。 これにより、距離と面積を使用したクエリを通じてこのデータにすばやくアクセスできます。 GeoMesaでは、Apache Kafkaストリーミングメッセージシステム用の特別なレイヤーを介して、ほぼリアルタイムでデータを処理することもできます。



最後に、GISサーバーに接続することにより、GeoServer GeoMesaはOGCプロトコルWFSおよびWMSを介してストリーミングサービスへのアクセスを提供します。これにより、マップからグラフまで、時空間分析および視覚化の優れた範囲が提供されます。

ジオウェーブ

GeoWaveは、その構想において、PostgreSQLの空間拡張であるPostGISの類似物として考えられていましたが、Accumulo分散列ストレージ用です。 クローズドソースのプロジェクトのままで、長い間このリポジトリに限定されていました。 最近になってコードがApache Foundationに転送されました。 HBaseストレージとMapnikマップエンジンは既に接続されています。



Accumuloに多次元インデックス、標準の地理的タイプと操作、およびPDALポイントクラウドを処理する機能を提供します。 データ処理はMapReduceの拡張機能を介して行われ、視覚化はGeoServerのプラグインを介して行われます。



コンセプトはGeoMesaと非常に似ており、同じリポジトリを使用しますが、時空間サンプルではなく、多次元データ配列の視覚化に焦点を当てています。

ジオトレリス

GeoTrellisは対応するものとは異なります。 これは、大規模なジオデータアレイを操作するためのツールとしてではなく、標準のジオデータボリュームの最大処理速度のために分散コンピューティングを利用する機会として考えられました。 まず、ラスターの処理について説明しますが、効果的なパーティションシステムにより、空間操作とデータ変換を実行できるようになりました。 主な開発ツールは、ScalaとAkka、分散分析ツール-Apache Sparkです。



このプロジェクトのグローバルな目標は、Webアプリケーションレベルでレスポンシブでリッチなツールを提供することです。これにより、分散コンピューティングシステムの使用におけるユーザーエクスペリエンスが変わるはずです。 最終的には、GeoTrellisがPostGIS、GeoServer、およびOpenLayersを補完するオープンジオテクノロジーのエコシステムの開発。 開発チームは次の目標を設定します。

• スケーラブルで高性能なWebジオサービスを作成する
• 「大規模なジオデータ」を処理するための分散ジオサービスの作成
• データ処理プロセスの最大並列化

GeoTrellisは、ジオプロセシングモデルにアクセスするためのレスポンシブでシンプルなRESTサービスを作成するために設計された優れた開発者フレームワークです。 最適化と並列化は、フレームワーク自体によって行われます。

HadoopのGISツール

Esriツールキットは正式に公開されていますが、その使用は主にEsri製品で意味があります。 コンセプトはGeoJinniに非常に似ています。



ツールは3つのレベルに分かれています

• Esri Geometry API for Java。 地理空間の抽象化と操作でHadoopを拡張するためのライブラリ
• Hadoopの空間フレームワーク。 Hive Query Languageで地理空間クエリを使用するための拡張機能
• Hadoopのジオプロセシングツール。 HadoopとArcGISの直接統合により、デスクトップおよびサーバーアプリケーションで分散空間解析操作を実行できます。

次は？

ジオデータは常にビッグデータに近い場所にあり、分散コンピューティングツールの出現により、地理学者だけでなくデータアナリスト（またはデータサイエンス）がデータ分析の分野で新たな発見をすることができるようになり、非常に興味深いことができます。 洪水のインスタントモデリング、水平線の作成、空間統計、人口分析、点群からの3次元モデルの作成、衛星画像の分析。



次の記事では、ツールとその範囲について説明します。 あなたのコメントは、以下の記事のトピックを開発するのに役立ちます。

• 最初に読みたいフレームワークはどれですか？
• 分散コンピューティングのどのアプリケーションについて詳しく知りたいですか？