数か月前、世界初の無料のインタラクティブマップを公開しました。これを使用すると、米国およびヨーロッパのあらゆる分野に関する情報を確認できます。 数十の出版物がこのマップについて書いており、Product Huntで彼女は農業部門の製品に対して前例のない1.5万のいいねを集めました（その結果、2018年のAI＆Machine Learning Productになりました）。 マップを2か月間開発しました。
インタラクティブマップは、機械学習アルゴリズムと衛星画像に基づいています。 ヨーロッパとアメリカの44か国にある6,000万のフィールドと27の文化に関する情報が含まれています。 データ-3年間。 衛星画像からMLを使用してすべてのフィールドを認識しました。 マップを使用すると、国や地域のレベルでトレンドを監視し、特定の分野の発展を観察できます。 たとえば、2016年に米国でトウモロコシが占める面積（49.1百万ヘクタール）や、麦畑が最も多いベルギーの地域（ワロニア）を調べることができます。
最小ズームでのヨーロッパ
マップを使用すると、別のフィールドに関する情報を見つけることができます：そのサイズ、文化、開発スケジュール、包括的なインジケーターフィールドスコア。 これは、NDVIインデックス、気候指標、および相対圃場収量によって計算されます。 いつでも、あなたの畑でビートがどのように発達しているか、または昨年マメ科植物が隣人に割り当てたエリアを見ることができます。 とりわけ、それは美しいです。 「ランダムで美しいフィールド」ボタンを作成しました。これにより、世界中の35以上の場所に移動し、それぞれが抽象芸術作品のように見えます。
そのようなカードを作成するというアイデアは、昨年7月に登場しました。 すべての技術的能力を明確に示すことができるツールがありませんでした。 8月、チーム全体が密接に発展し始めました。
データ：収集、処理、圧縮
マップを開発する際、欧州連合のコペルニクスプログラムのSentinel-2衛星の画像を使用しました。 合計で、ヨーロッパとアメリカで約250テラバイトの情報が処理されました。 最初の段階で、画像の前処理を行いました。雲、影、雪をきれいにし、データ圧縮を実行しました。 次に、結果の50テラバイトで、フィールド境界を検索し、機械学習モデルで文化を分類するプロセスを開始しました。 出力では、フィールドのジオメトリと文化を含む約250ギガバイトのベクトルマップを受け取りました。
データを処理して統計を計算するために、PostgreSQLおよびPostGISデータベースを使用しました。 元のベクターデータをエクスポートした後、3年間で約1億8,000万件のフィールドジオメトリレコードと、10億件を超えるフィールド自体の追加属性情報があるデータベースを取得しました。 このデータ量に基づいて、統計、評価を計算し、世界の各地域のさまざまな文化の人気を判断しました。左列の地図に表示されるすべてのものとインタラクティブなヒント。
クロアチアのフィールド
フィールドの農業指標をすばやく計算して表示し、シーズンの植物開発スケジュールを視覚化したいと考えました。 これを行うために、衛星データのキャッシュと圧縮に独自のアプローチを使用しました。 これにより、データウェアハウスのサイズを100〜200倍削減し、フィールドで情報を取得する速度を1秒に短縮できました。
また、このバージョンのマップでは、包括的なフィールドスコアインジケーターを追加しました。これにより、フィールドの評価をすばやく評価できます。 フィールドスコアは、当社チームが現在取り組んでいる歩留まり予測に向けた最初のステップです。 マップは短時間で作成されたため、外出先で多くの独自のソリューションを考案する必要がありました。 しかし、私たちはすべての新しい開発をメイン製品に適用しています。
マップ：形式を選択してデータを準備します
データを視覚化するために、Mapboxを使用しました。 マップを作成するには2つのアプローチがあり、両方を試しました。 1つ目は、ラスターマップの作成です。 この場合、マップを正方形に分割し、写真にレンダリングしてサーバーに保存します。 ブラウザは複数の写真をダウンロードし、ユーザーが地図上を移動するとそれらを移動します。 この方法では、すべてのフィールドを表示できますが、何もフィルタリングする必要はありません。 これは美しいです。マイナスは、マップが静的であり、ビットマップの重量が非常に大きいことです。
2番目のアプローチは、ベクトルマップを作成することです。 ブラウザはベクターデータをロードし、クライアント側でアニメーション化します。 これが、最新のGoogleおよびYandexマップの仕組みです。 データは写真よりも軽量で、任意の要素のデザインを変更できます。 このマップは、Mapboxサービスで作成できます。特に、Mapbox GLライブラリは、Web上にマップを表示するためのオープンソースツールです。 とりわけ、Mapboxは有料の地図保管サービスを提供します。 データをサーバーに手動でアップロードすると、Mapboxが情報を迅速に配信し、正確な地図操作を保証します。 これは作業の重要な部分であり、Mapboxが処理するという事実のおかげで、チームのタスクは大幅に簡素化されました。
エミリア・ロマーニャ、イタリア
ベクトルデータを使用する場合、条件付きの制限があります。マップに表示する情報が多いほど、すべてが遅くなります。 この問題を解決するために、MapboxのTippecanoeというユーティリティを使用しました。 選択したアルゴリズムに基づいて、特定のフィールドを表示するズームと表示しないズームを決定し、不可視のベクトルオブジェクトをレイヤーから削除しました。 合計で、Tippecanoeには20を超えるフィルタリングアルゴリズムがあります。すべてを試し、いくつかの基本的なアルゴリズムを選択しました。 Mapboxのmbtilesテクノロジーを使用して、この方法で準備されたデータを50ギガバイトに圧縮し、それを会社のサーバーにアップロードしました。
サーバー側のページレンダリングを実行するNext JSフレームワークを使用すると、マップをさらに高速化できました。 現代世界のほとんどのアプリケーションは、完全にクライアント側でレンダリングされます。ウィンドウが開かれると、ブラウザーは空のhmtlページとすべての情報をロードするスクリプトを表示します。 Next JSフレームワークは、サーバー上のすべてをレンダリングします。これにより、クライアントにアプリケーションをすばやくロードできます。
マップ：ビジュアルを設定し、リリースの前夜に「マジックボタン」を作成します
Mapboxは、デザイナーにとって楽しい発見でした。 このサービスは、フロントエンド開発者が関与することなくデータを視覚化できるため、タスクを簡素化しました。 外部からは、完成したインターフェースのフィールドを色付けするのは簡単に思えるかもしれませんが、多くのニュアンスがあります。 27の文化があり、それらの色を選ぶのは簡単ではありませんでした。 人気のある文化では、対照的な色が必要です。人気が低く、対照的な色は、異なるズームレベルですべてはっきりと見えるはずです。 マップには多くのネストとインタラクティブなヒントがあるため、最も難しいことは、さまざまなレベルでの遷移のロジックを考え出すことでした。
リリースの前夜、地図と数字を見るのは面白いが、ソーシャルネットワークでこれを共有したくないことを知りました。 そのため、「ランダムな美しいフィールド」というボタンを追加することにしました。これにより、ユーザーは地球上のさまざまな場所に移動します。 オフィス全体で美しい場所を検索し、1時間でボタンを引き、すべてを作り上げました。 朝、私たちはそれをテストし、立ち上げました。 この機能が私たちに多くの報道を与えたようです。 そうでなければ、フィールドが抽象絵画に似ているという事実に誰も注意を払っていなかっただろう。 土壇場での決定の力を過小評価しないでください。
フランスのフィールド
起動後に別の関数をマップに追加しました。 マップ上のフィールドと文化を正確に認識しない場合があることはわかっていました。ユーザーのフィードバックにより、アルゴリズムを改善することができます。 リリース後、農民は作物認識の不正確さに関するメッセージを送信し始めました。「私は畑でヒマワリを育てており、あなたにはトウモロコシがあります。」 この問題を解決するために、エラー通知を送信するボタンをフィールドカードに追加しました。 収集した情報を使用して、作物認識モデルの精度を向上させます。
最後に
開発中に、カードの概念ははるかに複雑になりました。 最初に世界中の畑や作物を簡単に視覚化することを計画していた場合、最終製品はさらに複雑になりました。 しかし、カードは努力する価値がありました。 リリース後、数百人の投資家、財団、科学研究者が私たちに手紙を書きました。 Next JSフレームワークやTippecanoeユーティリティなどの技術的ソリューションの一部を使用して、無料のOneSoil精密農業Webプラットフォームで作業します。
3年ぶりに米国とヨーロッパのすべてのフィールドをマッピングしたのは私たちです。 受け取ったデータは一意です。 すでに、どの企業や州よりもフィールドについて多くを知っています。 また、機械学習アルゴリズムを使用して取得する統計は、多くの場合、手動で収集した統計よりも正確です。 私たちは、世界中のフィールドを自動的に認識するための第一歩を踏み出しました-これが近い将来の私たちの計画です。