風車のために世界で最高の場所を見つける

NASA、ESA、デンマーク工科大学、ニューラルネットワーク、決定木、その他の善良な人々が、極東だけでなくアフリカ、南アメリカ、その他の「まあまあ」の場所で最高の無料ヘクタールを見つけるのにどのように役立ったかという話。

背景

2年前、またはおそらく3年前に、ロシア極東で無料のヘクタールを配布するプログラムを発表したようです。 地図をすばやく見ると、正しいヘクタールを選ぶだけではそれほど簡単ではないことが明らかになり、都市の近くにある最も良くて明白な場所はおそらくなくなるか、すでに地元の人々に任されていたでしょう。 おそらく、その瞬間に最高の場所の検索を何らかの形で自動化できるという考えがありました。



ロマンチックにさらに考え始めると、極東を見る必要はないと思いました。 現在、誰も必要としない土地がたくさんありますが、化石燃料が終わり始める50年後には変わる可能性があります。 そして、人々は新しいエネルギー源を探しに行くでしょう。 それから私は再生可能エネルギー源を見始めました。 そして、私はすぐに、この新しいエネルギーを抽出できる資源と地域の地図が劇的に変化することに気付きました。 今そのような場所を見つけたら、それらを前もって購入し、後で金持ちになることができます。 まだ見積もっていますが、数日で簡単にできるように思えました...今、振り返ってみると、約1年かかったことがわかります。 その時点で、私はエネルギーにも再生可能資源にも機械学習にもあまり詳しくありませんでした。 以下は、私の1年間のプロジェクトの簡単な説明です。

再生可能エネルギー源の選択

アイデアを決めた後、私はすぐに再生可能エネルギー源が一般的に何で、どれが最もエネルギッシュであるかを見に行きました。 以下は不完全ですが、最も一般的なリストです。

1. 日射（太陽エネルギー）;
2. 風力エネルギー（風力）;
3. 河川および水路のエネルギー（水力）;
4. 潮energyエネルギー;
5. 波力エネルギー;
6. 地熱エネルギー;
7. 放散される熱エネルギー：空気、水、海、海、水域の熱。
8. バイオマスエネルギー

しかし、どれが最良であり、将来の残りを勝ち取るかを決定する方法は？ 雑誌「Science and Life」および「Young Technician」の興味深い記事をいくつか読んだ後。 私はLCOE（平準化された電気のコスト）方法論に行きました。これは単純な原則を持っています：賢い人は、生産、材料、サービスなどを考慮して、キロワット時のエネルギーの総コストを推定しようとしています。 下は2016年のデータに基づいた写真で、2022年にいくつかの予測があります。 ここから新しい写真を撮りました 。下はこのドキュメントの退屈なプレートです。









一般に、私はさまざまな国のさまざまな組織によって作成されたこのような写真を持ち、すべてが同じように見えます。

1. そもそも地熱エネルギーです。
2. 次に、水力発電ですが、すでに国に大きく依存しています。
3. 3番目は風です。

私の意見では、このエネルギーを抽出できる場所は指で数えることができるので、私は地熱と水力が好きではありませんでした。 風と太陽は別の問題です。ほとんどすべての屋根とバルコニーに設置できるためです。 太陽はより高価であることが判明し、3年前には差が30％大きくなりました;私は風を選びました。



ちなみに、すでにプロジェクトの途中で、米国の同様の考えを持つ文書、つまりNREL組織、米国エネルギー省など、さまざまなエネルギー源の予測と賭けに出会うようになりました。国。 たとえば、これらのドキュメントの1つでは、すべての選択肢がいくつかありました。 風力エネルギーのシェアは大きいか、非常に大きいでしょう。

すべてをクランクしたかった

クランクアップする方法のアイデアは非常にシンプルで、次のように見えました。

1. 風車が世界中にある場所を見つけます。
2. 次のポイントで情報を収集します。
   
   
   
   a。 風速。
   
   b。 方向。
   
   c。 温度。
   
   d。 安心。
   
   e。 地元の漁師がランチに愛するもの。
   
   f。 等
   
   
   
   
3. この情報を訓練された機械学習モデルに転送し、パターンを見つけます。このパラメーターは、人による建設現場の選択に最も影響を与えます。
   
   
   
   
4. トレーニングされたモデル、同じ情報を持つ世界の残りのすべてのポイントを渡します。
   
   
   
   
5. 出力で、風車を配置するのに最適なポイントのリストを取得します。
   
   

グラフィカル形式では、この計画は後で判明したように、この有名な図のように見えました。

いかがでしたか

最初の段階は非常に簡単でした。 OpenStreetMapsからすべてのポイントレコードをアンロードしました。



ちなみに、OSMは、世界中のオブジェクトに関する座標の情報の単なる倉庫であり、ほぼすべてのものがあることに注意してください。 したがって、データ愛好家に注意してください、OSMは最もクールなビッグデータソースです。



それほど難しいことではありませんでした。最初はオンラインユーティリティを使用してみましたが、overpass-turbo.euは非常にクールなもののようですが、ポイント数の制限と大量のデータの処理があまり速くないためうまくいきませんでした。 したがって、ローカルでキャストされたOSMデータからデータをダウンロードするユーティリティを処理する必要がありました。 ここで現在のキャストをいつでも収縮できますか？ 圧縮形式では、約40GBかかります。 Osmosisユーティリティを使用して、そこからデータをダウンロードできます。 その結果、座標とヒートマップを使用して、世界中の14万ポイントの日付を設定しました。 次のようになりました。











どの情報を収集する必要があるのか​​本当に理解していなかったため、すべての問題は第2段階で始まりました 。 そのため、2、3日間、風車の動作原理とその配置、制限などの推奨事項を読みました。 私がここに残したメモでさえ、配置、風の勾配、風のバラ、および他の有用な用語についてのこのような面白いスキームです。









その結果、次のパラメーターのリストを取得しました。これは、私の意見では、場所を選択するときに重要です。

1. 年間平均風速（理想的には10〜11 m / s）。
2. 風向（支配的な風が上がった）。
3. 最小風速。
4. 最大風速。
5. パワー密度。
6. 平均気温。
7. 平均湿度。
8. 中圧。
9. 高度。
10. 水までの距離。
11. 高さの違い。
12. 高さの差の滑らかさ。
13. 5-10kmのエリアの最大差。
14. その地域の樹木または林分の割合（粗さ）。
15. 村までの距離。
16. 産業施設までの距離。
17. 1平方あたりの平均住民数。
18. 道路までの距離（海、空）。
19. 電気ネットワークまでの距離。
20. 視覚と音声の不便。
21. 保護地域：保護区など。
22. アイシング。

ビッグデータ

風 。 実際、すべてのビッグデータプロジェクトの90％が「今、あなたがこれほど話をしたデータを見てみましょう」という段階で崩壊するので、私のものは割れました。 ロシアの風速に関するデータを探しに走って、私はこれに出くわしました：









そして、ダースの似たような役に立たない写真があります。 それから私はロシアでそれが可能であると推測し始めました、そして私たちは単に十分な強さで風を吹かず、その瞬間にSechinの笑い声が聞こえたので、本当に風力エネルギーはありません。 しかし、私はサマラ地域には草原しかなく、私がポーチに吹き飛ばされた子供の頃にパンを頻繁に食べていたことをはっきりと覚えています。

ロシアのデータとそのデータを探し始めたとき、私はそれが何か有用なことができるデータとは違うことに気付きました。 したがって、私は外国の情報源に移動し、すぐにTier3（ヴァイサラ）からの美しい風の地図を見つけました。 外観では、解像度は十分であり、全世界のカバレッジは単に優れていました。 次に、そのようなデータには10平方kmあたり約$ 1000の費用がかかることに気付きました（3年前のデータ）。 失敗、私は思った。



悲しい一週間の後、私はヴァイサラ、Tier3、および風力やその他の風力発電機を扱う他のコンサルティング外国機関を書き、データを要求することにしました。 私はこれから何をすればいいのかを話した後、誰もがすぐにすべてをダウンロードしてくれると思ったのです。 サンダー自身がいくつかのアドバイスを提供し、また私が必要とするものへのリンクも提供しました。NASAによって実行されるMERRAプログラムからのデータです。 Reanalysis、WRFが何であるかを理解し、何が起こっているのかを大まかに理解するのに、夕方に約1週間かかったことに注目する価値があります：天気、風などの収集、集計、シミュレーション、予測。



要するに、人類はたくさんの天気データを収集し、平均気温と風速のたくさんの地図を描きましたが、地球上のすべての地点でこのデータをすべて収集することはまだ不可能だったため、過去数年間の天気シミュレーションの結果でいっぱいになりましたそしてそれを再分析と呼びました 。 たとえば、 このような風のシミュレーションを視覚化したサイトはここにありますが、次のように見えます。









このデータは、基本的に大きなステップを伴う平均風速の.csv座標グリッドファイルでした。最もクールな無料のQGISパッケージとデータグリッド補間法を使用してこのようなマップを作成しました。









そして、その助けを借りて、彼はこのマップの座標の各ペアから風速に関するデータを引き出しました。 実際、マップと、その上の各ピクセルのデータレイヤーを取得しました。



約2週間でQGISを操作する原理を理解したので、残りのデータソース用に同じマップを作成し、座標で値を引き出し始めました。 温度、湿度、圧力など。 ここで、データ配列自体は主にNASA、NOAA、ESA、WorldClimなどから取得されたことに注意する必要があります。 それらはすべてパブリックドメインです。 QGISの助けを借りて、計算を行い、都市、空港、その他のインフラ施設から、最も近い地点までの距離を検索しました。 1つのパラメーターによると、各カードは約6〜8時間と見なされました。 そして、何かが間違っていた場合、あなたは何度も何度もそれをしなければなりませんでした。 自宅のコンピューターは夜に数週間鳴り響きましたが、その後も近所の人たちがその上にあるゆったりしたクーラーを聞くのにうんざりしていて、私は計算のために小さな仮想マシンを選びました。



数ヶ月後、デンマークの風力エネルギー局（DTU Wind Energy）が作成したこのサイトに出会いました。 彼らの許可は私のカードよりも何倍も優れていることがすぐに明らかになりました。私は彼らに手紙を書き、彼らは世界中から喜んでデータをアップロードしました。 ちなみに、彼らはまた、WRF、WAsPモデルによる風層の動きのシミュレーションを使用してこのマップを作成し、約1〜10 kmであった最大50〜100メートルのデータ解像度を達成しました。



安心。 覚えておいてください、私は地形が非常に重要だと書いたので、このパラメーターを同じ方法で使用することにしましたが、どちらも簡単ではないことがわかりました。 最初に、 Google Elevation APIからデータをダウンロードするユーティリティを作成しました。 彼女は素晴らしい仕事をし、全世界の私のすべてのポイントに関するデータを10 kmのステップでダウンロードしました。たった12時間の作業でした。 しかし、風車の配置の潜在的なポイントの周りのレリーフの滑らかさまたは領土の差の平均値のパラメーターもありました。 つまり、私は全世界の100〜200メートル単位のデータが必要であり、その助けを借りて、すでに差の平均値を計算できました。









差異を計算するには、Google Elevationからデータをダウンロードするのに数か月かかります。 そこで、他のオプションを探しに行きました。



私が最初に見つけたのはWolframクラウドで 、すでに必要なデータがありました。 数式を記述するだけで、このことはWolframクラウドからのデータを使用してカウントを開始しました。 しかし、そこにも失敗が待っていました。どこにも示されていない何らかの制限に遭遇し、このサービスのサポートと面白い通信を受けた後、私は別のオプションを探しに行きました。



ここでも、NASAのデータソースとSTRM（NASAシャトルレーダートポグラフィミッショングローバル）宇宙プログラムのデータが役に立ちました。 私は正直に彼らをサイトから送り出そうとしましたが、データは小さな領域のみのものでした。 勇気を持って、私はNASAに手紙を書き、約1週間の通信の後、彼らは必要なデータを私にアップロードしました。 真実は、データがいくつかのトリッキーな衛星バイナリ形式であることが判明したことで、私はおそらく1週間かけてかき集めました。



すべてが順調に終了し、10 kmのステップで全世界に必要な標高メトリックを計算しました。 ちなみに、 座標で高度を返すAPIサービスを作成し、 algorithmia.com / algorithms / Gaploid / Elevationで公開しました 。 Azure Tablesで動作します。ここでは、データを巧妙に調整し、文字通りセンターに保存します。 ちなみに、Googleよりも安いので、だれでもAPIへのアクセスを数回購入しました。



合計 QGISで約4か月の検索、クリーニング、および計算を行った後、機械学習モデルで使用できるデータセットデータを取得しました。 また、気候、救援、インフラストラクチャ、必要性、消費者のカテゴリに約20の異なるパラメーターが含まれていました。

機械学習と予測

当時、機械学習アルゴリズムがどのように機能するかについての知識と理解はすでにありましたが、これらすべてのPythonとAnacondaをデプロイしたくはありませんでした。 そのため、 Microsoft Azure ML StudioからSMSを使用せずにダミーにオンラインサービスを使用しました。 それは無料であり、ブラウザのマウスを使用してすべてを実行できることを賄います。 ここでは、理論上、モデルの作成、データのクラスタリングなどに別の月を費やした方法について説明する必要があります。 これらすべてのクラスタリングは、QGISが私の古い自宅のPCで非常に長い間行っていたため、特に困難でした。 その結果、実験は次のようになります。







推定する必要があるポイントの総数は約150万でした。 そのような各ポイントは、10 x 10 kmの領域であり、全世界です。 半径100 km以内に既に風車が設置されているセルと一部のエリアを削除し、約1,500,000レコードの設定日を受け取りました。 モデルは惑星地球のそのような各正方形の適合性を評価しました 。 主にニューラルネットワークを使用し、決定木をブーストしました。 風車がすでに立っているポイントでの精度と、私のモデルが予測したものは次のようになりました。 精度-〜0.9; 精度-〜0.9 どうやら、それは私にはかなりよく思えるか、どこかで再訓練がパスしたようです。 この演習から私は得た：

• まず、モデルが風車にとって素晴らしい新しい場所だと言ったポイント。
• 第二に、場所があまり良くない場所をモデルが言ったポイント。

合計で、約30,000の最適な場所を見つけました（これらは100 kmの距離に風車が近くにない新しい場所です）。

結果と検証

新しい場所で30,000ポイントを受け取ったので、それらを視覚化すると、ヒートマップのように見えます。











cartodbを使用して地図をレンダリングする小さなウェブサイトを作成し、全世界地図windcat.chをアップロードしました 。 また、各ポイントについて、1つの工業用サイズの風車（50 m）からのおよそのエネルギー生産量を計算しました。 ここでのポイントは、モデルからの確率推定値ではなく、エネルギー量に応じて色付けされています。 各ポイントをクリックすると、そのポイントでのモデルの「自信」が表示されます。これを「良さ」と呼びます。









また、これらすべての真実性を巧みに検証しようとしました。



目視検査：モデルは海岸に沿ってクリープする点を予測します。これは、表面が滑らかで均一な風があるため、本当のようです。

目視検査：風速チャートと比較した場合、ほとんどの部分のポイントの蓄積は、良好で優れた空気速度と密度の場所と一致します。 たとえば、エジプトと中国は次のとおりです。

次は何ですか

時々彼らは私に手紙を書いて、より詳細な場所の地図を送るか、地図上のいくつかの事柄を説明するように頼みますが、今のところ何もありません。 理論的には、10 km単位ではなく100メートル単位でデータを再計算することができ、理論的には画像は劇的に変化する可能性があり、理論的にはエリアだけでなく特定の場所も予測できます。 しかし、これにはもう少し多くの計算能力が必要で、まだ持っていません。 使用するアイデアがあれば、喜んでお聞きします。