Yandex.Meteum-テクノロジーのないテクノロジー。 エリア固有のマーケティング

開発者によると、Yandex.Meteumサービスの開始からちょうど3年が経過し、すべての予測サイトの中で最高品質の予測を提供します。 在庫を確認する時が来ました。 新しいYandex製品は本当に革命的なものですか、それとも単なるマーケティングの目的ですか？ また、ロシアの水文気象センターの科学者チームがYandexを回避し、真に高品質の予測を作成することができました。





まず、自己紹介をしてください。 私の名前はイリヤ・ウィンシュテインです。クルガンのアマチュア天気予報士です。 私は14年間気象学をやっています。 地域プロジェクト「Weather 45」を管理し、科学教育プロジェクト「グーテンベルクの喫煙室」のためにいくつかの講義を行いました。



メテウム。 開始する



Yandexの予測の質の問題。 Meteum」 2016年の初めに指定しましたが、その時点で明確な結論を引き出すためのデータは非常にわずかでした。 ほとんどの場合、Yandexが開始した情報キャンペーンを批判しました。 当初、「自宅に正確な予測」というスローガンを使用していた場合、「地域に正確な予測」に変更しました。



Meteumの誕生はどのようなメディア形式で行われましたか？ メディアには多くの出版物があり、Habréにはいくつかの出版物があり、その後、ニューラルネットワークに基づく最初の予測サービスの作成を説明する短い科学ビデオがありました。 Meteumの作成は、ニューラルネットワークが非常に人気があったときに行われ、メディアは人類の問題の多くを解決できる万能薬としてそれらを提示しました。



一般的なニューロジオタギングの結果、Yandexは主要な気象セクションを更新することを決定しました。 通常のデザインの更新と新機能の追加はオプションではありませんが、更新の主な目標は競合他社から新しい視聴者を引き付けることです。 唯一の方法は、サービス認識のパラダイムを変更することでした。 天気予報セクションだけでなく、他のすべての競合他社よりも天気を予測できる完全に新しいサービス。 Yandexだけではありません。 天気」、「ヤンデックス。 Meteum ''-家や地域に正確な予測を作成できるシステム。



問題は、最終製品がフィードバックの評価と受信の点で複雑であることです。 予測の質を確認するのは誰ですか？ ユーザーのフィードバックはどのように評価されますか？ 私たちの場合、消費者は最終製品の品質を評価できないため、何でも「煮詰める」ことができます。 すべての予後のサイトのユーザーは、このトリックをつつきます。



したがって、Meteumを立ち上げるための情報キャンペーン全体は、反科学的な茶番のように見えます。 Yandexは3年間、客観的な数値を提供していません。 正当化に関する単一のレポートを見たことはありません。



すべての数字は次のようになりました。

「私たちの推定によると（この地域には独立したメーターはまだありません）、今日の天気予報は、私たちが知っているすべての競合他社よりも正確です。 たとえば、24時間の気温予測は、最も近い競合他社よりも35％低くなっています。」

これは絶対的な嘘です。 理由を説明します。 年が1960年であった場合、この声明は完全に公平でしたが、現在では短期的な予測はすでに一定の上限に達しました。 闘争は興味のためであり、10分の1パーセントですらあります。 たとえば、ロシアの水文気象センターのデータによると、 2017年のロシアの1日の気温の予測精度は93％でした。 私たちは、地元の水文気象センターの天気予報官によって与えられたそれらの予報について話している。 予測サイトおよびコンピューターモデルの精度は、85％から95％の範囲です。 ここには35％はありません。



これは科学の世界でどのように起こりますか？



Yandexがすべての競合他社よりも優れた革新的な製品を作成できたとしましょう。 このテクノロジーを世界に紹介してください。 Yandexチームに、作成したものを全世界に見せましょう。 科学ジャーナルの記事から始めてみませんか？ 製品には実際に商用コンポーネントが含まれているため、すべてのカードを公開する価値はないかもしれないことを理解していますが、この製品が実際に機能する場合にのみ問題はありません。



科学的な予測手法はすべてテスト段階を通過します。 通常、実験用のノウサギはアーカイブデータです。 場合によっては、1年または数年のデータを収集してから、記事を公開する必要があります。 その後、予測は実際の気象観測所のレポートと比較されます。 予測フィールドは実際のフィールドに対応しています。 パラメーターの質量が計算されます：算術平均温度誤差、平均絶対温度誤差、相対誤差、パーセント単位の正当化。 次に、運用テストの結果に基づいて、特別な方法論委員会が決定を下します-この予測方法の使用を推奨するか、拒否します。



そして今、Yandex開発者への質問。 このデータはどこにありますか？ これらの記事と研究はどこにありますか？ 「我々は最も正確な予測を持っています、私たちを信頼してください」と彼らはYandexで述べています。 表示するものはありません。 自慢することは何もありません。





数字はありますが、表示しません。 ドキュメントがありません。



アンサンブルおよびマルチモデルの予測



最近、天気予報のアンサンブルの間で、マルチモデルおよび複雑な予報が大きな人気を得ています。 これはどういう意味ですか？ まず、少しの理論。 すべての予測の主な情報源はコンピューターモデルです。 土壌から成層圏の上層までの地球の大気全体をシミュレートするプログラム。 モデルの主な食べ物は、すべての可視および不可視スペクトル範囲の衛星データです。 地上局からのデータは、予報の品質にそれほど大きな影響を与えなくなりました。 気象観測所レイヤーがモデルから除外されている場合、品質は7％低下し、衛星データが除外されている場合、35-40％低下します。 世界には11のグローバルモデルと、さらに12の地域モデルがあります。



コンピューターモデルは非常に複雑です！ すべての州が独自の質的モデルを作成できるわけではありません。 たとえば、国内PLAVモデルは、世界モデルのランキングで8番目の位置を占めています。 存在しますが、実際には使用されません。



このため、ほとんどのサイトおよびアプリケーションは2〜3モデルのみを使用しています。 それ以外はすべて、内部データの処理と解釈の問題です。 たとえば、現在の最良のモデルは、欧州中距離天気予報モデル（ECMWF）です。 このモデルでは、Foreca、intellicast、Gismeteoを使用します。 しかし！ 先ほど言ったように、予測処理は、生のモデルファイルを「研磨」する内部パターンに帰着します。 ギスメテオは誰よりもそれを悪くし、Intelicastはそれを良くします。 次はこれを確認する数字です。



さて、それを整理しました。 コンピューターモデルの1つの実行は、「現状のまま」の原則に基づいた純粋に決定論的な予測です。 決定論的予測の主な問題は、初期データのエラーであり、バタフライ効果につながります。 最も小さな初期障害は、中期的には大きなエラーにつながります。 この問題を解決するために、科学者はアンサンブル予報を開発しました。 通常の確定的な予測を想像してください。 擬似乱数ジェネレータを使用して、この予測に人為的なエラーが導入されます。





アンサンブル予報。 アメリカのモデルGFS。 20メンバー。



そして、それはさらに20または50回行われます。 次に、初期データのエラーに対する予測の感度を確認できるグラフが作成されます。 確定的予測で10日後に温暖化が発生し、20人のアンサンブルメンバーがダウンした場合、つまり冷却が行われた場合、この期間の確定的予測は誤っています。



しかし、科学者はさらに進んだ。 予測が1つのモデルに基づいて構築されたのではなく、すぐに数十個になったときに、決定論的予測を同期し、 マルチモデル予測を作成し始めました。





meteoblue Webサイトでのモスクワの複数モデルの予測。 11モデル



たとえば、7つのモデルは5日後に降水量を生成し、3つのモデルは乾燥した天気を予測します。 したがって、降水確率は70％です。 一緒に、アンサンブル予報も見ることをお勧めします。



そして今、私たちは本質に到達しました。 水文気象センターはどのようにしてYandexを回避しましたか？



包括的な予測



2014年、ロシアの水文気象センターの流体力学的短期予測部門の責任者と名誉ある気象学者Alexei Bagrovは、彼のチームとともに、 生の予測データを処理するためのシンプルだが基本的に新しい統計スキームを開発しました。 「気象と水文学」誌の「地表気象値の包括的予測」というタイトルの記事に掲載されました。



テクニックの本質はシンプルですが、これはその優位性です。 包括的予測は、含まれるモデルの結果の統計処理によって得られます。 同時に、気温、風、露点については、対応するモデルと駅の実際のデータの過去20日間の予測のアーカイブが使用され、降水量については1年間同様のアーカイブが使用されます。 計算は、ステーションごとおよびリードタイム予測ごとに個別に実行されます。



さらに簡単にするために、Bagrovは、地元の気象観測所からの実際のデータに基づいて、最良のモデルの予測に対する統計的調整を実行することを提案しています。 この手法については、記事自体で詳しく説明しています 。 ここでは、いくつかの重要なポイントに焦点を当てます。 最高温度と最低温度の計算は、過去5日間または3日間の誤差を考慮して実行されます。 たとえば、過去5日間で、モデルは温度を平均2度過小評価していたため、この誤差を最後の予測に含め、予測を最も可能性の高い値に安定させる必要があります。 したがって、予測は、過大表示または過小表示の方向の以前の偏差に基づいて、自動的に修正されます。



4年間、予測はテスト段階にありました。 2018年9月に、テスト結果がJournal Russian Meteorology and Hydrologyに掲載されました。 簡単に言えば、研究の結果はここで発表されます 。 ロシアの水文気象センターの方法論室のウェブサイトで、4年間すべての予報が公開されたことに注意します。 ロシアの224都市について計算されました。 毎月、正当化レポートが発行されました。 彼らは今日まで出かけ続けています。



控えめで静か-より良い予測を作成しました



ロシアの水文気象センターは、他の誰にもできないことをしました。 7つの異なる予測サイトの予測を自動的に収集し、その精度を分析しました。 以下は、モスクワ、サンクトペテルブルク、ヤクーツクの2016年1月から2017年6月までの1.5年間のデータです。





都市別の最低気温（a）および最高気温（b）の予測の平均絶対誤差：2016年1月1日から2017年6月30日までのモスクワ、サンクトペテルブルク、ヤクーツク。ウェブサイト予測：1-Meteoinfo.ru; 2-Gismeteo.ru; 3-フォボス（meteovesti.ru）; 4-Rp5.ru; 5-Yandex.ru; 6-Intellicast.com; 7-包括的な予測バグロフ。



私たちはまさにその本質に到達しました。 データから、日中の気温の最初の日に、Yandexはすぐに3つのリソースを巡回することがわかります：meteoinfo、intellicast、Bagrovの包括的な予測。 後者は1〜2日間で最も低いエラーを示しています。 インテリキャストと包括的な予測が3〜4日間続いています。 Yandexは3ポジションのみです。



Runetで最も人気のあるGismeteoはそれほど正確ではないことに注意してください。 初日は、2度の平均誤差が大きいです。 評価の反リーダーはサイトmeteovesti.ruです



これ以上最新のデータがないとは思わないでください。 2018年の初めに、セクション「さまざまなインターネットサイトの予測の評価」がロシアの水文気象センターの方法論室のウェブサイトに掲載されました。 このセクションでは、47都市のデータを個別におよび一緒に公開しています。



多くの人は、これは時代遅れのデータであると言うかもしれませんが、新しい10月の説明責任報告書はすでにあります。 勉強します。 ETRの27都市のサンプルを取得します。







Yandexの1日の1日の気温予報は、インテリキャストの精度と包括的な予報で匹敵します。 次の2〜5日間、IntellicastはYandexをわずかにバイパスします。 夜の気温の予測では、Meteumはわずかに悪いです。 初日には、meteoinfo、intellicast、および包括的な予測という3つのサイトがバイパスします。 翌日、トレンドは続きます。 6日目に、Yandexはintellicastとmeteoinfoを追い越します。



アジア地域では、分布はほぼ同じです。 ほとんどすべての場合、Yandexは、3つのmeteoinfo、intellicast、complexをバイパスします。 多くの人がmeteoinfoの公式ウェブサイトが価値ある正確さを提供していることに気づいています。 はい、そうです。 現在、WebサイトはREP（天気要素の計算）と呼ばれる独立した統計モデルのデータ処理スキームを使用しています。 このスキームは悪くはありませんが、包括的な予測よりもやや悪いです。 冬には、彼女は夜間冷却をあまり予測しません。 これらのデータ処理スキームはすべて、独自のYandexが作成されるずっと前に発明されたという事実に注目します。 メテウム。



出力と表示の問題



定性的な予測を作成するだけでは不十分です。素人向けに適切に表示する方法を学ぶ必要があります。 ユーザーが天気予報サイトにアクセスすると、最初に10日間の予報を見て、気温の変化の全体像を把握します。 しかし、温度を見てもう少し深く掘ると、多くのニュアンスが開きます。 たとえば、サイトでは日中は+15度になると書かれていますが、温度チャートを開くと、これらの+15が夜間になり、日中は気温が下がることがわかります。 この状況は、日中より夜間の方が暖かい場合の温度逆転と呼ばれます。 ここで最高温度と最低温度を導出する問題は、昼と夜を分割せずに、時系列全体から最小値と最大値が取得されることです。 素人の観点から-これはデマです。 すべてのサイトは罪を犯します。 最高気温は、季節、気象条件、気象観測所の座標に応じて、通常08〜20時間に固定されます。 季節と気象条件に応じて、20〜08時間の最小値が観察されます。 これは気象日と呼ばれます。 たとえば、 モスクワのVDNKhにある主要な気象観測所は、最高気温21時間、最低9時間を送信します。

以下では、時系列全体からではなく、厳密に設定された間隔で最高温度と最低温度をキャプチャすることが重要な場合の、非典型的な温度挙動の状況を引用しました。 条件が満たされない場合、定性的な予測にもかかわらずユーザーはだまされます。







もう1つの問題は、数年前にYandexが長期予報のために気候データを提供し始めたことです。これは完全に正しいとは限りません。 Yandexは、過去7年間、生のCFSRコンピューター再分析（NCEP）ファイルを使用することを決定し、小規模な気候サンプルを作成しました。 今、彼らは10年の平均期間に切り替えましたが、状況は変わりません。 また、サイトにはパラメータ「降水確率」が表示されました。これは、コンピュータの再分析に基づいて過去10年間にわたって同様に計算されましたが、深刻な問題があります。 コンピューターの再解析では、冬の対流性降雨と小雪のモデル化が非常に不十分であるため、Yandexは0％の確率を与える可能性があり、気象観測所によると50％でした。 。 したがって、コンピューターの再分析ではなく、気象観測所でデータを平均する方がより正確です。 私はYandexに手紙を書いて、「私たちはユーザーの申し出のリストにそれを追加しました（アドバイスに注意してください）。 当社の専門家は、サービスへの変更を準備する際に常にこれらのアイデアに精通しており、可能な限りそれらを考慮に入れるよう努めています。 6か月後、何も変わっていません。





生き続ける（s）



また、Yandexは10年間の平均データではなく、長期気候モデルCFSv2の予測を使用することを提案しました。 1日に4回更新され、9か月前の予測を考慮します。 もちろん、平均10年または月平均データの取得について話している。 ただし、これは実際の予測であり、履歴情報ではありません。 たとえば、現在、このモデルでは、ロシアのヨーロッパ地域の11月が暖かく乾燥していることがわかります。



Yandexが予測マップを大々的に展開しているのを見るのは特に面白かったが、その時点でearth.nullschool.net、windytv.com、ventusky.comはすでに存在していた。 これらのサービスは、さまざまなモデルに関する何倍もの情報を提供します。 Yandexは、それらとの主な違いは、精度が高いことだと書いています。 まあまあ。







夜間冷却の問題



現在、総観気象学では、高気圧性空冷の条件下で夜間の温度を予測する問題は依然として深刻な問題です。 問題は何ですか？ 問題は、そのようなシノプティックな状況ではほとんど常にコンピューターモデルが温度を上げることです。 たとえば、クルガンでは、ほとんどの予測によると、夜には温度が-30度に下がります。明確になり、圧力が上昇し、高気圧の中核がその地域を通過します。 冷却のための理想的な条件。 しかし、実際には、最小値は-35〜-37度に低下する可能性があります。 YandexがMeteumを立ち上げたとき、私は最終的にこの問題を解決できると思いました。 しかし、すでに、冬のヤンデックスは冷房条件で夜の温度を上げ続けています。 現時点では、この温度を適切に計算できるモデルは世界に2つしかありません。 最初はカナダのGEMモデルです。 2つ目は北米のNAEFSです。 他のシノプティックの状況では、これらのモデルは何も目立たないため、天気予報担当者としての私の仕事は、これらのモデルを適切なタイミングで予報に含め、適切なタイミングで予報から除外することです。 Bagrovの包括的な予測は、正確には地元の気象観測所に基づいた統計的調整により、冷却にも対応しています。



おわりに



得られたデータから、Meteumテクノロジーを使用したYandexの温度予測は、すでに実証済みの予後サービスと比較して例外的な結果を示さないことを非常に自信を持って言うことができます。 それどころか、Yandexはロシアの水文気象センターの方法論室のウェブサイトで公開されている、intellicast、meteoinfo、Bagrovの包括的な予測などのリソースよりも品質が劣っています。 最悪の気象サービスはGismeteoとmeteovesti.ruです



科学はありますが、マーケティングはあります。 1つは、高い精度の場合、目標を達成することです。 別の目的は、利益と、素人にとって実用的な意味を持たない想像上の肥大化した成果を得ることです。 はい、水文気象センターはYandexのような広告予算と能力を持っていない州の組織ですが、主なことは、お金ではなく科学を創造できる人々がまだそこにいるということです。