Kaggle：イギリスの衛星画像。 3位になった経緯

このテキストは、美しいグラフィックと豊富な専門用語を備えた基本的なアイデアの乾燥した絞りではないことをすぐに予約しますライセンス、著作権など）（UPD： https : //arxiv.org/abs/1706.06169 ）。 残念ながら、すべての詳細が解決されるまで、このタスクのために作成したコードを共有することはできません。 すべてが落ち着く方法-この問題に対処するようにしてください。 （UPD： https : //github.com/ternaus/kaggle_dstl_submission ）



したがって、このテキストは、一方ではすべてが真実であり、他方では叙情的な余談や他のギャップが豊富であるため、ハイテクであると考えるのではなく、むしろ有用でエキサイティングな動機に基づく可能性が高い物語ですフィクション。その目的は、競争力のある機械学習の分野でタスクを処理するプロセスがどのように発生するかを示すことです。 さらに、テキストにはKaggleに固有の多くの語彙が含まれており、途中で何かを説明しますが、たとえば、ガチョウに関する質問は解決されません。



数週間前にKaggleで、別のコンピュータービジョンのコンテストが終了しました。 すべての努力にもかかわらず、 セルゲイ・ムシンスキーとのチームで、私たちはまだ3位に終わりました（元のマーシャル計画はトップ50に留まることでした）、それによって私たちはイギリス国防省によって割り当てられた賞金の削減に関与しました。 3人の勝者は100,000ドルを共有します.1位はマレーシアのカイル （5万ドル）、2位はロマン・ソロヴィヨフとアーサー・クジンのチーム（3万ドル）、3位は私とセルゲイ・ムシンスキー （2万ドル）です。 副作用として、私は世界ランキングでトップ100に入りました。もちろん、これは誰にも迷惑をかけませんが、履歴書への快適な追加です。



本文の後半では、データサイエンティストをコードワード「サイエントロジスト」と呼びます。これは、一方ではデータサイエンスと基礎科学との深いつながりを強調し、もう一方は、 Slack'e Open Data Scienceの標準的な新語学です。単に「チャット」と呼ばれます。



私が現在住んでいるシリコンバレーのサイエントロジストの間では、Kaggleでの成功はほとんど決して引用されておらず、賞金の受け取りを期待することはかなり大胆な動きです。したがって、競技に参加するための唯一の真の動機は、プロセスで得られた知識です。 数ヶ月前に似たようなテキストを書いたときに非常に興味深い人ですが、 別のタスクについて、私は競争力のある機械学習のコンテキストで動機付けの問題に全体の紹介を捧げました。これは職業です。



多くの競技があり、十分な空き時間がなく、さらにモニターとキーボード以外の生活がまだ存在しているため、計画プロセスは非常に厳しいことに注意してください。



Kaggleの各競技は、原則として約3か月かかり、同時に一度に行われます。 主催者は時間内にそれらをシフトしようとしているので、締め切りの開始順に競技が並べ替えられ、次に終了するタスクに取り組んでいるとき、私のテクニックは非常に良いことが証明されました。



プラスから、終わり近くで、フォーラムは実りある議論でいっぱいになります。これにより、何が機能して何が機能していないかをチェックする時間が大幅に短縮されます。価値のあるものを提供するために、そのようなアプローチではトップ10に入るのは非常に困難です。いずれにしても、私は一度だけ成功しました。



しかし、確認するつもりはなかったので、このアプローチにより、機械学習を適切に支払われたポジションSrを見つけるのに十分なレベルまで引き上げることができました。 データサイエンティスト。機械学習が仕事によく使用されます。



これはすべて素晴らしいですが、ニュアンスがあります。 古典的な機械学習は素晴らしいですが、ニューラルネットワークははるかに楽しく、仕事中の昼間は生産で機械学習を使い、夜はディープラーニングに関するあらゆる種類のスマートブックと記事を読んでいるという事実は不十分です。 とにかく、私はDeepMindに行きたいと思っていますが、今そこに提出すると、誰も私の履歴書を見ることができないという仮説があります。なぜなら、私の記事はすべて機械学習ではなく理論物理学にあるからです。トライトは、インタビューの質問に正しく答えるのに十分な知識を持っていない可能性があります。



シンプルなアイデアを明らかにするために、このすべての歌詞を離婚しています：ディープラーニングコンペティションをハックし、このディープラーニングで興味深い仕事を見つけたい場合、それは非常に必要であり、これは短時間でニューラルネットワークを操作する方法を学ぶための最も効果的なオプションです。



昨年の夏、ImageNetにこだわって、すぐにインフラストラクチャが準備されていないことが明らかになりました。記事の作者が意図的または偶然に黙っていることについて、些細なことが常に出てきますが、それについて知っておく必要があり、さまざまなフレームワークの機能を知っています私が望むほど良くありません。



秋の間、Kaggleには毎秒データリークが発生するという興味深いタスクがあったため、観客は機械学習の代わりにオーガナイザーの手の曲がり具合を利用することに従事していましたが、冬が始まるとカードが私に行きました。 過去2か月間、経験豊富な数千人​​のKagglerが12月に6つのディープラーニングコンペティションを開催し、賞金総額が$ 1,475,000になったことに驚きました。 いつものように、xgboostのメガネに行く必要はもうありません。GPU/クラウドにお金をかけ、快適ゾーンを離れ、頭を伸ばし、ニューラルネットワークで作業を開始する必要があります。



これらの6つのコンペティションの最初のものは、まさに私がこれから話し続けるタスクでした。

問題の声明

データは英国国防総省の研究室から提供され、ナイジェリアのジャングルの合計450枚の衛星画像と合計450枚の面積 $$$km ^ 2$ 。 これがナイジェリアであるという事実は、卒業後に学んだ。 オーガナイザーはデータを十分に匿名化したので、私たちにとっては地形に関係のない単なる写真でした。 競争の目標は、生産に挿入できるコードを取得し、アフリカの村でミサイルを大胆に狙い始めることだとは思いません。 むしろ、それは「タスクを送信し、ポップコーンを取り、これらのサイエントロジストが何をするかを見る」シリーズ、つまり通常の概念実証からのものでした。 彼らはその結果に非常に満足していたので、 自分のKaggleのコピーを撮影しました。



画像のセグメンテーションの古典的な問題とは対照的に、このタスクでは、各画像は多数のスペクトルチャネルで利用できます。 さらに、これらのチャネルは異なる解像度を持ち、時間と空間にシフトがある場合があります。







出力では、ピクセルごとにピクセルクラスを予測する必要があります。 クラスは相互に排他的ではありません。つまり、同じピクセルが自動車、この自動車が通る道路、およびこの自動車と道路にかかっている木に属することができます。



合計で、それらは非常に不均一に分布する10のクラスに属することを予測する必要があり、これらの分布でさえ列車とテストで異なり、さらに多くのクラスが少なく、一般的に車が少なくなります。









前述のように、すべてのデータは26個の列車セット画像（マスクが利用可能）と、マスクを予測する必要がある425個のテストセット画像に分割されます。 テストセットは、Kaggleの最高の伝統で2つの部分に分けられました。

• 19％-公開テスト
• 81％-プライベートテスト

競争が進行中の3か月間は、パブリックのモデルの精度がわかり、競争が終了すると、最終結果はプライベートパートに従って計算されます。

メートル法

精度は、すべてのクラスの平均Jaccardインデックスとして計算されました。つまり、電車で判断した場合、フィールドを持つピクセルは6万倍以上であるという事実にもかかわらず、フィールドはマシンと同じ貢献をしました。

$$

$$スコア= \ frac 1 {10} \ sum_ {i = 1} ^ {10} jaccard_i = \ frac 1 {10} \ sum_ {i = 1} ^ {10} \ frac {A_i \ cap B_i} {A_i \カップB_i}$$

それはすべて見た目が悪いように見えます。つまり、衛星画像ではなく、超音波スキャンについてであり、道路や家についてではなく、神経を見つけるための同様のタスクを考えると、タスクは非常に簡単です。私はすでに働いていました。 しかし、一般的に、技術的な観点から、これはそのままの画像セグメンテーションです。

ニュアンス

あらゆる競争、および一般的な機械学習タスクの場合、最も重要な最初のステップは、生データの取得、クリーンアップ、キャッシュ、何かのトレーニング、検証および提出準備を行うパイプラインを作成することです。 通常、Kaggleが非難されることが多く、データは多かれ少なかれクリーンであり、すべてが非常に単純であり、主要な問題はフィーチャエンジニアリングとモデルトレーニングの段階で発生しますが、英国軍は英国の異国情緒を追加しました。

問題1

オーガナイザーが私たちのためにマークしたものを見ていますが、どうすればいいのかわかりません。 ニューラルネットワークをトレーニングするには、終了するための行列(height, width, num_channels)



が必要ですが、取得方法については少しも理解されていません。



すべて次のようになります。



'MULTIPOLYGON (((0.005311 -0.009044999999999999, 0.00531 -0.009035, 0.00531 -0.009024000000000001, 0.005318 -0.009018999999999999, 0.005327 -0.009016, 0.005341 -0.009016, 0.005356 -0.009017000000000001, 0.005372 -0.009023, 0.005375 -0.009031000000000001, 0.005375 -0.009044999999999999, 0.005311 -0.009044999999999999)), ...







一部のポリゴン、および多くの非整数番号。 私たちはフォーラムに登りますが、いつものように、希望する変換を実装するコードを共有してくれた親切な魂がいます。

第二の問題

適切な検証は90％の成功です。 ImageNetでは、これは問題ではありません。主催者は完全な配布を適切に表すサブサンプルを選択し、参加者に提供します。 とにかく、非常に多くの写真があるので、ほとんどすべてのサブサンプルがうまく機能します。 Kaggleでは、物事は通常異なります。 データのバランスが取れており、ローカル検証がリーダーボードに表示されるものと一致する場合がありますが、これはルールではなく例外です。 今後、私たちは、おそらく他のすべての人と同様に、結果の検証に関する問題を解決しなかったと言えます。 Roman Solovyov （彼のチームは2位に終わった）には、相互検証のある種のシステムがありましたが、私はそれにある程度の懐疑心をもっています。



アイデアは、写真がほとんどなく、まったく異なる領域に対応しているということです。 つまり、Train、Public、およびPrivateは3つの異なる分布であり、強い相関関係がありますが、それでも上の写真でわかるように異なっています。

問題3

神は検証で彼女を祝福します、最初の提出に到達するために、彼女はオフにすることができます。 私はUnetのセグメンテーションタスクの標準的な主役を務め、その場でバッチを形成してインフラストラクチャ全体を記述し、 D4グループ変換で増強し、一度に10クラスすべてを予測するネットワークをトレーニングします。



訓練された。 かっこいい。 それで何？ 次の問題は、予測自体の作成方法です。 ネットワークは、3600x3600の画像から112x112のサイズのランダムクロップでトレーニングされました。この段階では、大きな画像を小さな画像にカットし、予測し、エッジ効果を正しく処理し、すべてを収集するインフラストラクチャを作成する必要がありました。 これは退屈なものですが、簡単なものですが、後で判明したように、私もそれを台無しにしました。

問題4

かっこいい。 私はすでに提出に近づいていると感じており、大きな写真ごとにマスクを作成できます。 しかし、これでは十分ではありません。 Kaggleはポリゴンの形で予測を受け入れ、移動中にマスクをポリゴンに追い越すことは簡単な作業ではありません。 フォーラムに登ります。 ある種のコードがあります。 ねじ込みます。 提出物を収集しています-サイズは4Gbです。 私はそれをサイトにアップロードし、ダウンロードは長く続き、何かが数え始め、投稿は機能しません。 私はフォーラムに登っていますが、すでにこの問題がインテリジェントに議論されているブランチがありますが、マットはありません。 提案されたソリューションのいくつかを提出にねじ込んでいますが、ファイルはまだ2Gbであり、それでもまだたくさんありますが、ダウンロードした方が良いです。今回は、ダウンロードが非常に長い時間の2倍の速さで、何かが回転し始め、画面上でここにそのような大容量のメッセージがあります。











そして今、すべての動きの後に一ヶ月が過ぎましたが、私は最初の提出をしませんでした。 プロセス全体と並行して、夜ではなく有料の仕事の枠組み内でこの分野の知識を悪化させ、自由時間を殺すために、ディープラーニングに焦点を当てた仕事を探し始めたことは注目に値します。 「Kaggleは子供向けであり、データが充実しているため、コードを記述する必要はありません。Hornsand Hoovesにあるようなものではありません。」 そして、多くの点で彼らは正しいですが、このようなキャラクターを打つための頭の衛星画像に関するこのタスクの文脈では、もちろん、私はしたかったです。



だから、私は苦しみます。 いまいましいことは判明せず、どこを掘るかは明確ではありません。 私はネットワーク上で多くの罪を犯しました、彼らは私を刈っていると言います。したがって、壊れたポリゴンのエラーは予測が不十分であるためです。サブミット内のポリゴンは非常に断片化されており、大きなサブミットサイズになり、さらにポリゴンには何らかの誤った形式があり、間違いに。 そして、これすべての月で私はスクロールに失敗しました。 私だけでなく、参加者の大多数も同様の成功を収め、多くの人がこのオーバーヘッドで苦しむことを望まず、魚と肺がんの 分類におけるより単純な競争を非難したという事実につながったことに注意する必要があります。 卒業の1か月前に、リーダーボードには約200人が参加しましたが、サンプル提出よりも高いのは50人だけでした。



それで、私たちは何が欲しいですか？ 衛星画像のセグメンテーションのタスクで多くの知識を得る。 しかし、私たちには何がありますか？ はい、私たちが持っているものではなく、いくつかのネットワークでのコードの束は、それらがどのように機能するかを理解していません。



30日が残り、この期間中に何かがくっつくためには、騎士を動かす必要があり、それは成功裏に実行されました。 チャットルーム（オープンデータサイエンスのスラックチャネル）にはkaggle_crackersルームがあり、理論的には、現在および過去の機械学習タスクについてのインテリジェントなディスカッションがあります。 実際には、「ここにエラーがあります、誰が遭遇しましたか？」モードで、このタスクについて積極的に質問し始めました。 チャット参加者の1人、つまり単純な残忍な男Kostya Lopukhin （非常に強力なDLカルテットの一部として5番目に終わりました）が、私は散らかってつまずき、OpenCVのドキュメントを細かくカットし、マスクからポリゴンに転送するための正確かつ高速なコードを書きました。これにより、適切なサイズの提出を行うことができました。これは、競争全体にとってのターニングポイントであり、画期的なことです。 実際、これはすべて始まりました。 この機能は参加者の90％が使用しました。実際、Kostaがなければ、イギリス軍はKaggleを提出する代わりにサイエントロジストに座って誓います。



私は関数を台無しにし、提出し、0を得て、リーダーボードの最後の場所を得ました。 これはオーガナイザーの別のフェイントに関連していました：匿名化に使用されたいくつかの濁った係数があり、それらを考慮する必要があり、それらを考慮した後、私のネットワークは非常に適切であり、結果を与えたことが判明しましたトップ10％。 送信エラーの問題は、ポリゴンを爆破することで解決されました。これは、Kaggleコードは非常に鋭い角を持つポリゴンを好まないためです。嘘をついていない場合、 Alexander Movchanがこのソリューションを提案しました。



一言一言、プロファイルチャネルでのこのタスクの議論は、特に誰もがお金のために働いているが、誰もが自由時間や無料でやりたいと思っていないすべての不健康なエンジニアリングが明らかになったときに、このタスクを興味深いと感じる人々を引き付け始めました、乗り越えられます。



2番目のランドマークイベントは、 アーサークジン （ Roman Solovyovとのチームで2番目に終了）がAvitoのアナリストが指をしていないことを示し、今では谷からサイエントロジストにハイクラスを見せ、 Kaggleでカーネルを開始し、end2endソリューションを発行したときに起こりましたつまり、データをクリーンアップし、モデルをトレーニングして予測を行います。これにより、数百人がこの問題の解決に参加しました。



このケースのために別のチャンネルが作成され、 アーサーはカググルで伝説的なZFTurboとして知られ、ロシアでは設計局の控えめな研究者として知られるチャットルームにローマソロヴィヨフを招待しました。 また、 Alexey Noskovがチャットルームに参加しました。 どうやら、彼は1月に終了したOutbrain Click Predictionコンテストのチームで2位になった後に招待されたようです。 私の将来のパートナーであるセルゲイ・ムシンスキーも、シベリアの雪の中でブルドーザーを蹴るのをやめることを決め、コードを読み、文献を読みました。 Andrei Stromnovについても言及したいと思います。AndreiStromnovは、コンペティションには参加しませんでしたが、主題分野に精通していたため、衛星画像の操作の詳細について多くのことをアドバイスしてくれました。



チームは引き締められ、エンジニアリングを理解し、3週間が残りましたが、何があったのでしょうか？



ローカルで検証する方法は完全に不明です。 ホールドアウトセットで5枚の写真を撮って検証に使用する標準的な方法-私は本当に心配しました、それは私たちが電車、検証、パブリックおよびプライベートを持っているという事実につながったためです-これらは4つの異なるディストリビューションであり、すでに小さな電車をトリミングしていますしたかった。



Sasha Movchanは別の方法を提案しました-各写真から一片を噛み砕き、そこから検証を振りかける。 理論的には、トレーニングと検証が同じ分布からのものであることが保証されているため、これは優れていました。 しかし、これはもちろん解決策ではありません。テストはまだかなり異なっていたからです。



最終的に、誰もが自分の何かを思いついた。 ローマンはコンピュータリソースを5倍も節約しませんでした。コスティアとアレクセイは検証のためにいくつかの写真を選びました。80枚の写真があるという事実に動機付けられ、パブリックリーダーボードを信じた人がいます。



Sergeyと私はワーカーピーマンソリューションを使用し、検証はまったく使用しませんでした。 列車の損失がプラトーに達するまで訓練しました。 その後、テスト全体、マスクと写真を並べて予測が行われました。









そして、これはすべて目を通して見られました。 一方では、コードの明らかな欠陥を見つけることができました。たとえば、私のネットワークは写真の端に沿って均一な層を持つ家を追加するのが好きでした。これはUnetに関する元の記事で使用されたのと同じ方法で決定しました。つまり、元の写真の最も近い領域のパディングを行います。



または上の写真で：

• 家や道路の真ん中に池が予測されました。
• あちこちにある説明できないアスファルト道路。 ポリゴンの最小面積に応じて、後処理段階でフィルタリングできます。
• アスファルト道路の予測のギャップ- 形態変換により修正を試みることができます。

また、False PositiveまたはFalse Negativeで何をしていたのかを理解し、2値化のしきい値を調整することもできました。 視覚的には良いと思われた後、予測がリーダーボードに送信されました。 一方では、このアプローチはルール違反です。たとえば、テストを見るのはロースタイルですが、もう一方では人生であり、私たちは絶望からそれをしました。 職場では、Human In the Loopなしの機械学習は犯罪であるため、時々手動でレビューを行います。



検証についてまとめると、私が見たものから、私たちのアプローチは最も信頼できるものです。



私たち全員が答えを得ようとした次の質問は、車やトラックを捕まえる方法です。 それらには2つのクラスがあります。つまり、最終結果の20％がそれらにあります。 車の主な問題は、数が少なく、それぞれがアスファルトの数ピクセルであり、ヒンズー教徒でマークされていることです-車がマークされていない場所、車の代わりにゴミ箱があり、1つに異なるバンドがあります数秒の間隔で同じ写真を撮影できるため、車が動いている場合は、異なる場所で同じ写真に簡単に車を入れることができます。









これは同じトラックです。



他のチームはさまざまな有効性のソリューションを使用していましたが、私たちのチームは再び簡単な方法でそれを行うことにしました。私たちは車を獲得し、これで間違いなく負けていることに気付きました。 おそらく今、ローカリゼーションの問題に関するスキルと知識を大幅に向上させたとき、私は違った行動をとっていただろうが、その瞬間には、これが正しい決断だったように思えます。



このコンペティションが持っていた別のニュアンスは、サブミット形式とメトリックでした。これにより、個々のクラスの予測を行い、リーダーボードでこれが何に対応するかを確認することができました。 一方で、これにより参加者はサイレントモードに移行でき、他方では、予測のより正確な評価が可能になりました。 クラスは非常に異なるため、一度にすべてを予測すると、進捗を測定することが非常に困難になります。 これらの理由から、クラスごとに予測を行うようになり、次のようなピボットプレートが出現しました。









次に、これにより、結果が大幅に改善されると信じている人々の間でチームが形成されました。 最初に、アーサーとロマンは、アレクセイ、 コスティア 、およびdeepsystems.ioのメンバーの後、チームに集まりました 。 その後、セルゲイと私はチームを結成しましたが、タイムゾーンが非常に異なっていたため（アンガルスク-サンフランシスコ）、一種の交代制勤務だったため、非常に便利でした。



標準的な技術的な質問：使用するネットワークは？ 各記事は、彼らが最先端であると主張しており、彼らが嘘をつかない場合、この最先端は他のデータに基づいており、彼らの経験は必ずしも転送されません。 文献から使用できるものとそうでないものを評価するには、適切な検証が必要ですが、上記のように、それは存在しませんでした。 私たちが議論したすべての記事は、ある種のクリーンなビッグデータで動作しますが、私たちが取り組んだこのナイジェリアの中傷のようなものはありませんでした。



そしてもちろん、セグメンテーションの問題を理解している人には、「後処理にCRFなど、記事YのXを使用したことがありますか？」または「Zネットワークアーキテクチャを試しましたか？セグメンテーション？」。 ほとんどの場合、答えはイエスです。立方メートルの文学をシャベルし、コードに多くのアイデアを具体化してチェックしましたが、誰もがすべてを試したモードではなく、このように：誰かがそれを試したが、うまくいかず、他の人と共有しました、彼らはその時点ですでに負けていませんでした。



RGB画像でシンデレラとチェブラーシカをピクセルごとに区別する必要がある標準のセグメンテーションタスクとは対照的に、さまざまな範囲の多くの入力チャネルがあり、これを何らかの方法で考慮する必要がありました。 単純なオプションは、すべてを1つの大きなサンドイッチに接着してトレーニングする（ローマがそうする）か、アーサーがやったように、さまざまな入力でトリッキーなネットワークを作成することですか？ ネットワークを信頼するか、昔ながらの方法、つまり、インデックスによるセグメンテーションを使用してネットワークを支援しますか？ RGBをどうするか？ RGBサテライトは生成しません。 低解像度のMバンドは、高解像度のPバンドと混合され、タバコのピンチが追加され、RGBが得られます。 Vladimir Osinの 最初のカーネルで示されました。



私たちのチームはこれを行いました。ウラジミールオシンの2番目のカーネルに基づいたインデックスを通じて、速い水と遅い水を見つけました。



残りのクラスについては、RGB、P、Mを収集し、4つの追加インデックスを追加しました。 拡張植生指数（EVI） 、 正規化差分水指数（NDWI） 、 キャノピークロロフィル含有量指数（CCCI） 、 土壌調整植生指数（SAVI） 。 これらのすべてのインデックスは新しい情報を追加しないため、ネットワークはそれを把握しているはずですが、属性間に2次相互作用を追加するとAllstateタスクの勾配ブースティングにどのように役立つかを念頭に置いて、このブースティングはより高いレベルのインタラクションで見つける必要がありますが、追加されました。









ご覧のとおり、この写真ではインデックスを通る水は非常に良好であるため、マルチスペクトル衛星画像が撮影され始めて以来、同様の手法が使用されています。



その後、これはすべてツイストUnetの入力に送られました。 Unetは次のようなものです。





（ 元の記事の写真では、少し違っていました（BatchNormalizationを追加し、ReluをEluに置き換え、切り取りを変え、フィルターの数を変更しました）が、概念的にはUnetもAfrica Unetにありますが、ここでは多くをまとめることができます。興味深い例として、 ティラミスネットワークがあります 。このネットワークには高い期待が寄せられていましたが、どういうわけかアレクセイノスコフ以外には誰も行きませんでした。）



Trainの写真は非常に異なるため、このタスクでは大きな受容フィールドよりも大きなバッチの方が重要であるという不安定な印象があったため、112 x 112サイズの128の写真と各16チャンネルのバッチを使用しました。 つまり、マトリックス（128、112、112、16）をネットワーク入力に提供しました。



Sergeyは、96個の画像のバッチでGPUをチェックしましたが、うまくいきました。そのため、（96、128、128、16）を使用するのが理にかなっているかもしれません。



さらに言うと、異なるクラスは異なる受容フィールドと異なるチャネル数を必要としました。たとえば、フィールドは1つのMバンドで予測される可能性が高く、1.24 m /ピクセルの解像度で十分でした。 さらに減らすこともできます。 また、これらのフィールドが多数あるため、大きなバッチサイズは必要ありませんでした。



データがほとんどないため、トレーニング中に、D4グループ（正方形の対称グループ）からのランダム変換がバッチの各画像に適用されました。 他のチームはさらに小さな角度でターンを使用しましたが、私の手は届きませんでした、そしてそれなしでは、多かれ少なかれ機能しましたが、とにかくこれは十分ではありませんでした。



オプティマイザーとして、Nadamを使用し、学習率= 1e-3で400更新、その後学習率= 1e-4でさらに50時代の各ネットワークをトレーニングしました



損失の関数として、次の式を使用しました。

$$ $$表示$$損失= \左（\ mbox {binary_cross_entropy} \右）-ログ\左（\ frac 1 {10} \ sum_ {i = 1} ^ {10} \ frac {\ sum y_ {true} \回y_ {pred}} {\ sum y_ {true} + \ sum y_ {pred}-\ sum y_ {true} \ times y_ {pred}} \右）$$表示$$

同様の損失関数は、別のセグメンテーション問題でよく現れました。私たちの選択の背後にある直感はこれでした：一方では、各クラスに属する確率が必要です。したがって、binary_crossentropyはうまく表示され、他方では、メトリックはjaccardなので、損失関数にその近似を追加するのがいいでしょう。ボーナスとして、このような組み合わせは、ピクセルがマスクに属している確率からバイナリ値に駆動するときにしきい値を選択する段階での寿命を短縮しました。この損失関数を使用すると、0.3、0.5、0.7のどれを使用するかはそれほど重要ではなくなります。むしろ、違いがありますが、それは裸のbinary_crossentropyを使用する場合よりも小さくなります。



各完全畳み込みネットワークは、予測が中心から離れるときに精度を低下させるという点で罪を犯します。これは通常、エッジで予測をトリミングしたり、予測を重複させることで解決されます。両方しました。予測されたマスクごとに、16ピクセルがエッジで切り取られました。さらに、このようなモードでは、エッジ効果を部分的に削減したテスト時間の増加を使用しました。



たとえば、（3392、3472）にZeroPaddingを介して元の画像（3348、3396）を達成するために







このようなZeroPaddingモードでエッジを残すことはできません。この鋭いエッジはネットワークによって家の壁として認識され、家は周囲全体に均一な層で塗りつけられていることがわかりました。これは簡単に解決できます。すでに述べたように、Unetの元の記事では、この領域に元の画像からの反射を追加することでこれを解決しましたが、まったく同じことをしました。









この画像は、16ピクセルのオーバーラップで、112x112の交差部分にカットされます。1つの大きなバッチで収集され（実際には非常に大きく、1つの画像は3600x3600〜1800パッチ112x112）、予測され、解析されて大きな画像に戻ります。







しかし、それは悪化する可能性があります。元の大きな画像を反映/回転させ、予測を行ってから元の方向に戻すと、カットが少し異なっていたことがわかります。そして、これを異なる方向と平均に対して数回繰り返すと（この場合、幾何平均を使用します）、一方でエッジ効果の問題は部分的に閉じられ、もう一方で、実行したテスト時間の増加により分散予測が減少します鉄筋コンクリートは精度を少し高めます。



これにより精度が向上しますが、予測時間が大幅に長くなり始めます。テスト全体で5時間程度です。もう1つのことは、並列化できることですが、当時は自宅のコンピューターにTitanが1つしかなかったため、最終段階に近いタスクにテスト時間の拡張を使用するのが理にかなっています。まあ、それは非常に高価です。



予測を行いました。それだけですか？ もちろん違います。後処理のままです。たとえば、高速水から家のすべての予測を削除しようとすることができます。これは、家よりも信じられていることです。



その後、Kostina関数が適用され、送信エラーを処理し、すべてが快適になり、LeaderBoardでさらにポイントを獲得します。



簡単に言えば、ニューラルネットワークに関する決定の一部を要約すると、その週にYandexのMLトレーニングでアーサーが講演したときに得たもののようになる可能性があります。







過去数日間、全員がすでに精神的に疲れ果てていて、他の誰かが身体的に疲れきっていたとき（終わり近く、私は目覚まし時計で目覚めて、ネットワークのトレーニング、予測などを再開するために夜に数時間起きました）、私はパンではなく、眼鏡を望みました、このため、セルゲイはフォーラムにアーサーのスクリプトを投稿し、そこでバグを修正し、いくつかの改善を追加しました。ミハイルカメンシチコフは、このスクリプトのネットワークに既製の重みを寄付しました。そして、このスクリプトは、パブリックリーダーボードで0.42を生成しました。つまり、その時点で、420のうち30位になりました。景品は甘い言葉なので、人々はこのスクリプトをまとめて実行し始めました。 、プライベートリーダーボードではすべてがさらに悪化し、フリーローダーのチーム全体が100の場所を飛びました。



この場合、マイケルは即座にそのようなミームを生み出しました。









みんな疲れているのは私です。トップ10の人々はそこにとどまるかどうか疑問に思っています（別のKaggleマスター/グランドマスターアチーブメントの前提条件であるKaggleゴールドメダルアチーブメントを夢見ています）。すでにお金について。



最後に、トップ10のパブリックリーダーボードで：

1. 0.5858- カイル-マレーシア産アルファグース
2. 0.5569- Kostya Lopukhin、Alexei Noskov、Renat Bashirov、Ruslan Baykulovのカルテット
3. 0.5484- ローマン・ソロヴィエフ、アーサー・クジン
4. 0.5413- ドミトリー・シブレブスキー
5. 0.5413-オクテットdeepsense.io
6. 0.5345-アイアンバー-不明なスペイン人
7. 0.5338 — Kohei —
8. 0.5287 —
9. 0.5222 — Daniel FG — -
10. 0.51725 —

モスクワでは、3月7日の夜、パブリックリーダーボードのトップ10で、チームの半分はフレンドリーなチャットルームから参加しています。全員が午前中に3つ、結果の発表を待っています。衛星画像を巡るこの毎月の動きはすべて、参加者だけでなく、私たちがこの工学的混濁の貯水池の深byに飛び込もうとしない多くのファンの興味を刺激したことに注意する必要がありますeach死しないように互いに支え合う。私にとっては少し簡単です。タイムゾーンが異なるので、仕事で次のモデルを実稼働で台無しにし、議論を観察し、同時に参加しました。



3月7日午前3時、モスクワ時間、競争の終わり、皆が息を吹き込み、サイトを見ました-しかし、私は吐き出したくありませんでした。誰であれ、それがどんなものであれ、悪魔を望んでいますが、そうではありません。しかし、代わりに、管理者から丁寧な意見が寄せられます。

Dstlのリクエストにより、プレスリリースと同期するため、3月14日までプライベートリーダーボードを保留することをお知らせします。

チャティックはドリルで、うめき、呪われた感情をエッジに注ぎました。



1週間後、英国軍による「DstlのKaggleコンペティションは大きな成功を収めました」という強力なタイトルでプレスリリースが発表され、彼らがどのように感銘を受けたか、そしてどのくらいのお金を飲みましたか（2,500k）、Kaggeが支払った金額（コンテストを開催するための350k、賞品のための100k）、そして彼らは積極的かつ慎重に勝者の決定を分析すること。



そして少し後に、これらの受賞者が発表されました。トップ10では、カイルアルファグースのみが変更されずに残り、残りは少し混同されましたが、パブリックテストとプライベートテストが非常に異なっていたので、驚くことではありません。アーサーとローマは3位から2位に、セリョーガと私は8位から3位に、カルテットは3位を失って5位に、ドミトリーツィブレフスキーも2位を失いましたが、エフゲニーネクラソフは3位に上りました。



低い評価の人ははるかに強く投げ、+-100箇所で簡単に。たとえば、動き129 => 19（これは良いマップです）、または20 => 133（これは悪いマップです）。このような動きは、Train、Public / Privateが異なるディストリビューションである場合の典型的な例であり、運または正しい相互検証メカニズムがここで役立ちます。これは、「5 divそして、すべてが順調です」、しかし、数桁もより精巧であるという事実について。たとえば、競合する機械学習には、フォークを折り畳むときに適切なランダムシードを選択する方法を説明するテクニックがあります。これにより、モデルがまだ見たことのないデータの予測能力を高めることができます。



しかし、それにもかかわらず、この動きはすべて奇妙です。はい、パブリックLBオーバーフィットチームは、プライベートモデルの精度が同じになることを望んでいます。そして理論的には、そうする必要がありました。それは、電車と公共の場に25枚の写真があるからです-425の19％、つまり80です。そして、80は電車を食い止めることができるどんなホールドよりもはるかに多くです。 80枚のパブリック写真の精度は、鉄筋コンクリートではないが397個のプライベート写真に似ているが、かなり論理的であるという信念。



しかし、実際に何が起こったのか。競争後、管理者は実際には57の画像のみがマークされていることを認めました。イギリス軍は当初450枚の写真を持ち、データをマークアップするためにインド人を雇い、フォーラムの誰かがこの作業についての発表へのリンクを公開したという仮説があります。彼らはなんと57枚の写真をマークすることができました。しかし、競技を開始しなければならないので、彼らは騎士の動きをしました-電車で25枚、公共で6枚、プライベートで26枚、騒音のために397枚。つまり、これらの397枚の写真を予測しましたが、それらは考慮されませんでした。このようなトリックは、手動によるマーキングを防ぐのに十分な頻度で行われますが、通常、これは競技の開始前ではなく発表前に発表されます。そして、おしゃべりは再びうめき、うめき声​​と呪いでした。



締めくくりに、私は個人的に画像セグメンテーションのためのニューラルネットワークの使用についての知識を得たいと思います。 DLの記事とOpenCVのチュートリアルがあり、これらはすべてコードに具体化されています。さらに、他のセグメンテーションタスクに使用できるインフラストラクチャが記述されています。



機械学習の邪悪な問題をハッキングできる、そしてハックしたい非常に賢い人々のチームにアクセスできました。過去2年間、Kaggleに登録した後、私は大学院のクラスメート、職場の同僚、ミートアップグループSan Francisco Kagglersの共同設立者でさえもキャンペーンを試みましたが、まったく役に立ちませんでした。そして、カードがダウンしました。そしてそれは非常に重要です。



3位については、Kaggleの評価で55,000のうち67まで引き上げられました。これは、ディープラーニング指向の作品を見つけるのに少し役立つことを願っています。ところで、私たちがまだ受け取っていないお金は素晴らしいボーナスです。



うまくいかなかった：DLに直接関連する仕事はまだ見つかりませんでしたが、いくつかの会社と仕事をしています。しかし、そのプロセスに参加してオファーを受けることはまったく同じことではありません。魚（賞金150k）と肺がん（賞金100万ドル）についての2つの並行したコンテストが合格しました。つまり、これらのタスクからも知識もお金も受け取りませんでした。しかし、これは些細なことです。従来の方法またはディープラーニングのいずれかで実行できるすべてをセグメント化するタスクを見つけたという事実を背景にしています。



英国軍が手に入れたもの：彼らは概念実証を取得しました。衛星画像でマークアップを行うことができ、その競争は少額のお金に加えてPRを行う安価なオプションです。



既に述べたように、彼らはKaggleのバージョンを洗い流し、そこでいくつかの競技会を開始することさえしました。その 1つは衛星画像で車を識別することでした。確かに、英国政府のレベルでは、ロシアの市民は二流の人々と見なされているため、賞品を請求することはできませんが、中国人も同様です。



ソリューションは生産からどれくらい離れていますか？



データを追加したり、DLスペシャリストを雇用したり、トレーニングを行ったり、ヒューリスティックを強化したりすると、価値のある結果を得ることができます。しかし今のところ、我々の予測によると、おそらくイギリスのミサイルを指摘する価値はないので、ナイジェリアは平和に眠ることができます。



Kaggleのブログ投稿（Kaggleの碑文が入ったTシャツを贈ると約束しているようです）。それは英語で、より少ないダイナミクスを持っていますが、もう少し技術的な詳細- リンク。



まだテキストのこの部分にそれを作ったし、それはまだ十分ではありません人のために、ここにある動画へのリンクこの問題への彼の解決策、プラスについてアーサーYandexの公演で彼のポストHabréが。



からのビデオに加えてロマーナ（彼は興味深い視覚化を行うための専門的な変形を持っています。）







そして最後に、この問題を長く懸命に議論してくれたすべての人々に特別な感謝を申し上げたいと思います。良い方向にありました：セルゲイMushinskii、アーサーKuzin、コンスタンチンLopuhin、アンドリューStromnov、ローマソロビヨフ、アレクサンダーMovchan、アルテムYankov、ユージンNizhbitsky、ウラジミールOsin、アレクセイソックス、アレクセイ・ロマノフ、ミハイル・石工、Rasim Ahunzyanov、グレブフィラトフ、Egor Panfilov。



編集してくれたNastya bauchgefuehlに感謝します。