Kaggle：アリューシャン列島でアシカがネットでどのように考慮されたか

こんにちは同僚！

6月27日、 NOAA Fisheries Steller Sea Lions Population Countの航空写真でアシカ（Stellerアシカ）を数えるためのKaggleコンテストが終了しました。 385チームが参加しました。 私たちが挑戦に参加し、（ほぼ）勝利したという話をあなたと共有したいと思います。

少し叙情的な余談。

多くの人がすでに知っているように、Kaggleはデータサイエンスでオンラインコンテストをホストするためのプラットフォームです。 そして最近、コンピュータービジョンの分野からますます多くのタスクがそこに現れ始めました。 私にとって、このタイプのタスクは最も楽しいです。 また、Steller Sea Lions Population Countコンテストもその1つです。 写真に関するディープラーニングの基本を知っている読者の期待を込めてナレーションを行います。そのため、多くのことは詳しく説明しません。

あなた自身についてのいくつかの言葉。 私はドイツのハイデルベルク大学の大学院にいます。 私はディープラーニングとコンピュータービジョンの分野で研究を行っています。 私たちのグループCompVisのページ。

Kaggleランキングコンテストに賞品で参加したかった。 当時私たちの研究グループで実践的なトレーニングをしていたDmitry Kotovenkoも、この件に関して私に衝撃を受けました。 コンピュータービジョンコンペティションに参加することが決定されました。

当時、私はKaggleの競技会に参加した経験がありましたが、メダルや経験値（ランキングポイント）を与えなかった非評価の競技会にのみ参加しました。 しかし、ディープラーニングを通じて画像を操作した経験はかなり豊富でした。 一方、 DimaはKaggleでのランキングコンテストの経験があり、銅メダル1個を獲得しましたが、コンピュータービジョンの仕事を始めたばかりです。

医療画像での子宮癌の予測 、アマゾンの森林からの衛星画像の分類、航空写真でのアシカの計算の3つの競争の難しい選択に直面しました。 前者は視覚的にあまり良くない写真のために破棄され、2番目と3番目の間に、3番目がより早い期限のために選ばれました。

問題の声明

過去30年間にわたってアリューシャン諸島西部（米国所有）でのステラーアシカの個体数の大幅な減少により、NOAA Fisheries Alaska Fisheries Science Centerの科学者は、無人機の航空写真を使用して個人の数を絶えず記録しています。 その時まで、個人は写真で手動で数えられていました。 毎年NOAA Fisheriesが撮影した何千枚もの写真のアシカの数を数えるのに、生物学者は最大4か月かかりました。 この競技の目的は、航空写真でアシカを自動計算するアルゴリズムを開発することです。

すべてのアシカは5つのクラスに分けられます。

1. adult_males-成人男性（ ）、
2. subadult_males-若い男性（ ）、
3. adult_females-成人女性（ ）、
4. 少年 -十代の若者たち（ ）、
5. 子犬 -カブス（ ）

948個のトレーニング写真が提供されます。各写真には、各クラスの個人のグラウンドトゥルース数がわかっています。 18,641個のテスト画像のそれぞれについて、クラスごとに個人の数を予測する必要があります。 これは、データセットの一部の例です。

さまざまな解像度の写真：4608x3456から5760x3840。 上記の例からわかるように、品質と規模は非常に多様です。

リーダーボード上の位置は、すべてのテスト画像とクラスで平均化されたRMSEエラーによって決まります。

ボーナスとして、主催者は、異なる色のドットでマークされたステラーアシカのトレーニング画像のコピーを提供しました。 各色は特定のクラスに対応していました。 これらのすべてのポイントは、誰かが手動でマークしました（生物学者が願っています）。それらは常に動物の中心にはっきりとはありませんでした。 つまり、実際には、単一のポイントが与えられた場合、各個人の大まかな位置があります。 こんな感じです。

_{^{（ベストフィッティングの画像クレジット）}}

Stellerアシカの最も一般的なクラスは女性（ ）、10代（ ）とカブス（ ）

問題

ここでは、データおよびタスク全体で発生した問題を簡単にリストします。

• マークアップのうるささ。 すべてのアシカがすべてのトレーニング写真にマークされているわけではありません（多くの場合、生物学者は水中で泳ぐものを見逃しました）。
• クラスadult_malesとsubadult_males 、 adult_femalesとjuvenilesのペアの間には明確な分離はありません。 女性がどこにいるのか、ティーンエイジャーがどこにいるのか、常に目で理解できるとは限りません。 大人と若い男性と同じ問題。 「どのようにマークアップしたのか」という質問に対して、NOAAの生物学者はフォーラムで、クラスは行動特性によってのみ区別されることが多いと答えました。 たとえば、大人のオスは多くのメスに囲まれていることが多く（アシカはハーレムに住んでいます）、若い、まだ成功していない若者は、誰からも遠く離れて孤独なハドルを強いられます。
• カブスは湿った石と区別するのが難しい場合があります。 彼らは他の個人よりも何倍も小さいです。
• マスクのセグメンテーションなし-動物の大まかな位置。 オブジェクトのセグメンテーションへの正面アプローチは適用されません。
• 一般的に画像のさまざまなスケール。 トレーニングイメージのスケールは、目で見るとテストテストのスケールよりも小さくなっています。
• ランダムなオブジェクト（人ではない）をカウントするタスクは、科学記事ではあまり取り上げられていません。 通常、誰もが写真に写っている人を数えます。 動物について、特にいくつかのクラスから、出版物は見つかりませんでした。
• 高解像度の膨大な数のテスト画像（18641）。 予測には、1台のTitan Xで10〜30時間かかりました。
  
  さらに、テスト画像の大部分は、参加者が手動でテストに注釈を付けるのを避けるためだけに追加されました。 つまり、それらの一部の予測は最終スコアに影響しませんでした。

どうやって決めたの

ドイツでは、ロシアと同様に、今年は5月1日の素晴らしい週末でした。 土曜日から月曜日までの自由な日々は、タスクに突入し始めるのにこれまで以上に必要でした。 競争は1か月以上続きました。 すべては、 ディマ・コトヴェンコと私が土曜日に条件を読んだことから始まりました。

第一印象は矛盾していた。 多くのデータ、そのような問題を解決する方法は確立されていません。 しかし、これは関心を高めました。 すべてが「stack xgboost 」ではありません。トップ100に入り、銅メダルを獲得するという、ささやかな目標を設定しました。

最初の3日間は、データ処理とパイプラインの最初のバージョンの作成に費やされました。 ある良い男、 Radu Stoicescuは 、トレーニング画像上のポイントを座標とStellerアシカクラスに変換するカーネルをレイアウトしました。 これに時間を費やす必要がなかったのは素晴らしいことです。 私が最初に提出したのは、開始後わずか1週間でした。

グラウンドトゥルースマスクがないため、セマンティックセグメンテーションではこのタスクを真正面から解決することはできません。 ラフマスクを自分で作成するか、弱い監督の精神で訓練する必要があります。 もっとシンプルなものから始めたかった。

オブジェクト/人の数を数える作業は新しいものではなく、同様の記事を探し始めました。 いくつかの関連する作品が見つかりましたが、すべてCrowdNetを数える人々 、 完全畳み込みの群衆カウント 、 深層畳み込みニューラルネットワークを介したクロスシーンの群衆カウントについてです 。 それらはすべて、 完全な畳み込みネットワークと回帰に基づいた1つの共通のアイデアを持ちました。 私は似たようなものから始めました。

指で数える群衆のアイデア

各クラスのヒットマップ（2Dマトリックス）を予測する方法と、各クラスの値を加算してクラスオブジェクトの数を取得できるようにする方法を学習します。

これを行うために、Grount Truthヒットマップを次のように生成します。各オブジェクトの中央にガウスを描画します。 これは、ガウス積分が1であるため便利です。トレーニングセットから各画像に対して5つのヒットマップ（5つのクラスごとに1つ）を取得します。 こんな感じです。



クリックして拡大

異なるクラスのガウス分布の標準偏差を目で見てください。 男性の場合-より多く、カブの場合-より少ない。 ニューラルネットワーク（以下、畳み込みニューラルネットワークと呼びます）は、256x256ピクセルの断片（タイル）にカットされた画像を受け取り、タイルごとに5つのヒットマップを吐き出します。 損失関数は、予測されたヒットマップとグラウンドトゥルースヒットマップの差のフロベニウスノルムです。これは、ヒットマップの差をベクトル化して得られたベクトルのL2ノルムに相当します。 このアプローチは、 密度マップ回帰と呼ばれることもあります。 各クラスの個人の総数を取得するために、出力で各ヒットマップの値を要約します。

方法	パブリックリーダーボードRMSE
ベースライン1：どこでも0を予測	08/29/704
ベースライン2：電車のどこでも平均を予測する	26.83658
私の密度マップ回帰	25.51889

密度マップ回帰に基づく私のソリューションは、ベースラインよりも少し良く、25.5をもたらしました。 どういうわけか非常にそうではありませんでした。

ビジョンタスクでは、ネットワークが生成したものを目で見ると非常に役立ちます。 私はそれをやった。 ネットワークの予測を調べました。1つを除くすべてのクラスでゼロに縮退しています。 動物の総数はどこでも予測されましたが、すべてのアシカはネットワークによって同じクラスに属していました。

記事で解決された元の問題は、群衆の中の人々の数を数えることでした。つまり、オブジェクトのクラスは1つだけでした。 密度マップ回帰は、おそらくマルチクラスタスクには適していません。 そして、オブジェクトの密度とスケールの大きな変化によって、すべてが悪化します。 L2を損失関数に変更してL1に変更し、クラスを計量しましたが、これは結果に大きく影響しませんでした。

L2とL1の損失関数は相互に排他的なクラスで何か間違ったことをし、ピクセルごとのクロスエントロピー損失関数がより良く機能するという感じがありました。 これにより、ピクセルごとのクロスエントロピー損失関数を使用して個人をセグメント化するようにネットワークをトレーニングするアイデアが得られました。 グラウンドトゥルースマスクとして、以前に取得したオブジェクトの座標の中心に正方形を描きました。

しかし、新しい問題がありました。 セグメンテーションから個人の数を取得する方法は？ ODSチャットで、 コンスタンチンロプキンは、マスクでカウントされた一連のフィーチャのアシカの数をxgboostを使用して回帰することを認めました。 しかし、ニューラルネットワークを使用してすべてをエンドツーエンドで実行する方法を考え出したかったのです。

それまでの間、私はクラウドカウントとセグメンテーションを行っていましたが、 Dimaはオレンジ色のシンプルなアプローチを採用しました。 彼はImagenetの分類について訓練されたVGG-19を受け取り、ステラーアシカの数を予測するために彼女に罰金を科しました。 彼は通常のL2損失関数を使用しました。 それはいつものように判明しました- メソッドが単純であればあるほど、結果は良くなります。

それで、通常の回帰がその仕事をし、うまくいくことが明らかになりました。 セグメンテーションのアイデアは、より良い時代まで喜んで遅れました。 回帰のためにVGG-16をトレーニングすることにしました。 最後に、5つのクラスのアシカに回帰用の出力レイヤーを追加しました。 各出力ニューロンは、対応するクラスの個体数を予測しました。

パブリックリーダーボードのRMSE 20.5で突然トップ20に入りました。

この時点で、目標設定は小さな変更を受けています。 照準はトップ100では意味がなく、少なくともトップ10では意味があることが明らかになりました。 これはもはや達成不可能とは思えませんでした。

テストサンプルでは、​​多くの写真が異なる縮尺であり、アシカが電車より大きく見えたことが判明しました。 Kostya Lopukhin （これに感謝します）は、ODSのスラックで、各次元のテストイメージが2倍減少すると、パブリックリーダーボードが大幅に増加したと書いています。

しかし、 ディマも頑固ではなく、彼はVGG-19で何かをひねり 、写真を縮小し、16の速度で2位になりました。

ネットワークアーキテクチャとハイパーパラメーターの選択

_{^{（コンスタンチン・ロプヒンの画像提供）}}

損失関数を使用すると、すべてが明確になります。 より深いネットワークで実験を開始する時間です。 彼らはVGG-19、ResnetV2-101、ResnetV2-121、ResnetV2-152および重砲-Inception-Resnet-V2を使用しました 。

Inception-Resnet-V2は、Googleによって発明されたアーキテクチャで、 Inceptionアーキテクチャ（inceptionブロック）とResNetアーキテクチャ（残留接続）のトリックを組み合わせたものです。 このネットワークは以前のものよりかなり深く、この怪物はこのように見えます。

_{^{（research.googleblog.comからの画像）}}

記事「Inception-v4、Inception-ResNet、および学習への残留接続の影響」で、 Googleの連中は、このアーキテクチャがアンサンブルを使用せずに当時のImagenetの最先端を提供したことを示しています。

アーキテクチャ自体に加えて、私は整理する必要がありました：

• 入力タイルのさまざまなサイズ：224x224〜512x512ピクセル。
• 畳み込み層後のプーリングのタイプ： 合計プーリングまたは平均プーリング 。
• 最終前の追加FC層の数：0、1、または2。
• 追加のFCレイヤーのニューロン数：128または256。

最良の組み合わせは、 Inception-Resnet-V2-BASE + 平均プーリング + 256ニューロンのFCレイヤー+ ドロップアウト + 5ニューロンの最終FCレイヤーでした。 Inception-Resnet-V2-BASEは、元のネットワークの最初の畳み込み層から最後の畳み込み層までの部分を示します。

最適な入力タイルサイズは299x299ピクセルでした。

画像増強

写真をトレーニングするために、CVからのタスクに対して典型的な一連の増強を行いました。

適用される各タイルについて：

• 左から右、上から下へのランダムフリップ。
• 90度の倍数の角度でのランダムな回転。
• ランダムスケーリング0.83-1.25倍。
  
  これはかなり滑りやすいトラックであるため、色を増強しませんでした。 多くの場合、アシカは色だけで風景と区別できます。

テスト時間の増強は行いませんでした。 すべてのテスト画像での予測にはすでに半日かかっていたからです。

物語の続き

ある時点で、 ハイパーパラメーターとネットワークアーキテクチャを整理している間に、 Dima Kotovenkoとチームを組みました。 その瞬間、 私は 2位、 ディマは3位でした。 中国人を誤った方向にそらすために、チームは「DL Sucks」と呼ばれました。

誰かがメダルを取るのは不誠実だからチームを組んだ。 ディマと私たちは積極的に決定を議論し、アイデアを交換したからだ。 Kostyaはこのイベントに非常に満足しており、私たちは彼に賞を贈りました。 4日から彼は3日目になりました。

競争の最後の3-4週間、私たちは公開リーダーボードの2位でそれぞれ開催され、それぞれ1/10、ハイパーパラメーターとスタッキングモデルの徹底的な検索により速度を改善しました。

すべてのテスト画像を2倍に削減するように思われました-行き当たりばったりでした。 ネットワークが各画像をどのように拡大縮小するかを予測できるように、すべてを美しく行いたいと思いました。 ディマはこのアイデアに多くの時間を費やしました。 要するに、彼は写真からアシカのスケールを予測しようとしました。これは、撮影中のドローンの高度を予測することと同等です。 残念ながら、時間が足りず、私たちが遭遇した多くの問題のため、これは完了しませんでした。 たとえば、多くの写真にはアシカが1匹だけ含まれており、スペースのほとんどは海と石です。 したがって、常に岩や海だけを見るとは限らず、どの高さから写真が撮影されたかを理解することは可能です。

締め切りの数日前に、すべての最良のモデルを収集し、24のニューラルネットワークのアンサンブルを作成しました。 すべてのモデルは、前に説明した最高のInception-Resnet-V2アーキテクチャを備えていました。 モデルは、どの程度積極的に画像を増強したか、どの程度のテスト画像で予測が行われたかが異なるだけでした。 異なるネットワークからの出力を平均しました。

DL Sucksチームは、パブリックリーダーボードの2位でコンペを終えました。私たちが「インザマネー」だったので、喜ぶことしかできませんでした。 私たちは、すべてがプライベートリーダーボード上で変化し、一般的にトップ10から外れることがあることを理解しました。 4位と5位にはかなりのギャップがあり、これが自信をつけました。 リーダーボードの状況は次のとおりです。

1位10.98445 アウトランナー （中国語1）

2位13.29065 We（DLサックス）

3位13.36938 コスティア・ロプキン

4位14.03458ベストフィッティング（中国語2）

5位14.47301 LeiLei-WeiWei（2人の中国人のチーム）

最終結果を待つために残った...

そして、あなたはどう思いますか？ 中国人が私たちの周りを回りました！ 2位から4位になりました。 まあ、何もありませんが、金メダルを獲得しました;）

結局のところ、最初の場所は別の中国人、アルファグースのアウトランナーによって撮影されました。 そして、彼は私たちのような決定をしました。 クラスごとに個人の数を予測するために、1024個のニューロンの完全に接続された層を追加してVGG-16をトレーニングしました 。 彼を最初の場所に導いたのは、思春期の数がその場で50％増加し、女性の数が同じ数だけ減少し、カブの数が1.2倍になったことです。 そのようなトリックは私たちにいくつかのポジションを上げるでしょう。

場所の最終的な位置：

1位10.85644 アウトランナー （中国語1）

2位12.50888 コスティアロプキン

3位13.03257（中国語2）

4位13.18968 We（DLサックス）

5位14.47301他の2人とチームを組んだDmitro Poplavsky （ODSスラックでも）

他のソリューションについての一言

合理的な質問-検出器を訓練してから、各クラスの境界ボックスを計算することは可能ですか？ 答えはイエスです。 一部の人はそれをやった。 Alexander Buslaev （13位）がSSDをトレーニングし、 Vladimir Iglovikov （49位） -Faster RCNNをトレーニングしました 。

ウラジミールの予測の例：

_{^{（ウラジミール・イグロヴィコフの画像提供）}}

このアプローチの欠点は、写真のミノカサゴが互いに非常に密に横たわっている場合、非常に間違っていることです。 また、いくつかの異なるクラスの存在も状況を悪化させます。

UNetを使用したセグメンテーションに基づいたソリューションには、 コンスタンチンが2位になる場所もあります。 彼は、各アシカの中に描いた小さな正方形を予測しました。 次に-タンバリンと踊る。 予測されたヒットマップに基づいて、 Kostyaはさまざまな特徴（指定されたしきい値を超える領域、ブロブの数と確率）を計算し、それらをxgboostに供給して個人の数を予測しました。

_{^{（コンスタンチン・ロプヒンの画像提供）}}

彼のソリューションの詳細については、 youtubeを参照してください 。

3位（ベストフィッティング）では、ソリューションはUNetにも基づいています。 彼について簡単に説明します。 男は3つの画像のセグメンテーションマスクに手動でマークを付け、別の100の画像でUNetをトレーニングし、マスクを予測しました。 これらの100個の画像のマスクを手で調整し、それらのネットワークを再トレーニングしました。 彼によると、これは非常に良い結果をもたらしました。 ここに彼の予測の例があります。

_{^{（ベストフィッティングの画像クレジット）}}

マスクされた個体の数を取得するために、彼は形態学的操作とブロブ検出器を使用しました。

おわりに

したがって、最初の目標は少なくともトップ100に入ることでした。 目標を達成し、さらにそれを超えました。 多くの異なるアプローチ、アーキテクチャ、および拡張が試行されました。 単純な方法の方が良いことが判明しました。 そして、奇妙なことに、ネットワークの場合は、深いほど優れています。 ドーピング後のInception-Resnet-V2は、クラスごとの個人数を予測するようにトレーニングされており、最良の結果が得られました。

いずれにせよ、短時間で新しい問題に対する優れたソリューションを作成するのに役立つ経験でした。

大学院では、主に教師なし学習と類似学習を研究しています。 そして、私にとっては、毎日コンピュータービジョンをやっていますが、私の主な焦点とは関係のない新しいタスクを扱うのは面白かったです。 Kaggleを使用すると、さまざまなディープラーニングフレームワークをよりよく学習して実際に試すことができ、よく知られているアルゴリズムを実装して、他のタスクでどのように機能するかを確認できます。 Kaggleはレビューに干渉しますか？ それが心を妨害するのではなく、むしろ助けるとは考えにくい。 彼は十分な時間がかかりますが。 私はこのコンペティションの背後に週に40時間を費やし（2番目の仕事のように）、毎日夕方と週末にそれを行ったと言えます。 しかし、それは価値がありました。

読んでくれた人、あなたの注意と今後の大会での成功に感謝します！

---

私のKaggleプロフィール： Artem.Sanakoev

Kaggleのソリューションの簡単な技術説明： リンク

Githubソリューションコード： リンク