Avito広告で車のナンバープレートを隠す理由と方法

こんにちは 昨年末に、Avitoアナウンスカードの写真にナンバープレート番号を自動的に隠すようになりました。 これを行った理由と、そのような問題を解決する方法については、記事を読んでください。

挑戦する

2018年のAvitoでは、250万台の車が販売されました。 これは1日にほぼ7000です。 販売するすべての広告には、イラスト-車の写真が必要です。 しかし、その上の州番号によって、車に関する多くの追加情報を見つけることができます。 また、一部のユーザーは自分でナンバープレートを閉じようとします。



ユーザーがナンバープレート番号を非表示にする理由は異なる場合があります。 私たちは、彼らがデータを保護できるように支援したいと考えています。 そして、ユーザーの販売と購入のプロセスを改善しようとしています。 たとえば、匿名番号サービスは長い間私たちと協力してきました。車を販売すると、一時的な携帯電話番号が作成されます。 さて、ナンバープレート上のデータを保護するために、写真を匿名化します。

ソリューションの概要

ユーザーの写真を保護するプロセスを自動化するには、畳み込みニューラルネットワークを使用して、ナンバープレートでポリゴンを検​​出します。

現在、オブジェクトの検出には、2つのグループのアーキテクチャが使用されています。たとえば、2段階ネットワーク（Faster RCNNとMask RCNNなど）。 シングルステージ（シングルショット）-SSD、YOLO、RetinaNet。 オブジェクトの検出は、対象のオブジェクトが内接する長方形の4つの座標の派生です。







上記のネットワークは、写真内のさまざまなクラスの多くのオブジェクトを見つけることができます。これは、ナンバープレートの検索問題を解決するためにすでに冗長です。なぜなら、私たちの写真の車は通常1つだけであるためです、しかし、これは非常にまれにしか発生しないため、これは無視できます）。



これらのネットワークのもう1つの機能は、デフォルトで、座標軸に平行な辺を持つ境界ボックスを生成することです。 これは、アンカーボックスと呼ばれる一連の定義済みの長方形フレームが検出に使用されるために発生します。 より具体的には、最初に畳み込みネットワーク（resnet34など）を使用して、画像から属性のマトリックスを取得します。 次に、スライディングウィンドウを使用して取得した属性のサブセットごとに、分類が行われます。kアンカーボックスのオブジェクトがあるかどうか、および位置を調整するフレームの4つの座標に対して回帰が実行されます。

詳細についてはこちらをご覧ください 。







その後、さらに2つのヘッドがあります。







オブジェクト（犬/猫/植物など）を分類するもの、

2番目（bboxリグレッサー）-オブジェクトの面積とフレームの面積の比率を高めるために、前のステップで取得したフレームの座標の回帰用。



回転したボクシングフレームを予測するには、bboxリグレッサーを変更して、フレームの回転角度も取得する必要があります。 これを行わないと、どういうわけか判明します。







2段階のFaster R-CNNに加えて、RetinaNetなどの1段階の検出器があります。 前のアーキテクチャとは異なり、オブジェクトを含む可能性のある画像のセクションを提案する予備段階なしで、クラスとフレームを即座に予測します。 回転したマスクを予測するには、ボックスサブネットのヘッドも変更する必要があります。







回転バウンディングボックスを予測するための既存のアーキテクチャの一例はDRBOXです。 このネットワークは、Faster RCNNのように、地域の提案の予備段階を使用しないため、1段階の方法を修正したものです。 このネットワークをトレーニングするために、特定の角度で回転するK（境界ボックス（rbox））が使用されます。 ネットワークは、ターゲットオブジェクト、座標、bboxサイズ、回転角度を含むK rboxのそれぞれの確率を予測します。







アーキテクチャを変更し、検討中のデータネットワークの1つを回転境界ボックスで再トレーニングすることは、実現可能なタスクです。 しかし、私たちのネットワークの範囲はずっと狭く、ナンバープレートを隠すだけなので、目標はより簡単に達成できます。

したがって、数の4つのポイントを予測するための単純なネットワークから始めることにしました。その後、アーキテクチャを複雑にすることが可能になります。

データ

データセットのアセンブリは、車の写真を収集し、ナンバープレートでエリアをマークするという2つのステップに分かれています。 最初のタスクはインフラストラクチャで既に解決されています。Avitoに配置されたすべての広告を慎重に保存します。 2番目の問題を解決するために、Tolokaを使用します。 toloka.yandex.ru/requesterでタスクを作成します。

タスクは車の写真を与えられました。 四角形を使用して車のナンバープレートを強調表示する必要があります。 この場合、状態番号はできるだけ正確に割り当てる必要があります。

Tolokaを使用して、データをマークアップするタスクを作成できます。 たとえば、検索結果の品質の評価、さまざまなクラスのオブジェクト（テキストと写真）のマークアップ、ビデオのマークアップなど。 これらは、Tolokaユーザーがお客様が請求する料金で実行されます。 たとえば、私たちの場合、トローカーは写真の車のナンバープレートで埋め立て地を強調する必要があります。 一般に、大きなデータセットをマークアップするには非常に便利ですが、高品質を得るのは非常に困難です。 群衆の中には多くのボットがいます。そのタスクは、ランダムに答えを出すか、何らかの戦略を使用してお金を稼ぐことです。 これらのボットに対抗するために、ルールとチェックのシステムがあります。 主なチェックは、コントロールの質問の混合です。Tolokiインターフェイスを使用してタスクの一部を手動でマークアップし、それらをメインタスクに混合します。 コントロールの質問でマークアップがよく間違われる場合は、マークアップをブロックし、マークアップを考慮しません。



分類の問題については、マーキングが間違っているかどうかを判断するのは非常に簡単です。また、領域を強調表示する問題については、それほど簡単ではありません。 古典的な方法は、IoUをカウントすることです。







この比率が複数のタスクの特定のしきい値よりも小さい場合、そのようなユーザーはブロックされます。 ただし、2つの任意の四角形の場合、特にTolokではJavaScriptでIoUを実装する必要があるため、IoUの計算はそれほど単純ではありません。 小さなハックを作成しました。小さな近所のソースポリゴンの各ポイントに、スクライブでマークされたポイントがあれば、ユーザーは間違っていなかったと考えています。 また、応答の早いユーザー、キャプチャ、多数意見との不一致などをブロックするクイックレスポンスルールもあります。 これらのルールを設定すると、かなり良いマークアップが期待できますが、本当に高品質で複雑なマークアップが必要な場合は、フリーランサー-スクライブを特に雇う必要があります。 その結果、データセットは4kのマークされた画像になり、Tolokではすべて28ドルかかりました。

モデル

次に、ネットワークを作成して、エリアの4つのポイントを予測します。 resnet18を使用して標識を取得し（resnet34の場合は11.7Mパラメーター対21.8Mパラメーター）、4つのポイント（8座標）への回帰のヘッドを作成し、写真にナンバープレートがあるかどうかの分類のヘッドを作成します。 車のすべての写真ではなく、車の販売の広告では2番目の頭が必要です。 写真は車の細部である場合があります。







もちろん、私たちと同様に、検出する必要はありません。



境界ボックス（0,0,0,0,0,0,0,0,0）を含むナンバープレートのない写真と、分類器の値「ナンバープレートのある/ない写真」をデータセットに追加することにより、2つの目標を同時に訓練します。 1）。



その後、次の損失の合計として、両方の目標に対して単一の損失関数を作成できます。 ナンバープレートポリゴンの座標への回帰では、滑らかなL1損失を使用します。







これは、引数の絶対値が大きい場合はL1と同様に動作し、引数の値がゼロに近い場合はL2として動作するL1とL2の組み合わせとして解釈できます。 分類には、ソフトマックス損失とクロスエントロピー損失を使用します。 特徴抽出プログラムはresnet18で、ImageNetで事前にトレーニングされた重みを使用します。その後、データセットで抽出プログラムとヘッドをさらにトレーニングします。 このタスクでは、Avitoのコンピュータービジョンのメインフレームワークであるmxnetフレームワークを使用しました。 一般に、マイクロサービスアーキテクチャを使用すると、特定のフレームワークに縛られることはありませんが、大規模なコードベースがある場合は、それを使用して同じコードを再度記述しないことをお勧めします。



データセットの品質が許容範囲内になったので、デザイナーに依頼して、Avitoロゴ付きのナンバープレートを入手しました。 もちろん最初は自分でやろうとしましたが、あまり美しくありませんでした。 次に、Avitoライセンスプレートの明るさを、ライセンスプレートのある元の領域の明るさに変更する必要があり、画像にロゴを重ねることができます。

製品で起動

結果の再現性、プロジェクトのサポートおよび開発の問題は、バックエンドおよびフロントエンド開発の世界で多少のエラーで解決されましたが、機械学習モデルを使用する必要がある場合は未解決のままです。 おそらく、レガシーコードモデルを理解する必要がありました。 readmeに、ソリューションの基になった記事またはオープンソースリポジトリへのリンクがあると便利です。 再トレーニングを開始するためのスクリプトはエラーで失敗する場合があります。たとえば、cudnnバージョンが変更され、そのバージョンのtensorflowはこのバージョンのcudnnでは動作しなくなり、cudnnはこのバージョンのnvidiaドライバーでは動作しなくなります。 トレーニングのために、データに従って1つのイテレータを使用し、実稼働環境で別のイテレータを使用した可能性があります。 そのため、しばらく継続することができます。 一般に、再現性の問題が存在します。



モデルをトレーニングするためにnvidia-docker環境を使用してそれらを削除しようとします。これにはcudaに必要なすべての依存関係があり、Pythonの依存関係もそこにインストールします。 データ、拡張、および推論モデルに応じたイテレーターを備えたライブラリーのバージョンは、トレーニング/実験段階および実稼働で一般的です。 したがって、新しいデータでモデルをトレーニングするには、リポジトリをサーバーにポンプで送り、ドッカー環境を収集するシェルスクリプトを実行する必要があります。 内部には、トレーニングとテスト用のすべてのノートブックがありますが、環境によるエラーで間違いなく失敗することはありません。 もちろん、1つのtrain.pyファイルを用意することをお勧めしますが、実際には、モデルが与えるものを常に目で見て、学習プロセスで何かを変更する必要があることが示されているため、最終的にはまだjupyterを実行します。



モデルの重みはgit lfsに保存されます-これはgitに大きなファイルを保存するための特別な技術です。それ以前はアーティファクトを使用していましたが、git lfsを使用する方が便利です。 自動テストはモデルの推論用に作成されているため、合格しないウェイトを使用してサービスを展開することはできません。 サービス自体は、kubernetesクラスターのマイクロサービスインフラストラクチャ内のdockerで開始されます。 パフォーマンスを監視するには、grafanaを使用します。 ローリング後、新しいモデルを使用してサービスインスタンスの負荷を徐々に増やします。 新しい機能を展開するとき、a / bテストを作成し、統計テストに基づいて、機能のさらなる運命について評決を出します。



その結果、私たちは個人所有者向けの自動カテゴリの広告で数字のグロスを開始しました。数字を隠す1つの画像の処理時間の95パーセンタイルは250ミリ秒です。