特性評価と画像比較：グローバル属性。 Yandexからの講義

今日は、画像の説明方法についてお話しします。 つまり、これまでのところ、主に画像から画像を取り戻す必要があるとき、および何らかの方法でそれを改善または変更するために画像で何ができるかについて、さまざまなタスクに取り組んできました。 本日から、可能な限り少ない数値特性のセットを使用して画像を記述する方法、つまり、 数値ベクトルとして表します。 さらに、このベクトルはできるだけ小さく、写真に示されているものを可能な限り最高に記述することが望ましい。



したがって、なぜこのような短いベクトルのセットの形で画像を記述する必要があるのか​​。 （聴衆から：-圧縮。）。 圧縮は別の問題です。 インデックス作成と検索。 つまり ピクセルごとに画像を比較するのではなく、互いに画像を比較します。これはあまり便利ではありません。2番目に、どういうわけか...、つまり 検索する類似性のトリッキーな指標、コンテンツの類似した画像が近くなるようにトリッキーなメトリックが常に存在します。



人間の目では1つのピクセルの違いを区別できないことは明らかです。 しかし、それでも、たとえば、写真の分類などの問題を解決できれば、私たちにとっては良いことです。 たとえば、特定のラベルセットがある場合：これらは、屋内の画像-ドア-英国文学で呼ばれるもの、または屋外-郊外、または何らかの風景、日没などです。 そして、完全に一致していなくても互いに共通のものがある写真であっても、1つの山に入れて単一のラベルでマークを付けます。 たとえば、これらの写真をここで検討する場合。 （私はそれらをペアで壊そうとしました）。 これらの2つの写真は、たとえば路面電車の場合よりも直感的に互いに似ており、このペアも多かれ少なかれこのペアであることが明らかです。ただし、共通点があります。 つまり たとえば、画像の検索などの問題を解決し、検索バーにトラムのある画像を検索するように記述した場合、何らかの画像または単語のセットがリクエストとして含まれる場合があります。 1つまたは別の種類の路面電車を表すすべての写真を返す必要があり、何らかの形で路面電車の注釈と一致する必要があります。 実際にこれを行う方法については、今日少しお話します。



そして、（英語）と呼ばれることもある、解析のイメージという、まだ別のタスクがあります。 さまざまなタグを画像に関連付けているという意味では、注釈タスクに少し似ています。 ただし、注釈とは異なり、注釈に画像全体を記述するタグを割り当てるタスクがある場合。 つまり、たとえば、空、道路、海がある写真について話している場合、これらのすべての注釈は、単にこの写真全体に帰属します。 その画像解析は、オブジェクト認識、つまり ここで強調する必要があります-これは機械ですが、同時にいくつかの対象物の説明だけでなく、晴れた日であるとも言えます。



これらの各タスクについてもう少し詳しく話してください。 コンテンツで画像を検索するタスクがある場合、つまり ピクセルの値、日付が不明、名前が不明、誰もこの画像に注釈を書いていない場合を除き、画像に関する他の情報が利用できない場合、通常、画像はそのようなシステムのリクエストとして表示されますサンプルであり、似たようなものを見つけたい場合、またはあなた（誰かが有能で才能がある場合）は、彼が理想的に見つけたい画像のスケッチを描きます。 画像の特定のコレクションがあります。 その後、実際には、データベース内の各写真とのリクエストのペア比較が行われます。 その後、検索結果が返されます。 類似度を使用して、元の指定された画像に近いことが判明した画像のみが選択されます。 実際には、これは完全に真実ではありません。 データベースに保存されている100万枚の写真とリクエストを比較する人はいません。 しかし、これについては少し後で説明します。 これが実際にインデックス作成が行われる方法です。 今日は、画像を特徴のベクトルとして表現する問題、つまり、 いくつかの数字とさまざまな類似性測定値のセットの形で-これらの同じベクトルをどのように比較できますか。



分類中に、画像も比較されます。 分類のタスクは何ですか、あなたはすべて、できれば知っています。 一般的には、ラベルを知っている特定のパターンの要素で構成される特定のトレーニングセットがあります。 いくつかのクラスとの相関。 たとえば、ここでは、開いた風景、囲まれた風景、街の景色、内部の部屋になります。 どんなカテゴリでも構いません。 次に、分類器モデルが訓練され、その間、非常に大雑把な言葉で言えば、画像の特徴が各グループ内で比較されます（まあ、画像である必要はありません。オブジェクトの特徴については今日だけで話します）。タグ。 つまり オブジェクトのどの機能が1つまたは別のクラスに割り当てるのかを理解する必要があります。 出力は、通常はオフラインで発生するトレーニングの段階などの分類子モデルです。 テスト中、つまり 新しいオブジェクトが私たちのところに来たとき、そのオブジェクトがどのクラスに属しているのか分からないので、これを理解したい、つまり 車が私たちのために決定するように-オブジェクトが比較されている、すなわち 構築したモデルと分類子の比較により、値が予測されます。 つまり 彼は訓練を受けたデータに基づいて、出力でクラスを予測します。



一般的な場合にオブジェクトを検出するには、写真を比較する必要もあります。 ここでの真実は、通常、全体像が比較されるのではなく、いくつかの断片のみです。 通常、これも分類問題を使用して解決されます。 つまり ティーチングセットはイメージ全体ではなく、1つまたは別のオブジェクトを表すフラグメントです。 そして、タスクは、データベースの画像上に1つまたは別のオブジェクトがあるフラグメントを見つけることです。 つまり 画像全体ではなく、画像の特定の断片を比較する必要があります。 通常、オブジェクトを検出する問題の解決策として、特定のクラスのオブジェクトを画像内に配置する必要があります。 最も一般的なタスクの1つは、たとえば、歩行者を見つけること、無人車両を作成するために車両を見つけることです。

発表は、私が言ったように、タグのセットを割り当てるタスクです。 繰り返しますが、一般的な場合、これは分類子、つまり 何らかのトレーニングセットがあり、タグが既に割り当てられている写真があります。 タグはクラス名として機能します。 そして、これらのクラスの1つに従って各着信画像を分類しようとします。 マルチクラス（マルチクラス）分類を取得します-単一の画像を複数のクラスに一度に割り当てることができる場合、複数のラベルを一度に割り当てることができます。

写真を比較する方法は？



これらすべてのタスクで、それらを比較する必要があります。 実際、画像を比較するメカニズムは、上記のすべてのタスクで同じです。 まあ少し違います。 主に、画像全体のような機能のセットとして画像を記述する方法、フラグメントを記述する方法、およびそれらのポイント、最も興味深い、より有益なフラグメントを見つける方法について説明します。 さらに、これらの同じ記号セットを互いに比較する方法について説明します。



一般的に、画像の兆候について話す場合、それらはテキストと視覚に分けることができます。 画像自体からではなく、その周囲から抽出できるものはすべて、テキストを指します。 タグ、注釈、作成日、ファイル名などです。 つまり 最近まで、同じGoogleとYandexの画像でのほとんどの検索エンジンの検索は、環境全体で機能していました。 そして今、実際、彼らは情報を非常に多く使用しています。 つまり 画像のコンテンツではなく、画像を囲むテキストのインデックスを作成しようとします。 ページに画像がある場合、この画像の周囲のテキストにインデックスを付け、リクエストに応じて、その画像、環境がリクエストに関連するコンテキストを引き出します。



作成日は、特に内容に応じて作成された標識、いわゆる視覚標識と組み合わせて使用​​すると非常に便利です。 そして、しばしばそれが可能になります...例えば、休暇中に再び写真を撮った場合-通常は日付があり、複製のグループを強調するタスクがあります。 撮影の素晴らしい実験者で、同じ場所を異なる設定で数回撮影して、後で最適な写真を選択できるようにする場合は、日付と視覚的なコンテンツのみを組み合わせて自動的に行うことができます。 つまり まったく同じ日付のまったく異なる日付の写真が2枚ある場合、それらを分解する必要があります。



今日は、視覚的な兆候、つまり色、質感、形についてのみお話します。 また、それらを破壊することもできます。 つまり この写真はいくつかの視点で見ることができます。 色、テクスチャ、形状、および画像内の空間内のすべての位置を説明できます。また、画像全体を説明できます。 画像全体の色を説明します。 また、フラグメントのみの色とフラグメントのテクスチャを記述することができます。 彼らは通常、グローバルおよびローカルの兆候について話します。 グローバル属性は、画像全体を記述する属性です。 ローカル-一部のフラグメントのみを記述するもの。



類似性で検索するには、もちろん、ほとんどの場合、グローバル記号またはかなり多数のローカル記号が使用されます。 画像のすべてのポイントではなく、事前定義されたいくつかのポイントで計算されます。 検索タスクの場合、あいまいな重複、またはフラグメントによる検索では、画像全体ではなくフラグメントとフラグメントを一致させようとするため、ローカル記号をより頻繁に考慮するとしましょう。



今日は主に世界的な兆候についてお話します。 私は全体像の記述に適用されるメカニズム、つまり 画像全体に数値ベクトルを構築する方法-もちろん、フラグメントに適用できます。 つまり どのフラグメントを記述するかがわかっている場合は、さらに同じ方法を使用して、全体像ではなく、一部のフラグメントのみを記述することができます。



通常、画像を説明する一連の数字は、特徴ベクトルと呼ばれます-これは、画像の特徴を反映する特定のパラメーターのセットです。 そして、タスクはこのベクトルをできる限り小さくして、画像をできるだけ少ない数で表現することです。 しかし同時に、写真に示されているものに関する基本情報がこの説明に含まれるように。 たとえば、圧縮アルゴリズムとは異なり、ここでは（これから説明するタスクの場合）必要ありません。その後のイメージの復元は必要ありません。したがって、その表現は実際に非常に強く圧縮できます。 つまり 2つの異なるベクトルを取得し、それらを互いに比較するだけで理解する必要があります-それらが類似している場合、これは、それらが構築された画像が類似していることを意味します

特定のメトリックを定義する場合、これらのベクトルを比較するためにこれらの同じベクトルを比較するために使用される関数（つまり、類似度または距離関数を呼び出すことを好む）に対して三角形の不等式メトリックがしばしば満たされないという事実ではない場合、空間を取得しますサインは、画像から数字のセットを作成する方法に加えて、ベクトルを比較できる特定の関数です。



ほとんどの場合、特に検索や分類などのタスクでは、いくつかの完全に異種のセットが一度に使用されます。 つまり 色について話している場合-色を説明する別個の標識、テクスチャー、形状などを説明する別個の標識があります。 次に、これらの空間のそれぞれに応じて、独自の類似度関数が設定されます。 次の質問は、この全体をどのように組み合わせるかです。 最も単純な解決策は、単純にすべてのベクトルを接着し、そのような1つの長いベクトル間の距離を計算する新しい類似度関数を設定することです。 しかし、彼らはめったにそれをしません。 ほとんどの場合、各空間の距離を計算し、線形結合を構築するか、すべてを合成するさらに難しい方法があります。 最後に時間が残っている場合は、これについても説明します。



今日お話しするのは、主に色、質感、形の兆候です。 Spatialは点線でマークされています。これは、各色が再び画像全体の色として記述されるか、画像内の位置に色を付けようとするためです。 テクスチャもフォームも同じです。 つまり 空間的特徴は、別のクラスで際立っているものではなく、主な3つのクラスに追加されるプラスの一種であると想定できます。



色から始めます。 色は、ヒストグラムを使用して最も簡単に記述できます。 各カラーチャネルの分布を見てください。 色のヒストグラムは非常に多くの問題を解決するためにまだ使用されていると言わざるを得ません。なぜなら、それらは非常に数えやすく、非常に理解しやすいからです。 彼らは常に解決するわけではなく、非常に複雑な問題を解決することができます。 しかし、たとえば、類似性による最も単純な検索、画像がある場合、ベースがそれほど大きくない場合、画像の色構成が互いに異なる場合-解決されます。 あるいは、逆にベースが非常に大きく、実際にこの画像のコピーを見つける機会がある場合は、一般的にヒストグラムによる検索も何らかの形で機能します。



ヒストグラムは、すでに説明したように計算されます。 さらに、ヒストグラムを比較するために、非常に大きなメトリックセットも使用されます。 これは、実際にはヒストグラムの差の1つまたは同じものです。 私たちがサブタイトルを引くとき-つまり 1つの画像を表すヒストグラム、2番目の画像を表すヒストグラムがあり、これらのベクトルの違いだけを確認します。 つまり この場合、違いはベクトルで表されます。 ユークリッド距離にすることも、最大値を取ることもできます。 いわゆるカイ2乗を検討するか、時には（ロシア語では言い方がわからない-または映画のディストン）-を使用することができます-この距離は、ヒストグラムが隣接するギャップは、常に隣接する近い色に対応します。 しかし、ほとんどの場合、実際には単純な交差点、つまり エールまたはスクエア。カウントが最も簡単だからです。 カイ二乗ももちろん使用されますが、頻度は低くなります。 カイ2乗は、実際には2つの分布を比較する尺度であり、1つの分布を別の分布にどのように持ち込むかで、式はそこにあります。 カイ2乗は相対的な尺度であるという点で優れており、大まかに言えば、2番目の分布を作成するために1つの分布で必要なことを計算します（指の場合）。



別の、あまり慣れていない（理由はわかりません）色を記述する方法は、統計モデルと呼ばれます。これは、ヒストグラムを使用せず、さまざまなポイントを使用して、画像の色分布を記述することを提案します。 統計モーメント。 持っている場合、色をランダム変数の特定の分布として想像し、マットを計算します-期待（聞き取れない）、分散、さまざまな共分散の瞬間、高次の瞬間、そして構築します...明らかに聴衆からのレプリカではありません。 回答-まさか、ただ離散的です。 画像に見られる一連の観察結果があります。 離散分布が取得されます。

したがって、符号のベクトルは異なる点からのこれらのセットとして単純に構築され、特にそのようなモデルの使用を提案した記事では、後で誰かがそれを使用する場合、彼らは単にベクトルを比較するためにel 1を使用します。



ヒストグラムの一般的な距離関数では、すでに述べたように、これはヒストグラムの交点であり、そのように設定されます（実際、1と同等です。つまり、これらの値の差を計算するだけで、ほぼ同じになります）。 、次のように計算されます。 これはおそらく覚えておく価値はありませんが、手元にあるだけです。



ヒストグラムの計算でどのような困難に直面する可能性があり、ヒストグラムの欠点は何ですか。 私は彼らにとても良いことをすべて伝えました。 まず、どのように...スペースを理解する必要があります。 とにかく、通常のフルカラー画像、つまり それぞれ1,600万色のギャップで1600万ギャップのヒストグラムで、これは1600万長のベクトルです。 これはあまり便利ではありません。 これは非常に難しく、これらの特徴ベクトルを保存するために大量のスペースが必要になるだけでなく、比較するのに費用がかかります。 , , . – . , .. , , , . , , , .. , , , ( ).



, , – . , . . – . , , – . ( ) – .



? , , -, . つまり .

, .. , - . , , , , .



. , , . , . . . , , . , . , , , – , .



. つまり , , … , , .. , . , , , .. . - . – , , . , . , , .. . , , , . … .



, , - , , .. – - , , .. - , , .



, , — , , , ( «Grids») — , , , . – , , . . , , .



, , . , - . , , Earth mover's distance, , — . つまり , . «Earth mover» – , .



, .. , , Earth mover, , , . , , , , – , . . . - .



? , .. , . , , . つまり . , , , , .

, . つまり — . , .. .



, . , , , . . . . , .

. ... . . .



. つまり , . , . つまり , , , , - , .. . つまり , . 0,5 R1, 0,5 R0 .. , , , R0 – . — . , . . - . .



, . , .. , . , , . , .



, ? , , . つまり . . . , .. , . – .



A C , , , … . , , . , - , . .. , . , , , . . , .. - , , .



, . . – – . . - .



, – , . つまり . つまり . – . . . , . . – , . – , .. . , , . , , , , .



( ) . , , . . , . . , , , , , . . つまり . , , . - . , , . , – . . つまり , . . , , . つまり . , .



. , .

. . . . - , ? , . … – , – . . つまり - . . - . . -, . つまり , , , . , . - .

– , . . , , , , .



– . - , , - . , , . , . つまり - . , , , - , .. つまり ( , .. ) – - , .



– , .. . . . . つまり - .



, () - , , (, ) .



. — . , - . . . , . . , , . , . — 211 , , , . . , . , , . , , , ? いいね , .. — , , . , .. , – .. . , – , , . , . – .. . , . . 28, . — .



. , — , , , . .



- . , , .. . つまり , , , . , . つまり . . .



– , (.. , ) – . ( ) — , . , : , , , , , . - . つまり , - , , - , .. , . , . つまり , . . ., .. , . , . . .



, . , , , — , .



– . . , -. . , -, , — - , , .



- - , — . . つまり . - , - , — .. . , ( – 0 – .. . .. . , .. – , . - , - , -, , …, .. , - . .. … … , .



. , – . , , . , , .. - ( — . ) , — . , , , .. , . , .



. つまり , . つまり - , .. , , . , – . つまり , . . , , , - — , . , , , – , .. , . , , – , . , , .



, . , , . , . . - . , , … … .. … . まあ。 , … , . , . – . , , – - . – , . , … .. . , .. . つまり - , - .



? , , . , .. . , , , . ( ). , - . , - . -. … .. , — - . ( , ), . , . , , . つまり , — , . .



. つまり – , . – .. , . , , .. — ( , ) , - .

, … .. . , - , . つまり , , .. - . – V0. つまり , .



, , . , , . , , , . , , , . , , . つまり - , .



, – , . . , , , , . . , , . , … , , , , .



, … .. , , , , . .. , -. , . , . – .



つまり , , . , , .. . .



, .. , , , , .. , , . つまり . つまり . , , .. – . , . つまり , , , , , .. , – . .



. つまり … .. , , , .. , . . . つまり .



, , .. , . . , . , – . , , , .. .. . つまり , .

つまり , … (V0 V1), (V0) – (W0).



, , … .. , . . , , , , , . , . . , . つまり . つまり ( , -, , ).



, . , .. , . , . – , . つまり , , . . – , .. .



– . , . つまり . つまり . つまり – , . . つまり , , , - . , , , - , . . , - , - – . つまり , , . , . , . つまり , .. . – . , .



, , , , . – . . – .



. . . つまり . つまり – … .. , . , , , -… , , , .. , – … , .



つまり , , , , -. , . , .. — . . つまり … , , , . , , . . つまり , , . , . .



, . , .. , .. , , , . . – , , , .. . – . , .



, , , . , , – , . , . , – . つまり , - , - . . , . . , .



, . . , . , , , , - . つまり , , . - .



— , . つまり … … … .. , . . , , ( , .. - . .



. . , . , , .

. , , , , . , . つまり … . つまり , . , , , .. . . . つまり .



, , , . - , .

… , , , .. , .



, … … .. , . , .

… , , , . , .



. - . , , - , . , , . , , . . , , – . .



,

— - , , . つまり .

, , , , , . , , , , , … , , — . , , , .



, . . , . , , , – , . , .. , . . , , , , . , .



つまり , , , , , , . . . つまり . — , , , , , , , , , – , , .. つまり . , , , - , . .



. . , , . つまり , . . , . , , . いいね



. , , . つまり . , . . . . . – . – . . . , .



, . つまり , .. , , . , , .



. . つまり … .. , , , – , . つまり , , , .



. . , . , . つまり . , . , – , - … . . . , .



, ( , – ). , , , – . つまり , , , – , , , .



- . , .

. -. . , , . つまり . – . – . — . – .. . , , . .



– , , . つまり , . .. . , ( ) - . , . , , , . つまり . - . つまり , , , , .

, , - . , , .



, , , , , . . , , , .. , . つまり , , , .

, . , - . , , , .

. . , . , , , , , - .