コンテンツベースの画像検索
画像データベースは非常に大きく、数十万、さらには数百万もの画像を含むことができます。 ほとんどの場合、これらのデータベースはキーワードによってのみインデックス付けされます。 これらのキーワードは、オペレーターによってデータベースに追加されます。オペレーターは、すべての画像をカテゴリーに分配します。 ただし、画像はデータベース内で、独自のコンテンツに基づいて見つけることができます。 内容によって、色とその分布、画像内のオブジェクトとその空間的位置などを理解できます。 現在、セグメンテーションおよび認識アルゴリズムは十分に開発されていませんが、コンテンツに基づいて画像を検索するためのいくつかのシステム（商用を含む）が既にあります。
画像のデータベースを操作するには、データベース全体を直接表示するよりも便利で効率的な画像の検索方法が必要です。 ほとんどの企業は、データベースに含める画像の選択と、キーワードを割り当てることによる画像の分類という2段階の処理のみを実行します。 インターネット検索エンジンは通常、画像のキャプションからキーワードを自動的に取得します。 従来のデータベースを使用すると、テキスト属性に基づいて画像を見つけることができます。 通常の検索では、これらの属性はカテゴリ、画像内の人の名前、画像が作成された日付になります。 検索を高速化するために、これらのすべてのフィールドでデータベースのコンテンツにインデックスを付けることができます。 その後、SQL言語を使用して画像を検索できます。 たとえば、クエリ：
SELECT * IMAGEBDから
WHERE CATEGORY =” MEI”
MPEIが描かれているデータベースからすべての画像を見つけて返すことができます。 しかし、実際には、すべてがそれほど単純ではありません。 このタイプの検索には、いくつかの重大な制限があります。 人にキーワードを割り当てることは時間のかかる仕事です。 しかし、さらに悪いことに、このタスクはあいまいな実行を可能にします。 このため、見つかった画像の一部は、ユーザーの期待とは非常に異なる場合があります。 この図は、リクエスト「MEI」に対するGoogleの発行を示しています。
キーワードを使用しても十分な効率が得られないという事実を考慮して、他の多くの画像検索方法を検討します。
パターン検索から始めましょう。 キーワードを指定する代わりに、ユーザーはシステムにサンプル画像を提示したり、スケッチを描くことができます。 次に、検索エンジンは、類似の画像または目的のオブジェクトを含む画像を見つける必要があります。 簡単にするために、ユーザーがシステムに予想されるイメージの大まかなスケッチといくつかの制限を提示すると仮定します。 ユーザーが空のスケッチを提供する場合、システムは制限を満たすすべての画像を返す必要があります。 制限は、キーワードとそれらを結合するさまざまな論理条件の形式で設定するのが最も論理的です。 最も一般的な場合、要求には、適用された距離測定に従ってデータベースからの画像と比較されるある種の画像が含まれます。 距離が0の場合、画像は要求に完全に一致すると考えられます。 0より大きい値は、問題の画像とリクエストの間の類似度のさまざまな度合いに対応します。 検索エンジンは、サムネイルからの距離でソートされた画像を返す必要があります。
図は、カラーレイアウトに基づく距離測定を使用したQBICシステムでの検索を示しています。
リクエストで指定された画像とデータベースの画像の類似性を判断するために、通常、距離または特性の特定の尺度が使用され、これを使用して画像の類似性の数値推定値を取得できます。 画像の類似性の特性は、4つの主要なグループに分類できます。
1.色の類似性
2.テクスチャの類似性
3.フォームの類似性
4.オブジェクトの類似性とオブジェクト間の関係
簡単にするために、色の類似性の方法のみを考慮します。 多くの場合、色の類似性の特性は非常に単純に選択されます。 これらを使用すると、ある画像のカラーコンテンツを別の画像のカラーコンテンツまたはリクエストで指定されたパラメータと比較できます。 たとえば、QBICシステムでは、ユーザーは目的の画像の色の割合を指定できます。 この図は、40％の赤、30％の黄色、10％の黒を示すクエリの結果として取得された一連の画像を示しています。 見つかった画像には非常に似た色が含まれていますが、これらの画像のセマンティックコンテンツは大きく異なります。
同様の検索方法は、一致する色ヒストグラムに基づいています。 カラーヒストグラムに基づく距離測定には、2つの異なる色の類似性の評価を含める必要があります。 QBICシステムは、次のように距離を決定します。
ここで、h（I）、h（Q）は画像のヒストグラム、I、Q、Aは類似度行列です。 類似性マトリックスでは、値が1に近い要素は類似の色に対応し、0は非常に異なる色に対応します。 距離の別の可能な尺度は、色のレイアウトに基づいています。 リクエストを作成するとき、ユーザーには通常、空のグリッドが表示されます。 各セルについて、ユーザーはテーブルから色を指定できます。
影付きグリッドを使用するカラーレイアウトに基づく類似性の特性には、2つの影付きグリッドのコンテンツを考慮した測定が必要です。 このメジャーは、リクエストで指定された各グリッドセルと、データベースからの任意の画像の対応するグリッドセルとの比較を提供する必要があります。 すべてのセルの比較結果を組み合わせて、画像間の距離を取得します。
ここで、C ^ I（g）、C ^ Q（g）は、それぞれ画像I、Qのセルgの色です。
テクスチャの類似性に基づいた検索、さらにはフォームの類似性に基づいた検索は、はるかに複雑ですが、最初のステップはすでにこの方向に進んでいると言う価値があります。 たとえば、ART MUSEUMシステムは多くの絵画のカラー画像を保存します。 これらのカラー画像は、中間ビューを提供するために処理されます。 予備処理は、3つの段階で構成されます。
1.画像を所定のサイズに縮小し、メディアンフィルターを使用してノイズを除去します。
2.ボーダー検出。 まず、グローバルしきい値を使用してから、ローカルしきい値を使用します。 その結果、クリアな輪郭画像が得られます。
3.クリアされた輪郭画像では、余分な輪郭が削除されます。 結果の画像は再びノイズが除去され、必要な抽象的な表現が得られます。
ユーザーがシステムにスケッチを提示すると、同じ処理操作がシステム上で実行され、線形スケッチが取得されます。 マッチングアルゴリズムには相関特性があります。画像はセルに分割され、各セルについて、データベースの同じ画像セルとの相関が計算されます。 信頼性のために、この手順は異なる線形スケッチオフセット値に対して数回実行されます。 ほとんどの場合、この方法を使用すると、目的の画像を正常に見つけることができます。
おなじみのインターネット検索エンジンにそのようなシステムが導入されるのを待つだけであり、画像検索の問題はそれほど問題になっていないと言えるでしょう。
画像のデータベースを操作するには、データベース全体を直接表示するよりも便利で効率的な画像の検索方法が必要です。 ほとんどの企業は、データベースに含める画像の選択と、キーワードを割り当てることによる画像の分類という2段階の処理のみを実行します。 インターネット検索エンジンは通常、画像のキャプションからキーワードを自動的に取得します。 従来のデータベースを使用すると、テキスト属性に基づいて画像を見つけることができます。 通常の検索では、これらの属性はカテゴリ、画像内の人の名前、画像が作成された日付になります。 検索を高速化するために、これらのすべてのフィールドでデータベースのコンテンツにインデックスを付けることができます。 その後、SQL言語を使用して画像を検索できます。 たとえば、クエリ：
SELECT * IMAGEBDから
WHERE CATEGORY =” MEI”
MPEIが描かれているデータベースからすべての画像を見つけて返すことができます。 しかし、実際には、すべてがそれほど単純ではありません。 このタイプの検索には、いくつかの重大な制限があります。 人にキーワードを割り当てることは時間のかかる仕事です。 しかし、さらに悪いことに、このタスクはあいまいな実行を可能にします。 このため、見つかった画像の一部は、ユーザーの期待とは非常に異なる場合があります。 この図は、リクエスト「MEI」に対するGoogleの発行を示しています。
キーワードを使用しても十分な効率が得られないという事実を考慮して、他の多くの画像検索方法を検討します。
パターン検索から始めましょう。 キーワードを指定する代わりに、ユーザーはシステムにサンプル画像を提示したり、スケッチを描くことができます。 次に、検索エンジンは、類似の画像または目的のオブジェクトを含む画像を見つける必要があります。 簡単にするために、ユーザーがシステムに予想されるイメージの大まかなスケッチといくつかの制限を提示すると仮定します。 ユーザーが空のスケッチを提供する場合、システムは制限を満たすすべての画像を返す必要があります。 制限は、キーワードとそれらを結合するさまざまな論理条件の形式で設定するのが最も論理的です。 最も一般的な場合、要求には、適用された距離測定に従ってデータベースからの画像と比較されるある種の画像が含まれます。 距離が0の場合、画像は要求に完全に一致すると考えられます。 0より大きい値は、問題の画像とリクエストの間の類似度のさまざまな度合いに対応します。 検索エンジンは、サムネイルからの距離でソートされた画像を返す必要があります。
図は、カラーレイアウトに基づく距離測定を使用したQBICシステムでの検索を示しています。
リクエストで指定された画像とデータベースの画像の類似性を判断するために、通常、距離または特性の特定の尺度が使用され、これを使用して画像の類似性の数値推定値を取得できます。 画像の類似性の特性は、4つの主要なグループに分類できます。
1.色の類似性
2.テクスチャの類似性
3.フォームの類似性
4.オブジェクトの類似性とオブジェクト間の関係
簡単にするために、色の類似性の方法のみを考慮します。 多くの場合、色の類似性の特性は非常に単純に選択されます。 これらを使用すると、ある画像のカラーコンテンツを別の画像のカラーコンテンツまたはリクエストで指定されたパラメータと比較できます。 たとえば、QBICシステムでは、ユーザーは目的の画像の色の割合を指定できます。 この図は、40％の赤、30％の黄色、10％の黒を示すクエリの結果として取得された一連の画像を示しています。 見つかった画像には非常に似た色が含まれていますが、これらの画像のセマンティックコンテンツは大きく異なります。
同様の検索方法は、一致する色ヒストグラムに基づいています。 カラーヒストグラムに基づく距離測定には、2つの異なる色の類似性の評価を含める必要があります。 QBICシステムは、次のように距離を決定します。
ここで、h（I）、h（Q）は画像のヒストグラム、I、Q、Aは類似度行列です。 類似性マトリックスでは、値が1に近い要素は類似の色に対応し、0は非常に異なる色に対応します。 距離の別の可能な尺度は、色のレイアウトに基づいています。 リクエストを作成するとき、ユーザーには通常、空のグリッドが表示されます。 各セルについて、ユーザーはテーブルから色を指定できます。
影付きグリッドを使用するカラーレイアウトに基づく類似性の特性には、2つの影付きグリッドのコンテンツを考慮した測定が必要です。 このメジャーは、リクエストで指定された各グリッドセルと、データベースからの任意の画像の対応するグリッドセルとの比較を提供する必要があります。 すべてのセルの比較結果を組み合わせて、画像間の距離を取得します。
ここで、C ^ I（g）、C ^ Q（g）は、それぞれ画像I、Qのセルgの色です。
テクスチャの類似性に基づいた検索、さらにはフォームの類似性に基づいた検索は、はるかに複雑ですが、最初のステップはすでにこの方向に進んでいると言う価値があります。 たとえば、ART MUSEUMシステムは多くの絵画のカラー画像を保存します。 これらのカラー画像は、中間ビューを提供するために処理されます。 予備処理は、3つの段階で構成されます。
1.画像を所定のサイズに縮小し、メディアンフィルターを使用してノイズを除去します。
2.ボーダー検出。 まず、グローバルしきい値を使用してから、ローカルしきい値を使用します。 その結果、クリアな輪郭画像が得られます。
3.クリアされた輪郭画像では、余分な輪郭が削除されます。 結果の画像は再びノイズが除去され、必要な抽象的な表現が得られます。
ユーザーがシステムにスケッチを提示すると、同じ処理操作がシステム上で実行され、線形スケッチが取得されます。 マッチングアルゴリズムには相関特性があります。画像はセルに分割され、各セルについて、データベースの同じ画像セルとの相関が計算されます。 信頼性のために、この手順は異なる線形スケッチオフセット値に対して数回実行されます。 ほとんどの場合、この方法を使用すると、目的の画像を正常に見つけることができます。
おなじみのインターネット検索エンジンにそのようなシステムが導入されるのを待つだけであり、画像検索の問題はそれほど問題になっていないと言えるでしょう。
All Articles