マシンビジョン。 それは何であり、どのように使用するのですか？ 画像処理光源

マシンビジョンは、人工知能、特にロボット工学、および現実世界のオブジェクトの画像を取得し、その処理を行い、取得したデータを使用して（完全または部分的な）人の関与なしに適用されるさまざまな問題を解決するための関連技術の分野における科学分野です。

マシンビジョンの歴史的なブレークスルー

• 1955-オリバーセルフリッジ。 記事「コンピューターの目と耳」。
• 1958-フランクローゼンブラット。 パーセプトロンのコンピューター実装。
• 1960年代-最初の画像処理システム。
• 1970年代-ラヴレンセロバーツ。 オブジェクトの3次元画像を作成する機械の概念。
• 1979-ハンス・ヘルムート・ナーゲル。 動的なシーンの分析の理論。
• 1990年代-最初の無人車両管理システム。
• 2003-企業の顔認識システム。

マシンビジョンシステムのコンポーネント

• イメージングに適した光学系を備えた1つ以上のデジタルまたはアナログカメラ（白黒またはカラー）
• 処理用の画像処理ソフトウェア。 アナログカメラの場合、これは画像デジタイザーです
• プロセッサー（マルチコアプロセッサーまたは統合プロセッサー（DSPなど）を備えた最新のPC）
• 個々のソフトウェアアプリケーションを開発するためのツールを提供するマシンビジョンソフトウェア。
• 結果を報告するためのI / O機器または通信チャネル
• スマートカメラ：上記のすべてのアイテムを含む1つのデバイス。
• 非常に特殊な光源（LED、蛍光灯、ハロゲンランプなど）
• 画像処理および関連するプロパティの検出のための特定のソフトウェアアプリケーション。
• 画像をキャプチャおよび処理するための検出部分を同期させるためのセンサー（多くの場合、光学センサーまたは磁気センサー）。
• 欠陥部品の分類または廃棄に使用される特定の形状のアクチュエータ。

マシンビジョンは、自律ロボットや目視検査および測定システムなど、主に産業用アプリケーションに焦点を当てています。 つまり、イメージセンサーと制御理論の技術は、ロボットを制御するためのビデオデータの処理に関連付けられ、リアルタイムで受信したデータの処理はプログラムまたはハードウェアで実行されます。



画像処理と画像解析は、主に2D画像の操作に焦点を当てています。 ある画像を別の画像に変換する方法。 たとえば、コントラストを上げるためのピクセル単位の操作、エッジの選択、ノイズの除去、または画像の回転などの幾何学的変換の操作。 これらの操作は、画像処理/分析が画像自体の内容に依存しないことを前提としています。



コンピュータービジョンは、1つ以上の画像に投影された3次元シーンの処理に焦点を当てています。 たとえば、1つ以上の画像から3Dシーンに関する構造またはその他の情報を復元します。 コンピュータビジョンは、多くの場合、画像に表されているものに関する多少複雑な仮定に依存しています。



視覚化と呼ばれる領域もあります。これは元々画像作成プロセスに関連付けられていましたが、処理と分析を扱うこともありました。 たとえば、X線撮影は、医療アプリケーションのビデオ分析で機能します。



最後に、パターン認識は、主に統計的アプローチに基づいて、さまざまな方法を使用してビデオデータから情報を取得する領域です。 この分野の大部分は、これらの方法の実用化に当てられています。



したがって、今日の「マシンビジョン」の概念には、コンピュータービジョン、視覚画像の認識、分析と画像処理などが含まれると結論付けることができます。

マシンビジョンタスク

• 認識
• 身分証明書
• 発見
• テキスト認識
• 2D画像からの3D形状復元
• 動き推定
• シーンリカバリー
• 画像回復
• 画像上の特定のタイプの構造の選択、画像のセグメンテーション
• オプティカルフロー分析

認識

コンピュータービジョン、画像処理、およびマシンビジョンの古典的なタスクは、ビデオデータに特徴的なオブジェクト、機能、またはアクティビティが含まれているかどうかを判断することです。



この問題は、人が確実かつ簡単に解決できますが、一般的なケースであるコンピュータビジョンでは、まだ十分に解決されていません。



1つ以上の定義済みまたは調査済みのオブジェクトまたはオブジェクトのクラスを認識できます（通常、画像内の2次元位置またはシーン内の3次元位置と一緒に）。

身分証明書

クラスに属するオブジェクトの個々のインスタンスが認識されます。

例：特定の人間の顔または指紋または車の識別。

発見

ビデオデータは特定の条件でチェックされます。



比較的簡単で高速な計算に基づく検出を使用して、分析画像内の小さな領域を検出し、正しい解釈を得るためにより多くのリソースを必要とする手法を使用して分析します。

テキスト認識

コンテンツによる画像の検索：さまざまな方法でコンテンツが定義されている画像の大きなセットからすべての画像を検索します。



位置の評価：カメラに対する特定のオブジェクトの位置または方向の決定。



光学式文字認識：印刷または手書きテキストの画像の文字認識（通常、テキスト形式への翻訳用、編集またはインデックス作成に最も便利。たとえば、ASCII）。







2D画像からの3D形状復元は、深度マップのステレオ再構築、グレースケール画像の塗りつぶしによる通常フィールドと深度マップの再構築、テクスチャによる深度マップの再構築、および移動による形状の決定を使用して実行されます。



2D画像から3D形状を復元する例

動き推定

一連の画像（ビデオデータ）を処理して、画像または3Dシーンの各ポイントの速度の推定値を見つけるモーション推定に関連するいくつかのタスク。 そのようなタスクの例は次のとおりです。カメラの3次元の動きの決定、追跡、つまりオブジェクト（たとえば、車や人）の動きの追跡

シーンリカバリー

2つ以上のシーン画像またはビデオデータが提供されます。 シーンの復元は、シーンの3次元モデルを再作成するように設計されています。 最も単純な場合、モデルは3次元空間のポイントのセットである場合があります。 より洗練された方法は、完全な3次元モデルを再現します。

画像回復

画像復元のタスクは、ノイズ（センサーノイズ、モーションブラーなど）を除去することです。



この問題を解決する最も簡単な方法は、低周波または中周波フィルターなどのさまざまなタイプのフィルターです。



線や境界などのさまざまな構造が存在するかどうかのビデオデータの初期分析中に、より高いレベルのノイズ除去が達成され、このデータに基づいてフィルタリングプロセスが制御されます。

画像回復

オプティカルフロー分析（2つの画像間のピクセルの動きを見つける）。

一連の画像（ビデオデータ）を処理して、画像または3Dシーンの各ポイントの速度の推定値を見つけるモーション推定に関連するいくつかのタスク。



そのようなタスクの例は次のとおりです。カメラの三次元の動きの決定、追跡、すなわち オブジェクト（車や人など）の動きを追跡します。

画像処理方法

• ピクセルカウンター
• 二値化
• セグメンテーション
• バーコード読み取り
• 光学式文字認識
• 計測
• エッジ検出
• パターンマッチング

ピクセルカウンター

明るいピクセルまたは暗いピクセルの数をカウントします。

ユーザーは、ピクセルカウンターを使用して、たとえば、通り過ぎる人々の顔を見たい場所など、関心のある場所の画面上の長方形の領域を選択できます。 カメラは、四角形の辺で表されるピクセル数に関する情報ですぐに応答します。



ピクセルカウンターを使用すると、取り付けられたカメラが、たとえばカメラによって制御されているドアに入る人の顔やナンバープレートを認識するために、ピクセル解像度に関する規制要件または顧客要件を満たしているかどうかをすばやく確認できます。

二値化

グレースケール画像をバイナリ（白と黒のピクセル）に変換します。

各ピクセルの値は、「0」および「1」として条件付きでエンコードされます。 値「0」は通常、背景または背景と呼ばれ、「1」は前景と呼ばれます。



多くの場合、デジタルバイナリイメージを格納するとき、1ビットの情報を使用して1ピクセルを表すビットマップが使用されます。



また、特に技術の初期段階では、2つの可能な色は黒と白でしたが、これはオプションです。

セグメンテーション

部品の検索および（または）カウントに使用されます。



セグメンテーションの目的は、画像の表示を単純化および/または変更して、分析しやすくすることです。



通常、画像セグメンテーションは、画像内のオブジェクトと境界線（線、曲線など）を強調表示するために使用されます。 より正確には、画像のセグメンテーションは、ラベルを各画像ピクセルに割り当てるプロセスであり、同じラベルを持つピクセルに共通の視覚特性があります。



画像のセグメンテーションの結果は、画像全体、または画像から抽出された多くの輪郭を一緒にカバーする複数のセグメントです。 セグメント内のすべてのピクセルは、色、明るさ、テクスチャなど、いくつかの特性または計算されたプロパティで類似しています。 隣接するセグメントは、この特性が大きく異なります。

バーコード読み取り

バーコード-製品の表面、マーキング、またはパッケージに適用されるグラフィック情報。技術的な手段で読み取る能力を表します-一連の黒と白のストライプまたはその他の幾何学的形状。

マシンビジョンでは、バーコードを使用して、マシンで読み取りまたはスキャンするように設計された1Dおよび2Dコードをデコードします。

光学式文字認識

光学式文字認識：シリアル番号などのテキストの自動読み取り。



認識は、書籍や文書を電子形式に変換したり、企業会計システムを自動化したり、Webページにテキストを公開したりするために使用されます。



光学式テキスト認識を使用すると、テキストの編集、単語またはフレーズの検索、よりコンパクトな形式での保存、品質を損なうことなく資料のデモンストレーションまたは印刷、情報の分析、電子翻訳、書式設定、または音声をテキストに適用できます。

My LabView Image Program

コンピュータービジョンは、超伝導材料の非破壊的な品質管理に使用されました。



はじめに 現在、統合セキュリティ（施設のテロ対策と機械的セキュリティ、およびエンジニアリングシステムの技術的安全性の両方）を確保するという問題の解決には、施設の現状である管理の体系的な組織が必要です。 オブジェクトの現在の状態を監視するための最も有望な方法の1つは、光源のビデオ画像の処理技術に基づく光学的および光電子的方法です。 これらには、画像操作プログラムが含まれます。 最新の画像処理方法。 画像を取得、分析、処理するための機器、すなわち コンピューターとマシンビジョンの分野に関連するツールと方法のセット。 コンピュータービジョンは、コンピューターが工学的または非工学的に3次元または2次元のオブジェクトを認識できるようにする一般的な方法のセットです。 コンピュータービジョンを使用するには、デジタルまたはアナログの入出力デバイスと、生産プロセスを制御し、運用上の決定のための情報を最短時間で準備するように設計されたコンピューターネットワークとIPロケーションアナライザーが必要です。



問題の声明。 これまで、設計されたマシンビジョンシステムの主なタスクは、複合体の運用責任領域内のランダムな場所にある潜在的なリスクオブジェクトの検出、認識、識別、および認定です。 上記の問題を解決することを目的とした現在のソフトウェア製品には、いくつかの重大な欠点があります。 高電力消費とかなり狭い範囲の機能。 潜在的なリスクのあるオブジェクトを検出するタスクを、ランダムな場所にあるランダムな状況でのランダムなオブジェクトの検索に拡大することは、スーパーコンピューターを使用しても、既存のソフトウェア製品では不可能です。



目的。 ストリーミングデータ分析の可能性がある、光源用の汎用画像処理プログラムの開発。つまり、プログラムは、小型のコンピューターデバイスに記録できるように、軽くて高速でなければなりません。



タスク：

• プログラムの数学モデルの開発。
• プログラムを書く;
• 実験の完全な準備と実施を伴う実験室でのプログラムのテスト。
• 関連する活動分野でプログラムを使用する可能性の研究。

プログラムの関連性は以下によって決定されます。

• オブジェクトのエンジニアリングコンポーネントの詳細な分析の結果、ソフトウェア市場に画像処理プログラムが不足している。
• 視覚情報を取得する品質と速度に対する要求が絶えず増加し、画像処理プログラムの需要が劇的に増加しています。
• ユーザーの観点から見て信頼性が高くシンプルな高性能プログラムに対する既存のニーズ。
• プロの視覚処理プログラムの高コスト。

プログラム開発の関連性の分析。

• オブジェクトのエンジニアリングコンポーネントの詳細な分析の結果、ソフトウェア市場に画像処理プログラムが不足している。
• 視覚情報を取得する品質と速度に対する要求が絶えず増加し、画像処理プログラムの需要が劇的に増加しています。
• ユーザーの観点から見て信頼性が高くシンプルな高性能プログラムに対する既存のニーズ。
• 高性能プログラムとシンプルなコントロールが必要であり、これは私たちの時代では非常に困難です。 たとえば、Adobe Photoshopを使いました。 このグラフィックエディターは、平均的なユーザーにとって機能と使いやすさの調和のとれた組み合わせを備えていますが、このプログラムでは、複雑な画像処理ツール（たとえば、数学的な依存関係（関数）または統合された画像処理を構築することによる画像解析）を使用することはできません;
• プロの視覚処理プログラムの高コスト。 ソフトウェアの品質が高い場合、特定のプログラムセットの個々の機能に応じて、ソフトウェアの価格は非常に高くなります。 以下のグラフは、単純なプログラムアナログの価格と品質の関係を示しています。

このタイプの問題の解決を簡素化するために、私は数学的モデルを開発し、元の画像の最も単純な変換を使用して画像解析用のコンピューターデバイス用のプログラムを作成しました。



このプログラムは、二値化、輝度、画像のコントラストなどの変換に対応しています。 プログラムの原理は、超伝導材料の分析の例によって実証されています。



Nb3Sn、青銅とニオブの体積比、その中の繊維のサイズと数、青銅マトリックスの断面にわたるそれらの分布の均一性、拡散障壁と安定化材料の存在に基づいて複合超伝導体を作成するとき。 導体中のニオブの所定の体積分率では、繊維の数が増加すると、それぞれ直径が減少します。 これにより、Nb / Cu-Sn相互作用表面が顕著に増加し、超伝導相の成長が大幅に加速されます。 導体中の繊維の数の増加に伴う超伝導相の量のそのような増加は、超伝導体の臨界特性の増加を提供する。 これに関して、最終製品（複合超伝導体）の超伝導相の体積分率を制御するツールが必要です。



プログラムを作成する際、超伝導ケーブルの作成材料の研究の重要性が考慮されます。これは、ニオブとブロンズの比率が正しくない場合、ワイヤが爆発する可能性があり、その結果、人的被害、費用、および時間の損失が生じるためです。 このプログラムを使用すると、オブジェクトの化学的物理分析に基づいてワイヤの品質を判断できます。



プログラムブロック図



研究の段階の説明。



第一段階。 サンプルの準備：EDMマシンで複合超伝導体を切断します。 サンプルをプラスチックマトリックスに押し込む。 サンプルを鏡面状態に研磨する; サンプルをエッチングして、青銅マトリックス上のニオブ繊維を分離します。 圧縮された複合超伝導サンプルのサンプルが得られました。



2段階。 画像取得：走査電子顕微鏡で金属組織画像を取得します。



3段階。 画像処理：金属組織画像内の超伝導相の体積分率を決定するためのツールを作成します。 特定の種類のサンプルに関する統計的に有意なデータのセット。 さまざまな画像処理ツールの数学モデルが作成されています。 ソフトウェア開発は、超伝導相の体積分率を推定するために作成されました。 プログラムは、いくつかの数学関数を1つに結合することで促進されました。 青銅マトリックス中のニオブ繊維の体積分率の平均値は24.7±0.1％でした。 偏差の割合が低い場合は、複合ワイヤの構造の再現性が高いことを示しています。



複合超伝導体の電子顕微鏡画像







プログラムでの画像処理の方法。

• 識別 -任意のクラスに属するオブジェクトの個々のインスタンスが認識されます。
• 2値化は、カラー（またはグレースケール）画像を2色の白黒に変換するプロセスです。
• セグメンテーションは、デジタル画像をいくつかのセグメント（多くのピクセル、スーパーピクセルとも呼ばれる）に分割するプロセスです。
• 侵食は複雑なプロセスであり、その間に構造要素が画像のすべてのピクセルを通過します。 ある位置で構造要素の各単一ピクセルがバイナリイメージの単一ピクセルと一致する場合、構造要素の中央ピクセルと出力イメージの対応するピクセルの論理加算が実行されます。
• 拡張 -画像または画像の選択した領域と一部のコアの畳み込み。 カーネルの形状とサイズは任意です。 同時に、カーネルで唯一の先頭位置が強調表示され、畳み込みの計算時に現在のピクセルに合わせられます。

プログラム式



二値化式（大津法）：







侵食フォーミュラ：



拡張式：



膨張と侵食のパターン





色のしきい値のセグメンテーション式：



各画像ピクセルの輝度勾配モジュールの決定：



しきい値の計算：



中古機器

• CHMER GX-320L CNC-EDM切断機
• SimpliMet 1000-ホットプレス機
• AutoMet 250 Buehler-研削および研磨機
• Axio Scope A1 Carl Zeiss-薄切片の品質管理のための光学顕微鏡
• Hitachi TM-1000-金属組織イメージング用の走査型電子顕微鏡

プログラムインターフェース