結果の解釈

学習と処理が完了すると、ツールの結果がすべてのビューに対して計算されます。ただし、ツールを正しく評価するには、テストセットでのみ結果を確認する必要があります。

 

テストセット:結果評価のための画像

VisionPro Deep Learning 内の統計的な測定は、学習したニューラルネットワークのパフォーマンスを評価するために使用されます。ディープラーニングのパラダイム内で評価とは、学習したニューラルネットワークモデルをテストデータ (ユーザによってラベル付けされているが、まだ学習に使用されていないデータ) に対して評価するプロセスのことです。そのため、統計測定を通じてニューラルネットワークモデルの可用性とパフォーマンスを決定する場合、これらの測定はテストデータのみに基づいて計算する必要があります。

ニューラルネットワークモデル、つまりツール (位置決め (青)/読み取り (青)、分類 (緑)、または解析 (赤)) の学習後、モデルが適切に学習しているかどうかを確認したい場合、このモデルの学習に使用したデータに対してモデルをテストすることはできないことを理解しておくことが重要です。学習済みのモデルの評価に学習データを使用することはできません。これは、そのモデルは指定された学習データセットで最大限のパフォーマンスが得られるように学習中にこのデータに既に適合しているためです。そのためこのデータから、モデルがどの程度十分に一般化されているかや、未知の新しいデータに対して望ましいパフォーマンスを発揮するかどうかを知ることはできません。

 

 

したがって、モデルの可用性とパフォーマンスを公正かつ正確にテストするには、学習フェーズを含め、未知のデータにモデルを適用する必要があります。モデル評価用のデータがテストデータセットと呼ばれるのはこのためです。

 

データベースの概要

[データベースの概要] ペインは、学習に使用された画像やビューに関する情報や、Cognex Deep Learning ツールによって出力された統計へのアクセスを提供します。選択されたツールに応じて、このペインの表示は異なります。

 

エキスパートモードでは、[フィルタ] フィールドを使用して画像/ビューを分割したり、これらの画像/ビューで統計分析を実行したりすることができます。画像/ビューをフィルタ処理するためのシンタックスの詳細については、「表示フィルタ」および「フィルタ」を参照してください。フィルタの使用可能性の詳細については、「テスト画像サンプルセット」のトピックを参照してください。

 

処理時間

以下に示すように、各ツールの処理時間はデータベースの概要に表示されます。

 

 

処理時間は、最後の処理タスクの画像あたりの平均処理時間であり、処理時間と後処理時間の合計です。複数のツールが含まれるストリームの処理時間は、VisionPro Deep Learning GUI を通じて使用することはできません。処理時間には、ツール間のビュー情報の準備および転送に必要な時間が含まれるため、ストリームで各ツールのツール実行時を合計することで予測することはできません。

 

測定結果

解析 (赤) ツールの場合、ツールを学習させると、ツールがスーパーバイズド (解析 (赤) フォーカススーパーバイズド、解析 (赤) High Detail) とアンスーパーバイズド (解析 (赤) フォーカスアンスーパーバイズド) のどちらのモードになっているかに応じて、結果が [データベースの概要] ペインでグラフおよびコンフュージョンマトリックスの形式で表示されます。

 

 

解析 (赤) フォーカススーパーバイズド によって出力される測定は次のとおりです。

• 得点ヒストグラム
• 受信者動作特性 (ROC) 曲線と曲線下面積 (AUC)
• コンフュージョンマトリックス (適合率、再現率、および F 値)
• 領域面積測定 (適合率、再現率、および F 値)

 

解析 (赤) ツールがスーパーバイズドモードにあるときは、追加の領域面積測定がコンフュージョンマトリックスの下に含まれます。領域面積測定では、現在学習されているツールの再現率、適合率、および F 値に関するデータを返します。再現率は、ツールが任意の画像内で欠陥を見つける可能性を表します。適合率は、実際の欠陥が存在する場合にツールが欠陥を見つける可能性を表します。F 値は、再現率と適合率の平均です。領域面積測定のこれら 3 つの測定はピクセル単位で計算されますが、コンフュージョンマトリックスの F1 値は別の方法で計算されることに注意してください。

 

基本概念:偽陽性、偽陰性

統計結果のコンポーネントに加えて、偽陽性および偽陰性の結果に対するそれらの影響を理解することも重要です。

画像の欠陥を取り込むために構築された画像検査システムがあるとします。ある画像で 1 つ以上の欠陥が取り込まれた場合、その画像の検査結果は「陽性」となり、欠陥がまったく取り込まれない場合、その画像の検査結果は「陰性」となるとします。検査タスクの統計結果は、以下のように要約できます。

 

• 偽陽性 (タイプ I エラーとも呼ばれる)

  • 検査システムはビューまたはピクセルに欠陥があると識別しますが、このビューまたはピクセルには実際には欠陥がありません。

• 偽陰性 (タイプ II エラーとも呼ばれる)

  • このビューまたはピクセルは欠陥があると識別されるべきですが、検査システムはビューまたはピクセルに欠陥があると識別できませんでした。

 

基本概念:適合率、再現率、F 値

次に偽陽性と偽陰性についてまとめ、指標として適合率と再現率を使用して再度示します。これらの指標はすべての VisionPro Deep Learning ツールで使用される統計結果です。

 

• 適合率
  • 適合率の低いニューラルネットワークは通常、提供された画像データ (テストデータ) から検出されるべき欠陥を正しく検出できず、多くの偽陽性の判定 (タイプ 1 エラー) を返します。
  • 適合率の高いニューラルネットワークは通常、提供された画像データ (テストデータ) から欠陥を正しく検出することに成功しますが、再現率が低い場合、多くの偽陰性の判定 (タイプ 2 エラー) が発生する可能性があります。
• 再現率
  • 再現率の低いニューラルネットワークは通常、提供された画像データ (テストデータ) から検出されるべき欠陥を十分に検出できず、多くの偽陰性の判定 (タイプ 2 エラー) を返します。
  • 再現率の高いニューラルネットワークは通常、提供された画像データ (テストデータ) から欠陥を十分に検出することに成功しますが、適合率が低い場合、多くの偽陽性の判定 (タイプ 1 エラー) が発生する可能性があります。

 

まとめると、

• 適合率 - 検出された欠陥がラベル付き欠陥に一致する割合。
• 再現率 - 検出された欠陥がツールによって正しく識別される割合。
• F 値 - 再現率と適合率の調和平均。

 

ほぼすべての検査 (例外的な検査もあり得る) で理想的な統計結果を得るには、適合率と再現率がどちらも高いことが求められます。