コンフュージョンマトリックス

コンフュージョンマトリックスは、教師データとツールの予測を視覚的に表したものです。解析 (赤) ツールのコンフュージョンマトリックスは、実際の値と予測値の関係を示すツール処理結果を比較したテーブルです。コンフュージョンマトリックスとそのパフォーマンス指標 (コンフュージョンマトリックスの適合率、再現率、F1 値) は、解析 (赤) スーパーバイズド (解析 (赤) フォーカススーパーバイズド、解析 (赤) High Detail) と 解析 (赤) フォーカスアンスーパーバイズド の両方で得られます。

 

 

コンフュージョンマトリックスのカウント

このテーブルに入力する方法には、4 つの [カウント] ドロップダウンオプション ([ビュー]、[未学習ビュー]、[領域]、および [未学習領域]) があります。これらは、「得点」グラフ (得点の分布グラフ) の描画にも使用されます。

• [ビュー]: 各ビューにラベルとマーキングが表示されます。

• [未学習ビュー]: 学習セットに属していない各ビューには、ラベルとマーキングが表示されます。

• [領域]: ビューの各領域に、ラベルとマーキングが表示されます。領域は欠陥領域 (不良) と背景 (良好) に分けられ、それらに従ってラベルとマークが付けられます。

• [未学習領域]: 学習セットに属していないビューの各ピクセルにラベルとマーキングが表示されます。領域は欠陥 (不良ピクセル) と背景 (良好ピクセル) に分けられ、それらに従ってラベルとマークが付けられます。

 

コンフュージョンマトリックスの計算 - ビュー/未学習ビュー

解析 (赤) ツールでは、領域またはビュー単位でコンフュージョンマトリックスを計算できます。コンフュージョンマトリックスの値は、どの単位が選択されているかによって明らかに異なります。

ビュー単位の場合、マーキングは各領域ではなく、各ビューで行われます。あるビューに得点が T2 しきい値を十分に超える欠陥ピクセルがある場合にそのビューは「不良」と予測され、それ以外は良好または中間と予測されます。

ビューが「不良」とマークされるには、欠陥確率 (得点) が最も高い欠陥ピクセルがビュー内のどこにあってもよく、ラベル付けされた欠陥領域内にある必要はありません。

ビュー単位の場合、ラベル付けは領域ごとではなく、ビューごとに行われます。ユーザがビューに「不良」のラベルを付けると、そのビューは「不良」とラベル付けされ、それ以外は「良好」と見なされます。

 

[実際] - [ビュー]/[未学習ビュー] の計算方法

• 「良好」ラベルの付いた 1 つのビューがある場合
  → 1 つの「良好」実際。

• 「不良」ラベルの付いた 1 つのビューがある場合
  → 1 つの「不良」実際。

 

[予測済み] - [ビュー]/[未学習ビュー] の計算方法

ビュー単位の場合、予測は各領域ではなく、前述のように各「実際の」ビューで行われます。予測は、T1、T2、および実際ビューの代表得点から計算されます。

ビューの代表得点は、このビューのピクセルの最高得点です。各得点は、各ピクセルの欠陥確率です。たとえば、あるビューに得点が T2 しきい値を十分に超える欠陥ピクセルがある場合にそのビューは「不良」と予測され、それ以外は「良好」または「中間」と予測されます。

 

• ビュー内のすべてのピクセルの最高得点が T1 を下回る場合
  → 1 つの「良好」予測。

• ビュー内のすべてのピクセルの最高得点が T2 を上回る場合
  → 1 つの「不良」予測。

• それ以外
  → 1 つの「中間」予測。

 

コンフュージョンマトリックスの計算 - 領域/未学習領域

解析 (赤) ツールでは、領域またはビュー単位でコンフュージョンマトリックスを計算できます。コンフュージョンマトリックスの値は、どの単位が選択されているかによって明らかに異なります。

領域単位の場合、ラベル付けとマーキングは、各ビューではなく、各領域で行われます。つまり、1 つのビュー内の複数のマークされた領域 (「マークされた領域」は、T1 および T2 に関して「欠陥」とマークされたピクセルのセットを表します) がコンフュージョンマトリックスの計算に含まれます。言い換えると、単一のビューを使用して、コンフュージョンマトリックステーブルで複数のカウント (実際 - 予測ペア) を生成できますが、単一のビューは、[ビュー]/[未学習ビュー] のテーブルに単一のカウントのみを生成します。

[実際] - [領域]/[未学習領域] の計算方法

 

[ビュー]/[未学習ビュー] と比較して、[領域]/[未学習領域] のコンフュージョンマトリックスの「実際」をカウントする場合、「実際」をカウントするための異なるロジックがあります。

 

• 「良好」ラベルの付いた 1 つのビューがある場合
  → 1 つの「良好」実際領域。
  (ビュー全体が背景領域と見なされます)

• 「不良」ラベルの付いた 1 つのビューと、N ピクセル単位のラベルの付いた欠陥領域がある場合
  → このビューのピクセル単位のラベルが付けた領域の数に対する N 個の「不良」実際 (N 個の「不良」実際領域)。
  → このビューのすべての背景ピクセルに対する 1 つの「良好」実際領域。

• 「不良」ラベルの付いた 1 つのビューがあり、ピクセル単位のラベルの欠陥領域がない場合
  → 1 つの「不良」実際。

 

[予測済み] - [領域]/[未学習領域] の計算方法

 

領域または未学習領域のコンフュージョンマトリックスでは、予測は各「実際」領域で行われます。その計算方法はすぐ上のセクションで説明しています。予測は、T1、T2、および実際領域の代表得点から計算されます。

実際領域の代表得点は、「実際」領域面積のピクセルの最高得点です。これは、ビューの代表得点が、そのビューのピクセルの最高得点であることと同様です。各得点は、各ピクセルの欠陥確率です。

領域または未学習領域のコンフュージョンマトリックスでは、予測結果は T1、T2、および実際領域の得点によって決定されます。

• 実際領域の得点が T1 を下回る場合
  → 1 つの「良好」予測

• 実際領域の得点が T1 を上回り、T2 を下回る場合
  → 1 つの「中間」予測

• 実際領域の得点が T2 を上回る場合
  → 1 つの「不良」予測

 

[領域]/[未学習領域] の実際 - 予測ペアの計算の例

以下の例をより明確にするために、ここでは実際領域で見つかった最高得点が T2 を上回るとします。

• N 個のマークされた領域が背景 (良好のラベルが付いたピクセル) 上にあり、ピクセル単位のラベルが付いた欠陥がなく、このビュー自体が「良好」とラベル付けされた場合:
  1 つの (実際) 良好 - (予測) 不良ペア
  (N 個のマークされた領域が単一のマークされた領域と見なされます)

   

  3 個のマークされた領域が背景上にあり、ピクセル単位でラベル付けされた欠陥はなく、ビューは「良好」とラベル付けされた場合:
  

  

   

• N 個のマークされた領域が背景 (良好のラベルが付いたピクセル) 上にあり、ピクセル単位のラベル付けされた欠陥はなく、このビュー全体が「不良」とラベル付けされた場合:
  → 1 つの (実際) 不良 - (予測) 不良ペア
  (N 個のマークされた領域が単一のマークされた領域と見なされます)

   

  4 個のマークされた領域が背景上にあり、ピクセル単位でラベル付けされた欠陥はなく、ビューは「不良」とラベル付けされた場合:

  

   

• マークされた領域がピクセル単位でラベル付けされた欠陥領域上にある場合:
  結果の決定で重要なことの 1 つは、全体の中で、ピクセル単位でラベル付けされた欠陥領域とオーバーラップしているマークされた領域の数です。

  • <ケース 1>

    ピクセル単位でラベル付けされた 1 つの領域
    マークされた 1 つの領域 (ピクセル単位でラベル付けされた領域とオーバーラップしている)
    マークされた 1 つの領域 (ピクセル単位でラベル付けされた領域とオーバーラップしておらず、背景上にある):
    →
    1 つの (実際) 不良 - (予測) 不良ペア (オーバーラップしている)
    1 つの (実際) 良好 - (予測) 不良ペア (オーバーラップしていない)

    Note: 1 つのビュー内に 1 つ以上のピクセル単位でラベル付けされた欠陥領域がある場合、ラベル付けされた領域を除くすべてのピクセルはまとめて「1 つの背景」と見なされ、1 つの実際「良好」領域としてカウントされます。これはほとんどの場合に適用されますが、ビューにピクセル単位でラベル付けされた領域はないが、ビュー自体が「不良」とラベル付けされている場合には適用されません。
    

     

    あるマークされた領域が背景上にあり、別のマークされた領域がピクセル単位でラベル付けされた領域上にあり (オーバーラップしている)、このビュー自体はピクセル単位でラベル付けされた欠陥が 1 つ以上あるために「不良」とラベル付けされている場合の例:

    

     

  • <ケース 2>

    ピクセル単位でラベル付けされた 5 つの領域
    マークされた 3 つの領域 (それぞれがピクセル単位でラベル付けされた各領域とオーバーラップしている)
    マークされた 2 つの領域 (ピクセル単位でラベル付けされた領域とオーバーラップしておらず、背景上にある):
    →
    3 つの (実際) 不良 - (予測) 不良ペア (オーバーラップしている)
    2 つの (実際) 不良 - (予測) 良好ペア (オーバーラップしていない)
    1 つの (実際) 良好 - (予測) 不良ペア
    

    Note: マークされた 2 つの領域が背景上にあり、単一のマークされた領域と見なされている場合、1 つの「不良」予測になります。これは、マークされた N 個の領域の場合にも適用されます。

     

  • <ケース 3>

    ピクセル単位でラベル付けされた 3 つの領域 (A、B、C)
    マークされた 3 つの領域 (2 つは A とオーバーラップし、1 つは B とオーバーラップしている)
    マークされた 1 つの領域 (オーバーラップしていない = 背景上にある):
    →
    1 つの (実際) 不良 - (予測) 不良ペア (2 つが A とオーバーラップしている)
    1 つの (実際) 不良 - (予測) 不良ペア (1 つが B とオーバーラップしている)
    1 つの (実際) 良好 - (予測) 不良ペア (背景上にある)
    1 つの (実際) 不良 - (予測) 良好ペア (C)

 

F1 得点の計算

コンフュージョンマトリックスの F1 得点は、適合率と再現率を組み合わせたものであり、セグメンテーションパフォーマンスの包括的な指標として利用できます。再現率は、ニューラルネットワークがラベル付けされた欠陥領域のエリアとどの程度、一致するかを表し、適合率は、ニューラルネットワークが画像内の他のエリアとどの程度、誤認識されにくいかを表します。コンフュージョンマトリックスの F1 得点を取得するには、適合率と再現率を事前に計算する必要があります。適合率、再現率、および F1 値の計算方法は、ピクセルレベルで計算される領域面積測定のものとは異なることに注意してください。

コンフュージョンマトリックスの F1 値は、[カウント] ドロップダウンオプションに従って変わります。これは、現在のコンフュージョンマトリックスの適合率と再現率の間の調和平均として解釈されます。ビューまたは領域が「中間」と予測されている場合、適合率、再現率、および F1 得点の計算では「不良」としてカウントされます。

• (実際良好、予測中間) → (実際良好、予測不良)

• (実際不良、予測中間) → (実際不良、予測不良)

 

計算方法を説明する前に、計算について以下のことを理解しておく必要があります。

「良好」クラスを予測する場合:

• 1 つの「実際良好 - 予測良好」ペアは、1 つの「真陽性 (TP)」を表す

• 1 つの「実際不良 - 予測良好」ペアは、1 つの「偽陽性 (FP)」を表す

• 1 つの「実際不良 - 予測不良」ペアは、1 つの「真陰性 (TN)」を表す

• 1 つの「実際良好 - 予測不良」ペアは、1 つの「偽陰性 (FN)」を表す

「不良」クラスを予測する場合:

• 1 つの「実際不良 - 予測不良」ペアは、1 つの「真陽性 (TP)」を表す

• 1 つの「実際良好 - 予測不良」ペアは、1 つの「偽陽性 (FP)」を表す

• 1 つの「実際良好 - 予測良好」ペアは、1 つの「真陰性 (TN)」を表す

• 1 つの「実際不良 - 予測良好」ペアは、1 つの「偽陰性 (FN)」を表す

 

この設定から、「良好」クラスのコンフュージョンマトリックスの適合率、再現率、および F1 得点は次の式で計算されます。

• 適合率 = TP / (TP + FP) = 495/(495+23) = 0.956

• 再現率 = TP / (TP + FN) = 495/(495+0) = 1

• F 値 = 2 * 再現率 * 適合率 /(再現率 + 適合率) = 2 * 0.956 * 1 / 1.956 = 0.978

 

「不良」クラスのコンフュージョンマトリックスの適合率、再現率、および F1 得点は次の式で計算されます。

• 適合率 = TP/(TP+FP) = 57/(57+0) = 1

• 再現率 = TP/(TP+FN) = 57/(57+23) = 0.713

• F 値 = 2 * 再現率 * 適合率 /(再現率 + 適合率) = 2 * 1 * 0.713 / 1.713= 0.832

 

したがって、コンフュージョンマトリックスの F1 値は次のとおりです。

• 0.5 * (良好クラスの F 値) + 0.5 * (不良クラスの F 値) = 0.5 * 0.978 + 0.5 * 0.832 = 0.90

 

パフォーマンス良好	パフォーマンス不良