得点と ROC 曲線

解析 (赤) の結果は、得点と ROC 曲線を介して測定されます。

得点

解析 (赤) フォーカススーパーバイズドの場合、ビューの総合得点はそのビューの欠陥の最大確率です。このモードの解析 (赤) ツールは、入力画像のピクセル位置ごとに、そのピクセルが欠陥を表す確率を示す確率マップを返します。欠陥の確率は、そのピクセルが欠陥である確率とそのピクセルが背景である確率の合計が 1.0 になるように正規化されます。

得点グラフには、ラベルと得点が付けられたすべての画像のほか、グラフの 2 つのしきい値 (T1、T2) が示されます。最初のしきい値は、真の陰性 (欠陥がまったくない) の値が不確かであると見なされるための最大値を決定します。2 番目のしきい値は、真の陽性 (間違いなく欠陥を含む) と見なされるようになるための結果の最大値を決定します。これらの 2 つの間に含まれる値は、そのラベルによって偽陽性または偽陰性と見なされ、コンフュージョンマトリックスの中間列に割り当てられます。

T1 と T2 の両方のしきい値を使用すると、中間 (または境界) クラスを作成できます。その場合は、人間の検査員が確認できるように画像に中間としてフラグを付けるプロセスを設定するか、または、それらの画像を保存してさらに再学習することもできます (オフライン中)。もう一つのフェイルセーフとして、そのカテゴリ内の画像が拒否され、再処理ビンに送信される可能性があります。

どちらのしきい値 (T1 と T2、以下の画像では T1 = 0.37 で T2 = 0.51) もグラフ上でインタラクティブであり、調整が可能です。これらの値をインタラクティブに調整すると、しきい値のパラメータ設定も自動的に更新されます。

ここにしきい値を設定すると、ツールが欠陥として予測するものについて「あまりこだわらなく」なり、偽陽性が増加します。
ここにしきい値を設定すると、ツールが欠陥として予測するものについて「よりこだわるように」なり、偽陰性が増加します。

得点カウントフィルタ

得点カウントフィルタを使用すると、ツールから返される統計をフィルタできます。

[ビュー]: 各ビューの最高得点の領域を返します。
[未学習ビュー]: 各未学習ビューの最高得点の領域を返します。
[領域]: 領域の集計得点をピクセルレベルで返します (領域がラベル付けされている必要があります)。
[未学習領域]: 未学習領域の集計得点をピクセルレベルで返します (領域がラベル付けされている必要があります)。

未学習ビューがない場合、ヒストグラムは空白になります。

ラベル付けされた領域がない場合は、以下が適用されます。

領域のカウントフィルタは、ビューのカウントフィルタと同じように見えます。

未学習領域のカウントフィルタは、未学習ビューのカウントフィルタと同じように見えます。

受信者動作特性 (ROC) 曲線

受信者動作特性 (ROC) 曲線は、特定のしきい値が指定されている場合の、特異性に対する感度を測定します。

感度は、正の結果 (欠陥あり) を検出する能力を示します。
特異性は、負の結果 (欠陥なし) を検出する能力を示します。

これは 2 つのしきい値間の結果を評価することで実行されます。

曲線下面積 (AUC)

このトピックでは、曲線下面積 (AUC) の統計的解釈を行う方法について説明します。AUC は、結果がどれだけうまく取得されているかを判断します。一般的に、AUC では 1 は完璧な結果、0.8 以上は良好な結果 (一般的に見た場合)、そして 0.5 は完全にランダムです。

AUC はどのしきい値の影響も受けず、得点の分布について全く推定せずに、得点のランキングのみに基づいて統計テストを提供します。AUC は、分類子の分離能力を忠実に表した測定値です。

AUC の特徴は次のとおりです。

ランダム分類子の場合は 0.5
完璧な識別力のある分類子の場合は 1
パーセンテージではない
どのしきい値の影響も受けない