解释结果

经过训练和处理后，系统会针对所有视图计算工具的结果。但是，只应在测试集上检查结果，才能对工具进行正确的评估。

 

测试集：用于评估结果的图像

VisionPro Deep Learning 内的统计测量用于验证训练后的神经网络的性能。在深度学习范例中，验证是指根据测试数据（由用户标注，但未用于训练的数据）评估经过训练的神经网络模型的过程。因此，如果您想通过统计指标来确定神经网络模型的可用性和性能，则必须仅根据测试数据计算这些指标。

重要的是要明白，在训练你的神经网络模型后（指您的工具，即蓝色定位/读取、绿色分类或红色分析），如果您想检查模型是如何训练好的，不允许您根据用于训练此模型的数据测试模型。训练数据不能用于评估训练模型，因为模型在训练期间已经拟合到该数据，以在给定训练数据集的情况下发挥最佳性能。因此，这些数据无法说明模型泛化的程度，也不能说明在遇到看不见的新数据时也能很好地执行。

 

 

因此，为了公平正确地测试模型的可用性和性能，模型应该应用于它之前从未见过的数据，包括其训练阶段。这就是为什么模型评估的数据被称为测试数据集。

 

数据库概述

“数据库概述”窗格提供有关用于训练的图像和视图的信息，以及对 Cognex 深度学习工具的统计输出的访问。此窗格将根据所选工具更改其显示。

 

在专家模式下，您可以使用筛选条件字段分隔图像/视图，并仅对这些图像/视图执行统计分析。有关筛选图像/视图的语法信息，请参阅显示筛选条件和筛选条件；有关筛选条件的可能用途的更多信息，请参阅测试图像样本集主题。

 

处理时间

单独工具处理时间在数据库概述中显示，如下所示：

 

 

处理时间是上一个处理任务中每个图像的平均处理时间，它是处理时间和后处理时间的总和。包含多个工具的流的处理时间无法通过 VisionPro Deep Learning GUI 获得，而且由于处理时间包括准备和在工具之间传输视图信息所需的时间，因此无法通过汇总流的工具执行时间来估计处理时间。

 

结果指标

对于红色分析工具，工具经过训练之后，结果将以图形和混淆矩阵形式显示在数据库概述窗格上，具体取决于工具的模式 – 监督（红色分析聚焦监督、红色分析高细节）或无监督（红色分析聚焦无监督）。

 

 

红色分析聚焦无监督的输出指标如下所示：

• 得分直方图
• 受试者操作特征 (ROC) 曲线和曲线下面积 (AUC)
• 混淆矩阵（精度、召回和 F-得分）

 

基本概念：假正值，假负值

除了统计结果组件，了解它们如何影响假阳性和假阴性结果也很重要。

假设有一个用于捕获图像中缺陷的图像检测系统。如果它捕获了图像中的一个或多个缺陷，则该图像的检查结果为正 ，如果它根本没有捕获任何缺陷，则该图像的检查结果为负 。那么，检验任务的统计结果可以归纳为以下几点：

 

• 假正值（也称为 I 类错误）

  • 检查系统识别出有缺陷的视图或像素，但该视图或像素实际上并不存在缺陷。

• 假负值（也称为 II 类错误）

  • 检查系统无法识别有缺陷的视图或像素，但该视图或像素应该已被识别为有缺陷。

 

基本概念：精度、召回和 F-得分

然后，使用以下指标对假正值和假负值再次进行汇总并表示：精度和召回、所有VisionPro Deep Learning工具中使用的统计结果。

 

• 精度
  • 低精度的神经网络通常无法从给定的图像数据（测试数据）中正确抓取本应检测到的缺陷，因此它会返回许多假正值判断（1 类错误）。
  • 高精度的神经网络通常能够成功地从给定的图像数据（测试数据）中正确抓取缺陷，但如果与低召回结合使用，则可能会出现许多假负值判断（2 类错误）
• 召回
  • 低召回的神经网络通常无法从给定的图像数据（测试数据）中充分抓取本应检测到的缺陷，因此它会返回许多假负值判断（2 类错误）。
  • 高召回的神经网络通常能够成功地从给定的图像数据（测试数据）中充分抓取缺陷，但如果与低精度结合使用，则可能会出现许多假负值判断（1 类错误）

 

总之，

• 精度 - 已检测到的缺陷与标注缺陷相匹配的百分比。
• 召回 - 工具正确识别的检测缺陷的百分比。
• F-得分 - 召回和精度的调和平均值。

 

几乎所有检查案例（可能有例外）的理想统计结果同时包括高精度和高召回 。