VisionPro Deep Learning 工具链

每个 Cognex Deep Learning 工具都有唯一的输出，并且在所谓的工具链中，该输出可以用作另一个工具的输入。在下图中，蓝色定位工具具有由提供位置的三个特征（H，B 和 T）组成的节点模型（这类似于使用传统视觉应用程序中的图案工具来创建定位工具）。

红色分析工具使用蓝色定位工具的输出位置来定向和创建视图，允许基于蓝色定位工具输出的节点模型在图像的同一区域中执行检测分析。最后，绿色分类工具用于根据为绿色分类工具建立的分类标准对红色分析工具的输出进行分类。

Note: 蓝色定位工具还能够根据工具找到的特征定向下游工具的视图。

 

创建 VisionPro Deep Learning 工具链

  1. 要创建一系列工具，请在添加工具后，按工具图标上的添加图标：

  2. 通过这种方式，您可以创建一系列工具，其中每个工具都链接到后续工具。

Note: 您可以通过单击工具从一个工具导航到下一个工具。可以通过将当前工具拖动到另一个工具上来更改工具顺序。

 

定义下游工具的 ROI

工具链接在一起后，下一个工具之前的工具将决定下游工具关注区域 (ROI) 的工具栏选项。

 

蓝色定位工具后的 ROI 选项

蓝色定位工具是前一个工具时，它可以提供下游工具使用的固定工具转换，其中，工具的关注区域将位于图像内。

 

这些是为下游工具指定关注区域的选项。

  1. 一个或多个特征
  2. 匹配
  3. 节点模型
  4. 布局模型

 

特征 ROI

您还可以使用蓝色定位工具中定义的各个功能来提供下游工具的关注区域。每个特征提供五自由度 (DOF) 转换（X 平移、Y 平移、旋转、X 标度和 Y 标度）。

 

该特征还将确定 ROI 的大小。ROI 的百分比将基于特征的宽度和高度。

  1. 选择特征。

  2. 按下目标旁边的向下箭头，显示一个下拉菜单，其中包含工具定义的特征列表，以及仅匹配，这将仅返回属于模型的特征。

    Note: 按下锁定图标并将其禁用，可以创建特征的自有表达式，或匹配特征要使用的筛选条件。可以使用以下语法构建自定义筛选条件：feature[] 或 match[]，如 feature [id ='featurename'] 或 match [name ='modelname']。空筛选条件（默认设置）将匹配所有特征。

  3. 选择一个或多个特征或“仅匹配”。

  4. “目标”字段将显示用于生成视图的筛选条件。然后，您可以调整 ROI 以适合要检查的区域。

 

来自匹配的 ROI

通过“匹配”选项，您可以指定仅在前一个“蓝色定位”工具生成匹配节点或布局模型时才创建 ROI。

 

节点或布局模型的 ROI

如果已配置节点模型或布局模型，则“蓝色定位”工具后面的工具可以使用节点或布局模型来调整其关注区域 (ROI) 的方向。

 

节点模型提供五自由度 (DOF) 变换（X 平移、Y 平移、旋转，X 标度和 Y 标度）。节点模型还将确定 ROI 的大小。ROI 的百分比将基于节点模型的宽度和高度。

 

还可以使用布局模型，将模型的各个区域呈现为下游工具的视图。

 

在专家模式中，可以使用“比例”设置，该设置可以缩放 ROI 以匹配模型参考框架。默认情况下，ROI 不会缩放，并使用原始图像像素大小。此外，您还可以指定仅应用匹配项。

 

按下锁定图标并将其禁用，可以创建特征的自有表达式，或匹配特征要使用的筛选条件。可以使用以下语法构建自定义筛选条件：feature[] 或 match[]，如 feature [id ='featurename'] 或 match [name ='modelname']。空筛选条件（默认设置）将匹配所有特征。

 

绿色分类工具后的 ROI 选项

绿色分类工具是前一个工具时，可以使用筛选条件，以仅显示匹配以下工具特定标记的视图。然后可以调整绿色工具后工具的 ROI，以满足您的检查需求。

 

例如，如果您希望根据分类为标记“5”的图像进一步分析图像，则可以在“筛选条件”字段中输入几个不同的表达式。

  • best_tag='5' 并且分数 > 阈值
  • tag![5]/分数 > 阈值

使用这些表达式作为筛选条件，将仅返回标记为“5”并且得分高于阈值参数设置的视图，因为根据定义筛选条件句法，绿色分类工具只能“发现”最高得分高于“阈值参数”的视图。

 

红色分析工具后的 ROI 选项

红色分析工具是前一个工具时，有几个选项可用于配置下游工具。

  • 您可以通过调整图像中的 ROI 来手动配置 ROI。默认的 ROI 工具栏如下所示。通过不选择工具栏中的任何选项，您可以手动配置 ROI 的大小和位置以创建视图。

  • 您可以让该工具为前一个工具发现每个缺陷创建单独的 ROI。

  • 如果前一个工具发现缺陷，可以让工具不创建 ROI。

  • 您可以将遮蔽用于 ROI 中的缺陷。
  • 您可以重复使用前一个工具中的遮蔽。

 

在下面的示例中，已选择将区域提取为单独的 ROI。使用此选项，发现的缺陷将从图像中提取为单个区域，然后会转换为视图。

 

您还可以组合选项，并在 ROI 内部添加遮蔽，从而排除背景并仅显示缺陷。

 

如果您对缺陷之外的区域更感兴趣，可以反转遮蔽以聚焦背景而不是缺陷。

 

为下游工具定义遮蔽

当 Cognex Deep Learning 工具在工具链中连接在一起时，以下工具将使用为前一个工具创建的遮蔽。在这种情况下，如果在工具 1 中创建了遮蔽，并且工具 2 链接到工具 1，则工具 2 将继承工具 1 的遮蔽。如果在工具 2 中添加了其他遮蔽，则在编辑工具 2 时，工具 2 将使用这两个遮蔽。要编辑工具 1 的遮蔽以供工具 2 使用，您必须在工具 1 是启用工具时，选择编辑遮蔽。

 

工具链教程：定位和检查螺丝

在检查过程中需要旋转的螺钉或任何其他圆柱形对象。不仅要注意沿着旋转轴的一条特定线条，还要注意几个图像上的整个对象，这样可以获得在相机的不同角度和不同照明的情况下看到表面和缺陷的优势。例如，当一些缺陷位于中心线上时呈现效果最好，而一些缺陷略微偏向侧面时呈现效果最好。

由于红色分析工具不依赖于对象的精确定位或定向，因此它基本上可以在开环中运转。换句话说，您可以拍摄旋转对象的一系列图像（电影）并将它们直接呈现给红色分析工具。但是，在这组特定的图像中，螺钉在整个图像上移动，因此建议首先使用蓝色定位工具定位并裁剪螺钉，然后再将其馈入红色分析工具。

 

此教程的目标是：

  • 使用蓝色定位工具定位和跟踪模糊特征。

  • 生成几何模型以确定螺钉的姿势。

  • 配置分段器以通过红色分析工具处理螺钉。

  • 实施训练次数参数以改善检测结果。

Note: 有关设置工具的具体步骤的详细信息，请参阅蓝色定位和红色分析聚焦无监督。

 

  1. 添加用于螺钉教程的图像。
    1. 在训练模式下，在添加或打开工作区后，在 GUI 的显示空间中按添加图片，或将图像从 Windows 资源管理器目录拖放到视图浏览器，即可通过“数据库”菜单（选择“添加图像”）添加图像。
  2. 添加蓝色定位工具。
  3. 调整 ROI 以分割图像，然后按剪刀图标根据新的 ROI 处理图像。
  4. 将特征尺寸参数设置为 80。
  5. 至少在三个图像上定义至少两个特征（例如，螺钉的末端和尖端）。
  6. 按大脑图标训练系统。然后查看结果并手动标注未正确找到特征的图像。
  7. 如果必须手动标注新图像，请重新训练系统并查看结果。
  8. 右键单击具有两个特征的图像，并创建名为“螺钉”的模型。
  9. 重新处理图像并确保正确找到模型。
  10. 添加红色分析工具，并使之保持为无监督模式中。
  11. 通过选择“螺钉”模型为红色分析工具分割图像。
  12. 将 ROI 的尺寸改变为 700 x 250。
  13. 禁用居中复选框，然后使用鼠标将 ROI 移到螺钉上。
  14. 按应用分割所有图像，然后确认数据库中的图像已正确分割。
  15. 对于所有图像，将缺陷不可见的图像标注为良好，将缺陷可见的图像标注为不良。
  16. 训练工具并验证结果。
  17. 如果结果不令人满意，可通过提高训练次数参数并重新训练来增加迭代训练次数。

 

工具链教程：定位方向并检查表盘

手表表盘和许多其他印刷组件都要求高品质。因此，经常使用移印（或压印），然而这就带来了检测挑战。如果进行了多次移印，则对准通常是不完美的。施加的油墨量改变，线条的厚度也可能变化。虽然这一切在视觉上没有差别，可以接受，但需要检测诸如缺少油墨、溢出或基材存在问题之类的真实缺陷。

本教程的图像以随机方向显示手表表盘。首先需要使用蓝色定位工具来确定表盘的中心和方向。然后可以通过红色分析工具分析所得出的经过裁剪和重定向的图像。由于表盘上还有开孔，可以看到下方展示网格，因此您需要使用遮蔽来防止红色分析工具检测这些区域。

 

此教程的目标是：

  • 使用蓝色定位工具定位和更正表盘的方向。
  • 添加红色分析工具以执行检测。
  • 添加遮蔽来控制要检测的具体区域。
Note: 有关设置工具的具体步骤的详细信息，请参阅蓝色定位和红色分析聚焦无监督。

 

  1. 添加用于表盘教程的图像。
  2. 添加蓝色定位工具。
  3. 通过调整蓝色定位工具的 ROI 来分割图像以包围表盘。
  4. 将特征尺寸参数设置为 100。
  5. 选择至少两个特征（例如“B”下的中心和孔），并在至少 3 个图像中选择标注特征。
  6. 将旋转扰动参数间隔更改为 [0,360]，通过在训练阶段添加一些旋转，来补偿表盘方向的变化。
  7. 训练系统并审查结果。
  8. 手动标注未正确找到特征的任何图像。
  9. 如果必须手动标注新图像，请重新训练系统并再次查看结果。
  10. 在其中一个图像中，选择两个标注特征，右键单击视图并从菜单中选择创建模型，然后创建名为“dial”的模型。
  11. 重新处理图像并确保正确找到模型。
  12. 添加红色分析工具，并配置 ROI 设置以使用“dial”模型，并将 ROI 的大小设置为 1850 x 1850。
  13. 对所有图像进行分割并确认数据库中的图像已正确分割。
  14. 将所有图像标注为良好，然后使用显示筛选条件将文件名中包含单词“bad”的图像标记为不良。
  15. 创建一个遮罩来隐藏背景、表面上的小圆圈和半月形状。
  16. 在图像显示区域中，右键单击并从菜单中选择编辑遮蔽。

    1. 选择圆圈工具，从表盘中心为圆心，沿边缘外侧画圈。

    2. 绘制圆形遮罩后，按反转按钮使遮罩覆盖圆圈的外侧。

    3. 选择圆圈工具并将圆形遮罩应用于图像中的其他圆形特征。

    4. 选择魔术棒工具，然后按住 Shift 键，将魔术棒拖动到形状上以进行填充。

    5. 使用所有遮蔽后，按应用按钮，这将启动“应用遮蔽”对话框，允许您将遮蔽应用于所有图像。

    6. 按关闭按钮来关闭编辑遮蔽对话框。现在遮蔽应该已应用于所有图像。

  17. 训练工具并查看结果，确认工具正确标记了缺陷。如果您必须调整与训练相关的任何参数，或者您必须重新标注图像，则需要重新训练工具并重新验证结果。