定义感兴趣区域 (ROI) 和遮蔽以构建视图

定义感兴趣区域 (ROI)

添加工具以处理图像后,它们将变得模糊,并通过消息“未定义 ROI”(感兴趣区域)指示需要对其进行分割。为了使这些图像可用于当前工具,您必须通过单击工具的过程按钮剪刀图标进行分割。

默认分割为工具提供完整的图像。或者,您可以手动调整 ROI(在图像中单击鼠标右键并选择编辑 ROI)以根据其大小、位置和方向配置提取的视图。在很多情况下,需要调整感兴趣区域 (ROI) 来定义工具要在其中操作的视图。您可以使用图像中的图形手柄调整 ROI 的大小和位置。这样就可以重新调整 ROI 的大小,并在图像中将其移动。

 

编辑 ROI

添加第一个工具时,图像顶部将显示默认的“关注区域”工具栏(您可以可以从右键菜单选择编辑 ROI 来将其打开)。

 

专家模式版本:

 

设置 说明

百分比/像素

指定 ROI 将按图像的宽度和高度构建还是按像素尺寸构建。

Note: 如果前面的工具是蓝色定位工具,则百分比将以定义视图的特征或节点模型的宽度和高度为基础。

偏移

指定 ROI 左上角相对于原点的偏移量。该设置是百分比或像素,具体取决于百分比/像素设置。

ROI 大小

指定以百分比或像素为单位 ROI 的大小,具体取决于百分比/像素设置。

角度

指定 ROI 基于原点的角度方向。

网格

指定将根据网格设置将图像分隔为较小的视图。这有利于处理可能包含大量特征和/或区域的巨大图像,并且将图像分成多个较小的视图能让可视化和标注更容易。允许 Deep Learning 应用程序对图像进行划分(而不是在另一个照片编辑程序中更改图像)还可以防止引入人为伪像,因为在 Deep Learning 中图像只是继续存在。

此外,在运行期间处理图像时,可以将网格设置重置为默认值 (1 x 1),并立即处理整个图像。

例如,如果您有一个大图像,其中包含蓝色定位工具要标注和识别的 10,000 个小项目。通过将图像划分为 10 x 10 网格,只需要为每个图像识别和标注 100 个特征,而在一个图像中则为 10,000 个。

Note: 此选项仅适用于 专家模式

外部

指定将由外部源 定向 ROI,例如来自 VisionPro CogPMAlignTool 的姿势。

Note: 此选项仅适用于 专家模式
Note: 对于工具链,ROI 取决于前面的工具,并且是动态的,也就是说视图将取决于先前工具的结果。这就是说如果链接了工具,则前面的工具将确定可用的 ROI 工具栏选项。有关详细信息,请参阅 VisionPro Deep Learning 工具链
Tip: 配置关注区域 (ROI) 时,请尝试始终创建尽可能小的 ROI。

定义遮蔽(可选)

所有 Cognex Deep Learning 工具都支持通过创建和应用遮蔽从训练中排除部分图像。

在训练和处理期间,Deep Learning 工具的工作是对图像进行采样,特征尺寸是采样区域的标称跨度(以像素为单位)。在采样期间,还会考虑来自采样区域周围的大量背景信息(又称为背景区域)。

1

特征尺寸

2

采样区域

3

背景区域

 

对图像应用遮蔽时,在采样区域内被遮蔽的像素将始终被丢弃。但是,遮蔽如何应用于背景区域由遮蔽模式参数确定。

 

请考虑以下带有假设采样和背景区域的遮蔽图像:

 

遮蔽模式参数设置为默认设置透明时,仅在图像的未遮蔽部分收集样本。但是,仍从遮蔽区域收集背景信息,以背景区域内的亮绿色区域表示。

 

遮蔽模式参数设置为遮蔽时,将舍弃背景区域内所有被遮蔽的像素,由背景区域内的亮红色区域表示。此设置还可以有效地使工具在采样过程中重点关注 ROI 的中心。

Tip: 使用红色分析工具时,遮蔽图像中与应用程序无关的所有内容。

 

编辑遮蔽(可选)

右键单击图像并从菜单中选择编辑遮蔽,从而启动遮蔽工具栏。将遮蔽应用于一个图像后,单击应用按钮,训练图像集中的所有图像将使用此遮蔽。按下关闭按钮返回构建 Deep Learning 应用程序的过程。

 

 

设置 说明

绘图工具

有三种绘图工具,并可以结合使用。绘制区域的大小由宽度值定义。

  • 线:单击并拖动以在图像中创建一条线。

    Tip:
    • 在绘制时按住 Shift 键,工具将在两点之间绘制一条直线。
    • 如果要填充矩形区域,请使用线条绘制工具绘制轮廓(按住 Shift 键创建直线),然后使用魔棒工具填充该轮廓。
  • 圆:将光标放在圆形对象中心,然后向外拖动。

    Tip: 按住 Shift 键使圆圈从边界框的边角展开。
  • 魔术棒:单击并拖动以填充图像区域。您还可以单击各个特征,将填充应用于该区域。
Note: 橡皮擦工具可用于修剪和/或移除图像上的无关绘图。

宽度

定义遮蔽绘图工具、边框遮蔽和增长区域的像素宽度。应在应用该遮蔽之前设置宽度。在使用绘图工具、边框遮蔽或区域增长编辑遮蔽时,如果调整宽度值,新值将仅用于您创建的下一个遮蔽,即使在相同的编辑会话,它也不会更改先前创建的遮蔽。

边框遮蔽

根据宽度值,在图像边框周围创建遮蔽。如果图像任意切割物体,将遮蔽应用于图像的边框会很有帮助,因为获取图像的相机视野会剪切物体。

成长区

按宽度值扩展遮蔽区域。

反转

反转遮蔽,也就是遮蔽的区域将被取消遮蔽,并遮蔽不包含遮蔽的区域。

清除

从图像中移除遮蔽。

导入/导出

导入和导出按钮启动导入遮蔽 - 图像导出遮蔽 - 图像对话框,从导入或导出遮蔽图像,并采用 .PNG 文件格式。遮蔽图像是二维像素阵列,并且大小与遮蔽所在视图相同。遮蔽图像的像素值确定视图中的对应像素是否用于训练或运行时处理。通过导入/导出选项可以导入先前创建的遮蔽图像,或导出刚刚创建的遮蔽图像。

撤消/应用/关闭/全部应用

用于控制遮蔽应用的选项。

  • 撤消:撤消上一个动作。
  • 应用:将遮蔽用于图像,还可以将遮蔽用于训练集的所有图像。如果有链接的工具,遮蔽也可用于下游工具。
  • 关闭:结束遮蔽编辑会话。必须关闭遮蔽编辑会话才能执行应用中的任何其他操作。
  • 全部应用:在所有图像上应用相同的遮蔽。

 

构造视图

VisionPro Deep Learning 工具在图像的称为视图的区域上运行。VisionPro Deep Learning 的视图与图像文件略有不同。视图可以是整个图像、图像上用户定义的较小矩形区域,或工具的输出,具体取决于工具和用途。初始视图是在定义了第一个工具的关注区域 (ROI) 之后构建的。ROI 由原始图像(位置、角度、拉伸和歪斜)的仿射变换定义,ROI 指示工具在图像中的运行位置。从图像中选择视图的过程称为划分。添加的第一个工具将使用手动划分,也就是定义 ROI 以创建视图

 

  1. 橙色轮廓包含整个图像,红色虚线矩形是正在定义的 ROI。

     

  2. 绿色轮廓包含视图

 

ROI 和视图指数

可以从单个图像文件中生成许多不同的 ROI,视图也是如此。由于可以从同一个图像文件中生成许多不同的视图,因此视图的索引充当每个视图的唯一标识符。简而言之,如果从同一个图像文件生成 3 个视图,则其索引将是 0、1 和 2。

再举一个例子,如果在工具链中使用 红色分析 父工具(前面的工具),当子工具通过将区域提取为单独的 ROI功能将父工具的缺陷区域用作其 ROI 时,父工具的子工具可以有许多视图。

Note: 有关工具链的详细信息,请参阅 VisionPro Deep Learning 工具链

 

红色分析 - 绿色分类 工具链

 

 

红色分析父工具中的视图(图像文件)上的 2 个缺陷

 

 

绿色分类子工具设置 ROI:将区域提取为单独的 ROI

 

 

从 1 个图像文件生成 2 个视图,从一个缺陷生成一个视图

Tip: 默认在视图浏览器列表模式下,视图索引处于隐藏状态。要显示视图索引,请选择、打开“编辑列”,选中“视图索引”复选框,然后选择“应用”。

 

未配置 ROI 的视图的视图索引为 -1。例如,在上面的案例中,如果红色分析父工具中的视图没有缺陷区域,子工具不能从该视图中提取任何 ROI,因此该视图没有 ROI 并且视图索引为 -1。此外,当视图没有 ROI 时,文件名末尾会显示一个黄色警告标志。

 

 

如果工具在一个链中,则第一个工具后面的工具将使用之前工具的结果动态地选择视图。例如,由蓝色定位工具找到的模型可用于裁剪图像的区域并将变换应用于 ROI,以便后续工具都在相同的方向和位置内操作。

 

检查视图的状态

视图浏览器列表模式下的视图信息表中描述了每个视图的状态详细信息。每个视图的状态信息依工具类型而异。

 

说明
文件名 在当前流中加载的视图图像文件的名称。如果从单个图像文件生成许多不同的的视图,则这些视图具有相同的文件名。
视图索引 视图的索引。如果从单个图像文件生成许多不同的视图,则将视图索引用作每个视图的唯一标识符。例如,如果从同一个图像文件生成 3 个视图,其文件名将相同,并且其视图索引将是 0、1 和 2。请注意,默认在视图浏览器列表模式下,视图索引处于隐藏状态。要显示视图索引,请选择、打开“编辑列”,选中“视图索引”复选框,然后选择“应用”。
框架索引

框架的索引。多个图像可以被分组到单个框架中,框架索引是每个框架的唯一标识符。

标签 视图的标签。有关详细信息,请参阅创建标签(标注)
标记 视图的标记。有关详细信息,请参阅检查标记
得分 视图的分数。有关详细信息,请参阅解释结果
标注的区域 此视图上标注的区域的数量。
标记的区域 此视图上标记的区域的数量。
视图集 训练集中的包含标记。如果视图在测试集中,则没有标记。
您创建的自定义集中的包含标记。有关详细信息,请参阅创建和编辑集
备注 您编写或编辑的自定义备注。

 

视图浏览器列表模式下的控制视图

在列表模式下,您还可以向当前 VisionPro Deep Learning 工作区添加新图像,向训练集添加图像,对显示的视图应用筛选条件,对显示的视图进行排序,或者对每个视图进行其他操作。

 

操作信息表

单击每个列标题对信息表的内容排序。

 

只需将列标题拖放到所需位置,即可更改显示的列顺序。

 

 

单击 按钮可编辑显示的列的列表。

 

在“编辑列”对话框中,启用或禁用复选标记可显示或隐藏列。选择“重置”将要显示的列的列表和列顺序设置为默认值。

 

您还可以通过拖放每列的 图标来更改列显示顺序。

 

此外,右键单击列标题可以直接隐藏或添加列。

 

将视图标星

如果某个视图很重要或需要经常访问,可以将该视图标星来创建书签。

 

标星仅适用于当前工具中的视图,而不适用于其他工具中的相同视图。如果使用工具链,父工具(上游工具)中的标星视图不会在子工具(下游工具)中保持标星状态,反之亦然。但是,如果您对某个视图标星并克隆当前工具,克隆工具中的同一视图将保持标星状态。

 

张贴备注

您可以为每个视图添加和编辑备注。双击“备注”可为每个视图编写或编辑备注。

 

张贴备注仅适用于当前工具中的视图,而不适用于其他工具中的相同视图。如果使用工具链,父工具(上游工具)中的视图备注不会为子工具(下游工具)中的相同的视图保留,反之亦然。但是,如果在视图上添加备注并克隆当前工具,则为克隆工具中的同一视图保留备注。