问题反馈

深度学习模型包推理

功能描述

该步骤可使用Mech-DLK软件导出的单级模型包进行推理,并输出推理结果。

目前该步骤可使用以下场景的模型包进行推理:文本检测、文本识别、缺陷分割、非监督分割、实例分割、图像分类、目标检测。

  • 支持加载Mech-DLK 2.6.1及以后版本软件导出的模型包(后缀为.dlkpack)。

  • 已在Mech-MSR 2.1.0中充分测试文本检测、文本识别、缺陷分割、非监督分割深度学习模型包,其他类型的模型包暂未测试。如遇问题,请联系技术支持。

使用流程

该步骤的使用流程如下:

dl model package infer workflow
  1. 选择输入数据。连接对应的步骤端口,或者在参数设置区的输入栏下选择对应的输入数据。

  2. 确保已有深度学习模型包,否则该步骤将无法使用。

  3. 使用深度学习模型包管理工具导入模型包。

  4. 设置参数。

  5. 输出栏中勾选输出项。

  6. 运行步骤,并查看运行结果

获取深度学习模型包

你可以通过以下方式获取深度学习模型包:

  • 使用Mech-DLK软件(2.6.1及以上版本)导出深度学习模型包。

  • 梅卡曼德下载中心获取深度学习模型包。

系统要求

使用该步骤时,需满足如下系统要求。

  • CPU:需支持AVX2指令集,且需满足以下任一条件:

    • 不带独立显卡时:Intel i5-12400及以上。

    • 带独立显卡时:Intel i7-6700及以上,且显卡不低于GeForce GTX 1660。

      已在Intel CPU上进行充分测试,尚未在AMD CPU上进行测试,推荐使用Intel CPU。
  • GPU:若配备独立显卡,应使用GeForce GTX 1660及以上规格。

参数说明

模型包设置

参数 解释

模型包管理工具

该参数用于打开深度学习模型包管理工具,导入深度学习模型包。模型包文件是Mech-DLK软件导出的扩展名为dlkpack的文件。

深度学习模型包管理工具的使用方法可参考深度学习模型包管理工具

模型包名称

该参数用于为该步骤选择要使用的模型包。

模型包类型

选择模型包名称后,将自动填充模型包类型

输入图像批量大小

选择模型包名称后,将自动填充输入图像批量大小

GPU ID

该参数用于指定用于模型包推理的GPU设备ID。选择模型包名称后,需在该参数下拉栏中选择用于模型包推理的GPU设备ID。

预处理

参数 解释

ROI文件

该参数用于设置或修改ROI。

在初始状态下时,已存在默认的ROI设置。如需修改ROI设置,可单击打开编辑器按钮。然后在弹出的设置目标区域窗口中设置ROI,并填写ROI名称。

设置ROI流程:在图片显示区域,单击鼠标左键,拖动鼠标框选ROI,再次单击鼠标左键完成框选。若需重新框选ROI,再次单击鼠标左键进行框选即可。所框选的ROI坐标范围会显示在目标区域属性中,单击确定按钮后将会保存并退出。

推理前,请检查此处设置的ROI与Mech-DLK软件中设置的ROI是否一致。若不一致,可能影响识别效果

推理过程中,一般使用模型训练时设置的ROI,即默认ROI。如果物体在相机视野内的位置发生改变,需调整ROI。

当设置好ROI后,如需使用默认ROI,将打开编辑器按钮下方的ROI名称删除即可。

后处理

推理配置

用于对模型包推理时的相关参数进行配置,单击打开编辑器按钮可打开推理配置窗口。不同类型模型包下,该窗口中包含的参数及说明如下:

模型包类型 参数解释

文本检测

如需对检测出的文本进行过滤,可打开结果过滤开关。

请参阅配置文本判定规则了解如何进行逻辑规则设置通用规则设置

文本识别

添加修改项修改文本识别结果。

  • 字符替换:删除文本识别结果中的数字、符号或字母。

  • 固定位置替换:将指定位置的字符替换成设置的字符。

缺陷分割

如需对检测出的缺陷进行过滤,可打开结果过滤开关。

请参阅配置缺陷判定规则了解如何进行逻辑规则设置通用规则设置

非监督分割

拖动滑块,设置OK阈值NG阈值

  • 若“缺陷度”小于设定的OK阈值,则判断图像为OK。

  • 若“缺陷度”大于设定的NG阈值,则判断图像为NG。

  • 若“缺陷度”大于设定的OK阈值且小于设定的NG阈值,则判断图像为Unknown。

“缺陷度”表示图像中存在缺陷的概率。

实例分割

置信度阈值:用于设置实例分割过程中的置信度阈值。高于该阈值的结果将被保留。

图像分类

置信度阈值:用于设置图像分类过程中的置信度阈值。高于该阈值的结果将被保留。

目标检测

置信度阈值:用于设置目标检测过程中的置信度阈值。高于该阈值的结果将被保留。

膨胀

参数解释:该参数用于增大深度学习掩膜的面积。当深度学习掩膜比工件小时,利用掩膜提取到的工件点云会存在缺失(特别是边缘点云),此时建议开启膨胀,增大掩膜面积,避免提取的点云存在缺失。开启该参数后,需设置进行膨胀操作时的核大小(默认值为3px);核越大,膨胀效果越强。

仅在模型包类型为实例分割目标检测时可见。

可视化设置

模型包类型 参数解释

文本检测

文本识别

实例分割

图像分类

目标检测

  • 使用自定义字体大小

    该参数用于决定是否对可视化输出结果中的文本字体大小实现自定义。开启该选项后,需设置字体大小(0~10)

  • 字体大小(0~10)

    该参数用于设置可视化输出结果中的文本字体大小。默认值:1.5

缺陷分割

非监督分割

在图片上绘制缺陷掩膜

该参数用于决定是否在图片上绘制缺陷掩膜。开启该选项后,将在输入的图像上叠加缺陷掩膜,以标识检测到的缺陷区域。

draw mask demo

实例分割

  • 可视化检测结果

    该参数用于决定是否将实例分割的掩膜和包围盒显示在输入的图像上。默认关闭。

  • 物体的可视化方式

    该参数用于指定可视化输出结果中物体的可视化方式。

    • Instances:每个实例都有唯一的颜色。

    • Classes:具有相同标签的实例具有相同的颜色。

    • CentralPoint:显示物体本身颜色。

      instance segmentation demo 0

目标检测

  • 可视化检测结果

    该参数用于决定是否在图像上显示掩膜和包围盒。默认关闭。

  • 可视化结果的方式

    该参数用于指定可视化输出结果的方式。

    • BoundingBox:以物体包围框的形式显示结果。

    • CentralPoint:以物体中心点的形式显示结果。

      object detection demo 0

输出说明

运行步骤后,可在数据可视化区和结果输出面板查看结果。

该步骤使用“缺陷分割”模型包进行推理时,输出的分割布尔值结果为布尔类型数据:

  • true:表示检出缺陷,故判定结果为NG,对应的布尔值为1;

  • false:表示未检出缺陷,故判定结果为OK,对应的布尔值为0。

我们重视您的隐私

我们使用 cookie 为您在我们的网站上提供最佳体验。继续使用该网站即表示您同意使用 cookie。如果您拒绝,将使用一个单独的 cookie 来确保您在访问本网站时不会被跟踪或记住。