问题反馈

通过示教法设置抓取点,然后利用相机采集点云生成点云模板

您正在查看最新版本(V2.1.1)的文档。如果您想查阅其他版本的文档,可以点击页面右上角“切换版本”按钮进行切换。

■ 如果您不确定当前使用的产品是哪个版本,请随时联系梅卡曼德技术支持。

在该流程中,你可通过示教法添加工件抓取点,然后采集点云,生成点云模板并创建工件。

在工件库首页示教并采集点云流程下方单击选择,然后设置工件名称,即可进入配置流程。总体配置流程如下图所示。

overview
  1. 示教抓取点:使用示教法为工件添加抓取点。

  2. 采集点云:使用当前工程采集点云,然后进行参数调整和 3D ROI 设置,用于生成点云模板。

  3. 编辑模板:对生成的点云模板进行编辑,包括校准工件中心点、配置点云模板等,用于后续更好地进行3D匹配。

  4. 漂移自校正数据采集:对于已部署视觉系统漂移自校正功能的方案,需额外进行漂移自校正数据采集,用于确保漂移自校正后的抓取点依然准确可用。

  5. 设置抓取点:在编辑完成的点云模板上设置抓取点或添加抓取点阵列。

  6. 设置碰撞模型(可选):生成碰撞模型,用于路径规划时的碰撞检测。

下文将对配置流程进行介绍。

示教抓取点

  1. 将工件摆放在相机视野内,并保证机器人可正常抓取工件。

  2. 使用示教器控制机器人,精准到达工件的预期抓取点。

  3. 令机器人的工具位姿接近点云模板中心,减少抓取误差。

  4. 记录并在右侧参数配置区填写抓取点处的机器人法兰位姿和 TCP(末端工具相对于机器人法兰的位姿)。

  5. 使用示教器控制机器人离开抓取点,注意在离开过程中保持工件位置不变。

  6. 采集工件点云并制作点云模板。

采集点云

设置工程信息

采集点云时,需使用当前工程中的“从相机获取图像”步骤,此处已自动选择该步骤。然后单击采集点云,即可在可视化区查看点云采集结果。

需注意,当相机视野无法覆盖完整工件时,应优先确保工件关键部位位于相机视野中。

以长条形钣金件为例,假设下图右侧红框标记范围为相机视野,为保证匹配稳定性,推荐选取绿框标记范围内的点云为点云模板,并且相机拍照时务必确保绿框标记范围位于相机视野内,尤其是右侧边缘部分位于相机视野内。

select feature camera cannot cover target object

调整预处理参数

为了去除干扰点云,加快后续步骤的处理速度,可对点云进行预处理操作。关于各参数的具体说明可参考预处理参数说明

若工程中使用了“3D工件识别”步骤,可开启使用“3D工件识别”的步骤参数,自动同步“3D工件识别”的步骤参数值至此处,可更好的提高 3D 匹配的准确性。

设置 ROI 与去除背景

为了快速去除场景中无关的点云,提取工件点云,可设置 ROI 与去除背景。

如需通过采集背景图像的方法去除背景,在采集点云后,需将要生成点云模板的工件移出相机视野,然后单击采集点云并去除背景,工具将自动去除背景点云。

至此,已完成点云采集,可单击下一步,对生成的点云模板进行编辑。

编辑模板

生成点云模板后,需对点云模板进行编辑,以便更好地进行 3D 匹配。

查看模板信息

编辑点云

如果点云模板周围存在干扰点云,可通过编辑点云将干扰点云去除,具体操作可参考编辑点云

校准工件中心点

工具自动计算工件中心点后,你可根据实际使用工件校准工件中心点。可在按用途校准中心点下方选择不同计算方式,然后单击开始计算,对工件中心点进行校准。

方法 说明 操作 适用的工件

使用原中心点重新计算

默认的计算方式,默认根据工件自身的特征和原工件中心点重新计算工件中心点。

选择使用原中心点重新计算,然后单击开始计算按钮。

校准至对称中心

根据工件的对称性计算工件中心点。

计算出当前模板的对称性后,工件中心点将被设置至对称中心。对称性计算可能存在偏差,当出现偏差时,请手动调整工件中心点。

选择校准至对称中心,然后单击开始计算按钮。

具有对称性的工件

calibrate to center of symmetry example

校准至特征中心

根据自行选择的特征类型以及设置的3D ROI计算工件中心点。

  1. 根据工件的几何特征选择特征类型,工具将根据特征类型自动计算工件中心点。

  2. (可选)开启使用 3D ROI,在工件的几何特征处设置 3D ROI。

  3. 单击开始计算按钮。

具有明显几何特征的工件

calibrate to center of feature example

配置点云模板

为了更好的使用点云模板进行 3D 匹配,提高匹配准确性,工具提供了以下两种点云模板配置。如需进行相关配置,可开启配置点云模板功能。

计算位姿以过滤匹配结果

开启计算位姿以过滤匹配结果功能后,匹配过程中会根据设置进行较多的尝试,以获取置信度更高的匹配结果。但较多的尝试次数会在匹配过程中带来额外的耗时。

此处包含两种计算方法,分别为自动计算可能匹配失败的位姿手动设置对称性,一般情况下,推荐选择自动计算可能匹配失败的位姿。具体说明如下表所示。

方法 说明 操作

自动计算可能匹配失败的位姿

自动计算出可能造成误匹配的位姿。在后续匹配中,与这些位姿匹配成功的位姿会被视作不合格并被过滤掉。

  1. 单击计算可能匹配失败的位姿,自动计算出的可能造成误匹配的位姿。

  2. (可选)在列表中单击×,移除认为不会造成误匹配的位姿。

手动设置对称性

当工件存在对称性时,可手动设置点云模板对称性,可减少机器人持有工件过程中末端工具的旋转,提高路径规划的成功率,减少路径规划时间,使机器人抓取动作更加流畅、快捷。

可参考工件对称类型选择对称轴,然后设置对称次数角度范围

使用上述功能后,且想在后续匹配过程中生效,需在后续匹配相关步骤中进行对应的参数设置。具体说明如下。

  • 若使用“3D匹配”步骤,需在调整或过滤粗匹配位姿  选择策略参数下拉栏选择过滤可能匹配错误的结果。该参数存在于高级、专家参数调试等级下。

  • 若使用“3D工件识别”步骤,需在工件选择与识别流程下的调整或过滤粗匹配位姿  选择策略参数下选择过滤可能匹配错误的结果。该参数位于高级模式下。

设置权重模板

在工件识别过程中,设置权重模板可突出工件关键特征,从而提升匹配结果的准确性。通常可使用权重模板区分工件朝向。权重模板设置方法如下。

仅当点云显示设置仅显示面点云时才可设置权重模板。

  1. 单击编辑模板

  2. 在可视化区中长按鼠标右键,在工件上框选一部分特征。选中的部分(即权重模板)在匹配过程中被赋予更高的权重。

    通过Shift+长按鼠标右键,可在同一点云模板上设置多处权重。

    set weight template
  3. 单击应用,即完成了权重模板设置。

设置权重模板后,若想在后续匹配过程中生效,需在“3D匹配”步骤的“模型选择”参数处选择制作好的权重模板,并在“位姿过滤”参数处开启使用权重模板。“使用权重模板”参数存在于专家参数调试等级下。

至此,已完成模板编辑。

如未部署漂移自校正功能,可单击保存按钮,保存上述工件配置。或单击下一步按钮,设置碰撞模型。

如已部署漂移自校正功能,需单击下一步按钮,采集漂移自校正数据。

漂移自校正数据采集

通过示教法添加的抓取点是准确可靠的,当视觉系统精度漂移时,不会影响抓取点。此时如果校正视觉系统漂移,将会对抓取点进行过度校正。

所以若已部署漂移自校正功能,编辑模板后还需进行EIH/ETH漂移自校正数据采集,获得视觉系统漂移校正量并反向补偿,以确保通过示教法添加的抓取点依然准确可用。

  1. 进行EIH漂移自校正数据采集ETH漂移自校正数据采集

    • 若距离上次漂移校正已超过 1 天,需重新运行机器人程序,获得新的漂移校正数据。

    • 若距离上次漂移校正在 1 天内,可跳过校正流程直接单击开始检查按钮。

  2. 检查程序运行结果。

    运行机器人程序后,单击开始检查按钮,检查机器人程序运行结果。

若检查通过,则说明漂移机器人自校正程序运行后已生成有效的漂移校正数据。

若检查失败,则说明漂移机器人自校正程序运行后未生成有效的漂移校正数据,建议重新运行机器人自校正程序采集标定球位姿。

漂移自校正数据采集完成后,你可单击下一步,设置抓取点。

设置抓取点

调整抓取点

抓取点列表中显示默认添加好的抓取点,该抓取点以工件中心点为坐标系原点,工件中心点的位置变化将影响抓取点。你可对默认抓取点进行调整,或添加新的抓取点。

  • 调整默认抓取点

    若默认生成的抓取点不符合实际抓取需求,可在“抓取点配置”中自行设置抓取点相关数值,或在可视化区中通过手动拖拽的方式调整抓取点。

  • 新增抓取点

    若工件存在多个抓取点,可单击新建按钮新增抓取点。

    以方管为例,方管侧面、端面和棱边均可被磁吸夹具吸取,所以可在方管的上述三个位置设置抓取点。

    configure multi pick point 1

    新增抓取点后,还可改变抓取点在抓取点列表中的位置,即拖拽调整抓取点顺序,以调整抓取点的优先级,实际抓取时,列表上方的抓取点将被优先考虑。

设置抓取点阵列

当工件存在对称性时,可根据实际需求基于工件中心点设置抓取点阵列。设置抓取点阵列后,可以提高路径规划成功率,减少机器人在抓取过程中末端工具的旋转,减少路径规划时间,使机器人抓取动作更加流畅、快捷。设置方法如下。

  1. 抓取点配置下单击生成,生成抓取点阵列。

  2. 参考工件对称类型选择对称轴并设置对称次数角度范围

  3. (可选)令视觉结果中包含抓取点阵列。

    若关闭,Mech-Viz或路径规划工具将根据工件库中的设置生成抓取点阵列,并基于该阵列中的抓取点进行路径规划。

    若开启,Mech-Vision将根据工件库中的设置输出抓取点阵列,Mech-Viz或路径规划工具将使用阵列中的抓取点进行路径规划。

以圆管为例,抓取点阵列设置如下图所示。

configure pick point array 1

在实际应用中,Z 轴朝下的抓取点大概率是无效的,且会影响路径规划,所以在配置抓取点阵列时应该缩小阵列的角度范围,通常推荐将该范围控制在 ±90° 内。如下图所示,为乱序摆放的圆管配置抓取点阵列时,阵列抓取点角度范围为 ±30°,即可满足使用需求。

configure pick point array 2

添加抓取配置

预览抓取效果

如果路径规划工具/Mech-Viz中配置了工具,可在工件库中启用,用于预览实际抓取时抓取点与工具的位置关系,从而帮助确认抓取点的设置是否合理。具体操作如下。

  • 路径规划工具

  • Mech-Viz

  1. 添加末端工具。

    在路径规划工具中添加末端工具并设置 TCP

  2. 预览并启用工具。

    添加末端工具后,工具信息将自动更新至工件库的工具列表。你可根据实际需求,在工具列表中选中工具,在可视化区预览实际抓取时抓取点与工具的位置关系(如下图所示),或勾选末端工具,用于实际抓取。

    如果在路径规划工具中修改了工具,请在路径规划工具中保存更改,以更新工件库的工具列表。
    configure picking example
  1. 确保Mech-Viz工程位于当前方案下。

    为了确保在工件库中获取到Mech-Viz中的末端工具信息,需参考导出工程到方案将Mech-Viz工程移动至当前方案。

  2. 添加末端工具。

  3. 预览并启用工具。

    添加末端工具后,工具信息将自动更新至工件库的工具列表。你可根据实际需求,在工具列表中选中工具,在可视化区预览实际抓取时抓取点与工具的位置关系(如下图所示),或勾选末端工具,用于实际抓取。

    如果在Mech-Viz中修改了工具,请在Mech-Viz中保存更改,以更新工件库的工具列表。
    configure picking example

设置工具平移/旋转裕度

在实际抓取时,若希望工具沿抓取点某个方向发生位置或角度变化后依然能够抓取工件,可在工件库中设置工具的平移/旋转裕度,以进一步提升抓取成功率。

以圆管为例,支持抓取点沿 X 轴方向平移。

configure picking relaxation 1

对应的工件库配置如下图所示。

configure picking relaxation 2

至此,你可单击保存按钮,保存上述工件配置。如需进行碰撞模型设置,可单击下一步

设置碰撞模型(可选)

选择碰撞模型生成方式

设置碰撞模型

碰撞模型是用于在路径规划中检测相应物体是否存在碰撞的 3D 模拟物体。工具可根据当前工件配置流程自动推荐碰撞模型生成方式,当前推荐的碰撞模型生成方式为基于 STL 模型生成点云立方体。工具将根据选择的 STL 模型生成点云立方体,然后进行碰撞检测。通过该方式生成的碰撞模型准确度高,但碰撞检测速度慢。

  1. 选择 STL 模型。

    单击选择 STL 模型,选择一个 STL 模型,该模型将用于生成点云立方体。

  2. 对齐模型。

    为了确保碰撞模型与工件的点云模板对齐,从而进行有效的碰撞检测,可单击自动对齐点云模板与碰撞模型,或手动调整碰撞模型位姿,使碰撞模型与工件点云模板重合。

设置已持有工件对称性

工件对称性反映了工件绕其对称轴旋转一定角度后外形可以与旋转前重合的特性。当路径点的“目标类型”为“工件位姿”时,配置旋转对称可减少机器人持有工件过程中末端工具的旋转,提高路径规划成功率,减少路径规划时间,使机器人抓取动作更加流畅、快捷。

你可参考工件对称类型选择对称轴,然后设置对称次数角度范围

至此,即完成了碰撞模型设置。单击保存按钮,即可保存工件至 方案文件夹\resource\workobject_library 路径下,然后在后续 3D 匹配相关步骤中使用。

我们重视您的隐私

我们使用 cookie 为您在我们的网站上提供最佳体验。继续使用该网站即表示您同意使用 cookie。如果您拒绝,将使用一个单独的 cookie 来确保您在访问本网站时不会被跟踪或记住。