深度学习模型包管理工具

本节介绍深度学习模型包管理工具的使用方法。

工具介绍

深度学习模型包管理工具是Mech-MSR软件提供的管理深度学习模型包的工具，可对Mech-DLK 2.6.1及之后版本导出的深度学习模型包进行优化，并对运行模式、硬件类型、模型效率、模型包状态进行管理。此外，该工具还可以监控PC的GPU使用率。

当工程中使用了深度学习模型包推理步骤时，可将模型包先导入到深度学习模型包管理工具，然后在该步骤中使用。将模型包提前导入该工具，可提前完成模型包的优化。

功能入口

你可以通过以下方式打开该工具：

新建或打开工程后，依次单击软件菜单栏中深度学习 深度学习模型包管理工具。
在软件的工程编辑区，单击“深度学习模型包推理”步骤上的配置向导按钮。
在软件的工程编辑区，选中“深度学习模型包推理”步骤，然后在步骤参数栏中单击模型包管理工具下的打开编辑器按钮。

界面描述

该工具界面中各选项字段描述如下：

字段

描述

缓存模型包名称

导入的模型包名称。

使用工程

使用模型包的Mech-MSR工程。

模型包类型

模型包的类型，如“文本检测”、“文本识别”等。

暂不支持“快速定位”类型的模型包。

运行模式

推理时模型包的运行模式，包括共享模式和性能模式。

共享模式：选择该选项后，多个步骤使用同一模型包时，将排队推理，可节省更多运行资源。
性能模式：选择该选项后，多个步骤使用同一模型包时，将并行推理，可提高运行速度，但会消耗更多运行资源。

硬件类型

使用模型包进行推理时使用的硬件的类型，包括GPU（默认）、GPU（优化）、CPU。

CPU：使用CPU进行模型包推理，与GPU相比，推理时间会增加，并且识别精度会有所降低。
GPU（默认）：选择该选项后，无需根据硬件设备对模型包进行优化，模型包推理将不会被提速。
GPU（优化）：选择该选项后，将根据硬件设备对模型包进行优化，此过程仅需一次，预计耗时5~15分钟，优化后的模型包推理时间将缩短。

工具会通过检测电脑硬件型号来决定硬件类型选项，硬件类型各选项具体显示规则如下。

CPU：当检测到电脑带有Intel品牌的CPU时，显示该选项。
GPU（默认）、GPU（优化）：当检测到电脑带有NVIDIA独立显卡，且显卡驱动版本不低于472.50时，显示该选项。

模型效率

可对模型包推理效率进行配置。

模型包状态

模型包的状态，如“优化中”、“就绪” 、“优化失败”等。

常见操作

本节介绍深度学习模型包管理工具的常见操作。

导入深度学习模型包

打开深度学习模型包管理工具，在其界面左上角单击导入模型包按钮。
在弹出的文件选择窗口中选中想要导入的模型包，然后单击打开按钮，该模型包即可出现在工具的列表中。

导入深度学习模型包时，GPU驱动的最低版本要求为472.50（不建议使用500以上版本的GPU驱动，可能导致深度学习步骤运行时间存在波动），CPU的最低要求为英特尔第6代Core。当硬件条件不满足时将出现深度学习模型包导入失败的情况。

注销深度学习模型包

如需注销已导入的深度学习模型包，需先选中该模型包，然后单击工具界面右上角的注销模型包按钮，即可注销该模型包。

deep learning model management log out model

当模型包处于优化中或正在使用（使用该模型包的工程正在运行）状态时，该模型包不能被注销。

切换运行模式

如需切换模型包推理的运行模式，可在深度学习模型包管理工具的运行模式字段下单击 deep learning model management icon 1 按钮，然后选择共享模式或性能模式。

deep learning model management select operating mode

当深度学习模型包的状态为优化中或正在使用（使用该深度学习模型包的工程正在运行）时，无法切换运行模式。
当深度学习模型包的运行模式为共享模式时，无法在深度学习模型包推理步骤的参数栏切换GPU ID。

切换硬件类型

深度学习模型包推理的硬件类型可切换至 GPU（默认）、GPU（优化）或 CPU。

在深度学习模型包管理工具的硬件类型字段下单击 deep learning model management icon 1 按钮，然后选择GPU（默认）、GPU（优化）或CPU。

deep learning model management select hardware type

当模型包的优化状态为优化中或正在使用（使用该模型包的工程正在运行）时，无法切换硬件类型。

配置模型效率

配置模型效率的流程如下：

确定要配置的深度学习模型包。
单击模型效率下方对应的配置按钮，在弹出的窗口中设置批量大小和精度。模型运行效率受批量大小和精度参数影响。
- 批量大小：模型推理时，一次性送入神经网络的图像数量。默认值为1，不可更改。
- 精度（仅“硬件类型”为“GPU（优化）”时可设置）：
  - FP32：模型精度高，推理速度较慢。
  - FP16：模型精度低，推理速度较快。

错误排查

深度学习模型包导入失败

问题现象

选择要导入的深度学习模型包后，提示“深度学习模型导入失败”。

可能原因

已经导入了名称相同的模型包。
已经导入了内容相同的模型包。
软硬件不满足要求。

解决方案

修改模型包名称，或注销已导入的模型包。
检查模型包内容，如与已导入模型包完全一致则无需重复导入。
确保GPU驱动的最低版本要求为472.50，CPU的最低要求为英特尔第6代Core。

深度学习模型包优化失败

问题现象

优化深度学习模型包时，提示“模型包优化失败”。

可能原因

显存不足。

解决方案

在工具中注销未使用的模型包，然后重新导入要优化的模型包。
将其他模型包的“运行模式”切换为“共享模式”，然后重新导入要优化的模型包。

我们重视您的隐私

我们使用 cookie 为您在我们的网站上提供最佳体验。继续使用该网站即表示您同意使用 cookie。如果您拒绝，将使用一个单独的 cookie 来确保您在访问本网站时不会被跟踪或记住。

同意

不同意