一种基于深度学习的不同网络模型级联目标精确推理系统及方法与流程

本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的不同网络模型级联目标精确推理系统及方法。

背景技术：

基于深度学习的目标检测的任务是找出图像中所有感兴趣的目标，确定它们的位置和大小，是机器学习领域的核心问题之一。由于各类物体有不同的外观、形状、姿态，加上成像时光照、遮挡等因素的干扰，目标检测一直是机器学习领域最具有挑战性的问题。目标检测要解决的核心问题是如何使用低成本的配置快速、准确地找到目标，只有解决了这两个关键问题才能够满足工业领域产品质量智能化检测的需求。目前常规的方法（如采用高性能的显卡和复杂深度学习网络结构等）无法满足这种需求。这就迫切需要提出一种实时且高精度的目标检测方法。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种基于深度学习的不同网络模型级联目标精确推理系统及方法。

本发明采用的技术方案是：

一种基于深度学习的不同网络模型级联目标精确推理系统，其包括图像采集模块、图像预处理模块、目标检测网络模型模块、roi图像提取模块、目标分割网络模型模块、结果分析模块和通讯模块；

图像采集模块用于实时采集当前场景的图像，

图像预处理模块用于对实时采集的图像进行图像预处理消除噪声信号，

目标检测网络模型模块用于对图像预处理后的图像进行目标检测，得到目标的位置和类别，

roi图像提取模块用于将目标检测模块得到的roi矩形框内的图像拷贝到图像缓存序列，

目标分割网络模型模块用于对roi图像提取模块得到的图像缓存序列的每个roi图像进行目标分割，得到目标的精确面积，周长，宽度和高度信息，

结果分析模块用于对目标检测网络模块得到的坐标位置、类别和目标分割网络模型得到的目标精确面积，周长，宽度和高度进行结果合并并保存到结果序列，

通讯模块用于将结果分析模块合并的结果序列发送给外部接收设备。

进一步地，图像采集模块包括图像文件读取、视频文件读取和相机拍摄图像读取。

进一步地，图像预处理模块由高斯模糊，均值滤波，中值滤波，双边滤波组成。

进一步地，目标检测网络模型模块由fasterrcnn、ssd、yolo三个目标检测网络模型组成，图像预处理后的图像由目标检测网络模型模块中的三个目标检测网络模型之一（譬如：ssd）进行目标检测。

进一步地，目标的位置信息用roi矩形框四个点坐标来表示，类别用序号0，1，2，…来表示。

进一步地，roi图像提取模块用于在当前场景图像根据目标检测网络模型模块检测到的目标坐标位置的图像拷贝出来并存储在图像缓存序列。

进一步地，目标分割网络模型网络模块由maskrcnn、unet和deeplab三个目标分割网络模型组成，目标分割网络模型网络模块用于对图像缓存序列的每个图像进行三个网络模型之一（譬如：maskrcnn），进行目标分割。

进一步地，结果分析模块用于对目标检测网络模块得到的坐标位置、类别信息和目标分割网络模型得到的目标精确面积、周长、宽度和高度进行结果合并并存储到结果序列中。

进一步地，通讯模块包括以太网芯片、3g/4g芯片、蓝牙芯片，外部接收设备包括服务器、plc，通讯模块用于将合并的结果序列发送到外部接收设备。

一种基于深度学习的不同网络模型级联目标精确推理方法，包括以下步骤：

步骤1：调整相机位置使之对准拍摄物体，如一盘电子元器件；

步骤2：采集流水线平台上电子元器件的图像；

步骤3：对一次图像进行图像中值滤波处理得到消除噪声后的图像；

步骤4：对步骤3的图像使用ssd目标检测网络模型进行推理得到图像中电子元器件的矩形框位置和类别；

步骤5：根据电子元器件的矩形框位置拷贝出不同位置的图像并存储在缓存中；

步骤6：对缓存中的roi图像依次使用maskrcnn目标分割网络模型进行目标分割得到目标的面积、周长、长度和宽度；

步骤7：对步骤6和步骤4的结果信息合并得到目标的面积、周长、长度、宽度、类别和位置，保存到结果序列中；

步骤8：将轮廓中心点和轮廓面积信息发送到外部接收设备。

本发明采用以上技术方案，通过图像采集带有目标物体的图像，并利用目标检测网络模型进行目标检测确定目标物体的位置和类别。再通过目标分割网络模型模块进行目标分割，最终合并得到目标的面积、周长、长度、宽度、类别和位置形成结果序列发送至外部接收设备。相较于目前常规的方法用单个复杂网络模型fasterrcnn结合高性能显卡才能保证实时推理，譬如nvidiagtx1080ti。本发明方法只要低端的1050显卡就能够完成实时推理，且检测的精度达到像素级，远高于常规的方法。本发明方法不仅可以快速、精确实现目标定位，而且可以大大降低部署成本。

附图说明

以下结合附图和具体实施方式对本发明做进一步详细说明；

图1为本发明一种基于深度学习的不同网络模型级联目标精确推理方法的流程示意图。

具体实施方式

如图1所示，本发明公开了一种基于深度学习的不同网络模型级联目标精确推理系统，其包括图像采集模块、图像预处理模块、目标检测网络模型模块、roi图像提取模块、目标分割网络模型模块、结果分析模块和通讯模块；

图像采集模块用于实时采集当前场景的图像，

图像预处理模块用于对实时采集的图像进行图像预处理消除噪声信号，

目标检测网络模型模块用于对图像预处理后的图像进行目标检测，得到目标的位置和类别，

roi图像提取模块用于将目标检测模块得到的roi矩形框内的图像拷贝到图像缓存序列，

目标分割网络模型模块用于对roi图像提取模块得到的图像缓存序列的每个roi图像进行目标分割，得到目标的精确面积，周长，宽度和高度信息，

结果分析模块用于对目标检测网络模块得到的坐标位置、类别和目标分割网络模型得到的目标精确面积，周长，宽度和高度进行结果合并并保存到结果序列，

通讯模块用于将结果分析模块合并的结果序列发送给外部接收设备。

进一步地，图像采集模块包括图像文件读取、视频文件读取和相机拍摄图像读取。

进一步地，图像预处理模块由高斯模糊，均值滤波，中值滤波，双边滤波组成。

进一步地，目标检测网络模型模块由fasterrcnn、ssd、yolo三个目标检测网络模型组成，图像预处理后的图像由目标检测网络模型模块中的三个目标检测网络模型之一（譬如：ssd）进行目标检测。

进一步地，目标的位置信息用roi矩形框四个点坐标来表示，类别用序号0，1，2，…来表示。

进一步地，roi图像提取模块用于在当前场景图像根据目标检测网络模型模块检测到的目标坐标位置的图像拷贝出来并存储在图像缓存序列。

进一步地，目标分割网络模型网络模块由maskrcnn、unet和deeplab三个目标分割网络模型组成，目标分割网络模型网络模块用于对图像缓存序列的每个图像进行三个网络模型之一（譬如：maskrcnn），进行目标分割。

进一步地，结果分析模块用于对目标检测网络模块得到的坐标位置、类别信息和目标分割网络模型得到的目标精确面积、周长、宽度和高度进行结果合并并存储到结果序列中。

进一步地，通讯模块包括以太网芯片、3g/4g芯片、蓝牙芯片，外部接收设备包括服务器、plc，通讯模块用于将合并的结果序列发送到外部接收设备。

一种基于深度学习的不同网络模型级联目标精确推理方法，包括以下步骤：

步骤1：调整相机位置使之对准拍摄物体，如一盘电子元器件；

步骤2：采集流水线平台上电子元器件的图像；

步骤3：对一次图像进行图像中值滤波处理得到消除噪声后的图像；

步骤4：对步骤3的图像使用ssd目标检测网络模型进行推理得到图像中电子元器件的矩形框位置和类别；

步骤5：根据电子元器件的矩形框位置拷贝出不同位置的图像并存储在缓存中；

步骤6：对缓存中的roi图像依次使用maskrcnn目标分割网络模型进行目标分割得到目标的面积、周长、长度和宽度；

步骤7：对步骤6和步骤4的结果信息合并得到目标的面积、周长、长度、宽度、类别和位置，保存到结果序列中；

步骤8：将轮廓中心点和轮廓面积信息发送到外部接收设备。

本发明采用以上技术方案，通过图像采集带有目标物体的图像，并利用目标检测网络模型进行目标检测确定目标物体的位置和类别。再通过目标分割网络模型模块进行目标分割，最终合并得到目标的面积、周长、长度、宽度、类别和位置形成结果序列发送至外部接收设备。相较于目前常规的方法用单个复杂网络模型fasterrcnn结合高性能显卡才能保证实时推理，譬如nvidiagtx1080ti。本发明方法只要低端的1050显卡就能够完成实时推理，且检测的精度达到像素级，远高于常规的方法。本发明方法不仅可以快速、精确实现目标定位，而且可以大大降低部署成本。

尽管已经结合实施例对本发明进行了详细地描述，但是本领域技术人员应当理解的是，本发明并非仅限于特定实施例，相反，在没有超出本申请精神和实质的各种修正、变形和替换都落入到本申请的保护范围之中。