基于深度学习的目标尺寸测量方法及系统与流程

本发明属于测量技术领域，特别涉及一种目标尺寸测量方法及系统。

背景技术：

在工业生产过程中，尺寸是最基本也是最重要的控制要素之一，因此，对于产品的尺寸测量显得尤为重要。在传统的工业生产过程中，尺寸测量的典型方法是利用游标卡尺、千分尺或卷尺在被测产品上进行手动测量。这种测量方法的测量速度慢、精度低、成本高，每次只能对单一物体进行测量，测量数据不能及时处理，无法满足大规模自动化生产的需要。

随着图像处理技术的发展，基于传统数字图像处理的尺寸测量方法依据待测量目标的颜色、纹理和形状等特征，从图像中检测出待测量目标，再根据参照物尺寸计算出目标的尺寸。但是，基于传统数字图像处理的尺寸测量方法严重依赖于对待测量目标的手工特征的提取，对于应用环境不固定、背景复杂的场景，从图像中检测出待测量目标的难度较大，基于传统数字图像处理的尺寸测量方法测量尺寸的精度较低。

技术实现要素：

本发明的目的在于提供一种基于深度学习的目标尺寸测量方法及系统，以解决上述技术问题。

为了实现上述目的，本发明采用如下技术方案：

基于深度学习的目标尺寸测量方法，包括以下步骤：

s101：制作针对待测量目标的数据集，所述数据集包括训练集；

s102：在后端服务器上，使用所述数据集中的训练集训练针对待测量目标的maskr-cnn目标检测网络；

s103：摄像头拍摄待测量目标，获取一帧待测量目标的图像，并将图像传输到前端处理装置中的微控制器；

s104：前端处理装置中的微控制器接收所述图像，并将所述图像通过网络传输到后端服务器；

s105：后端服务器接收所述图像，将所述图像输入步骤s102中训练好的maskr-cnn网络进行目标检测，检测出所述图像中所有的目标，获取所述图像中所有目标的位置信息和类别信息；

s106：在后端服务器上，根据所述目标的位置信息提取目标的轮廓，计算每一个目标轮廓的最小外接矩形，进而计算每一个最小外接矩形的像素尺寸，最小外接矩形的像素尺寸代表了目标的二维像素尺寸；

s107：在后端服务器上，计算图像中每一个像素点的实际尺寸，再结合所述步骤s106中所述目标的二维像素尺寸，计算目标的实际二维尺寸；后端服务器将目标检测和尺寸测量结果通过网络传输到前端处理装置；

s108：前端处理装置接收后端服务器传来的所述目标检测和尺寸测量结果，在步骤s103所述图像上标出目标的最小外接矩形，并在目标的最小外接矩形旁边标注目标的类别信息和尺寸信息，将结果图像在前端处理装置的显示器上进行显示。

进一步的，步骤s101中，所述数据集包含3000张待测量目标的图片，其中，训练集包含2000张待测量目标的图片，测试集包含1000张待测量目标的图片；

步骤s101中制作数据集包括以下步骤：

首先，使用labelme工具对所述数据集中所有图片进行标注，每一幅图片标注完成后生成一个扩展名为.json的标注文件，所述的标注文件中包含所对应图片上所有待测量目标的轮廓信息和类别信息；然后，分别将训练集和测试集中所有图片对应的标注文件整合为一个扩展名为.json的标注文件；最后，将训练集和测试集中所有图片和标注文件按照coco数据集格式进行组织。

进一步的，步骤s102中maskr-cnn目标检测网络中的特征提取网络使用resnet101。

进一步的，步骤s105的maskr-cnn网络检测结果中，每一个被检测到的目标对应一幅二值图像，二值图像尺寸与所述maskr-cnn网络输入图像尺寸相同，目标所在的像素区域像素值为255，其它像素区域像素值为0；像素值为255的区域描述了目标物体的位置信息。

进一步的，步骤s106中提取目标轮廓的方法如下：

用f(i,j)表示二值图像中坐标为(i,j)点的像素值；从上到下、从左向右扫描图像中每一个像素点，如果f(i,j)＝0且f(i,j+1)＝255，或f(i,j-1)＝255且f(i,j)＝0，或f(i,j)＝0且f(i+1,j)＝255,或f(i-1,j)＝255且f(i,j)＝0,则f(i,j)是目标的轮廓点；获取图像上目标的所有轮廓点，并进行标记，获得了目标轮廓。

进一步的，步骤s106中计算目标轮廓最小外接矩形的方法如下：

首先，分别计算目标轮廓在水平方向和垂直方向上坐标的最小值和最大值，以水平方向和垂直方向上坐标的最小值为a点坐标，以水平方向和垂直方向上坐标的最大值为b点坐标，绘制以a点和b点为对角线两个顶点的矩形，得到目标轮廓的外接矩形s，并计算所述外接矩形s的面积；

然后，在90度范围内将目标轮廓以所述外接矩形s的中心点为中心，按照θ角度顺时针等间隔旋转，获取所有旋转后的目标轮廓的外接矩形，并计算外接矩形面积，θ值为5度；

最后，从所有旋转后的目标轮廓的外接矩形中选取面积值最小的外接矩形，并获取其旋转角度β，将所述面积值最小的外接矩形以所述外接矩形s的中心点为中心逆时针旋转β度，获得目标轮廓的最小外接矩形。

进一步的，步骤s107中，根据照相机成像原理和相似三角形理论，摄像头镜头焦距与目标到摄像头的物距之比等于摄像头感光元件尺寸与图像实际尺寸之比；已知摄像头感光元件尺寸、镜头焦距和目标物体到摄像头的物距，计算出图像的实际尺寸；已知摄像头分辨率，进而计算出图像中每一个像素点的实际尺寸。

用于实现所述的基于深度学习的目标尺寸测量方法的系统，由前端处理装置和后端服务器组成；

所述前端处理装置包括微控制器、摄像头、输入设备和显示器；

所述后端服务器含有中央处理器和图形处理器，所述前端处理装置通过网络与所述后端服务器连接；

所述前端处理装置中，所述微控制器与所述摄像头、所述输入设备和所述显示器连接；所述微控制器用于控制所述摄像头采集待测量目标的图像，接收所述摄像头传来的图像，并将所述摄像头传来的图像通过网络传输给所述后端服务器；同时，所述微控制器用于接收所述后端服务器传来的目标尺寸测量结果，并将测量结果在所述显示器上显示；所述摄像头用于采集待测量目标的图像，并将采集到的图像传输给所述微控制器；

所述后端服务器，用于接收所述前端处理装置传来的图像，并检测接收图像中的目标，计算目标的二维尺寸信息，并将结果通过网络传输给所述的前端处理装置。

进一步的，前端处理装置与后端服务器之间的网络通信为socket通信方式。

进一步的，所述后端服务器接收图像后：

首先，将接收到的图像输入预先训练好的maskr-cnn网络进行目标检测，检测出图像中所有的目标；

然后，提取所有目标的轮廓特征，计算每一个目标轮廓的最小外接矩形，进而计算每一个最小外接矩形的像素尺寸，最小外接矩形的像素尺寸代表了目标的二维像素尺寸；

最后，根据照相机成像原理和相似三角形理论，摄像头镜头焦距与目标到摄像头的物距之比等于摄像头感光元件尺寸与图像实际尺寸之比；已知摄像头感光元件尺寸、镜头焦距和目标到摄像头的物距，计算图像的实际尺寸，已知摄像头分辨率，进而计算图像中每一个像素点的实际尺寸，再结合所述目标的二维像素尺寸，计算目标的实际二维尺寸。

相对于现有技术，本发明具有以下有益效果：

本发明提供了一种基于深度学习的目标尺寸测量方法及系统，通过前端处理装置中的微控制器控制摄像头采集待测量目标的图像，并将图像通过网络传输到后端服务器；在后端服务器，通过引入深度学习的方法，从图像中检测出目标，使用数字图像处理的方法提取目标的轮廓特征，计算目标轮廓的最小外接矩形，并计算出目标的二维像素尺寸；根据照相机成像原理，计算出图像中每个像素点代表的实际尺寸，进而计算出目标的实际二维尺寸；后端服务器将尺寸测量结果通过网络传输给前端处理装置，并在前端处理装置中的显示器上显示。

本发明能够极大地提高目标尺寸测量的效率和精度，降低目标尺寸测量的成本，且具有广泛的可用性；本发明可同时测量多种不同种类目标的尺寸；目标尺寸测量不再依赖于参照物的尺寸；对于应用环境不固定、背景复杂的场景，也能从图像中准确地检测出待测量目标，计算目标的尺寸。

附图说明

图1为本发明实施例提供的应用该基于深度学习的目标尺寸测量系统的结构示意图。

图2为本发明实施例提供的应用该基于深度学习的目标尺寸测量方法的流程框图。

图3为本发明实施例提供的应用该基于深度学习的目标尺寸测量系统及方法进行目标尺寸测量的结果图像。

具体实施方式

下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

以下详细说明均是示例性的说明，旨在对本发明提供进一步的详细说明。除非另有指明，本发明所采用的所有技术术语与本申请所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式，而并非意图限制根据本发明的示例性实施方式。

图1为本发明实施例提供的应用该基于深度学习的目标尺寸测量系统的结构示意图。本发明提出的基于深度学习的目标尺寸测量方法，应用于如图1所示的测量系统中。

本发明提供一种基于深度学习的目标尺寸测量系统，由前端处理装置和后端服务器组成；所述前端处理装置包括微控制器、摄像头、输入设备和显示器，所述后端服务器含有图形处理器(gpu)，所述前端处理装置通过网络与所述后端服务器连接。

所述输入设备包括键盘和鼠标，用于输入指令对前端处理装置和后端服务器进行控制。

前端处理装置中，所述微控制器与所述摄像头、所述键盘、所述鼠标和所述显示器连接；所述微控制器用于控制所述摄像头采集待测量目标的图像，接收所述摄像头传来的图像，并将所述摄像头传来的图像通过网络传输给所述后端服务器；同时，所述微控制器用于接收所述后端服务器传来的目标尺寸测量结果，并将测量结果在所述显示器上显示；所述摄像头用于采集待测量目标的图像，并将采集到的图像传输给所述微控制器。

所述后端服务器，用于接收所述前端处理装置传来的图像，并检测接收图像中的目标，计算目标的二维尺寸信息，并将结果通过网络传输给所述的前端处理装置。所述后端服务器中的图形处理器(gpu)用于加速maskr-cnn中神经网络的计算过程。

后端服务器接收图像后，具体进行以下处理：首先，将接收到的图像输入预先训练好的maskr-cnn网络进行目标检测，检测出图像中所有的目标；然后，提取所有目标的轮廓特征，计算每一个目标轮廓的最小外接矩形，进而计算每一个最小外接矩形的像素尺寸，最小外接矩形的像素尺寸代表了目标的二维像素尺寸；最后，根据照相机成像原理和相似三角形理论，摄像头镜头焦距与目标到摄像头的物距之比等于摄像头感光元件尺寸与图像实际尺寸之比；已知摄像头感光元件尺寸、镜头焦距和目标到摄像头的物距，计算图像的实际尺寸，已知摄像头分辨率，进而计算图像中每一个像素点的实际尺寸，再结合所述目标的二维像素尺寸，计算目标的实际二维尺寸。

前端处理装置与后端服务器之间的网络通信为socket通信方式。

上述已经对本发明提出的基于深度学习的目标尺寸测量系统进行了介绍，下面以图2所示的测量方法流程框图，并结合图1所示的测量系统结构示意图，对本发明实施例提供的基于深度学习的目标尺寸测量方法进行说明。

请参阅图2所示，本发明提供一种基于深度学习的目标尺寸测量方法，主要包括如下步骤：

s101：制作针对待测量目标的数据集。

s102：在后端服务器上，使用所述数据集中的训练集训练针对待测量目标的maskr-cnn目标检测网络。

s103：摄像头拍摄待测量目标，获取一帧待测量目标的图像，并将图像传输到微控制器。

s104：微控制器接收所述图像，并将所述图像通过网络传输到后端服务器。

s105：后端服务器接收所述图像，将所述图像输入s102中训练好的maskr-cnn网络进行目标检测，检测出所述图像中所有的目标，获取所述图像中所有目标的位置信息和类别信息。

s106：在后端服务器上，根据所述目标的位置信息提取目标的轮廓，计算每一个目标轮廓的最小外接矩形，进而计算每一个最小外接矩形的像素尺寸，最小外接矩形的像素尺寸代表了目标的二维像素尺寸。

s107：在后端服务器上，计算图像中每一个像素点的实际尺寸，再结合所述s106中所述目标的二维像素尺寸，计算目标的实际二维尺寸。后端服务器将目标检测和尺寸测量结果通过网络传输到前端处理装置。

s108：前端处理装置接收后端服务器传来的所述目标检测和尺寸测量结果，在s103所述图像上标出目标的最小外接矩形，并在目标的最小外接矩形旁边标注目标的类别信息和尺寸信息，将结果图像在前端处理装置的显示器上进行显示。目标尺寸测量的结果图像如图3所示。

在本实施例中，进一步的，在所述s101中所述数据集包含3000张待测量目标的图片，其中，训练集包含2000张待测量目标的图片，测试集包含1000张待测量目标的图片。

在本实施例中，进一步的，在所述s101中制作数据集还包括以下步骤，首先，使用labelme工具对所述数据集中所有图片进行标注，每一幅图片标注完成后会生成一个扩展名为.json的标注文件，所述的标注文件中包含所对应图片上所有待测量目标的轮廓信息和类别信息；然后，分别将训练集和测试集中所有图片对应的标注文件整合为一个扩展名为.json的标注文件；最后，将训练集和测试集中所有图片和标注文件按照coco数据集格式进行组织。

在本实施例中，进一步的，在所述s102中maskr-cnn目标检测网络中的特征提取网络使用resnet101。

在本实施例中，进一步的，在所述s105的maskr-cnn网络检测结果中，每一个被检测到的目标对应一幅二值图像，二值图像尺寸与所述maskr-cnn网络输入图像尺寸相同，目标所在的像素区域像素值为255，其它像素区域像素值为0。像素值为255的区域描述了目标的位置信息。

在本实施例中，进一步的，在所述s106中提取目标轮廓的算法如下。

用f(i,j)表示二值图像中坐标为(i,j)点的像素值；从上到下、从左向右扫描图像中每一个像素点，如果f(i,j)＝0且f(i,j+1)＝255，或f(i,j-1)＝255且f(i,j)＝0，或f(i,j)＝0且f(i+1,j)＝255,或f(i-1,j)＝255且f(i,j)＝0,则f(i,j)是目标的轮廓点。获取图像上目标的所有轮廓点，并进行标记，则获得了目标轮廓。

在本实施例中，进一步的，在所述s106中计算目标轮廓最小外接矩形的算法如下。

首先，分别计算目标轮廓在水平方向和垂直方向上坐标的最小值和最大值，以水平方向和垂直方向上坐标的最小值为a点坐标，以水平方向和垂直方向上坐标的最大值为b点坐标，绘制以a点和b点为对角线两个顶点的矩形，得到目标轮廓的外接矩形s，并计算所述外接矩形s的面积；

然后，在90度范围内将目标轮廓以所述外接矩形s的中心点为中心，按照θ角度顺时针等间隔旋转，获取所有旋转后的目标轮廓的外接矩形，并计算外接矩形面积，θ值为5度；

最后，从所有旋转后的目标轮廓的外接矩形中选取面积值最小的外接矩形，并获取其旋转角度β，将所述面积值最小的外接矩形以所述外接矩形s的中心点为中心逆时针旋转β度，即可获得目标轮廓的最小外接矩形。

在本实施例中，进一步的，在所述s107中，根据照相机成像原理和相似三角形理论可知，摄像头镜头焦距与目标到摄像头的物距之比等于摄像头感光元件尺寸与图像实际尺寸之比。已知摄像头感光元件尺寸、镜头焦距和目标物体到摄像头的物距，可以计算出图像的实际尺寸；已知摄像头分辨率，进而可以计算出图像中每一个像素点的实际尺寸。

以上所述，仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。