一种基于多维单目深度估计的叶轮质量检测方法及装置

本发明属于工业自动化领域，具体的说是一种基于多维单目深度估计的叶轮质量检测方法及装置，应用于工业上叶轮加工完成后的质量检测。

背景技术：

加工工件质量检测是目前工业自动化领域的一个重要方向。它能通过检测生产加工后的工件质量，来对整个加工设备，工艺做出重要的评判。目前自动化领域针对加工工件进行质量检测的方法主要包含两类，一类是基于机械检测装置进行检测，这类检测效率低，对于检测装置要求高，且只能用于对应的工件；另一类方法是基于机器视觉的方法进行质量检测。

针对本发明中的叶轮质量检测，需要对叶轮进行深度估计。常见的基于机器视觉的方法主要包括：第一种是基于激光扫描仪的方法。该方法通过激光扫描仪对工件进行扫描，获取工件的点云数据，从而恢复工件的三维结构。该方法缺点是成本过高；第二种是基于双目视觉的方法，该方法通过获取视差图来计算深度信息，缺点是计算量较大且基线距离较大时预测精度会严重下滑；第三种是单目深度估计的方法。通过建立单目图像与深度图之间的映射模型，获取工件的深度信息。这种方法成本最低。叶轮质量检测由于叶轮本身机械结构的特殊性，需要检测正面以及整个环形侧面的深度信息。

技术实现要素：

根据上述提出的技术问题，提出一种基于多维单目深度估计的叶轮质量检测方法及装置，用于解决现有的质量检测方法中激光扫描仪成本过高的问题，同时也克服了采用双目视觉计算量过大的问题，并且发明了多维单目视觉深度估计方法及装置，用于检测叶轮正面及整个环形侧面的深度信息。本发明采用的技术手段如下：

一种基于多维单目深度估计的叶轮质量检测装置，包括：检测控制模块、深度估计模块、多维图像采集模块和多维质量融合模块，检测控制模块控制叶轮姿态调整以及控制多维图像采集模块的摄像头采集叶轮图像，深度估计模块对采集的叶轮图像进行不同视角下的深度估计，多维质量融合模块结合不同视角下的深度估计图作出叶轮质量判别结果。

所述检测控制模块、深度估计模块和多维质量融合模块分别并行运行在多个处理器上。

所述检测控制模块包括叶轮姿态控制电路和采集控制电路，叶轮姿态控制电路通过伺服电机和编码器调整叶轮姿态，伺服电机和编码器安装于叶轮固定支架的底部基座内；采集控制电路用于控制多维图像采集模块中的摄像头进行图像采集。

所述多维图像采集模块包含正面摄像头和侧面摄像头，两个摄像头均采用支架固定，叶轮水平套设在叶轮固定支架的主轴上，正面摄像头安装于叶轮正上方用于获取叶轮俯视图，侧面摄像头安装于叶轮侧面用于获取叶轮侧视图。

所述深度估计模块包含叶轮正面图像分析单元和叶轮侧面图像分析单元，通过两个图像分析单元的计算分别获取叶轮在上述两个视角下的深度估计图。

一种基于多维单目深度估计的叶轮质量检测方法，包括以下步骤：

s1检测控制模块通过叶轮姿态控制电路调整叶轮姿态至第一个采集姿态；

s2多维图像采集模块接收到来自采集控制电路发出的采集控制信号，控制两个单目摄像头同时进行图像采集，并将采集到的rgb图像传输至深度估计模块；

s3深度估计模块中的两个估计子单元接收各自的rgb图像，分别结合预先训练好的两个深度估计模型，将对应的图像转变成深度估计图，然后发送反馈信号至检测控制模块；

s4检测控制模块通过叶轮姿态控制电路控制叶轮固定支架的主轴旋转180°使叶轮到达第二个采集姿态；

s5重复执行s2和s3步骤，得到四幅叶轮深度估计图；

s6多维质量融合模块结合四幅叶轮深度估计图，分别进行质量分析及融合获取作出叶轮质量判别结果。

所述预先训练好的深度估计模型为：结合深度序数回归网络模型，并通过预先标注好的数据集在服务器端进行训练，获取两个最终的深度估计模型并导入相应的处理器；

所述预先标注好的数据集是根据如下步骤得到的：采集叶轮正面图像和侧面图像，并结合叶轮3d模型标注图像中的深度信息，得到相应两个视角的数据集。

所述质量分析及融合包括：

针对单幅深度估计图的叶轮质量分析方法包括以下步骤：

结合预先设定的四幅深度估计图中单个像素对应的深度阈值区间，统计深度估计图中满足相应阈值区间的像素个数，记为m；单幅图像总像素个数记为n，则百分制下的质量计算公式如下：

q＝(m/n)×100

四幅深度估计图的质量融合公式如下：

q′＝α(q1+q2)+βq3+γq4

其中，α、β、γ为常数，q1为第一次采集到的叶轮正面图像对应的质量；q2为第二次采集到的叶轮正面图像对应的质量；q3为第一次采集到的叶轮侧面图像对应的质量；q4为第二次采集到的叶轮侧面图像对应的质量。

本发明的有益效果是：

本发明建立了一种基于多维单目深度估计的叶轮质量检测方法及装置，能够极大程度的降低叶轮质量检测的成本，同时满足了叶轮质量检测针对正面和整个环形侧面的检测需求，具有较强的实用性。

附图说明

图1为本发明叶轮质量检测装置的整体示意图；

图2为本发明摄像头安装位置示意图；

图3为本发明叶轮不同姿态下的采集示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明。

一种基于多维单目深度估计的叶轮质量检测装置，如图1所示，包括：检测控制模块、深度估计模块、多维图像采集模块和多维质量融合模块。检测控制模块包含叶轮姿态控制电路和采集控制电路；多维图像采集模块包含叶轮正面摄像头和叶轮侧面摄像头；深度估计模块包含叶轮正面图像分析单元和叶轮侧面图像分析单元；多维质量融合模块结合不同视角下的深度估计图作出叶轮质量判别结果。

多维图像采集模块包含叶轮正面摄像头和叶轮侧面摄像头。两个摄像头通过相应的支架进行固定安装。摄像头的固定支架和安装位置如图2所示。检测控制模块中，叶轮姿态控制电路结合当前的工序信息，通过控制固定叶轮的旋转轴，将安装好的叶轮进行旋转，使其姿态调整至第一个采集姿态下的标准位置，随后采集控制电路将会发出采集控制信号，控制多维摄像头同时进行图像采集。第一次采集完毕后，叶轮姿态控制电路将会通过控制固定叶轮的旋转轴再次进行旋转，即将叶轮绕着穿过叶轮中心点的主轴旋转180°，到达叶轮的第二个采集姿态。随后采集控制电路继续发出采集控制信号，控制多维摄像头再次采集图像。采集控制电路中，通过相应的高低电平和逻辑门电路实现了对采集信号的判断处理，完成摄像头对叶轮的两次采集及关闭。叶轮不同姿态下的采集示意如图3所示。

检测装置进行叶轮质量检测时，具体步骤如下：

s1检测控制模块通过设计好的叶轮姿态控制电路调整叶轮姿态至第一个采集姿态；

s2多维图像采集模块接收到来自采集控制电路发出的采集控制信号，控制两个安装好的单目摄像头同时进行图像采集，并将采集到的图像传输至深度估计模块。传输完毕后，将传输完毕的信号反馈给检测控制模块；

s3深度估计模块中的叶轮正面图像分析单元和叶轮侧面图像分析单元，分别接收相应的rgb图像。分别结合预先训练好的深度估计模型，将对应的图像转变成深度估计图。其中，深度估计模型是结合深度序数回归网络(deepordinalregressionnetwork，dorn)建立而成，并通过相应的数据集进行训练，获取模型中的参数值。

s3-1将叶轮正面图像和侧面图像进行大量的采集，并结合叶轮3d模型标注图像中的深度信息，得到相应两个视角的数据集；

s3-2建立两个dorn模型，分别对应叶轮正面图像分析单元和叶轮侧面图像分析单元；

s3-3用标注好的叶轮正面图像数据集和叶轮侧面图像数据集对两个模型分别进行训练，自动调整神经网络中的模型参数；

s3-4训练得到两个结构相同，但参数不同的深度估计模型，整个训练过程是在性能优良的服务器端完成；

s3-5将参数训练好的两个深度估计模型分别导入到深度估计模块中相应的图像分析单元。两个图像分析单元是在两个不同的处理器上进行并行处理；

s4处理完毕后，发送反馈信号至检测控制模块。检测控制模块通过设计好的叶轮姿态控制电路控制加工好的叶轮，将其绕着穿过叶轮中心点的主轴旋转180°至第二个采集姿态；

s5重复执行s2和s3步骤；

s6多维质量融合模块结合得到的四幅叶轮深度估计图，分别进行质量分析及融合。针对单幅深度估计图的叶轮质量分析方法包含以下步骤：结合预先设定好的四幅深度估计图中单个像素对应的深度阈值区间，统计深度估计图中对于每个像素满足相应阈值区间的像素个数，记为m；单幅图像总像素个数记为n，则百分制下的质量计算公式如下：

q＝(m/n)×100

四幅深度估计图的质量融合公式如下：

q′＝α(q1+q2)+βq3+γq4

其中α、β、γ为常数，q1为第一次采集到的叶轮正面图像对应的质量；q2为第二次采集到的叶轮正面图像对应的质量；q3为第一次采集到的叶轮侧面图像对应的质量；q4为第二次采集到的叶轮侧面图像对应的质量；

s7根据s6得到的融合后的叶轮质量结果q′，输出相应的叶轮质量信息。

本发明建立的一种基于多维单目深度估计的叶轮质量检测方法及装置，能够极大程度的降低叶轮质量检测的成本。通过检测过程中的叶轮姿态调整，完成了叶轮正面和整个环形侧面的深度估计。本发明同时建立了深度估计与叶轮质量之间的映射关系，可以作为叶轮质量评判的重要依据。总体来说，本发明具有成本低，实用性较强的特点。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰应视为本发明的保护范围。