基于卷积神经网络的目标位姿测量中仿真图像匹配方法与流程

本发明属于计算机视觉领域，涉及卷积神经网络在测量目标物体位置和姿态过程中将训练所用仿真图像与真实图像对应的方法。

背景技术：

机器视觉是基于对人类视觉研究的基础上衍生出的学科，它是人工智能领域一个新的研究热点。近年来,大量的研究人员从事着视觉领域各方面技术的研究,希望突破多方面的限制,使机器视觉技术能够更加成熟。机器视觉技术作为重要的检测测量技术已经应用于很多重要的工业、军事领域中,例如生物医学、环境科学、纺织、航天等。

机器视觉系统根据获取图像的传感器个数的不同可以分为单目视觉测量系统,双目视觉测量系统和多目视觉测量系统等。其中，单目视觉测量法设备要求简单，在实际工业需求中较易实现，常被广泛用于图像单目视觉就是利用一个视觉传感器来捕捉图像信息,系统结构简单,成本低,对场地环境要求较低,而且视场范围较双目视觉或多目视觉要大得多,不需要进行立体匹配,具有广泛适用性。利用单目视觉来对运动目标进行目标位置和姿态的方法有很多,如几何相似法、几何光学法、特征靶标测量法、激光测距仪辅助测量法等。而这些方法所采用的图片样本均来自于真实图片或利用仿真软件生成的图片。仿真生成的图片与真实图片之间可能存在一定误差，然而在图像上也具有一一对应性。据此，本文提出了一种利用图像编码器、解码器的方案直接将仿真图像与真实图像进行匹配。

技术实现要素：

本发明为解决真实图像与训练用仿真图像相对应的问题，提供一种基于卷积神经网络的目标位姿测量中仿真图像匹配方法。技术方案如下：

一种基于卷积神经网络的目标位姿测量中仿真图像匹配方法，包括下列步骤：

第一步：根据实际工程需要，按1:1比例，利用3dmax软件对实际工程所需的环境和被测目标物进行仿真模拟并生成仿真图片，仿真图片效果应符合实际工程测量环境；

第二步：结合实际情况，制作有利于卷积神经网络进行特征提取的模拟特征靶标，在3dmax软件中将靶标贴放于目标物表面；

第三步：利用3dmax软件的脚本系统批量制作训练集：结合实际需求，目标距离将在0.5米至1米之间，以0.01米为步幅进行样本取材，在目标距离共获取51档样本；目标正对位置偏移将沿y轴、z轴两方向在0～0.5米范围内，以0.01米为步幅进行样本取材，在正对位置偏移量上将分别获得51档样本；目标三维姿态角将在0～0.5度范围内，以0.01度为步幅进行样本取材，在三维姿态角上分别获得51档样本，最终一共获得51*6个仅有单维度变化的图片样本，即306个单维度样本；

第四步：将生成的单维度样本进行格式转换，使之符合神经网络输入层的数据格式，对所得到的样本图片进行二值化处理以减少噪声的干扰，利用处理后的样本图片进行排列组合，通过叠加生成多张附加图片，最终形成所需的含有多维度信息的训练样本，叠加生成的样本与真实的图片之间具有一一对应的关系，但有所差异；

第五步：利用3dmax生成六维姿态均有所变化的样本图片作为真实图片，位置与姿态的变化范围与训练样本范围相一致，给真实样本赋予相一致的位置和姿态标签，形成有监督学习过程中的样本集；

第六步：基于tensorflow神经网络框架，用python语言在keras库的支持下编写图像生成式编码器；将训练样本作为编码器输入，将其姿态标签对应的真实样本作为编码器输出，训练所构建的生成式编码器；

第七步：与此同时，在实际环境中任意调整目标物体的六维姿态进行拍照截取，得到实际样本图像，投入到训练好的图像生成式编码器网络中，得到测试结果。

本发明所采用的基于卷积神经网络的目标位姿测量中仿真图像匹配方案首次将编、解码器与视觉对应理论相结合，达到了仿真训练图像与真实图像一致性的目的，实现了图像转换。本文方案将全局loss值控制在0.03以内，体现了该图像编、解码器的有效性。基于以上方案，该网络显示了良好的测试结果，同时也可以实现实时快速检测。对于实验中使用的设备，我们的位置和姿态测试模型在每个画面上的检测时间大约为0.075秒。

附图说明

图1编、解码器架构

图2自行制作的特征靶标物

具体实施方式

本发明利用gan网络的原理，生成图像编码器和解码器，从而建立真实图像与训练图像样本之间的关系。通过3dmax软件模拟实际测量环境，自行制作实际工程所需仿真训练图片。制作仅有单个维度变化信息的图片，利用软件特性，将已赋好的目标距离与正对位置偏移值作为训练样本标签。然后通过控制物体旋转或平移等运动，生成不同位置和姿态的样本，从而构成最终的训练集。通过调整原始的图像编码器架构，将用于网络训练的仿真样本图片作为编码器输入，将实际项目获取的视觉图像作为编码器输出，从而训练出所需要的编、解码器，实现将该训练模型应用于实际工程中。为使本发明的技术方案更加清楚，下面结合附图对本发明做进一步阐述.。本发明按以下步骤具体实现：

第一步：根据实际工程需要，按1:1比例，利用3dmax软件对实际工程所需的环境和被测目标物进行仿真模拟并生成仿真图片。仿真图片效果应符合实际工程测量环境。

本文所使用的仿真摄像机为目标摄像机。

第二步：结合实际情况，制作有利于卷积神经网络进行特征提取的模拟特征靶标，在3dmax软件中将靶标贴放于目标物表面。

由于本文需要特征靶标拥有鲜明的边缘特征，于是选用了黑白棋盘格。在本次实验过程中，本文选取航天器主体半径为1m，高度为2m，标识物的半径为0.8m。目标摄像机与目标中心的距离设置为6m，即距离特征靶标为5m。

第三步：利用3dmax软件的脚本系统批量制作训练集。结合实际需求，目标距离将在0.5米至1米之间，以0.01米为步幅进行样本取材，在目标距离共获取51档样本；目标正对位置偏移将沿y轴、z轴两方向在0～0.5米范围内，以0.01米为步幅进行样本取材，在正对位置偏移量上将分别获得51档样本；目标三维姿态角将在0～0.5度范围内，以0.01度为步幅进行样本取材，在三维姿态角上分别获得51档样本。最终一共获得51*6个仅有单维度变化的图片样本，即306个单维度样本。

在该过程中，利用3dmax自带的脚本语言进行目标位置和姿态的控制。样本的选择要步幅均匀且遍历取样范围，这样保证我们在每一点都有所取材。

第四步：将生成的单维度样本进行格式转换，使之符合神经网络输入层的数据格式。对所得到的样本图片进行二值化处理以减少噪声的干扰，利用处理后的样本图片进行排列组合，通过叠加生成5万张附加图片，最终形成所需的含有多维度信息的训练样本。

附加图片由上一步生成的单维度样本通过加权叠加生成，不限于两张图片进行叠加。由于我们具有覆盖到所有姿态和位置的基础样本，所以这样叠加生成的样本能够覆盖取样范围。虽然叠加生成的样本与真实的图片之间一定有所差异，但他们之间具有一一对应的关系。这为叠加生成的图片与真实图片相匹配奠定了基础。

第五步：利用3dmax生成六维姿态均有所变化的样本图片作为真实图片，位置与姿态的变化范围与训练样本范围相一致。给真实样本赋予相一致的位置和姿态标签，形成有监督学习过程中的样本集。

真实样本的生成要根据上一步生成的附加图片的位置和姿态确定，因为要保持姿态标签的一致性。

第六步：基于tensorflow神经网络框架，用python语言在keras库的支持下编写图像编码器和解码器。将训练用仿真样本图片作为编码器输入，将其姿态标签对应的真实样本作为编码器输出，训练所构建的编、解码器。

图像编、解码器根据gan网络理论生成。

第七步：与此同时，在实际环境中任意调整目标物体的六维姿态进行拍照截取，得到实际样本图像，投入到训练好的图像编、解码器网络中，得到测试结果。

注意此时要根据真实样本的姿态标签生成对应的训练样本图片，将其投入到编、解码器网络中，生成对应的真实图像。将生成的真实图像与实际样本图像对比从而得到结果。

本发明利用gan网络的原理，生成图像编码器和解码器，从而建立真实图像与训练图像样本之间的关系。通过3dmax软件模拟实际测量环境，自行制作实际工程所需仿真训练图片。制作仅有单个维度变化信息的图片，利用软件特性，将已赋好的目标距离与正对位置偏移值作为训练样本标签。然后通过控制物体旋转或平移等运动，生成不同位置和姿态的样本，从而构成最终的训练集。通过调整原始的图像编码器架构，将用于网络训练的仿真样本图片作为编码器输入，将实际项目获取的视觉图像作为编码器输出，从而训练出所需要的编、解码器，实现将该训练模型应用于实际工程中。