一种基于移动式多光谱光度立体设备的使用方法

本发明涉及高精度三维重建，具体而言，特别涉及一种基于移动式多光谱光度立体设备的使用方法。

背景技术：

1、光度立体法三维重建是目前进行三维重建方法中最主要和最常用的方法，然而常见的光度立体三维重建装置存在许多问题。首先光源位置和相机位置的距离已经固定，只能重建大小在一定范围内的物体，当待测物体较大时就会存在重建不完全的问题；其次在数据获取过程中需要多次打开和关闭相应的灯光进行拍摄，并记录相应灯光的顺序;最后其重量比较大，在实验数据获取的开始前和结束后需要多人协作才能进行移动。因此要减少人力消耗，降低实验成本，简化实验步骤就必须采用一种新的移动式多光谱光度立体设备和根据此设备改进的使用方法，目前还没有此类的装置和相应方法。

技术实现思路

1、为了弥补现有技术的不足，本发明提供了一种基于移动式多光谱光度立体设备的使用方法，可以实现全面性和轻便性的高精度三维重建。

2、本发明是通过如下技术方案实现的：一种基于移动式多光谱光度立体设备的使用方法，其中，移动式多光谱光度立体设备包括位于设备中心的中空圆柱形相机安装仓以及安装在中空圆柱形相机安装仓上的高清相机，高清相机的正上方，左下方和右下方分别安装有两两相隔120度的上平板状延伸臂、左平板状延伸臂和右平板状延伸臂，上平板状延伸臂、左平板状延伸臂和右平板状延伸臂的另一端安装有角度可以调节的单色平行光源，分别发出红色，绿色和蓝色组成多光谱光源，上平板状延伸臂的中部安装有激光器并与上平板状延伸臂形成45度的夹角，中空圆柱形相机安装仓的下部安装有圆柱形的闲置臂，闲置臂的下部插入圆筒支撑架；

3、具体包括以下步骤：

4、s1、打开高清相机进行相机标定，消除光学透镜的透视失真；

5、s2、打开激光器，提取激光线，标定激光平面方程；

6、激光平面的计算如下：

7、完成对相机的标定后，其内参矩阵可以表示为：

8、

9、其中， fx= f/dx， fy= f/dy为焦距，u0,v0为表示主点坐标，s为坐标轴倾斜参数，理想情况下为0；

10、在对激光平面求解之前，先对坐标系进行定义：

11、世界坐标系下(xw,yw,zw)，原点为ow，原点可以为三维世界中任意一点；

12、图像坐标系下(ui,vi,1)，原点为oi，原点为图像左上角；

13、相机坐标系下(xc,yc,zc)，原点为oc，原点为相机的光心；

14、要求解激光平面方程，首先需要将激光线上像素点的图像坐标转化到相机坐标系下；由于在相机标定过程中定义的世界坐标系是以标定板所在的平面为x-o-y平面，即标定板平面在世界坐标系下的平面方程为z=0，接下来需要求的是标定板平面在相机坐标系下的方程；通过相机标定，得到世界坐标系到相机坐标系的旋转和平移(r,t)， r和t是从世界坐标系到相机坐标系的，求逆后得到相机坐标系到世界坐标系下的(r,t)：

15、

16、下式表示成像平面上任意一点，与其在相机归一化坐标系中的坐标对应关系：

17、

18、假设激光平面方程在相机坐标系为ax+by+cz+d=0,则激光平面上n个三维点的质心为

19、

20、质心归零：

21、

22、协方差矩阵：

23、

24、对协方差矩阵svd分解，最小特征值对应的特征向量,即激光平面的法向量：

25、

26、由于d=-ax-by-cz

27、上式激光平面方程ax+by+cz+d=0可求出；

28、s3、将设备从支撑架中取出，打开光源，移动拍摄带有激光线的多光谱视频；

29、s4、将视频转化为图像序列，对图像进行激光线提取和多光谱图像复原；

30、s5、将复原后的多光谱图像进行多光谱光度立体三维重建，并使用激光三角法提供真实尺度；

31、s6、关闭光源，激光器（5）和高清相机（7），将设备放回圆筒支撑架（6）。

32、作为优选方案，上平板状延伸臂（1）、左平板状延伸臂（2）和右平板状延伸臂（3）的材质和长度相同。

33、作为优选方案，上平板状延伸臂（1）的下部安装有开放式抛物线形圆柱体把手（10）。

34、作为优选方案，步骤s2具体包括以下步骤：

35、如图2所示，提出了一种基于直线拟合的亚像素激光线提取方法，

36、s21、读入图像，图像预处理：

37、选择包含激光线和棋盘格标定板的图像，将原始图像裁剪为分辨率800*800且只包含激光线和标定板的图像，并使激光线位于裁剪后图像的中间位置；

38、s22、三通道分离，根据设定阈值记录各通道候选点坐标：

39、在matlab中用image(:,:,1)函数分离红色分量图像；image(:,:,2)函数分离绿色分量图像；image(:,:,3)函数分离蓝色分量图像，生成三幅灰度值图像；

40、遍历图像的全部像素进行二值化，即图像的像素点非黑即白，只包含0和1两种数值；将阈值设定为200，灰度值小于阈值的像素点置为0，其余像素点置为1；

41、s23、图像形态学判断，根据连通区域面积和圆形度去除过曝区域和高光区域等噪音的影响；

42、用bwlabel函数将图像中的连通区域标记并编号。用bwperim函数计算每个连通区域的面积；用bwperim函数提取连通区域边界用以计算周长；用e=(4*pi*area) /(perimeter^2)计算圆形度；当连通区域包含像素个数超过40000时为过曝区域，将此区域置0并去除编号；当连通区域面积小于40000时，判断连通区域的圆形度，当圆形度大于0.5时为高光区域，将此区域置0并去除编号；

43、s24、拟合直线，根据离散度去除置信度较低的候选点，直到得出最优激光线；

44、遍历图像的全部非零像素点，并记录每一点像素的坐标，用polyfit(x,y,1)函数进行线性拟合，用rmoutliers函数检测偏离拟合直线的坐标，并删除这些离群点，重复这一步直到拟合直线不再变化，得到最优激光线；

45、s25、重复以上步骤，通过多条非相互平行的最优直线得到激光平面方程。

46、作为优选方案，步骤s4具体包括以下步骤：

47、如图6所示，提出了一种通过图像序列恢复关键帧图像的方法，

48、s41、读入图像，图像预处理：

49、选择包含激光线和待测物体的图像，将原始图像根据待测物体的大小进行裁剪，对于此贝壳裁剪图像的像素大小为300*300，且只包含激光线和待测物体的图像；在对待测物体进行扫描时始终保持待测物体位于裁剪后图像的中间位置；

50、s42、三通道分离，找到关键帧图像出现畸变的区域；

51、视频转化为图像序列并进行裁剪后得到的第一帧图像命名为1，则第i帧图像为i；假设激光线打在待测物体上的第一帧为j，此时激光线出现部分弯曲，那么就以此帧作为关键帧，对此帧进行三通道分离，将阈值设定为150，分别对三通道进行阈值分割，取交集找到像素灰度值出现畸变的区域；

52、s43、找到关键帧图像的相邻图像对，三通道分离后判断畸变区域是否有交集；

53、找到关键帧图像j的前一帧图像和后一帧图像组成关键帧j的相邻图像对(j-1,j+1)，对这两帧图像三通道分离后进行阈值为150的阈值分割，判断像素灰度值出现畸变的区域。对j-1和j+1两幅图像的畸变区域进行取交处理，判断是否存在交集；

54、s44、扩大间隔：

55、若有交集则选取关键帧的前两帧j-2图像和后两帧j+2图像组成间隔更大的图像对(j-2,j+2)，三通道分离后判断畸变区域是否有交集，若存在交集则继续选取间隔更大的图相对（j-3,j+3），直到无交集；

56、s45、将图像未进行二值化之前相应区域（关键帧j畸变区域）的像素值叠加平分后替换到未进行二值化的关键帧j的畸变区域，使其变为新的不含畸变区域的关键帧jt；

57、s46、将复原后的关键帧图像jt与原始关键帧图像j直接进行像素值作差，就可以得到激光线图像；

58、s47.重复以上步骤，直至激光线在待测物体上消失。

59、作为优选方案，步骤s5具体包括以下步骤：

60、s51、得到法向量na的梯度p和q；

61、p = -na(:,:,1) ./ na(:,:,3)；

62、q = -na(:,:,2) ./ na(:,:,3)；

63、s52、通过梯度p和q得到待测物体的初始高度：

64、hight-original=pisson-solver（p，q）

65、对图像中每一点像素进行拉普拉斯和余弦变换并计算特征值，分割并进行fcos目标检测，对检测到的目标进行离散余弦逆变换；

66、s53、激光高度通过内参矩阵k得到从真实值到像素值的变换；

67、s54、通过激光像素高度进行校正p和q并全局，坐标系转换后得到待测物体的真实尺度。

68、本发明由于采用了以上技术方案，与现有技术相比使其具有以下有益效果：本发明的激光提取方法与现有的技术方案相比优势在于，首先，本发明采用了三通道分离来选取激光线的最优处理图像，提升了针对性；其次，本发明采用了图像形态学判断来去除图像中噪音的影响，减小了误差；最后本发明采用拟合直线的方法提升激光线方程的精度，增加了稳定性。

69、本发明的通过图像序列恢复关键帧图像的方法与现有的技术方案相比优势在于，首先，本发明采用了三通道分离并通过三个通道的灰度值更加准确地找出关键帧图像的畸变区域；其次，本发明将没有交集的可变图像对更加灵活地在关键帧畸变的区域进行像素值的叠加平分和替换；最后，将复原后的关键帧图像与原始关键帧图像作差，就可以得到激光线图像，不仅实现了关键帧的复原，并且得到了激光线图像。

70、多光谱图像复原为新增步骤，增加此步骤与现有光度立体的技术方案相比优势在于，本发明只需要一幅图像就可以完成光度立体的三维重建；激光线的加入可以使得到的三维信息更加精确，并且可以获得真实的尺度信息。

71、本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。