水下高精度三维重建装置及方法与流程

本发明涉及一种水下高精度三维重建装置及方法，运用了结构光及光度立体方法，属于水下视觉技术领域。

背景技术：

目前，国内外常用的水下三维重建技术包括声学成像方法和光学成像方法。声学成像方法主要采用声纳系统，可以在大尺度范围内估计目标的深度信息，但精确度较差，难以满足小尺度的重建需求；光学成像方法如结构光、光度立体、双目视觉、多视角几何重建技术等，可以较为精准地还原物体的三维结构，其难点在于相对于水下声波，光线传播的模型更加复杂，折射、吸收、散射等因素增大了由采集图像直接进行重建的难度。

现有的水下三维重建装置大多用于人造小场景的重建，且对水下光照模型的分析较为简单，如应用于深海场景，硬件上对设备的水密、耐压等提出更高要求，算法上也要对复杂环境如浑浊水质的散射影响做出更合理的矫正优化。

技术实现要素：

为了满足水下探测研究需求，本发明提供了一种水下高精度三维重建装置及方法，作为一种深海(100米水深)定点三维重建设备，能够将采集的图像实时传输到水上电脑控制端，对图像进行去散射处理，运用结构光和光度立体技术对水下目标物体进行高精度三维重建。

该装置主体部分外形为圆柱形框架结构；其上端为类圆锥状的钢架，汇集主体采集设备的电源线缆及数据传输线缆，线缆设计长度达100米，用于最深100米水深的探测；主体下部是一个可拆卸的钢架支撑，装有滑轮方面运输，同时考虑到海底地况复杂多样，设计为向外扩张的支架状防止设备歪斜翻转。

图像采集装置位于主体的上部，两个出于相同高度的相机固定于钢条横梁上，其间距可调。相机采用工业相机精通，经过专业密封，通过水密及高压测试，可用于深海场景的高精度拍摄。两个相机组成双目图像采集系统，视需求完成单目或双目的图像采集。

激光发射器经过专业密封，固定于主体侧面的钢架上，其发射的激光为“一”字型，入射角度可以自由调节，一般调节使激光线射到图像采集平面的中部，采用两个激光器时则打到底面的光线相互垂直。激光发射器要求发射功率较高，以适应水下吸收散射效应造成的光线能量的衰减。

人造光源部分由八个防水射灯组成，为了适应光度立体技术的求解方法，所选射灯射出的光线可近似看作平行光，光照均匀。八个射灯分别固定在主体钢架外侧，形成一个环形，环形内彼此间隔角度为45度，每个灯垂直方向的倾角可调。

本发明的重建方法主要包括：

1、图像去后向散射处理

光线在水中传播过程中，由于吸收和散射的影响，光线经物体表面反射到相机过程中能量衰减明显，其中后向散射的存在严重影响成像质量。光线散射指光线传播过程中射到介质小颗粒上改变光线传播方向的现象，而后向散射指改变后的传播方向与初始传播方向夹角大于90度的散射。采集到的图像中混杂了背向散射的影响，它是传播路径光照打到小颗粒散射回相机的能量的叠加。由于背向散射的成像分布近似服从二元二次函数，通过对图像均匀分块，在每个分块中选取最暗点近似背向散射部分对应的光照，对所有分块的最暗点分布用随机抽样一致(RANSAC)方法迭代拟合出最合理的背向散射函数，用它可以求得个像素点对应的背向散射部分，最后在原图像的基础上将背向散射部分减去，得到图像去后向散射处理的结果。

2、相机参数、激光及光照方向的标定

图像的成像过程，就是将世界坐标系中的点X，通过摄像机矩阵P，映射到像素坐标系上的点x，空间中的一点与像素坐标系内唯一一点相对应，即

x＝PX (1)

其中摄像机矩阵P包含相机的内参信息和外参信息，光度立体重建技术更关注求解相机内参信息，其中的畸变系数信息可以用来对图像进行校正。在此采用棋盘格采集不同视角下的图像(20张左右)，用Camera Calibration Toolbox for Matlab进行标定，进而用相机内参信息完成对图像的矫正。

激光的标定旨在得到激光偏移距离对应物体高度的换算关系，用于求解激光线上的高度信息。选取已知高度的平板状物体作为标定物，分别采集未放置和放置标定物的激光图像，激光偏移距离对应标定物的高度，即可得到单位偏移距离对应的高度信息。

光照方向的标定旨在得到准确的光照方向信息，在此采用表面服从镜面反射的光滑金属球，将金属球置于相机正下方，采集不同光照下的金属球图像，入射光方向过球心及图像最亮点对应位置，根据球体几何知识可求得入射光方向。

3、结构光及光度立体技术重建原理

结构光方法(Structured Light)是一种主动式光学测量技术，其基本原理是由结构光投射器向被测物体表面投射可控制的光点、光条或光面结构，并由图像传感器(如摄像机)获得图像，通过系统几何关系，利用三角原理计算得到物体的三维坐标。结构光测量方法具有计算简单、体积小、价格低、便于安装和维护的特点。在此选择激光器对物体表面投射激光，前面的激光标定过程得到了单位像素长度对应的深度，通过计算激光射到物体表面和底面的像素位移距离差估计物体相应位置的高度信息。

光度立体(Photometric Stereo)是一种高精度三维重建技术，在朗伯模型条件下，它利用不同方向光照条件下拍摄的多幅图像求解物体的表面法向，进而重建出物体的三维结构。其光照模型满足：

其中I代表采集到的图像对应亮度值分布，λ为入射光强，ρ为反照率，朗伯模型下入射光射到物体表面均匀向各方向反射，某个方向的能量为反射总能量的N为各像素点对应物点的法向信息，对于k幅不同方向的图像(总像素点数s＝每行像素数a*每列像素数b)，将图像法向信息(3*1)拉伸为一个列向量，构成矩阵N(s*3)，L为入射光照方向的集合，每幅图像对应的入射光方向写成一个3*1的列向量，构造为矩阵L(3*k)。

用光度立体技术估计物体表面法向，已知信息为采集到的k幅图像(至少为3)构造的矩阵I和入射光方向构造的矩阵L。当输入图像数为3时，可直接求得矩阵L的逆，当输入图像数大于3时，可通过SVD分解方法求得矩阵L的伪逆，将(2)式两边同乘L的逆或伪逆，可计算得除N外均为标量，N可写作：

其中p和q分别为高度图在x和y方向上的偏导，即梯度信息，将归一化后通过比例关系即可得到p和q。

重建的最后一步，积分得到场景的三维结构。通过上述操作已获得全图各像素对应的梯度信息，从可信的激光线高度处开始，用最小生成树的局部积分方法积分。在积分路径选择方面，将可信高度点记录为一个集合，每次比较区域近邻像素的梯度，暂时放弃对梯度值过大点的积分，通过对近邻梯度值较小点的积分逐渐扩大可信高度点的范围，最后通过融合完成对全图高度的估计，得到重建后的三维结构。

本发明高精度三维重建装置，可实现多种水下重建方法，搭建了一个可扩展的平台。利用光度立体技术对水下复杂场景进行三维重建，考虑到吸收散射对成像的影响，一定程度上通过图像预处理予以校正，在不破坏光照模型的前提下提高了成像质量。利用光度立体技术进行三维重建可以保留物体表面细致的纹理特征，但全局的深度可靠性难以保证，因此通过结构光方法投射激光得到初始的可靠的深度估计，将两种方法全局与局部的优势结合在一起，使重建结果更为精确。

附图说明

图1、2本发明高清相机封装示意图

图3本发明激光封装示意图

图4本发明射灯封装示意图

图5本发明承重终端示意图

图6本发明主体安装法兰示意图

图7本发明主体结构示意图

图中：1摄像机组件，2相机支架，3激光组件，4激光支架，5射灯组件，6射灯支架，7承重终端，8主脐带缆，9接头，10终端对接法兰，11支架，12分线电缆，13棱柱形框架，14衔接接口，15高清相机，16条形滑轨，17激光器，18射灯，19可拆卸托盘

具体实施方式

如图1-7所示，水下高精度三维重建装置，其特征在于该装置包括一个棱柱形框架13；该棱柱形框架13的顶部设有一条形滑轨16，该条形滑轨16上安装有可水平调节位置的高清相机15，在该条形滑轨16下方有一个可调上下倾角的激光器17固定在其中一个棱柱上；在高清相机15下方有八个射灯18固定在棱柱形框架13上，八个射灯18位于同一水平高度，相邻两个之间夹角为45度，所述射灯18均可上下调节倾角；棱柱形框架14顶部的各个顶点均设有一个衔接接口14，各衔接接口14均设有一根向框架中轴线倾斜的支架11，各个支架11的上端均支撑在一个连接终端对接法兰10的底部，所述终端对接法兰10的顶部安装有一个圆锥形的承重终端7；所述承重终端7顶端连接有主脐带缆8、底部有分线电缆12，且分线电缆12与上述高清相机15、激光器17、射灯18相连接。

上述的水下高精度三维重建装置在进行水下激光结构光三维重建中的应用。

上述的水下高精度三维重建装置在进行水下光度立体三维重建中的应用。

上述棱柱形框架13底部还设有可拆卸托盘19，且可拆卸托盘19带有滑轮。

上述主脐带缆8汇集有整个设备的电源线缆及数据传输线缆，主脐带缆8设计长度至少为100米。

上述条形滑轨上安装有高清相机15。

利用上述的水下高精度三维重建装置进行水下光度立体三维重建的方法，其特征在于包括标定步骤、图像采集步骤和图像处理步骤：

所述的标定步骤如下：

在出海进行图像采集前，先用黑色帆布搭建水池或将黑色帆布贴敷在水池的底部及侧壁；将海水灌入水池，将标定板四角用线绳牵引置于水下，将本装置放入水中使相机没于水下，标定高清相机15内参，采集不同位姿角度下的完整的标定板图像至少20幅，用Camera Calibration Toolbox for Matlab工具标定得到相机内参信息；

标定激光器，移除标定板，打开激光器17，使激光线位于成像视图的中部，先拍摄一幅池底图像，再在池底放置一个已知厚度的玻璃板，拍摄此时玻璃板的激光图像，标定得到单位像素位移对应的物体高度信息；

标定入射光方向，将一个圆球置于池底，使之位于高清相机15正下方，依次打开8个射灯18，采集不同光照下的8幅图像，经标定而得到射灯18入射光方向，作为深海采集时的入射光方向估计；

所述的图像采集步骤如下：

出海采集图像时，通过声纳系统选择水深在50-100米的海域作为设备投放区域；将本装置的主脐带缆8一端固定在起重机悬臂头部，将本装置抬到甲板边的平台上，缓慢吊起设备下放入海中，同时注意电缆的梳理，防止设备在水下旋转倾斜；装置落到海底后，等待海底环境相对平稳时，开启激光器17，采集目标物体激光图像，后关闭激光器17；分别开启8个射灯18，采集目标物体不同光照方向下的图像，在每个射灯18的光照下重复采集5幅图像；

所述的图像处理步骤如下：

上述图像传到水上后，通过结构光和光度立体技术进行快速的高精度三维重建。

上述通过结构光和光度立体技术进行快速的高精度三维重建，包括以下步骤(A)图像预处理、(B)图像校正和(C)结构光光度立体融合，具体如下：

(A)图像预处理，包括双边滤波和去后向散射两步操作，

双边滤波：采用双边滤波方法去除传到水上后的原始图像的低频噪声，且通过双边滤波方法可以同时保留图像的细节特征；

去后向散射：先对前一步双边滤波后的图像均匀分块，分别计算每个分块中亮度值最小的像素即最暗点，记录其位置和亮度值，由于后向散射的成像分布近似服从二元二次函数分布，而每6个最暗点可以拟合出一个二元二次函数，对所有分块的最暗点用随机抽样一致(RANSAC)方法迭代地拟合出全局误差最小的后向散射函数，用该函数近似估算出每个像素点对应的后向散射部分，最后在双边滤波后的图像基础上将后向散射部分减去；

(B)图像校正

图像的成像过程，是一个世界坐标系到像平面坐标系的三维到二维的映射过程；具体是将世界坐标系中的点X，通过摄像机矩阵P，映射到像平面坐标系上的点x，空间中的一点与像平面坐标系内唯一一点相对应，即

x＝PX (1)

其中摄像机矩阵P包含相机的内参信息和外参信息，而使用光度立体重建技术无需事先得到外参信息，但需要利用相机内参中的畸变系数完成图像校正，相机内参信息由上述出海前的标定试验获得；

(C)结构光光度立体技术融合

该步包括结构光技术恢复局部高度、光度立体方法恢复全局高度两步操作；

结构光技术恢复局部高度：

结构光技术是一种主动式光学测量方法，在标定步骤中已估算出一个像素偏移对应的高度，将像素偏移个数与对应的高度相乘可以得到物体上被激光线打到区域的真实高度信息；在激光图像中计算激光打在目标物体上相对底面的像素偏移个数，进而得到激光线上所有点的真实高度信息；

光度立体方法恢复全局高度：

光度立体技术是一种高精度三维重建方法，在朗伯模型条件下，它利用不同方向光照条件下拍摄的多幅图像求解物体的表面法向，进而重建出物体的三维结构，其光照模型满足：

其中I代表采集到的图像的亮度值分布，为已知量，λ为入射光强，ρ为反照率，朗伯模型下入射光射到物体表面均匀向各方向反射，某个方向的能量为反射总能量的N为全图法向矩阵，表示各像素点对应物点的法向信息，对于k幅采集到的不同光照方向的图像(每幅图像总像素点数s＝每行像素数a*每列像素数b)，将每个点的单位法向分别在x、y、z轴上投影，得到一个3*1的矩阵，将每个点的矩阵合并，从而构成全图法向矩阵N(s*3)；L为标定步骤中测得入射光照方向的集合，每幅图像对应的入射光方向写成一个3*1的矩阵，将每个矩阵合并从而构造矩阵L(3*k)；

将(2)式两边同乘L的逆(当k＝3时)或伪逆(当k>3时，L只存在伪逆，通过SVD分解方法求解)，可计算得除N外均为标量，N可写作：

其中p和q分别为所要求得的全局高度图在x和y方向上的偏导，即梯度信息；将上述归一化后通过比例关系即可得到p和q；

利用p和q对全图的每个像素点积分得到场景的三维结构，将结构光技术获取的局部高度作为可信的已知高度信息，对前述得到的法向信息采用最小生成树的局部积分方法积分求得全图高度。

在上述方法最后一步的对法向信息采用最小生成树的局部积分方法积分求得全图高度中，

在积分路径选择方面，将可信高度点记录为一个集合，每次比较区域近邻像素的梯度，优先对近邻梯度值较小点进行积分并逐渐扩大可信高度点的范围，同时将目标物体边界点处的权重加大，以使积分路径不包含物体边界，最后得到积分重建后的三维结构。

实施例

相机的密封如图1、2所示，摄像机密封于相机支架中，两个相机并排固定在主体上部的条形滑轨上，组成高清相机。

激光器的密封如图3所示，激光器密封于激光支架中，固定在主体上部的框架一侧。

射灯的密封如图4所示，射灯密封于射灯支架中，8个射灯分别固定在主体中部的框架上，形成彼此相隔45度的环状。

承重终端的设计如图5所示，分线电缆从主体上部引出，采用硫化技术连接在称重终端下方的接头上，并从承重终端穿过，通过主脐带缆连接陆上设备，完成电源和数据信号的传输。

主体安装法兰的设计如图6所示，承重终端通过终端对接法兰与支架对接，支架在衔接接口处固定在棱柱形框架上。

主体结构的设计如图7所示，核心设备为高清相机，激光器和射灯(18)，它们均经严格的水密高压测试后在主体上固定。相机可在条形滑轨上调节水平位移，激光器和射灯可调节上下倾角。主体下部连有一个带轮的可拆卸托盘，方便实验及运输。

在出海实验前，先要进行标定实验以完成深海难以完成的标定操作，主要包括：

标定相机内参，将标定板四角用线绳牵引置于水下，采集不同位姿角度下的图像(约20幅)，用Camera Calibration Toolbox for Matlab工具标定得到相机内参信息。以下拍摄的图像在后续处理前都需用内参信息中的畸变系数进行矫正。

标定激光，将设备置于深色帆布搭建的简易立方体水池(2m*2m*2m)，约5吨海水灌入水池，以模拟深海环境，使相机没于水下，打开激光器，使激光线位于成像视图的中部，先拍摄一幅池底图像，再在池底放置一个已知厚度的玻璃板(如10cm)，拍摄此时的激光图像，标定得到单位像素位移对应的物体高度信息。

标定入射光方向，将光球置于池底，使之位于相机正下方，依次打开8个射灯，采集不同光照下的图像，标定得到其入射光方向，作为深海实验的入射光方向估计。

出海实验时，通过声纳系统选择水深在50-100米且海底环境较好的海域作为设备投放区域。将设备电缆线一端固定在起重机悬臂头部，将设备抬到甲板边的平台上，缓慢吊起设备下放入海中，同时注意电缆的梳理，防止设备在水下旋转倾斜。设备落到海底后，等待海底环境相对平稳时，开启激光器，采集激光图像，后关闭激光器，分别开启8个射灯，采集不同光照方向下的图像。考虑到海底场景复杂，图像可能会受到干扰，故每个场景设定下重复采集5幅图像。图像数据传到水上后，通过结构光和光度立体技术进行快速的高精度三维重建。