一种双目视觉的水下三维全景成像系统与成像方法

本发明设计水下成像领域，具体涉及一种双目视觉的水下三维全景成像系统与成像方法。

背景技术：

双目视觉三维成像是指以一种记录三维视觉信息或获取图像深度感知的技术。通常，人类通过结合两只眼睛的图像来观察周围的环境。近距离观察物体角度的差异是最显著的，距离过远就相反。图像中物体的角度稍有不同，就会增强深度感知，也便于对场景快速理解。

随着成像和计算技术的进步，在很多情况下，使用相机捕捉图像比人类自身观察更有优势。对于长期或大范围的监控，一些专业的摄像头可以从便利的位置和角度为安保人员提供实时和记录的图像。

虽然在非水下图像的全景方面已经取得了一些进展，但水下图像问题还没有得到充分的研究。在最近的一二十年，伴随着各国对于海洋资源开发利用的重视，水下图像探测成为海洋探测的重要方式。

然而由于水下成像环境的复杂多变，水下成像存在以下问题：

1、由于缺乏深度立体感知，对水下全景成像，来创建海底全景视图，以便于研究海洋地质学和生物水下栖息地等领域；

2、其次，市面上的大部份全景成像装置在获取顶部立体全景视图方面涉及过少，而在水下获取顶部立体全景图像与周视全景立体图结合将会为水下研究带来极大的帮助。

技术实现要素：

本发明的目的在于提供一种双目视觉的水下三维全景成像系统，该系统采用顶部立体全景与周视立体全景相结合，实现真正意义上的360度三维立体全景成像，解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

本发明一方面提供一种双目视觉的水下三维全景成像系统，具体包括：

三维全景信息采集模块：用于采集水下环境的三维全景信息；

数据传输模块：实现三维全景信息采集模块同步采集并作为传输信息媒介；

控制模块：控制系统运行；

供电模块：用于系统供电；

密封舱：用于封装和水下工作；

机械固件和辅助元件：用于安装固定。

进一步地，所述三维全景信息采集模块包括相机阵列与类三棱柱，所述相机阵列安装固定于类三棱柱上；所述类三棱柱包括周视面、顶视面、底视面、内部隔层。

进一步地，所述周视面包括三个周视面，每个周视面分别安装有两个相机对，两个相机对的中心轴线成30度角。

进一步地，所述顶视面安装有三个相机阵列，三个相机阵列的中心轴线在立体空间内交汇到一点；同理，底视面亦如此。

进一步地，所述内部隔层包括上、中、下三层，分别安装固定控制模块、数据传输模块、供电模块。

进一步地，所述控制模块包括嵌入式工控机、pc104。

进一步地，所述控制模块与数据传输模块连接，用于发送命令，控制相机阵列曝光时长，以及信息数据的收集、存储。

进一步地，所述数据传输模块包括12个输入口和1个输出口，输入口逐个与相机阵列连接实现同步同时采集，输出口与控制模块连接。

进一步地，所述供电模块为控制模块与数据传输模块供电。

进一步地，所述密封舱包括两个半球，所述两个半球扣合实现密封。

进一步地，所述密封舱为透明材料，包括亚克力、石英玻璃。

本发明另一方面提供了一种双目视觉的水下三维全景成像方法，该方法在双目视觉的水下三维全景成像系统基础上实现，该方法包括以下步骤：

s1:相机标定，基于棋盘格法，利用棋盘格对周视觉、顶视觉、底视觉相机对进行标定，得到每组相机对的畸变校正参数与立体校正参数；

s2:三维全景信息采集，通过控制模块设置每个相机的图像采集参数，开启每台相机，采集多幅不同角度的水下环境图像，得到水下环境的三维全景信息；

s3:三维全景重建，对得到的水下三维全景信息进行处理，得到水下环境的三维全景形貌，具体包括s31三维重建与s32全景重建。

进一步地，所述步骤s31三维重建具体包括：

s311：相机校正，基于每组相机对的畸变校正参数与立体校正参数，对相机进行畸变校正和立体校正；

s312：立体匹配，对校正后的图像基于立体匹配算法获取视差图、深度图；

s313：三维重建，对得到的深度、视差信息进行三维重建。

进一步地，所述步骤s32全景重建具体包括：

s321：对输入图像提取鲁棒的特征点，并根据特征描述完成特征点的匹配；

s322：根据已经匹配的特征点对得到相邻图像的位置关系从而进行图像配准，由于直接进行图像配准会破坏视场的一致性，因而先将图像投影在球面或者柱面上；

s323：最后计算相邻图像的拼缝并完成重叠区域的融合，得到最终的水下立体全景图像。

本发明的有益效果：

1、本发明在传统全景相机基础上，将传统的周视觉与体式视觉结合，基于双目视觉立体成像技术，实现水下环境的三维立体全景成像；

2、本发明基于传统的全景相机，设计类三棱柱结构引入顶视觉与底视觉，实现真实意义的360度全景无缝拼接。

附图说明

图1为本发明三维全景成像系统的整体结构示意图。

图2为本发明三维全景成像系统内部结构示意图。

图3为本发明类三棱柱结构示意图。

图4为本发明相机安装固定示意图。

图5为本发明相机对安装示意图。

图6为本发明周视面相机对中心轴线角度示意图。

附图标记：

1、类三棱柱2、控制模块3、数据传输模块4、供电模块5、顶视面6、底视面7、上隔层8、中隔层9、下隔层10、密封舱11、图像探测器12、镜头13固定板。

具体实施方式

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定，此外，附图为示意图，因此本发明装置和设备并不受所述示意图的尺寸或比例限制。

需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

实施例1

如图1所示为本发明水下三维全景成像系统整体结构示意图，图2-6为系统的局部示意图。

水下三维全景成像系统，具体包括：

三维全景信息采集模块、数据传输模块3、控制模块2、供电模块4、密封舱10。

所述全景信息采集模块包括相机阵列与类三棱柱1(见图3)，所述相机阵列安装固定在类三棱柱1上，所述相机包括图像探测器11与镜头12，图像探测器11为单板相机，镜头12为广角镜头。

所述类三棱柱1包括周视面、顶视面5、底视面7、内部隔层，所述周视面包括三个空面，如图4、5所示，相机通过机械固件安装于固定架13，三个空面通过固定架13分别安装有相机对，相机对如图6中心轴线成30度角，以此实现最大的视场范围；所述顶视面5为等三棱锥面，在三棱锥面上安装有三个相机，三个相机中心轴线形成一个立体角度，同理底视面亦如此；所述内部隔层分别包括上隔层7、中隔层8、下隔层9。

所述控制模块2安装固定于上隔层7，包括嵌入式工控机、pc104等；与所述数据传输模块3连接，用于发送命令，控制相机阵列曝光时长，以及信息数据的收集、存储；以及通过控制模块2实现与岸基通讯。

所述数据传输模块3安装固定于中隔层8，包括12个输入口和1个输出口，输入口逐个与相机阵列连接实现同步同时采集，输出口与控制模块2连接，实现数据传输。

所述供电模块4安装固定于下隔层9，为控制模块2与数据传输模块3供电，包括开关电源、蓄电池。

所述密封舱10内安装固定全景信息采集模块、数据传输模块3、控制模块2、供电模块4，为透明球体，包括两个均分的半球，两个半球扣合实现水下的密封效果，材料包括石英、亚克力。

实施例2

基于水下三维全景成像系统，水下三维全景成像方法，具体步骤包括：

(1)按照所述水下三维全景成像系统搭建成像装置，具体系统结构可以参照实施例1中所提供的水下三维全景成像系统，这里不再赘述；

(2)相机标定，利用棋牌格分别对周视觉、顶视觉、底视觉相机对进行标定，得到每组相机对的畸变校正参数和立体校正参数；

(3)将水下三维全景成像系统布放与水下，通过岸基控制成像系统的开/关以及输入相机参数，采集多幅不同角度的水下环境图像，得到水下环境的三维全景信息；

(4)对得到的水下环境三维全景信息进行数据处理，得到水下环境的三维全景形貌，具体包括(41)三维重建和(42)全景重建。

所述(41)三维重建是基于双目视觉的三维重建，具体步骤如下：

(411)相机校正，基于每组相机对的畸变校正参数与立体校正参数，对相机进行畸变校正和立体校正；

(412)立体匹配，对校正后的图像基于立体匹配算法获取视差图、深度图;

(412)三维重建，对得到的深度、视差信息进行三维重建。

所述(42)全景重建是基于双目视觉的三维重建，具体步骤如下：

(421)对输入图像提取鲁棒的特征点，并根据特征描述完成特征点的匹配；

(422)然后根据已经匹配的特征点对得到相邻图像的位置关系从而进行图像配准，由于直接进行图像配准会破坏视场的一致性，因而先将图像投影在球面或者柱面上；

(423)最后计算相邻图像的拼缝并完成重叠区域的融合，得到最终的水下立体全景图像。