与双目摄像头通过有线或无线的通讯连接，接收双目摄像头感测到的双目信号即可。在本实施例中，该双目视觉系统为纯被动双目视觉系统，如果用其他的方式实现的双目系统替代，能完成该装置实现的大部分功能。
[0051]该融合成像处理系统4与声纳成像系统2和双目视觉成像系统3连接，用于融合图像信号，包括FPGA处理模块、解析绘图模块以及融合处理模块。在本实施例中，该融合成像处理系统4设置在水面上，与声纳成像系统2和双目视觉成像系统3通过线缆连接通讯；可以理解的，融合成像处理系统4与声纳成像系统2和双目视觉成像系统3也可以通过无线信号进行连接通讯；融合成像处理系统4也可以设置在水下，通过有线或无线信号将融合处理后的图像传送至水面上的显示设备。
[0052]其中，FPGA处理模块与声纳信号处理模块和双目信号处理模块连接，并将两者采集的数据进行合并处理，并送入DDR中，利用ARM的V2接口将数据进行网络传送至解析绘图模块。解析绘图模块可以设置在PC端，与FPGA处理模块通讯连接，并将接收到的、合并后的所述数据进行解析，分别绘制出声纳图像和双目图像；融合处理模块与解析绘图模块连接，根据声纳图像提供的高度、宽度、横坐标和深度信息，遍历所述双目图像的每一区域，融合得到融合图像。
[0053]如图3所示，该声纳和双目视觉成像系统的融合成像装置融合成像的方法，包括以下步骤:
[0054]S1:声纳成像系统发出声纳探测目标物体，并在发现目标物体时，将刚性支架靠近所述目标物体。
[0055]具体地，声纳成像系统持续的发出声纳信号(包括但不限于单波束声纳)，并通过监测是否接收到回传的声纳信号来判断是否发现目标物体。当发现目标物体时，在离目标物体较远时，驱动船只或其他装置，带动刚性支架I移动并靠近目标物体；如果没有探测到目标物体，就继续探测。
[0056]S2:当刚性支架与目标物体的距离到达设定距离时，启动双目视觉成像系统，由声纳成像系统和双目视觉成像系统同时分别采集图像信号；
[0057]具体地，当刚性支架与目标物体的距离到达设定距离时，启动双目视觉成像系统，声纳成像系统的声纳传感探头采集目标物体反射的声纳信号，并传送至声纳信号处理模块进行处理，形成声纳图像数据；双目信号处理模块的双目摄像头采集目标物体的光电信号，并传送至双目信号处理模块进行处理，形成双目图像数据。通过声纳成像系统和双目视觉成像系统同时采集图像信号，直至完成整个目标物体的扫描探测。
[0058]S3:融合成像处理系统融合步骤S2所采集的图像信号形成融合图像。
[0059]具体地，包括以下步骤:
[0060]S3-1:融合成像处理系统的FPGA处理模块接收声纳图像数据和双目图像数据，并进行合并处理，输出至解析绘图模块；具体地，由两个子系统分别采集图像开始，将采集到的数据经过FPGA处理合并于一处并送入DDR中，利用ARM的V2接口将数据进行网络传输到PC端。
[0061]S3-2:解析绘图模块并将接收到的、合并后的数据进行解析，分别绘制出声纳图像和双目图像，输出至融合处理模块；具体地，PC端经由网络接收到数据之后对数据分别进行解析，绘制出两个子系统所采集的图像，输出至融合处理模块。
[0062]S3-3:融合处理模块根据所述声纳图像提供的高度、宽度、横坐标和深度信息，遍历所述双目图像的每一区域，融合得到融合图像。
[0063]具体地，如图4所示，包括以下步骤:
[0064]S3-3-1:调节两图像坐标及视场，使目标物体处于重叠状态；
[0065]具体地，根据双目摄像头与声纳传感探头的距离位置关系，利用目标物体的中心点位置及轮廓信息，调节声纳图像和双目图像坐标及视场，使目标物体处于大致重叠状态；
[0066]S3-3-2:借助声纳图像得到物体大致高度、宽度、深度及横坐标信息；
[0067]具体地，由于单波束声纳成像系统所采集的是二维图像，且受扫描物体高度影响会保留一部分物体高度信息，所以利用单波束声纳成像系统图像为双目视觉光电系统提供物体横坐标信息、物体宽度信息、物体深度信息和物体大致高度信息。
[0068]S3-3-3:先根据深度匹配得到基本图像，再用宽度、横坐标滤掉污点；
[0069]S3-3-4:借助声纳图像提供的四个信息遍历双目图像一个区域得到物体所在位置；
[0070]具体地，双目视觉光电系统借助单波束声纳成像系统所提供的此四个信息通过遍历对比得到双目图像中的物体所在大致位置；
[0071 ] S3-3-5:丢弃物体所在位置以外图像信息，对该位置进行滤波处理，进一步丢弃噪声点，得到最终的融合图像。
[0072]本发明中，通过声纳成像系统和双目视觉成像系统的融合，能有效地探测水中物体的具体轮廓、表面信息和深度信息，解决了水下特别是深水下的物体感知困难的问题，为水下特别是深水下的相关工作提供强有力的解决方案。
[0073]可以理解的，以上实施例仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制；应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，可以对上述技术特点进行自由组合，还可以做出若干变形和改进，这些都属于本发明的保护范围；因此，凡跟本发明权利要求范围所做的等同变换与修饰，均应属于本发明权利要求的涵盖范围。
【主权项】
1.一种声纳和双目视觉成像系统的融合成像装置，其特征在于，包括刚性支架、声纳成像系统、双目视觉成像系统、以及连接并融合处理所述声纳成像系统和双目视觉成像系统的图像信号的融合成像处理系统；所述声纳成像系统包括固定安装在所述刚性支架上的声纳传感探头、以及与所述声纳传感探头通讯连接的声纳信号处理模块；所述双目视觉成像系统包括固定安装在所述刚性支架上的双目摄像头、以及与所述双目摄像头通讯连接的双目信号处理模块。
2.根据权利要求1所述的声纳和双目视觉成像系统的融合成像装置，其特征在于，所述声纳传感探头为单波束声纳传感探头。
3.根据权利要求1所述的声纳和双目视觉成像系统的融合成像装置，其特征在于，所述刚性支架包括供所述双目摄像头安装于其中的防水腔室；所述防水腔室设有与所述双目摄像头的拍摄镜头对应的透光面板。
4.根据权利要求1所述的声纳和双目视觉成像系统的融合成像装置，其特征在于，所述融合成像处理系统包括FPGA处理模块、解析绘图模块以及融合处理模块； 所述FPGA处理模块与所述声纳信号处理模块和双目信号处理模块连接，并将两者采集的数据进行合并处理，传送至所述解析绘图模块； 所述解析绘图模块与所述FPGA处理模块通讯连接，并将接收到的、合并后的所述数据进行解析，分别绘制出声纳图像和双目图像； 所述融合处理模块与所述解析绘图模块连接，根据所述声纳图像提供的高度、宽度、横坐标和深度信息，遍历所述双目图像的每一区域，融合得到融合图像。
5.根据权利要求1所述的声纳和双目视觉成像系统的融合成像装置，其特征在于，所述双目摄像头与所述声纳传感探头按设定距离固定安装在所述刚性支架上。
6.一种使用权利要求1-5任一项的声纳和双目视觉成像系统的融合成像装置融合成像的方法，其特征在于，包括以下步骤: S1:声纳成像系统发出声纳探测目标物体，并在发现目标物体时，将刚性支架靠近所述目标物体； 52:当所述刚性支架与所述目标物体的距离到达设定距离时，启动双目视觉成像系统，由所述声纳成像系统和双目视觉成像系统同时分别采集图像信号； 53:融合成像处理系统融合步骤S2所采集的所述图像信号形成融合图像。
7.根据权利要求6所述的方法，其特征在于，在所述步骤SI中，所述声纳成像系统发出单波束声纳进行目标物体探测。
8.根据权利要求6所述的方法，其特征在于，在所述步骤S2中，包括以下步骤: S2-1:所述声纳成像系统的声纳传感探头采集所述目标物体反射的声纳信号，并传送至声纳信号处理模块进行处理，形成声纳图像数据； 52-2:所述双目信号处理模块的双目摄像头采集所述目标物体的光电信号，并传送至双目信号处理模块进行处理，形成双目图像数据。
9.根据权利要求6所述的方法，其特征在于，在所述步骤S3中，包括以下步骤: 53-1:所述融合成像处理系统的FPGA处理模块接收所述声纳图像数据和双目图像数据，并进行合并处理，输出至解析绘图模块； S3-2:所述解析绘图模块并将接收到的、合并后的数据进行解析，分别绘制出声纳图像和双目图像，输出至融合处理模块； S3-3:所述融合处理模块根据所述声纳图像提供的高度、宽度、横坐标和深度信息，遍历所述双目图像的每一区域，融合得到融合图像。
10.根据权利要求9所述的方法，其特征在于，在所述步骤S3-3中，根据所述双目摄像头与所述声纳传感探头的距离位置关系，利用所述目标物体的中心点位置及轮廓信息，调节所述声纳图像和所述双目图像处于大致重叠状态。
【专利摘要】本发明涉及一种声纳和双目视觉成像系统的融合成像装置及方法，该装置包括以下系统：刚性支架、声纳成像系统、双目视觉成像系统、以及连接并融合处理声纳成像系统和双目视觉成像系统的图像信号的融合成像处理系统。声纳成像系统发出声纳探测目标物体，并在发现目标物体时，将刚性支架靠近目标物体；当刚性支架与目标物体的距离到达设定距离时，启动双目视觉成像系统，由声纳成像系统和双目视觉成像系统同时分别采集图像信号；融合成像处理系统融合所采集的图像信号形成融合图像。本发明能有效地探测水中物体的具体轮廓、表面信息和深度信息，解决了水下特别是深水下的物体感知困难的问题，为水下特别是深水下的相关工作提供强有力的解决方案。
【IPC分类】G01S15-89, H04N13-02
【公开号】CN104808210
【申请号】CN201510180927
【发明人】徐渊, 张志强, 黄伟鑫, 王亚洲, 何凡
【申请人】深圳大学
【公开日】2015年7月29日
【申请日】2015年4月16日