一种声纳和双目视觉成像系统的融合成像装置及方法
【技术领域】
[0001]本发明涉及水下成像系统，更具体地说，涉及一种声纳和双目视觉成像系统的融合成像装置及方法。
【背景技术】
[0002]水下特别是深水下的物体感知一直是难以很好解决的问题。传统上使用声纳进行物体的探测只能扫描一个平面的信息，只能知道物体的大概位置而无法知道物体的具体轮廓和表面信息，而且受扫描物体高度影响出现纵深方向上的干扰、扫描速度慢。
[0003]而利用普通摄像头所捕抓到的画面又没有物体的深度信息，无法感知物体与自身的远近关系。利用能有实时显示效果的纯被动双目视觉系统探测又因为成像原理，必定带入成像的错误。
【发明内容】
[0004]本发明要解决的技术问题在于，针对现有技术的缺陷，提供一种声纳和双目视觉成像系统的融合成像装置及方法。
[0005]本发明解决其技术问题所采用的技术方案是:构造一种声纳和双目视觉成像系统的融合成像装置。
[0006]在本发明所述的声纳和双目视觉成像系统的融合成像装置中，包括刚性支架、声纳成像系统、双目视觉成像系统、以及连接并融合处理所述声纳成像系统和双目视觉成像系统的图像信号的融合成像处理系统；所述声纳成像系统包括固定安装在所述刚性支架上的声纳传感探头、以及与所述声纳传感探头通讯连接的声纳信号处理模块；所述双目视觉成像系统包括固定安装在所述刚性支架上的双目摄像头、以及与所述双目摄像头通讯连接的双目信号处理模块。
[0007]优选地，所述声纳传感探头为单波束声纳传感探头。
[0008]优选地，所述刚性支架包括供所述双目摄像头安装于其中的防水腔室；所述防水腔室设有与所述双目摄像头的拍摄镜头对应的透光面板。
[0009]优选地，所述融合成像处理系统包括FPGA处理模块、解析绘图模块以及融合处理丰吴块；
[0010]所述FPGA处理模块与所述声纳信号处理模块和双目信号处理模块连接，并将两者采集的数据进行合并处理，传送至所述解析绘图模块；
[0011]所述解析绘图模块与所述FPGA处理模块通讯连接，并将接收到的、合并后的所述数据进行解析，分别绘制出声纳图像和双目图像；
[0012]所述融合处理模块与所述解析绘图模块连接，根据所述声纳图像提供的高度、宽度、横坐标和深度信息，遍历所述双目图像的每一区域，融合得到融合图像。
[0013]优选地，所述双目摄像头与所述声纳传感探头按设定距离固定安装在所述刚性支架上。
[0014]在本发明所述的声纳和双目视觉成像系统的融合成像装置中，其融合成像的方法包括以下步骤:
[0015]S1:声纳成像系统发出声纳探测目标物体，并在发现目标物体时，将刚性支架靠近所述目标物体；
[0016]优选地，在所述步骤SI中，所述声纳成像系统发出单波束声纳进行目标物体探测。
[0017]S2:当所述刚性支架与所述目标物体的距离到达设定距离时，启动双目视觉成像系统，由所述声纳成像系统和双目视觉成像系统同时分别采集图像信号；
[0018]优选地，在所述步骤S2中，包括以下步骤:
[0019]S2-1:所述声纳成像系统的声纳传感探头采集所述目标物体反射的声纳信号，并传送至声纳信号处理模块进行处理，形成声纳图像数据；
[0020]S2-2:所述双目信号处理模块的双目摄像头采集所述目标物体的光电信号，并传送至双目信号处理模块进行处理，形成双目图像数据。
[0021]S3:融合成像处理系统融合步骤S2所采集的所述图像信号形成融合图像。
[0022]优选地，在所述步骤S3中，包括以下步骤:
[0023]S3-1:所述融合成像处理系统的FPGA处理模块接收所述声纳图像数据和双目图像数据，并进行合并处理，输出至解析绘图模块；
[0024]S3-2:所述解析绘图模块并将接收到的、合并后的数据进行解析，分别绘制出声纳图像和双目图像，输出至融合处理模块；
[0025]S3-3:所述融合处理模块根据所述声纳图像提供的高度、宽度、横坐标和深度信息，遍历所述双目图像的每一区域，融合得到融合图像。
[0026]优选地，在所述步骤S3-3中，根据所述双目摄像头与所述声纳传感探头的距离位置关系，利用所述目标物体的中心点位置及轮廓信息，调节所述声纳图像和所述双目图像处于大致重叠状态。
[0027]实施本发明具有以下有益效果:本发明通过声纳成像系统和双目视觉成像系统的融合，能有效地探测水中物体的具体轮廓、表面信息和深度信息，解决了水下特别是深水下的物体感知困难的问题，为水下特别是深水下的相关工作提供强有力的解决方案。
【附图说明】
[0028]下面将结合附图及实施例对本发明作进一步说明，附图中:
[0029]图1是本发明声纳和双目视觉成像系统的融合成像装置的结构示意图；
[0030]图2-1是本发明中单波束成像原理中，声波波束在探测面上的俯视图；
[0031]图2-2是本发明中单波束成像原理中，声波波束在探测面上的正视图；
[0032]图2-3是本发明中单波束成像原理中，声纳在发出波束之后等待接收返回的波束，依据接收的时间先后在画面中绘制出远近不同的点云的示意图；
[0033]图2-4是本发明中单波束成像原理中，假设在声纳探测的垂直面上有一根棍子的示意图；
[0034]图2-5是本发明中单波束成像原理中，声波打到棍子得到的声纳图像的示意图；
[0035]图2-6是本发明中单波束成像原理中，由于A、B两点的所处的位置可能不同，纵深反映也有所差别的示意图；
[0036]图3是本发明声纳和双目视觉成像系统的融合成像装置的工作流程图；
[0037]图4是本发明声纳图像与双目视觉图像的融合算法流程图。
[0038]引用编号列表:
[0039]1、刚性支架；2、声纳成像系统；3、双目视觉成像系统；4、融合成像处理系统；5、防水腔室；6、水面。
【具体实施方式】
[0040]为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的【具体实施方式】。
[0041]如图1所示，是本发明的声纳和双目视觉成像系统的融合成像装置的一个实施例，包括刚性支架1、声纳成像系统2、双目视觉成像系统3、以及融合成像处理系统4等，可通过声纳成像系统2和双目视觉成像系统3的融合，能有效地探测水中物体的具体轮廓、表面信息和深度信息，解决了水下特别是深水下的物体感知困难的问题，为水下特别是深水下的相关工作提供强有力的解决方案。
[0042]该刚性支架I作为整个装置的支撑件，可以根据需要做成各种形状。如图1所示，在本实施例中，该刚性支架I为框形，以方便船只或其他装置搭载。声纳成像系统2和双目视觉成像系统3固定安装在该刚性支架I上，从而可以跟随船只或其他装置移动，来搜寻目标物体，并进行融合成像。
[0043]由于该融合成像装置4需要在水下进行工作，该刚性支架I设置有防水腔室5，以便于供双目视觉成像系统3安装于其中。进一步的，防水腔室5设有与双目视觉成像系统3的双目摄像头的拍摄镜头对应的透光面板，以便于通过光电信号采集目标物体的视觉信号。
[0044]进一步的，双目视觉成像系统3与声纳成像系统2按设定距离固定安装在刚性支架I上，从而可以为后续图像融合做准备。可以理解的，双目视觉成像系统3与声纳成像系统2的距离可以根据实际需要进行设置，可以为固定设置、也可以根据需要做成可调距离的设置。
[0045]该声纳成像系统2包括声纳传感探头以及声纳信号处理模块，通过声纳传感探头发出声纳进行目标物体的探测，并由声纳信号处理模块接收反射的声纳信号，进行分析处理得到声纳图像数据。在本实施例中，声纳传感探头以及声纳信号处理模块为一体式，固定安装在刚性支架I下部。可以理解的，该声纳传感探头和声纳信号处理模块也可以为分体式，声纳传感探头固定安装在刚性支架I下部，而声纳信号处理模块则可以安装在船只上或其他装置上，与声纳传感探头通过有线或无线的通讯连接，接收声纳传感探头感测到的声纳信号即可。
[0046]在本实施例中，该声纳传感探头为单波束声纳传感探头，单波束声纳在一个时刻向一个方向发射出一束声波，如图2所不。
[0047]从图2-1中可以看到，声波波束在探测面上的夹角很小，近似于一条线。而从图2-2上看，声波波束在与探测面垂直的垂直面上是呈扇形的。
[0048]声纳在发出波束之后等待接收返回的波束，依据接收的时间先后在画面中绘制出远近不同的点云，如图2-3所示ο
[0049]这样就产生了一个现象，假设在声纳探测的垂直面上有一根棍子，如图2-4所示。声波在打到A点和B点之后会返回，而由于距离远近的原因，A点返回的较早，这样棍子得到的声纳图像如图2-5所示。也就是说，虽然单波束声纳扫描的是二维的图像，但是其在半径方向上的纵深点保留着物体的高度信息。又由于A、B两点的所处的位置可能不同，如图2-6，这个纵深反映也有所差别，所以这个高度信息是一个不太确定的动态值，可以用这个高度信息来大概地估计目标物体的高度在哪个范围之内，以便于与双目视觉成像系统图像进行融合。而且，由于在探测面方向上的波束夹角很小，则目标物体的宽度则是较为准确的值，可以直接与双目视觉成像系统图像融合。
[0050]该双目视觉成像系统3包括双目摄像头、以及双目信号处理模块，通过双目摄像头进行目标物体的探测，并由双目信号处理模块接收探测到的双目信号，进行分析处理得到双目图像数据。在本实施例中，双目摄像头以及双目信号处理模块为一体式，使用防水材质密封后固定安装在刚性支架I的防水腔室5中，防水腔室5设有与双目视觉成像系统3的双目摄像头的拍摄镜头对应的透光面板，以便于通过光电信号采集目标物体的视觉信号。可以理解的，该双目摄像头和双目信号处理模块也可以为分体式，双目摄像头固定安装在刚性支架I的防水腔室5中，而双目信号处理模块则可以安装在船只上或其他装置上，