本发明属于图像处理及自动化技术领域，具体涉及一种基于立体视觉的全方向船舶防撞预警与导航系统。
背景技术：
随着航海相关技术日益发展，海洋权益受到各国重视，水面船舶自动化技术领域相应的迅猛发展，而相关问题也接踵而至。2017年8月内接连发生了两起美国军舰与民船相撞事件，造成人员伤亡和巨大的财产损失，为解决这一问题美军花费巨资为各军舰安装了船舶自动识别系统。该系统不但造价昂贵，且无法广泛应用于各类船舶，这使得船舶的避碰问题成为了一个急于解决的问题。船舶巨头rr公司发表的未来船舶计划中指出，未来的船舶发展趋势为无人化、小型化、大型化和快速化。这种发展趋势使得小型无人化船舶难以在安全距离外被发现，相对速度大又难以躲避；大型无人化船舶因自身惯性大难以制动，且动能大撞击破坏大。针对海上状况突发多变，环境恶劣，地面环境的自动化车辆基于雷达传感器的导航系统无法直接应用于自动化船舶。同时雷达传感器无法使远程操控者通过最直接的方式，即视觉感官，获得船舶周边环境信息。另一方面，因船舶航行时间长，需操控者长时间对船舶全方向进行警戒，需要众多人手轮班值守，且耗费精力，往往因疲劳或疏忽大意而无法第一时间发现险情。这使得不仅无人化船舶，普通船舶也需要自动化的防撞预警与导航系统。为解决这一问题则需要一种基于立体视觉的全方向船舶防撞预警与导航系统。
视觉导航技术可以的向操控者提供方便理解的视觉信息，实现同时导航与监控两种功能；双目立体视觉技术可以计算出视野内物体的距离；全景拼接技术可以向使用者展示同一时刻镜头所在位置的360°范围内的景象，改善了仅能观察单个镜头视场角内景象的缺点。机械稳像技术可以减少载具平台运动带来的颠簸振荡，优化采集到的视频信息，降低无效帧的概率，减少操控者因画面剧烈抖动而带来的视觉上的不适。
现有的基于视觉的避碰导航系统。多采用单摄像头与传感器融合的技术，或利用全景摄像头与双目测距模块结合的方法。两种方法都一定程度解决了船舶在行驶过程中基于视觉的避碰问题。通过摄像头与激光测距传感器相融合的方法因摄像头视场角及激光测距传感器的工作原理限制，仅可获得船舶船首方向的图像与视场中物体的距离。并且，船舶在高速行驶时会出现剧烈颠簸，小型船舶在急转弯时因承受较大向心力，船身倾斜、抖动、转动等原因使得在现有技术方法下，摄像头无法采集到连续而稳定的图像，传感器检测不到较远距离物体反射信号，整套系统无法连续的正常工作。而本发明采用带有稳像系统的全景摄像系统与立体视觉测距相结合的方法，既可以获得船首方向物体距离信息，又可以获得船只周边视觉信息及物体距离信息。并且该发明在船舶高速运动、急转弯与面对恶劣海况时可以通过稳像装置的机械稳像，消除俯仰及翻转扰动并持摄像头采集到的图像中始终可见海天线及陆天线，保障整套系统可以连续的正常工作。此外，大多数船舶相撞事件都是船舶的侧面船板遭受撞击，因此大型无人船的避碰系统必要考虑多方向的物体距离信息。未来的商用无人货船也要防范海盗从船侧船尾靠近的可能性。对此，本发明的全景摄像头与双目测距模块结合的方法可以有效观察船舶全方向的景象，并对工作范围内的物体进行测距，在日后船舶自动化、无人化的发展趋势中可以用于防范大型化无人货船遭遇侧面撞击以及海盗登船。
技术实现要素：
本发明的目的在于提供一种改善了现有视觉导航装置在大风、海浪等海洋环境或船舶高速前进，急转情况下输出图像不稳定，改善了原有的船舶只能获取前向视野内目标距离的限制的一种基于立体视觉的全方向船舶防撞预警与导航系统。
本发明的目的通过如下技术方案来实现：
一种基于立体视觉的全方向船舶防撞预警与导航系统。装置由全景摄像装置、稳像系统、水面目标检测、立体视觉测距、防撞预警与导航数据处理系统、终端处理器共四个主要部分组成。
全景摄像装置用于采集用于全景拼接及用于目标检测、双目立体视觉测距、路径规划的海上视频图像。全景摄像装置由摄像头、支撑结构及终端处理器中的全景图像拼接程序共三部分组成，其中摄像头用于采集图像，支撑结构用于安装固定摄像头及连接机械稳像系统，全景图像拼接程序。全景图像拼接程序用于将获取到的海上视频图像进行全景拼接，并将拼接后的全景视频图像传输至及水面目标检测、立体视觉测距、防撞预警与导航数据处理系统。
稳像系统由加速度计、稳像云台、终端处理器中的机械稳像程序三部分组成，其中加速度计用于检测无人船运动信息及加速度信息，并反馈给终端处理器中的机械稳像程序，机械稳像程序进行数据处理后将相应的姿态调整指令传输至稳像云台，进行机械稳像。
水面目标检测、立体视觉测距、防撞预警与导航数据处理系统由终端处理器中的水面目标检测程序、立体视觉测距程序及防撞预警与导航数据处理程序共三部分组成。水面目标检测程序用于检测船舶周围海面区域物体、立体视觉测距程序用于对感兴趣目标进行测距、防撞预警与导航数据处理程序用于生成视野范围内物体与船舶自身关系的俯视图，对交叉路径与可能发生的碰撞进行防撞预警，并进行相应的路径规划。
终端处理器为终端数据处理执行计算机，包含实现各部分功能相关的程序，可将笔记本电脑、微型计算机等作为处理器使用。
为克服背景技术中所述的装置中无法进行全方向监控的缺陷，本发明将n台同型号的摄像头以圆形阵列的形式安装在支撑结构上，再将支撑结构安装至稳像云台上以便获得船舶周边全部方向的视频图像。根据不同需求，选择摄像头的视场角及安装基准圆半径，并计算出摄像头的数量，使每台摄像头在最小工作距离上的视野可以被其临近的两侧摄像头视野完全覆盖。为减轻后续拼接全景图像的处理量，应合理选择摄像头数量、镜头视场角、安装半径及安装角度，减小三台摄像头同时覆盖区域的面积。摄像头的数量、安装半径、镜头视场角、基于立体视觉的全方向防撞预警与导航系统的最小工作距离、关系如下：
式中：
γ——摄像头镜头的视场角。
β——摄像头以圆形阵列安装时各摄像头之间的夹角。
r——摄像头安装半径。
r——基于全景拼接的视觉测距装置的最小工作距离。
n——摄像头的最小数量，n为偶数。
为克服背景技术中所述的装置中雷达等传感器无法在船舶高速行驶时进行测距的缺陷，本发明采用机械、电子稳像及双目立体视觉测距的方法。根据双目立体视觉原理，将圆形阵列安装的摄像头两两一组进行双目视觉测距。双目立体测距的前提是两台摄像头的位置关系已知，摄像头的内部参数已知，即需要对摄像头进行光学标定。为此本装置的n台摄像头需要在使用前进行标定，确定各摄像头间的准确位置关系及内部、外部参数。
本发明中的全景摄像装置中的摄像头在标定时采用手动标定，根据使用的标定工具不同也可采用自动标定，如opencv的标定工具箱，可完成自动标定。也可以在终端处理器内预先编写自动标定程序，从而完成摄像头的标定。本发明对摄像头标定顺序如下：首先，对n台摄像头按顺时针顺序进行递增编号，如：1,2,3,……继而，使用cameracalibrationtoolboxformatlab工具箱中的立体视觉系统标定工具对2台摄像头进行立体视觉标定。先取摄像头1和2，将标定板置于两摄像头的公共视野区域内，拍摄10组标定板位置不同的照片，由工具处理后得出两摄像头的内部参数：焦距、光圈、主点等；外部参数：两摄像头相对的距离、角度、旋转等。得到摄像头1和2的位置关系后，再取摄像头2和3进行标定，得到摄像头1、2和3的位置关系，以此类推，每次取序号相邻的2台摄像头进行标定，直至得出全部摄像头之间的位置关系。在完成标定后此装置才可正常使用。
使用时，首先，由稳像系统中的加速度计获取船舶运动信息，再由终端处理器中的机械稳像程序计算出相应运动信息并指示稳像云台各轴上的步进电机对俯仰和翻转进行调整，使其保证安装固定于其上的全景摄像装置中的支撑结构装有摄像头的平面与水平面保持平行，从而保障全景摄像装置采集到的图像稳定且连续。
进一步，终端处理器指示全景摄像装置中的n台摄像头同时采集图像，并获取其传回的图像，终端处理器内置的全景图像拼接程序对图像进行基于海天线陆天线的稳像调解及拼接处理，生成全景图像。
为此，终端处理器中的程序需要对若干幅图像进行拼接得到全景图像。
这其中包括对图像进行海天线与陆天线检测、畸变矫正、线性拼接。
在某一时刻全景图像拼接程序获得n台摄像头同时采集的n幅图像。
对所有图像进行海天线与陆天线检测，如若未能在所有图像中检测到海天线或陆天线，则丢弃这一组图像，重新采集。
进一步，全景图像拼接程序仅将采集到的n幅图像之中的奇数号摄像头的图像进行畸变矫正，将奇数号摄像头所获取的矫正后的图像根据柱状拼接法，投影至以摄像头焦距为半径的圆柱体上。
进一步，全景图像拼接程序根据标定结果得出相临近的奇数号摄像头所获取的图像的重叠区域，对重叠区域进行线性叠加。
进一步，将拼接后的柱状图像展开至矩形图像上。
在获得展开至矩形的全景图像后，可根据具体任务需求通过终端处理器内置的水面目标检测、立体视觉测距、防撞预警与导航数据处理系统或选择指定目标进行测距。
水面目标检测、立体视觉测距、防撞预警与导航数据处理系统中的终端处理器中的水面目标检测程序根据图像显著目标检测方法，在获取到的全景图像中进行显著目标检测，并在图像中以矩形的形式圈出显著目标位置。或通过用户外部操作，圈出含有目标的矩形区域位置。
通过计算矩形在图像中的位置得出该矩形完全处于哪一台奇数号摄像头的图像之中。如果该矩形位于两台奇数号摄像头的公共区域，则判定该矩形处于编号较小的图像上。
进一步，将该图像等分为左右两部分，若该矩形位于图像的左半部分，则调取其逆时针方向相邻的偶数号摄像头图像；反之，若该矩形位于图像的右半部分，则调取其顺时针方向相邻的偶数号摄像头图像。若该矩形一部分位于图像的右半部分，一部分位于图像的左半部分，则计算该矩形在两侧的面积大小，选取面积大的一侧判定为该矩形所在区域。
通过标定时得到的各摄像头之间的位置关系，将其转化为标准的外极线几何结构，即相邻的两台摄像头之间的相对位置只包含一个水平方向的平移b，互相之间不存在任何旋转且主距f相同。
根据标准外极线几何结构对两台摄像头的图像进行校正。
进一步，在该奇数号摄像头的图像中，将矩形区域设为感兴趣区域。通过终端处理器内置的立体视觉测距程序在该感兴趣区域内进行orb特征提取，记录检测出的orb特征点描述符与特征点位置。
进一步，在中选取出的偶数号摄像头的图像中同样进行orb特征提取，并对检测出的orb特征点与奇数号摄像头的感兴趣区域中的orb特征点进行匹配，本发明采用flann算法对描述符向量进行匹配，根据不同任务需求，预先在程序中设置的阈值，对特征点进行筛选，得出符合条件的匹配点。
进一步，立体视觉测距程序对相匹配的特征点进行双目立体测距。
取特征点其中的一点，分别求出该特征在两幅图像中对应的点与该图像中主点的距离d1与d2。进而可以利用三角形相似性获得深度信息，即图像中该点距离两台摄像头基线的距离z，计算式如下：
式中：
z——某空间点距离两台摄像头基线距离。
b——外极线几何结构模型下两台摄像头的基线长度。
f——摄像头主距
d1、d2——点与该图像中主点的距离。
进一步，计算全部匹配的特征点的距离z后，对所有特征点的距离z取平均值，并设定上下限，将低于及高于平均值大小0.5倍的距离z舍去，重复该步骤3次，得出最终值即为该矩形区域内目标与摄像头之间的距离并将该信息传输至终端处理器中的防撞预警与导航数据处理程序。
进一步，防撞预警与导航数据处理程序根据获取到的目标与船只距离及方位信息，根据船舶与周边物体的距离关系，将船舶自身及周围物体投影至俯视图上，并根据预设频率更新。防撞预警与导航数据处理程序根据任务设定路径与前向障碍是否冲突进行判断。同时，对非前向路径的物体运动路径进行判断，计算其按当前速度与路径是否会从船侧与船尾方向与船舶发生碰撞。
进一步，如果防撞预警与导航数据处理程序根据目标运动轨迹判断船舶在当前路径与该目标存在碰撞可能，则由防撞预警与导航数据处理程序或操作者重新规划路径，得出无人船应做出的相应动作。
稳像系统中的稳像云台基座上设有外部接口，如千兆网口，usb接口，串口，并与安装在稳像云台基座内的终端处理器相连，根据需求可将矩形全景图像、目标距离及周边信息俯视图，规避动作等信息传输给外界。
同时，终端处理器也通过这些接口接收操作指令，包括标定与矩形区域选取。
本发明的有益效果在于：
本发明方案提供的基于立体视觉的全方向防撞预警与导航系统，由于使用了稳像系统进行机械稳像，改善了现有视觉导航装置在大风、海浪等海洋环境或船舶高速前进，急转情况下输出图像不稳定，无法在恶劣环境或高速行驶状态下使用的状况；由于利用固定多摄像头，使测距视场达到360°，改善了原有的船舶只能获取前向视野内目标距离的限制。
附图说明
图1为一种全景画面拼接流程示意图；
图2为一种基于双目立体视觉的测距流程示意图；
图3为一种基于立体视觉的全方向船舶防撞预警与导航系统的稳像系统装置示意图；
图4为一种基于立体视觉的全方向船舶防撞预警与导航系统的全景摄像装置示意图；
图5为一种基于立体视觉的全方向船舶防撞预警与导航系统统装置示意图；
图6为一种基于立体视觉的全方向船舶防撞预警与导航系统的实例工作流程示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明：
如图1所示，本装置将装置上的摄像头11进行顺时针顺序编号，首先取奇数号摄像头11所采集的图像，将其校正后投影至以镜头焦距为半径的圆柱体上。因摄像头11经过标定，互相间的位置关系已知，镜头视场角已知，则所有奇数号摄像头11与相邻的奇数号摄像头11图像重叠区域已知，如图所示画出斜线的l及r区域，对重叠区域进行线性叠加，得出投影至以焦距为半径的圆柱体上的全景图像。
为使本发明的基于双目立体视觉的测距流程便于理解，将其以附图形式展示，如图2所示，终端处理器4中的水面目标检测程序31将柱状全景拼接图展开成矩形图，在水面目标检测程序31或操作者用矩形在奇数号图像中圈出目标后(如图所示矩形位于5号摄像头获取的图像之中)，找出对应的偶数号摄像头11，图中所示为6号。进一步，立体视觉测距程序32在5号图像上的矩形区域内检测orb特征，接着在6号图像中查找全部orb特征并与之匹配。根据预先设定的阈值，筛选掉不良特征点，得出相匹配的强特征点，计算出所有匹配的强特征点深度信息，进行三次优化筛选，最终得出矩形内目标与本装置的距离。
如图3所示，为本发明公开的一种基于立体视觉的全方向船舶防撞预警与导航系统的稳像系统装置，包括：加速度计21、稳像云台22、终端处理器4中的机械稳像程序23。
如图4所示，为本发明公开的一种基于立体视觉的全方向船舶防撞预警与导航系统的全景摄像装置，包括：摄像头11、支撑结构12及终端处理器4中的全景图像拼接程序13。其中，摄像头11的数量、安装半径、镜头视场角、基于立体视觉的全方向防撞预警与导航系统的最小工作距离、关系如下：
式中：
γ——摄像头镜头的视场角。
β——摄像头以圆形阵列安装时各摄像头之间的夹角。
r——摄像头安装半径。
r——基于全景拼接的视觉测距装置的最小工作距离。
n——摄像头的最小数量，n为偶数。
如图5所示，为本发明公开的一种基于立体视觉的全方向船舶防撞预警与导航系统装置，包括：全景摄像装置稳像系统1、水面目标检测2、立体视觉测距、防撞预警与导航数据处理系统3、终端处理器4。工作时，终端处理器4中机械稳像程序23的采取加速度计21的数据，调整稳像云台22的姿态，全景摄像装置1获取摄像头11传回的数据。进一步，全景图像拼接程序13对数据进行处理，传输至水面目标检测立体视觉测距、防撞预警与导航数据处理系统3、进行后续处理，亦可同时获取外部指令，再将处理结果通过稳像云台22装置上设有的多种接口传输至外部。具体实施时，终端处理器4可以是由笔记本、微型计算机等组成的。支撑结构12固定摄像头11并连接稳像云台22，稳像云台22安装有各种与终端处理器4相连接的外设接口供外部设备与终端处理器4通讯。
本实例的实施方法如图6所示：
①获取摄像头11采集的n幅图像。
具体的是同一时刻，摄像头11获取若干幅图像。
②终端处理器4中的全景图像拼接程序13对采集到的n幅图像进行海天线，陆天线检测，如果没有全部检测到海天线或陆天线，则放弃这一组图像，重复步骤①。
③根据摄像头11的编号，仅将序号为奇数号的摄像头11所获得的图像进行矫正，并投影至以镜头焦距为半径的圆柱上。根据设备安装后标定所得各摄像头11之间的位置关系以及镜头视角得出n幅图像互相间的覆盖区域，将n/2幅奇数号图像进行拼接，将重叠区域进行线性叠加，得到圆柱形全景图，并将其展开成矩形图。
④以实施区域巡逻任务的水面无人巡逻艇为例，为检测过往船只与巡逻区域内无人巡逻艇的距离，操作人员或终端处理器4内置的水面目标检测程序31用矩形圈出一出现在视野内的目标，终端处理器4判断矩形所在图像为奇数号为3的摄像头11图像中，进一步判断出该3号摄像头11相邻的偶数号2号与4号摄像头11。对目标所在的矩形区域内的图像进行orb特征点检测，获取特征点位置及相应的特征点描述子。进一步，在其对应的4号摄像头的图像中同样进行orb特征点检测，得到该图中全部的特征点位置及相应的特征点描述子。根据flann匹配算法，将4号图像中的特征点描述子与3号图像中的特征点描述子进行匹配。根据阈值设置筛选掉较差的匹配特征点。如不存在有匹配特征点的显著目标，则重复步骤①，如存在则继续。
⑤对筛选后的强特征点逐一计算距离，根据标定得出的摄像头11内外部参数，终端处理器4内的立体视觉测距程序32根据公式求出每一强特征点的深度信息。立体视觉测距程序32对全部深度信息求平均值并筛选掉较差的特征点，重复3次，最终得出矩形区域内目标的距离。
⑥防撞预警与导航数据处理程序33将所获得的深度信息投影至俯视图。根据水面巡逻艇的任务需求，结合gps定位信息，判断出该目标是否驶入巡逻区域，是否会与当前行驶中的水面巡逻艇发生碰撞。如果该目标驶入巡逻区域或将与水面巡逻艇发生碰撞，根据终端处理器4中的防撞预警与导航数据处理程序33或操作者命令，重新规划路径，选择播放警告信息、靠近驱逐该目标或进行躲避。如果该目标不会驶入巡逻区域或与水面巡逻艇发生碰撞，则继续按原路径行驶并重复步骤①。
⑦防撞预警与导航数据处理程序33计算得出的新路径所需的相应动作调整指令可通过接口发送给水面巡逻艇动力控制系统或操控者。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。