一种基于双目鱼眼全景视觉进行水下潜水器控制的系统和方法与流程

本发明涉及一种水下潜水器基于全景视觉进行控制的方法，特别是一种基于双目鱼眼全景视觉进行水下潜水器控制的系统和方法，属于水下潜水器环境感知及控制领域。

背景技术：

水下潜水器是近些年来新兴的一种小型无人水下探测平台，其上搭载相机、惯导、声呐等传感设备，接上信号、电力传输线，能够实现水下鱼群探测、水下考古等水下环境的探测及水下摄影等任务，并能实现短距离自主导航、自主避障、自主追踪等功能。水下潜水器要实现上述各种功能，就必须具备良好的环境感知能力，用以实时获取水下环境状态，并传输到地面站，供人员察看与控制。但是由于单目相机视野有限，不能同时提供水下潜水器四周的环境状态，作业效率底下；已有多目全景水下潜水器，虽提供全景视觉，但没有将操作控制方式融入到全景视觉中，未能充分开发全景视觉的优势。

技术实现要素：

针对现有技术存在的缺陷，本发明的目的是提供一种基于双目鱼眼全景视觉进行水下潜水器控制的系统和方法。将控制方式融入融合全景图像中，开发出全新的控制方式，提供水下全景视野，同时优化、简化水下潜水器的控制，提高水下潜水器的作业效率。

为达到上述目的，本发明的构思是：

水下潜水器左右搭载两个220°广角鱼眼摄像头，摄像头装机前已经过畸变矫正。通过机身的信号线将画面实时传输到地面信号站，地面信号站再以无线路由的方式传输到手机、平板等终端设备，终端设备接收信号后，将左右画面进行实时配准、拼接，投影到平面坐标，显示在终端设备屏幕上；此时，终端屏幕显示的是潜水器周围360°的平面展开图，图中每个像素对应于机器周围不同的方位，手指按住屏幕的某块区域，同时潜水器将朝该方位移动，松手则潜水器停止运动。此过程中，由于潜水器的平滑移动，终端设备画面会不断变化，目标点在屏幕上的位置也会逐步平滑连续变化，最终直到目标会移动到屏幕中心。此过程中，手指按屏幕目标点的轨迹也是一条朝向屏幕中心的连续曲线。

根据上述构思，本发明采用如下技术方案：

一种基于双目鱼眼全景视觉进行水下潜水器控制的系统，包括水下潜水器、地面信号站和终端设备；所述水下潜水器通过电缆线与地面信号站连接，所述地面信号站通过无线网络连接终端设备；所述水下潜水器包括机身左右两侧的广角鱼眼摄像头，用以获取周围环境图像；所述广角鱼眼摄像头装机前需要经过标定，其左右畸变矫正后的画面通过电缆线实时传输到地面信号站，再由地面信号站以无线信号的形式传输到终端设备上，由终端设备进行信号处理、画面显示及控制信号的处理及发送。

一种基于双目鱼眼全景视觉进行水下潜水器控制的方法，使用上述的系统，具体步骤如下：

s01，水下潜水器、地面信号站、终端设备都正常开机运行，正常连接，信号正常传输，水下潜水器保持当前姿态；

s02，终端设备接收水下潜水器左右两侧的广角鱼眼摄像头的双目画面进行特征点寻找与匹配、左右画面配准与拼接融合，显示在终端设备屏幕上；

s03，触按终端设备屏幕，终端设备计算二维平面内触摸区域的中心像素坐标，并计算其对应的水下潜水器周围方位坐标，控制潜水器向该方位运动；

s04，停止触按终端设备屏幕，终端设备无信号回传，水下潜水器停止运动，保持姿态。

与现有技术相比，本发明的有益效果是：

本发明将控制方式融入融合全景图像中，开发出全新的控制方式，提供水下全景视野，同时优化、简化水下潜水器的控制，带来方便、便捷的控制体验，提高水下潜水器的作业效率。

附图说明

图1为本发明基于双目鱼眼全景视觉进行水下潜水器控制的系统示意图。

图2为本发明中潜水器左右鱼眼场景及最后拼接的全景示意图。

图3为本发明中潜水器周围方位与终端屏幕像素坐标的对应关系。

图4为本发明方法的工作流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出。

如图1所示，一种基于双目鱼眼全景视觉进行水下潜水器控制的系统，包括水下潜水器、地面信号站和终端设备；所述水下潜水器通过电缆线与地面信号站连接，所述地面信号站通过无线网络连接终端设备；所述水下潜水器包括机身左右两侧的广角鱼眼摄像头，用以获取周围环境图像；所述广角鱼眼摄像头装机前需要经过标定，其左右畸变矫正后的画面通过电缆线实时传输到地面信号站，再由地面信号站以无线信号的形式传输到终端设备上，由终端设备进行信号处理、画面显示及控制信号的处理及发送。

如图2所示，终端设备全景图像显示的具体处理流程是：将潜水器左右画面分别进行角点的寻找与匹配；对比左右角点，将左右角点进行匹配，从而可以将左右图像相同区域进行配准与拼接，最后将拼接后的360°全景图像投影到平面坐标再成比例显示在终端设备显示屏上。

如图3所示，将潜水器周围360°全景图像投影到手机屏幕后，潜水器周围方位与终端屏幕像素坐标的对应关系。终端屏幕的x方向对应于潜水器水平方向360°方位信息，z方向对应于潜水器垂直方向360°方位信息。其中每个像素的平面坐标都对应潜水器水下周围的三维方向。根据操作者手指触按屏幕像素的坐标信息，转化成水下潜水器的方位信息，再由终端设备发送给地面站，由地面站传回水下潜水器，驱动其朝该方向运动，直到手松开为止。此过程中，由于潜水器的移动，终端设备的画面也会实时变化，目标位置在画面上也同时会动态变化，其变化规律是逐步向屏幕中心移动，因此，人手在终端设备屏幕上触按轨迹是一条朝向屏幕中心的一条曲线。

如图4所示，一种基于双目鱼眼全景视觉进行水下潜水器控制的方法，使用上述的系统，具体步骤如下：

s01，水下潜水器、地面信号站、终端设备都正常开机运行，正常连接，信号正常传输，水下潜水器保持当前姿态；

s02，终端设备接收水下潜水器左右两侧的广角鱼眼摄像头的双目画面进行特征点寻找与匹配、左右画面配准与拼接融合，显示在终端设备屏幕上；

s03，触按终端设备屏幕，终端设备计算二维平面内触摸区域的中心像素坐标，并计算其对应的水下潜水器周围方位坐标，控制潜水器向该方位运动；

s04，停止触按终端设备屏幕，终端设备无信号回传，水下潜水器停止运动，保持姿态。

技术特征：

技术总结
本发明提供一种基于双目鱼眼全景视觉进行水下潜水器控制的系统和方法。系统包括水下潜水器、地面信号站和终端设备；所述水下潜水器通过电缆线与地面信号站连接，所述地面信号站通过无线网络连接终端设备；所述水下潜水器包括机身左右两侧的广角鱼眼摄像头，用以获取周围环境图像，所述广角鱼眼摄像头装机前需要经过标定，其左右畸变矫正后的画面通过电缆线实时传输到地面信号站，再由地面信号站以无线信号的形式传输到终端设备上，由终端设备进行信号处理、画面显示及控制信号的处理及发送。本发明将控制方式融入融合全景图像中，开发出全新的控制方式，提供水下全景视野，同时优化、简化水下潜水器的控制，提高水下潜水器的作业效率。

技术研发人员：李恒宇;袁泽峰;丁长权;谢少荣;罗均
受保护的技术使用者：上海大学
技术研发日：2017.04.27
技术公布日：2017.07.28