基于全局状态信息的河道清理路径规划系统及方法与流程

文档序号：16927436发布日期：2019-02-22 19:59阅读：571来源：国知局

本发明涉及一种基于河道水面全局状态信息的最优清理路径规划系统，属于工业智能装备的状态监测及设备作业技术领域。

背景技术：

目前我国河道污染情况严重，而对于河道垃圾的清理，主要还是依靠人工打捞，但人工打捞效率低和成本高，急需新型的水面环保设备，降低水面垃圾清理成本，提高清理效率。本发明提出了一项基于河道水面全局状态信息的最优清理路径规划方法及系统，是利用机器视觉来替代人眼、导航基站路线规划，进行扫描、标记、构建、区域分割和无人船去执行垃圾清理的方法与系统，实现水面垃圾的无人清理，大大提高作业效率、经济效益，解决用工问题、促进产业升级。

技术实现要素：

为了解决河面垃圾清理问题，本发明提供一种基于河道水面全局状态信息的最优清理路径规划方法及系统。它主要是利用无人机视觉与激光雷达扫描河道水面的全局水面漂浮物分布状态信息；然后在基于全局状态信息的基础上，通过估计漂浮物的面积，智能派出多个清理机器人协同清理作业；最后在分割区域内自动根据水面状态信息规划最优作业路径，使同等续航能力的条件下垃圾清理量最大，提高清理效率。

一种基于河道水面全局状态信息的最优清理路径规划系统，所述系统包括自动获取图像及预处理层、操作系统层以及通信接口层；

所述自动获取图像及预处理层包括两个摄像头、三维激光雷达、云台、视觉处理dsp；两个摄像头拍摄到图像，它相比于单目摄像头，可以达到单目视觉的目标识别效果，两个摄像头用于拍摄图像以及根据两台摄像机成像目标画面上同一个特征点的像素差来计算出摄像机到目标的直线距离信息，从而实现对垃圾的距离感知；所述三维激光雷达用于辅助摄像头扫描整个河道，共同构建简单清晰的全局模型；所述云台是安装、固定摄像机的支撑设备；所述视觉处理dsp通过加中值滤波对两个摄像头拍摄的图像进行去噪、增强；

所述操作系统层包括：mcu、区域生长、人工神经网络模块、pnp算法模块、导航基站、dijkstra算法模块；mcu与导航基站通过spi通信总线通信，导航基站与pnp算法模块通过dma在mcu内存中进行数据交换；所述区域生长、人工神经网络模块、dijkstra算法模块直接通过dma在mcu内存进行数据交换；

所述区域生长，是根据事先定义的准则将像素或者区域聚合的更大，从一组生长点出发，将性质相近的像素合并，直到达到生长停止条件为止；

所述人工神经网络模块，通过全卷积神经网络来学习和识别水上垃圾，这是一种现有的算法，此算法以自动获取图像及预处理层的图像信息为输入发给ann模块，识别出的垃圾为输出，进行进化训练后，识别出需要收集的垃圾以及垃圾的面积，然后把相关信息发给导航基站；

所述pnp算法模块，就是通过已知n个空间的3d点与图像2d点对应的点对，来计算物体位姿，完成世界坐标系与相机坐标系的转换，此算法是一种现有的成熟算法。

所述导航基站提供定位、导航服务；通过对已经获取的每块区域垃圾的相关信息处理；

所述dijkstra算法模块用于进行动态路径规划，计算出最优垃圾清理路线，在每个阶段选择一个顶点v，它在所有未知顶点中具有最小的dv，同时算法声明从s到v的最短路径是已知的，阶段的其余部分由dw值的更新工作完成，此算法可以找到从定点到其余个点的最短路径，是一种现有的成熟算法。

所述通信接口层用于系统提供数据传输的通信接口；包括tcp/ip模块、can模块。

一种基于河道水面全局状态信息的最优清理路径规划，利用上述的系统，包括如下步骤：

（1）将两个摄像头进行编号；

（2）将两个摄像头放在云台上；

（3）安装三维激光雷达，辅助摄像头扫描整个河道，共同构建简单清晰的全局模型；

（4）两个摄像头和激光雷达收集到水面全局状态信息后，经过视觉处理dsp加中值滤波对摄像头拍摄的图像预处理后，传给操作系统层；

（5）人工神经网络模块，区分出河面垃圾的种类及垃圾的面积，然后传给导航基站；

（6）利用pnp算法模块把双摄像头拍摄的物体的相对坐标与世界坐标进行转换，通过导航基站，标记出垃圾或漂浮物的当前位置；构建出河道水面垃圾物分布情况；

（7）利用区域生长模块的区域生长算法；一般经历：选择合适的生长点，确定生长准则，确定生长停止条件；把河道全局分成若干个小的区域；

（8）根据划分的区域，导航系统派出多个无人船驶向垃圾聚集地，进行清理；

（9）在无人船驶向垃圾过程中，通过dijkstra算法，进行动态路径规划，计算出最优垃圾清理路线。

本发明所达到的有益效果：

本发明提供的基于河道水面全局状态信息的最优清理路径规划方法及系统，经济成本低，与以往的河道清理系统相比，本发明的系统首次提出了智能化，无人化，高效化；与人工清理河道相比，因为机器的不知疲倦，可大大延长作业时间，同时也能有效解决人工作业效率的缺点。

附图说明

图1是本发明装置的硬件架构图；

图2是本发明装置的安装位置简图；

图3是本发明装置的检测原理图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，一种基于河道水面全局状态信息的最优清理路径规划系统，系统包括自动获取图像及预处理层、操作系统层以及通信接口层；

自动获取图像及预处理层包括两个摄像头、三维激光雷达、云台、视觉处理dsp；

两个摄像头拍摄到图像，它相比于单目摄像头，可以达到单目视觉的目标识别效果，两个摄像头用于拍摄图像以及根据两台摄像机成像目标画面上同一个特征点的像素差来计算出摄像机到目标的直线距离信息，从而实现对垃圾的距离感知。

因为河水环境非常复杂，水流的波动、光的折射、反射都会影响图像成形效果，而激光照在河面上反射回来的能量基本为零，所以在图像上水流为黑色，物体则会高亮，三维激光雷达用于辅助摄像头扫描整个河道，共同构建简单清晰的全局模型；

云台是安装、固定摄像机的支撑设备；视觉处理dsp通过加中值滤波对两个摄像头拍摄的图像进行去噪、增强。

操作系统层包括：mcu、区域生长、人工神经网络模块、pnp算法模块、导航基站、dijkstra算法模块；mcu与导航基站通过spi通信总线通信，导航基站与pnp算法模块通过dma在mcu内存中进行数据交换；所述区域生长、人工神经网络模块、dijkstra算法模块直接通过dma在mcu内存进行数据交换；

区域生长，是根据事先定义的准则将像素或者区域聚合的更大，从一组生长点出发，将性质相近的像素合并，直到达到生长停止条件为止；

人工神经网络模块，通过全卷积神经网络来学习和识别水上垃圾，这是一种现有的算法，此算法以自动获取图像及预处理层的图像信息为输入发给ann模块，识别出的垃圾为输出，进行进化训练后，识别出需要收集的垃圾以及垃圾的面积，然后把相关信息发给导航基站；

pnp算法模块，就是通过已知n个空间的3d点与图像2d点对应的点对，来计算物体位姿，完成世界坐标系与相机坐标系的转换，此算法是一种现有的成熟算法。

导航基站提供定位、导航服务；通过对已经获取的每块区域垃圾的相关信息处理；

通信接口层用于系统提供数据传输的通信接口；包括tcp/ip模块、can模块。

如图2所示为本发明装置的安装位置简图，本发明装置整体安装在无人船的顶部中间位置，但安装位置应该考虑到外壳承载能力，避免发生外壳的变形而导致云台摆放不稳定。同时，由a-a视图中可以看出，两个摄像头分别固定于云台的两个孔洞之中，以便于更好的夹持摄像头，保证拍摄图像的质量。

如图3所示为本发明装置的检测原理图，p是河面的垃圾，pl和p2分别为两个成像系统中的像关于各自光心的中心对称结果。o1和o2是两个摄像头的光心在两个平行四边形面的投影。通过摄像头1与摄像头2经过移动或者旋转拍摄同一个图案，来获得立体图像，然后通过直接线性变换，进行标定，通过视觉dsp加中值滤波处理，可对图像进行去噪、增强，然后提取特征点，再进行区域匹配，最后进行三维建模。