障碍物探测定位装置及避障系统的制作方法

本发明涉及机器视觉应用技术领域，特别涉及一种障碍物探测定位装置及采用了该障碍物探测定位装置的避障系统。

背景技术：

光流指时变图像中亮度或者灰度在成像平面上的运动。动物(尤其是昆虫)在移动时，周围环境会在视网膜上形成图像序列，图像序列的连续变化造成视网膜上亮度的“流动”，因此形象地称这种图像亮度在二维成像平面上的运动为光流。相对运动是光流产生的必要条件，生物研究结果表明昆虫就是利用光流进行导航、飞行和着陆的，这表明光流中包含有丰富的三维运动和场景信息。在光流应用技术领域国内外相继开展了大量研究，主要集中在移动目标检测与跟踪、机器人视觉导航与避障、飞行器低空地形跟随飞行控制等方向，初步具备了向工程应用转化的基础。

在光流应用算法研究和开发中，由于光流提取算法计算量较大，因此通常是将智能体携带的摄像机采集的序列图像通过无线链路回传到地面计算机进行光流解算，这在一定程度上限制了光流应用的工程化转化。并且，PX4光流传感器作为当下新兴的一种基于图像光流应用的硬件系统，其可以与超声测距器件一同使用，测量微小型飞行器的下视光流，辅助实现无GPS条件下的定点飞行，该技术已应用于Ar.drone四旋翼飞行器，并且PX4光流传感器还可以与开源飞控Pixhawk兼容使用，但由于成像单元少、测量覆盖范围及距离也很小，无法适应前视远距离大范围探测的应用。

技术实现要素：

本发明的目的在于提供一种能够在图像采集现场提取光流并据此实现基于图像的障碍物探测定位的障碍物探测定位装置及采用了该障碍物探测定位装置的避障系统。

为解决上述问题，本发明提出一种障碍物探测定位装置，该装置包括：

图像获取单元，用以获取障碍物行进前方的场景图像；

图像处理单元，用以由所述图像获取单元获取得到的场景图像中采集 序列图像，并从所述序列图像中提取出光流，最终根据所述光流得出障碍物与所述图像获取单元的相对距离；

所述图像获取单元与所述图像处理单元连接用以将包含有障碍物的场景的图像信息传输至所述图像处理单元；

所述图像获取单元与所述图像处理单元均设置于获取场景图像的位置处。

优选的，所述障碍物探测定位装置与地面监测控制工作站连接用以将障碍物与所述图像获取单元的相对距离传递至所述地面监测控制工作站。

优选的，所述障碍物探测定位装置中设置有无线网卡，所述障碍物探测定位装置与所述地面监测控制工作站无线连接。

优选的，所述地面监测控制工作站通过无线网卡无线远程登陆控制所述图像处理单元。

优选的，本发明的障碍物探测定位装置还包括移动电源，所述移动电源分别与所述图像获取单元以及图像处理单元连接以提供电源，具体的，所述移动电源与所述图像获取单元以及图像处理单元之间均可以采用MicroUSB供电。

优选的，所述图像获取单元包括摄像机；

所述图像处理单元包括Pcduino微型计算机、搭载的Linux操作系统以及Opencv应用层软件Opencv应用层软件。

优选的，所述图像处理单元中应用层软件包括：

序列图像采集模块，用以采集所述图像获取单元获取得到的场景图像中的序列图像；

校正模块，用以校正所述序列图像采集模块采集到的序列图像并滤除噪声；

光流估计模块，用以获取并提取出经所述校正模块校正后的序列图像中的光流；

深度估计模块，用以获取障碍物与图像获取单元之间的相对距离。

优选的，所述模块序列图像采集模块读取的各所述序列图像之间为固定的时间间隔，且该时间间隔可以由工作人员结合实际进行设定，并预设于Opencv应用层软件中。

优选的，所述校正模块的滤除噪声采用高斯滤波方法；

所述光流估计模块提取光流采用二项式拟合方法；

所述深度估计模块根据膨胀中心(FOE)及剩余碰撞时间(TTC)进行。

本发明还提供了一种避障系统，包括：

上述的障碍物探测定位装置，用以获取障碍物与所述图像获取单元的相对距离；

智能体控制模块，用以获取障碍物与所述图像获取单元的相对距离，并据此规划出躲避障碍物的行进路线以实现避障功能；

所述障碍物探测定位装置与所述智能体控制模块连接用以将获取障碍物与所述图像获取单元的相对距离传输至所述智能体控制模块。

采用本发明的障碍物探测定位装置及采用了该障碍物探测定位装置的避障系统能够在图像采集的位置处进行图像信息的采集、光流的提取，并最终根据该光流得出障碍物与所述图像获取单元的相对距离，实现基于图像的障碍物探测定位。由于Pcduino微型计算机的采用，使得本发明的障碍物探测定位装置质量轻、体积小、适应性强，可直接安装到机器人、无人车、无人飞行器上进行前期的数据采集及积累并以此作为基础实现导航、避障、目标跟踪功能，提高智能体基于视觉的自主和智能化水平；并且可以在Pcduino微型计算机上运行Opencv应用层软件，不但成本低、易获取而且易操作。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为实施例1中本发明障碍物探测定位装置的原理框图。

图2为实施例1中本发明避障系统的原理框图。

图3为实施例1中图像获取单元获取的场景图像。

图4为实施例1中图像处理单元提取出的光流示意图。

图5为图4中障碍物与所述图像获取单元的相对距离说明图。

具体实施方式

下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或者更多个其他附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

本发明提供了一种障碍物探测定位装置，该障碍物探测定位装置包括：

图像获取单元，用以获取障碍物行进前方的场景图像；

图像处理单元，用以由图像获取单元获取得到的场景图像中采集序列图像，并从序列图像中提取出光流，最终根据光流得出障碍物与图像获取单元的相对距离；

上述的图像获取单元与图像处理单元连接用以将包含有障碍物的场景的图像信息传输至图像处理单元；

图像获取单元与图像处理单元均设置于获取场景图像的位置处。

作为一种优选的实施方式，可以将障碍物探测定位装置与地面监测控制工作站连接用以将障碍物与图像获取单元的相对距离传递至地面监测控制工作站。在障碍物探测定位装置中设置无线网卡，将障碍物探测定位装置与地面监测控制工作站无线连接，同时，地面监测控制工作站通过无线网卡无线远程登陆控制图像处理单元。还可以在本发明的障碍物探测定位装置中设置移动电源，并将移动电源分别与图像获取单元以及图像处理单元连接以提供电源，具体的，移动电源与图像获取单元以及图像处理单元之间均可以采用MicroUSB供电。图像获取单元包括摄像机；图像处理单元包括Pcduino微型计算机、搭载的Linux操作系统以及Opencv应用层软件Opencv应用层软件。摄像机可以通过USB接口与Pcduino微型计算机连接。为了实现图像信息的采集、光流的提取以及障碍物与图像获取单元的相对距离的获取，可图像处理单元的Opencv应用层软件中分别设置用以采集图像获取单元获取得到的场景图像中的序列图像的序列图像采集模块；用以校正序列图像采集模块采集到的序列图像并滤除噪声的校正模块；用以获取并提取出经校正模块校正后的序列图像中的光流的光流估计模块；用以获取障碍物与图像获取单元之间的相对距离的深度估计模块。具体的，作为一种优选的实施方式，其中，校正模块的滤除噪声采用高斯滤波方法；光流估计模块提取光流采用二项式拟合方法；深度估计模块根据 膨胀中心及剩余碰撞时间进行。并且上述模块序列图像采集模块读取的各序列图像之间可以选取为固定的时间间隔，该时间间隔可以由工作人员结合实际进行设定，并预设于Opencv应用层软件中。

本发明还提供了一种避障系统，该系统包括：

上述的障碍物探测定位装置，用以获取障碍物与图像获取单元的相对距离；

智能体控制模块，用以获取障碍物与图像获取单元的相对距离，并据此规划出躲避障碍物的行进路线以实现避障功能；

障碍物探测定位装置与智能体控制模块连接用以将获取障碍物与图像获取单元的相对距离传输至智能体控制模块。

实施例1：

如图1所示，作为一种优选的实施方式，本实施例中，图像获取单元采用摄像机；图像处理单元采用Pcduino微型计算机以及运行于该Pcduino微型计算机上的Opencv应用层软件。图像处理单元的Pcduino微型计算机与地面监测控制工作站通过WIFI无线连接，并将障碍物与图像获取单元的相对距离传递至地面监测控制工作站。在本实施例中，在障碍物探测定位装置中设置的移动电源选取为5V移动电源并将其与图像处理单元的Pcduino微型计算机采用MicroUSB供电，此处，该5V移动电源也可以与摄像机采用MicroUSB供电。同时，摄像机与图像处理单元的Pcduino微型计算机间可以采用USB接口连接，用以将采集到的图像信息传递至Pcduino微型计算机，同时，接收来自Pcduino微型计算机的包含有读取各序列图像之间的时间间隔信息等的图像采集信号。

如图2所示，为了实现在获取了障碍物与图像获取单元的相对距离后对其的应用如深度估计、避障指令解算、导航算法、跟踪算法等，可以将以上各算法以及相应的控制指令以光流应用程序的形式存储并运行于Pcduino微型计算机上。由于各应用均可由存储并运行在Pcduino微型计算机上的程序实现，加之Pcduino微型计算机体积较小，可以装载在机器人、无人车、无人飞行器等自主智能体上，用于实现基于序列图像光流的智能体自主导航、自主避障、动目标检测跟踪等技术应用。Pcduino作为一种高性能的迷你PC平台，其具有TTL串口，因而执行该深度估计、避障指令解算、导航算法等的结果数据以及相应产生的控制指令可以通过该TTL串口向外发送至智能体控制单元。

此外，可以在该Pcduino微型计算机上存储并运行Linux操作系统， 为算法开发、调试、运行提供环境，并支持各开源软件。作为一种优选的实施方式，在本实施例中，该避障系统的障碍物探测定位装置采用的即为图1中的相同部件、结构及连接方式，在此不再赘述。

若障碍物为过往车辆，可以选择性地将摄像机和Pcduino微型计算机固定安装在天桥上，采集斜下方场景图像，如图3所示，为此时图像获取单元也即摄像机获取的场景图像，继而可以由Opencv应用层软件中的FarneBack光流提取模块估计相邻两幅图像中的光流，如图4所示，即为由此提取出的光流示意图，其中，图5为障碍物与图像获取单元的相对距离说明图。基于该光流信息，可以检测出移动的车辆，并进一步估计车辆距离摄像机的相对距离，距离越近黑色越深。

虽然已经详细说明了本发明及其优点，但是应当理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本申请的范围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员从本发明的公开内容将容易理解，根据本发明可以使用执行与在此所述的相应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、手段、方法或者步骤。因此，所附的权利要求旨在它们的范围内包括这样的过程、设备、手段、方法或者步骤。