无人驾驶设备视觉避障系统及方法与流程

文档序号:15345376发布日期:2018-09-04 22:41阅读:515来源:国知局

本公开涉及无人驾驶技术领域,具体地,涉及一种无人驾驶设备视觉避障系统及方法。



背景技术:

目前,无人驾驶设备可以代替人类在复杂、恶劣的工作环境中进行作业,广泛应用于农业、电力、军事、国防、民用等方面。在现有技术中,无人驾驶设备通常利用超声波技术、激光测距技术或者雷达技术对无人驾驶设备运动方向上的目标进行距离的测量,并结合操控人员的视觉预测和手动操作来保障作业安全,而智能视觉辅助系统一直处于空白状态。由于无人驾驶设备的工作环境异常复杂,经常会出现难以预测的突发情况,因此对周围环境的感知不充分,可能会造成无人驾驶设备工作事故的发生。



技术实现要素:

本公开的目的是提供一种无人驾驶设备视觉避障系统及方法,用以解决现有无人驾驶设备对周围环境感知不充分,可能会发生工作事故的技术问题。

为了实现上述目的,本公开实施例的第一方面,提供一种无人驾驶设备视觉避障系统,所述系统包括:

图像采集模块、与所述图像采集模块相连的障碍预测模块,以及与所述障碍预测模块相连的避障处理模块;

所述图像采集模块用于,采集所述无人驾驶设备指定方向上的图像,并从所述图像中提取出环境特征信息;

所述障碍预测模块用于,对所述环境特征信息进行综合分析和处理并输出障碍预测结果;

所述避障处理模块用于,根据所述障碍预测结果指示所述无人驾驶设备执行避障操作。

可选地,所述系统还包括运动估计模块,用于根据运动估计技术估计所述无人驾驶设备的潜在的运动方向;

所述障碍预测模块用于,对所述环境特征信息进行综合分析和处理并输出所述无人驾驶设备在所述潜在的运动方向上的障碍预测结果。

可选地,所述图像采集模块包括摄像头装置,所述摄像头装置设置有单光谱敏感的图像传感器和/或多光谱敏感的图像传感器。

可选地,所述系统还包括模组安装部件,用于可拆卸地组装所述摄像头装置。

可选地,所述图像采集模块包括多个所述摄像头装置,分别固定设置在所述无人驾驶设备各个方位上。

可选地,所述无人驾驶设备为全向运动设备或者定向运动设备。

本公开实施例的第二方面,提供一种无人驾驶设备视觉避障方法,所述方法包括:

采集所述无人驾驶设备指定方向上的图像,并从所述图像中提取出环境特征信息;

对所述环境特征信息进行综合分析和处理并输出障碍预测结果;

根据所述障碍预测结果指示所述无人驾驶设备执行避障操作。

可选地,所述方法还包括:根据运动估计技术估计所述无人驾驶设备的潜在的运动方向;

所述对所述环境特征信息进行综合分析和处理并输出障碍预测结果,包括:对所述环境特征信息进行综合分析和处理并输出所述无人驾驶设备在所述潜在的运动方向上的障碍预测结果。

可选地,在每次估计得到所述无人驾驶设备的潜在的运动方向后,所述方法还包括:

关闭所述无人驾驶设备上与所述潜在运动方向无关的摄像头装置。

可选地,所述障碍预测结果包括障碍物离所述无人驾驶设备的距离以及运动参数估计。

根据上述技术方案,通过图像采集模块采集无人驾驶设备指定方向上的图像,并从图像中提取出环境特征信息,可以获取到更加充分细致的环境特征信息,使无人驾驶设备对周围环境的感知更加全面,避障处理模块则根据障碍预测模块输出的障碍预测结果,采取准确的避障操作。综上可知,利用本公开所提供的无人驾驶设备视觉避障系统可以降低无人驾驶设备因对周围环境感知不充分而引发工作事故的可能性,保障了无人驾驶设备工作的安全。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:

图1是根据一示例性实施例示出的一种实施场景示意图;

图2是根据一示例性实施例示出的一种无人驾驶设备视觉避障系统的结构示意图;

图3是根据一示例性实施例示出的一种无人驾驶设备视觉避障方法的流程图;

图4是根据一示例性实施例示出的一种无人驾驶设备视觉避障方法的流程图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。

本公开实施例可以应用于无人驾驶设备智能避障的场景,例如市政环卫路段的无人清扫车、无人驾驶有轨电车等车辆,航拍无人机、扫地机器人等设备对障碍物的提前预测及避障操作。图1是根据一示例性实施例示出的一种实施场景示意图,如图1所示,无人驾驶设备可以为无人机10。

在现有技术中,无人驾驶设备上可以设置有主动信号发生器,用于发射超声波、雷达波或者激光对运动方向上的目标进行距离的测量,并结合操控人员的视觉预测和手动操作来保障无人驾驶设备的作业安全。然而,现有超声波测距和激光测距等方法反馈的是空间上某点的信息,且检测结果受环境影响较大,无人驾驶设备无法根据检测得到的结果智能地预测障碍物并执行准确的规避操作。例如在无人机10在进行航拍工作时,若使用超声波测距方法实现避障,则可能会受到无人机10飞行所产生的气流的影响造成距离测量结果的不稳定,从而导致错误的避障行为,易引发工作事故;若使用激光测距方法实现避障,则可能会由于激光的单点特性或者受到背景噪声的干扰而产生测量误差,也容易引发工作事故。

为了解决上述无人驾驶设备因对周围环境感知不充分,从而可能会发生工作事故的问题,本公开实施例提供了一种无人驾驶设备视觉避障系统及方法。

下面结合具体实施例对本公开实施例提供的技术方案进行说明。

图2是根据一示例性实施例示出的一种无人驾驶设备视觉避障系统200的结构示意图,如图2所示,该系统200包括图像采集模块210、与图像采集模块210相连的障碍预测模块220,以及与障碍预测模块220相连的避障处理模块230。

具体地,图像采集模块210用于,采集无人驾驶设备指定方向上的图像,并从图像中提取出环境特征信息。示例地,图像采集模块210包括摄像头,摄像头中设置有光谱图像传感器,其中,光谱图像传感器包括单光谱敏感传感器以及多光谱敏感传感器,且图像采集模块210设置有以上两种图像传感器,因而图像采集模块210对敏感光谱的响应更好,对环境的适应性更佳,采集到的图像特征也更加广泛,利用图像传感器作为前端传感器,不具有大功率发声、激光装置,对无人驾驶设备和环境均无影响。

在通过图像采集模块210采集图像信息之后,利用图像特征提取技术从该图像中提取出环境特征信息,此环境特征信息可以是特征描述或者特征向量,障碍预测模块220则对环境特征信息进行综合分析和处理并输出障碍预测结果。具体地,障碍预测模块220可以通过对检测到的图像信息进行实时的图像序列分析,预测周围环境存在的障碍信息,该障碍信息可以是静态物体或者动态物体的位置信息,运动参数信息或者结构参数信息中的至少一种,避障处理模块230则用于根据获取得到的障碍信息指示无人驾驶设备执行避障操作,避免工作事故的发生。

值得说明的是,本公开实施例提供的图像采集模块210、障碍预测模块220具有前端计算能力,降低了无人驾驶设备视觉避障系统的硬件成本和体积重量成本。无人驾驶设备可以为定向运动设备或者全向运动设备,上述指定方向为无人驾驶设备安装的摄像头装置所朝向的方向。示例地,对于定向运动的无人驾驶设备,系统可以配备三向视觉系统,在无人驾驶设备的前方、后方和下方分别安装有摄像头装置,这种情况下,无人驾驶设备的指定方向就是指无人驾驶设备的前方、后方和下方的摄像头装置所朝向的方向,采集以上三个方向的图像信息,可以保障无人驾驶设备在向前方或后方运动时,提前发现运动方向上的障碍,同时使用下方的视觉系统可以预测无人驾驶设备的工作高度,此方案多应用于农业植保无人机;对于全向运动的无人驾驶设备,系统可以配备六向视觉系统,在无人驾驶设备的上方、下方、左方、右方、前方以及后方分别安装有摄像头装置,这种情况下,无人驾驶设备的指定方向就是指无人机的上方、下方、左方、右方、前方以及后方的摄像头装置所朝向的方向,采集以上六个方向的图像信息,可以保障无人驾驶设备在进行全向运动时,提前发现运动方向上的障碍,保障了工作安全,此方案多应用于无人驾驶车辆、航拍无人机、测绘无人机等。

可选地,本公开实施例提供的无人驾驶设备视觉避障系统还包括运动估计模块,该运动估计模块用于根据运动估计技术估计无人驾驶设备的潜在的运动方向,在这种情况下,障碍预测模块220用于对环境特征信息进行综合分析和处理并输出无人驾驶设备在潜在的运动方向上的障碍预测结果。示例地,通过分析无人驾驶设备的运动图像序列并结合运动估计技术得到无人驾驶设备有向左前方运动的趋势,此时障碍预测模块220用于对环境特征信息进行综合分析和处理并输出无人驾驶设备左前方的障碍预测结果。避障处理模块230则用于根据障碍预测结果指示无人驾驶设备在潜在运动方向上及时采取规避措施,保障了工作安全。

在一种可能的实施方式中,本公开实施例提供的无人驾驶设备视觉避障系统还包括模组安装部件,用于可拆卸地组装摄像头装置,其中,摄像头装置为可拆卸的单目摄像头或双目摄像头,利用模组安装部件可以根据实际使用需求级联或者自由拼接组合摄像头的使用方向,以获取分辨率高、场景特征完整的图像信息。由此可知,本公开实施例提供的无人驾驶设备视觉避障系统可以是单目视觉系统、双目视觉系统或者多目视觉系统,结合双目视觉系统深度图像处理技术、单目视觉系统和多目视觉系统的直线检测技术以及自动标定矫正技术等,能够使无人驾驶设备充分感知周围环境的图像信息,保障工作的安全进行。

在另一种可能的实施方式中,图像采集模块210包括多个摄像头装置,分别固定设置在无人驾驶设备各个方位上,因此,无需驱动单个摄像头移动方向以拍摄多个方位的图像,这样,图像采集模块210不含有运动部件,可靠性更高。可选地,上述多个摄像头装置可以根据无人驾驶设备的运动速度矢量开启或关闭:例如无人驾驶设备为无人机时,实时检测无人机飞行的速度矢量,根据该速度矢量即可判断无人机当前运动方向以及潜在运动方向,此时无人机可以开启当前运动方向以及潜在运动方向上的摄像头装置来提前发现障碍,以及时采取规避操作,也就是说,可以关闭无人机上与运动方向无关的摄像头,保障工作安全的同时降低计算成本。

综上可知,利用本公开实施例所提供的无人驾驶设备视觉避障系统可以获取到分辨率高、图像特征信息广泛的图像信息,降低无人驾驶设备因对周围环境感知不充分而引发工作事故的可能性,保障无人驾驶设备工作的安全。

图3是根据一示例性实施例示出的一种无人驾驶设备视觉避障方法的流程图,如图3所示,该方法包括以下步骤:

步骤310,采集无人驾驶设备指定方向上的图像,并从图像中提取出环境特征信息;

步骤320,对环境特征信息进行综合分析和处理并输出障碍预测结果;

步骤330,根据障碍预测结果指示无人驾驶设备执行避障操作。

其中,障碍预测结果包括障碍物离无人驾驶设备的距离以及运动参数估计,该运动参数可以是无人驾驶设备的当前运动方向、潜在运动方向以及运动速度等参数。

上述方法通过采集无人驾驶设备指定方向上的图像,并从图像中提取出环境特征信息,可以获取到更加充分细致的环境特征信息,使无人驾驶设备对周围环境的感知更加全面,然后根据障碍预测模块输出的障碍预测结果,采取准确的避障操作。因而,利用本公开实施例所提供的无人驾驶设备视觉避障方法可以降低无人驾驶设备因对周围环境感知不充分而引发工作事故的可能性,保障了无人驾驶设备工作的安全。

图4是根据一示例性实施例示出的一种无人驾驶设备视觉避障方法的流程图,如图4所示,该方法包括以下步骤:

步骤410,采集无人驾驶设备指定方向上的图像,并从图像中提取出环境特征信息;

步骤420,根据运动估计技术估计无人驾驶设备的潜在的运动方向;

步骤430,关闭无人驾驶设备上与潜在运动方向无关的摄像头装置;

步骤440,对环境特征信息进行综合分析和处理并输出无人驾驶设备在潜在的运动方向上的障碍预测结果;

步骤450,根据障碍预测结果指示无人驾驶设备执行避障操作。

需要说明的是,上述步骤430与步骤440均在步骤420之后执行,但这两个步骤的执行顺序可以根据实际需要进行设定,可以是先执行步骤430之后再执行步骤440,也可以先执行步骤440再执行步骤430。

采用上述方法,获得无人驾驶设备指定方向上的图像序列,可以对无人驾驶设备的实际运动方向进行确认并对潜在运动方向进行估计,实现了当前运动方向和潜在运动方向上的障碍预测,保障了无人驾驶设备的工作安全;同时关闭无人驾驶设备上与潜在运动方向无关的摄像头,可以节省设备耗能,降低计算成本。

关于上述实施例中的方法,其中各个方法步骤的具体执行方式已经在有关该模块的实施例中进行了详细描述,此处将不做详细阐述说明。

以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。

另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。

此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1