基于视觉恐惧反应脑机制的应急避障方法与流程

本发明涉及计算机视觉和脑神经科学等多学科的交叉技术领域，具体涉及一种基于视觉恐惧反应脑机制的应急避障方法。

背景技术：

随着无人机等智能系统的广泛研究和应用，障碍物的检测和躲避逐渐成为研究的热点。其中，障碍物检测也是计算机视觉领域的研究热点之一。计算机视觉领域的研究者们已经提出了许多障碍物检测的方法。根据基本思想和原理，这些障碍物检测算法主要分为以下两类：

(1)提取前景：双目视觉技术通过校准和立体匹配计算得到视差图，视差图反映了图像中的对象相对于摄像头的远近关系。该方法设定适当的阈值提取前景区域是使用双目视觉解决障碍物检测的核心思想。但是，该方法计算复杂度较高，适用于深度信息丰富而且障碍物较大情况下的检测。

(2)提取运动物体：诸如帧间差分法、光流法背景建模法等计算机视觉领域中运动检测的算法均要求背景简单且不能出现剧烈变化。其中，帧间差分法通过对相邻两张图像做差分运算，再通过灰度值的变化发现运动的目标。该方法实现简单，要求背景相对简单，不能出现剧烈的变化。光流法利用图像序列中像素灰度值的时序变化和相关性来确定空间各像素点所发生的运动。该方法适用于背景复杂且不断变化的场景，结果易受光照影响。背景建模法假定背景符合某一规律的模型，通过多帧背景图像估计出模型的参数，完成背景建模；再针对每一帧对背景差分，从而得到前景并进一步判断前景的运动。该方法要求背景符合某一分布，在背景复杂或难以用模型描述时就不适用了。

纵观已有的避障方法，虽然在障碍物检测上面已经取得了相当瞩目的成就，但从根本原理而言，这些方法和真正大脑处理视觉应急反应机制相比存在着很大的区别。

首先，在计算复杂度上，大脑中采用的是第二视觉系统的信息处理机制，能够准确快速地定位突然出现的障碍物，并进行防卫。大脑的恐惧应急反应是由皮层下的快速反应通路完成的，而障碍物检测的算法一般是由第一视觉通路来完成的，该通路对信息的处理相对精细，但由此带来的时间消耗较大，例如对背景建模的计算、立体匹配中视差图的计算都需要大量的时间，这是远远达不到动物或者人类的生存要求的。再有，受光照等环境因素的影响，已有的算法的处理结果通常伴随一定的错误发生，而准确率对于动物或者人类的生存来说是至关重要的。大脑进化出的第二视觉通路专门应对突发的危险情况并做出本能地防卫行为，该通路直接从视网膜投射到上丘，上丘中的PV⁺神经元对逼近式运动响应十分敏感，对朝向自身的运动响应非常活跃，并计算得到不同区域的危险性提供给丘脑枕，丘脑枕根据视野中不同区域的危险性调整注意力转向最危险的区域，丘脑枕将危险传递给杏仁核产生恐惧情绪后直接导致了PAG执行躲避的行为。然而，脑处理紧急情况下的应急躲避行为，错误的发生往往会降低很多。

有鉴于此，特提出本发明。

技术实现要素：

为了解决现有技术中的上述问题，即为了解决如何提高应急反应能力的技术问题而提供一种基于视觉恐惧反应脑机制的应急避障方法。

为了实现上述目的，一方面，提供以下技术方案：

一种基于视觉恐惧反应脑机制的应急避障方法，所述方法包括：

获取图像序列；

基于视网膜信息处理机制，检测所述图像序列中障碍物的运动方向和运动速度；

基于所述障碍物的所述运动方向和所述运动速度，根据PV+神经元信息处理机制，进行逼近式运动检测，得到逼近式运动响应；

基于所述逼近式运动响应，根据丘脑枕信息处理机制，确定最危险区域；

对所述最危险的区域做出应急避障行为。

进一步地，所述基于视网膜信息处理机制，检测所述图像序列中障碍物的运动方向和运动速度，具体包括：

获取所述图像序列中显著度高的特征点；

计算所述特征点的运动方向和运动速度，得到所述图像序列中障碍物的运动方向和运动速度。

进一步地，特征为灰度对比度，所述获取所述图像序列中显著度高的特征点具体包括：

根据下式计算所述图像序列中各像素点的灰度差值：

其中，所述E(u,v)表示所述灰度差值；所述(x,y)表示像素点坐标；所述u表示沿x轴水平移动的距离；所述v表示沿y轴竖直移动的距离；所述w(x,y)表示窗口函数；所述I(x,y)表示所述像素点(x,y)对应的灰度值；所述I(x+u,y+v)表示像素点(x+u,y+v)对应的灰度值；

根据下式计算所述各像素点的自相关矩阵：

其中，所述M表示所述自相关矩阵；所述I_x表示x方向的差分；所述I_y表示y方向的差分；

计算所述各像素点的所述自相关矩阵的特征值，并将所述自相关矩阵的特征值中的最小值确定为所述各像素点的特征值；

重复选择所述图像序列中任一邻域，确定所述邻域内像素点特征值最大的像素点；

过滤像素点特征值小于阈值的像素点，得到特征点；

对所有所述特征点进行排序，针对每一特征点，任选一邻域，比较所述邻域内是否存在比该特征点的特征值大的特征点，若存在，则忽略该特征点，从而得到显著度高的特征点。

进一步地，所述计算所述特征点的运动方向和运动速度具体包括：

针对所述图像序列，在第一时刻的帧中，利用最小二乘法，查找与第二时刻帧中特征点同一位置邻近区域内灰度值相近的像素点，从而得到所述特征点的所述运动速度，其中，所述第一时刻与所述第二时刻为相邻时刻；

通过计算相邻二帧所述特征点运动的斜率，得到所述特征点的所述运动方向。

进一步地，所述斜率通过下式计算得到：

其中，以所述帧的左下角为原点，以水平向右方向为X轴正方向，以竖直向上方向为Y轴正方向；t表示时刻；所述k_i表示所述相邻二帧特征点运动的所述斜率；(x_i1,y_i1)表示所述t时刻第i个特征点的位置坐标，所述(x_i2,y_i2)表示t+1时刻所述第i个特征点的位置坐标，所述i取正整数。

进一步地，所述基于所述障碍物的所述运动方向和所述运动速度，根据PV⁺神经元信息处理机制，进行逼近式运动检测，得到逼近式运动响应，具体包括：

计算所述图像序列中所有特征点运动方向的平均值；

根据所述平均值计算所述特征点运动方向的方差；

基于方差，根据下式计算逼近式运动响应函数：

其中，所述G(d₀)表示所述逼近式运动响应函数；所述d₀表示所述特征点运动方向的所述方差。

进一步地，所述基于逼近式响应，根据丘脑枕信息处理机制，确定最危险区域，具体包括：

针对具有逼近式运动的特征点进行聚类，得到潜在危险障碍物；

确定所述潜在危险障碍物的危险性；

将所述危险性的最大值确定为所述最危险区域。

进一步地，所述针对具有逼近式运动的特征点进行聚类，得到潜在危险障碍物，具体包括：

针对所述具有逼近式运动的特征点，计算其邻域内特征点的数量，如果该数量大于数量阈值，则将所述具有逼近式运动的特征点确定为潜在危险区域核心点；

以所述潜在危险区域核心点为中心进行聚类，计算潜在危险区域；

当所有的所述特征点都被聚类或剩余的所述特征点的数量小于聚类阈值，则将聚类的类别数确定为所述潜在危险障碍物。

进一步地，所述以所述潜在危险区域核心点为中心进行聚类，计算潜在危险区域，具体包括：

步骤1：以所述潜在危险区域核心点为种子点，将与所述种子点欧氏距离小于距离阈值的特征点确定为所述种子点的临近可达点，并将所述种子点和所述临近可达点构成核心点群；

步骤2：将与所述核心点群欧氏距离小于距离阈值的特征点确定为新的临近可达点，并将所述新的临近可达点加入到所述核心点群中；

步骤3：重复步骤1和步骤2，直至无新的临近可达点加入到所述核心点群中；

步骤4：将步骤3得到的核心点群确定为所述潜在危险区域。

进一步地，所述确定所述潜在危险障碍物的危险性具体包括：

将图像中组成物体的特征点的运动距离的平均值确定为所述物体的运动速度；

基于所述物体的运动速度，并根据下式计算所述潜在危险障碍物的危险性：

其中，所述s(x,y,v)表示所述潜在危险障碍物的危险性；所述o(x,y)表示全部特征点；所述α表示加权系数；所述β表示加权系数；所述x表示组成所述物体的全部特征点横坐标的集合；所述y表示组成所述物体的全部特征点纵坐标的集合；所述v表示物体的运动速度。

为了实现上述目的，另一方面，还提供一种基于视觉恐惧反应脑机制的应急避障方法，用于无人机，所述方法包括：

获取场景图像；

提取所述场景图像中显著度高的特征点；

计算所述特征点的运动方向和运动速度；

将所述特征点的所述运动方向和所述运动速度传递至上丘脑；

上丘浅层区域的PV+神经元检测逼近式运动，并将逼近式运动区域的信号经由PBG投射到丘脑枕；

所述丘脑枕根据障碍物的危险程度调整注意力的转移；

所述丘脑枕控制眼睛转向最危险的区域，杏仁核同时接受所述丘脑枕的输入产生恐惧反应信号，并将所述恐惧反应信号传向PAG区，从而进行应急避障。

本发明实施例提供一种基于视觉恐惧反应脑机制的应急避障方法。该方法包括获取图像序列；基于视网膜信息处理机制，检测图像序列中障碍物的运动方向和运动速度；基于障碍物的运动方向和运动速度，根据PV⁺神经元信息处理机制，进行逼近式运动检测，得到逼近式运动响应；基于逼近式运动响应，根据丘脑枕信息处理机制，确定最危险区域；对最危险的区域做出应急避障行为。本发明实施例借鉴动物或者人类能够对危险对象产生快速防卫行为的能力，结合恐惧反应的脑机制，解决了如何提高应急反应能力的技术问题。

附图说明

图1是根据本发明实施例的基于视觉恐惧反应脑机制的应急避障方法的流程示意图；

图2是根据本发明实施例的使用特征点描述图像的示意图；

图3是根据本发明实施例的特征点运动方向的检测示意图；

图4是根据本发明实施例的PV+神经元感知到逼近式运动的特征点示意图；

图5是根据本发明实施例的计算特征点运动方向的说明示意图；

图6a是根据本发明实施例的特征点向右运动的方差示意图；

图6b是根据本发明实施例的特征点向左运动的方差示意图；

图6c是根据本发明实施例的特征点逼近式运动的方差示意图；

图6d是根据本发明实施例的特征点后退运动的方差示意图；

图7是根据本发明实施例的丘脑枕注意到的最危险区域示意图；

图8是根据本发明另一实施例的基于视觉恐惧反应脑机制的应急避障方法的流程示意图；

图9是根据本发明实施例的使用小拳头朝向无人机投射后检测到的障碍物区域示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

本发明实施例的基本构思是受大脑产生视觉恐惧反应脑机制的启发，采用大脑中的第二视觉系统的信息处理机制，能够准确快速地定位突然出现的障碍物，根据大脑会对危险的物体产生恐惧反应并产生本能的防卫行为。

大脑的恐惧应急反应是由皮层下的快速反应通路完成的，具体为：视网膜将光信号转化成电信号，直接将该电信号投射到上丘，由浅层区域的PV⁺神经元检测出障碍物的逼近式运动，该信号再经由二叠体旁核(PBG)投射到丘脑枕，丘脑枕调整动物或者人的注意力到有逼近式运动的区域，即有危险的区域，丘脑枕的信号还会投射到杏仁核使人类产生恐惧反应，该恐惧反应直接连接到中脑导水管周围灰质(PAG)引发本能的防卫行为。

图1示出了基于视觉恐惧反应脑机制的应急避障方法的流程示意图。该方法可以通过S100至S140来实现。其中：

S100：获取图像序列。

S110：基于视网膜信息处理机制，检测图像序列中障碍物的运动方向和运动速度。

图2示例性地示出了使用特征点描述图像的示意图。从中可以看出，使用显著的特征点能够均匀的表征图像的特点，这样既可以减少计算复杂度，又不会失去图像中的重要信息。

具体地，本步骤可以包括：

S111：获取图像序列中显著度高的特征点。

其中，特征包括但不限于图像序列中每个像素点的灰度对比度。

进一步地，以灰度对比度为例，本步骤还可以包括：

S111a：根据下式计算图像序列中各像素点的灰度差值：

其中，E(u,v)表示灰度差值，也即将滑动窗口平移(u,v)所产生的灰度变化；(x,y)表示像素点坐标；u表示沿x轴水平移动的距离；v表示沿y轴竖直移动的距离；w(x,y)表示高斯函数；I(x,y)表示像素点(x,y)对应的灰度值；I(x+u,y+v)表示像素点(x+u,y+v)对应的灰度值；σ表示高斯函数参数，其可以根据经验取值。

上述公式可以用来近似。

S111b：根据下式计算图像序列中每个像素点的自相关矩阵：

其中，M表示自相关矩阵；w(x,y)表示高斯函数；I_x表示x方向的差分；I_y表示y方向的差分。

S111c：计算各像素点的自相关矩阵的特征值，并将自相关矩阵的特征值中的最小值确定为各像素点的特征值。

本步骤中用自相关矩阵的特征值中的最小值来表示该像素点相对于邻域内其它像素点的灰度变化情况。

S111d：重复选择图像序列中任一邻域，确定该邻域内像素点特征值最大的像素点。

举例来说，选择图像上任意一个3×3邻域，仅仅保留该邻域内特征值最大的像素点即可。

S111e：过滤像素点特征值小于阈值的像素点，得到特征点。

在实际实施过程中，针对通过3×3邻域保留的像素点，过滤掉特征值小于的像素点。其中，λ_i表示针对任一邻域保留的像素点特征值最大的第i个像素点的特征值。

本步骤通过过滤，保留下来一些像素点，称为特征点。

S111f：对所有特征点进行排序，针对每一个特征点，任选一邻域，比较该邻域内是否存在比该特征点的特征值大的特征点，若存在，则忽略该特征点，从而得到显著度高的特征点。

举例来说，对所有特征点进行排序，针对第一特征点，任选一个5×5的邻域，在该5×5的邻域内判断是否存在比第一特征点的特征值大的特征点，如果存在，则忽略该第一特征点，以此类推，可以针对第二特征点等进行同理的检测，最终得到显著度高的特征点。

S112：计算特征点的运动方向和运动速度。

在获得显著度高的特征点后，视网膜计算这些特征点的运动方向和速度，并上传给上丘进行进一步的处理。图3示例性地示出了特征点运动方向的检测示意图。图3示出了图像中特征点的运动路径，路径的起点是t时刻该特征点的位置坐标，圆点是路径的终点，表示t+1时刻该特征点的位置坐标。其中，路径长度表示运动速度。

具体地，本步骤可以包括：

S112a：针对图像序列，在第一时刻的帧中，利用最小二乘法，查找与第二时刻帧中特征点同一位置邻近区域内灰度值相近的像素点，从而得到特征点的运动速度，其中，第一时刻与第二时刻为相邻时刻。

本步骤通过查找与第二时刻帧中特征点同一位置邻近区域内灰度值相近的像素点，得到一系列匹配点，形成运动路径，该运动路径的长度即为特征点的运动速度。

举例来说，对于特征点的任一邻域内建立如下模型：I(x,y,t)＝I(x+dx,y+dy,t+dt)，其中，I(x,y,t)表示t时刻像素点(x,y)对应的灰度值；I(x+dx,y+dy,t+dt)表示t+dt时刻像素点(x+dx,y+dy)对应的灰度值；用一阶泰勒级数展开，得到：

对上式进行优化，得到：

I_xdx+I_ydy+I_tdt＝0

其中，I_x表示x方向的差分；I_y表示y方向的差分；I_t表示t方向的差分；t表示时刻。

令那么：I_xu+I_yv＝-I_t，即：

令：A＝[I_xI_y]，b＝-I_t，则得到：

对上式运用最小二乘法，得到匹配点。

S112b：通过计算相邻两帧特征点运动的斜率，得到特征点的运动方向。

其中，相邻两帧特征点运动的斜率可以通过以下方式得到：

其中，以帧的左下角为原点，以水平向右方向为X轴正方向，以竖直向上方向为Y轴正方向；k_i表示相邻两帧特征点运动的斜率；(x_i1,y_i1)表示t时刻第i个特征点的位置坐标，(x_i2,y_i2)表示t+1时刻该特征点的位置坐标。

S120：基于障碍物的运动方向和运动速度，根据PV⁺神经元信息处理机制，进行逼近式运动检测，得到逼近式运动响应。

视网膜处理得到的特征点的运动方向和速度的信息会传递至上丘脑进行进一步的处理。上丘浅层区域的PV⁺神经元对逼近式运动响应十分敏感，对朝向自身的运动响应非常活跃。PV⁺神经元感知到逼近式运动的特征点如图4所示。

具体地，本步骤可以包括：

S121：计算图像序列中所有特征点运动方向的平均值。

例如，本步骤可以通过下式计算得到所有特征点运动方向的平均值：

其中，表示所有特征点运动方向的平均值；k_i表示第i个特征点的运动方向；i取正整数。

S122：根据平均值计算特征点运动方向的方差。

作为示例，可以根据下式计算特征点运动方向的方差：

其中，d₀表示特征点运动方向的方差；n表示特征点的总个数。

图5示例性地示出了计算特征点运动方向的说明示意图。

图6a示例性地示出了特征点向右运动的方差示意图。图6b示例性地示出了特征点向左运动的方差示意图。图6c示例性地示出了特征点逼近式运动的方差示意图。图6d示例性地示出了特征点后退运动的方差示意图。其中，线条指向圆点的方向表示运动方向。逼近式运动相比向右、左、后运动具有明显的发散现象，特征点朝同一方向运动时，运动方向基本相同，特征点后退运动时，运动方向是汇聚式的。即特征点朝同一方向运动或后退运动时，运动方向的方差很小；特征点的运动是逼近式运动时，各个特征点的运动方向有明显的不同，方差很大。

S123：基于方差，根据下式计算逼近式运动响应函数：

其中，G(d₀)表示逼近式运动响应函数；d₀表示特征点运动方向的方差。

这里，定义具有逼近式运动方向的区域为危险障碍物。

当G(d₀)＝1时，表示PV⁺神经元活跃。

S130：基于逼近式运动响应，根据丘脑枕信息处理机制，确定最危险区域。

上丘浅层PV⁺神经元检测出危险障碍物后，这些有关危险障碍物的信号会经由二叠体旁核(PBG)投射到丘脑枕，丘脑枕根据障碍物的危险程度调整注意力的转移。

图7示出了丘脑枕注意到的最危险区域示意图。

具体地，本步骤可以包括：

S131：针对具有逼近式运动的特征点进行聚类，得到潜在危险障碍物。

其中，聚类的方法包括但不限于密度聚类的方法。

进一步地，本步骤还可以包括：

S131a：针对具有逼近式运动的特征点，计算其邻域内特征点的数量，如果该数量大于数量阈值，则将该具有逼近式运动的特征点确定为潜在危险区域核心点。

举例来说，对于特征点i，计算其在半径50像素的领域内特征点的个数，如果超过20则认为它是一个核心点。

S131b：以潜在危险区域核心点为中心进行聚类，计算潜在危险区域。

进一步地，本步骤还可以包括：

步骤A：以潜在危险区域核心点为种子点，将与该种子点欧氏距离小于距离阈值的特征点确定为该种子点的临近可达点，并将该种子点和该临近可达点构成核心点群。

步骤B：将与该核心点群欧氏距离小于距离阈值的特征点确定为新的临近可达点，并将该新的临近可达点加入到核心点群中。

步骤C：重复步骤A和步骤B，直至无新的临近可达点加入到核心点群中。

步骤D：将步骤C得到的核心点群确定为潜在危险区域。

S131c：当所有的特征点都被聚类或剩余的特征点的数量小于聚类阈值，则将聚类的类别数确定为潜在危险障碍物。

聚类后形成的类别数就是具有潜在危险性的障碍物，即潜在危险障碍物。

S132：确定潜在危险障碍物的危险性。

当只有一个潜在危险区域的时候，定义危险区域内特征点的多少表征潜在危险障碍物危险性的大小，特征点越多，危险性越大；当存在多个潜在危险区域时，定义危险性还与物体运动的速度成正比，物体运动越快表示它越危险。

具体地，本步骤可以包括：

S132a：将图像中组成物体的特征点的运动距离的平均值确定为物体的运动速度。

例如，根据下式计算物体的运动速度：

其中，(x_i1,y_i1)是t时刻组成该物体的第i个特征点的位置坐标，(x_i2,y_i2)是t+1时刻同一特征点的位置坐标。

S132b：基于物体的运动速度，并根据下式计算潜在危险障碍物的危险性：

其中，s(x,y,v)表示潜在危险障碍物的危险性；o(x,y)表示全部特征点；α表示加权系数；β表示加权系数；x表示组成该物体的全部特征点横坐标的集合；y表示组成该物体的全部特征点纵坐标的集合；v表示物体的运动速度。

S133：将危险性的最大值确定为最危险区域。

例如，可以选择的物体为最危险区域。

S140：对最危险的区域做出应急避障行为。

模拟信号从丘脑枕到达杏仁核再到PAG的过程，丘脑枕控制眼睛转向最危险的区域，杏仁核同时接受丘脑枕的输入产生恐惧反应，并将该信号传向下游的PAG区，引发本能的防卫行为。

受视觉恐惧反应脑机制启发，基于上述对最危险的区域做出应急避障行为，本发明实施例还提供一种基于视觉恐惧反应脑机制的应急避障方法。该方法可以应用于无人机。如图8所示，该方法可以包括：

S200：获取场景图像。

其中，可以由无人机通过摄像头采集真实场景中的图片，作为场景图像。

S210：提取场景图像中显著度高的特征点。

具体地，可以通过视网膜提取图像中显著度高的特征点。

S220：计算特征点的运动方向和运动速度。

S230：将特征点的运动方向和运动速度传递至上丘脑。

S240：上丘浅层区域的PV+神经元检测逼近式运动，并将逼近式运动区域的信号经由PBG投射到丘脑枕。

其中，上丘浅层区域的PV+神经元对逼近式运动响应十分敏感。逼近式运动区域的信号即为危险障碍物。

S250：丘脑枕根据障碍物的危险程度调整注意力的转移。

S260：丘脑枕控制眼睛转向最危险的区域，杏仁核同时接受丘脑枕的输入产生恐惧反应信号，并将该恐惧反应信号传向PAG区，从而进行应急避障。

本步骤中，丘脑枕控制眼睛转向最危险的区域，杏仁核同时接受丘脑枕的输入产生恐惧反应信号，并将该信号传向下游的PAG区，引发本能的防卫行为，从而进行应急避障。

如图9示出了使用小拳头朝向无人机投射后检测到的障碍物区域示意图。其中，无人机在检测到小拳头的逼近式运动后立刻锁定目标并快速地做出后退指令进行躲避。

本发明实施例提供的方法在无人机悬停状态下，对于突然出现的投射物的快速应急躲避任务中取得了很好的效果，提高了在紧急状态下或突发事件时无人机的应急反应能力，对无人机应急避障领域做出了新的探索。

上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。