应用于高级驾驶辅助系统内的行人碰撞警告系统及方法与流程

本发明涉及高级驾驶辅助系统和计算机视觉领域，特别涉及应用于高级驾驶辅助系统内的行人碰撞警告系统及方法，使用独立相机和级联检测算法对行驶轨迹进行预测。

背景技术：

随着汽车时代的全面来临，机动车数量大量增加，汽车安全驾驶的相关技术受到广泛关注。其中高级驾驶辅助系统(adas)在汽车行驶安全保障方面起着至关重要的作用。在基于计算机视觉技术的高级驾驶辅助系统(adas)中，行人碰撞警告系统是高级驾驶辅助系统的主要功能模块之一，它可以提醒司机注意行人，减少交通事故的发生，因此该系统的准确性是高级驾驶辅助系统能否成功应用的关键。在近些年的研究中，计算机视觉技术在物体检测领域得到了很大的应用，尤其是在高级驾驶辅助系统(adas)中得到广泛应用。yc.lin等使用图像形态学、角点检测以及逆透视映射来进行停车辅助系统的物体检测[y.c.lin,c.t.lin,w.c.liu,andl.t.chen,avision-basedobstacledetectionsystemforparkingassistance,mechanicalandsystemsresearchlaboratoriesindustrialtechnologyresearchinstitutehsinchu,taiwan,r.o.c.]。该预测模型的优势是计算复杂性较低，但仅可以检测在停车辅助应用系统中出现的静止物体。

由于高级驾驶辅助系统(adas)的应用愈发广泛，为了能够准确检测到汽车驾驶途中可能会出现的运动物体，cg.keller等提出了一种用于行人检测的主动安全系统。该系统可以自动控制制动器，以避免在特定驾驶情况下的碰撞。其中，为了检测物体以及预测物体运动矢量，该系统使用顺序立体图像重建了3-d路面场景和3-d运动场，也称为6-d视觉系统。该系统可以获取和跟踪对象的位置，但是所使用的算法计算量巨大，因此在实际应用中难以实时实现。此外，c.t.hong等在车辆周围安装四个摄像机以建立鸟瞰图[c.t.hong,animprovedobstacledetectionusingopticalflowadjustingbasedoninverseperspectivemappingforthevehiclesafety,nationaltaipeiuniversityoftechnology,thesis,2012.]，并且应用具有逆透视映射功能的光流算法来检测车辆周围的物体。该方法旨在改善车辆转弯时车辆内外侧光流的不一致性。然而，该方法仅限应用于基于ackermann转向几何设计的车辆，通用性较低。

综上所述，对于这些情况，在行人检测问题上，目标检测算法的计算复杂度和立体视觉的硬件成本等都会对整个系统产生影响，关系着系统的准确性，从而影响行人检测系统的广泛应用。

技术实现要素：

本发明要解决的技术问题是，提供应用于高级驾驶辅助系统内的行人碰撞警告系统，使用独立相机和级联检测算法，降低了计算复杂度和立体视觉的硬件成本。

解决上述技术问题，本发明提供了应用于高级驾驶辅助系统内的行人碰撞警告系统，包括：行人检测单元、行人运动矢量估计单元以及碰撞预测单元，

所述行人检测单元，用以通过提取harr型特征和协方差矩阵来识别行人区域，

所述行人运动矢量估计单元，用以根据所述行人区域标记得到感兴趣区域roi，并在roi内判断行人的移动行为，

所述碰撞预测单元，用以将车辆未来可能行驶路线所在的区域设为危险区域，然后根据灰色理论预测法预测行人的步行路径，得到行人的运动矢量，

以及根据所述行人的运动矢量和所述车辆未来可能行驶路线来预测可能发生的碰撞，并进行碰撞警告。

具体地，上述行人检测单元：使用两层级联分类器，通过提取harr型特征和协方差矩阵来识别行人区域。在分类器前端，构造harr型特征，在行人可能存在的任何地方快速确定行人位置候选区域；在分类器后端，构造协方差矩阵，进一步准确定位行人位置。

具体地，上述行人运动矢量估计单元：在标记了图片上的行人位置之后，行人的移动行为就是碰撞警告系统的主要判断目标。考虑到计算复杂度，以下过程仅在所标记的行人所在的矩形区域中执行，该区域称为感兴趣区域(roi)。首先使用harris角点检测算法来得到行人的轮廓特征。接下来，通过找到图像上所有的角点，计算出角点的运动矢量，判断行人未来可能的步行路径。然后，使用lucas-kanade(lk)光流法估计行人的运动矢量：将标记矩形内的行人检测结果分为三个区域，包括头部、身体和脚部区域，当行人处于移动状态时，手或脚的变化是相当明显的，因此手或脚不适合用来估计行人的运动矢量。在本专利中，使用头在顺序图像帧中的变化来估计行人的运动矢量，并计算图像上脚的位置以表示行人的位置。因此行人运动矢量估计的详细流程如下：(1)将标记的行人所在的矩形区域分为三部分，包括头、身体和脚。然后，应用光流法计算头部和脚部区域角点的运动矢量；(2)在这些找到的角点中，有些角点是行人的，有些是背景中的，但可以通过角点的光流来区分和去除背景中的角点；(3)在移除背景角点之后，使用头部在顺序图像帧中的变化来估计运动矢量,通过图像上脚的位置表示行人的位置。

具体地，上述碰撞预测单元：首先定义危险区域，即车辆未来行驶路线所在的区域。以下情况将会发生危险：行人即将出现在危险区域中；行人即将在危险区域停留。在本专利中，考虑到一般城市道路宽度和车辆的大小，相机安装在车辆挡风玻璃的中心。其次采用灰色理论预测行人未来的步行路径。灰色理论根据已带优先级的已知信息来探索具有不确定性的未知信息，这个属性将使本申请能够更加灵敏地预测随后的行人路径。灰色理论预测法采用在上文中计算得到的光流，来预测行人未来的步行路径。灰色预测法是用来确定是否将发生车辆碰撞的重要方法。其具体原理是通过微分方程分析过去的数据，再通过解微分方程预测未来的变化，得到行人的步行路径。如果行人将要穿过危险区域范围，则需估计碰撞点。设(pu,pv)是行人当前的位置，在时间f·δt后，通过微分方程计算未来位置(pu+f,pv+f)，利用两个位置的坐标可建立线性方程，最后，利用cramer规则找到行人步行路径和危险区域的交点，即为碰撞点。

更进一步，所述碰撞预测单元还用以，通过cramer规则找到上述行人的步行路径和上述危险区域的交点，即碰撞点。

更进一步，判断行人的移动行为具体包括：

3-1)行人轮廓特征的确定：使用harris角点检测算法来得到行人的轮廓特征，用以评估行人的运动矢量；

3-2)运动矢量的估计：使用改进的lucas-kanade光流法来估计所述行人的运动矢量。

更进一步，上述方法还包括：将标记为矩形的行人检测结果分为三个区域：头部、身体和脚部区域，并使用头部在连续帧图像中的变化来估计运动矢量，并通过计算图像上脚部区域的位置来确定行人的位置。

更进一步，所述行人检测单元使用两层级联分类器，

在分类器前端，通过构造harr型特征计算图像中可能存在的所有角点，以确定行人可能存在的地方并快速划定候选区域；

在分类器后端，通过构造协方差矩阵，确定头部和脚部的移动矢量，确定物体是否位于候选区域中，

若一个区域在上述两层级联分类器测试中均通过，则该区域是行人所在的区域并用矩形标记。

更进一步，所述危险区域至少包括：

行人即将出现在危险区域中，

或者，行人即将在危险区域停留。

更进一步，系统还包括一安装在挡风玻璃的中心的相机，用以作为所述行人检测单元的输入。

更进一步，采用灰色理论根据光流法计算得到的光流来预测行人的步行路径。

更进一步，还用以同时对多个行人进行碰撞预测。

基于上述，本发明还提供了应用于高级驾驶辅助系统内的行人碰撞警告方法，包括如下的步骤：

通过提取harr型特征和协方差矩阵来识别行人区域，

根据所述行人区域标记得到感兴趣区域roi，并在roi内判断行人的移动行为，

将车辆未来可能行驶路线所在的区域设为危险区域，然后根据灰色理论预测法预测行人的步行路径，得到行人的运动矢量，

以及根据所述行人的运动矢量和所述车辆未来可能行驶路线来预测可能发生的碰撞，并进行碰撞警告

本发明的有益效果：

在本发明中提出了一个使用独立相机和级联检测算法来完成行人碰撞警告的系统，由于该系统使用harris角点检测算法获得行人的轮廓特征，利用改进的lucas-kanade光流算法来预估行人的运动矢量方向，并使用灰色理论来预测车辆未来的行驶路线。基于图像处理技术，可以根据行人运动矢量信息和车辆未来可能的行驶路线来预测碰撞。它可以提醒司机注意行人，减少交通事故的发生。由于系统能够有效地实现行人检测、行人运动矢量估计和碰撞预测三个功能，并且能够使该检测系统实现实时处理。实验结果表明，该系统可以同时对多个行人进行碰撞预测，并能够准确计算碰撞的可能性。

此外，本发明不仅降低了计算复杂度，而且还大大降低了立体视觉的硬件成本，在驾驶辅助系统中有着良好的应用前景。

附图说明

图1是本发明一实施例中系统结构示意图；

图2是本发明一实施例中的方法流程示意图；

图3是本发明一优选实施例中的方法流程示意图。

具体实施方式

现在将参考一些示例实施例描述本公开的原理。可以理解，这些实施例仅出于说明并且帮助本领域的技术人员理解和实施例本公开的目的而描述，而非建议对本公开的范围的任何限制。在此描述的本公开的内容可以以下文描述的方式之外的各种方式实施。

如本文中所述，术语“包括”及其各种变体可以被理解为开放式术语，其意味着“包括但不限于”。术语“基于”可以被理解为“至少部分地基于”。术语“一个实施例”可以被理解为“至少一个实施例”。术语“另一实施例”可以被理解为“至少一个其它实施例”。

图1是本发明一实施例中系统结构示意图，本实施例中的应用于高级驾驶辅助系统内的行人碰撞警告系统，包括：行人检测单元1、行人运动矢量估计单元2以及碰撞预测单元3，所述行人检测单元1，用以通过提取harr型特征和协方差矩阵来识别行人区域，所述行人运动矢量估计单元2，用以根据所述行人区域标记得到感兴趣区域roi，并在roi内判断行人的移动行为，所述碰撞预测单元3，用以将车辆未来可能行驶路线所在的区域设为危险区域，然后根据灰色理论预测法预测行人的步行路径，得到行人的运动矢量，以及根据所述行人的运动矢量和所述车辆未来可能行驶路线来预测可能发生的碰撞，并进行碰撞警告。该系统使用harris角点检测算法获得行人的轮廓特征，利用改进的lucas-kanade光流算法来预估行人的运动矢量方向，并使用灰色理论来预测车辆未来的行驶路线，从而可以根据行人运动矢量信息和车辆未来可能的行驶路线来预测碰撞。它可以提醒司机注意行人，减少交通事故的发生。

作为本实施例中的优选，所述碰撞预测单元3还用以，通过cramer规则找到上述行人的步行路径和上述危险区域的交点，即碰撞点。

作为本实施例中的优选，判断行人的移动行为具体包括：1)行人轮廓特征的确定：使用harris角点检测算法来得到行人的轮廓特征，用以评估行人的运动矢量；2)运动矢量的估计：使用改进的lucas-kanade光流法来估计所述行人的运动矢量。此外，还包括：将标记为矩形的行人检测结果分为三个区域：头部、身体和脚部区域，并使用头部在顺序图像的连续帧中的变化来估计运动矢量，并通过计算图像上脚部区域的位置来确定行人的位置。

作为本实施例中的优选，所述行人检测单元1使用两层级联分类器，在分类器前端，通过构造harr型特征计算图像中可能存在的所有角点，以确定行人可能存在的地方并快速划定候选区域；在分类器后端，通过构造协方差矩阵，确定头部和脚部的移动矢量，确定物体是否位于候选区域中，若一个区域在上述两层级联分类器测试中均通过，则该区域是行人所在的区域并用矩形标记。

作为本实施例中的优选，上述碰撞预测单元3中的危险区域至少包括：行人即将出现在危险区域中，或者，行人即将在危险区域停留。

在一些实施例中，本实施例中还包括一安装在挡风玻璃的中心的相机，用以作为所述行人检测单元的输入。参考城市道路和车辆的一般尺寸，安装在挡风玻璃的中心的相机为最优选择。

在一些实施例中，在所述碰撞预测单元3可采用灰色理论根据光流法计算得到的光流来预测行人的步行路径。

在一些实施例中，本实施例中还用以同时对多个行人进行碰撞预测，从而能够实现多个行人的防碰撞警告。

图2是本发明一实施例中的方法流程示意图，本实施例中应用于高级驾驶辅助系统内的行人碰撞警告方法，包括如下的步骤：

步骤s101通过提取harr型特征和协方差矩阵来识别行人区域，在所述步骤s101中使用两层级联分类器，在分类器前端，通过构造harr型特征计算图像中可能存在的所有角点，以确定行人可能存在的地方并快速划定候选区域；在分类器后端，通过构造协方差矩阵，确定头部和脚部的移动矢量，确定物体是否位于候选区域中，若一个区域在上述两层级联分类器测试中均通过，则该区域是行人所在的区域并用矩形标记。

步骤s102根据所述行人区域标记得到感兴趣区域roi，并在roi内判断行人的移动行为，在所述步骤s102中判断行人的移动行为具体包括：行人轮廓特征的确定：使用harris角点检测算法来得到行人的轮廓特征，用以评估行人的运动矢量；运动矢量的估计：使用改进的lucas-kanade光流法来估计所述行人的运动矢量。还包括：将标记为矩形的行人检测结果分为三个区域：头部、身体和脚部区域，并使用头部在连续帧图像中的变化来估计运动矢量，并通过计算图像上脚部区域的位置来确定行人的位置。

步骤s103将车辆未来可能行驶路线所在的区域设为危险区域，然后根据灰色理论预测法预测行人的步行路径，得到行人的运动矢量，进一步所述步骤s103中的危险区域至少包括：行人即将出现在危险区域中或者，行人即将在危险区域停留。

步骤s104以及根据所述行人的运动矢量和所述车辆未来可能行驶路线来预测可能发生的碰撞，并进行碰撞警告。在所述步骤s104中，通过cramer规则找到上述行人的步行路径和上述危险区域的交点，即碰撞点。

作为上述实施例中的优选，方法还包括在挡风玻璃的中心安装一相机，用以作为所述行人检测单元的输入。

图3是本发明一优选实施例中的方法流程示意图，本实施例汇总的行人碰撞预警系统包括行人检测、行人的运动矢量估计、碰撞预测三部分，具体可包括以下步骤：

1)行人检测：使用两层级联分类器，通过提取harr型特征和协方差矩阵来识别行人区域。在分类器前端，构造harr型特征计算图像中可能存在的所有角点，以确定行人可能存在的任何地方并快速划定候选区域；在分类器后端，构造协方差矩阵，来确定头部和脚部的移动矢量，进一步准确地确定物体是否位于候选区域中。如果一个区域在两层级联分类器测试中均通过，则认定为该区域是行人所在的区域，并用矩形标记。

2)行人运动矢量估计：在标记了图片上的行人位置之后，行人是否会移动就是碰撞警告系统的主要判断目标。考虑到计算效率，以下过程仅在标记的行人所在位置的矩形区域中执行，该区域称为感兴趣区域(roi)。具体来讲，该步骤可以分解为以下三个部分。

(1)行人轮廓特征的确定：为了评估行人的运动矢量，首先使用harris角点检测算法来得到行人的轮廓特征，如公式(1)所示。

其中，g(x,y)等于0°、45°、90°、135°、180°、225°、270°和315°全部8个方向的梯度均方差；(u,v)是计算范围，通常为一个3×3的正方形区域；δx和δy分别是计算范围内x和y方向上的位移；w是高斯窗；i表示图像上(x,y)坐标处的灰度值，ix和iy分别是i在x和y方向上的梯度值。矩阵a包括8个方向上的梯度的属性。观察矩阵a的特征值λi，如果矩阵a具有相似的特征值，对应的点(x,y)将被定义为角点。在图像上找到的角点的矢量代表着行人未来可能的步行路径。

(2)运动矢量的估计：行人的运动矢量代表着行人可能的步行路径。本专利中，使用改进的lucas-kanade(lk)光流法来估计运动矢量。如公式(2)所示，基于恒定亮度现象(栾庆磊.一种运动背景下移动目标的检测算法[j].计算机与数学工程2008,36(10),165-169)，时间t和t+1处的两个连续图像具有相似的亮度，即：

i(x,y,t)＝i(x+u,y+v,t+1)(2)

对公式(2)进行泰勒展开之后，就得到了方程(3)，其中it是i的时间导数。

[ixiy]·[uv]^t+it＝0(3)

假设lk光流法具有空间相干性，这意味着(x,y)点的n×n邻域将以相同的方向和相同的速度运动，这就代表了行人的移动。在公式(4)中得到的d＝[uv]^t表示方程(3)的解，它代表n×n邻域的运动矢量。

此外，为了准确估计行人的运动矢量，将标记为矩形的行人检测结果分为三个区域，包括头部、身体和脚部区域。当行人处于移动状态时，手或脚的变化是相当明显的，因此手或脚不适合用来估计行人的运动矢量。在本专利中，使用头在连续帧图像中的变化来估计运动矢量。计算图像上脚的位置以表示行人的位置。流程如下：(1)将标记的矩形区域分为三个部分，包括头、身体和脚。然后，应用光流法计算头部和脚部区域角点的运动矢量；(2)在这些找到的角点中，有些角点是行人的，但有些是背景中的，通过角点的光流来区分和去除背景中的角点；(3)在移除背景之后，使用公式(5)来确定行人m(x,y)的位置。

其中，nh是头部区域中角点的数量；nf是脚部区域中角点的数量；headi(x)是头部区域中的第i个角点的x坐标，footi(y)是脚部区域中的第i个角点的y坐标。

3)碰撞预测：首先，定义危险区域，即车辆未来行驶路线所在的区域。认为以下情况将会发生危险：(1)行人即将出现在危险区域中；(2)行人即将在危险区域停留。在本专利中，参考城市道路和车辆的一般尺寸，相机安装在挡风玻璃的中心。

其次，采用灰色理论预测行人未来的步行路径。灰色理论能够从含优先级的已知信息探索不确定的未知信息，这个属性将能够更加灵敏地预测随后的行人路径。灰色预测法采用在前文中计算得来的光流来预测行人未来的步行路径。灰色预测法是一种确定是否将发生车辆碰撞的重要方法。灰色预测模型通常由gm(h,n)表示，其中h是微分阶数，n是变量数量。通过分析过去的数据，灰色预测模型可以用来预测未来的变化。例如，gm(1,1)模型可以表示为：

其中a代表动态函数；b是控制变量；x表示为变量序列。通过光流估计算法，灰色理论使用行人的运动矢量d＝[uv]^t来预测行人的下一个位置。如果行人的当前位置是(pu,pv)，则在未来时间f·δt中行人的下一个位置可以表示为公式(7)，其中δui和δvi表示在时间i·δt和(i-1)·δt之间运动矢量的差。

(pu+f,pv+f)＝(pu+δu1+…δuf,pv+δv1+…δvf)(7)

接下来，需要进行碰撞点计算：如果行人将要穿过危险区域范围，则需估计碰撞点。(pu,pv)是行人的当前位置，然后在时间f·δt后，计算未来位置(pu+f,pv+f)。利用两个位置的结果来建立线性方程。最后使用cramer规则，进而找到行人路径和危险区域的交点。根据行人的位置和运动矢量，该方案确定了6种行人未来可能移动的方向。根据行人的移动方向，并根据cramer公式来估计交叉点(xb,yb)。将相机安装在汽车前挡风玻璃的中心，白天在城市道路上做测试实验。实验结果表明，本申请中的方案的估计结果与准确的测量结果一致。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

总体而言，本公开的各种实施例可以以硬件或专用电路、软件、逻辑或其任意组合实施。一些方面可以以硬件实施，而其它一些方面可以以固件或软件实施，该固件或软件可以由控制器、微处理器或其它计算设备执行。虽然本公开的各种方面被示出和描述为框图、流程图或使用其它一些绘图表示，但是可以理解本文描述的框、设备、系统、技术或方法可以以非限制性的方式以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其它计算设备或其一些组合实施。

此外，虽然操作以特定顺序描述，但是这不应被理解为要求这类操作以所示的顺序执行或是以顺序序列执行，或是要求所有所示的操作被执行以实现期望结果。在一些情形下，多任务或并行处理可以是有利的。类似地，虽然若干具体实现方式的细节在上面的讨论中被包含，但是这些不应被解释为对本公开的范围的任何限制，而是特征的描述仅是针对具体实施例。在分离的一些实施例中描述的某些特征也可以在单个实施例中组合地执行。相反对，在单个实施例中描述的各种特征也可以在多个实施例中分离地实施或是以任何合适的子组合的方式实施。