车辆的行人识别方法及车辆的行人识别系统与流程

本发明涉及一种基于设置在车辆上的至少一个以上的传感器感测前方的物体，以将识别的物体识别为行人并追踪(tracking)的系统及其控制方法。

背景技术：

如今，为了应对驾驶员无法感知外部状况的情况，正在开发设置在车辆前方的摄像头从拍摄的影像中识别行人并向驾驶员告知行人位于车辆前方的系统。

例如，由于在夜间驾驶视野急剧减少，可能会发生驾驶员无法看到行人的情况。为了防止这种情况，正在持续进行关于利用如近红外摄像头或远红外摄像头等传感器使得驾驶员能够确保视野或通过夜间行人识别来进行预警的系统的研究。

并且，关于行人的保护，正在开发一种利用装载在车辆的摄像头来预先识别行人并通过向驾驶员发出警报或控制车辆来进行制动的结构来事先防止行人事故的系统。

不仅如此，还在开发利用设置在车辆前方的雷达来感测车辆前方的物体并向驾驶员告知行人位于车辆前方的系统。

但是，与利用三维坐标系(x，y，z)来感测物体不同，设置在车辆前方的雷达通过由摄像头获得的影像来获得二维信息，因此，正在持续进行用于通过雷达传感器及摄像头传感器的融合来提高通过包括行人的物体的位置及移动的追踪准确性的技术开发。

技术实现要素：

(一)要解决的技术问题

为此，本发明实施例的目的在于，即使同时使用雷达传感器及摄像头传感器无法感测到物体时，也能够持续地识别及追踪(tracking)物体。

不仅如此，本发明实施例的目的在于，根据车辆和物体之间的距离执行不同的行人识别方法，从而提高识别行人的准确性。

并且，本发明实施例的目的在于，根据距离执行不同的行人追踪处理方法，从而减少计算量并增加追踪处理速度。

(二)技术方案

根据本发明的一方面，可提供一种行人识别方法，其包括以下步骤：通过向车辆前方发射和接收雷达信号来感测物体；拍摄所述车辆的外部影像；算出与所述感测到的物体的距离，并检测所述拍摄的影像中的所述感测到的物体并设定包括所述检测到的物体的感兴趣区域(regionofinterest：roi)；以及识别(detection)所述感兴趣区域内的行人。

并且，在识别所述感兴趣区域内的行人的步骤中，当与所述感测到的物体的距离小于预先设定的距离时，可基于方向梯度直方图(hog，histogramoforientedgradient)技法来识别所述行人。

并且，识别所述感兴趣区域内的行人的步骤，还可包括以下步骤：当与所述感测到的物体的距离大于预先设定的距离时，以像素(pixel)单位识别行人。

并且，识别所述感兴趣区域内的行人的步骤，还可包括以下步骤：在所述影像中感测到的所述行人的外廓上显示边界框(boundingbox)。

并且，可设定为所述感兴趣区域的大小与所述感测到的物体的距离成反比。

根据本发明的另一方面，可提供一种行人识别系统，其包括：雷达传感部，通过向车辆的前方发射和接收雷达信号来感测物体；影像拍摄部，拍摄所述车辆的外部影像；及控制部，算出与所述感测到的物体的距离，并检测所述拍摄的影像中的所述感测到的物体并设定包括所述检测到的物体的感兴趣区域(regionofinterest：roi)，识别(detection)所述感兴趣区域内的行人。

并且，所述控制部还可包括：第一分类器，当与所述感测到的物体的距离小于预先设定的距离时，可基于方向梯度直方图(hog，histogramoforientedgradient)技法来识别所述行人；及第二分类器，当与所述感测到的物体的距离大于预先设定的距离时，以像素(pixel)单位识别行人。

并且，所述行人识别系统还可包括显示部，在识别到的所述行人的外廓上显示边界框(boundingbox)并显示给用户。

并且，可设定为所述感兴趣区域的大小与所述感测到的物体的距离成反比。

(三)有益效果

因此，本发明的实施例在即使同时使用雷达传感器及摄像头传感器也无法感测到物体时，也能够持续地识别物体。

不仅如此，根据车辆和物体之间的距离执行不同的行人识别方法，从而能够提高识别行人的准确性。

并且，根据距离执行不同的行人追踪处理方法，从而能够减少计算量。

附图说明

图1是本发明的一个实施例的行人识别系统的结构框图。

图2是安装有本发明的一个实施例的行人识别系统的车辆的外观立体图。

图3是说明本发明的一个实施例的行人识别系统的结构框图。

图4是用于说明本发明的一个实施例的行人识别系统的工作的示意图。

图5是用于说明本发明的一个实施例的roi的示意图。

图6是示出根据本发明的一个实施例识别到行人的显示画面的示意图。

图7是示出本发明的一个实施例的行人识别方法的顺序图。

附图说明标记

1：行人识别系统

2：车辆

具体实施方式

下面，参照附图对本发明的实施例进行详细说明。以下实施例为了向本发明所属技术领域的普通技术人员充分传达本发明的思想而提出。本发明并不限定于在此提出的实施例，可以以其他形式具体化。为了明确说明本发明而附图中省略了与说明无关的部分，且有可能为了有助于理解而放大组件的大小。

图1是本发明的行人识别系统1的结构框图，图2是安装有本发明一个实施例的行人识别系统1的车辆2的外观立体图，图3是说明本发明的一个实施例的行人识别系统1的结构框图。

参照图1，行人识别系统1包括雷达传感部10、影像拍摄部20、控制部30、显示部40。

如图2所示，雷达传感部10包括雷达模块11，雷达模块11为了感测包括车辆前方的车辆或行人的一个以上的物体而可以位于车辆2前方引擎盖(hood)的下方。

这种雷达模块11感测存在于车辆2前方的车辆或行人，包括雷达传感器(未示出)。此时，雷达传感器通常可使用77ghz雷达，发射雷达并测定接收其的时间来算出与前方感测到的如车辆或行人等一个以上的物体的距离。

尤其，包括雷达传感器(未示出)的雷达模块11包括对于感测到的前方物体的三维位置信息，具体地，当车辆2的行驶方向为y轴时，通过y轴和各水平轴x轴及z轴来获得物体的位置信息。

例如，当车辆2的行驶方向为y轴时，能够通过雷达传感器算出识别到的行人的位置信息的x、y、z坐标。

此时，雷达模块11只有基于感测到的物体的速度、大小等确保的置信度(confidence)大于预先设定的临界值时，才能选定为可识别为行人的物体。

c＝α*r+β*v+γ*sd1+ε*sd1+δ*sd2+μ*vcp+ω*vcg

此时，r表示感测到的物体的范围(range)、v表示感测到的物体的速度(velocity)、sd1表示r的标准偏差、sd2表示v的标准偏差、vcp表示过程噪声矩阵速度分量(velocitycomponentofprocessnoisematrix)、vcg表示增益矩阵的速度分量(velocitycomponentofgainmatrix)，可基于在雷达模块11中发射和接收的雷达信号算出，置信度(confidence)c也可通过r、sd1、sd2、vcp、vcg的预定常数的比率之和算出。

即，用于算出置信度所需的α、β、γ、ε、δ、μ、ω是预先设定在行人识别系统1中的参数(parameter)，置信度c是通过将所述参数乘以r、sd1、sd2、vcp、vcg得出的。

因此，当算出的置信度大于预先设定的临界值时，视为可识别为行人的物体，向控制部30传送包括感测到的物体的x、y、z坐标信息的位置信息。

即，包括通过雷达传感器获得的物体的坐标的位置信息可被传送到控制部30。

其次，影像拍摄部20获得车辆2前方的影像。具体地，影像拍摄部20包括摄像头模块21，如图2所示，摄像头传感器21可设置在位于车辆前窗17后方的后视镜22下端或上端，以拍摄前方的影像。

这种摄像头模块21包括摄像头传感器(未示出)，使用大约一个通道以上的摄像头，一般使用互补金属氧化物半导体(cmos)为其图像传感器。cmos图像传感器是将暴露的图像转换为电子形态并传送的半导体元件。但并不限定于此，也可用电荷耦合器件(ccd，changecoupleddevice)图像传感器(未示出)实现。

此时，摄像头模块21可从通过摄像头传感器获得的影像中感测(detection)物体。具体地，从摄像头传感器(未示出)检测被拍摄的物体的运动，提取物体的区域并区分多个物体。在此，该物体可以是影像处理的识别对象，例如，可以是风景、全景、特定事物、行人等物体，对于成为识别对象的物体没有限制。

首先，利用相邻rgb值的偏差，从获得的图像中提取物体的轮廓，与之前影像进行比较并分析轮廓的变化来辨别物体的移动。

并且，将检出的区域区间作为设定区间的集合，能够求出发生物体移动的区域。

并且，在一个图像中两个以上的物体可能会重合或分开，因此为了正确地区分物体的区域，算出通过对象追踪的物体的推定位置和大小来提取相关物体的位置和区域。

但是，本发明的行人识别系统1的目的在于感测并追踪位于车辆2前方的行人。

此时，摄像头模块21将包括获得的影像信息的提取的物体的信息按一定时间间隔传送到控制部30。

因此，摄像头模块21将影像中拍摄的物体移动的检测、物体的区域、多个物体重叠的信息传送到控制部30，可基于获得影像的二维信息算出这种物体的位置信息。

作为一例，通过摄像头模块21获得的影像中包括的行人，例如，可由二维u、v轴坐标信息获得。

其次，本发明的行人识别系统1的控制部30综合控制行人识别系统1。

具体地，控制部30可包括：主处理器(mainprocessor)31，其为行人识别系统1所包括的各种构成装置与控制部30之间的数据出入的媒介，基于通过雷达传感部10或影像拍摄部20感测的物体的坐标信息执行追踪；存储器32，存储主处理器、程序及数据。

尤其，图3是说明本发明一个实施例的行人识别系统的工作的结构框图。

这种控制部30如图3所示，作为为了将感测到的物体识别为行人而分阶段地执行的控制部30的结构，软件上包括距离变换部33、roi生成部34、分类器35及包括第一处理器36及第二处理器37的处理器38。

首先，距离变换部33可基于从雷达模块11接收的与物体的距离信息，对与包括存在于车辆2前方的车辆或行人的物体的距离信息和通过影像拍摄部20获得的影像中的物体进行匹配。

例如，如图5所示的显示器中显示，可确认与装载有本发明的物体追踪系统1的车辆2的距离越远的物体，位于画面的中心部上侧，距离越近，位于略偏离中心部的位置。

不仅如此，在雷达传感部10感测到的物体的位置信息包括x、y、z轴距离信息，从而能够将所述感测到的位置信息与从获得的影像中感测到的物体信息相匹配。

因此，控制部30内的距离变换部33能够对获得的影像和与在雷达传感部10感测到的物体的距离信息进行匹配，从而将雷达传感部10感测的物体信息变换为影像中的二维距离信息。

其次，roi生成部34对于包括二维距离信息的物体生成roi(regionofinterest)。具体地，生成roi是为了在通过影像拍摄部20获得的影像中设定感兴趣区域(regionofinterest，以下称为roi)，当感兴趣区域内感测到行人时，仅在其大小(height)不超过阈值时识别为行人。

尤其，roi生成部34可适用金字塔(pyramid)方式生成感兴趣区域。金字塔方式是指基于雷达传感部10获得的与物体的距离信息来生成候选行人的roi的方式。

此时，金字塔方式内的级别通过将基于感测的行人大小(height)与预先设定的像素内行人的临界大小(例如，行人的像素内临界大小可被设定为0.84)的比率值进行对数变换的候选行人的值进行舍入来决定。

因此，若雷达传感部10获得的物体与车辆的距离远，则算出的roi生成部34生成的金字塔级别为较小的值，若雷达传感部10获得的物体与车辆的距离近，则算出的roi生成部34生成的金字塔级别为较大的值。

具体地，如图4所示，假设行人p1和行人p2为相同的大小(身高)时，根据与车辆2的距离，在车辆2的影像拍摄部20获得的影像内的行人大小变得不同。

即，因行人p1比行人p2距离近而影像拍摄部20显示的行人p1的大小大于行人p2。不仅如此，确认图5中示出的影像可知，距离越近，位于略偏离画面的中心部的位置。

因此，可根据感测到的行人与车辆2的距离，按比例使得能够识别为行人大小的阈值变得不同来生成roi(regionofinterest)。

因此，如图4所示，分类器35对感测到的行人，根据roi生成部34生成的roi来区分由第一处理器36执行行人处理方法还是由第二处理器37执行行人处理方法。尤其作为一例，分类器35根据金字塔方式，当算出的金字塔级别大于预先设定的级别时，分类为由第一处理器36处理，当算出的金字塔级别小于预先设定的级别时，分类为由第二处理器37处理。

此时，分类器35可根据感兴趣区域(roi)的大小来区分对所述感测到的物体由第一处理器36还是由第二处理器37进行行人处理。当感测到的物体离得近时，包括在面积宽的roi而由第一处理器36进行处理，当感测到的物体离得远时，包括在面积较小的roi而由第二处理器37进行处理。

因此，设定控制部30内感兴趣区域之后，使为了根据分类器35识别roi内的行人而生成的roi分别通过第一处理器36或第二处理器37。

此时，决定生成的roi通过第一处理器36或第二处理器37的中的哪个分类器是根据距离变换部33获得的距离来区分通过。具体地，图4及图5是为了说明区分通过各分类器而示出的示意图。

图4根据距离区分为第一处理器36的处理区域和第二处理器37的处理区域，图5中示出用虚线显示的区域，属于虚线外部区域的部分作为属于图4的第一处理器36的处理区域的距离区域，表示与车辆2的近距离区域，属于虚线内部区域的部分作为属于图4的第二处理器37的处理区域的距离区域，表示与车辆2的远距离区域。

第一处理器36确认到通过雷达传感部10感测到的物体处于比预先设定的临界距离近的位置(第一区域)时，为了检测roi内的行人而执行按单元(cell)检测行人的方法。

具体地，执行按单元(cell)检测行人的方法是指通过基于haar小波特征(haarwaveletfeature)方法、方向梯度直方图(hog，histogramoforientedgradient)方法、区域性感受野(lrf，localreceptivefield)等技法来检测行人。

即，基于单元(cell)单位直方图的hog计算方法具体通过旋转hog特征的各方向直方图来求出，对于倾斜或大小变化等歪曲，能够较为稳定地表现出对象的特征，当在近距离区域检测行人特征容易时，性能优异。

在这种执行单元单位行人检测方法的第一分类器36中，一个单元(cell)内存在多个像素。

其次，第二处理器37确认到通过雷达传感部10感测到的物体处于比预先设定的临界距离远的位置(第二区域)时，为了检测roi内的行人，执行按像素(pixel)检测行人的方法。这是由于位于远距离区域的行人的大小小，在追踪远距离影像中包括的行人时，按构成单元的像素来检测行人较佳。

因此，本发明的行人识别系统1可通过处理器38检测roi内的行人。具体地，图6是示出在本发明的行人识别系统1的控制部30内感测到行人的显示画面。

对于包括图5中感测到的物体的多个roi，可确认通过分类器35及处理器38检测到roi区域内包括的行人。

其次，由主处理器31处理的信息可被存储在存储器32。

即，存储器32可临时存储包括用于控制行人识别系统1的工作的控制程序及控制数据和由雷达传感部10及影像拍摄部20获得的信息及主处理器31处理的物体追踪信息的各种控制信号等。

尤其，存储器32不仅包括静态随机存储器(s-ram)、动态随机存储器(d-ram)等易失性存储器，还可包括闪存存储器、只读存储器(readonlymemory)、可擦可编程只读存储器(erasableprogrammablereadonlymemory，eprom)、电可擦可编程只读存储器(electricallyerasableprogrammablereadonlymemory：eeprom)等非易失性存储器。

具体地，非易失性存储器可半永久地存储用于控制行人识别系统1的工作的控制程序及控制数据，易失性存储器可从非易失性存储器读取控制程序及控制数据并临时存储，可临时存储从影像拍摄部20及雷达传感部10获得的信息及控制部30处理的追踪信息。

其次，显示部40通过显示器向驾驶员显示由控制部30识别并追踪的物体信息，虽然没有示出，但本发明的行人识别系统1包括警告部(未示出)，在识别及追踪的物体临近车辆时，能够发出警告，例如，可以是利用音响的警告。

以上对一个实施例的行人识别系统1的结构进行了说明。

下面，对一个实施例的行人识别系统1的工作进行说明。

图7是示出本发明的一个实施例的行人识别系统1的工作方法的顺序图。

如图7所示，以雷达模块11工作来开始本发明的物体追踪控制方法的工作(s10)。

此时，雷达模块11感测车辆前方的物体(s20)。具体地，雷达模块11将雷达发射到前方物体，基于返回所需的时间、方向信息来算出前方物体的三维坐标(s30)。因此，将感测到的前方物体的三维坐标传送到控制部30，行人识别系统1基于该物体的位置和速度信息来包括感测到的多个物体而生成roi(s20)。

此时，确保的roi的大小根据与车辆的距离而不同地生成(s30)，当生成的roi和车辆之间的间距距离大于预先设定的临界距离时(s40的是)，按像素检测行人(s50)。

若确保的roi和车辆之间的间距距离小于预先设定的临界距离时(s40的否)，按单元(cell)检测行人(s60)。

以上对公开的发明的一个实施例进行示出并说明，但公开的发明并不限定于上述的特定实施例，在不脱离权利要求范围的要旨的情况下，可由本发明所属技术领域的普通技术人员进行多种变形实施，这种变形实施并不独立于公开的发明。