基于能量滤波的行人图像的脚部件获取方法与流程
本发明属于智能图像视觉领域，具体的说是一种通过单目摄像头获取图像，并利用图像处理方法对其中直立行人进行处理，达到获取行人脚部目的的方法。
背景技术：
随着无人驾驶技术的不断成熟，对行人的避让成为了当今学者研究的重点之一。而本发明所提出的能量滤波直立行人脚部获取方法，正是应用于交通系统当中，对行人与车辆之间的距离进行估计，从而实现无人车对行人的有效避让。以行人本身具有的身体部件作为距离判定依据，无需外界硬件设备介入，一起便捷性更适用于复杂的交通环境当中。同时，相较于其他的身体部件而言，脚部件位置不会因身体姿态的改变而发生变化，避免了因行人动作变化而造成距离估计结果失效的情况发生。
在交通系统中，避障方法层出不穷。专利《一种基于前置泊车雷达的车外后视镜避障系统及方法》(公开号：cn109094504a)通过雷达控制器、车身控制系统以及音响系统三部分完成。测距任务主要通过雷达完成，当雷达勘测到障碍物与车身之间的距离小于安全距离时，通过车身控制系统对自身后视镜进行折叠，并使用音响系统进行报警，完成避障。专利《一种agv小车自动避障方法及避障系统》(公开号：cn109085832a)通过障碍检测模块、距离检测模块、报警装置、控制系统以及执行器几个部分完成了对障碍避让的整个过程。在距离检测模块中，该发明使用超声波测距法达到快速获取障碍物距离的目的。
技术实现要素：
为了解决通过脚部件对距离进行估计的过程中，无法准确对脚部件信息进行获取的问题，本发明提出了能量滤波直立行人脚部件获取方法。本发明以获取行人两脚之间中心点为目的，对图像进行处理，主要分为基于hog特征的直立行人脚部件获取准则以及能量滤波脚部像素点位置获取两步。
本发明技术方案如下：一种基于能量滤波的行人图像的脚部件获取方法，包括如下步骤：
第1步：通过hog特征获取行人脚部标定框；
第2步：通过超像素算法获得脚部目标所在区域；
第3步：通过能量滤波获输出脚部坐标。
一种基于能量滤波的行人图像的脚部件获取方法在红外-可见光双目行人身体多部件融合的持续距离估计中的应用。
有益效果：本发明提出的能量滤波直立行人脚部件获取方法，应用于车载系统行人距离估计模块当中，以行人自身身体部件作为距离估计信息来源依据，无需外界硬件设备添加，保证了方法的便捷性，更适用于复杂的交通系统当中。行人在交通系统中不受客观控制，根据行人本身进行距离估计以造成由于行人姿态、动作等发生改变测距结果失效的问题。而行人脚部件直接与地面接触，在距离固定时，不会随行人的形态发生变化，故而保证了距离估计结果的有效性。
附图说明
图1是直立行人脚部件获取方法原理逻辑图；
图2是像素分配示意图；
图3是dpm获取行人脚部部件图；
图4是超像素目标区域获取示意图；
图5是能量滤波获取行人脚部位置示意图；
图6是仿真实例1示意图；
图7是仿真实例2示意图；
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：一种直立行人头部件获取方法的原理逻辑图如图1所示，该算法具体实施步骤如下：
第1步：通过hog特征获取行人脚部标定框；
第2步：通过超像素算法获得目标所在区域；
第3步：通过能量滤波获得脚部具体位置；
第4步：输出脚部坐标。
由上述，本发明的具体实现方法是：
1、基于hog特征的直立行人脚部件获取准则
本发明依据hog特征对行人进行检测并得出行人身体多部件检测框。本发明以获取行人脚部件位置信息为目的，故而从检测出的多部件中获取到脚部件区域是需要解决的问题。
1)基于光流法对行人各部件框进行处理，并得出目标二值图。
2)对上一步分析结果进行能量滤波处理，分别得出能量滤波曲线。能量滤波曲线有x和y两个方向。
3)能量滤波x方向的曲线应呈双峰形曲线状。据此在身体多部件中选出头部件，并进行后续计算。
2、超像素行人脚部件像素获取
通过基于hog特征的直立行人脚部件获取准则可对行人脚部件所在区域进行获取。超像素算法本质上来说是一种对位置相近、特征相似的像素进行分组的方法。超像素算法的使用，有助于冗余信息的去除，将行人脚部有效信息从行人脚部检测框中提取出来，便于后续算法的进行。超像素算法用于行人脚部区域获取方面时，主要依赖其吸附性能够准确对目标与非目标区域进行划分，达到获取行人脚部像素区域的目的。
在超像素行人脚部像素区域获取方面主要分为一下几步：
(1)聚类初始化
在cielab彩色空间内，输入需要生成的超像素个数k，并根据处理区域内像素点数量n确定相同的网格间距
ck＝[lkakbkckxkyk]t(1)
其中l，a，b表示的是颜色信息，x，y表示的是空间信息，lk是中心点色彩的亮度，ak是中心点在红色/品红色和绿色之间的位置，bk是中心点在黄色和蓝色之间的位置，xk是中心点与x轴的距离，yk是中心点与y轴的距离；
(2)像素距离计算
该算法定义了一种新的距离指标d来表示像素i与距离中心ck之间的关系，通过颜色距离与空间距离共同判断，以权重m决定二者对于距离指标d的贡献大小。
其中，dc表示颜色距离，ds表示空间距离，m代表距离调节权值系数。当m较小时，颜色距离的权重更高，超像素对于目标边缘的吸附性更强，超像素的形状和大小的规则性会下降；当m较大时，空间距离的权重更高，形成超像素块的规则性较好。
(3)像素分配
在像素分配过程中，每个像素i都将根据与聚类中心点的距离被分配到相应的超像素块中。当超像素区域大小为s×s时，对应搜索区域大小应为2s×2s。
(4)聚类中心更新
当像素i被分配到聚类中心后，根据像素点颜色与位置信息重新对聚类中心进行确定。利用空间二范数计算更新后与前一聚类中心的残差值，不断重复更新过程直至误差收敛，停止更新并确定超像素块。
(5)后处理
由于超像素算法不具有明确的连通性，在聚类处理后，将出现部分像素点不属于任意超像素块。针对该问题，利用连通算法对孤立像素点进行再分配处理。
3、能量滤波行人脚部位置获取
通过超像素算法确定了目标所在区域，为提取行人脚部位置有效信息—脚部位置，对目标所在区域进行能量滤波处理，本发明中设定行人脚尖中心点位置为脚部位置具体对应点pf。对于目标所在区域二值结果，分别在水平和垂直方向进行投影，能量特征即水平及垂直方向上的非零像素点统计。能量滤波算法对二值图中的像素点进行统计，从而达到提取图像深度信息，完成特征获取的过程。具体过程如下：
1)二值化处理超像素分割结果，即目标所在区域。
2)对二值图进行能量滤波处理，累计非零像素点并形成对应能量滤波曲线。
3)在垂直能量分布图中，横坐标方向为图像坐标系中纵坐标方向，大小与图像坐标系中纵坐标大小相同；能量分布图纵坐标为图像中对应像素行的能量值大小。由图像与垂直能量分布图之间的对应关系可知，pf横坐标为水平方向能量分布初始值横坐标
而pf纵坐标为垂直方向能量分布图终点值横坐标
具体如图5所示。
本发明所提出的直立行人脚部件获取方法基于智能图像分析，通过hog特征确定行人脚部件区域，继而利用超像素算法对目标区域进一步处理，去除冗余信息提取目标所在区域。为进一步获取图像信息，提取所需特征，根据能量滤波算法对目标区域二值图进行处理，获得水平、垂直能量统计曲线并以此为据获得特征点即行人脚部件所在位置点。
本发明所提出的行李行人脚部件获取方法服务于基于行人身体部件的距离估计算法，为其提供有效的数据支撑。以行人自身身体部件作为信息获取来源，无需外界硬件干预，以其便捷性适用于复杂环境中对于行人的距离估计。本发明以计算机视觉为基础，仅使用单目摄像机作为图像获取的硬件设备，对硬件设备要求低。通过对图像信息的深度挖掘达到获取行人脚部件特征，以完成后续算法的过程。
相较于其他身体部件，脚部件与地面接触，位置相对固定，在获取复杂度方面存在优势。同时，地面颜色特征相对单一，减轻了图像分割过程中的负担。
1)本发明通过hog特征获取行人身体多部件，并通过光流法及能量滤波曲线根据脚部件固有特征对脚部件进行判断。hog特征作为行人检测过程中的主流特征得到了学者们的广泛使用，同时该算法相对成熟，在检测精度及时效性等方面都存在一定优势。本发明仅对行人脚部件信息获取，提取该部分特征，以图像分割基础算法——光流法对hog获取的多部件进行并行处理，保证方法的实时性。分析经光流法处理后的部件图，从而得到脚部件区域。在脚部件区域获取过程中，皆使用主流基础算法进行，保证了本发明的稳定性，同时确保了在距离估计过程中的实时性。
2)超像素算法属于图像分割领域，处理脚部件区域内像素。超像素算法在像素层级上对图像进行处理，保证算法精度的同时也带来了算法复杂度高，实时性低的问题。故而仅对脚部件区域内像素计算，在计算精度和速度两方面做出了保证。基于聚类分析的超像素分割算法通过对像素点特征值的计算，将特征相近的像素作为一个超像素块进行处理。超像素算法对于特征块的大小，范围等多方面权重均可通过人为调控进行，这样就保证了在不同场合下超像素算法的应用有效性。
3)能量滤波算法通过滤波曲线进行特征点提取，从而达到对图像信息进行深度挖掘的目的。能量滤波算法主要作用于非零像素点的累加并得到滤波曲线，通过对图像以及滤波曲线的分析，得出行人脚部位置点特征并获得具体像素位置。相较于其他特征提取方法，该方法易于实现且计算速度块。本发明主要应用于对行人距离的获取，对实时性有着较高的要求，因此，采用快速且稳定的方法对行人脚步位置进行获取是本发明的必要要求。能量滤波算法仅对像素点进行累加计算，通过既有规则对脚部位置像素进行提取，对实时及稳定两方面都做出了保障。
实施例1：
本实施例子利用摄像头(480*640@30hz)完成实验图像采集，本图像在冬季街道上完成拍摄，图像中含行人目标行人1名。通过本发明对目标行人头部进行像素高度估计，二者距离估计结果误差如图6所示，最终误差不超过3pixel。
实施例2：
本实施例子利用摄像头(480*640@30hz)完成实验图像采集，本图像在冬季街道上完成拍摄，图像中含行人目标行人1名。通过本发明对目标行人头部进行像素高度估计，二者距离估计结果误差如图7所示，最终误差不超过2pixel。
实施例3：
本实施例为了解决通过车前图像估计人车距离准确性的问题，提出如下方案：一种红外-可见光双目行人身体多部件融合的持续距离估计方法，包括如下步骤：
s1.通过红外-可见光双目摄像头拍摄同一车前图像，得到红外车前图像和可见光车前图像；
s2.多时间尺度检测跟踪，确定红外车前图像和可见光车前图像中目标行人的位置；
s3.获取两种图像中的行人头高，并计算头部件距离估计结果，计算脚部件距离估计结果；
s4.对行人不同身体部件距离估计结果进行一级融合，对根据可见光及红外光图像输出的估计距离进行二级融合，完成级联式行人头部件、脚部件的距离融合，而确定行人与车前距离。
进一步的，所述的红外-可见光双目行人身体多部件融合的持续距离估计方法，还包括s5.对距离输出结果进行跟踪检验，输出校验准确距离。
进一步的，步骤s3中获取两种图像中的人头部像素高度的方法是以粗细粒度对行人头高判决，方法包括由粗粒度行人头高估计与细粒度行人头高估计：
粗粒度行人头高估计通过头部件高度与身体高度之间的固定比例r对头高估计，头高hre_head与身体高度hbody比例rhb通过仿真实例确定，
头高为
hre_head＝hbody×rhb
细粒度方法是由超像素算法得到头部像素高度，而头部像素高度应在比例范围内浮动，其参考范围是：
hre_head×(1-rre)＜hhead＜hre_head×(1+rre)
其中，rre为浮动系数，控制在0.2-0.3之间，当通过细粒度方法获取到的头部像素高度hhead位于参考范围内，将hhead作为头部高度输出，否则判定超像素获取行人头部像素高度失效，并令hre_head作为输出。
进一步的，步骤s2的多时间尺度检测跟踪的方法是：
(1)设定视频序列中某一帧为第一帧，并主动对该帧的行人信息进行标注；
(2)根据第一帧的标注内容，使用kcf算法持续对行人进行跟踪；
(3)在进行m帧图像跟踪后，将跟踪结果作为输入，提取hog特征并通过svm分类器在线训练行人检测模型，并检测视频序列中的图像，检测结果将作为跟踪结果的校验存在，设定每隔m帧图像对图像进行一次检测实现跟踪矫正，共进行n次，检测帧数k为：
k＝1+m×n，n∈z
进一步的，步骤s4中，对行人不同身体部件距离估计结果进行一级融合的方法是：待估计距离的行人站在同一已知距离的多个不同位置，该距离是行人与车前的距离，进行距离估计，在一个位置分别进行投部件距离估计和脚部件距离估计，完成全部位置的距离估计，通过头部件获取距离估计结果集合x1，通过脚部件获取距离估计结果集合x2，
进一步的，对于实际的某一次距离检测中，头部件距离估计结果da，脚部件距离估计结果db，则距离估计值d1：
d1＝p1da+p2db
进一步的，步骤s4中对根据可见光及红外光图像输出的估计距离进行二级融合的方法是：
获取红外车前图像距离估计集合：对于使用红外车前图像获取的头部件距离估计结果集合x1和脚部件获取距离估计结果集合x2，使红外车前图像所获取的头部件距离估计结果集合是dh，红外车前图像的脚部件距离估计结果集合是df，则红外车前图像的距离估计值集合是dv：
dv＝p1dh+p2df
获取可见光车前图像距离估计集合：对于使用可见光车前图像获取的头部件距离估计结果集合x1和脚部件获取距离估计结果集合x2，使可见光车前图像所获取的头部件距离估计结果集合是dg，可见光车前图像的脚部件距离估计结果集合是dk，则可见光车前图像的距离估计值集合是di：
di＝p1dg+p2dk
对于红外车前图像的距离估计值集合dv，可见光车前图像的距离估计值集合di，
对于实际的某一次距离检测中，红外车前图像的距离估计结果dc，可见光车前图像的距离估计结果dd，则距离估计值d2：
d2＝p3dc+p4dd。
本发明所提出的红外-可见光双目行人身体多部件距离融合估计方法保证了方法在不同能见度及光照情况下获取图像的有效性；解决了在移动设备上对行人位置获取时，部分帧数距离估计失效的问题，确保了后期对行人持续有效的距离估计；改进已有身体部件距离估计算法中头高的获取方法，提升了头高的精度；增强了方法的应用范围，在大雾、雨雪等恶劣的天气环境中或身体部件被部分遮挡时仍可准确对距离进行估计；完成了距离估计的前后帧校验，保证了算法的完整性。
本发明是以智能图像为基础，利用红外-可见光双目摄像头进行图像获取，期间利用多时间尺度检测跟踪法实现了行人位置的确定，根据粗细粒度行人头高判决法增强了对头部像素高度的获取准确性，通过级联式距离融合对距离进行精准估计，从而提高了距离估计结果的精度，在方法中增加距离估计校验，预防方法失效的情况发生，保证了本发明的完整性。(1)本发明仅通过单目摄像头及红外摄像头即可获取待测图像，对硬件成本要求低，便于推广，且双目摄像头对图像来源的有效性进行了保证；(2)为减低方法的时间消耗并提高行人定位的精准性，本发明采用多时间尺度检测跟踪法，通过实施跟踪间歇检测的方法确定行人所在位置；(3)行人身体部件信息获取是距离估计的关键，本发明对行人头部件进行粗细粒度判决，通过粗粒度身体比例判断头高及细粒度图像分割判断头高，粗细粒度相结合的方法在提高头高获取精度的同时避免了细粒度头高判决失效的情况发生；(4)适应各种复杂状况已经成为人们对辅助驾驶系统必不可少的要求，本发明通过级联式行人头与脚部件距离融合的方式对身体部件距离估计结果处理，一级融合避免了行人身体部分遮挡对距离估计结果的影响，二级融合使得本发明的应用范围更加广泛，能够适应不同能见度环境，对行人进行距离估计；(5)由于算法复杂的应用环境，距离估计结果失效的情况难免发生，为防止上述问题的发生，本发明加入跟踪算法。通过跟踪算法的预测功能，利用前后帧距离估计结果对失效帧的距离结果进行预测，从而保证本发明的完整性。本发明符合自主汽车驾驶过程中对于辅助驾驶系统多方面的要求，具有极强的推广价值。
本发明首先利用红外-可见光双目摄像头保证图像的有效获取，通过持续跟踪-间歇检测的方法对行人位置确定，在获取待测图像后，持续对图像中行人位置进行跟踪，为保证检测精度，每隔相同时间利用检测算法对跟踪结果校验；根据行人位置获取行人对应像素图像区域，并进行粗细粒度行人头高判决，粗粒度判决以行人与头部之间比例对行人头高获取，细粒度判决根据分割算法确定，同时，粗粒度判决将作为细粒度判决的验证依据，防止过度分割等情况造成细粒度判决失效情况发生；利用已知算法获取在可见光及红外光条件下行人头、脚部件距离估计结果，并采用级联式融合的方式处理，最终得到估计距离。级联式融合分为两级，一级融合针对可见光或红外光情况下，行人头、脚部件距离估计结果进行，二级融合针对可见光及红外光头、脚融合结果进行；在方法运行中，当估计距离超出跟踪预测结果一定阈值范围时，判断距离估计结果失效，并以跟踪预测结果作为最终距离估计结果。
本发明适用于移动设备对于行人的距离估计。(1)适用于移动机器人对行人的躲避：随着智能制造时代的到来，移动机器人行业得到了空前的发展，而对于行人的避让作为移动机器人亟待解决的问题也得到了人们的关注。移动机器人面对环境复杂，如何在灯光昏暗、能见度低的情况下对行人进行有效避让是本发明解决的主要问题。通过可见-红外双目摄像头同时对图像进行获取，保证了图像信息获取的有效性，后期处理图像并估计距离的过程不受外界环境影响。据此，本发明满足移动机器人避让行人中对于行人距离估计方面的需求。(2)适用于无人地面车(ugv)对于行人的定位：目前无人地面车主要应用于物流运输、检测、保护、医疗疏散等急救场景中，在危险状况下，对于环境中的行人进行及时定位，并做出相应措施是无人地面车必须要解决的问题。ugv面对环境复杂，室外风沙、雨雪已经光照强烈等极端天气情况增加了对于行人距离估计的难度。本发明通过红外-可见光双目摄像头进行图像获取的方法及级联式行人头与脚部件距离融合的方法，保证了极端恶劣室外天气情况下对行人距离获取的有效性及准确性。(3)适用于自主汽车辅助驾驶领域，在该过程中，主要作为行人与车辆之间的距离判定存在，为行人危险判定提供了重要的数据支撑。本发明能够满足在辅助驾驶行人距离估计过程中，对于持续性、准确度及完整性等多方面的需求，创新性的改进了行人位置确定、身体部件信息获取、应用场景及算法失效的应急处理等多方面问题。仅以单目摄像头及红外摄像机作为图像获取设备，对硬件要求程度低，易于实现。同时双目摄像头保证了自主汽车夜间行驶的安全性，解决了巨大的安全隐患问题。
实施例4：
对于实施例3中的方案，其中人头部像素高度的获取方法，包括如下步骤：
s1.位于车辆前方的单目摄像机对行人图像采集，通过hog特征获取行人头部标定框，通过超像素算法获取头部像素区域，获取行人头部像素区域，得到目标二值图；
s2.建立垂直方向能量分布图，获取行人头部像素高度。
进一步的，步骤s2的方法是：
利用能量滤波算法获取目标二值图的垂直方向能量分布图，在垂直能量分布图中，横坐标方向为图像坐标系中纵坐标方向，大小与图像坐标系中纵坐标大小相同，能量分布图纵坐标为图像中对应像素行的能量值大小；
由头部目标区域图像与垂直方向能量分布图之间的对应关系，行人头顶位置为能量曲线初始值，确定行人头顶部像素位置纵坐标pt；行人头部的底部与其他身体部分连接处将出现低谷，据此确定行人头部的底部像素位置纵坐标pb；
行人头部像素高度由下式表示：
hh＝pb-pt。
进一步的，所述的单目摄像机直立行人头部像素高度获取方法还包括：
s3.获取行人身高像素，并根据行人头身像素比例对头部像素高度结果进行校验；
s4.输出符合校验结果的行人头部像素高度，对于未通过校验的结果，根据获取的行人身高像素固定比例，输出最终行人头部像素高度。
进一步的，身体高度像素取得的方法是，利用超像素分割算法对行人框内像素进行计算，并分割出行人及背景区域，去除冗余信息，以能量滤波算法对分割结果进行操作，得到垂直能量统计结果，分析结果得到身体高度像素。
进一步的，所述头部像素区域的提取中，获取行人头部像素高度的方法是以粗细粒度对行人头高判决，方法包括由粗粒度行人头高估计与细粒度行人头高估计：
粗粒度行人头高估计通过头部件高度与身体高度之间的固定比例r对头高估计，头高hre_head与身体高度hbody比例rhb通过仿真实例确定，
头高为
hre_head＝hbody×rhb
细粒度方法是由超像素算法得到头部像素高度，而头部像素高度应在比例范围内浮动，其参考范围是：
hre_head×(1-rre)＜hhead＜hre_head×(1+rre)
其中，rre为浮动系数，控制在0.2-0.3之间，当通过细粒度方法获取到的头部像素高度hhead位于参考范围内，将hhead作为头部高度输出，否则判定超像素获取行人头部像素高度失效，并令hre_head作为输出。
进一步的，所述的获取头部像素区域的方法是：
(1)聚类初始化：在cielab彩色空间内，输入需要生成的超像素个数k，并根据处理区域内像素点数量n确定相同的网格间距s保证获取超像素块大小相同；
其中：
使用像素点颜色与位置信息对cielab彩色空间内五维向量距离中心进行定义：
ck＝[lkakbkckxkyk]t
其中l，a，b表示的是颜色信息，x，y表示的是空间信息，lk是中心点色彩的亮度，ak是中心点在红色/品红色和绿色之间的位置，bk是中心点在黄色和蓝色之间的位置，xk是中心点与x轴的距离，yk是中心点与y轴的距离；
(2)像素距离计算：定义距离指标d来表示像素i与距离中心ck之间的关系，通过颜色距离与空间距离共同判断，以权重m决定二者对于距离指标d的贡献大小：
其中，dc表示颜色距离，ds表示空间距离，m代表距离调节权值系数，当m更小时，颜色距离的权重更高，超像素对于目标边缘的吸附性更强，超像素的形状和大小的规则性下降；当m更大时，空间距离的权重更高，形成超像素块的规则性更好；
(3)像素分配：像素分配过程中的每个像素i都将根据与聚类中心点的距离被分配到相应的超像素块中，像素区域的对应搜索区域是超像素区域的二倍；
(4)聚类中心更新：当像素i被分配到聚类中心后，根据像素点颜色与位置信息重新对聚类中心确定，利用空间二范数计算更新后与前一聚类中心的残差值，不断重复更新过程直至误差收敛，停止更新并确定超像素块；
(5)后处理：在聚类处理后，将出现部分像素点不属于任何超像素块，利用连通算法对孤立像素点进行再分配处理。
本发明所提出的直立行人头部件获取方法基于智能图像分析，通过hog特征确定行人头部所在大致区域，由于超像素分割算法的复杂度较高，仅对头部大致区域进行超像素处理，获取头部件的方法同时保证了算法的准确性及实时性。为避免算法失效的情况发生，通过身体与头部像素高度之间的关系，对头部完整性进行校验，并给出了高度特性获取的具体方法。
以对行人进行安全保护的角度出发，基于身体部件进行信息获取的方法无需行人携带其余设备，符合实际情况要求，更利于在交通系统中的推广。以行人安全为目的，本发明为基于头部高度的行人距离估计方法提供了数据支撑。
1)hog特征作为一种特征描述方法已经在图像人体检测中得到了广泛的应用呢，并逐渐成为主流算法。本发明以hog特征作为信息获取基础，保障了后续算法的稳定性。通过hog特征获取信息并进行深度挖掘，区分出头部件并用于行人头部像素获取的过程中。由于行人头部像素获取过程较为辅助，直接对图像内所有信息进行操作将对实时性造成影响，故而通过区分头部件后单独处理头部件的方式同时保证了发明的时效性与像素获取精度。
2)头部作为身体刚性部件，具有在行人处于任何姿态情况下不易变形的特点，由此采用单目测距原理进行具体估计。头部件获取的完整性即为距离估计结果是否准确的关键所在。为了更精准取得行人头部件像素大小，本发明采用超像素分割算法应用于获取过程中。超像素分割算法通过对位置相邻且颜色、纹理等特征相似的像素点进行分割，有效去除冗余区域提取有效信息。由于该算法将逐个对像素点进行计算，因此计算量是算法应用过程中需要解决的问题。本发明通过基于hog特征的直立行人头部件获取准则对图像进行一次处理，获得头部及周边像素点。由此，当进行超像素行人头部件像素获取时能够将计算量控制在一定范围内，保证了方法的计算速度。
3)在图像中，行人头部像素占身体像素比重较小，且在复杂的交通环境中，面对场景多样，仅通过基于hog特征的直立行人头部件获取准则、超像素行人头部件像素获取两种方法获取头部像素，存在方法失效的风险。为保证本发明的完整性并形成闭环，通过头高与身体高度之间的比例关系对头部像素获取结果进行测试，并对未通过测试的结果采取其他方案获得头部信息。以自检的方式对头部信息获取结果进行确认，极大的降低了距离输出结果的错误率，在实际应用过程中，安全性得到了更高的保障。
4)自检过程主要通过行人头部及身体像素高度比例进行。行人头部像素高度依据超像素行人头部件像素获取，身体像素高度根据分割算法结合阈值分割进行，具体来说，通过hog特征对图像进行第一次处理，而后对处理结果进行超像素分割，去除行人周边的冗余信息。以能量滤波法处理分割结果，通过结果波形图最终得到行人像素高度。判断行人危险指数是发明的主要应用点，故而对于本发明对于准确性及稳定性都有着较高的要求。故而对头部高度获取的校验过程在本发明中就显得尤为关键。以头部与身体之间的像素高度比例作为行人头部高度结果判定依据可行性强，检验结果过程中无需添加其他硬件设施进行辅助处理，因其便捷性更利于在复杂环境中应用。
(5)本发明可服务于移动机器人避让行人过程中。以机器人内部摄像头为硬件基础，通过本发明获得行人头部像素高度，依据已有行人身体部件距离估计方法得到行人与机器人之间的距离，作为机器人避让行人的有效判定依据。
(6)本发明可服务于车载设备对行人危险判断过程中。行人与车辆之间的距离是判断车辆是否对行人构成危险的重要判据，依据本发明所得到的头部像素高度作为距离估计判断依据，在不增加硬件负担的基础上对距离进行估计，适用于复杂的交通环境当中。
(7)本发明可服务于交通执法过程中无人机判断行人距离过程。当今，无人机的发展不局限于航拍等技术，在交通执法中的应用更是无人机服务于人的一大突破。在执法过程中，无人机主要用于对行人所持证件的拍摄。应用本发明，在拍摄证件过程中同时获取行人头部像素高度，并对距离进行估计，保持适当距离，在不伤害行人的前提下对其所持证件进行清晰拍摄。
(8)本发明可服务于艺术拍摄中无人机判断行人距离过程。随着人工智能的发展，无人机也逐渐向服务行业靠拢，在艺术拍摄过程中使用无人机已经被大众所接受。在无人机使用过程中，通常需要人为或设备介入，在增加了拍摄人员工作量的同时也提升了拍摄成本。通过本发明获取拍摄者头部像素高度，据此与拍摄者保持适当距离，完成拍摄。
实施例5：
对于实施例3或4中的方案，一种基于能量滤波的行人图像的脚部件获取方法，包括如下步骤：
第1步：通过hog特征获取行人脚部标定框；
第2步：通过超像素算法获得脚部目标所在区域；
第3步：通过能量滤波获输出脚部坐标。
进一步的，第3步的方法是：设定行人脚尖中心点位置为脚部位置具体对应点pf，对于脚部目标所在区域二值结果，分别在水平和垂直方向进行投影，能量特征是水平及垂直方向上的非零像素点统计，对二值图进行能量滤波处理，累计非零像素点并形成对应能量滤波曲线，在垂直能量分布图中，横坐标方向为图像坐标系中纵坐标方向，大小与图像坐标系中纵坐标大小相同，能量分布图纵坐标为图像中对应像素行的能量值大小，由图像与垂直能量分布图之间的对应关系，pf横坐标为水平方向能量分布初始值横坐标
pf纵坐标为垂直方向能量分布图终点值横坐标
进一步的，所述的获取头部像素区域的方法是：
(1)聚类初始化：在cielab彩色空间内，输入需要生成的超像素个数k，并根据处理区域内像素点数量n确定相同的网格间距s保证获取超像素块大小相同；
其中：
使用像素点颜色与位置信息对cielab彩色空间内五维向量进行定义：
ck＝[lkakbkckxkyk]t(1)
其中l，a，b表示的是颜色信息，x，y表示的是空间信息，lk是中心点色彩的亮度，ak是中心点在红色/品红色和绿色之间的位置，bk是中心点在黄色和蓝色之间的位置，xk是中心点与x轴的距离，yk是中心点与y轴的距离；
(2)像素距离计算：定义距离指标d来表示像素i与距离中心ck之间的关系，通过颜色距离与空间距离共同判断，以权重m决定二者对于距离指标d的贡献大小：
其中，dc表示颜色距离，ds表示空间距离，m代表距离调节权值系数，当m更小时，颜色距离的权重更高，超像素对于目标边缘的吸附性更强，超像素的形状和大小的规则性下降；当m更大时，空间距离的权重更高，形成超像素块的规则性更好；
(3)像素分配：像素分配过程中的每个像素i都将根据与聚类中心点的距离被分配到相应的超像素块中，像素区域的对应搜索区域是超像素区域的二倍；
(4)聚类中心更新：当像素i被分配到聚类中心后，根据像素点颜色与位置信息重新对聚类中心确定，利用空间二范数计算更新后与前一聚类中心的残差值，不断重复更新过程直至误差收敛，停止更新并确定超像素块；
(5)后处理：在聚类处理后，将出现部分像素点不属于任何超像素块，利用连通算法对孤立像素点进行再分配处理。
本发明所提出的直立行人脚部件获取方法基于智能图像分析，通过hog特征确定行人脚部件区域，继而利用超像素算法对目标区域进一步处理，去除冗余信息提取目标所在区域。为进一步获取图像信息，提取所需特征，根据能量滤波算法对目标区域二值图进行处理，获得水平、垂直能量统计曲线并以此为据获得特征点即行人脚部件所在位置点。
本发明所提出的行李行人脚部件获取方法服务于基于行人身体部件的距离估计算法，为其提供有效的数据支撑。以行人自身身体部件作为信息获取来源，无需外界硬件干预，以其便捷性适用于复杂环境中对于行人的距离估计。本发明以计算机视觉为基础，仅使用单目摄像机作为图像获取的硬件设备，对硬件设备要求低。通过对图像信息的深度挖掘达到获取行人脚部件特征，以完成后续算法的过程。
相较于其他身体部件，脚部件与地面接触，位置相对固定，在获取复杂度方面存在优势。同时，地面颜色特征相对单一，减轻了图像分割过程中的负担。
1)本发明通过hog特征获取行人身体多部件，并通过光流法及能量滤波曲线根据脚部件固有特征对脚部件进行判断。hog特征作为行人检测过程中的主流特征得到了学者们的广泛使用，同时该算法相对成熟，在检测精度及时效性等方面都存在一定优势。本发明仅对行人脚部件信息获取，提取该部分特征，以图像分割基础算法——光流法对hog获取的多部件进行并行处理，保证方法的实时性。分析经光流法处理后的部件图，从而得到脚部件区域。在脚部件区域获取过程中，皆使用主流基础算法进行，保证了本发明的稳定性，同时确保了在距离估计过程中的实时性。
2)超像素算法属于图像分割领域，处理脚部件区域内像素。超像素算法在像素层级上对图像进行处理，保证算法精度的同时也带来了算法复杂度高，实时性低的问题。故而仅对脚部件区域内像素计算，在计算精度和速度两方面做出了保证。基于聚类分析的超像素分割算法通过对像素点特征值的计算，将特征相近的像素作为一个超像素块进行处理。超像素算法对于特征块的大小，范围等多方面权重均可通过人为调控进行，这样就保证了在不同场合下超像素算法的应用有效性。
3)能量滤波算法通过滤波曲线进行特征点提取，从而达到对图像信息进行深度挖掘的目的。能量滤波算法主要作用于非零像素点的累加并得到滤波曲线，通过对图像以及滤波曲线的分析，得出行人脚部位置点特征并获得具体像素位置。相较于其他特征提取方法，该方法易于实现且计算速度块。本发明主要应用于对行人距离的获取，对实时性有着较高的要求，因此，采用快速且稳定的方法对行人脚步位置进行获取是本发明的必要要求。能量滤波算法仅对像素点进行累加计算，通过既有规则对脚部位置像素进行提取，对实时及稳定两方面都做出了保障。
实施例6：
对于实施例3或4或5中的方案，其中的步骤s2.多时间尺度检测跟踪，确定红外车前图像和可见光车前图像中目标行人的位置，也可以使用本实施例的方法，样本可选择更新机制的目标跟踪方法，确定红外车前图像和可见光车前图像中目标行人的位置，该跟踪方法包括：
第一步，获取视频起始帧并初始化跟踪器；
第二步，对下一帧用滤波跟踪方法对目标进行跟踪，并返回跟踪结果；
第三步，利用图像特征遗忘方法对跟踪结果进行分析，提取目标区域的图像特征与参考图像进行比对，将差距过大的跟踪结果进行遗忘；
第四步，利用能量显著记忆方法对第三步的遗忘的跟踪结果进行校验，提取遗忘结果目标区域的梯度能量做显著性分析，将包含目标的跟踪结果重新记忆进样本库，而其他不包含跟踪目标的结果维持遗忘操作，返回第二步或结束跟踪。
进一步的，若第三步不存在差距过大的跟踪结果则返回第二步或结束跟踪。
进一步的，第三步的步骤是：以第k帧图像为参考图像，分别提取第k帧和第k+1帧图像目标区域的hog和cnn特征，然后计算两个区域图像特征的曼哈顿距离值，作为第k+1帧跟踪结果的图像距离值；
设视频的第k帧图像的特征为jk(x)，第k+1帧图像的特征为jk+1(x)，然后利用式(2)计算第k+1帧图像的图像距离值；
distk+1＞δ，δ∈(0，1)(3)
式中，δ是重叠度判断失效样本的上限值，distk+1为第k+1帧图像的图像距离值，n为特征图中的元素个数，jk(x)i和jk+1(x)i分别为第1帧和第k+1帧图像特征中的第i个元素；
若第k+1帧的图像特征距离大于δ，则将第k+1帧跟踪结果判定为需要遗忘的跟踪结果，若图像距离小于δ，则将该跟踪结果记忆进训练集中并跳至第五步。
进一步的，第四步的步骤是：从最新的目标跟踪结果第k+1帧图像中提取目标区域的hog能量，然后提取训练集中的所有图像的hog能量并计算其均值作为对比，计算第k+1帧图像的hog能量变化值作为第k+1帧图像的能量显著值；
设hk+1为第k+1帧图像的hog能量值，hx为训练集中所有图像的hog能量集合，则
式(7)为能量显著值计算公式，enerk+1为第k+1帧图像的能量显著值，m表示训练集中已有的图像数量，hx(i)表示训练集中的第i个图像的hog能量；
若第k+1帧图像的能量显著值满足式(8)时，则将第k+1帧图像重新记忆进训练集，若不满足则维持第k+1帧图像的遗忘操作；
在一种方案中，为了解决重新记忆遗忘结果中有效样本，提出如下方法，提取遗忘结果目标区域的梯度能量做显著性分析，将包含目标的跟踪结果重新记忆进样本库。
进一步的，从最新的目标跟踪结果第k+1帧图像中提取目标区域的hog能量，然后提取训练集中的所有图像的hog能量并计算其均值作为对比，计算第k+1帧图像的hog能量变化值作为第k+1帧图像的能量显著值；
设hk+1为第k+1帧图像的hog能量值，hx为训练集中所有图像的hog能量集合，则
式(7)为能量显著值计算公式，enerk+1为第k+1帧图像的能量显著值，m表示训练集中已有的图像数量，hx(i)表示训练集中的第i个图像的hog能量；
若第k+1帧图像的能量显著值满足式(8)时，则将第k+1帧图像重新记忆进训练集，若不满足则维持第k+1帧图像的遗忘操作；
(1)样本可选择更新机制的目标跟踪算法可以对目标遮挡、剧烈光暗变化和目标形变的等复杂环境保持较好的适应性，使目标跟踪方法能够应用于更多实际场景，可以为行人意图分析等后续判断提供更可靠的目标位置信息；
(2)图像特征遗忘方法可以对跟踪结果进行筛选，遗忘与参考图像存在较大差距的跟踪结果，该方法可以适用于所有的判别模型类目标跟踪方法，可以避免训练集被遮挡物的特征信息污染，提高目标跟踪方法对目标遮挡的适应性；
(3)能量显著记忆方法可以对图像特征遗忘方法的遗忘结果进行校验，重点记忆因光暗变化、目标形变等复杂环境下出现较大变化的目标特征信息，该方法可以适用于所有的判别模型类目标跟踪方法，使训练集可以保持对目标当前状态的适应性，提高目标跟踪方法对剧烈光暗变化以及目标形变等复杂环境的跟踪有效性；
(4)本发明可以为移动机器人、自主汽车和辅助驾驶系统提供更精确的路况信息，不论是对工业机器人或者自主汽车的避障和路径规划，还是服务型机器人为特定人物目标提供引路服务等方面都可以发挥很重要的作用。
- 还没有人留言评论。精彩留言会获得点赞！