基于双目视觉的行人实时检测方法与流程

文档序号:12272176阅读:721来源:国知局

本发明涉及视频图像处理方法,特别涉及行人检测技术。



背景技术:

行人检测就是检测视频或图片中是否包含行人并标出行人的正确位置,它是机器视觉领域的一个重要分支。

现有行人检测的方法非常多,但主要使用两种图像特征:运动信息和形状。基于运动信息特征的检测方法需要背景提取和图像分割等预处理技术,而基于形状特征的检测方法不需要使用预处理算法。

基于形状特征的检测方法根据特征的提取方法划分为全局特征法和局部特征法。全局特征和局部特征的区别在于全局特征从整个图像上来提取特征,而局部特征是从图像的局部区域来提取特征。全局特征的经典例子便是独立主成分法PCA,它的缺点在于对物体的外表、姿势和光照敏感,而局部特征由于从图像的局部提取特征,对物体的外表、姿势和光照更不敏感。典型的局部特征有小波系数、梯度方向和局部协方差等。局部特征又可以进一步分为整体检测和部位检测,部位检测的检测结果是通过另外一个分类器将部位的检测结果组合成最终的行人检测结果。使用部位检测方法的优点是它能很好的应对由于行人肢体移动导致行人外表变化带来的问题,缺点是它令整个检测过程变得更加复杂。

基于统计学习的方法是目前行人检测最常用且有效的方法,该方法通过大量训练样本构建行人检测分类器。提取的特征一般有目标的灰度、边缘、纹理、形状、梯度直方图等信息,分类器包括神经网络、SVM,Adaboost等。该方法存在以下难点:行人的姿态、服饰各不相同、提取的特征在特征空间中的分布不够紧凑、分类器的性能受训练样本的影响较大、离线训练时的负样本无法涵盖所有真实应用场景的情况。



技术实现要素:

本发明所要解决的技术问题是,提供一种快速有效的基于双目视觉的行人实时检测方法。

本发明为解决上述技术问题所采用的技术方案是,基于双目视觉的行人实时检测方法,包括以下步骤:

1)训练步骤:提取样本特征输入分类器进行训练;

2)检测步骤:

2-1)利用双目摄像头采集待检测视频,计算待检测视频中每一帧图像的视差图;

2-2)仅对待测图像中视差值大于等于阈值的区域作为非背景区域;

2-3)将非背景区域的特征输入分类器进行行人检测。

进一步的,本发明使用8个梯度方向特征与RGB颜色通道的类哈尔特征联合作为特征,能够达到较好的检测效果。

进一步的,为了优化检测效果,在训练步骤中,对样本进行提取多尺度窗口特征,训练出多个尺度分类器;在检测步骤中,对非背景区域进行利用多尺度窗口进行特征提取。更进一步的,为了加快特征提取速度,在训练步骤中,先使用尺寸为4×4的窗口在样本上滑动完成特征提取,之后通过对样本进行缩放再使用尺寸为4×4的窗口在进行了缩放的样本上滑动完成特征提取得到多尺度下的窗口特征提取;在检测步骤中,先用尺寸为4×4的窗口在图像上滑动完成特征提取;在非背景区域判断完成后,用各尺寸窗口在图像上滑动,判断窗口内待检测区域所占的比重,当所占比重小于预设比重则视为不包含行人,不进行分类器判定,当所占比重大于等于预设比重,则在4×4尺寸下的特征中选择当前窗口位置所对应的特征并用分类器判定是否包含行人。

本发明的有益效果是,基于双目视觉的方法能够实时有效地检测行人,且能达到一个较精确的检测结果;利用视差信息减少了待检测区域,复杂度更低、速度更快,能够满足实时准确检测要求。

附图说明

图1:本发明的行人检测流程示意图。

具体实施方式

本发明可以分为训练和检测两个阶段,如图1所示。

首先采集不同场景下包含行人和不包含行人的图片作为样本,进行训练得到检测参数,训练阶段具体可以分为以下四个步骤:

步骤一:用尺寸均为64×128的5000个正样本和5000个负样本进行训练;

步骤二:对样本图片以一个4×4不重叠且相邻块为基本单位进行特征提取,使用的特征为8个梯度方向特征、RGB颜色通道的类哈尔特征。对于8个梯度方向特征,图像任意一点计算公式如下:

其中,θi为量化的梯度方向,其值为i,G(x,y)为梯度幅值,R(x,y)为梯度方向的弧度值,Θ(x,y)为梯度方向的量化值,为对应梯度方向的值。梯度的计算采用[-1 0 1]算子,分别在RGB三个通道上计算梯度,取梯度幅值最大的为最终的梯度幅值和梯度方向。统计4×4块内所有8个不同方向的值的和并求均值来得到各个方向相应的特征值,最后串联即得到一个4×4块内8个梯度方向特征Fg′。

RGB颜色通道的类哈尔特征计算方法为分别在3个通道里以相同的方法来计算特征。以R通道为例,计算4×4块中每个2×2个不重叠且相邻块的和,可得4个值,设为B0,B1,B2,B3(顺序为从左到右,从上到下),特征计算公式如下:

ll=B0+B1+B2+B3 (4)

Fh=[ll lh hl hh] (8)

RGB颜色通道的类哈尔特征Fh′为将三个通道上的特征串联合并起来。

最终用于训练和检测的特征为

F=[Fq′Fh′] (9)

步骤二:利用所获得的检测在负样本中提取难例,然后将所得难例加入负样本并从中随机取出10000个负样本作为第二次训练的负样本,10000个负样本将这和之前5000个正样本训练一起训练得到分类器。

步骤三:将样本的尺寸缩放为72×144、76×152,再通过步骤一、二、三获得针对样本尺寸为72×144和76×152的检测参数。之后,对被检测为正样本的负样本进行再训练,即提取难例再训练,通过多次训练得到检测参数后,就可进行行人检测。

检测过程通过多尺度多窗口来进行检测,检测部分主要分为以下六个步骤:

步骤一:一开始先计算出整幅图像每个4x4窗口处的特征值,特征的计算方法和训练阶段步骤一的计算方法一致。

步骤二:通过求对应块差值的绝对值之和的块匹配算法来计算图像的视差信息,并根据视差值大小将图像分为背景区域和非背景区域。

步骤三:用尺寸为64×128的窗口在图像上滑动,且行列步进均为8,每滑动到某个位置,先判断窗口内非背景视差所占的比重,如果所占比重小则视为不包含行人,否则就提取图像中对应位置的特征,并利用对应的检测参数来判断是否为行人。所占比重大小的判断通过与预设比重进行比较来实现。

步骤四:将窗口尺寸改为72×144、76×152,重复步骤三。

步骤五:将图像以1.33比例进行上采样和下采样多次,下采样后的图像尺寸必须大于76×152,上采样后的图像根据实际需要进行限定。每次得到采样后的图像后再重复步骤一、二、三、四。

步骤六:将得到的判定为行人的窗口进行非极大值抑制后得到最终的结果。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1