非刚体目标检测方法及其系统的制作方法
【专利摘要】一种非刚体目标检测方法，包括对输入图像进行似物体检测，找出输入图像中可能存在似物体目标的矩形区域；通过预训练的非刚体目标模型对获得的每个矩形区域进行特征提取，获得每个矩形区域的HSC特征以及纹理特征；构成特征金子塔；对特征金字塔进行PCA投影，在低纬度的特征金子塔空间进行模式分类；对金字塔的每个尺度，分别用每个root进行卷积，得到每层金字塔层的root得分图；在root层的每个对应的part层，用所有part滤波器进行卷积，得到所有part的得分图；距离转换重构每个root对应的所有part得分，同模型的阈值进行比较判断，得到矩形区域的非刚体目标的位置。本发明检测效果佳，速度既快且漏检率低。
【专利说明】非刚体目标检测方法及其系统
【技术领域】
[0001]本发明属于目标检测【技术领域】，尤其涉及一种非刚体目标检测方法及其系统。
【背景技术】
[0002]目标检测是计算机视觉领域内一项基础性的工作。由于待检测的目标外表可能千差万别，使得此项工作变得有些复杂。而且，变化不仅来自亮度和视角，还有由于目标不是刚体而引起的形变，以及同一类目标的形状和其他视觉上的变化。例如，人可能穿不同的衣月艮，做不同的姿势，车可能有不同的形状和颜色。而目前常用的目标检测方法经常采用一些简单的模型，例如固定的刚体模板或者特征袋模型来表征物体，这显然不足以表示一个变化丰富的非刚体目标。
[0003]在目标检测领域，由于HOG特征的引入，发生了翻天覆地的变化，目前主流行人检测器，比如Dala1- Triggs的行人检测器，流行的DPM行人检测器，Exemplar - SVM模型检测器等都是采用的HOG系列特征。但是HOG特征只是一种基于梯度的特征，不能很好的表示其他更丰富的模式，比如颜色，纹理等。总之，采用哪种特征学习来做检测是一个非常重要的基础课题。
[0004]另外，sliding window策略是目标检测中最常用的检测方式，我们需要遍历图像中的每个点以及获取以该点为起始点的不同大小矩形窗口的某种特征信息，然后依靠所采用的评分方式对该检索窗口进行估分，从而判断当前检测位置是否是目标。可以清楚的看到，这样的遍历空间是巨大的。目前虽然也有一些降低目标检索空间的方法，比如Efficient Subwindow Search等，但是效果有限，而且最终得到的mAP值并不是太理想。
【发明内容】
[0005]基于此，针对上述技术问题，提供一种无牌车辆违章检测方法及其检测系统。
[0006]为解决上述技术问题，本发明采用如下技术方案:
[0007]一种非刚体目标检测方法，包括:
[0008]采用selective search reg1n proposals算法对输入图像进行似物体检测，找出输入图像中可能存在似物体目标的矩形区域；
[0009]通过预训练的非刚体目标模型对获得的每个矩形区域进行特征提取，获得每个矩形区域的HSC特征以及纹理特征，所述非刚体目标模型为融合纹理特征的HSC特征模型，其由加入纹理特征的HSC特征样本训练构成；
[0010]按照HSC特征以及纹理特征的分辨率以金字塔形状排列每个矩形区域的HSC特征以及纹理特征，构成特征金子塔；
[0011]对所述特征金字塔进行PCA投影，在低玮度的特征金子塔空间进行模式分类；
[0012]对金字塔的每个尺度，分别用每个root进行卷积，得到每层金字塔层的root得分图；
[0013]在root层的每个对应的part层，用所有part滤波器进行卷积，得到所有part的得分图；
[0014]距离转换重构每个root对应的所有part得分，减去偏移惩罚，综合各个模型以及各个组件的结果，得到各个位置的最终得分，同模型的阈值进行比较判断，得到所述矩形区域的非刚体目标的位置。
[0015]该方法在所述通过预训练的非刚体目标模型对获得的每个矩形区域进行特征提取步骤前，先对每个矩形区域进行边缘扩展。
[0016]本方案还涉及一种非刚体目标检测系统，包括:
[0017]似物体检测单元，用于采用selective search reg1n proposals算法对输入图像进行似物体检测，找出输入图像中可能存在似物体目标的矩形区域；
[0018]特征提取单元，用于通过预训练的非刚体目标模型对获得的每个矩形区域进行特征提取，获得每个矩形区域的HSC特征以及纹理特征，所述非刚体目标模型为融合纹理特征的HSC特征模型，其由加入纹理特征的HSC特征样本训练构成；
[0019]特征金字塔构建单元，用于按照HSC特征以及纹理特征的分辨率以金字塔形状排列每个矩形区域的HSC特征以及纹理特征，构成特征金子塔；
[0020]模式分类单元，用于对所述特征金字塔进行PCA投影，在低玮度的特征金子塔空间进行模式分类；
[0021]root得分计算单元，用于对金字塔的每个尺度，分别用每个root进行卷积，得到每层金字塔层的root得分图；
[0022]part得分计算单元，用于在root层的每个对应的part层，用所有part滤波器进行卷积，得到所有part的得分图；
[0023]非刚体目标判断单元，用于距离转换重构每个root对应的所有part得分，减去偏移惩罚，综合各个模型以及各个组件的结果，得到各个位置的最终得分，同模型的阈值进行比较判断，得到所述矩形区域的非刚体目标的位置。
[0024]本方案还包括边缘扩展单元，用于在所述通过预训练的非刚体目标模型对获得的每个矩形区域进行特征提取前，先对每个矩形区域进行边缘扩展。
[0025]本发明具有以下优点:
[0026]1、与现有的hog特征相比，加入纹理的变种HSC特征训练后的非刚体目标模型对行人等几类形变比较大的常见非刚体目标具有更强的表征能力，检测效果较hog，更佳。
[0027]2，目标的检索空间变小了很多，并且几乎所有的可能存在目标的区域都得到了检索，所以算法运行速度既快且漏检率更低。
[0028]3，能够更好的处理变形大的非刚体目标，并且对存在部分遮挡的目标检测效果明显增强。
【专利附图】
【附图说明】
[0029]下面结合附图和【具体实施方式】本发明进行详细说明:
[0030]图1为本发明的一种非刚体目标检测方法的流程图；
[0031]图2为本发明的一种非刚体目标检测系统的结构示意图。
【具体实施方式】
[0032]如图1所示，一种非刚体目标检测方法，包括:
[0033]S101、采用selective search reg1n proposals算法对输入图像进行似物体检测，找出输入图像中可能存在似物体目标的矩形区域。
[0034]具体的，可采用以下算法找出矩形区域:
[0035]selective search reg1n proposals 算法(Selective search for objectrecognit1n.1JCV, 2013)；
[0036]objectness 算法(Measuring the objectness of image windows.TPAMI, 2012)；
[0037]category-1ndependent object proposals算法(Category independent objectproposals.1n ECCV2010)；
[0038]onstrained arametric min-cuts (CPMC)算法(Automatic object segmtat1nusing constrained parametric min-cuts.TPAMI, 2012.)。
[0039]S102、在利用非刚体目标模型对矩形区域提取特征之前，可以先对每个矩形区域进行边缘扩展，因为似物体检测得到的一些结果可能刚好在某一方向边缘分割的比较紧凑，不太适合做特定的目标模式分类。
[0040]S103、通过预训练的非刚体目标模型对获得的每个矩形区域进行特征提取，获得每个矩形区域的HSC特征以及纹理特征。
[0041]非刚体目标模型为融合纹理特征的HSC特征模型，其由加入纹理特征的HSC特征样本训练构成。
[0042]具体地，非刚体目标模型的离线训练学习的方法包括以下四个迭代环节:
[0043]1、根滤波器的初始化。参考训练数据的边界盒的统计数值，自动选择根滤波器的尺寸，通过训练一个不带隐含变量的SVM得到一个初始根滤波器H)，正例为未被遮挡的训练样本。
[0044]2、根滤波器的更新。给定训练得到的初始根滤波器，对每个训练集的边界盒为过滤器挑选一个最高分的位置，通过训练的正例和原始的随机负例得到新的F0，迭代两次。
[0045]3、部件滤波器的初始化。从训练得到的根滤波器寻找六个部件启发式方法:首先选择面积a，满足6a的面积与根滤波器的面积相等。从根滤波器中贪婪搜索选择一个面积为a的矩形区域，该区域拥有最大的能量。正能量表示为该区域的所有cel I的正权重范式平方之和。将该区域的所有权重置O并继续选择，直到选出六个矩形区域。部件滤波器的初始值为其所在根滤波器子窗口的权值。
[0046]4、模型更新。建立新的训练数据三元组用于模型训练，调整所有部件窗口使之与边界盒重叠至少百分之五十。再此基础上更新的步骤如下:设置一个固定大小的cache，选择得分最高的位置作为这个边界盒的正样本，cache中更新正样本。在不包含目标物体的图像中检测高得分的位置作为负样本。向cache添加最大数目的负样本，对cache的样本进行SVM训练得到新的模型。按照以上方法迭代更新模型十次。在每次迭代中保留先前缓冲区难样本，并增加尽量多的难样本。迭代完成后，可以获得模型的所有参数。
[0047]S104、按照HSC特征以及纹理特征的分辨率以金字塔形状排列每个矩形区域的HSC特征以及纹理特征，构成特征金子塔，金字塔的底部是高分辨率的特征，而顶部是低分辨率的特征，当向金字塔的上层移动时，尺寸和分辨率就降低。
[0048]S105、对特征金字塔进行PCA投影，在低玮度的特征金子塔空间进行模式分类。
[0049]模式分类是指对表征事物或现象的各种形式的，数值的，文字的和逻辑关系的信息处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程，是信息科学和人工智能的重要组成部分。
[0050]S106、对金字塔的每个尺度，分别用每个root进行卷积，得到每层金字塔层的root得分图。
[0051]其中，每个root是指每个根滤波器。
[0052]S107、在root层的每个对应的part层，用所有part滤波器进行卷积，得到所有part的得分图。
[0053]S108、距离转换重构每个root对应的所有part得分，减去偏移惩罚，综合各个模型以及各个组件的结果，得到各个位置的最终得分，同模型的阈值进行比较判断，得到矩形区域的非刚体目标的位置。
[0054]其中，各个模型是指训练时采用的几个根滤波器，本实施例采用6个混合模型来做训练，每个模型又由8个组件构成。
[0055]如图2所示，本方案还涉及一种非刚体目标检测系统，包括似物体检测单元11、边缘扩展单元12、特征提取单元13、特征金字塔构建单元14、模式分类单元15、root得分计算单元16、part得分计算单元17以及非刚体目标判断单元18。
[0056]似物体检测单元11，用于对输入图像进行似物体检测，找出输入图像中可能存在似物体目标的矩形区域。
[0057]具体的，可采用以下算法找出矩形区域:
[0058]selective search reg1n proposals 算法(Selective search for objectrecognit1n.1JCV, 2013)；
[0059]objectness 算法(Measuring the objectness of image windows.TPAMI, 2012)；
[0060]category-1ndependent object proposals算法(Category independent objectproposals.1n ECCV2010)；
[0061]onstrained arametric min-cuts (CPMC)算法(Automatic object segmtat1nusing constrained parametric min-cuts.TPAMI, 2012.)。
[0062]边缘扩展单元12，用于在利用非刚体目标模型对矩形区域提取特征之前，先对每个矩形区域进行边缘扩展，因为似物体检测得到的一些结果可能刚好在某一方向边缘分割的比较紧凑，不太适合做特定的目标模式分类。
[0063]特征提取单元13，用于通过预训练的非刚体目标模型对获得的每个矩形区域进行特征提取，获得每个矩形区域的HSC特征以及纹理特征，非刚体目标模型为融合纹理特征的HSC特征模型，其由加入纹理特征的HSC特征样本训练构成。
[0064]具体地，非刚体目标模型的离线训练学习的方法包括以下四个迭代环节:
[0065]1、根滤波器的初始化。参考训练数据的边界盒的统计数值，自动选择根滤波器的尺寸，通过训练一个不带隐含变量的SVM得到一个初始根滤波器H)，正例为未被遮挡的训练样本。
[0066]2、根滤波器的更新。给定训练得到的初始根滤波器，对每个训练集的边界盒为过滤器挑选一个最高分的位置，通过训练的正例和原始的随机负例得到新的F0，迭代两次。
[0067]3、部件滤波器的初始化。从训练得到的根滤波器寻找六个部件启发式方法:首先选择面积a，满足6a的面积与根滤波器的面积相等。从根滤波器中贪婪搜索选择一个面积为a的矩形区域，该区域拥有最大的能量。正能量表示为该区域的所有cel I的正权重范式平方之和。将该区域的所有权重置O并继续选择，直到选出六个矩形区域。部件滤波器的初始值为其所在根滤波器子窗口的权值。
[0068]4、模型更新。建立新的训练数据三元组用于模型训练，调整所有部件窗口使之与边界盒重叠至少百分之五十。再此基础上更新的步骤如下:设置一个固定大小的cache，选择得分最高的位置作为这个边界盒的正样本，cache中更新正样本。在不包含目标物体的图像中检测高得分的位置作为负样本。向cache添加最大数目的负样本，对cache的样本进行SVM训练得到新的模型。按照以上方法迭代更新模型十次。在每次迭代中保留先前缓冲区难样本，并增加尽量多的难样本。迭代完成后，可以获得模型的所有参数。
[0069]特征金字塔构建单元14，用于按照HSC特征以及纹理特征的分辨率以金字塔形状排列每个矩形区域的HSC特征以及纹理特征，构成特征金子塔，金字塔的底部是高分辨率的特征，而顶部是低分辨率的特征，当向金字塔的上层移动时，尺寸和分辨率就降低。
[0070]模式分类单元15，用于对特征金字塔进行PCA投影，在低玮度的特征金子塔空间进行模式分类。
[0071]模式分类是指对表征事物或现象的各种形式的，数值的，文字的和逻辑关系的信息处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程，是信息科学和人工智能的重要组成部分。
[0072]root得分计算单元16，用于对金字塔的每个尺度，分别用每个root进行卷积，得到每层金字塔层的root得分图。
[0073]其中，每个root是指每个根滤波器。
[0074]part得分计算单元17，用于在root层的每个对应的part层，用所有part滤波器进行卷积，得到所有part的得分图；
[0075]非刚体目标判断单元18，用于距离转换重构每个root对应的所有part得分，减去偏移惩罚，综合各个模型以及各个组件的结果，得到各个位置的最终得分，同模型的阈值进行比较判断，得到所述矩形区域的非刚体目标的位置。
[0076]其中，各个模型是指训练时采用的几个根滤波器，本实施例采用6个混合模型来做训练，每个模型又由8个组件构成。
[0077]但是，本【技术领域】中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。
【权利要求】
1.一种非刚体目标检测方法，其特征在于，包括: 对输入图像进行似物体检测，找出输入图像中可能存在似物体目标的矩形区域； 通过预训练的非刚体目标模型对获得的每个矩形区域进行特征提取，获得每个矩形区域的HSC特征以及纹理特征，所述非刚体目标模型为融合纹理特征的HSC特征模型，其由加入纹理特征的HSC特征样本训练构成； 按照HSC特征以及纹理特征的分辨率以金字塔形状排列每个矩形区域的HSC特征以及纹理特征，构成特征金子塔； 对所述特征金字塔进行PCA投影，在低玮度的特征金子塔空间进行模式分类； 对金字塔的每个尺度，分别用每个root进行卷积，得到每层金字塔层的root得分图； 在root层的每个对应的part层，用所有part滤波器进行卷积，得到所有part的得分图； 距离转换重构每个root对应的所有part得分，减去偏移惩罚，综合各个模型以及各个组件的结果，得到各个位置的最终得分，同模型的阈值进行比较判断，得到所述矩形区域的非刚体目标的位置。
2.根据权利要求1所述的一种非刚体目标检测方法，其特征在于，该方法在所述通过预训练的非刚体目标模型对获得的每个矩形区域进行特征提取步骤前，先对每个矩形区域进行边缘扩展。
3.一种非刚体目标检测系统，其特征在于，包括: 似物体检测单元，用于采用selective search reg1n proposals算法对输入图像进行似物体检测，找出输入图像中可能存在似物体目标的矩形区域； 特征提取单元，用于通过预训练的非刚体目标模型对获得的每个矩形区域进行特征提取，获得每个矩形区域的HSC特征以及纹理特征，所述非刚体目标模型为融合纹理特征的HSC特征模型，其由加入纹理特征的HSC特征样本训练构成； 特征金字塔构建单元，用于按照HSC特征以及纹理特征的分辨率以金字塔形状排列每个矩形区域的HSC特征以及纹理特征，构成特征金子塔； 模式分类单元，用于对所述特征金字塔进行PCA投影，在低玮度的特征金子塔空间进行模式分类； root得分计算单元，用于对金字塔的每个尺度，分别用每个root进行卷积，得到每层金字塔层的root得分图； part得分计算单元，用于在root层的每个对应的part层，用所有part滤波器进行卷积，得到所有part的得分图； 非刚体目标判断单元，用于距离转换重构每个root对应的所有part得分，减去偏移惩罚，综合各个模型以及各个组件的结果，得到各个位置的最终得分，同模型的阈值进行比较判断，得到所述矩形区域的非刚体目标的位置。
4.根据权利要求3所述的一种非刚体目标检测系统，其特征在于，还包括边缘扩展单元，用于在所述通过预训练的非刚体目标模型对获得的每个矩形区域进行特征提取前，先对每个矩形区域进行边缘扩展。
【文档编号】G06K9/62GK104504381SQ201510012127
【公开日】2015年4月8日 申请日期:2015年1月9日 优先权日:2015年1月9日
【发明者】邱志明, 张如高, 赵晓萌, 虞正华, 彭莉, 张伟 申请人:博康智能网络科技股份有限公司