移动终端及其目标检测方法及装置与流程

本发明涉及计算机视觉和机器学习技术领域，特别是涉及一种移动终端及其目标检测方法及装置。

相关术语解释

Histogram of Oriented Gradient——HOG——梯度方向直方图；

Support Vector Machine——SVM——支持向量机；

Convolutional Neural Network——CNN——卷积神经网络；

Deformable Part-based Model——DPM——基于部件的变形模型；

Cascade——级联；

Image Pyramids——图像金字塔；

Feature Pyramids——特征金字塔；

Haar——哈尔。

背景技术：

当前，包括智能手机、平板电脑在内的许多产品，都会带有目标检测的功能，例如人手检测、人脸检测、行人检测等。

以人手检测为例，人手检测的主要目的，是在图像和视频中检测出人手的目标实例，可应用于手势识别、人机交互等。

目标检测与识别是计算机视觉领域一个极具挑战性的课题，目标检测是目标识别的前提，可以直接影响识别成功率的大小。作为手势识别的初始化步骤，人手检测也不例外。

现有技术中存在多种目标识别和检测的方法，按照模型来区分的话，主流的方案有：

1)自提升级联模型(AdaBoost Cascaded Model)，主要和哈尔特征一起 应用于人脸检测(Face Detection)领域。该方案使用简单的哈尔特征学习许多简单的弱分类器(Weak Classifier)，在训练阶段不断调整被错误分类样本的权重，最后通过加权平均来获得最终分类器。在实际检测时采用级联结构，每一层滤掉大部分非人脸候选，同时让大部分人脸候选通过，从而加速检测。

2)支持向量机(Support Vector Machine，SVM)，主要和梯度方向直方图(Histogram of Oriented Gradient，HOG)特征一起应用于行人检测(Pedestrian Detection)领域。该方案计算稠密的梯度方向特征，使用简单的线性SVM对高维的HOG描述子进行分类就能取得很好的效果。

3)卷积神经网络(Convolutional Neural Network，CNN)是近年大热的方法，适用于泛化目标(Generalized Object)的检测与识别。对输入图像进行多层的卷积、池化操作，再通过Softmax分类器进行分类即完成检测过程。尽管实现的过程近似于“黑盒”，但结果却超过了其他方法。

4)基于部件的变形模型(Deformable Part-based Model，DPM)，主要和梯度方向直方图(HOG)特征一起应用于泛化目标的检测与识别，尤其适合对非刚性目标的检测和识别。该方法的核心要素，是将部件相对位置和整体位置视为隐变量，使用隐形SVM(Latent-SVM)完成半监督学习。该方法也可以实现级联检测，在不影响检测质量的前提下，可以实现一个数量级的速度提升。这是目前最好的目标检测方法之一。

发明人发现，上述现有技术的方案存在一定的缺陷，具体如下：

关于上述方案1)，哈尔特征与自提升级联模型目前主要在人脸检测上取得了成功，从现有公开的论文、专利来看，在其他类别的目标检测中未必表现最好，有一定的局限性。主要原因是哈尔特征适用于纹理信息丰富的目标，却未必适用于边缘轮廓信息丰富的目标，如行人。

关于上述方案2)，HOG特征和SVM分类器实现的行人检测器效果较好，但对变形或是侧面视角的行人目标的处理是它的弊端。究其原因，是因为没有针对变形和多视角的处理机制。

关于上述方案3)，CNN模型和Softmax分类器实现的泛化目标检测器，在现有的标准数据集如：Visual Object Classes Challenge、ImageNet上的检测 结果好于其他方法，同时也低于人类视觉系统的检测水平。但这类方法的操作近似“黑盒”，针对特定目标的检测、调参也需要耗费极大的人力。从目前的趋势来看，这类方法还需要进一步完善和改进。

关于上述方案4)，基于DPM模型和HOG特征的检测器，虽然适用于变形和多视角的目标。但计算复杂度高、计算量大的问题影响了它的实际应用。尤其是对于以智能手机为代表移动终端而言，由于智能手机的运算能力远不如大型计算机，因此，该方案由于其计算复杂度高、计算量大的问题目前还无法在智能手机等移动终端上应用。

具体地，基于DPM模型和HOG特征的目标检测方法，在进行检测时，可以采用级联检测的方式。

在介绍级联检测前，先简单说明经典检测方案的算法流程。经典检测方案是遍历所有的组件和尺度，如式8对根滤波器与特征进行模板匹配运算。再如式9对所有部件滤波器与特征进行的模板匹配运算，并使用距离变换(Distance Transform)的方法减去对应的变形代价(Deformation Cost)。最后所有的变形部件响应图(Deformed Part Score)会累加到根响应图(Root Score)上。完成累加后，会在最终的根响应图上进行如式10的阈值操作和非极值抑制操作，从而给出检测结果。

式8：RS_cs＝TM(R_c,F_s)

式9：RS_cs←RS_cs+DT_1≤q≤Q(TM(P_cq,F_s),D_cq)

其中，R_c代表组件c的根滤波器(Root Filter)，F_s代表尺度s的特征图像，RS_cs是R_c和F_s进行模板匹配生成的根响应图(Root Score)。P_cq代表组件c的第q个部件滤波器(Part Filter)，D_cq代表组件c第q个部件的变性参数。TM代表模板匹配(Template Matching)操作，DT代表距离变换(Distance Transform)操作。

式10：Pos＝NMS(RS>T)(10)

其中，RS代表最终的根响应图，T代表阈值，NMS代表非极值抑制(Non Maximum Suppression)，Pos是输出的检测结果。

由于经典检测方案需要遍历整个特征金字塔，并计算所有的部件响应值 (Part Score)和对应的变形代价(Deformation Cost)。这种策略的计算复杂度很高，影响了DPM方法的实际应用。

级联检测模型是在经典检测模型的基础上，训练出一组阈值用于检测阶段的快速计算。首先是确定级联次序，即级联检测时累加部件滤波器响应值的顺序。计算训练样本中所有部件滤波器的响应值，再依据信息熵理论，先选出方差大的部件滤波器，直至选出所有部件滤波器。

确定级联顺序后，依次累加根滤波器的响应值和各个部件滤波器的响应值。同时根据概率近似正确(Probably Approximately Correct，PAC)原则计算出阈值(假设修剪的阈值和变形修剪的阈值)。如式11、式12所示：

式11：

式12：

其中，q∈{1,2,...,Q}是级联检测的阶段索引值，Ω是训练样本集，R是根响应图像，P是部件响应图像，D是变形代价图像，Th是假设修剪(Hypothesis Pruning)的阈值，Td是变形修剪(Deformation Pruning)的阈值。

级联检测中，依据事先确定的级联顺序，依次累加所述根滤波器的样本的响应值和各个所述部件滤波器的样本的响应值，得到关于目标位置的候选窗口；在所述依次累加所述根滤波器的样本的响应值和各个所述部件滤波器的样本的响应值的过程中，依据所述假设修剪的阈值和变形修剪的阈值对累加后的响应值进行假设修剪和变形修剪。

上述方案尽管已经通过级联检测的方式降低了处理过程中所涉及的计算复杂度和计算量，但对于智能手机等移动终端的计算能力而言，仍然过大。

技术实现要素：

本发明解决的技术问题是：对于基于DPM模型和HOG特征的目标检测方法，如何使得其处理过程中所涉及的计算复杂度和计算量能够在智能手机等移动终端所允许的范围之内。

为了解决上述技术问题，本发明实施例提供一种目标检测方法，包括：

训练目标的根滤波器和多个部件滤波器，得到关于目标的根滤波器的样 本和各个部件滤波器的样本；

采用基于部件的变形模型和级联检测的方式进行搜索，确定目标位置；

所述采用基于部件的变形模型和级联检测的方式进行搜索包括：

计算训练的所述根滤波器的样本的响应值，计算训练的各个所述部件滤波器的样本的响应值；

确定级联顺序；

计算出假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值；

依据所述级联顺序，依次累加所述根滤波器的样本的响应值和各个所述部件滤波器的样本的响应值，得到关于目标位置的候选窗口；在所述依次累加所述根滤波器的样本的响应值和各个所述部件滤波器的样本的响应值的过程中，依据所述近似正样本修剪的阈值和近似负样本修剪的阈值对累加后的响应值进行近似正样本修剪和近似负样本修剪；

依据所述关于目标位置的候选窗口，确定目标位置。

可选的，所述计算出假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值包括：

采用以下公式计算出假设修剪的阈值：

其中，q∈{1,2,...,Q}为级联检测的阶段索引值，Ω为训练样本集，R为根响应图像，P为部件响应图像，D为变形代价图像。

可选的，所述计算出假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值包括：

采用以下公式计算出变形修剪的阈值：

其中，q∈{1,2,...,Q}为级联检测的阶段索引值，Ω为训练样本集，R为根响应图像，P为部件响应图像，D为变形代价图像。

可选的，所述计算出假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值包括：

采用以下公式计算出近似正样本修剪的阈值：

其中，q∈{1,2,...,Q}为级联检测的阶段索引值，Ω为训练样本集，p为当前像素点，p′为邻域内任一像素点，N(p)为当前像素点的邻域，S为响应图像。

可选的，所述计算出假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值包括：

采用以下公式计算出近似负样本修剪的阈值：

其中，q∈{1,2,...,Q}为级联检测的阶段索引值，Ω为训练样本集，p为当前像素点，p′为邻域内任一像素点，N(p)为当前像素点的邻域，S为响应图像。

可选的，所述确定级联顺序为：使用贪婪算法确定级联顺序。

可选的，所述计算出假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值为：根据概率近似正确原则计算出假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值。

可选的，所述依据所述级联顺序，依次累加所述根滤波器的样本的响应值和所述部件滤波器的样本的响应值，得到关于目标位置的候选窗口包括：

步骤a)在所述根滤波器的样本的响应值的基础上，依据所述级联顺序，依次累加各个部件滤波器的样本的响应值；

步骤b)在累加部件滤波器的样本的响应值之后，依据所述假设修剪的阈 值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值对累加后的响应值进行假设修剪、变形修剪、近似正样本修剪和近似负样本修剪；

重复上述步骤a)至b)，直至累加完各个部件滤波器的样本的响应值，得到关于目标位置的候选窗口。

可选的，所述依据所述近似正样本修剪的阈值和近似负样本修剪的阈值对累加后的响应值进行近似正样本修剪和近似负样本修剪包括：

采用以下公式进行近似正样本修剪：

其中，p为当前像素点，N(p)为当前像素点的邻域，p′为邻域内任一像素点，S(p)为当前像素点的响应值，Tp_q为第q个近似正样本修剪的阈值，prune代表修剪操作。

可选的，所述依据所述近似正样本修剪的阈值和近似负样本修剪的阈值对累加后的响应值进行近似正样本修剪和近似负样本修剪包括：

采用以下公式进行近似负样本修剪：

其中，p为当前像素点，N(p)为当前像素点的邻域，p′为邻域内任一像素点，S(p)为当前像素点的响应值，Tn_q为第q个近似负样本修剪的阈值，prune代表修剪操作。

可选的，所述训练目标的根滤波器和多个部件滤波器，得到关于目标的根滤波器的样本和各个部件滤波器的样本包括：对于根滤波器/每一个部件滤波器，

使用标准的支持向量机训练出初始根滤波器/部件滤波器；

使用隐变量支持向量机对所述初始根滤波器/部件滤波器继续训练，迭代若干次后得到根滤波器/部件滤波器的样本。

可选的，所述使用隐变量支持向量机对所述初始根滤波器/部件滤波器继续训练包括：使用隐变量支持向量机对所述初始根滤波器/部件滤波器进行重 选正样本、数据挖掘和随机梯度下降法优化。

可选的，在所述得到关于目标位置的候选窗口之后，在所述确定目标位置之前，还包括：

对所述候选窗口进行非极值抑制操作。

为了解决上述技术问题，本发明实施例还提供一种目标检测装置，包括：样本训练单元和目标搜索单元；其中：

样本训练单元，适于训练目标的根滤波器和多个部件滤波器，得到关于目标的根滤波器的样本和各个部件滤波器的样本；

目标搜索单元，适于采用基于部件的变形模型和级联检测的方式进行搜索，确定目标位置；

所述目标搜索单元包括：响应值计算子单元、级联顺序确定子单元、阈值计算子单元、响应值累加子单元和目标位置确定子单元；其中：

响应值计算子单元，适于计算训练的所述根滤波器的样本的响应值，计算训练的各个所述部件滤波器的样本的响应值；

级联顺序确定子单元，适于确定级联顺序；

阈值计算子单元，适于计算出假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值；

响应值累加子单元，适于依据所述级联顺序，依次累加所述根滤波器的样本的响应值和各个所述部件滤波器的样本的响应值，得到关于目标位置的候选窗口；在所述依次累加所述根滤波器的样本的响应值和各个所述部件滤波器的样本的响应值的过程中，依据所述近似正样本修剪的阈值和近似负样本修剪的阈值对累加后的响应值进行近似正样本修剪和近似负样本修剪；

目标位置确定子单元，适于依据所述关于目标位置的候选窗口，确定目标位置。

可选的，所述阈值计算子单元计算出假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值包括：

采用以下公式计算出假设修剪的阈值：

其中，q∈{1,2,...,Q}为级联检测的阶段索引值，Ω为训练样本集，R为根响应图像，P为部件响应图像，D为变形代价图像。

可选的，所述阈值计算子单元计算出假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值包括：

采用以下公式计算出变形修剪的阈值：

其中，q∈{1,2,...,Q}为级联检测的阶段索引值，Ω为训练样本集，R为根响应图像，P为部件响应图像，D为变形代价图像。

可选的，所述阈值计算子单元计算出假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值包括：

采用以下公式计算出近似正样本修剪的阈值：

其中，q∈{1,2,...,Q}为级联检测的阶段索引值，Ω为训练样本集，p为当前像素点，p′为邻域内任一像素点，N(p)为当前像素点的邻域，S为响应图像。

可选的，所述阈值计算子单元计算出假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值包括：

采用以下公式计算出近似负样本修剪的阈值：

其中，q∈{1,2,...,Q}为级联检测的阶段索引值，Ω为训练样本集，p为当前像素点，p′为邻域内任一像素点，N(p)为当前像素点的邻域，S为响应图像。

可选的，所述级联顺序确定子单元确定级联顺序为：使用贪婪算法确定 级联顺序。

可选的，所述阈值计算子单元计算出假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值为：根据概率近似正确原则计算出假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值。

可选的，所述响应值累加子单元依据所述级联顺序，依次累加所述根滤波器的样本的响应值和所述部件滤波器的样本的响应值，得到关于目标位置的候选窗口包括：

步骤a)在所述根滤波器的样本的响应值的基础上，依据所述级联顺序，依次累加各个部件滤波器的样本的响应值；

步骤b)在累加部件滤波器的样本的响应值之后，依据所述假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值对累加后的响应值进行假设修剪、变形修剪、近似正样本修剪和近似负样本修剪；

重复上述步骤a)至b)，直至累加完各个部件滤波器的样本的响应值，得到关于目标位置的候选窗口。

可选的，所述响应值累加子单元依据所述近似正样本修剪的阈值和近似负样本修剪的阈值对累加后的响应值进行近似正样本修剪和近似负样本修剪包括：

采用以下公式进行近似正样本修剪：

其中，p为当前像素点，N(p)为当前像素点的邻域，p′为邻域内任一像素点，S(p)为当前像素点的响应值，Tp_q为第q个近似正样本修剪的阈值，prune代表修剪操作。

可选的，所述响应值累加子单元依据所述近似正样本修剪的阈值和近似负样本修剪的阈值对累加后的响应值进行近似正样本修剪和近似负样本修剪包括：

采用以下公式进行近似负样本修剪：

其中，p为当前像素点，N(p)为当前像素点的邻域，p′为邻域内任一像素点，S(p)为当前像素点的响应值，Tn_q为第q个近似负样本修剪的阈值，prune代表修剪操作。

可选的，所述样本训练单元训练目标的根滤波器和多个部件滤波器，得到关于目标的根滤波器的样本和各个部件滤波器的样本包括：对于根滤波器/每一个部件滤波器，

使用标准的支持向量机训练出初始根滤波器/部件滤波器；

使用隐变量支持向量机对所述初始根滤波器/部件滤波器继续训练，迭代若干次后得到根滤波器/部件滤波器的样本。

可选的，所述目标搜索单元还包括：

非极值抑制子单元，适于在所述得到关于目标位置的候选窗口之后，在所述确定目标位置之前，对所述候选窗口进行非极值抑制操作。

为了解决上述技术问题，本发明实施例还提供一种移动终端，包括上述目标检测装置。

可选的，所述移动终端为智能手机或平板电脑。

与现有技术相比，本发明的技术方案具有以下有益效果：

在现有技术中基于DPM模型和HOG特征的目标检测方法的基础上进行了改进，在采用基于部件的变形模型和级联检测的方式进行搜索的过程中，预先计算出近似正样本修剪的阈值和近似负样本修剪的阈值，依据所述近似正样本修剪的阈值和近似负样本修剪的阈值对累加后的响应值进行近似正样本修剪和近似负样本修剪，从而减小了后续迭代过程中的运算量，使得基于DPM模型和HOG特征的目标检测方法所涉及的计算复杂度和计算量能够在智能手机等移动终端所允许的范围之内。

进一步地，根据概率近似正确原则计算出假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值，从而提高阈值计算的精度和效率。

进一步地，在训练目标的根滤波器/部件滤波器的过程中，在使用标准的支持向量机训练出初始根滤波器/部件滤波器的基础上，进一步使用隐变量支持向量机对所述初始根滤波器/部件滤波器采用重选正样本、数据挖掘和随机梯度下降法优化的方式继续训练，迭代若干次后得到根滤波器/部件滤波器的样本，从而提高根滤波器/部件滤波器样本的精度，以便于降低后续目标搜索过程中的计算复杂度和计算量。

附图说明

图1为本发明实施例中目标检测方法流程图；

图2为本发明实施例中基于部件的变形模型和级联检测的方式进行搜索方法流程图；

图3为本发明实施例中累加根滤波器/部件滤波器的样本的响应值方法流程图；

图4为本发明实施例中目标检测装置结构框图；

图5为本发明实施例中另一种目标检测方法流程图；

图6为本发明实施例中提取HOG特征方法流程图。

具体实施方式

根据背景技术部分的分析可知，基于DPM模型和HOG特征的目标检测方法(即方案4))在使用级联检测技术时，可以在不影响检测质量的前提下，实现一个数量级的检测速度提升，是目前最好的目标检测方法之一。

但该方案计算复杂度高、计算量大的问题影响了它的实际应用。尤其是对于以智能手机为代表移动终端而言，由于智能手机的运算能力远不如大型计算机，因此，该方案由于其计算复杂度高、计算量大的问题目前还无法在智能手机等移动终端上应用。

发明人针对该方案计算复杂度高、计算量大的缺陷进行了改进。在采用基于部件的变形模型和级联检测的方式进行搜索的过程中，预先计算出近似正样本修剪的阈值和近似负样本修剪的阈值，依据所述近似正样本修剪的阈值和近似负样本修剪的阈值对累加后的响应值进行近似正样本修剪和近似负 样本修剪。

发明人经研究后提出：在依次累加所述根滤波器的样本的响应值和各个所述部件滤波器的样本的响应值的过程中，可以进行近似正样本修剪(当前像素点的邻域中，存在响应值高出当前点足够多的像素点时，将修剪当前像素点)，这是因为，这部分像素即使不修剪，在后处理的非极值抑制中也会将其排除；还可以进行近似负样本修剪(当前像素点的响应值足够低时，将修剪当前像素点的邻域)，这是因为，在当前像素点的响应值很低的情况下，它的邻域内像素点的响应值通常也比较低，这部分像素即使不修剪，通常也会在对后续级联的修剪中被修剪。本发明将后续必然被修剪、或者是极有可能被修剪的像素点提前修剪，可以减少对这部分后续必然被修剪、或者是极有可能被修剪的像素点的无意义的计算，因而降低了计算复杂度和计算量，使得基于DPM模型和HOG特征的目标检测方法所涉及的计算复杂度和计算量能够在智能手机等移动终端所允许的范围之内。

为使本领域技术人员更好地理解和实现本发明，以下参照附图，通过具体实施例进行详细说明。

实施例一

如下所述，本发明实施例提供一种目标检测方法。

本实施例中的目标检测方法，在现有技术中基于DPM模型和HOG特征的目标检测方法的基础上进行了改进，大大减小了其实现过程中所涉及的计算复杂度和计算量，使得其处理过程中所涉及的计算复杂度和计算量能够在智能手机等移动终端所允许的范围之内。

本发明所提供的方案适用于泛化目标的检测，例如在人手检测、人脸检测、行人检测等领域均可适用。尤其适合对非刚性目标的检测。

参照图1所示的目标检测方法流程图：

基于DPM模型和HOG特征的目标检测方法包括：

S101，训练目标的根滤波器和多个部件滤波器，得到关于目标的根滤波器的样本和各个部件滤波器的样本。

基于DPM模型和HOG特征的目标检测方法需要先训练目标的根滤波器和多个部件滤波器，从而在后续的目标检测过程中，可以利用对这些根滤波器和部件滤波器响应值的累加值，来确定目标(在另一场景中的)位置。

在具体实施中，所述训练目标的根滤波器和多个部件滤波器，得到关于目标的根滤波器的样本和各个部件滤波器的样本可以包括：对于根滤波器/每一个部件滤波器，分别执行以下步骤：

使用标准的支持向量机训练出初始根滤波器/部件滤波器；

使用隐变量支持向量机对所述初始根滤波器/部件滤波器继续训练，迭代若干次后得到根滤波器/部件滤波器的样本。

其中，所述使用隐变量支持向量机对所述初始根滤波器/部件滤波器继续训练具体可以包括：使用隐变量支持向量机对所述初始根滤波器/部件滤波器进行重选正样本、数据挖掘和随机梯度下降法优化。

通过以上对技术方案的描述可以看出：本实施例中，在训练目标的根滤波器/部件滤波器的过程中，在使用标准的支持向量机训练出初始根滤波器/部件滤波器的基础上，进一步使用隐变量支持向量机对所述初始根滤波器/部件滤波器采用重选正样本、数据挖掘和随机梯度下降法优化的方式继续训练，迭代若干次后得到根滤波器/部件滤波器的样本，从而提高根滤波器/部件滤波器样本的精度，以便于降低后续目标搜索过程中的计算复杂度和计算量。

S102，采用基于部件的变形模型和级联检测的方式进行搜索，确定目标位置。

其中，如图2所示，所述采用基于部件的变形模型和级联检测的方式进行搜索(即步骤S102)包括：

S201，计算训练的所述根滤波器的样本的响应值，计算训练的各个所述部件滤波器的样本的响应值。

计算得出的根滤波器的样本的响应值和各个所述部件滤波器的样本的响应值，会用于后续的步骤S202和步骤S204。

S202，确定级联顺序。

级联顺序，即级联检测过程中以何种顺序来依次累加根滤波器的样本的响应值和各个所述部件滤波器的样本的响应值。相对于经典检测方案而言(经典检测不涉及级联顺序)，可以提高后续的计算效率。

在具体实施中，可以使用贪婪算法来确定级联顺序。

S203，计算出假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值。

与现有技术的不同之处在于，现有技术在后续依次累加所述根滤波器的样本的响应值和各个所述部件滤波器的样本的响应值的过程中，通常只进行假设修剪和变形修剪，而不会进行近似正样本修剪和近似负样本修剪，因此，在此步骤中只需要计算假设修剪的阈值和变形修剪的阈值，而不会计算近似正样本修剪的阈值和近似负样本修剪的阈值。而本实施例在后续依次累加所述根滤波器的样本的响应值和各个所述部件滤波器的样本的响应值的过程中(即步骤S204)，需要进行假设修剪、变形修剪、近似正样本修剪和近似负样本修剪，因此，在此步骤中计算出假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值。

在具体实施中，所述计算出假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值可以包括：

采用以下公式计算出假设修剪的阈值：

其中，q∈{1,2,...,Q}为级联检测的阶段索引值，Ω为训练样本集，R为根响应图像，P为部件响应图像，D为变形代价图像；

采用以下公式计算出变形修剪的阈值：

其中，q∈{1,2,...,Q}为级联检测的阶段索引值，Ω为训练样本集，R为根响应图像，P为部件响应图像，D为变形代价图像；

采用以下公式计算出近似正样本修剪的阈值：

其中，q∈{1,2,...,Q}为级联检测的阶段索引值，Ω为训练样本集，p为当前像素点，p′为邻域内任一像素点，N(p)为当前像素点的邻域，S为响应图像；

采用以下公式计算出近似负样本修剪的阈值：

其中，q∈{1,2,...,Q}为级联检测的阶段索引值，Ω为训练样本集，p为当前像素点，p′为邻域内任一像素点，N(p)为当前像素点的邻域，S为响应图像。

以上公式采用概率近似正确(Probably Approximately Correct，PAC)原则来计算出假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值。可以理解的是，在其他实施例中，也可以采用其他方式得出上述阈值。

通过以上对技术方案的描述可以看出：本实施例中，根据概率近似正确原则计算出假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值，从而提高阈值计算的精度和效率。

S204，依据所述级联顺序，依次累加所述根滤波器的样本的响应值和各个所述部件滤波器的样本的响应值，得到关于目标位置的候选窗口。

与现有技术的不同之处在于，如前所述，现有技术在依次累加所述根滤波器的样本的响应值和各个所述部件滤波器的样本的响应值的过程中，通常只进行假设修剪和变形修剪，而不会进行近似正样本修剪和近似负样本修剪。而本实施例在依次累加所述根滤波器的样本的响应值和各个所述部件滤波器的样本的响应值的过程中，依据所述近似正样本修剪的阈值和近似负样本修剪的阈值对累加后的响应值进行近似正样本修剪和近似负样本修剪。

通过以上对技术方案的描述可以看出：本实施例中，在现有技术中基于 DPM模型和HOG特征的目标检测方法的基础上进行了改进，在采用基于部件的变形模型和级联检测的方式进行搜索的过程中，预先计算出近似正样本修剪的阈值和近似负样本修剪的阈值，依据所述近似正样本修剪的阈值和近似负样本修剪的阈值对累加后的响应值进行近似正样本修剪和近似负样本修剪，从而减小了后续迭代过程中的运算量，使得基于DPM模型和HOG特征的目标检测方法所涉及的计算复杂度和计算量能够在智能手机等移动终端所允许的范围之内。

可以理解的是，本实施例在进行近似正样本修剪和近似负样本修剪的基础上，也可以进行假设修剪和变形修剪。

在具体实施中，所述依据所述级联顺序，依次累加所述根滤波器的样本的响应值和所述部件滤波器的样本的响应值，得到关于目标位置的候选窗口可以包括：

步骤a)在所述根滤波器的样本的响应值的基础上，依据所述级联顺序，依次累加各个部件滤波器的样本的响应值；

步骤b)在累加部件滤波器的样本的响应值之后，依据所述假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值对累加后的响应值进行假设修剪、变形修剪、近似正样本修剪和近似负样本修剪；

重复上述步骤a)至b)，直至累加完各个部件滤波器的样本的响应值，得到关于目标位置的候选窗口。

其中，所述依据所述近似正样本修剪的阈值和近似负样本修剪的阈值对累加后的响应值进行近似正样本修剪和近似负样本修剪可以包括：

采用以下公式进行近似正样本修剪：

其中，p为当前像素点，N(p)为当前像素点的邻域，p′为邻域内任一像素点，S(p)为当前像素点的响应值，Tp_q为第q个近似正样本修剪的阈值，prune代表修剪操作；

采用以下公式进行近似负样本修剪：

其中，p为当前像素点，N(p)为当前像素点的邻域，p′为邻域内任一像素点，S(p)为当前像素点的响应值，Tn_q为第q个近似负样本修剪的阈值，prune代表修剪操作。

具体地，可以如图3所示，每一个部件滤波器的累加对应于一个循环，在每一个循环中，依次进行近似负样本修剪、假设修剪、近似正样本修剪、累加部件滤波器的样本的响应值、变形修剪。不断迭代，直至累加完各个部件滤波器的样本的响应值，得到关于目标位置的候选窗口。

S205，依据所述关于目标位置的候选窗口，确定目标位置。

经过级联检测(即步骤S201至步骤S204)后，通常会留下少量的候选窗口(Candidate Window)。

如果采用单目标方案(即检测目标在场景中的位置，且目标只存在于场景中的至多一个位置)，则后续选取响应值最大的候选窗口，作为目标位置。

如果采用多目标方案(即检测目标在场景中的位置，目标可以存在于场景中的多个位置)，则可以在所述得到关于目标位置的候选窗口之后，在所述确定目标位置之前，对所述候选窗口进行非极值抑制操作，以在非极值抑制操作中未被排除的候选窗口，作为目标位置。

实施例二

如下所述，本发明实施例提供一种目标检测装置。

参照图4所示的目标检测装置结构框图。

所述目标检测装置包括：样本训练单元401和目标搜索单元402；其中各单元的主要功能如下：

样本训练单元401，适于训练目标的根滤波器和多个部件滤波器，得到关于目标的根滤波器的样本和各个部件滤波器的样本；

目标搜索单元402，适于采用基于部件的变形模型和级联检测的方式进行搜索，确定目标位置；

所述目标搜索单元402包括：响应值计算子单元4021、级联顺序确定子单元4022、阈值计算子单元4023、响应值累加子单元4024和目标位置确定子单元4025；其中：

响应值计算子单元4021，适于计算训练的所述根滤波器的样本的响应值，计算训练的各个所述部件滤波器的样本的响应值；

级联顺序确定子单元4022，适于确定级联顺序；

阈值计算子单元4023，适于计算出假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值；

响应值累加子单元4024，适于依据所述级联顺序，依次累加所述根滤波器的样本的响应值和各个所述部件滤波器的样本的响应值，得到关于目标位置的候选窗口；在所述依次累加所述根滤波器的样本的响应值和各个所述部件滤波器的样本的响应值的过程中，依据所述近似正样本修剪的阈值和近似负样本修剪的阈值对累加后的响应值进行近似正样本修剪和近似负样本修剪；

目标位置确定子单元4025，适于依据所述关于目标位置的候选窗口，确定目标位置。

通过以上对技术方案的描述可以看出：本实施例中，在现有技术中基于DPM模型和HOG特征的目标检测方法的基础上进行了改进，在采用基于部件的变形模型和级联检测的方式进行搜索的过程中，预先计算出近似正样本修剪的阈值和近似负样本修剪的阈值，依据所述近似正样本修剪的阈值和近似负样本修剪的阈值对累加后的响应值进行近似正样本修剪和近似负样本修剪，从而减小了后续迭代过程中的运算量，使得基于DPM模型和HOG特征的目标检测方法所涉及的计算复杂度和计算量能够在智能手机等移动终端所允许的范围之内。

在具体实施中，所述阈值计算子单元计算出假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值可以包括：

采用以下公式计算出假设修剪的阈值：

其中，q∈{1,2,...,Q}为级联检测的阶段索引值，Ω为训练样本集，R为根响应图像，P为部件响应图像，D为变形代价图像；

采用以下公式计算出变形修剪的阈值：

其中，q∈{1,2,...,Q}为级联检测的阶段索引值，Ω为训练样本集，R为根响应图像，P为部件响应图像，D为变形代价图像；

采用以下公式计算出近似正样本修剪的阈值：

其中，q∈{1,2,...,Q}为级联检测的阶段索引值，Ω为训练样本集，p为当前像素点，p′为邻域内任一像素点，N(p)为当前像素点的邻域，S为响应图像；

采用以下公式计算出近似负样本修剪的阈值：

其中，q∈{1,2,...,Q}为级联检测的阶段索引值，Ω为训练样本集，p为当前像素点，p′为邻域内任一像素点，N(p)为当前像素点的邻域，S为响应图像。

通过以上对技术方案的描述可以看出：本实施例中，根据概率近似正确原则计算出假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值，从而提高阈值计算的精度和效率。

在具体实施中，所述级联顺序确定子单元确定级联顺序可以是：使用贪婪算法确定级联顺序。

在具体实施中，所述阈值计算子单元计算出假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值可以是：根据概率近似正确原则计算出假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值。

在具体实施中，所述响应值累加子单元依据所述级联顺序，依次累加所述根滤波器的样本的响应值和所述部件滤波器的样本的响应值，得到关于目标位置的候选窗口可以包括：

步骤a)在所述根滤波器的样本的响应值的基础上，依据所述级联顺序，依次累加各个部件滤波器的样本的响应值；

步骤b)在累加部件滤波器的样本的响应值之后，依据所述假设修剪的阈值、变形修剪的阈值、近似正样本修剪的阈值和近似负样本修剪的阈值对累加后的响应值进行假设修剪、变形修剪、近似正样本修剪和近似负样本修剪；

重复上述步骤a)至b)，直至累加完各个部件滤波器的样本的响应值，得到关于目标位置的候选窗口。

在具体实施中，所述响应值累加子单元依据所述近似正样本修剪的阈值和近似负样本修剪的阈值对累加后的响应值进行近似正样本修剪和近似负样本修剪包括：

采用以下公式进行近似正样本修剪：

其中，p为当前像素点，N(p)为当前像素点的邻域，p′为邻域内任一像素点，S(p)为当前像素点的响应值，Tp_q为第q个近似正样本修剪的阈值，prune代表修剪操作；

采用以下公式进行近似负样本修剪：

其中，p为当前像素点，N(p)为当前像素点的邻域，p′为邻域内任一像素点，S(p)为当前像素点的响应值，Tn_q为第q个近似负样本修剪的阈值，prune代表修剪操作。

在具体实施中，所述样本训练单元训练目标的根滤波器和多个部件滤波器，得到关于目标的根滤波器的样本和各个部件滤波器的样本可以包括：对于根滤波器/每一个部件滤波器，

使用标准的支持向量机训练出初始根滤波器/部件滤波器；

使用隐变量支持向量机对所述初始根滤波器/部件滤波器继续训练，迭代若干次后得到根滤波器/部件滤波器的样本。

在具体实施中，所述使用隐变量支持向量机对所述初始根滤波器/部件滤波器继续训练可以包括：使用隐变量支持向量机对所述初始根滤波器/部件滤波器进行重选正样本、数据挖掘和随机梯度下降法优化。

通过以上对技术方案的描述可以看出：本实施例中，在训练目标的根滤波器/部件滤波器的过程中，在使用标准的支持向量机训练出初始根滤波器/部件滤波器的基础上，进一步使用隐变量支持向量机对所述初始根滤波器/部件滤波器采用重选正样本、数据挖掘和随机梯度下降法优化的方式继续训练，迭代若干次后得到根滤波器/部件滤波器的样本，从而提高根滤波器/部件滤波器样本的精度，以便于降低后续目标搜索过程中的计算复杂度和计算量。

在具体实施中，所述目标搜索单元还可以包括：

非极值抑制子单元，适于在所述得到关于目标位置的候选窗口之后，在所述确定目标位置之前，对所述候选窗口进行非极值抑制操作。

实施例三

如下所述，本发明实施例提供一种移动终端。

与现有技术的不同之处在于，所述移动终端包括如本发明实施例中所提供的目标检测装置。该移动终端在现有技术中基于DPM模型和HOG特征的目标检测方法的基础上进行了改进，在采用基于部件的变形模型和级联检测的方式进行搜索的过程中，预先计算出近似正样本修剪的阈值和近似负样本修剪的阈值，依据所述近似正样本修剪的阈值和近似负样本修剪的阈值对累加后的响应值进行近似正样本修剪和近似负样本修剪，从而减小了后续迭代过程中的运算量，使得基于DPM模型和HOG特征的目标检测方法所涉及的计算复杂度和计算量能够在智能手机等移动终端所允许的范围之内。

在具体实施中，所述移动终端可以是智能手机或平板电脑。

实施例四

如下所述，本发明实施例提供一种目标检测方法。

参照图5所示的目标检测方法流程图：

基于DPM模型和HOG特征的目标检测方法包括：

S501，构造图像金字塔。

为了实现对多尺度人手目标的检测，需要构造图像金字塔，并计算相应的特征金字塔。

构造图像金字塔需要进行降采样，本实施例中采用两种方式：双三次插值(Bicubic Interpolation)和双线性插值。对于相差一个尺度的降采样，采用更快捷的双线性插值。同一层(Octave)尺度下的降采样，采用双三次插值。这种区分性降采样策略可以在保证图像质量的前提下，尽可能的降低计算复杂度。

S502，计算出图像金字塔所对应的基于HOG的特征金字塔；

在完成图像金字塔后，需要计算出对应的特征金字塔。所述计算出图像金字塔所对应的基于HOG的特征金字塔包括：提取HOG特征。

如图6所示，本实施例通过如下步骤提取HOG特征：

S601，计算梯度图像。

在计算梯度图像的过程中，为了减小计算量，可以将输入图像转换为灰度格式，再使用一维中心模板P＝[-1,0,1]和它的转置P^T分别对灰度格式的输入图像进行滤波，分别计算出x,y方向的梯度图像，即G_x，G_y。再如式1计算出梯度幅值图像G_M：

式1：

通常将梯度方向划分为M个方向，如式2计算出梯度方向编码图像G_O。

式2：

其中，[]表示取整函数，mod表示取模函数，G_O是{1,2,...,M}范围内的整数。

在所述计算梯度图像之后，还包括：将梯度方向划分为M个方向，采用 式2计算出梯度方向编码图像G_O；

式2：

其中，[]表示取整函数，mod表示取模函数，G_O是{1,2,...,M}范围内的整数。

S602，进行直方图统计。

在计算出梯度图像之后，进行直方图统计。

对大小为w*h的梯度图像，可以以大小为k*k的元胞为单元进行统计。通常可以采用双线性插值(Bilinear Interpolation)，即梯度图像中任一像素会同时被纳入周围四个相邻的元胞进行统计。针对每一编码方向m，可以统计出维数为的二维直方图H(x,y,m)，其中，整体得直方图维数是表示向下取整。

S603，进行归一化和截断。

在进行直方图统计之后，进行归一化和截断。

本实施例中，所述进行归一化和截断包括：

预先建立第一查找表，所述第一查找表将多个数值与它们各自的开方倒数对应保存；

累积每一方向直方图的二阶范数，获得梯度能量图像；

依据所述梯度能量图像和所述第一查找表，计算出HOG特征。

其中，所述建立第一查找表具体可以包括：

形成的函数曲线；

基于所述函数曲线，采用分段拟合的方法获得多个数值与它们各自的开方倒数；

将多个数值与它们各自的开方倒数对应保存，形成第一查找表。

所述依据所述梯度能量图像和所述第一查找表，计算出HOG特征具体可以包括：

采用式8获得归一化图像的平方

式8：

其中，

依据所述第一查找表，获得归一化图像的平方对应的开方倒数

依据采用式5和式6计算出F₁(x,y,m)和F₂(x,y,(δ,γ))；

式5：

式6：

其中，T₁、T₂为对应的截断阈值；

依据F₁(x,y,m)和F₂(x,y,(δ,γ))，计算出HOG特征F＝[F₁,F₂]。

经过上述步骤S601至S603，完成了对HOG特征的提取。

通过以上对技术方案的描述可以看出：本实施例中，在现有技术中基于DPM模型和HOG特征的目标检测方法的基础上进行了改进，预先建立第一查找表，所述第一查找表将多个数值与它们各自的开方倒数对应保存，在进行归一化和截断的过程中，依据梯度能量图像和预先建立的所述第一查找表，计算出HOG特征，从而避免了归一化处理过程中大量的除法运算和开方运算，使得基于DPM模型和HOG特征的目标检测方法所涉及的计算复杂度和计算量能够在智能手机等移动终端所允许的范围之内。

若图像尺寸较大，为保证检测质量，每层(Octave)需计算更多的级数(Level)。如果每一级都计算HOG特征，则计算复杂度会很高。

实践表明，对于尺度相近的图像，它们的HOG特征呈现近似指数函数的关系。

本实施例只计算少量尺度的HOG特征，其他相邻尺度的HOG特征可以 通过如式7的近似计算得到。

式7：F_S≈R(F,S)·S^-λ

其中，F表示已知特征，F_S表示所要求解的近似特征，S表示相对尺度，λ表示指数函数的系数，R函数表示以相对尺度S对已知特征F进行重采样。

通过以上对技术方案的描述可以看出：本实施例中，在计算图像金字塔所对应的基于HOG的特征金字塔的过程中，只计算少量尺度的HOG特征，在此基础上通过近似计算得到其他相邻尺度的HOG特征，从而在对检测质量影响不大的前提下，进一步降低基于DPM模型和HOG特征的目标检测方法所涉及的计算复杂度和计算量。

S503，采用基于部件的变形模型和级联检测的方式对特征金字塔进行搜索，确定目标位置。

至此，实现了基于DPM模型和HOG特征的目标检测。本实施例在现有技术中基于DPM模型和HOG特征的目标检测方法的基础上进行了改进，在进行归一化处理的过程中(步骤S603)，避免了大量的除法运算和开方运算，在计算图像金字塔所对应的基于HOG的特征金字塔的过程中(步骤S502)，避免了计算大量尺度的HOG特征，在对检测质量影响不大的前提下大大减小了计算复杂度和计算量，使得基于DPM模型和HOG特征的目标检测方法其处理过程中所涉及的计算复杂度和计算量能够在智能手机等移动终端所允许的范围之内，便于该目标检测方法在移动终端上的应用。

本领域普通技术人员可以理解，上述实施例的各种方法中，全部或部分步骤是可以通过程序指示相关的硬件来完成的，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。