用于人类行为识别的深度联合结构化和结构化学习方法与流程

技术特征：

1.一种用于人类行为识别的深度联合结构化和结构化学习的方法，其特征在于：所述方法包括以下步骤：

1)构造联合结构和结构公式化

假设有一组n个训练样本I表示一张图像，a是图像中所有人的行为标签的集合；如果图像包含m个个体，则a＝[a₁,…,a_m]，矩阵E＝(e_ij)∈{0,1}^m×m是一个严格的上三角矩阵，表示图像中所有个体的相互关系结构；e_ij＝0意味着在人i和人j之间没有交互，而e_ij＝1指示人i和人j彼此交互；

为了预测a和E，最大化下面的潜在函数：

这里w＝[w₀,w₁,w₂]^T是训练期间要学习的模型参数，函数φ(·),μ(·)和ψ(·)用于计算三种类型的联合特征，φ给出了图像和行为标签的联合特征；μ计算所述图像和所述交互标签e的联合特征；ψ输出图像和两个个体的行为标签a的联合特征表示；

2)特征表示

使用空间网络从图像中的人体区域提取深层卷积神经网络CNN特征，将空间网络的fc6层的输出作为深度特征，使用梯度直方图HOG和光流直方图特征HOF来进一步增强特征表示；CNN，HOG和HOF特征被连接以表示图像中的个人行为或交互关系，使用这种特征为每个数据集训练两个线性支持向量机分类器，一个用于分类个人行为，另一个用于分类交互关系，使用组合特征来计算公式(1)中的联合特征，为此，计算

这里d_α,d_∈是用训练好的SVM分类器分类包含个人行为和交互关系得到的决策值表示的向量，并且所有运算符表示基于向量的元素计算；

s_α(a)表示一个人的行为为a的判别分数。s_∈(e)表示l两个人有交互的判别分值或不在交互的分值，公式(1)中的联合特征由下式定义：

φ(I,a)＝1_α(a)·S_α(a) (4)

μ(I,a)＝1_∈(e)·S_∈(e) (5)

ψ(I,a_i,a_j)＝1_τ(a_i,a_j,p_i,p_j,r_ij) (6)

这里1_α(a)∈{0,1}^a是指示符向量，在位置a时取值1，,其他位置取0的。同样，1_∈(e)在位置e取1，在别处取0，1_τ(·)在索引位置a_i,a_j,p_i,p_j,r_ij时取1，其中p_i,p_j表示人i和人j的姿势，r_ij表示人j与人i的相对位置；为了计算r_ij，将围绕人j的区域划分为六个子区域，并且每个子区域被分配一个相对位置，r_ij是包围边界框i的中心的子区域的ID；

3)训练模型的参数

给定n个训练样本，使用max-margin-style公式进行训练：

这里ξ表示松弛变量，C是确定增加模型复杂性和减少对训练数据的不正确预测之间的权衡的常数；标签成本，即不正确预测的惩罚由下式给出：

其中δ(·)是指示功能，如果测试条件为真则给出1，否则输出0；

4)训练和预测中的相关推理

在训练的每次迭代期间，针对每个训练示例解决以下损失增强推理：

由于潜在函数F的表达，成本项Δ被吸收到公式(1)中的两个一元项中，因此，问题(10)与优化是同质的：

2.如权利要求1所述的用于人类行为识别的深度联合结构化和结构化学习的方法，其特征在于：所述步骤4)中，交替搜索标签空间和结构空间，在每次迭代期间，算法依次执行以下两个步骤：

4.1)固定结构并通过循环信任传播解决剩余问题，以找到的解；

4.2)固定标签并解决剩余的整数线性规划ILP问题(11)，找到的解；

其中a^*表示在第一步骤中发现的解，向(11)中添加两种类型的约束，这导致另外两个ILP问题：

其中||Z||₀是Z的L₀范数；

(11)，(12)，(13)分别是没有约束的，最大边数约束和节点度约束的ILP问题，分别用ILP-NoC，ILP-MNE和ILP-NDC表示；

对于每对(i,j)_{i,j∈{1,…,m},i<j}，考虑输出

如果V₀>V₁，设置e_ij＝0，否则把(i,j)放到候选队列中；接下来，根据候选的V₁值以降序对数组进行排序，然后从头到尾访问这个数组，对于当前对(s,t)，如果在ILP-NDC中没有违反约束，设置e_st＝1；否则设置e_st＝0。