一种基于深度卷积条件随机场的人体动作识别方法
【技术领域】
[0001] 本发明涉及人体动作识别领域，尤其涉及一种基于深度卷积条件随机场的人体动 作识别方法。
【背景技术】
[0002] 目前，计算机视觉应用中基于人体动作识别的应用已经成为人工智能领域的一个 重要问题。由于动作的各帧之间存在时间上的依赖关系可以自然地形成一个序列标注问 题。通过对动作序列的识别问题，识别不同动作图像序列代表的含义，可以进行视频监控， 人机交互等场景下的人体行为分析。
[0003] 发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：
[0004] 现有技术中的条件随机场方法在进行序列学习过程中主要采用人工设计抽取特 征的方式，但在实际应用中无法预知哪些是高性能的人工设计特征。条件随机场方法无 法对图像序列数据的时空变换进行很好的建模，特别是当原始输入节点为高维非线性数据 时。基于条件随机场改进的非线性方法，如增加核函数的条件随机场等，只能获取浅层特 征，无法对数据间复杂的非线性关系进行建模。另外，条件随机场方法无法针对不同场景自 动自适应学习数据的特征。
【发明内容】
[0005] 本发明提供了一种基于深度卷积条件随机场的人体动作识别方法，本发明实现了 对图像序列数据的时空变换建模，达到了很好的人体动作识别效果，详见下文描述：
[0006] -种基于深度卷积条件随机场的人体动作识别方法，所述人体动作识别方法包括 以下步骤：
[0007] 根据空间卷积层、子采样层交替获取输入图像序列的空间特征表达；
[0008] 对输入图像序列的空间特征表达进行时间卷积操作得到进一步图像序列特征表 达；
[0009] 构建基于时空卷积网络的深度条件随机场识别模型，并进行优化；
[0010] 对待预测视频序列进行优化后的深度条件随机场识别的前向计算，得到待预测视 频序列中每一帧图像所属的动作类别标注信息。
[0011] 其中，所述深度条件随机场识别模型包括：
[0012] 状态函数，用于获得非线性变换之后序列中的图像数据与类别标签之间的关系；
[0013] 转移函数，用于一帧图像数据与当前图像经过时空卷积变换的特征、类别标签以 及如一帧的类别标签之间的关系；
[0014] 采用层次前馈网络作为特征抽取器与条件随机场构成的无向图模型进行联合训 练。
[0015] 其中，对深度条件随机场识别模型的优化具体为：
[0016] 使用随机梯度下降的方式优化目标函数法采用后向传播的方式逐层进行求导。
[0017] 其中，所述对待预测视频序列进行优化后的深度条件随机场识别的前向计算，得 到待预测视频序列中每一帧图像所属的动作类别标注信息的步骤具体为：
[0018] 通过神经网络的前向计算得到图像序列中每帧图像的高层特征表达，形成图像序 列的特征表达，然后通过条件概率最大化得到最可能的标注序列，即每一帧图像所属的动 作类别标注信息。
[0019] 本发明提供的技术方案的有益效果是：采用时空卷积网络自动学习人体动作特 征，由于模型学习过程中考虑了时空上的变化，使得模型具有学习时空双维度变换不变性 的能力。同时采用条件随机场方法与时空卷积网络联合学习方法捕获图像标注之间的依赖 关系。另外现在方法大多针对已经切分好的只包含一个动作数据，本发明所使用的方法可 以处理未切分包含多个动作的人体动作视频数据，并通过预测的每帧图像动作标签实现多 个动作的自动切分，满足了实际应用中的多种需要。
【附图说明】
[0020] 图1为一种基于深度卷积条件随机场的人体动作识别方法的流程图；
[0021] 图2为时空卷积条件随机场模型示意图；
[0022] 图3为Weizmann数据集中包含的动作关键帧示意图；
[0023] 图4为未切分IIPAction动作识别数据集中一些关键帧，上下分别为两个不同的 序列，每个序列中包含4类动作的示意图。
[0024] 图5为4个不同的动作序列上，不同方法得到的切分边界与真实标签的自动切分 结果对比的示意图。
[0025] (a)为第1个动作序列上，不同方法与真实标签的自动切分结果对比的示意图； (b)为第2个示例动作序列上，不同方法得到的切分边界与真实标签的自动切分结果对比 的示意图；（c)为第3个示例动作序列上，不同方法得到的切分边界与真实标签的自动切分 结果对比的示意图；（d)为第4个示例动作序列上，不同方法得到的切分边界与真实标签的 自动切分结果对比的示意图。
【具体实施方式】
[0026] 为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步 地详细描述。
[0027] 本发明将深度卷积神经网络与条件随机场模型的优点结合，使得条件随机场模型 具有学习非线性特征的能力，并在建模过程中考虑动作图像序列数据在时空上的特点，对 人体动作进行识别，参见图1，详见下文描述：
[0028] 实施例1
[0029] 101 :根据空间卷积层、子采样层交替获取输入图像序列的空间特征表达；
[0030] 102:对输入图像序列的空间特征表达进行时间卷积操作得到进一步图像序列特 征表达；
[0031] 103 :构建基于时空卷积网络的深度条件随机场识别模型，并进行优化；
[0032] 104:对待预测视频序列进行优化后的深度条件随机场识别的前向计算，得到待预 测视频序列中每一帧图像所属的动作类别标注信息。
[0033] 其中，步骤103中的深度条件随机场识别模型包括：
[0034] 状态函数，用于获得非线性变换之后序列中的图像数据与类别标签之间的关系；
[0035] 转移函数，用于一帧图像数据与当前图像经过时空卷积变换的特征、类别标签以 及如一帧的类别标签之间的关系；
[0036] 采用层次前馈网络作为特征抽取器与条件随机场构成的无向图模型进行联合训 练。
[0037] 进一步地，步骤103中的对深度条件随机场识别模型的优化具体为：
[0038] 使用随机梯度下降的方式优化目标函数法采用后向传播的方式逐层进行求导。
[0039] 进一步地，步骤104中的对待预测视频序列进行优化后的深度条件随机场识别的 前向计算，得到待预测视频序列中每一帧图像所属的动作类别标注信息的步骤具体为：
[0040] 通过神经网络的前向计算得到图像序列中每帧图像的高层特征表达，形成图像序 列的特征表达，然后通过条件概率最大化得到最可能的标注序列，即每一帧图像所属的动 作类别标注信息。
[0041] 综上所述，通过上述步骤101-步骤104的处理，本发明实施例实现了对图像序列 数据的时空变换建模，达到了很好的人体动作识别效果。
[0042] 实施例2
[0043] 下面结合计算公式、例子以及图2对实施例1中的方案进行详细描述，其中，整个 时空卷积网络有两个不同的操作，分别为空间卷积、时间卷积，下面将分别进行详述：
[0044] 201 :根据空间卷积层、子采样层交替获取输入图像序列的空间特征表达；
[0045] 其中，空间卷积网络主要为交替的空间卷积层以及子采样层。空间卷积层主要检 测输入图像中的特征，子采样层在局部进行平均操作或者局部最大化操作，降低图像分辨 率，提高特征的鲁棒性。空间卷积层的主要操作表示如下：
[0046] 空间卷积操作为对i_l层特征图上的局部区域进行卷积操作，然后将卷积得到的 值进行非线性变换，采用Sigmoid或者tanh函数（该两个函数为本领域技术人员所公知， 本发明实施例对此不做赘述），最终得到多个i层特征图。那么对第i层的每一个特征图 j，第（u，V)像素点对应的值:<'；；,计算方式为：
[0047]
[0048] 其中，￡为非线性函数，这里采用tanh函数；m为特征图的索引，为连接到第 m个特征图的卷积核；表示第i层在前一层特征图（i-Ι层）上进行窗口滑动的 区域；P1, Q1*别为第i层卷积核的高度与宽度；b u表示在第i层的第j个特征图上的加 性偏置。
[0049] 对于子采样层来说，输入的特征图的数量与输出的特征图数量相等，只是每一个 输出特征图都变小了。子采样层的操作如下：
[0050] X1-J= ?(β 11 Mown (x1 1,J)+b1,J) (2)
[0051] 其中，downC)表示一个下采样的操作，即对X1 u进行下采样。典型的操作是对 于初入特征图的不同块所有像素进行求和，或者取区域内的最大值。β u表示在第i层的 第j个特征图上的乘性偏置。
[0052] 根据公式（1)