一种基于节体对象的动作识别方法与流程

本发明涉及动作识别领域，尤其是涉及了一种基于节体对象的动作识别方法。

背景技术：

随着科学技术的高速发展与社会进步，人们的日常生活中对于动作识别的需求越来越大。比如识别在视频监控中的某个人物的某一动作，分析篮球比赛中的投篮动作以及其他资料中动物、人类的动作分析等，而人为地去看这些视频、图片会耗费时间、人力和物力，效率很低。而如果采用智能的动作识别，则可以自动对视频图像数据中的动作进行标注。动作识别技术还可以用于许多领域，比如自动对互联网上的视频进行动作标注，公共场合的智能监控，司机姿势的监控，人群中危险姿势的监控，通过人体动作的自动识别调用家具设备的相应功能，或者是监控老人，小孩的安全情况等。

本发明提出了一种基于节体对象的动作识别方法，先从输入的图像中提取感兴趣对象的点，进行预处理和获得初始姿态；在生成的多个初始姿态中筛选成最佳的作为最终估计姿态；接着利用粒子滤波器解决跟踪问题；最后利用学习预测器，提取将要描述的专用特征，并输出预测的动作类别。本发明中光照、遮挡等对识别的影响较小，提高识别效率；它可以自动识别动物或人体的动作，解决了传统识别动作方法耗费时间、人力和物力的问题。

技术实现要素：

针对光照、遮挡等对识别有影响的问题，本发明的目的在于提供一种基于节体对象的动作识别方法，先从输入的图像中提取感兴趣对象的点，进行预处理和获得初始姿态；在生成的多个初始姿态中筛选成最佳的作为最终估计姿态；接着利用粒子滤波器解决跟踪问题；最后利用学习预测器，提取将要描述的专用特征，并输出预测的动作类别。

为解决上述问题，本发明提供一种基于节体对象的动作识别方法，其主要内容包括：

(一)预处理和获得初始姿态；

(二)姿态估计；

(三)跟踪；

(四)动作识别。

其中，所述的预处理和获得初始姿态，假设在输入深度图像或补丁中存在一个且只有一个节体对象，从图像中提取感兴趣对象的点，通过设置这些姿势作为基础关节对象的主姿态来获得初始姿态；对于每个初始姿态，通过从(-π,π)上的均匀分布扰动平面内基础关节的方向来生成对象的初始取向。

其中，所述的姿态估计，包括测试和训练。

进一步地，所述的测试过程，给定一组n_t个训练图像，定义

为J个关节集合的第j个关节的训练图像的平均偏差；偏差Δθj表示估计姿态和地面真实姿态之间的变化量；全局误差函数可以被定义在评估来自平均偏差的和的一组示例中，例如以下形式

其中，‖·‖₂是欧氏空间中的标准向量范数；

假设每个J关节有C个循环或迭代，给定测试图像和初始姿态估计，对于来自基本关节的长度J的运动链，每个关节j∈{1,…,J}，在当前循环c∈{1,…,C}处，关节的当前姿态将由lie群动作纠正，其中扭曲r_j^(c)是本地回归者的输出换句话说，表示速记符号和可以通过以下的左组动作

来更新第j个关节空间坐标，其中是最近的组元素，用于进一步校正在循环c的第c个关节的空间位置；

在测试运行时，为每个输入图像生成多个初始姿态，通过逆运动学回归，产生相应的候选姿势；这些输出姿态将通过度量来筛选，挑选其中最佳姿态将作为最终估计姿态。

进一步地，所述的训练过程，在训练阶段，以与测试阶段相同的方式获得输入图像的一组K个初始姿态；训练数据集的每个示例由一个实例组成：一对姿态包括估计姿态和地面真实姿态以及其标记：估计与地面真实的偏差θ_j，如

对于第一关节j＝1(运动链中的基本关节)和第一个循环c＝1，示例的标签将是从初始姿态的第一关节到地面真实的第一关节的变化量；然后在所有循环c通过执行当前部分运动学模型直到前一个循环c-1获得其对应的初始姿态。

其中，所述的跟踪，粒子滤波器可以解决跟踪问题，考虑离散的时间步长t，并且使用x表示潜在随机变量，用y观察它；跟踪对象的状态(即，在时间t的估计姿态)被表示为x_t，并且其函数关系为x_1:t＝(x₁,…,x_t)；类似地，当前观察被表示为y_t，其函数关系被表示为y_1:t＝(y₁,…,y_t)；基本的一阶时间马尔可夫链诱导条件独立性，其定义为p(x_t|x_1:t-1)＝p(x_t|x_t-1)；遵循这种状态空间动态模型的典型因式分解，有

以及

我们还需要用于滤波的后验概率p(x_t|y_1:t)，定义为

p(x_t|y_1:t)∝p(y_t|x_t)p(x_t|y_1:t-1) (7)

以及

p(x_t|y_1:t-1)＝∫p(x_t|x_t-1)p(x_t-1|y_1:t-1)dx_t-1 (8)

即通过递归方式，用来自先前时间步长的后者p(x_t-1|y_1:t-1)进行评估；

粒子过滤器范例的实现涉及选择-传播-测量的三步概率推理过程，其用作粒子过滤器中的一个时间步长更新规则；特别地，在当前时间步骤t的处理对应于选择标准测量三元组步骤的执行：先前时间步骤的输出包含一组Kr加权粒子

这里每个粒子i，对应唯一确定姿态的切向量参数集合其中每个向量连接到运动链之后的关节；粒子与其重量相关；总体上，这组加权粒子被认为是后验分布p(x_t-1|y_1:t-1)的近似；选择步骤通过从p(x_t-1|y_1:t-1)的累积分布函数(CDF)进行均匀采样操作，以产生具有相等权重的一组新粒子K_r。

进一步地，所述的传播步骤，使用公式(11)的基于流形的布朗运动采样来实现p(x_t|x_t-1)，即基于与先前时间步长的离散布朗运动偏差获得新状态；该布朗运动采样仅在基本联合上执行，而剩余关节通过直接执行与姿态估计算法中的公式(3)相同的推理过程来获得；样本集构成了对于p(x_t|y_1:t-1)的预测分布函数的近似。

进一步地，所述的布朗运动，可认为是高斯随机变量在流形上的泛化，其中增量是独立的并且是高斯分布的，布朗运动的发生器是拉普拉斯-贝尔拉米算子；令表示连续变量，δ>0是一个小步长；令表示从正态分布中采样的随机向量，对于k＝0,1,…，是协方差矩阵；具有起点g(0)∈SE(3)的左不变布朗运动可近似于

此外，这些采样点可以通过测地学来内插以形成连续的采样路径，即对于有

公式如上所示。

进一步地，所述的测量步骤，为每个粒子提供如下的更新的权重令是通过应用我们学习的度量获得的第i个粒子的预测误差值；因此，重量被评价为

在获得所有K_r权重之后，每个权重被进一步标准化为

更新的样本集合现在共同近似在时间t的对应的后验分布p(x_t|y_1:t)；

加权粒子集合表示整个分布；最终姿态估计，(即在时间t的)，通过对这组粒子进行加权平均来产生

公式如上所示。

其中，所述的动作识别，考虑学习预测器，提取将要描述的专用特征，并且输出预测的动作类别。

附图说明

图1是本发明一种基于节体对象的动作识别方法的系统流程图。

图2是本发明一种基于节体对象的动作识别方法的姿态估计过程。

图3是本发明一种基于节体对象的动作识别方法的跟踪过程。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于节体对象的动作识别方法的系统流程图。主要包括预处理和获得初始姿态，姿态估计，跟踪，动作识别。

其中，预处理和获得初始姿态，假设在输入深度图像或补丁中存在一个且只有一个节体对象，从图像中提取感兴趣对象的点，通过设置这些姿势作为基础关节对象的主姿态来获得初始姿态；对于每个初始姿态，通过从(-π,π)上的均匀分布扰动平面内基础关节的方向来生成对象的初始取向。

其中，动作识别，考虑学习预测器，提取将要描述的专用特征，并且输出预测的动作类别。

图2是一种基于节体对象的动作识别方法的姿态估计过程。姿态估计包括测试和训练。

测试过程，给定一组n_t个训练图像，定义

为J个关节集合的第j个关节的训练图像的平均偏差；偏差Δθj表示估计姿态和地面真实姿态之间的变化量；全局误差函数可以被定义在评估来自平均偏差的和的一组示例中，例如以下形式

其中，‖·‖₂是欧氏空间中的标准向量范数；

假设每个J关节有C个循环或迭代，给定测试图像和初始姿态估计，对于来自基本关节的长度J的运动链，每个关节j∈{1,…,J}，在当前循环c∈{1,…,C}处，关节的当前姿态将由lie群动作纠正，其中扭曲是本地回归者的输出换句话说，表示速记符号和可以通过以下的左组动作

来更新第j个关节空间坐标，其中是最近的组元素，用于进一步校正在循环c的第c个关节的空间位置；

在测试运行时，为每个输入图像生成多个初始姿态，通过逆运动学回归，产生相应的候选姿势；这些输出姿态将通过度量来筛选，挑选其中最佳姿态将作为最终估计姿态。

训练过程，在训练阶段，以与测试阶段相同的方式获得输入图像的一组K个初始姿态；训练数据集的每个示例由一个实例组成：一对姿态包括估计姿态和地面真实姿态以及其标记：估计与地面真实的偏差θ_j，如

对于第一关节j＝1(运动链中的基本关节)和第一个循环c＝1，示例的标签将是从初始姿态的第一关节到地面真实的第一关节的变化量；然后在所有循环c通过执行当前部分运动学模型直到前一个循环c-1获得其对应的初始姿态。

图3是本发明一种基于节体对象的动作识别方法的跟踪过程。粒子滤波器可以解决跟踪问题，考虑离散的时间步长t，并且使用x表示潜在随机变量，用y观察它；跟踪对象的状态(即，在时间t的估计姿态)被表示为x_t，并且其函数关系为x_1:t＝(x₁,…,x_t)；类似地，当前观察被表示为y_t，其函数关系被表示为y_1:t＝(y₁,…,y_t)；基本的一阶时间马尔可夫链诱导条件独立性，其定义为p(x_t|x_1:t-1)＝p(x_t|x_t-1)；遵循这种状态空间动态模型的典型因式分解，有

以及

我们还需要用于滤波的后验概率p(x_t|y_1:t)，定义为

p(x_t|y_1:t)∝p(y_t|x_t)p(x_t|y_1:t-1) (7)

以及

p(x_t|y_1:t-1)＝∫p(x_t|x_t-1)p(x_t-1|y_1:t-1)dx_t-1 (8)

即通过递归方式，用来自先前时间步长的后者p(x_t-1|y_1:t-1)进行评估；

粒子过滤器范例的实现涉及选择-传播-测量的三步概率推理过程，其用作粒子过滤器中的一个时间步长更新规则；特别地，在当前时间步骤t的处理对应于选择标准测量三元组步骤的执行：先前时间步骤的输出包含一组Kr加权粒子

这里每个粒子i，对应唯一确定姿态的切向量参数集合其中每个向量连接到运动链之后的关节；粒子与其重量相关；总体上，这组加权粒子被认为是后验分布p(x_t-1|y_1:t-1)的近似；选择步骤通过从p(x_t-1|y_1:t-1)的累积分布函数(CDF)进行均匀采样操作，以产生具有相等权重的一组新粒子K_r。

传播步骤，使用公式(11)的基于流形的布朗运动采样来实现p(x_t|x_t-1)，即基于与先前时间步长的离散布朗运动偏差获得新状态；该布朗运动采样仅在基本联合上执行，而剩余关节通过直接执行与姿态估计算法中的公式(3)相同的推理过程来获得；样本集构成了对于p(x_t|y_1:t-1)的预测分布函数的近似。

进一步地，布朗运动，可认为是高斯随机变量在流形上的泛化，其中增量是独立的并且是高斯分布的，布朗运动的发生器是拉普拉斯-贝尔拉米算子；令表示连续变量，δ>0是一个小步长；令表示从正态分布中采样的随机向量，对于k＝0,1,…，是协方差矩阵；具有起点g(0)∈SE(3)的左不变布朗运动可近似于

此外，这些采样点可以通过测地学来内插以形成连续的采样路径，即对于有

公式如上所示。

测量步骤，为每个粒子提供如下的更新的权重令是通过应用我们学习的度量获得的第i个粒子的预测误差值；因此，重量被评价为

在获得所有K_r权重之后，每个权重被进一步标准化为

更新的样本集合现在共同近似在时间t的对应的后验分布p(x_t|y_1:t)；

加权粒子集合表示整个分布；最终姿态估计，(即在时间t的)，通过对这组粒子进行加权平均来产生

公式如上所示。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。