一种基于节体对象的动作识别方法与流程

技术特征：

1.一种基于节体对象的动作识别方法，其特征在于，主要包括预处理和获得初始姿态(一)；姿态估计(二)；跟踪(三)；动作识别(四)。

2.基于权利要求书1所述的预处理和获得初始姿态(一)，其特征在于，假设在输入深度图像或补丁中存在一个且只有一个节体对象，从图像中提取感兴趣对象的点，通过设置这些姿势作为基础关节对象的主姿态来获得初始姿态；对于每个初始姿态，通过从(-π,π)上的均匀分布扰动平面内基础关节的方向来生成对象的初始取向。

3.基于权利要求书1所述的姿态估计(二)，其特征在于，包括测试和训练。

4.基于权利要求书3所述的测试过程，其特征在于，给定一组n_t个训练图像，定义

$\stackrel{\‾}{{\mathrm{\Δ\θ}}_j}:=\frac{1}{n_i}\underset{i\∈(1,...,n_i)}{\Σ}{\mathrm{\Δ}}_{{\mathrm{\θ}}_j}---\left(1\right)$

为J个关节集合的第j个关节的训练图像的平均偏差；偏差Δθj表示估计姿态和地面真实姿态之间的变化量；全局误差函数可以被定义在评估来自平均偏差的和的一组示例中，例如以下形式

$\underset{j\∈(1,...,J)}{\Σ}\left|\right|\stackrel{\‾}{{\mathrm{\Δ\θ}}_j}|{|}_2^2---\left(2\right)$

其中，‖·‖₂是欧氏空间中的标准向量范数；

假设每个J关节有C个循环或迭代，给定测试图像和初始姿态估计，对于来自基本关节的长度J的运动链，每个关节j∈{1,…,J}，在当前循环c∈{1,…,C}处，关节的当前姿态将由lie群动作纠正，其中扭曲r_j^(c)是本地回归者的输出换句话说，表示速记符号和可以通过以下的左组动作

$g_{{\widetilde{\mathrm{\θ}}}_{1:j}}^{\left(c\right)}:=g_{{\widetilde{\mathrm{\θ}}}_1:j}^{\left(c-1\right)}{e}^{r_j^{\left(c\right)}}---\left(3\right)$

来更新第j个关节空间坐标，其中是最近的组元素，用于进一步校正在循环c的第c个关节的空间位置；

在测试运行时，为每个输入图像生成多个初始姿态，通过逆运动学回归，产生相应的候选姿势；这些输出姿态将通过度量来筛选，挑选其中最佳姿态将作为最终估计姿态。

5.基于权利要求书3所述的训练过程，其特征在于，在训练阶段，以与测试阶段相同的方式获得输入图像的一组K个初始姿态；训练数据集的每个示例由一个实例组成：一对姿态包括估计姿态和地面真实姿态以及其标记：估计与地面真实的偏差θ_j，如

${\mathrm{\Δ\θ}}_j=\log (g_{{\widetilde{\mathrm{\θ}}}_{1:j}}^{{(1:c-1)}^{-1}},{\mathrm{g\θ}}_{1:j})---\left(4\right)$

对于第一关节j＝1(运动链中的基本关节)和第一个循环c＝1，示例的标签将是从初始姿态的第一关节到地面真实的第一关节的变化量；然后在所有循环c通过执行当前部分运动学模型直到前一个循环c-1获得其对应的初始姿态。

6.基于权利要求书1所述的跟踪(三)，其特征在于，粒子滤波器可以解决跟踪问题，考虑离散的时间步长t，并且使用x表示潜在随机变量，用y观察它；跟踪对象的状态(即，在时间t的估计姿态)被表示为x_t，并且其函数关系为x_1:t＝(x₁,…,x_t)；类似地，当前观察被表示为y_t，其函数关系被表示为y_1:t＝(y₁,…,y_t)；基本的一阶时间马尔可夫链诱导条件独立性，其定义为p(x_t|x_1:t-1)＝p(x_t|x_t-1)；遵循这种状态空间动态模型的典型因式分解，有

$\begin{array}{c}p\left(y_{1:t-1},x_t|x_{1:t-1}\right)=p\left(x_t|x_{1:t-1}\right)p\left(y_{1:t-1}|x_{1:t-1}\right)\\ =p\left(x_t|x_{t-1}\right)\underset{i=1}{\overset{t-1}{\mathrm{\Π}}}p\left(y_i|x_i\right)\end{array}---\left(5\right)$

以及

$p\left(y_{1:t-1}\right|x_{1:t-1})=\underset{i=1}{\overset{t-1}{\mathrm{\Π}}}p\left(y_i\right|x_i)---\left(6\right)$

我们还需要用于滤波的后验概率p(x_t|y_1:t)，定义为

p(x_t|y_1:t)∝p(y_t|x_t)p(x_t|y_1:t-1) (7)

以及

p(x_t|y_1:t-1)＝∫p(x_t|x_t-1)p(x_t-1|y_1:t-1)dx_t-1 (8)

即通过递归方式，用来自先前时间步长的后者p(x_t-1|y_1:t-1)进行评估；

粒子过滤器范例的实现涉及选择-传播-测量的三步概率推理过程，其用作粒子过滤器中的一个时间步长更新规则；特别地，在当前时间步骤t的处理对应于选择标准测量三元组步骤的执行：先前时间步骤的输出包含一组Kr加权粒子

$S_{t-1}:={\left\{(s_{t-1}^{\left(i\right)},{\mathrm{\π}}_{t-1}^{\left(i\right)})\right\}}_{i=1}^{K_r}---\left(9\right)$

这里每个粒子i，对应唯一确定姿态的切向量参数集合其中每个向量连接到运动链之后的关节；粒子与其重量相关；总体上，这组加权粒子被认为是后验分布p(x_t-1|y_1:t-1)的近似；选择步骤通过从p(x_t-1|y_1:t-1)的累积分布函数(CDF)进行均匀采样操作，以产生具有相等权重的一组新粒子K_r。

7.基于权利要求书6所述的传播步骤，其特征在于，使用公式(11)的基于流形的布朗运动采样来实现p(x_t|x_t-1)，即基于与先前时间步长的离散布朗运动偏差获得新状态；该布朗运动采样仅在基本联合上执行，而剩余关节通过直接执行与姿态估计算法中的公式(3)相同的推理过程来获得；样本集构成了对于p(x_t|y_1:t-1)的预测分布函数的近似。

8.基于权利要求书7所述的布朗运动，其特征在于，布朗运动可认为是高斯随机变量在流形上的泛化，其中增量是独立的并且是高斯分布的，布朗运动的发生器是拉普拉斯-贝尔拉米算子；令表示连续变量，δ>0是一个小步长；令表示从正态分布中采样的随机向量，对于k＝0,1,…，是协方差矩阵；具有起点g(0)∈SE(3)的左不变布朗运动可近似于

$g\left(\right(k+1\left)\mathrm{\δ}\right)=g\left(k\mathrm{\δ}\right)e^{\left\{\sqrt{\mathrm{\δ}}{\mathrm{\Σ}}_{i=1}^6{\mathrm{\ξ}}_k^i{\∂}_i\right\}}---\left(10\right)$

此外，这些采样点可以通过测地学来内插以形成连续的采样路径，即对于有

$g\left(\tilde{t}\right)=g\left(k\mathrm{\δ}\right)e^{\left\{\frac{\tilde{t}-k\mathrm{\δ}}{\sqrt{\mathrm{\δ}}}{\mathrm{\Σ}}_{i=1}^6{\mathrm{\ξ}}_k^i{\∂}_i\right\}}---\left(11\right)$

公式如上所示。

9.基于权利要求书6所述的测量步骤，其特征在于，为每个粒子提供如下的更新的权重令是通过应用我们学习的度量获得的第i个粒子的预测误差值；因此，重量被评价为

${\mathrm{\π}}_{t-1}^{\left(i\right)}=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}{e}^{-\frac{m_t^{{\left(i\right)}^2}}{2{\mathrm{\σ}}^2}}---\left(12\right)$

在获得所有K_r权重之后，每个权重被进一步标准化为

${\mathrm{\π}}_t^{\left(i\right)}\←\frac{{\mathrm{\π}}_t^{\left(i\right)}}{{\mathrm{\Σ}}_{i^{\′}=1}^{K_r}{\mathrm{\π}}_t^{\left(i^{\′}\right)}}---\left(13\right)$

更新的样本集合现在共同近似在时间t的对应的后验分布p(x_t|y_1:t)；

加权粒子集合表示整个分布；最终姿态估计，(即在时间t的)，通过对这组粒子进行加权平均来产生

$x_t^{*}\←{\mathrm{\Σ}}_{i=1}^{K_r}{\mathrm{\π}}_t^{\left(i\right)}{S}_t^{\left(i\right)}---\left(14\right)$

公式如上所示。

10.基于权利要求书1所述的动作识别(四)，其特征在于，考虑学习预测器，提取将要描述的专用特征，并且输出预测的动作类别。