基于局部稀疏编码的姿态检索方法、装置、设备和存储介质与流程

本发明涉及计算机技术应用领域，具体地涉及一种基于局部稀疏编码的姿态检索方法、装置、设备和存储介质。

背景技术：

人体姿态的估计是从输入视频或传感器数据测量姿态的形态的过程，常规来说，行为捕捉系统要求标记在人的身体上面。可是，这些系统是突兀而且贵的，一种无标记的方法会更有利于应用，例如视频监控和人机交互。目前，基于单幅图像轮廓的人体姿态恢复是无标记姿态恢复领域的一个重要研究课题。该研究明确地将一组训练图像存储在相应的三维姿态中，通过从训练集中搜索与给定图像相似的图像来实现姿势恢复。恢复的姿势可以通过在检索图像的姿势中进行插值得到。这是一项具有挑战性的任务，因为二维视觉特征和三维姿态之间的映射是非常复杂的，并且本质上是多模态的。如果姿势推断只能从轮廓的2d到3d歧义更是关键。这种歧义也被称为语义空白。轮廓恢复的问题设置是检索与二维输入图像相关的姿态。除了彩色图像外，微软kinect还利用深度信息获取骨骼图像。

目前，稀疏编码检索过程被应用于人的姿态恢复。稀疏编码通过从一个大的基池中选择一个相对较小的子集来完成给定信号的重构任务。重建误差尽量保持在同一时间。研究结果对回收利用稀疏编码分为两个阶段进行：第一，多种视觉特征级联成一个长的向量，和降维方法进行构建低维表示；其次，一般的稀疏编码方法被用于从基础上恢复的轮廓，是由一组剪影。根据恢复的结果，可以重建相应的三维骨架。

一般来说，用于稀疏编码的码本是完备。这意味着码本比特征维数大得多。重建的系数的稀疏性可以保证完备特征码。然而，超完备的会导致功能的局部性的损失。这使得相似的姿态轮廓被完全不同的稀疏编码描述，并导致姿态重建的不稳定性能。为了解决这个问题，一种可能的解决方案是在稀疏编码的构造中增加一个局部保留项。在拉普拉斯稀疏编码(lsc)，局部保持拉普拉斯项添加到一般的稀疏编码算法的目标函数，使得稀疏编码更多的歧视性的同时保持相似的功能。然而，lsc只能处理一个单一的特征。

技术实现要素：

本发明实施例一种基于局部稀疏编码的姿态检索方法、装置、设备和存储介质，本发明构造了一个拉普拉斯矩阵来度量每个人体姿态特征和真实人体姿态特征之间的相似度，使得相似的样本被分组，并能够适合于人体的多姿态检测，避免单一的特征检测。

第一方面，本发明实施例提供了一种基于局部稀疏编码的姿态检索方法，包括如下步骤：

从评价姿态恢复性能的数据集提取人体姿态特征；

将所述人体姿态特征通过稀疏编码的方式表示；

计算所述稀疏编码的局部稀疏编码；

构建多视角拉普拉斯矩阵优化所述局部稀疏编码，以获得稀疏编码的系数；

根据所述稀疏编码的系数检索所述人体姿态特征是否与真实人体姿态特征接近。

优选地，其特征在于，所述人体姿态特征包括：拳击、手势、慢跑、短跑以及步行。

优选地，所述稀疏编码的表达式为：其中，a代表基础集合；α是一个权衡参数，被用来平衡稀疏程度和重建误差；x是输入特征是随着a变化而变化。

优选地，计算所述稀疏编码的局部稀疏编码的表达式为：其中，β是为了平衡局部限制项的比例的权衡参数；a为稀疏码表，w为相似矩阵。

第二方面，本发明实施例提供了一种基于局部稀疏编码的姿态检索装置，包括

提取单元，用于从评价姿态恢复性能的数据集提取人体姿态特征；

表示单元，用于将所述人体姿态特征通过稀疏编码的方式表示；

计算单元，用于计算所述稀疏编码的局部稀疏编码；

获取单元，用于构建多视角拉普拉斯矩阵优化所述局部稀疏编码，以获得稀疏编码的系数；

评价单元，用于根据所述稀疏编码的系数来评价预测所述人体姿态特征是否与真实人体姿态特征接近。

优选地，所述人体姿态特征包括：拳击、手势、慢跑、短跑以及步行。

优选地，所述稀疏编码的表达式为：其中，a代表基础集合；α是一个权衡参数，被用来平衡稀疏程度和重建误差；x是输入特征是随着a变化而变化。

优选地，计算所述稀疏编码的局部稀疏编码的表达式为：其中，β是为了平衡局部限制项的比例的权衡参数；a为稀疏码表，w为相似矩阵。

第三方面，本发明实施例提供了一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置由所述处理执行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的一种基于局部稀疏编码的姿态检索方法方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如第一方面所述的一种基于局部稀疏编码的姿态检索方法方法。

上述一个实施例中，(1)采用局部保留约束改进了姿态恢复的最新工作。为了限制这一限制，构造了一个拉普拉斯矩阵来描述人体姿态特征之间的内在联系，使得相似的样本被分组。(2)通过使用多个特性来提高性能。将人体姿态特征被稀疏编码成多个拉普拉斯矩阵，进一步应用于稀疏编码过程。在这个细化过程中，将不同特征的稀疏系数组合起来，度量每个人体姿态特征和真实人体姿态特征之间的相似度。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一实施例提供的一种基于局部稀疏编码的姿态检索方法的流程示意图。

图2为本发明第一实施例提供的mlsc姿态恢复的整体流程示意图。

图3为本发明第二实施例提供的一种基于局部稀疏编码的姿态检索装置的的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明第一实施例：

参见图1，本发明第一实施例提供了一种基于局部稀疏编码的姿态检索方法，包括如下步骤：

s10，从评价姿态恢复性能的数据集提取人体姿态特征。

在本实施例中，所述评价姿态恢复性能的数据集，包含了五种姿态类型：拳击、手势、慢跑、短跑以及步行，当然，需要说明的是，在其他实施例中，所述人体姿态特征还包括竞走等，这些均在本发明的保护范围之内。

s20，将人体姿态特征通过稀疏编码的方式表示。

其中，在稀疏编程的结果中，只有30％是非0的，如果这个系数的一个基向量是非0，它就意味着输入向量与这个基向量是相关的。这个基向量的系数越高，就越接近输入向量。根据上述特点，稀疏编码可以被用来2d轮廓的3d姿态恢复。这个输入轮廓是由训练样本的稀疏组合表示的。这样的话，具有高稀疏系数的训练样本可以被留着作为候选，对应的3d的姿态就被用来恢复输入的姿态。稀疏学习算法通常解决l1标准，再者，为了降低这个信号的重构误差，稀疏编程可以按照如下公式：其中，式子中的第一项表示重构的误差，第二项被用来控制稀疏编程v的稀疏度。a代表基础集合，α是一个权衡参数，被用来平衡稀疏程度和重建误差。x是输入特征是随着a变化的。它可以是从轮廓提取的任意类型的特征，因此它的长度不是一个固定的值。基于上述公式的实现还有很多，在它们之间，这个特征搜索算法是展现了高效率的，由于它是比以前的任何方法更快。

s30，计算稀疏编码的局部稀疏编码。

在本实施例中，稀疏编程独立的对每个特征编码，按照之前所说的，由于完备集或者足够的基础集，相似特征可以被编码成完全不同的稀疏代码，这可能导致被编码的特征局部信息的丢失。为了保留这样的局部信息，局部敏感稀疏编码出现了，计算所述稀疏编码的局部稀疏编码的表达式为：其中，a为稀疏码表，w为相似矩阵。β是为了平衡局部限制项的比例的权衡参数，上述表达式可以为：其中x＝[x1,x2,...,xn],v＝[v1,v2,...,vn],而且n是一个基数，在这3d姿态恢复的应用中，训练集的特征是最基本的。因此，这个a是被固定的，而且上是用来优化稀疏码的，是用于构造拉普拉斯矩阵l，在本文中，如下公式：在公式(4)中，与这些特征相对应的相似矩阵是w，其中的wij测量a的顶点对(xi，yj)的相似度。度矩阵d，是一个对角矩阵，第i个dii对应着这个全部与xi相关的总和。是使用k-nearestneighbor(近邻算法)方法来计算的。

s40，构建多视角拉普拉斯矩阵优化所述局部稀疏编码，以获得稀疏编码的系数。

s50，根据稀疏编码的系数检索所述人体姿态特征是否与真实人体姿态特征接近。

在本实施例中，基于多视角的数据集，在这个集合中，每个x(i)是一个来自视图i的特征矩阵，mi是一个来自视图i的维度特征，n是样本数，t是视图数。因此，这个基于公式(3)的目标函数可以写成如下公式：其中l是一个第i视图的构造的拉普拉斯矩阵，并且λi是被指定的第i个视图。这个重构的系数cj，对每张图片来说都是稀疏的，它意味着只有一个在cj中的一小部分是非零的。cj是一c的一列，代表第j个测试样本的相似度。是一个第i个试图的特定的codebook。等式(6)可以改写成这个公式(7)的目标是为了通过不同视图的基础来找出稀疏线性重构的x。一个交替优化的两个过程是被提出来解决(7)这个问题的。首先，λ是固定的，然后将c优化，接下来，将c固定，将λ优化。这两个过程迭代进行直到目标函数收敛。

第一个阶段：

利用每个cj是被按顺序优化，直到整个c收敛，来代替同时优化整个稀疏码矩阵c。为了优化cj，所有剩下的稀疏码cp(p≠j)和λ都被固定下来。因此，可以被求解的。公式(7)优化后的结果可以表示成：其中：为了求解(8)，公式(9)的第一项被写成如下公式(10):采用特征符号搜索算法来解决cj问题，这个算法保持着一组包含着可能非零的系数以及他们所对应符号的活动集。其他系数均为0.这个算法的系统搜索优化了活动集和系数符号。它进行着一系列的特征标志步骤：在每个步骤中，它是给出了针对活动集和符号的当前猜测，以及对(8)定义的无约束二次优化的问题进行了计算解cj；然后它用一个有效的离散行搜索来更新该解、活动集和符号，直到当前解和cj收敛。

第二个阶段：

在这个阶段，c是被固定下来的，而λ更新。因此，只有可以影响到目标函数的值，公式(7)被改写成在(11)中λ的当它以不同的形式与tr(cl⁽ⁱ⁾c^t)的最小值相关的话，λp＝1，否则，λp＝0。它表明了只有一种形式会被选择。因此，这个解就不能有效的探索补充不同形态的特征。在(11)中的λi是被z>1的的替代。因此，得到它的最小值。在这种情况下，(11)可以被改写成：当z>1的时候，约束条件是利用拉格朗日乘法被考虑进去，因此这个目标函数可以被改成：ψ(λ,□),可以进行偏导数，依赖于λjand□,等于0。因此λj可以求解得到：这个拉普拉斯矩阵l是半正定的，因此当c是固定的时候，λi≥0.，得到全局最优解λi。

综上，这个方法遵循传统的姿态恢复。在这个特征提取过程中，3d人体姿态是被映射成带有一些特征的2d轮廓。这个轮廓的特征是被出来和进一步的转换成低维度。在姿态提取过程中，这个训练图像的特征是设置成基本特征，测试图像的特征是通过基本的稀疏组合来表示，用来获得这个组合的系数。

参见图2，为便于对本发明的理解，下面以实际的应用场景来说明本实施例的应用。

图2呈现了mlsc(multiviewlocality-sensitivesparseretrieval)姿态恢复的整体流程。首先，利用轮廓提取出不同类型的特征，其次，每个在测试集合中的例子都由训练集的稀疏组合来表示，同时，拉普拉斯矩阵是由在测试集合中的每个类型的特征构建的。第三，这多视角的拉普拉斯矩阵是被建立并且被用来改进稀疏编程。这改进的过程一直迭代进行直到收敛。

本发明第二实施例：

参见图3，本发明第二实施例提供了一种基于局部稀疏编码的姿态检索装置，包括

提取单元10，用于从评价姿态恢复性能的数据集提取人体姿态特征；

表示单元20，用于将所述人体姿态特征通过稀疏编码的方式表示；

计算单元30，用于计算所述稀疏编码的局部稀疏编码；

获取单元40，用于构建多视角拉普拉斯矩阵优化所述局部稀疏编码，以获得稀疏编码的系数；

评价单元50，用于根据所述稀疏编码的系数来评价预测所述人体姿态特征是否与真实人体姿态特征接近。

优选地，所述人体姿态特征包括：拳击、手势、慢跑、短跑以及步行。

优选地，所述稀疏编码的表达式为：其中，a代表基础集合；α是一个权衡参数，被用来平衡稀疏程度和重建误差；x是输入特征是随着a变化而变化。

优选地，计算所述稀疏编码的局部稀疏编码的表达式为：其中，β是为了平衡局部限制项的比例的权衡参数；a为稀疏码表，w为相似矩阵。

本发明第三实施例：

本发明实施例提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置由所述处理执行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施例所述的一种基于局部稀疏编码的姿态检索方法方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述实施例所述的一种基于局部稀疏编码的姿态检索方法方法。

示例性地，本发明实施例所述的计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述实现服务器设备中的执行过程。例如，本发明第二实施例中所述的装置。

所称处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述设备基于局部稀疏编码的姿态检索方法的控制中心，利用各种接口和线路连接整个所述实现一种基于局部稀疏编码的姿态检索方法的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现设备基于局部稀疏编码的姿态检索方法的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、文字转换功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、文字消息数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡(smartmediacard,smc)、安全数字(securedigital,sd)卡、闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，所述实现服务设备的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。