专利名称：一种基于模版匹配的视点无关的人体动作识别方法
技术领域：
本发明涉及视频监控，尤其涉及一种基于模板匹配的视点无关的人体动作识 别方法。
背景技术：
一些研究者将人体动作识别等同于人体三维重建，他们认为如果能够恢复 与视频对应的三维人体姿态，自然就达到了识别的目的。将预先建立的三维人 体模型与图像中的二维人体轮廓进行适配，从而实现人体姿态的重建。然而， 从任意图像序列中恢复三维信息是个十分复杂的、非线性的过程，容易受到噪 声干扰，很不鲁棒。因此更多人研究如何从二维视频中直接对人体动作进行识别。Ekinci等人提出一种视频监控中的实时人体运动跟踪和姿态估计方法，他们 采用背景建模技术提取人体运动轮廓，基于人体轮廓的骨架结构估计人体姿态。 然而此项工作仅考虑离散的人体姿态，并未对时序上的人体姿态序列进行表示 和建模。隐马尔可夫模型(Hidden Markov Models)适合描述物体在时间域上的 运动模式，因此被广泛应用在人体动作识别。这类工作的原理是从视频帧序列 中提取时序特征，并采用这些特征为每类动作训练HMMs。识别时从视频中提 取运动序列的特征，并输入每个HMMs，选择输出概率最大的HMMs作为分类 结果。由于HMMs是基于概率的识别方法，它们需要大量训练数据以确保结果 的可靠性，因此对每类动作均需要大量视频作为训练样本，这在很多情况下难 以保证。光流(Optical flow)是表征人体运动的重要特征。Ahmad等人采用光 流表示视频帧间的人体运动信息，并基于HMMs进行动作识别，这项工作发表 在正EE国际模式识别会议中(IEEE International Conference on Pattern Recognition, 2006， 263-266)。然而光流的计算效率较低，因此这种方法并不适 合象视频监控之类的实时应用。Davis和Bobick提出的二维运动模板(IEEE Transactions on PAMI, 2001, 23(3):257 267)是一种描述时序运动序列的有力工 具。他们提出的运动能量图(Motion Energy Image)和运动历史图(Motion History Image)能有效捕捉视频序列中的人体运动信息。MEI和MHI将一段视频序列 中的时序人体运动信息压縮在一幅图像中进行表达。这种表示方式有助于避免 复杂的视觉跟踪问题，将时序数据的识别简化为一个图像分类问题，因此大大 提高了人体动作识别的效率。然而Davis的方法是视点相关的，即识别的效果依赖于具体的视点。作者只是在特定视点下构造二维运动模板，因此当待识别的 人体动作是在其它视点下得到的，这种方法就会失效。唯一的解决手段就是在 很多视点下分别构造运动模板，这不仅麻烦而且很不科学，因为我们无法事先预知待识别的动作具有怎样的视点。Michel等人提出结合MHI和A近邻a Nearest Neighbor)算法对人脸动作单元(Facial Action Unit)的运动进行识别 (IEEE International Workshop on Human-Robot Interaction 2004, 2004， 253 258)。这种方法的效率在很大程度上依赖于样本数据的数量，当样本数据 量很大时，ANN分类算法是非常耗时的。Weinland等人将MHI拓展到三维空间 形成运动历史体(Motion History Volume)，这项工作发表在《计算机视觉与图 像理解》上(Computer Vision and Image Understanding, 2006， 104:249~257)，尽 管MHV是种视点无关的动作表达方式，构造MHV却需要多个严格标定过的视 频摄像机。所以，当仅有单目监控视频时，很难通过构造MHV进行动作识别。发明内容本发明的目的是提供一种基于模板匹配的视点无关的人体动作识别方法。 它包括模板构造和动作识别两个部分1. 一种基于模板匹配的视点无关的人体动作识别方法，其特征在于方法分 为模板构造和动作识别两个部分 模板构造的步骤为1) 首先捕获三维人体动作作为样例，采用3D max构造三维人体模型并将三维运动数据与模型绑定，渲染为多个视点下的二维人体轮廓序列；2) 基于多视点的人体轮廓序列计算此动作在多个视点下的运动历史图和相 应的极坐标特征；3) 采用流形学习算法将所有样例动作多视点下的极坐标特征映射至四维子 空间，得到每个极坐标特征在子空间中的四维坐标；4) 对每个样例动作的多视点极坐标特征，通过在四维子空间中计算虚拟球 心和超球半径来构造动作超球；5) 将多种样例动作的动作超球集成起来得到动作模板； 动作识别的步骤为6) 根据待识别动作序列构造运动历史图并提取相应的极坐标特征；7) 采用流形学习算法将此极坐标特征映射至模板动作子空间并获得待识别动作的四维坐标；8)在动作模板中寻找与此四维坐标最接近的超球球面，并将此球面代表的 样例动作作为候选的识别结果。所述的模板构造步骤中捕获三维人体动作作为样例，并采用特定造型软件将三维运动数据渲染为多个视点下的二维人体轮廓序列采用运动分析光学运动 捕获设备，捕获关节点处贴有标签的人体的几种典型动作的三维运动数据，采用3D Max构造人体的三维实体模型并与运动数据进行绑定，利用3D Max设定 相机角度，渲染得到多个视点下的人体运动图像序列并基于背景图像将运动人 体与背景分割开来，得到二值的人体轮廓序列。所述的模板构造步骤中基于多视点的人体轮廓序列计算此动作在多个视点下的运动历史图运动历史图^采用如下公式计算其中i)(;^力是由一段包含人体运动的图像序列^c,;;力与背景图像相减得到的二 值人体轮廓序列；T是这段动作的最大持续时间；根据动作持续时间归一化运动 历史图的计算公式为-所述的对运动历史图提取极坐标特征首先对运动历史图中非零值像素的；c 和少坐标取均值得到人体运动区域的质心，然后以质心为圆心对人体运动区域 做最小包围圆，以0度为间隔将此最小包围圆划分为36O/e个扇区，并在径向上 将每个扇区均匀划分为w个区域，运动历史图中的人体运动区域被分布在极坐 标系上的360XW6个图像区域完全覆盖，将这个36OXM/0维向量作为运动历史 图的极坐标特征。所述的模板构造步骤中采用流形学习算法将所有样例动作多视点下的极坐 标特征映射至四维子空间，得到每个极坐标特征在子空间中的四维坐标采用 等距映射算法对所有样例动作在多个视点下的极坐标特征进行降维，将360Xw/P维极坐标特征约减至四维，同时计算所有四维特征的两两最短距离矩阵，采用 多维縮放算法得到距离矩阵的特征向量，并与四维特征运算得到每个极坐标特 征在四维空间中的坐标。所述的模板构造步骤中对每个样例动作的多视点极坐标特征，通过在四维子空间中计算虚拟球心和超球半径来构造动作超球设样例动作的多视点极坐标 特征分布在一个四维的超球表面，超球的虚拟球心是隐藏在多视点动作投影图 像下的此动作的本征特征；假设给定动作对应的极坐标特征，这个动作超球的 虚拟球心和半径可通过采用最小二乘法求解得到，计算公式为||乂广0||2=及1^2-。112=及 IK_0||2=i 其中i 是超球半径，O是超球球心，A是m个极坐标特征，/=1广'，肌所述的模板构造步骤中将多种样例动作的动作超球集成起来得到动作模板将所有典型动作在多个视点下的极坐标特征投影至一个四维流形子空间中，在这个四维子空间中为每个样例动作构造动作超球并计算虚拟球心和半径；用做动作识别的动作模板由所有样例动作的多视点极坐标特征、所有动作超球的虚 拟球心、所有动作超球的半径三部分组成，每个动作超球具有不同的球心和半 径。所述的动作识别步骤中根据待识别动作序列构造运动历史图并提取相应的极坐标特征假设/(JC,少力是包含待识别动作的图像序列，"(x，;^)是提取出的二 值人体轮廓序列，运动历史图&计算为A"W) = <[T ,n ,n^""^)-1'其中r是这段动作的最大持续时间； Lmax(O, fl^ (x， y， / 一 1) 一 1) o/Tzewwe根据动作持续时间归 一 化运动历史图，计算公式为H(X，W) = A=, —,.";Vmax)/"max"miJ;对待识别动作的运动历史图中非零值像素的x和y坐标取均值得到人体运动区域的质心，然后以质心为圆心对人体运动区 域做最小包围圆，以e度为间隔将此最小包围圆划分为360W个扇区，并在径向 上将每个扇区均匀划分为w个区域，运动历史图中的人体运动区域被分布在极 坐标系上的360Xw/e个图像区域完全覆盖，待识别动作的运动历史图可用一个 360X"W维向量来表示，将这个360X"W维向量作为待识别动作的极坐标特征。所述的动作识别步骤中采用流形学习算法将此极坐标特征映射至模板动作 子空间并获得待识别动作的四维坐标令F是待识别动作的极坐标特征，采用 等距映射流形学习算法将F映射至四维的样本动作子空间，并基于等距映射流 形学习算法计算出待识别动作在子空间中的四维坐标P。所述的动作识别步骤中在动作模板中寻找与此四维坐标最接近的超球球面， 并将此球面代表的样例动作作为候选的识别结果设动作模板中包含w个样例动作，每个动作由动作超球在流形子空间中进行 表示，这"个动作超球的虚拟球心和半径分别为和， / = w，计算《||2-《i，寻找距离尸最接近的超球面，此超球代表特定样例动作 乂a， 'ii拟球心和半径分别为"和i^;设T)是动作模板中与^t对应的所有视 点下动作投影的四维流形坐标，/=1，"'，瓜如果<formula>formula see original document page 10</formula>输入动作可识别为^^否则返回；结束；以上操作通过一个阈值来评价待识别动作与样例动作的绝对相似度，此阈 值自动指定为^t对应的所有视点下动作投影的四维流形坐标与超球球面之间的 最大距离。本发明具有的有益效果是本发明所述的运动模板可以方便的由未标定的多视点视频构造；动作超球融合了多视点下的人体运动特征，有利于进行视点无 关的人体动作识别；另外基于超球的识别方法在计算效率上要优于传统的ANN 算法。
图1是本发明中Poser软件模拟的24台虚拟摄像机位置分布示意图； 图2是本发明中六种样例动作的运动历史图；图3 (a)是本发明中运动历史图的最小包围圆及其在径向和轴向划分示意图；(b)是本发明中采用216区域的最小包围圆对运动历史图进行采样示图3 (c)是本发明中运动历史图的216维极坐标特征；图4是本发明中基于六种样例动作构造的动作模板示意图； 图5 (a)是本发明中构造动作模板时采用的三维运动数据； 图5 (b)是本发明中多视点下的运动历史图；图5 (c)是本发明中根据多视点下的运动历史图提取的极坐标特征； 图5 (d)是本发明中用流形学习对极坐标特征降维得到的四维坐标； 图5 (e)是本发明中的动作超球；图6是本发明实例3中待识别动作与动作模板中样例动作的平均距离示意图；具体实施方式
基于模板匹配的视点无关的人体动作识别方法实施如下1) 使用Motion Analysis公司的Mocap设备捕获六种三维人体动作作为样例， 即行走、蹲下、打拳、踢腿、敲打和猛砸。在捕获时Mocap设备的帧速率设置 为30fps，与一般的视频帧速率相同。每个非周期性动作持续时间大约为一秒， 一个行走周期时间也为一秒。采用Poser造型软件模拟表演者周围的24台摄像 机。其中12台摄像机以30度为间隔均匀分布在以表演者为中心的水平面上， 另外12台摄像机则均匀分布在仰角为45度的水平面上，同样以30度为间隔， 这种相机配置情况同样可由图1大致描述。采用这24个虚拟摄像机结合虚拟的 三维人体模型将三维运动数据渲染为多个视点下的二维人体轮廓序列。2) 假设/(x,;;力是一段包含人体运动的图像序列，2)(x，;;力是提取出的二值人 体轮廓序列，用一幅运动历史图/^来描述这段人体运动的情况；根据下式计算A(x，w) = 「 ，n ,//( '—1，其中r是这段动作的最大持续时间， Lmax(O， ^ (x， y,卜1) 一 1)由于每段动作持续时间为一秒钟，因此r为30。按照下式将运动历史图归一化: 好0c,;;力-A。(:c，;;，30)/30，对6种样例动作分别计算运动历史图，如图2所示。进一步对运动历史图提取极坐标特征作为动作表示形式，首先对运动历史图中dt牵乂古乂负吝66 " in "人"士^HV"Ki估^旦-i1 A 乂士4;;4iR7+^幼庄，'、、姊n、l庄.,、A回.,、w人体运动区域做最小包围圆。以IO度为间隔将此最小包围圆划分为360个扇区， 并在径向上将每个扇区均匀划分为6个区域，运动历史图中的人体运动区域被 分布在极坐标系上的216个图像区域完全覆盖；因此， 一幅运动历史图可用一 个216维向量来表示，向量每个元素定义为运动历史图上特定图像区域中的像 素亮度平均值，将这个216维向量作为运动历史图的极坐标特征，计算极坐标 特征的过程如图3 (a)，图3 (b),图3 (c)所示。3) 采用流形学习算法将6种样例动作在24个视点下的极坐标特征映射至四 维子空间，得到每个极坐标特征在子空间中的四维坐标采用等距映射算法对 所有样例动作在多个视点下的极坐标特征进行降维，将216维极坐标特征约减 至四维，同时得到每个极坐标特征在四维空间中的坐标。在等距映射算法中每 个数据的近邻数目设置为20。4) 对任何一个样例动作在24个视点下的极坐标特征，在四维流形子空间中 通过计算虚拟球心和超球半径来构造动作超球；设给定动作对应24个极坐标特 征&(/=1，...,24)，这个动作超球的虚拟球心O和半径i 可通过采用最小二乘法 求解得到，计算公式为<formula>formula see original document page 12</formula> 将6种典型动作在24个视点下的极坐标特征投影至一个四维流形子空间 中，属于同一个动作的四维坐标聚集在一起，而不同动作的四维坐标之间能够 比较清晰的区分开来；在这个四维子空间中为每个样例动作构造动作超球并计 算虚拟球心和半径；因此用做动作识别的动作模板由三部分组成6种样例动作 的24视点极坐标特征；6个动作超球的虚拟球心；6个动作超球的半径。由于动作zj司的差异，每个动作超球具有不同的球心禾n半径。基于六禾中样例动作得到的动作模板如图4所示。基于样例动作计算动作模板的整个工作流程如图 5(a),图5(b)，图5(c)，图5(d),图5(e)所示。5) 采用步骤二中的方法根据输入视频计算待识别动作的运动历史图和极坐 标特征。6) 采用等距映射算法将待识别动作的极坐标特征映射至模板动作子空间， 得到待识别动作在子空间中的四维坐标，等距映射算法中数据的近邻个数设定 为20。7) 动作模板中包含的6个样例动作均由动作超球在流形子空间中进行表示，这6个动作超球的虚拟球心和半径分别为^和^ (z' = 1,...,6)，计算 《=min|i|/>-《||2-/ ,|，在动作模板中寻找距离户最接近的超球面，此超球代表/=1,...，6特定样例动作^^，其虚拟球心和半径分别为"和^，这是为了在动作模板中找到与待识别动作相对最接近的样例动作；设2} (/= l,...， m)是动作模板中与^t对应的所有视点下动作投影的四维流形 坐标，如果《Smaxlll7;.-All2-AI，输入动作可识别为否则待识别动作不乂=1"..,6在预先定义的动作之列。为了验证本发明所述的方法，我们首先使用Mocap系统捕获六种人体动作 (行走、打拳、踢腿、下蹲、敲打和砸)，其中包括在停车场可能出现的典型异 常动作，如敲玻璃、砸车等等。捕获时Mocap系统的帧速率为30f^s，每个动作 持续大约1秒钟，对于行走动作，只取一个周期内运动作为样本。然后采用Poser 造型软件将这些三维运动数据分别在24个视点方向上进行投影，这24个虚拟 摄像机的位置可参照图1进行设置。接下来计算每个动作的24视点运动历史图， 提取这些运动历史图的极坐标特征，并在低维流形子空间中构造动作模板。这 六种动作每一种都分别由实验室的六个不同成员以不同的速率和幅度表演三次，因此构造动作模板时每种动作都有18种选择。为测试不同模板对识别准确率的影响，我们对六种样例动作分别作出不同选抒，共构造18个不同的模板， 基于这些模板对六种测试动作进行识别，我们对每种样例动作随机采样，构造 包含6个样例动作的动作模板进行如下所述的三组测试实施例。 实施例1基于合成的数据集进行动作识别实施例-对于此数据集，每种动作有18个不同的选择，由于已经有一个动作被选入 动作模板，剩下的17个动作可被用作测试用例。将本发明所述算法与两种算法 进行对比，即Bobick等人提出的时序模板匹配方法和A:近邻(ANN)分类方法。 在ANN方法中，我们在构造模板数据时仍然提取样例动作的多视点极坐标特征， 并采用非线性降维方法将其映射至四维子空间中，只是在分类的时候将基于超 球的方法替换为ANN分类方法。由于Bobick提出的方法是依赖于视点的，因此 基于同样的样例动作(这些样例动作也被用来构造我们自己的动作模板)为这 种方法构造24个时序模板，这24个模板的视点与图1中的虚拟相机位置相对 应。这样无论输入动作具有怎样的视点，都可以找到对应的时序动作模板进行 识别。测试时，根据一段待识别的人体动作轮廓序列计算运动历史图并提取极 坐标特征，此运动的视点在己知的24个相机视点之内。这样可能的测试用例数 目为17x24 = 408。随机挑选100个不同输入进行测试，三种算法的识别准确率 及执行时间情况为对"蹲下"动作而言，ANN方法的识别准确率为73%， Bobick 方法的识别准确率为86%,本发明所述方法的识别准确率为85%; ^NN方法的 执行时间为350毫秒，Bobick方法的执行时间为116毫秒，本发明所述方法的 执行时间为107毫秒。对"行走"动作而言，ANN方法的识别准确率为72X， Bobick方法的识别准确率为89X，本发明所述方法的识别准确率为91%; ANN 方法的执行时间为420毫秒，Bobick方法的执行时间为108毫秒，本发明所述 方法的执行时间为109毫秒。对"打拳"动作而言，ANN方法的识别准确率为 83%， Bobick方法的识别准确率为87%，本发明所述方法的识别准确率为87%; ANN方法的执行时间为380毫秒，Bobick方法的执行时间为110毫秒，本发明 所述方法的执行时间为104毫秒。对"踢腿"动作而言，ANN方法的识别准确 率为86%， Bobick方法的识别准确率为92X，本发明所述方法的识别准确率为 90%; A;NN方法的执行时间为470毫秒，Bobick方法的执行时间为96毫秒，本 发明所述方法的执行时间为92毫秒。对"敲打"动作而言，ANN方法的识别准 确率为78%， Bobick方法的识别准确率为85%，本发明所述方法的识别准确率 为84%; ANN方法的执行时间为320毫秒，Bobick方法的执行时间为95毫秒，木发明所述方法的执行时间为82毫秒。对"砸"动作而言，^NN方法的识别准 确率为80%， Bobick方法的识别准确率为83X，本发明所述方法的识别准确率 为86%; A:NN方法的执行时间为510毫秒，Bobick方法的执行时间为120毫秒， 本发明所述方法的执行时间为115毫秒。这表明发明所述算法在准确率及计算 效率方面都要好于^NN算法，本算法特别适合于在大的数据集上进行识别，因 为我们只需要比较输入数据和每个超球球心之间的距离，算法执行时间相对于 数据类别的数目呈线性增长。因此本算法比较适合视频监控之类的实时应用。 实施例2基于公共数据集进行动作识别实施例在实施例1中Bobick的方法与本发明所述方法具有相似的性能，这是因为 在上一个测试中输入动作的视点是受到严格限制的，以便与动作模板的视点相 匹配。第二组测试则是为了对比Bobick的方法与本发明所述方法的可推广性。 我们在数据集上执行两种算法，汉M4S数据集可在INRIA PERCEPTION 的站点上公开下载。此数据集包含13种日常人体运动，每种运动由11个演员 分别表演3次。演员表演时自由改变朝向以体现视点无关性。因此对于一种动 作来说，有33个可供选择的测试用例。我们在/ZM4S数据集中选择了 5个自由 视点下的行走、打拳、踢腿和下蹲四个动作，计算它们的运动历史图和极坐标 特征作为算法输入。用这四组动作进行测试，试验对比说明本发明所述方法的 识别准确率优于Bobick所提出方法的准确率。这表明Bobick提出的方法在视 点不确定时性能下降很快，而本发明所述方法则能在视点发生变化时仍然保持 较高识别率，具有视点无关性。实施例3基于真实视频进行动作识别实施例-我们在学校停车场中拍摄实验室其他人员的真实视频，运动人体轮廓可由 背景建模方法获得。这里如何从一个时序的人体轮廓集合中获得有意义的"动 作"片段作为算法输入是个十分关键的问题，我们采用基于子空间分析的切分 算法在时间域上对动态人体动作进行切分。每隔1秒钟对30帧人体轮廓(视频 帧速率为30^)s)进行预切分，初步提取不同动作片段，并计算运动历史图和相 应的极坐标特征作为算法输入。共重复了 10次测试，待识别动作与动作模板中 样例动作的平均距离如图6所示，可见本发明所述方法对于真实视频同样有效。
权利要求
1.一种基于模板匹配的视点无关的人体动作识别方法，其特征在于方法分为模板构造和动作识别两个部分模板构造的步骤为1)首先捕获三维人体动作作为样例，采用3D max构造三维人体模型并将三维运动数据与模型绑定，渲染为多个视点下的二维人体轮廓序列；2)基于多视点的人体轮廓序列计算此动作在多个视点下的运动历史图和相应的极坐标特征；3)采用流形学习算法将所有样例动作多视点下的极坐标特征映射至四维子空间，得到每个极坐标特征在子空间中的四维坐标；4)对每个样例动作的多视点极坐标特征，通过在四维子空间中计算虚拟球心和超球半径来构造动作超球；5)将多种样例动作的动作超球集成起来得到动作模板；动作识别的步骤为6)根据待识别动作序列构造运动历史图并提取相应的极坐标特征；7)采用流形学习算法将此极坐标特征映射至模板动作子空间并获得待识别动作的四维坐标；8)在动作模板中寻找与此四维坐标最接近的超球球面，并将此球面代表的样例动作作为候选的识别结果。
2. 根据权利要求1所述的一种基于模板匹配的视点无关的人体动作识别方 法，其特征在于所述的模板构造步骤中捕获三维人体动作作为样例，并釆用特 定造型软件将三维运动数据渲染为多个视点下的二维人体轮廓序列采用运动 分析光学运动捕获设备，捕获关节点处贴有标签的人体的几种典型动作的三维 运动数据，采用3DMax构造人体的三维实体模型并与运动数据进行绑定，利用 3D Max设定相机角度，渲染得到多个视点下的人体运动图像序列并基于背景图 像将运动人体与背景分割开来，得到二值的人体轮廓序列。
3. 根据权利要求1所述的一种基于模板匹配的视点无关的人体动作识别方 法，其特征在于所述的模板构造步骤中基于多视点的人体轮廓序列计算此动作 在多个视点下的运动历史图运动历史图^,采用如下公式计算其中"(x,y力是由一段包含人体运动的图像序列/(x,;V)与背景图像相减得到的二 值人体轮廓序列；T是这段动作的最大持续时间；根据动作持续时间归一化运动 历史图的计算公式为<formula>formula see original document page 3</formula>
4. 根据权利要求1或3所述的一种基于模板匹配的视点无关的人体动作识 别方法，其特征在于所述的对运动历史图提取极坐标特征首先对运动历史图 中非零值像素的X和^坐标取均值得到人体运动区域的质心，然后以质心为圆心 对人体运动区域做最小包围圆，以0度为间隔将此最小包围圆划分为360W个扇 区，并在径向上将每个扇区均匀划分为"个区域，运动历史图中的人体运动区 域被分布在极坐标系上的360X"/0个图像区域完全覆盖，将这个360X"/^维向量作为运动历史图的极坐标特征。
5. 根据权利要求1所述的一种基于模板匹配的视点无关的人体动作识别方 法，其特征在于所述的模板构造步骤中采用流形学习算法将所有样例动作多视 点下的极坐标特征映射至四维子空间，得到每个极坐标特征在子空间中的四维 坐标采用等距映射算法对所有样例动作在多个视点下的极坐标特征进行降维， 将360X"W维极坐标特征约减至四维，同时计算所有四维特征的两两最短距离 矩阵，采用多维縮放算法得到距离矩阵的特征向量，并与四维特征运算得到每 个极坐标特征在四维空间中的坐标。
6. 根据权利要求1所述的一种基于模板匹配的视点无关的人体动作识别方 法，其特征在于所述的模板构造步骤中对每个样例动作的多视点极坐标特征， 通过在四维子空间中计算虚拟球心和超球半径来构造动作超球设样例动作的 多视点极坐标特征分布在一个四维的超球表面，超球的虚拟球心是隐藏在多视 点动作投影图像下的此动作的本征特征；假设给定动作对应的极坐标特征，这 个动作超球的虚拟球心和半径可通过采用最小二乘法求解得到，计算公式为<formula>formula see original document page 3</formula>其中i 是超球半径，0是超球球心，A是m个极坐标特征<formula>formula see original document page 3</formula>。
7. 根据权利要求1所述的一种基于模板匹配的视点无关的人体动作识别方 法，其特征在于所述的模板构造步骤中将多种样例动作的动作超球集成起来得到动作模板将所有典型动作在多个视点下的极坐标特征投影至一个四维流形 子空间中，在这个四维子空间中为每个样例动作构造动作超球并计算虚拟球心 和半径；用做动作识别的动作模板由所有样例动作的多视点极坐标特征、所有动作超球的虚拟球心、所有动作超球的半径三部分组成，每个动作超球具有不 同的球心和半径。
8. 根据权利要求1所述的一种基于模板匹配的视点无关的人体动作识别方 法，其特征在于所述的动作识别步骤中根据待识别动作序列构造运动历史图并 提取相应的极坐标特征假设/(x^力是包含待识别动作的图像序列，Z)(x，;/力是 提取出的二值人体轮廓序列，运动历史图仏计算为A(x，w卜卩，n ,//( '^1，其中7是这段动作的最大持续时间-， Lmax(o，(x，少，/1 一 1) 一 1) of/2enrae根据动作持续时间归 一 化运动历史图，计算公式为h(x,w) = A=,(w,W)/(w-^);对待识别动作的运动历史图中非零值像素*■ ""max 'mm "iwy "'…的X和y坐标取均值得到人体运动区域的质心，然后以质心为圆心对人体运动区 域做最小包围圆，以0度为间隔将此最小包围圆划分为36OW个扇区，并在径向 上将每个扇区均匀划分为w个区域，运动历史图中的人体运动区域被分布在极 坐标系上的360XwW个图像区域完全覆盖，待识别动作的运动历史图可用一个 360XwW维向量来表示，将这个360X"/e维向量作为待识别动作的极坐标特征。
9. 根据权利要求1所述的一种基于模板匹配的视点无关的人体动作识别方 法，其特征在于所述的动作识别步骤中采用流形学习算法将此极坐标特征映射 至模板动作子空间并获得待识别动作的四维坐标令f是待识别动作的极坐标 特征，采用等距映射流形学习算法将f映射至四维的样本动作子空间，并基于 等距映射流形学习算法计算出待识别动作在子空间中的四维坐标户。
10. 根据权利要求1所述的一种基于模板匹配的视点无关的人体动作识别方 法，其特征在于所述的动作识别步骤中在动作模板中寻找与此四维坐标最接近 的超球球面，并将此球面代表的样例动作作为候选的识别结果设动作模板中包含w个样例动作，每个动作由动作超球在流形子空间中进行表示，这w个动作超球的虚拟球心和半径分别为O,和凡.，/ = "，计算 《=^in"|||P-《||2-i J，寻找距离尸最接近的超球面，此超球代表特定样例动作 ^*， 'i庙拟球心和半径分别为Q和A;设2)是动作模板中与^U对应的所有视 点下动作投影的四维流形坐标，_/=1,"',"，如果《S max OJ2-/y输入动作可识别为^^否则返回；结束；以上操作通过一个阈值来评价待识别动作与样例动作的绝对相似度，此阈 值自动指定为^t对应的所有视点下动作投影的四维流形坐标与超球球面之间的 最大距离。
全文摘要
本发明公开了一种基于模板匹配的视点无关的人体动作识别方法。能在视频中识别出几种预先定义的典型动作。构造模板时首先为每个样例动作计算多个投影视点下的运动历史图并提取极坐标特征，采用流形学习方法将这些极坐标特征映射至低维子空间中，并在子空间中基于多视点极坐标特征的低维坐标为此样例动作构造“超球”。动作模板由多个已知球心和半径的超球组成。当给定待识别动作时，首先计算此动作的运动历史图和相应极坐标特征，然后将极坐标特征投射至模板动作子空间中得到低维坐标，并计算此坐标与模板中各个超球球面之间的距离，选择最接近的超球作为识别结果。本发明提供的技术实现了视点无关的动作识别，在视频监控领域具有较高应用价值。
文档编号G06K9/62GK101216896SQ200810059129
公开日2008年7月9日 申请日期2008年1月14日 优先权日2008年1月14日
发明者飞 吴, 庄越挺, 剑 张, 俊 肖 申请人:浙江大学