专利名称：一种视角无关的动作识别方法
技术领域：
本发明属于智能视觉监控技术领域，具体涉及一种视角无关的动作识别 方法。
背景技术：
随着科技的飞速发展，利用摄像机来对场景进行监控，已经被广泛应用 于社会的各个方面。监控场景中的主要目标是人，对人体的各种动作进行识 别，有助于防止和阻止犯罪。至今为止，关于动作识别的大多数研究工作都 是在一个固定的视角下进行的。虽然有一小部分利用了视角不变的表示开展 研究，可是它们大多数存在着一些缺陷，比如缺少用于识别的足够的信息， 依赖鲁棒的语义特征点的检测或者是点对应。由于场景中人体运动的方向与 摄像机拍摄方向之间的角度是任意的，人不可能总是朝着同一个方向去活
动。而摄像机从一个固定的方向拍摄到的只是该方向下的2维的运动数据， 其他方向下的信息都丢失了。当采集到的运动序列的角度和计算机之前学习 的运动序列的角度不一样时，动作识别就变得格外困难。
用概率网络方法识别人体动作能够充分考虑人运动的动态过程，并且将 时间尺度和空间尺度上的运动的微小变化采用概率的方法进行建模，该方法 对于运动序列在时间和空间尺度上的小的变化具有很好的鲁棒性，但目前的 基于概率网络的方法没有考虑每个状态的出现顺序以及每个状态的持续时 间，也没有充分利用动作序列中的上下文信息，导致识别率不高。
发明内容
本发明的目的是提供一种视角无关的动作识别方法，解决了现有监控场 景中要求固定视角的限制，实现了任意方向下的人体动作识别，且识别率高。
本发明所采用的技术方案是， 一种视角无关的动作识别方法，该方法按 照以下步骤实施，
步骤l:提取正面、倾斜、侧面3个方向下的二值人体轮廓信息使用 3个摄像机分别从正面、倾斜、侧面3个方向对要识别的动作体态同步进行 视频数据采集，设e为拍摄角度，则正面0 = 0。，倾斜6 = 45°，侧面6 = 90°, 对得到的视频数据进行预处理从而得到二值图像信息/。(w,Z0 、 /45 ，/0 、
其中/。(w，A)、 ./45(vn/0、 /9。 ,/2)分别表示运动人体在0 = 0°、 6 = 45°、 6 =卯°下的投影的二值图像信息；
步骤2:根据上步得到的要识别动作体态的正面、倾斜、侧面3个方向 下的二值人体图像信息，进行人体3维体态的雕刻重建，得到该体态的3维 雕刻模型；
步骤3:在上步得到的每个动作体态的3维雕刻模型中提取人体运动过 程的动态部分形成运动动态能量体及3维体态的运动权值模型，采用3维伪 Zemike矩进行比例不变、位移不变、旋转不变的特征描述，得到动作体态 的视角无关的特征数据；
步骤4:根据上步得到的动作体态的特征数据使用条件随机场为每一个 动作建立概率图模型，并进行识别。
本发明的动作识别方法，通过使用3个摄像机分别从正面、倾斜、侧面 3个方向同步采集场景中的人体运动图像，使用3维雕刻的方法重建出3维 人体模型，进一步通过对人体运动中动态部分数据的关注，提取出3维体态的运动权值模型，然后使用3维伪Zemike矩描述视角无关的人体动作特征， 通过条件随机场对动作进行建模，从而能够识别任意方向下的人体动作，且 识别率高。
图1是本发明动作识别方法的流程图2是利用本发明方法对"踢腿"动作进行识别的实施例中一个体态 的预处理效果图，其中，a、 b、 c分别是视频序列中某一时刻下的正面、倾 斜、侧面图像通过图像分割、阴影消除、数学形态学处理以及大小归一化和 位置中心化后的二值轮廓图像；
图3是图2所示实施例中利用3个方向下的二值人体轮廓进行3维人体 雕刻重建的模型图4是图2所示实施例中一个3维人体在高度h处的横截面在0方向上 的投影；
图5是图2所示实施例中"踢腿"这个动作的3维雕刻模型在不同方向 上的2维投影，al、 a2、 a3分别表示用于雕刻重建的正面、倾斜、侧面方向 下的3个二值人体轮廓;bl bl3分别表示重建出来的3维体态雕刻模型在(T 、 15°、 30°........ 165°、 180。上的2维投影效果图6是图2所示实施例中所建立的圆柱体坐标系；
图7是图2所示实施例中动作建模和识别所建立的条件随机场概率图模
型结构图。
具体实施例方式
下面结合附图和具体实施方式
对本发明进行详细说明。 本发明的动作识别方法，具体步骤如图l所示，通过使用3个摄像机分别从正面、倾斜、侧面3个方向同步采集场景中的人体运动数据，使用3维 雕刻的方法重建出3维人体模型，进一步通过对人体运动中动态部分数据的 关注，提取出3维体态的运动权值模型，然后使用3维伪Zernike矩描述视 角无关的人体动作特征，通过条件随机场对动作进行建模，从而实现动作识 别。
以下以对"踢腿"动作进行识别为实施例来说明本发明的方法。 步骤h使用3个摄像机分别从正面(^0°)、倾斜(0 = 45°)、侧面(0 = 90°)3 个方向采集动作序列数据，0为拍摄角度，对采集到的动作序列数据经过图 像分割、阴影消除、数学形态学等操作后，再对每一帧的人体动作图像进行 尺度归一化和位置中心化，从而得到3个方向下的人体二值图像信息。图2 给出了 "踢腿"这一动作其中一个体态在3个方向下经过处理后的效果图。，
令/。(w,/ )、 y;。(w,/o分别表示正面(^=0°)、倾斜(6=45°)和侧面
(6 = 90°)方向下的任意点(w,W的二值图像信息，等于1表示点(w，/0为前景 点，等于0表示点(w，/z)为背景点。 步骤2:3维体态的雕刻重建
2.1、 假设一个3维的矩阵M ， M(xj,/0表示该3维矩阵中(xj，/0位置处 的值，义、y、 //分别为该3维矩阵的长、宽、高，令M(;c，少，/0二l， lS;c^义，
2.2、 如图3和图4所示，将步骤1得到的二值图像信息/。(w,/0 、 /45一)、 /9 )投影到3维矩阵^上，根据/o(w，/0、 /9。(M^)的值，按照公 式(1)对3维矩阵M中的值重新进行赋值，得到该体态的3维雕刻模型
M(x,少,/z)。<formula>formula see original document page 10</formula>其中(vv,，/2)、 (W2,/z)、 (w,，/0分别表示3维矩阵M中的一点(;c,;a)在0二O。、 6/ = 45°、 6 = 90°下的投影。
2.3、将上步得到的3维雕刻模型在(T、 15°、 30°........ 165。、 18(T上进
行2维投影，可以观察到该3维雕刻模型的2维投影效果图，如图5所示。
步骤3:视角无关的特征描述
根据步骤2得到的3维体态雕刻模型，在动作序列的运动能量体的基础 上构造该序列的运动动态能量体，并将该运动动态能量体与序列中的每一个 体态的3维雕刻模型进行对应相乘，从而得到各个体态的运动权值模型，并 构造一个圆柱体坐标系，在该坐标系下使用3维伪Zernike矩的方法提取每 个运动权值模型的比例不变、位移不变、旋转不变的特征数据。具体步骤为-
3.1、 对一个运动序列的所有体态进行3维雕刻重建后，使用公式(2)
计算该运动序列的3维运动能量体(Motion Energy Volume, MEV):
1 r
M五7(;c，j;，/0—5]M(x,M) (2)
其中M,(x,乂/z)表示运动序列中第t个体态的3维雕刻模型在点(;c，;;，/0处的值， 等于O表示该点为背景点，等于l表示该点为前景点，T是该运动序列的长度。
3.2、 在一个序列的运动能量体的基础上，根据公式(3)计算该序列的 运动云力态兽g量体(Motion Dynamic Energy Volume, MDEV):
3.3、 将一个运动序列的所有3维雕刻体态和该运动序列的运动动态能量体在对应位置上进行相乘，从而得到各个体态的运动权值模型(Motion Grade Model):
<formula>formula see original document page 11</formula> ( 4 )
3.4、 为每个体态的3维运动权值模型建立一个圆柱体坐标系，如图6 所示，由于MGM, (jc， / ) = MGM, 0 cos A r sin《/ )，则在X-Y-H坐标系下的运动 权值模型MGM,(x，y,/0变换到圆柱体坐标系下为MGM,(r,^/0。
3.5、 在该坐标系下使用3维不变矩的方法对运动序列的每个运动权值模 型提取其具有比例不变性、位移不变性、旋转不变性的特征数据。具体实现 如下<formula>formula see original document page 11</formula>(5 )
其中，<formula>formula see original document page 11</formula>表示
动作序列中3维运动权值模型MGM的p阶g次3维伪Zernike矩，； 是正整 数或零，《是整数，并且I《^P， "*"表示复数共轭。
当场景中的人体的运动方向发生变化时，设AS是旋转角度，^是旋转 后运动人体的伪Zernike矩，贝U
<formula>formula see original document page 11</formula> (6)
<formula>formula see original document page 11</formula>(7)
由此可见，使用本发明所述的方法提取出来的特征是视角不变的。另外，由 于在雕刻重建之前就对运动人体进行了大小归一化和位置中心化，所以提取 出来的特征是具有比例不变性和位移不变性的。 步骤4:动作的建模和识别
根据步骤3提取的运动序列的特征数据进行动作的建模和识别，本发明所述的方法采用线性链结构的条件随机场(Conditional Random Field, CRJF)的 方法对动作进行建模，为了充分利用动作序列中的上下文信息，建立的模型 将利用时间点上过去和未来的相邻状态和观察值之间的上下文窗口来辅助 识别。模型的结构如图7所示。
假设0 = {0|,02，一,0,}表示一个长度为T的动作序列的特征向量序列，这 是一个值可以被观察的"输入"随机变量集合，S = 表示一类动作 中定义的N个状态，这是一个值能够被模型预测的"输出"随机变量集合。 在线性链的情况下，CRF假设在各个输出节点之间存在一阶马尔科夫独立 性，即WIO,Vw) = ;^,|0， )，其中F-W表示除去节点i的其他所有节点， iV,表示节点i的相邻节点，即&二^,，d。另外，为了保证推论出来的状态 标记合理、有意义，并且满足该动作的规则，在条件随机场的基础上根据具 体的动作增加如下2个限制条件每个状态的出现顺序以及每个状态的持续 时间。这样，在给定一个输入序列O的情况下，线性链的CRF定义状态序列 的条件概率为
<formula>formula see original document page 12</formula> ( 8 )
<formula>formula see original document page 12</formula> (9)
其中A(V一,)和A"，0)是原CRF中的两类特征函数，分别表示状态、向s,
的转移关系以及观察序列O和状态s,的依赖关系，具体定义如下: 力== w, As,一, = m 2) ， & , 0) = =附，)o,力(0 ， 是指示函数(Indicator function), w,、附2是状态空间里的元素，y表示加窗的宽度。
^( ，...，,一|^,)是状态出现顺序的特征函数，9"，r)是状态、持续了 T时间的特
征函数。0 = {\,~%,/^}是每个特征函数的权值，^(0)为归一化因子，且<formula>formula see original document page 13</formula>⑧。
本发明的的动作识别方法，通过使用3个摄像机分别从正面、倾斜、侧 面3个方向同步采集场景中的人体运动图像，使用3维雕刻的方法重建出3 维人体模型，进一步通过对人体运动中动态部分数据的关注，提取出3维体 态的运动权值模型，然后使用3维伪Zemike矩描述视角无关的人体动作特 征，通过CRF对动作进行建模，从而能够识别任意方向下的人体动作，且 识别率高。
权利要求
1. 一种视角无关的动作识别方法，其特征在于，该方法按照以下步骤实施，步骤1提取正面、倾斜、侧面3个方向下的二值人体轮廓信息使用3个摄像机分别从正面、倾斜、侧面3个方向对要识别的动作体态同步进行视频数据采集，设θ为拍摄角度，则正面θ＝0°，倾斜θ＝45°，侧面θ＝90°，对得到的视频数据进行预处理从而得到二值图像信息f0(w，h)、f45(w，h)、f90(w，h)，其中f0(w，h)、f45(w，h)、f90(w，h)分别表示运动人体在θ＝0°、θ＝45°、θ＝90°下的投影的二值图像信息；步骤2根据上步得到的要识别动作体态的正面、倾斜、侧面3个方向下的二值人体图像信息，进行人体3维体态的雕刻重建，得到该体态的3维雕刻模型；步骤3在上步得到的每个动作体态的3维雕刻模型中提取人体运动过程的动态部分形成运动动态能量体及3维体态的运动权值模型，采用3维伪Zernike矩进行比例不变、位移不变、旋转不变的特征描述，得到动作体态的视角无关的特征数据；步骤4根据上步得到的动作体态的特征数据使用条件随机场为每一个动作建立概率图模型，并进行识别。
2. 按照权利要求1所述的视角无关的动作识别方法，其特征在于，所述 的步骤2中进行人体3维体态的雕刻重建，其具体操作是2.1、假设一个3维的矩阵M， M(;c，乂/0表示该3维矩阵中(x，少，/z)位置处 的值，X、 y、 /f分别为该3维矩阵的长、宽、高，令M(x,y,/0二l， 1^x^X，(2.2、将步骤l得到的二值图像信息/。(w，/0、 /45(h^)、厶。(w,/0投影到上步中的3维矩阵M上，根据/。—，;o、 /45(w，/0、 /9。—,/0的值，按照如下的公式对3维矩阵M中的值重新进行赋值，得到该体态的3维雕刻模型M(^,;0 ，w,m f1 /。( /0 = 1&/45 2，/7) = 1&/9。 3,/0 = 1 M、 、，"lo /0(w,;o"ii/45(w2，;o-oii/9。(h^)二o其中(w,，/z)、 (w2,/ )、 (w3，/z)分别表示3维矩阵M中的一点0,少，^在e^0。、 0 = 45°、 0 = 90°下的投影。
3.按照权利要求1所述的视角无关的动作识别方法，其特征在于，所述 的步骤3中的3维体态特征描述方法包括以下的步骤(3.1、 根据步骤2所述的方法，对一个运动序列的所有体态进行3维雕刻 重建后，使用下面的公式计算该运动序列的3维运动能量体-<formula>formula see original document page 3</formula> (2)其中M,(x，;;,/7)表示运动序列中第t个体态的3维雕刻模型在点(x，j;,/z)处的值， 等于O表示该点为背景点，等于l表示该点为前景点，T是该运动序列的长 度；(3.2、 根据上步得到的一个序列的运动能量体，计算该序列的运动动态能(3.3、 将一个运动序列的所有3维雕刻体态和该运动序列的运动动态能量体对应位置上的值进行相乘，从而得到各个体态的运动权值模型<formula>formula see original document page 3</formula> ( 4 )(3.4、 根据上步得到的各个体态的运动权值模型，为每个体态的3维运动权值模型建立一个圆柱体坐标系，在该坐标系下使用下面的3维伪Zernike矩公式对运动序列中的每个运动权值模型提取其具有比例不变性、位移不变性、旋转不变性的特征数据，i% = JJ MGM(r, A攀* (r， 0cW歸 (5 )其中，『(r，e)二sj"e邓(/^)， ,(o=g (—"，m 、广，^表示动作序列中3维运动权值模型MGM的p阶g次3维伪Zernike矩，；p是正整 数或零，9是整数，并且I《I^P， "*"表示复数共轭。
4.按照权利要求1所述的视角无关的动作识别方法，其特征在于，所述 的步骤4动作建模和识别方法包括以下的步骤4.1、 根据步骤3提取的运动序列的特征数据，用线性链结构的条件随机 场方法建立动作概率图模型，并进行训练；4.2、 根据上步建立的动作概率图模型，从待识别动作序列中提取特征数 据进行识别，并且在条件随机场模型的两类特征函数基础上根据具体的动作 增加2个限制条件每个状态的出现顺序以及每个状态的持续时间，如下所 述假设0 = {01，02,..，0,}表示一个长度为T的动作序列的特征向量序列，这 是一个值可以被观察的"输入"随机变量集合，S-^A,…,^表示一类动作 中定义的N个状态，这是一个值能够被模型预测的"输出"随机变量集合。在线性链的情况下，条件随机场假设在各个输出节点之间存在一阶马尔科未 独立性，即;^,IOA.—{,}) = ;^,|0,&,)，其中7-W表示除去节点i的其他所有 节点，^表示节点i的相邻节点，即&={^—这样，在给定一个输入序 列0的情况下，线性链的条件随机场定义状态序列的条件概率为<formula>formula see original document page 5</formula> ( 6 )其中,a)和a"，O)是原CRF中的两个特征函数，分别表示状态v,向s, 的转移关系以及观察序列O和状态、的依赖关系，； (&,.,1—,)是状态出现顺序的特征函数，^，:r)是状态&持续了T时间的特征函数"^，/^，c^/^是每个特征函数的权值，^(0)为归一化因子，且^((9) = 5]邵(5>々,—,a,O))。
全文摘要
本发明公开了一种视角无关的动作识别方法，该方法按照以下步骤实施，首先同步采集正面、倾斜、侧面3个方向下的人体视频数据，预处理采集到的视频数据得到二值人体轮廓信息，根据3个方向下的二值人体轮廓信息进行人体3维体态的雕刻重建；然后提取人体运动过程的动态部分形成运动动态能量体及3维体态的运动权值模型，采用3维伪Zernike矩进行比例不变、位移不变、旋转不变的特征描述；最后使用条件随机场为每一个动作建立概率图模型，并进行识别。本发明的视角无关的动作识别方法解决了现有监控场景中要求固定视角的限制，实现了任意方向下的人体动作识别，且识别率高。
文档编号G06K9/20GK101425139SQ200810232110
公开日2009年5月6日 申请日期2008年11月5日 优先权日2008年11月5日
发明者张二虎, 赵永伟 申请人:西安理工大学