专利名称：人体姿势检测方法及装置的制作方法
技术领域：
本发明涉及图像处理领域，特别涉及人体姿势检测方法及装置。
背景技术：
人体姿势检测在计算机视觉技术领域中有许多重要的作用，例如驾驶辅助系统、 视频监控系统、图像检索、人机交互等。在智能视频监控中，自动在场景中搜索人体通常被视为首要的预处理步骤。但现有技术中，人体的自动搜索问题仍然没有得到令人满意的结果，主要因为人体自身体型的多元性、人体姿势变化多端，衣着具有多样性以及背景、光照条件的复杂性等。尤其是，当监控视野中的人体的一部分被遮挡，无法拍摄到人体整体特征时，进行准确的人体姿势检测就更具有挑战性了。现有技术中，已有的静态图像中的人体姿势检测方法主要分为三大类分别是基于匹配的方法，基于部件的方法以及基于人体模型的方法。其中，基于匹配的方法通过把测试图像和人工标定的图像样本进行比较从而得到测试图像的姿势。该方法的缺点在于，所能检测的姿势种类局限于样本集数目，同时要求图像背景单一。基于部件检测的方法先检测得到人体部件(比如胳膊、躯干、头等)，然后通过部件组合得到人体姿势。该方法的不足在于很多人体部件(比如胳膊等)缺少稳定特征、 不易检测。基于人体模型的方法则是通过改变人体模型的参数得到大量候选姿势，然后从众多候选中找到与图像最匹配的人体姿势。然而现有的基于人体模型的方法中，只能解决部分简单背景、手没被遮挡的情况下的近似站立的人体姿势。更多关于人体姿势检测的技术方案可以参考公开号为CN1578414A的发明名称为 “位置姿势测量方法及装置”的中国专利申请文件，但仍没有解决上述问题。
发明内容
本发明解决的问题是针对现有的静态图像中的人体姿势检测方法的缺陷，提供一种能够有效检测到在各种图像背景下的多种人体姿势，并对不同的着装以及光照具有很好的鲁棒性。为解决上述问题，本发明实施例提供一种人体姿势检测方法，包括获取训练图像，所述训练图像中标定出人手、人脸和人眼的位置；基于所述人脸和人眼的位置确定人脸特征参数，所述人脸特征参数包括两眼间的距离、人脸宽度和人脸倾斜角度；建立人体躯干模型，所述人体躯干模型具有躯干特征参数，所述躯干特征参数的初始值关联于所述人脸特征参数；结合人体躯干对应的前景颜色、人体躯干以外的背景颜色和所述躯干特征参数检测所述训练图像中的人体躯干；建立人体上半身模型，所述人体上半身模型具有关节特征参数，所述关节特征参数的初始值关联于所述人手的位置、所述人脸特征参数和所检测到的人体躯干；结合人体上半身躯干对应的前景颜色、人体上半身以外的背景颜色和所述关节特征参数检测人体上半身姿势。可选地，所述人手的位置包括左手的中心位置和右手的中心位置；所述人脸的位置包括人脸的中心位置(Fx，Fy);所述人眼的位置包括左眼的中心位置(LEx，LEy)和右眼的中心位置(REX，REy);所述两眼间的距离
权利要求
1.一种人体姿势检测方法，其特征在于，包括获取训练图像，所述训练图像中标定出人手、人脸和人眼的位置；基于所述人脸和人眼的位置确定人脸特征参数，所述人脸特征参数包括两眼间的距离、人脸宽度和人脸倾斜角度；建立人体躯干模型，所述人体躯干模型具有躯干特征参数，所述躯干特征参数的初始值关联于所述人脸特征参数；结合人体躯干对应的前景颜色、人体躯干以外的背景颜色和所述躯干特征参数检测所述训练图像中的人体躯干；建立人体上半身模型，所述人体上半身模型具有关节特征参数，所述关节特征参数的初始值关联于所述人手的位置、所述人脸特征参数和所检测到的人体躯干；结合人体上半身对应的前景颜色、人体上半身以外的背景颜色和所述关节特征参数检测人体上半身姿势。
2.根据权利要求I所述的人体姿势检测方法，其特征在于，所述人手的位置包括左手的中心位置和右手的中心位置；所述人脸的位置包括人脸的中心位置(Fx，Fy)；所述人眼的位置包括左眼的中心位置(LEX，LEy)和右眼的中心位置(REx，REy)；所述两眼间的距离Deye= -LEy)2+(REy -LEy)2 ；所述人脸宽度facewidth = 2*Deye ；所述人脸倾斜角度 Θ f = arctan ((REy-LEy) / (REx-LEy))。
3.根据权利要求2所述的人体姿势检测方法，其特征在于，所述躯干特征参数t包括 躯干的宽度W、躯干的长宽比r、躯干的倾斜度Θ以及脖子的位置(nx，ny)；所述躯干特征参数的初始值分别为躯干的宽度初始值W。= a*faCewidth，其中，a的取值范围为(2. 2,2. 6)；躯干的长宽比初始值A，取值范围为(I. 3，I. 38)；躯干的倾斜度初始值Qtl，取值范围为(I. 5弧度，I. 63弧度)；脖子的位置初始值(nxQ,ny0)，其中，nx(l = Fx_b*Deye*sin ( Θ f)、ny(l = Fy+b*Deye*sin ( Θ f)， b的取值范围为(I. 1，1.3)。
4.根据权利要求3所述的人体姿势检测方法，其特征在于，所述结合人体躯干对应的前景颜色、人体躯干以外的背景颜色和所述躯干特征参数检测所述训练图像中的人体躯干包括利用Metropolis-Hastings算法以及随机游动采样技术对所述躯干特征参数进行第一预设次数的迭代；基于各次迭代的躯干特征参数和所述人体躯干对应的前景颜色、人体躯干对应的背景颜色确定所述躯干特征参数的极大后验假设；以所述躯干特征参数的极大后验假设确定所述人体躯干的位置。
5.根据权利要求4所述的人体姿势检测方法，其特征在于，所述躯干特征参数的极大后验假设为:Τ· = argmax^(i | Y) = argmax(^(7 | ;其中，t为所述躯干特征参数，p(t|Y)为第一后验概率、p(Y|t)表示人体躯干对应的前景和人体躯干以外的背景之间的颜色差异的第一颜色似然函数、P (t)为第一先验概率，p(t) =Pd(s(t))Ps(s(t)),Ps(s(t)) 为关联于人体躯干面积和宽度的形状先验概率，Pd(s(t))为关联于人体躯干中心和人脸中心之间的距离的位置先验概率。
6.根据权利要求5所述的人体姿势检测方法，其特征在于，所述第一颜色似然函数=巧山其中，λ。—是常数，取值范围为(0.5，5)，Bf,b是人体躯干对应的前景和人体躯干以外的背景之间的颜色直方图距离。
7.根据权利要求4所述的人体姿势检测方法，其特征在于，所述第一预设次数大于或等于20次。
8.根据权利要求2所述的人体姿势检测方法，其特征在于，所述关节特征参数u包括: 头顶的位置(Hx，Hy)、脖子的位置(nx，ny)、肩关节的位置、肘关节的位置、腕关节的位置、人手的位置以及臀部中心点的位置；所述关节特征参数的初始值分别为头顶的位置初始值(Hx0, Hy0)，其中 Hxtl = Fx+c*Deye*sin Θ f, Hy0 = Fy-c*Deye*sin Θ f，其中， c的取值范围为(I. 1,1.3)；脖子的位置初始值、肩关节的位置初始值和臀部中心点的位置初始值与所检测到的人体躯干关联；肘关节的位置初始值与所述人手的位置和肩关节的位置初始值关联；腕关节的位置初始值与所述人手的位置和肘关节的位置初始值关联。
9.根据权利要求8所述的人体姿势检测方法，其特征在于，所述肘关节的位置初始值根据下述步骤确定基于人脸部的肤色概率分布和人体躯干的衣服颜色概率分布得到人体上半身对应的前景颜色概率；计算人体上半身以外的背景颜色概率；根据肩关节、人体躯干、人手以及肘部的相对位置约束，确定所述肘关节的搜索空间；在所述肘关节的搜索空间中通过全搜索获得最佳位置，以确定肘关节的位置初始值， 其中，所述最佳位置是指所述前景颜色概率加上肤色概率分布减去背景颜色概率所得到的数值最高的位置。
10.根据权利要求9所述的人体姿势检测方法，其特征在于，所述上半身模型包括骨架模型、部件形状模型以及人体上半身形状模型；所述结合人体上半身对应的前景颜色、人体上半身以外的背景颜色和所述关节特征参数检测人体上半身姿势包括利用Metropolis-Hastings算法以及随机游动采样技术对所述关节特征参数进行第二预设次数的迭代；基于各次迭代的关节特征参数和所述人体上半身对应的前景颜色、人体上半身对应的背景颜色确定所述关节特征参数的极大后验假设；以所述关节特征参数的极大后验假设确定人体上半身姿势。
11.根据权利要求9所述的人体姿势检测方法，其特征在于，所述关节特征参数的极大后验假设为P耐=argmax^(M | Y) = argmax(^(7 | u)p{u));其中，u为所述关节特征参数，p(u|Y)为第二后验概率，p(Y|u)为表示人体上半身姿势在所述训练图像中的可能性的似然函数，P(Ylu) = L,_nxLm1otXLskinXLfb,其中，L,_n为区域似然函数、Lcolor为第二颜色似然函数、Lskin为肤色似然函数、Lfb为前背景似然函数,P (U)为第二先验概率,P (u) = p(j) P(l)，P(j)为相邻的人体关节的连线之间的相对角度的先验概率分布，P(I)为人体上半身的各个部件长度的先验概率分布。
12.根据权利要求11所述的人体姿势检测方法，其特征在于，所述区域似然函数Lregim = exp (- λregionNincoherent)，其中，Nincoherent为训练图像的噪声像素点数，是常数，取值范围为(0.001,0.15)；所述第二颜色似然函数
13.根据权利要求11所述的人体姿势检测方法，其特征在于，所述人体上半身的各个部件长度包括左腕到左肘的距离长度、右腕到右肘的距离长度、左肘到左肩的距离长度、 右肘到右肩的距离长度、头顶到脖子的距离长度、躯干的高度以及躯干的宽度。
14.根据权利要求10所述的人体姿势检测方法，其特征在于，所述第二预设次数大于或等于25次。
15.一种人体姿势检测装置，其特征在于，包括获取单元，用于获取训练图像，所述训练图像中标定出人手、人脸和人眼的位置；脸部特征确定单元，用于根据所述获取单元所获取的训练图像中的标定的所述人脸和人眼的位置确定人脸特征参数，所述人脸特征参数包括两眼间的距离、人脸宽度和人脸倾斜角度；躯干建模单元，用于建立人体躯干模型，所述人体躯干模型具有躯干特征参数，所述躯干特征参数的初始值关联于所述脸部特征确定单元确定的人脸特征参数；躯干检测单元，用于结合人体躯干对应的前景颜色、人体躯干以外的背景颜色和所述躯干建模单元建立的人体躯干模型的躯干特征参数检测所述训练图像中的人体躯干；上半身建模单元，用于建立人体上半身模型，所述人体上半身模型具有关节特征参数， 所述关节特征参数的初始值关联于所述获取单元获取的训练图像中标定的人手的位置、所述脸部特征确定单元确定的人脸特征参数和所述躯干检测单元检测到的人体躯干；姿势检测单元，用于结合人体上半身对应的前景颜色、人体上半身对应的背景颜色和所述上半身建模单元建立的人体上半身模型的关节特征参数检测人体上半身姿势。
16.根据权利要求15所述的人体姿势检测装置，其特征在于，所述人手的位置包括左手的中心位置和右手的中心位置；所述人脸的位置包括人脸的中心位置(Fx，Fy)；所述人眼的位置包括左眼的中心位置(LEX，LEy)和右眼的中心位置(REx，REy)；所述两眼间的距离Deye= -LEy)2+(REy -LEy)2 ；所述人脸宽度facewidth = 2*Deye ；所述人脸倾斜角度
17.根据权利要求16所述的人体姿势检测装置，其特征在于，所述躯干特征参数包括 躯干的宽度W、躯干的长宽比r、躯干的倾斜度Θ以及脖子的位置为(nx，ny)；所述躯干特征参数的初始值分别为躯干的宽度初始值W。= a*faCewidth，其中，a的取值范围为(2. 2,2. 6)；躯干的长宽比初始值A，取值范围为(I. 3，I. 38)；躯干的倾斜度初始值Qtl，取值范围为(I. 5弧度，I. 63弧度)；脖子的位置初始值(nxQ,ny0)，其中，nx(l = Fx_b*Deye*sin ( Θ f)、ny(l = Fy+b*Deye*sin ( Θ f)， b的取值范围为(I. 1，1.3)。
18.根据权利要求17所述的人体姿势检测装置，其特征在于，所述躯干检测单元包括 第一迭代单元，用于利用Metropolis-Hastings算法以及随机游动采样技术对所述躯干特征参数进行第一预设次数的迭代；第一确定单元，用于基于各次迭代的躯干特征参数和所述人体躯干对应的前景颜色、 人体躯干以外的背景颜色确定所述躯干特征参数的极大后验假设；躯干确定单元，用于以所述躯干特征参数的极大后验假设确定所述人体躯干的位置。
19.根据权利要求18所述的人体姿势检测装置，其特征在于，所述躯干特征参数的极大后验假设为:^Μ =3 Ε ηρ^( |7) = αΓ§ιηρ^(7| )/^))^*，p(t|Y)为第一后验概率、P(Ylt)表示人体躯干对应的前景和人体躯干以外的背景之间的颜色差异的第一颜色似然函数、P (t)为第一先验概率，P (t) =Pd(s(t))Ps(s(t)),Ps(s(t))为关联于人体躯干面积和宽度的形状先验概率，Pd(s(t))为关联于人体躯干中心和人脸中心之间的距离的位置先验概率。
20.根据权利要求19所述的人体姿势检测装置，其特征在于，所述第一颜色似然函数=，其中，λ。—是常数，取值范围为(O. 5,5)，Bf,b是人体躯干对应的前景和人体躯干以外的背景之间的颜色直方图距离。
21.根据权利要求18所述的人体姿势检测装置，其特征在于，所述第一预设次数大于或等于20次。
22.根据权利要求16所述的人体姿势检测装置，其特征在于，所述关节特征参数u包括头顶的位置(Hx，Hy)、脖子的位置(nx，ny)、肩关节的位置、肘关节的位置、腕关节的位置、 人手的位置以及臀部中心点的位置；所述关节特征参数的初始值分别为头顶的位置初始值(Hx0，Hy0)，其中 Hx0 = Fx+c*Deye*sin Θ f，Hy0 = Fy-c*Deye*sin Θ f，其中， c的取值范围为(I. 1,1.3)；脖子的位置初始值、肩关节的位置初始值和臀部中心点的位置初始值与所检测到的人体躯干关联；肘关节的位置初始值与所述人手的位置和肩关节的位置初始值关联；腕关节的位置初始值与所述人手的位置和肩关节的位置初始值关联。
23.根据权利要求22所述的人体姿势检测装置，其特征在于，所述肘关节的位置初始 值根据下述步骤确定基于人脸部的肤色概率分布Pskin和人体躯干的衣服颜色概率分布得到人体上半身对 应的前景颜色概率；计算人体上半身以外的背景颜色概率；根据肩关节、人体躯干、人手以及肘部的相对位置约束，确定所述肘关节的搜索空间； 在所述肘关节的搜索空间中通过全搜索获得最佳位置，以确定肘关节的位置初始值， 其中，所述最佳位置是指所述前景颜色概率加上肤色概率分布减去背景颜色概率所得到的 数值最高的位置。
24.根据权利要求23所述的人体姿势检测装置，其特征在于，所述上半身模型包括骨 架模型、部件形状模型以及人体上半身形状模型；所述姿势检测单元包括第二迭代单元，用于利用Metropolis-Hastings算法以及随机游动采样技术对所述人 体关节的特征参数进行第二预设次数的迭代；第二确定单元，用于基于各次迭代的躯干特征参数和所述人体上半身对应的前景颜 色、人体上半身以外的背景颜色确定所述关节特征参数的极大后验假设；姿势确定单元，用于以所述关节特征参数的极大后验假设确定人体上半身姿势。
25.根据权利要求23所述的人体姿势检测装置，其特征在于，所述关节特征参数的极 大后验假设为
26.根据权利要求25所述的人体姿势检测装置，其特征在于，所述区域似然函数Lregim = exp (-入regionNincoherent)，其中，Nincoherent为训练图像的噪声像素点数，是常数，取值范围为(0.001,0.15)；所述第二颜色似然函数
27.根据权利要求25所述的人体姿势检测装置，其特征在于，所述人体上半身的各个部件长度包括左腕到左肘的距离长度、右腕到右肘的距离长度、左肘到左肩的距离长度、 右肘到右肩的距离长度、头顶到脖子的距离长度、躯干的高度以及躯干的宽度。
28.根据权利要求24所述的人体姿势检测装置，其特征在于，所述第二预设次数大于等于25次。
全文摘要
一种人体姿势检测方法及装置，其中人体姿势检测方法包括获取训练图像，训练图像中标定出人手、人脸和人眼的位置；基于人脸和人眼的位置确定人脸特征参数，人脸特征参数包括两眼间的距离、人脸宽度和人脸倾斜角度；建立人体躯干模型，人体躯干模型具有躯干特征参数；结合人体躯干对应的前景颜色、人体躯干以外的背景颜色和躯干特征参数检测训练图像中的人体躯干；建立人体上半身模型，人体上半身模型具有关节特征参数；结合人体上半身对应的前景颜色、人体上半身以外的背景颜色和所述关节特征参数检测人体上半身姿势。本技术方案能够有效检测到在各种图像背景下的多种人体姿势，并对不同的着装以及光照具有很好的鲁棒性。
文档编号G06K9/66GK102609684SQ20121001263
公开日2012年7月25日 申请日期2012年1月16日 优先权日2012年1月16日
发明者王焱辉, 谢菊元, 陈涛 申请人:宁波江丰生物信息技术有限公司