三维人体行为识别方法及装置制造方法
【专利摘要】本发明提供一种三维人体行为识别方法及装置。本发明三维人体行为识别方法，包括：分别对待识别三维人体行为的深度视频序列和色彩RGB视频序列进行背景减除以及像素二值化处理，获取对应的二值深度视频序列和二值RGB视频序列；分别提取二值深度视频序列和二值RGB视频序列对应的行为轮廓历史图像；对提取出的行为轮廓历史图像进行图像融合，并将融合后的图像进行分块处理；对分块处理后的图像进行均匀局部二值模式的特征提取，获取均匀局部二值模式的特征向量；将获取到的均匀局部二值模式的特征向量进行行为分类识别，判断出待识别三维人体行为所属的行为类型。本发明极大减少了特征数据的信息量，识别速度高，识别率较高。
【专利说明】三维人体行为识别方法及装置
【技术领域】
[0001]本发明涉及图像处理【技术领域】，尤其涉及一种三维人体行为识别方法及装置。
【背景技术】
[0002]随着计算机技术和信息技术的发展，对基于视频的人体行为识别的需求越来越迫切，在诸如智能监控、家居安全、智能机器人等系统中，行为识别起到了越来越重要的作用。另外，早期的人体行为识别大多是利用普通的色彩(Red Green Blue，简称RGB)图像序列进行行为识别，但是这种人体识别行为会受到光照、阴影、色度、环境变化等因素的干扰。因此，为了解决早期人体识别行为所带来的问题，结合深度图像的优点，利用深度图像与RGB图像序列一起进行人体行为识别，该深度图像与色彩RGB图像不同，由于深度图像像素值仅与物体空间位置有关，因此不会受光照、阴影、色度、环境变化等因素的干扰，从而能够有效地突破色彩RGB图像识别遇到的问题和瓶颈。
[0003]现有技术中的基于深度与RGB信息和多尺度方向等级层次特征的行为识别方法，提出了采用差值运动历史图像和深度限制RGB图像来表征和描述人体行为变化过程，并对两种图像进行多尺度和多方向等级层次的特征提取。现有技术的方案中采用深度图像距离差值法，进行背景减除，并采用多尺度多方向等级层次进行特征提取，最终采用支持向量机模型(Support Vector Machine,简称SVM)进行分类识别。
[0004]现有技术的问题是，主要通过视频采集设备中预先设置的图像灰度阈值方法进行背景减除。在复杂的环境下或者距离精度较低，无法通过阈值来判别背景时，就很难完成背景减除，例如行为人不同的衣服穿装，就很难区分。采用多尺度多方向等级层次的特征提取，提取速度慢，特征信息量较大，不利于后面的模型分类，并影响识别速度。
【发明内容】
[0005]本发明提供一种三维人体行为识别方法及装置，以解决现有技术中背景减除精度低，特征提取速度慢，特征信息量较大，分类识别速度较慢的问题。
[0006]第一方面，本发明提供一种三维人体行为识别方法，包括:
[0007]分别对待识别三维人体行为的深度视频序列和色彩RGB视频序列进行背景减除以及像素二值化处理，获取与所述深度视频序列对应的二值深度视频序列和与所述色彩RGB视频序列对应的二值RGB视频序列；
[0008]分别提取所述二值深度视频序列和二值RGB视频序列对应的行为轮廓历史图像；
[0009]对所述二值深度视频序列的行为轮廓历史图像和二值RGB视频序列的行为轮廓历史图像进行图像融合，并将融合后的图像进行分块处理；
[0010]对分块处理后的图像进行均匀局部二值模式的特征提取，获取所述均匀局部二值模式的特征向量；
[0011]将获取到的所述均匀局部二值模式的特征向量进行行为分类识别，判断出所述待识别三维人体行为所属的行为类型。
[0012]可选地，所述分别对待识别三维人体行为的深度视频序列和色彩RGB视频序列进行背景减除以及像素二值化处理，获取与所述深度视频序列对应的二值深度视频序列和与所述色彩RGB视频序列对应的二值RGB视频序列，包括:
[0013]采用视觉背景提取ViBe算法分别检测所述深度视频序列和所述RGB视频序列；若检测到所述深度视频序列的连续T帧图像中中每帧图像的像素点的像素值与前一帧图像中的对应位置的像素点的像素值不同，则所述像素点为前景像素点，否则所述像素点为背景像素点；所述T为预设的背景减除阈值；
[0014]若检测到所述RGB视频序列的连续T帧图像中每帧图像的像素点的像素值与前一帧图像中的对应位置的像素点的像素值不同，则所述像素点为前景像素点，否则所述像素点为背景像素点；
[0015]分别将所述深度视频序列和所述RGB视频序列中的背景像素点的像素值设置为0，将所述深度视频序列和所述RGB视频序列中的前景像素点的像素值设置为255，得到与所述深度视频序列对应的二值深度视频序列和与所述色彩RGB视频序列对应的二值RGB视频序列。
[0016]可选地，所述分别提取所述二值深度视频序列和二值RGB视频序列对应的行为轮廓历史图像，包括:
[0017]提取所述二值深度视频序列包括的多帧深度图像中相同位置的像素点的像素值的最大值，将所述最大值设置为所述二值深度视频序列对应的行为轮廓历史图像中对应位置的像素点的像素值，得到所述二值深度视频序列对应的行为轮廓历史图像；
[0018]提取所述二值RGB视频序列包括的多帧RGB图像中相同位置的像素点的像素值的最大值，将所述最大值设置为所述二值RGB视频序列对应的行为轮廓历史图像中对应位置的像素点的像素值，得到所述二值RGB视频序列对应的行为轮廓历史图像。
[0019]可选地，所述对所述二值深度视频序列的行为轮廓历史图像和二值RGB视频序列的行为轮廓历史图像进行图像融合，包括:
[0020]确定所述二值深度视频序列的行为轮廓历史图像和所述二值RGB视频序列的行为轮廓历史图像中相同位置的像素点的像素值；
[0021]将所述相同位置的像素点的像素值中最小的像素值作为融合后的图像的对应位置的像素点的像素值。
[0022]可选地，所述将融合后的图像进行分块处理，包括:
[0023]将所述融合后的图像分成GXG大小的块，获取多个图像块；
[0024]将所述多个图像块中的像素值进行平均得到平均像素值，并将所述平均像素值与预设的阈值进行比较，若大于所述阈值，则将所述平均像素值作为所述图像块的像素值；
[0025]其中，G为整数，且大于I。
[0026]可选地，所述对分块处理后的图像进行均匀局部二值模式的特征提取，获取所述均匀局部二值模式的特征向量，包括:
[0027]计算所述分块处理后的图像的各个图像块的均匀局部二值模式的特征值，并将所述特征值乘以所述图像块的邻近边缘梯度向量之和的模值除以所述特征值出现的次数形成B(B_l)+3维的特征向量；所述均匀局部二值模式的特征值的取值属于区间[0，B(B_l)+2]，所述B的大小为等间距分布于以所述图像块为圆心，半径为R的圆周上的像素点的个数；所述R大于等于I。
[0028]可选地，在所述将所述特征值出现的概率乘以所述图像块的邻近边缘梯度向量之和的模值形成B (B-1)+3维的特征向量之前，所述方法还包括:
[0029]将所述分块处理后的图像的各个图像块作为中心像素点，检测所述中心像素点的所述半径为R的圆周上是否存在邻近边缘梯度向量，包括:若所述圆周的任一方向上的像素点的像素值大于所述中心像素点的像素值，则存在所述方向上的邻近边缘梯度向量，所述方向包括:以所述中心像素点为原点，X轴正方向、y轴正方向、X轴反方向和y轴反方向。
[0030]可选地，所述将获取到的所述均匀局部二值模式的特征向量进行行为分类识别，判断出所述待识别三维人体行为所属的行为类型，包括:
[0031]根据多个已知所属的行为类型的三维人体行为的深度视频序列和色彩RGB视频序列提取出的特征向量，采用K-最近邻KNN算法将提取出的所述均匀局部二值模式的特征向量进行行为分类识别，判断出所述待识别三维人体行为所属的行为类型。
[0032]第二方面，本发明提供一种三维人体行为识别装置，包括:
[0033]背景减除二值化模块，用于分别对待识别三维人体行为的深度视频序列和色彩RGB视频序列进行背景减除以及像素二值化处理，获取与所述深度视频序列对应的二值深度视频序列和与所述色彩RGB视频序列对应的二值RGB视频序列；
[0034]行为轮廓历史图像提取模块，用于分别提取所述二值深度视频序列和二值RGB视频序列对应的行为轮廓历史图像；
[0035]图像融合分块模块，用于对所述二值深度视频序列的行为轮廓历史图像和二值RGB视频序列的行为轮廓历史图像进行图像融合，并将融合后的图像进行分块处理；
[0036]特征提取模块，用于对分块处理后的图像进行均匀局部二值模式的特征提取，获取所述均匀局部二值模式的特征向量；
[0037]分类识别模块，用于将获取到的所述均匀局部二值模式的特征向量进行行为分类识别，判断出所述待识别三维人体行为所属的行为类型。
[0038]可选地，所述背景减除二值化模块，具体用于:
[0039]采用视觉背景提取ViBe算法分别检测所述深度视频序列和所述RGB视频序列；若检测到所述深度视频序列的连续T帧图像中中每帧图像的像素点的像素值与前一帧图像中的对应位置的像素点的像素值不同，则所述像素点为前景像素点，否则所述像素点为背景像素点；所述T为预设的背景减除阈值；
[0040]若检测到所述RGB视频序列的连续T帧图像中每帧图像的像素点的像素值与前一帧图像中的对应位置的像素点的像素值不同，则所述像素点为前景像素点，否则所述像素点为背景像素点；
[0041]分别将所述深度视频序列和所述RGB视频序列中的背景像素点的像素值设置为0，将所述深度视频序列和所述RGB视频序列中的前景像素点的像素值设置为255，得到与所述深度视频序列对应的二值深度视频序列和与所述色彩RGB视频序列对应的二值RGB视频序列。
[0042]可选地，所述行为轮廓历史图像提取模块，具体用于:
[0043]提取所述二值深度视频序列包括的多帧深度图像中相同位置的像素点的像素值的最大值，将所述最大值设置为所述二值深度视频序列对应的行为轮廓历史图像中对应位置的像素点的像素值，得到所述二值深度视频序列对应的行为轮廓历史图像；
[0044]提取所述二值RGB视频序列包括的多帧RGB图像中相同位置的像素点的像素值的最大值，将所述最大值设置为所述二值RGB视频序列对应的行为轮廓历史图像中对应位置的像素点的像素值，得到所述二值RGB视频序列对应的行为轮廓历史图像。
[0045]可选地，所述图像融合分块模块，具体用于:
[0046]确定所述二值深度视频序列的行为轮廓历史图像和所述二值RGB视频序列的行为轮廓历史图像中相同位置的像素点的像素值；
[0047]将所述相同位置的像素点的像素值中最小的像素值作为融合后的图像的对应位置的像素点的像素值。
[0048]可选地，所述图像融合分块模块，具体用于:
[0049]将所述融合后的图像分成GXG大小的块，获取多个图像块；
[0050]将所述多个图像块中的像素值进行平均得到平均像素值，并将所述平均像素值与预设的阈值进行比较，若大于所述阈值，则将所述平均像素值作为所述图像块的像素值；
[0051]其中，G为整数，且大于I。
[0052]可选地，所述特征提取模块，具体用于:
[0053]计算所述分块处理后的图像的各个图像块的均匀局部二值模式的特征值，并将所述特征值乘以所述图像块的邻近边缘梯度向量之和的模值除以所述特征值出现的次数形成Β(Β-1)+3维的特征向量；所述均匀局部二值模式的特征值的取值属于区间[0，Β(Β-1)+2]，所述B的大小为等间距分布于以所述图像块为圆心，半径为R的圆周上的像素点的个数；所述R大于等于I。
[0054]可选地，所述特征提取模块，还具体用于:
[0055]将所述分块处理后的图像的各个图像块作为中心像素点，检测所述中心像素点的所述半径为R的圆周上是否存在邻近边缘梯度向量，包括:若所述圆周的任一方向上的像素点的像素值大于所述中心像素点的像素值，则存在所述方向上的邻近边缘梯度向量，所述方向包括:以所述中心像素点为原点，X轴正方向、y轴正方向、X轴反方向和y轴反方向。
[0056]可选地，所述分类识别模块，具体用于:
[0057]根据多个已知所属的行为类型的三维人体行为的深度视频序列和色彩RGB视频序列提取出的特征向量，采用K-最近邻KNN算法将提取出的所述均匀局部二值模式的特征向量进行行为分类识别，判断出所述待识别三维人体行为所属的行为类型。
[0058]本发明三维人体行为识别方法及装置，通过分别对待识别三维人体行为的深度视频序列和色彩RGB视频序列进行背景减除以及像素二值化处理，获取与所述深度视频序列对应的二值深度视频序列和与所述色彩RGB视频序列对应的二值RGB视频序列；分别提取所述二值深度视频序列和二值RGB视频序列对应的行为轮廓历史图像；对所述二值深度视频序列的行为轮廓历史图像和二值RGB视频序列的行为轮廓历史图像进行图像融合，并将融合后的图像进行分块处理；对分块处理后的图像进行均匀局部二值模式的特征提取，获取所述均匀局部二值模式的特征向量；将获取到的所述均匀局部二值模式的特征向量进行行为分类识别，判断出所述待识别三维人体行为所属的行为类型，本发明引入三维的深度视频，结合原有的二维色彩RGB视频，融合色彩和深度视频的人体行为轮廓历史图像，极大减少了特征数据的信息量，并利用改进的均匀局部二值模式的特征提取算法使得识别速度极大提高，并且对于外界干扰因素具有较强的鲁棒性，识别率较高，实现简单，解决了现有技术中背景减除精度低，特征提取速度慢，特征信息量较大，分类识别速度较慢的问题。
【专利附图】
【附图说明】
[0059]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0060]图1为本发明三维人体行为识别方法实施例一的流程图；
[0061]图2为本发明方法实施例一的不意图一；
[0062]图2A为本发明方法实施例一的图像示意图二 ；
[0063]图3为本发明方法实施例一的示意图三；
[0064]图3A为本发明方法实施例一的图像示意图四；
[0065]图4为本发明方法实施例一的示意图五；
[0066]图4A为本发明方法实施例一的图像示意图六；
[0067]图5为本发明方法实施例一的示意图七；
[0068]图5A为本发明方法实施例一的图像示意图八；
[0069]图6为本发明方法实施例一的示意图九；
[0070]图6A为本发明方法实施例一的图像示意图十；
[0071]图7为本发明方法实施例一的邻近边缘梯度向量示意图；
[0072]图8为本发明三维人体行为识别装置实施例一的结构示意图。
【具体实施方式】
[0073]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0074]图1为本发明三维人体行为识别方法实施例一的流程图。图2为本发明方法实施例一的图像示意图一。图2A为本发明方法实施例一的图像示意图二。图3为本发明方法实施例一的示意图三。图3A为本发明方法实施例一的图像示意图四。图4为本发明方法实施例一的示意图五。图4A为本发明方法实施例一的图像示意图六。图5为本发明方法实施例一的示意图七。图5A为本发明方法实施例一的图像示意图八。图6为本发明方法实施例一的示意图九。图6A为本发明方法实施例一的图像示意图十。图7为本发明方法实施例一的邻近边缘梯度向量示意图。如图1所示，本实施例的方法可以包括:
[0075]步骤101、分别对待识别三维人体行为的深度视频序列和色彩RGB视频序列进行背景减除以及像素二值化处理，获取与深度视频序列对应的二值深度视频序列和与色彩RGB视频序列对应的二值RGB视频序列。
[0076]可选地，所述分别对待识别三维人体行为的深度视频序列和色彩RGB视频序列进行背景减除以及像素二值化处理，获取与深度视频序列对应的二值深度视频序列和与色彩RGB视频序列对应的二值RGB视频序列，包括:
[0077]采用视觉背景提取ViBe算法分别检测所述深度视频序列和所述RGB视频序列；若检测到所述深度视频序列的连续T帧图像中中每帧图像的像素点的像素值与前一帧图像中的对应位置的像素点的像素值不同，则所述像素点为前景像素点，否则所述像素点为背景像素点；所述T为预设的背景减除阈值；
[0078]若检测到所述RGB视频序列的连续T帧图像中每帧图像的像素点的像素值与前一帧图像中的对应位置的像素点的像素值不同，则所述像素点为前景像素点，否则所述像素点为背景像素点；
[0079]分别将所述深度视频序列和所述RGB视频序列中的背景像素点的像素值设置为0，将所述深度视频序列和所述RGB视频序列中的前景像素点的像素值设置为255，得到与所述深度视频序列对应的二值深度视频序列和与所述色彩RGB视频序列对应的二值RGB视频序列。。
[0080]具体地,获取待识别三维人体行为的人体运动行为视频的深度视频序列和色彩RGB视频序列，对深度视频序列和色彩RGB视频序列分别进行背景减除以及像素二值化处理得到二值深度视频序列和二值RGB视频序列，例如图2、2A所示，图2为RGB视频序列中的行为图像，图2A为进行无关背景减除和像素二值化处理之后的RGB视频序列中的行为图像，对视频序列进行背景减除例如可以采用ViBe算法，该算法分别检测所述深度视频序列和所述RGB视频序列中的图像的所有像素点，若检测到连续T帧中每一帧的相同位置的像素点的像素值都不同，则所述像素点为前景像素点，否则为背景像素点。像素二值化处理是指将前景像素点的像素值设置为255，背景像素点的像素值设置为O。
[0081]
【权利要求】
1.一种三维人体行为识别方法，其特征在于，包括: 分别对待识别三维人体行为的深度视频序列和色彩RGB视频序列进行背景减除以及像素二值化处理，获取与所述深度视频序列对应的二值深度视频序列和与所述色彩RGB视频序列对应的二值RGB视频序列； 分别提取所述二值深度视频序列和二值RGB视频序列对应的行为轮廓历史图像； 对所述二值深度视频序列的行为轮廓历史图像和二值RGB视频序列的行为轮廓历史图像进行图像融合，并将融合后的图像进行分块处理； 对分块处理后的图像进行均匀局部二值模式的特征提取，获取所述均匀局部二值模式的特征向量； 将获取到的所述均匀局部二值模式的特征向量进行行为分类识别，判断出所述待识别三维人体行为所属的行为类型。
2.根据权利要求1所述的方法，其特征在于，所述分别对待识别三维人体行为的深度视频序列和色彩RGB视频序列进行背景减除以及像素二值化处理，获取与所述深度视频序列对应的二值深度视频序列和与所述色彩RGB视频序列对应的二值RGB视频序列，包括: 采用视觉背景提取ViBe算法分别检测所述深度视频序列和所述RGB视频序列；若检测到所述深度视频序列的连续T帧图像中中每帧图像的像素点的像素值与前一帧图像中的对应位置的像素点的像素值不同，则所述像素点为前景像素点，否则所述像素点为背景像素点；所述T为预设的背景减除阈值； 若检测到所述RGB视频序列的连续T帧图像中每帧图像的像素点的像素值与前一帧图像中的对应位置的像素点的像素值不同，则所述像素点为前景像素点，否则所述像素点为背景像素点； 分别将所述深度视频序列和所述RGB视频序列中的背景像素点的像素值设置为O，将所述深度视频序列和所述RGB视频序列中的前景像素点的像素值设置为255，得到与所述深度视频序列对应的二值深度视频序列和与所述色彩RGB视频序列对应的二值RGB视频序列。
3.根据权利要求1或2所述的方法，其特征在于，所述分别提取所述二值深度视频序列和二值RGB视频序列对应的行为轮廓历史图像，包括: 提取所述二值深度视频序列包括的多帧深度图像中相同位置的像素点的像素值的最大值，将所述最大值设置为所述二值深度视频序列对应的行为轮廓历史图像中对应位置的像素点的像素值，得到所述二值深度视频序列对应的行为轮廓历史图像； 提取所述二值RGB视频序列包括的多帧RGB图像中相同位置的像素点的像素值的最大值，将所述最大值设置为所述二值RGB视频序列对应的行为轮廓历史图像中对应位置的像素点的像素值，得到所述二值RGB视频序列对应的行为轮廓历史图像。
4.根据权利要求1或2所述的方法，其特征在于，所述对所述二值深度视频序列的行为轮廓历史图像和二值RGB视频序列的行为轮廓历史图像进行图像融合，包括: 确定所述二值深度视频序列的行为轮廓历史图像和所述二值RGB视频序列的行为轮廓历史图像中相同位置的像素点的像素值； 将所述相同位置的像素点的像素值中最小的像素值作为融合后的图像的对应位置的像素点的像素值。
5.根据权利要求4所述的方法，其特征在于，所述将融合后的图像进行分块处理，包括: 将所述融合后的图像分成GXG大小的块，获取多个图像块； 将所述多个图像块中的像素值进行平均得到平均像素值，并将所述平均像素值与预设的阈值进行比较，若大于所述阈值，则将所述平均像素值作为所述图像块的像素值； 其中，G为整数，且大于I。
6.根据权利要求1、2或5所述的方法，其特征在于，所述对分块处理后的图像进行均匀局部二值模式的特征提取，获取所述均匀局部二值模式的特征向量，包括: 计算所述分块处理后的图像的各个图像块的均匀局部二值模式的特征值，并将所述特征值乘以所述图像块的邻近边缘梯度向量之和的模值除以所述特征值出现的次数形成BX (B-1)+3维的特征向量；所述均匀局部二值模式的特征值的取值属于区间[O，BX (B-1)+2]，所述B的大小为等间距分布于以所述图像块为圆心，半径为R的圆周上的像素点的个数；所述R大于等于I。
7.根据权利要求6所述的方法，其特征在于，在所述将所述特征值出现的概率乘以所述图像块的邻近边缘梯度向量之和的模值形成BX (B-l)+3维的特征向量之前，所述方法还包括: 将所述分块处理后的图像的各个图像块作为中心像素点，检测所述中心像素点的所述半径为R的圆周上是否存在邻近边缘梯度向量，包括:若所述圆周的任一方向上的像素点的像素值大于所述中心像素点的像素值，则存在所述方向上的邻近边缘梯度向量，所述方向包括:以所述中心像素点为原点，X轴正方向、y轴正方向、X轴反方向和y轴反方向。
8.根据权利要求7所述的方法，其特征在于，所述将获取到的所述均匀局部二值模式的特征向量进行行为分类识别，判断出所述待识别三维人体行为所属的行为类型，包括: 根据多个已知所属的行为类型的三维人体行为的深度视频序列和色彩RGB视频序列提取出的特征向量，采用K-最近邻KNN算法将提取出的所述均匀局部二值模式的特征向量进行行为分类识别，判断出所述待识别三维人体行为所属的行为类型。
9.一种三维人体行为识别装置，其特征在于，包括: 背景减除二值化模块，用于分别对待识别三维人体行为的深度视频序列和色彩RGB视频序列进行背景减除以及像素二值化处理，获取与所述深度视频序列对应的二值深度视频序列和与所述色彩RGB视频序列对应的二值RGB视频序列； 行为轮廓历史图像提取模块，用于分别提取所述二值深度视频序列和二值RGB视频序列对应的行为轮廓历史图像； 图像融合分块模块，用于对所述二值深度视频序列的行为轮廓历史图像和二值RGB视频序列的行为轮廓历史图像进行图像融合，并将融合后的图像进行分块处理； 特征提取模块，用于对分块处理后的图像进行均匀局部二值模式的特征提取，获取所述均匀局部二值模式的特征向量； 分类识别模块，用于将获取到的所述均匀局部二值模式的特征向量进行行为分类识另O，判断出所述待识别三维人体行为所属的行为类型。
10.根据权利要求9所述的装置，其特征在于，所述背景减除二值化模块，具体用于: 采用视觉背景提取ViBe算法分别检测所述深度视频序列和所述RGB视频序列；若检测到所述深度视频序列的连续T帧图像中中每帧图像的像素点的像素值与前一帧图像中的对应位置的像素点的像素值不同，则所述像素点为前景像素点，否则所述像素点为背景像素点；所述T为预设的背景减除阈值； 若检测到所述RGB视频序列的连续T帧图像中每帧图像的像素点的像素值与前一帧图像中的对应位置的像素点的像素值不同，则所述像素点为前景像素点，否则所述像素点为背景像素点； 分别将所述深度视频序列和所述RGB视频序列中的背景像素点的像素值设置为O，将所述深度视频序列和所述RGB视频序列中的前景像素点的像素值设置为255，得到与所述深度视频序列对应的二值深度视频序列和与所述色彩RGB视频序列对应的二值RGB视频序列。
11.根据权利要求9或10所述的装置，其特征在于，所述行为轮廓历史图像提取模块，具体用于: 提取所述二值深度视频序列包括的多帧深度图像中相同位置的像素点的像素值的最大值，将所述最大值设置为所述二值深度视频序列对应的行为轮廓历史图像中对应位置的像素点的像素值，得到所述二值深度视频序列对应的行为轮廓历史图像； 提取所述二值RGB视频序列包括的多帧RGB图像中相同位置的像素点的像素值的最大值，将所述最大值设置为所述二值RGB视频序列对应的行为轮廓历史图像中对应位置的像素点的像素值，得到所述二值RGB视频序列对应的行为轮廓历史图像。
12.根据权利要求9或10所述的装置，其特征在于，所述图像融合分块模块，具体用于: 确定所述二值深度视频序列的行为轮廓历史图像和所述二值RGB视频序列的行为轮廓历史图像中相同位置的像素点的像素值； 将所述相同位置的像素点的像素值中最小的像素值作为融合后的图像的对应位置的像素点的像素值。
13.根据权利要求12所述的装置，其特征在于，所述图像融合分块模块，具体用于: 将所述融合后的图像分成GXG大小的块，获取多个图像块； 将所述多个图像块中的像素值进行平均得到平均像素值，并将所述平均像素值与预设的阈值进行比较，若大于所述阈值，则将所述平均像素值作为所述图像块的像素值； 其中，G为整数，且大于I。
14.根据权利要求9、10或13所述的装置，其特征在于，所述特征提取模块，具体用于: 计算所述分块处理后的图像的各个图像块的均匀局部二值模式的特征值，并将所述特征值乘以所述图像块的邻近边缘梯度向量之和的模值除以所述特征值出现的次数形成BX (B-l)+3维的特征向量；所述均匀局部二值模式的特征值的取值属于区间[0，BX (B-l)+2]，所述B的大小为等间距分布于以所述图像块为圆心，半径为R的圆周上的像素点的个数；所述R大于等于I。
15.根据权利要求14所述的装置，其特征在于，所述特征提取模块，还具体用于: 将所述分块处理后的图像的各个图像块作为中心像素点，检测所述中心像素点的所述半径为R的圆周上是否存在邻近边缘梯度向量，包括:若所述圆周的任一方向上的像素点的像素值大于所述中心像素点的像素值，则存在所述方向上的邻近边缘梯度向量，所述方向包括:以所述中心像素点为原点，X轴正方向、y轴正方向、X轴反方向和y轴反方向。
16.根据权利要求15所述的装置，其特征在于，所述分类识别模块，具体用于: 根据多个已知所属的行为类型的三维人体行为的深度视频序列和色彩RGB视频序列提取出的特征向量，采用K-最近邻KNN算法将提取出的所述均匀局部二值模式的特征向量进行行为分类识别，判断出所述待识别三维人体行为所属的行为类型。
【文档编号】G06K9/00GK104200197SQ201410405886
【公开日】2014年12月10日 申请日期:2014年8月18日 优先权日:2014年8月18日
【发明者】明悦, 吴岳辛, 王光超, 韩丹, 李扬 申请人:北京邮电大学