一种人体行为动作快速识别方法及装置制造方法
【专利摘要】本发明公开了一种人体行为动作快速识别方法及装置，所述识别方法经过提取轮廓、获取关键帧、计算特征算子、设定阈值等步骤，通过特征算子与阈值之间的比较分析对人体行为动作进行分类；所述识别装置由运动轮廓获取单元、行为模型建立单元和运动识别单元组成；本发明方法及装置具有简单高效、使用合理等优点，可以减少匹配计算量和时间，提高行为动作识别的实时性和准确性。
【专利说明】一种人体行为动作快速识别方法及装置
【技术领域】
[0001]本发明涉及视频图像处理领域，尤其涉及一种人体行为动作识别方法及装置。
【背景技术】
[0002]人体行为分析的目的是理解和识别人的个体动作，人与人之间的交互运动，人与周围环境的交互关系等。行为识别已经应用于许多领域，如安防系统，医学康复，以及家庭娱乐等。它可以利用计算机技术，在不需要人为干预或者尽少加入人为干预的条件下，实现基于视频的人体检测、人体跟踪及对人体的行为的理解。
[0003]传统的人体行为识别主要是对人体的关键部位进行检测及跟踪并达到识别的目的。主要方式是在受测对象的主要关节位置上附着标志性亮点，通过捕捉这些标志亮点的运动轨迹来辨别出受测者的运动形态，如走路、跑步等运动形态，甚至还可以根据数据和经验判断出受测者的性别。但是，上述方法主要的缺点是应用场所具有局限性，而且仅能识别简单动作，对复杂动作无法识别或识别精度较差。
[0004]目前，随着计算机硬件设备的进步及计算机视觉技术的发展，基于视频的人体行为分析正朝着更加智能、自然和高效的方向发展。例如:专利号为201210566810.4的“一种视频监控中的人体行为识别方法”专利文件中，提供了一种行为识别方法，该方法通过检测和表示局部时空特征、计算局部时空特征与类别相关性、计算视频帧与类别相关性、检测和识别人体行为。上述方法首先对视频采集单元采集到的视频，使用三维Harris局部特征检测方法，将视频转化为局部时空特征集合；然后对于检测到的时空特征，使用类别比对互信息方法计算每个时空特征属于各个类别的相关性得分；然后根据所求得的时空特征属于各个类别的相关性得分，视频帧与类别的相关性得分表示为该帧上所有时空特征得分的平均值；最后根据所求得视频帧与类别的相关性得分，使用最大值子序列搜索方法定位和识别人体行为。
[0005]但是，上述方法介绍的类似现有技术中还是存在着不少的问题。例如，现有技术不能直接对不同的目标进行分离，可能出现多个目标被检测为单个目标，或单个目标被分割成多个目标等情况。另外，现有技术由于需要在图像中进行全局搜索，因此通常具有较高的计算复杂度，计算时间较长，往往达不到实际应用的实时性要求。
【发明内容】
[0006]本发明目的在于提供一种显著降低匹配时间和计算复杂度、保证识别精度、提高识别实时性的一种人体行为动作快速识别方法及装置。
[0007]为实现上述目的，采用了以下技术方案:
[0008]本发明所述的人体行为动作快速识别方法，按以下步骤进行:
[0009](I)通过视频采集单元采集人体行为动作的视频，利用背景减方法检测运动并提取人体剪影及其表达；所述背景减方法是在R、G、B空间分布中进行背景减操作来检测运动，对图像分别在R、G、B3个通道设定阈值，若任一通道的值大于该阈值，则将所有通道的值都设为255 ;反之，若没有任何通道的实际像素值大于该阈值，则维持原状；
[0010]在视频处理领域，背景减方法是获得运动图像的一个常用的手段。传统的背景减方法是对灰度图像进行处理，缺点是对光线变化比较敏感，容易缺失一些运动信息。采用上述背景减方法后，能很好地区别某些在灰度值接近而颜色不同的区域，提高了人体剪影提取的完成性。
[0011](2)对提取好的人体剪影进行轮廓提取，使用区域扫描算法提取剪影轮廓，并生成链表；选取其中最长的链表以排除部分外部干扰和内部空洞，将其重新描绘，获得所需要的人体剪影轮廓图像；
[0012](3)对提取的人体剪影轮廓使用k-mean聚类获得k个最能突出其特点的帧，即为关键帧，并进行标记；
[0013](4)利用具有时空特征的算子来加速行为动作识别过程；
[0014]首先，记录关键帧轮廓的中心位置，并根据位置信息计算特征算子w ;
[0015]特征算子w的确定方法为:记录人体质心的运动轨迹，分别获取轨迹上横坐标和纵坐标的最大值及最小值，将横坐标最大值与最小值的差值除以纵坐标的最大值与最小值的差值，所得结果确定为特征算子w ;
[0016]其次，设定阈值，根据特征算子w将行为动作序列样本分为两个大类，识别过程中利用W加速行为动作识别；若w大于2，认为该行为动作属于第一大类；若w小于2，则认为该行为动作属于第二大类；
[0017]最后，根据特征算子w的大小判断该行为动作属于哪个大类，然后在相应的大类内将目标运动的关键帧与其中每一个小类的关键帧对比，计算每个对应轮廓点到其质心的距离之差，将所有差值相加，得到两个轮廓的总欧氏距离，在每个小类中进行该步骤，找到总欧氏距离最小的类，即为所求的动作类别，从而对行为动作进行识别。
[0018]本发明所述的人体行为动作快速识别装置，所述识别装置包括图像采集单元和运动识别单元；图像采集单元为图像采集设备，图像采集单元拍摄人体运动过程，获取图像数据；图像采集单元通过USB总线与运动识别单元进行连接，运动识别单元的图像处理方法固化在dsp芯片中，运动识别单元通过对图像采集单元获得的图像数据进行处理，提取其中任意无前景帧作为背景图像，并使用背景减方法检测运动目标并提取轮廓及其表达；利用k-mean聚类对轮廓进行关键帧的判别和提取并将其标记，同时计算描述轮廓在运动过程中时间与空间上的变化情况的时空特征算子w ;通过时空特征算子w来区别动作行为的种类。利用对应点的欧氏距离差算法求得与测试序列差异度最小的训练序列并获取该训练序列的动作类别，即为目标测试序列的行为类别。
[0019]工作过程大致如下:
[0020]通过视频采集单元采集人体行为动作的视频，利用基于RGB空间的背景减方法获得目标运动图像，对运动图像进行轮廓提取并获得轮廓表达。利用k均值聚类获得图像序列的关键帧并标记运动。利用时空特征算子w把所有运动分为两大类，匹配时根据w的大小判断运动类别归属。
[0021]与现有技术相比，本发明具有如下优点:方法简单高效、使用合理，可以减少匹配计算量和时间，提高行为动作识别的实时性和准确性。
【专利附图】
【附图说明】
[0022]图1为本发明方法的总体流程示意图。
[0023]图2为本发明方法中关键帧获取实验结果示意图。
[0024]图3为本发明装置的结构简图。
【具体实施方式】
[0025]下面结合附图对本发明做进一步说明:
[0026]如图1所示本发明方法的总体流程示意图中，本发明所述的人体行为动作快速识别方法，按以下步骤进行:
[0027](I)通过视频采集单元采集人体行为动作的视频，利用背景减方法检测运动并提取人体剪影及其表达；所述背景减方法是在R、G、B空间分布中进行背景减操作来检测运动，对图像分别在R、G、B3个通道设定阈值为80，若任一通道的值大于该阈值，则将所有通道的值都设为255 ;反之，若没有任何通道的实际像素值大于该阈值，则维持原状；
[0028]在视频处理领域，背景减方法是获得运动图像的一个常用的手段。传统的背景减方法是对灰度图像进行处理，缺点是对光线变化比较敏感，容易缺失一些运动信息。采用上述背景减方法后，能很好地区别某些在灰度值接近而颜色不同的区域，提高了人体剪影提取的完成性。
[0029](2)对提取好的人体剪影进行轮廓提取，使用区域扫描算法提取剪影轮廓，并生成链表；选取其中最长的链表以排除部分外部干扰和内部空洞，将其重新描绘，获得所需要的人体剪影轮廓图像；
[0030](3)对提取的人体剪影轮廓使用k-mean聚类获得k个最能突出其特点的帧，即为关键帧，并进行标记，对每个动作提取12个关键帧；具体演示结果如图2所示。
[0031](4)利用具有时空特征的算子来加速行为动作识别过程；
[0032]记录关键帧轮廓的中心位置，并根据位置信息计算特征算子w ；
[0033]特征算子w的确定方法为:记录人体质心的运动轨迹，分别获取轨迹上横坐标和纵坐标的最大值及最小值，将横坐标最大值与最小值的差值除以纵坐标的最大值与最小值的差值，所得结果确定为特征算子《，如对于奔跑动作，横坐标最大值为170，最小值为10，纵坐标上最大值为80，最小值为74，则其所对应的特征算子w为26.67 ；
[0034]设定阈值为2.5，根据特征算子w将行为动作序列样本分为两个大类，识别过程中利用w加速行为动作识别；若《大于阈值，认为该行为动作属于第一大类；若《小于阈值，则认为该行为动作属于第二大类；在相应的大类内将目标运动的关键帧与其中每一个小类的关键帧对比，计算每个对应轮廓点到其质心的距离之差，将所有差值相加，得到两个轮廓的总欧氏距离，在每个小类中进行该步骤，找到总欧氏距离最小的类，即为所求的动作类别，完成对行为动作的识别。
[0035]例如，在识别奔跑动作时，先对其进行RGB空间下的背景减除法，获得其人体剪影，然后对所获得的人体剪影进行轮廓提取。对所获得的轮廓序列使用k-mean聚类获得12个最能表现奔跑特征的帧作为关键帧，并计算其所对应的特征算子w为26.67。由于w>2.5，该动作属于第一大类，将所获得的12个关键帧与第一大类中的每一个小类中的关键帧进行比较，找到与该测试序列最接近的训练序列类型，并获得该训练序列的名称，即为测试序列的动作名称。
[0036]本发明所述的人体行为动作快速识别装置，所述识别装置包括图像采集单元和运动识别单元，如图3所示。
[0037]图像采集单元为图像采集设备，图像采集单元拍摄人体运动过程，获取图像数据。
[0038]图像采集单元通过USB总线与运动识别单元进行连接，运动识别单元的图像处理方法固化在dsp芯片中，运动识别单元通过对图像采集单元获得的图像数据进行处理，提取其中任意无前景帧作为背景图像，并使用背景减方法检测运动目标并提取轮廓及其表达；利用k-mean聚类对轮廓进行关键帧的判别和提取并将其标记，同时计算描述轮廓在运动过程中时间与空间上的变化情况的时空特征算子w ;通过时空特征算子w来区别动作行为的种类。
[0039]利用对应点的欧氏距离差算法求得与测试序列差异度最小的训练序列并获取该训练序列的动作类别，即为目标测试序列的行为类别。
[0040]以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
【权利要求】
1.一种人体行为动作快速识别方法，其特征在于，所述识别方法按以下步骤进行: (1)通过视频采集单元采集人体行为动作的视频，利用背景减方法检测运动并提取人体剪影及其表达；所述背景减方法是在R、G、B空间分布中进行背景减操作来检测运动，对图像分别在R、G、B3个通道设定阈值，若任一通道的值大于该阈值，则将所有通道的值都设为255 ;反之，若没有任何通道的实际像素值大于该阈值，则维持原状； (2)对提取好的人体剪影进行轮廓提取，使用区域扫描算法提取剪影轮廓，并生成链表；选取其中最长的链表以排除部分外部干扰和内部空洞，将其重新描绘，获得所需要的人体剪影轮廓图像； (3)对提取的人体剪影轮廓使用k-mean聚类获得k个最能突出其特点的帧，即为关键帧，并进行标记； (4)利用具有时空特征的算子来加速行为动作识别过程； 记录关键帧轮廓的中心位置，并根据位置信息计算特征算子w ； 特征算子w的确定方法为:记录人体质心的运动轨迹，分别获取轨迹上横坐标和纵坐标的最大值及最小值，将横坐标最大值与最小值的差值除以纵坐标的最大值与最小值的差值，所得结果确定为特征算子w ； 设定阈值，根据特征算子w将行为动作序列样本分为两个大类，识别过程中利用w加速行为动作识别；若w大于阈值，认为该行为动作属于第一大类；若w小于阈值，则认为该行为动作属于第二大类；在相应的大类内将目标运动的关键帧与其中每一个小类的关键帧对t匕，计算每个对应轮廓点到其质心的距离之差，将所有差值相加，得到两个轮廓的总欧氏距离，在每个小类中进行该步骤，找到总欧氏距离最小的类，即为所求的动作类别，完成对行为动作的识别。
2.一种人体行为动作快速识别装置，其特征在于:所述识别装置包括图像采集单元和运动识别单元；图像采集单元为图像采集设备，图像采集单元拍摄人体运动过程，获取图像数据；图像采集单元通过USB总线与运动识别单元进行连接，运动识别单元的图像处理方法固化在dsp芯片中，运动识别单元通过对图像采集单元获得的图像数据进行处理，提取其中任意无前景帧作为背景图像，并使用背景减方法检测运动目标并提取轮廓及其表达；利用k-mean聚类对轮廓进行关键帧的判别和提取并将其标记，同时计算描述轮廓在运动过程中时间与空间上的变化情况的时空特征算子w ;通过时空特征算子w来区别动作行为的种类。
【文档编号】G06K9/62GK104298964SQ201410467813
【公开日】2015年1月21日 申请日期:2014年9月15日 优先权日:2014年9月15日
【发明者】胡硕, 陈钰昕, 左亚青 申请人:燕山大学