基于人脑视觉记忆原理的人体动作识别方法及系统的制作方法
【技术领域】
[0001]本发明涉及计算机视觉和视频监控领域，具体是涉及一种基于人脑视觉记忆原理的人体动作识别方法及系统。
【背景技术】
[0002]基于视频的人体动作识别是一个非常重要的问题，可应用于视频监控、视频检索和人机交互。人体动作识别是指用计算机从视频序列中区分出人体动作的类别。
[0003]基于视频的人体动作识别可以分为两个部分:动作的表示和动作的分类。视频可以分为训练集合和测试集合。动作的表示是指:从包含人体动作的视频序列中，提取合适的特征数据，来描述人体的动作。动作的分类是指:通过学习训练集合中的特征数据，得到分类器模型，将测试集合中的特征数据进行分类。
[0004]目前许多视频或多或少都存在一些遮挡，包括自遮挡或被其他目标遮挡，这会造成执行动作的主体并不是全部可见，难以提取有效的动作特征，给人体动作识别带来很大的挑战。
[0005]在当前的动作识别方法中，如下几种方法在遮挡情况下的性能是能够被接受的:局部方法、基于概率的方法和基于姿势的方法，但这些方法各有一定的局限性。局部方法所用的兴趣点探测，可能错误识别不在前景目标中的局部小块。基于概率的方法，如贝叶斯网络，隐马尔可夫模型，是扁平模型，在表示简单动作方面是有效的，但并不能描述复杂动作中的层次和共享结构。基于姿势的方法，需要使用探测器，通过手工标注训练图像，来训练每个身体部位，这就限制了基于姿势的方法在动作识别上的应用。因此，亟待有效的方法来解决人体动作识别中的遮挡问题。
【发明内容】
[0006]本发明的目的是为了克服上述【背景技术】的不足，提供一种基于人脑视觉记忆原理的人体动作识别方法及系统，能有效解决人体动作识别中的遮挡问题。
[0007]本发明提供一种基于人脑视觉记忆原理的人体动作识别方法，包括以下步骤:
[0008]A、训练阶段:
[0009]Al、采集多个训练视频，对每个训练视频分别进行密集采样，将采样块上的方向梯度直方图HOG特征作为局部特征，得到训练视频的HOG特征集合；
[0010]A2、采用期望最大化算法，对步骤Al得到的训练视频的HOG特征集合进行学习，得到一组“超完备”基向量；
[0011]A3、结合步骤A2得到的“超完备”基向量，采用稀疏编码的方式，对步骤Al得到的训练视频的HOG特征集合进行特征编码，得到第一稀疏向量集合，第一稀疏向量集合中每个向量的维度与“超完备”基向量的维度相同，对第一稀疏向量集合中的全部稀疏向量进行求和运算，再进行归一化，得到一个维度与“超完备”基向量维度相同的向量，作为训练视频的编码结果，用训练视频的编码结果来表达训练视频中的人体动作；
[0012]A4、将步骤A3得到的所有训练视频的编码结果送入支持向量机SVM分类器进行训练，生成训练模型；
[0013]A5、使用步骤A3得到的所有训练视频的编码结果，来构建视觉记忆库；
[0014]B、识别阶段:
[0015]B1、输入待识别视频，对待识别视频进行密集采样，将采样块上的HOG特征作为局部特征，得到待识别视频的HOG特征集合；
[0016]B2、结合步骤A2得到的“超完备”基向量，采用稀疏编码的方式，对步骤BI得到的待识别视频的HOG特征集合进行特征编码，到得第二稀疏向量集合，第二稀疏向量集合中每个向量的维度与“超完备”基向量维度相同，对第二稀疏向量集合中的全部稀疏向量进行求和运算，再进行归一化，得到一个维度与“超完备”基向量维度相同的稀疏向量；
[0017]B3、确定待识别视频中被遮挡的部位，用视觉记忆库中的检索结果替换待识别视频中被遮挡的部位，得到待识别视频的编码结果:
[0018]以步骤B2得到的稀疏向量为索引，在步骤A5构建的视觉记忆库中进行检索，将检索出的视频作为检索结果，用检索结果中视频的局部特征替换待识别视频中被遮挡部位的特征，得到经过替换后的视频的HOG特征集合，作为新的局部特征；用步骤A2得到的“超完备”基向量对该新的局部特征进行特征编码，得到新的稀疏向量，作为待识别视频的编码结果，用待识别视频的编码结果来表达待识别视频中的人体动作；
[0019]B4、将步骤B3得到的待识别视频的编码结果送入步骤A4生成的训练模型进行测试，得到待识别视频中的人体动作类别。
[0020]在上述技术方案的基础上，步骤A中，所述对每个训练视频分别进行密集采样的过程为:对于单个训练视频，以密集采样点为中心，找到该训练视频的多个局部采样块。
[0021]在上述技术方案的基础上，所述局部采样块的尺寸为小于训练视频尺寸的任意尺寸。
[0022]在上述技术方案的基础上，所述局部采样块的尺寸为16X16X4像素。
[0023]在上述技术方案的基础上，步骤A5中，采用基于内容的视频检索系统来模拟视觉记忆库。
[0024]在上述技术方案的基础上，步骤B3中确定待识别视频中被遮挡部位的具体过程为:计算待识别视频中每个局部采样块的图像熵，熵值低于预设阈值的局部采样块所在的部位就是被遮挡的部位，预设阈值在实验中确定。
[0025]本发明还提供一种基于人脑视觉记忆原理的人体动作识别系统，包括第一 HOG特征集合获取单元、“超完备”基向量获取单元、第一编码单元、训练模型生成单元、视觉记忆库构建单元、第二 HOG特征集合获取单元、稀疏向量获取单元、第二编码单元、人体动作类别获取单元，其中:
[0026]所述第一 HOG特征集合获取单元用于:采集多个训练视频，对每个训练视频分别进行密集采样，将采样块上的方向梯度直方图特征作为局部特征，得到训练视频的HOG特征集合；
[0027]所述“超完备”基向量获取单元用于:采用期望最大化算法，对第一 HOG特征集合获取单元得到的训练视频的HOG特征集合进行学习，得到一组“超完备”基向量；
[0028]所述第一编码单元用于:结合“超完备”基向量，采用稀疏编码的方式，对第一 HOG特征集合获取单元得到的训练视频的HOG特征集合进行特征编码，得到第一稀疏向量集合，第一稀疏向量集合中每个向量的维度与“超完备”基向量的维度相同，对第一稀疏向量集合中的全部稀疏向量进行求和运算，再进行归一化，得到一个维度与“超完备”基向量维度相同的向量，作为训练视频的编码结果，用训练视频的编码结果来表达训练视频中的人体动作；
[0029]所述训练模型生成单元用于:将第一编码单元得到的所有训练视频的编码结果送入支持向量机SVM分类器进行训练，生成训练模型；
[0030]所述视觉记忆库构建单元用于:使用第一编码单元得到的所有训练视频的编码结果，来构建视觉记忆库；
[0031]所述第二 HOG特征集合获取单元用于:对输入的待识别视频进行密集采样，将采样块上的HOG特征作为局部特征，得到待识别视频的HOG特征集合；
[0032]所述稀疏向量获取单元用于:结合”超完备”基向量获取单元得到的“超完备”基向量，采用稀疏编码的方式，对第二 HOG特征集合获取单元得到的待识别视频的HOG特征集合进行特征编码，到得第二稀疏向量集合，第二稀疏向量集合中每个向量的维度与“超完备”基向量维度相同，对第二稀疏向量集合中的全部稀疏向量进行求和运算，再进行归一化，得到一个维度与“超完备”基向量维度相同的稀疏向量；
[0033]所述第二编码单元用于:确定待识别视频中被遮挡的部位，用视觉记忆库中的检索结果替换待识别视频中被遮挡的部位，得到待识别视频的编码结果:以稀疏向量获取单元得到的稀疏向量为索引，在视觉记忆库中进行检索，将检索出的视频作为检索结果，用检索结果中视频的局部特征替换待识别视频中被遮挡部位的特征，得到经过替换后的视频的HOG特征集合，作为新的局部特征；用“超完备”基向量对该新的局部特征进行特征编码，得到新的稀疏向量，作为待识别视频的编码结果，用待识别视频的编码结果来表达待识别视频中的人体动作；
[0034]所述人体动作类别获取单元用于:将第二编码单元得到的待识别视频的编码结果送入训练模型进行测试，得到待识别视频中的人体动作类别。
[0035]在上述技术方案的基础上，所述第一 HOG特征集合获取单元对每个训练视频分别进行密集采样的过程为:对于单个训练视频，以密集采样点为中心，找到该训练视频的多个局部采样块。
[0036]在上述技术方案的基础上，所述视觉记忆库构建单元采用基于内容的视频检索系统来模拟视觉记忆库。
[0037]在上述技术方案的基础上，所述第二编码单元确定待识别视频中被遮挡部位的具体过程为:计算待识别视频中每个局部采样块的图像熵，熵值低于预设