示ΜΒΗχ特征。
[0055] 第331-426维，共96维（8*2*2*3)，表示MBHy特征。
[0056] 至此得到每条轨迹的运动特征。
[0057] 5.3使用k-mean算法将所有轨迹进行聚类，类别个数为C1，聚类后得到轨迹字典 codebookl〇
[0058] 5.4用轨迹表示超体素
[0059] 5.4.1对于前面得到的判别性超体素，找到落在它上的轨迹。具体方法:遍历每一 条轨迹，如果该轨迹的7个或7个以上像素都在该超体素中，则判断该轨迹落在该超体素里。 对于长度少于7帧的超体素，则认为所有路过它的轨迹都落在该超体素里。
[0060] 5.4.2对于每一个超体素，将落在它里的轨迹以codebookl为字典做一次bow统计， 得到的直方图作为该超体素的特征。
[0061 ]步骤6，使用判别性的超体素作为codebook，用bow的方法得到视频特征。
[0062] 对所有判别性超体素进行k-means聚类，聚类后的字典为C〇deb〇〇k2。对于训练视 频，提取它的超体素，将其在codebook2上进行bow统计，得到的直方图作为该视频的特征。 [0063]步骤7,将训练视频的视频特征送入svm分类器进行训练，得到多类的分类模型。
[0064] 对于待识别的视频，进行以下步骤：
[0065] 步骤8,输入进行识别的视频，分别进行步骤1、2、5、6，得到待识别视频的特征表 不。
[0066] 步骤9,将待识别视频的特征送入svm分类器，得到识别结果。
[0067] 为了测试本发明的识别效果，本方法被运用到人体动作识别的一个常用库上： Youtube Dataset。该视频库包含1600个视频，分为11类，分别为:篮球投篮，自行车骑行，跳 水，打高尔夫球，骑马，足球颠球，荡秋千，打网球，蹦床，打排球，遛狗。每个视频的播放时长 在3-20秒之间。
【主权项】
1. 基于判别性超体素的人体动作识别方法，其特征在于：该方法对于进行训练的视频 进行W下步骤， 步骤1，将输入的视频进行过分割，得到视频的超体素； 步骤2，对输入的视频进行关键帖提取； 步骤3,对步骤2得到的图像进行判别性图块的提取； 步骤4,将步骤3得到的判别性图块与步骤一得到的超体素在视频中的位置进行取重叠 的操作； 步骤5,通过像素的运动轨迹特征及词袋模型(bow)对视频超体素进行描述； 步骤6，使用判别性的超体素作为字典，用bow的方法得到视频特征； 步骤7，用svm分类器得到分类模型； 对于待识别的视频，进行W下步骤： 步骤8，输入进行识别的视频，分别进行步骤1、2、5、6，得到待识别视频的特征表示； 步骤9，将待识别视频的特征送入svm分类器，得到识别结果。2. 根据权利要求1所述的基于判别性超体素的人体动作识别方法，其特征在于:本方法 的流程包括W下步骤， 步骤1，将输入的视频进行过分割； 1.1输入一段视频，假设输入的视频帖是一幅3通道彩色图像I，其宽和高分别为W、H; 对该视频进行过分割，得到视频的超体素； 步骤2，对输入的视频进行关键帖提取； 对视频通过每隔10帖取一帖的方法提取关键帖； 步骤3,对步骤2得到的图像进行判别性图块的提取； 3.1将训练图像分为两组:D，N;其中D是一类动作的训练图像，N是视频集中其他动作 的训练图像;D，N又分别平均分为两部分:Dl，Dl及Nl，N2; 3.2对Dl和Nl的所有图像进行如下操作： 3.2.1先对图像进行图块采样;把N*M的图像进行两次降采样，运样一幅图就出现S个 层级;在运=个层级上都根据有重叠地采样的原则，取k*k的小方块(本方法定为60*60)，对 运些小方块提取传统的HOG特征； 3.2.2将Dl提取的图块进行W下操作： 对图块进行随机采样，并对采样后的图块进行去重（即两块的差如果低于某一阔值，贝U 去掉该块）；根据剩余图块的个数，除WlO后，得到后面要聚类的类别个数;利用k-means方 法对图块进行聚类，并去掉只包含3个W下元素的类别，每类的元素记做P(i)，给剩余每一 个类别分配一个svm分类器； 3.2.3 W该类的元素 P(i)作为正例，Nl的图块作为负例，在svm上进行训练;再将D2提 取的图块作为测试样本放入每个分类器进行测试，得分最高的t个样本加入到原来的该类 元素 P(i)中；接下来，把Dl与D2交换，Nl与N2交换，在进行3.2.3的操作，直到迭代多次得到 最终的svm模型;本方法的迭代次数是6次； 3.2.4将3.2.1得到的方块在本类的svm上进行测试，如果在某一个svm上方块的得分 高于某一阔值，则判定该块为判别性的图块； 步骤4,将步骤3得到的判别性图块与步骤1得到的超体素在视频中的位置进行取重叠 的操作;公式如下：其中，Fi是视频V的第i个关键帖，Pi堤Fi里的第j个判别性图块;DSk是视频中第k个超体 素;S(.)函数表示一片区域中的像素个数;T是本方法设置的重叠的阔值； 至此，得到了判别性的超体素； 步骤5，通过像素的运动轨迹特征及bow对视频超体素进行描述； 5.1使用追踪工具对像素点进行追踪，追踪长度为15帖，得到一些长为15帖的运动轨 迹； 5.2对轨迹进行描述 对轨迹的描述分为四个部分，一共426维： 第1-30维，共30维，前30维表示一个像素的运动方向；公式如下：其中 A Pt= (P(t+i)-Pt) = (x(t+：〇-xt，y(t+i)-yt)， t表示第t帖，L为15，Xt，八表示在第t帖时该像素的X，y轴坐标. 下面的特征是通过先构造一个立体块来得到的，立体块的构造方法如下： 首先对于该条轨迹的每帖的像素，取W该像素位置为中屯、，WN为边长的正方形(N = 32)，得到一个WN*N的正方形为截面，L为长度的立体块;将该立体快分成a相帥的小的立体 块，其中a = 2，b = 3;运样就得到了 12个小的立体块；分别对运12个小块提取常规的H0G， 册F ,MHBx ,MBHy特征，将运些特征拼接，得到第31-425维的特征，如下： 第31-126维，共96维（8巧巧*3 )，表示HOG特征； 第127-234维，共108维(9巧巧*3 )，表示HOF特征； 第235-330维，共96维（8巧巧*3 )，表示MBHx特征； 第331-426维，共96维（8巧巧*3 )，表示MBHy特征； 至此得到每条轨迹的运动特征； 5.3使用k-mean算法将所有轨迹进行聚类，类别个数为Cl,聚类后得到轨迹字典 codebookl; 5.4用轨迹表示超体素 5.4.1对于前面得到的判别性超体素，找到落在它上的轨迹;具体方法:遍历每一条轨 迹，如果该轨迹的7个或7个W上像素都在该超体素中，则判断该轨迹落在该超体素里;对于 长度少于7帖的超体素，则认为所有路过它的轨迹都落在该超体素里； 5.4.2对于每一个超体素，将落在它里的轨迹Wcodebookl为字典做一次bow统计，得 到的直方图作为该超体素的特征； 步骤6，使用判别性的超体素作为codebook，用bow的方法得到视频特征； 对所有判别性超体素进行k-means聚类，聚类后的字典为codebook2;对于训练视频，提 取它的超体素，将其在codebook2上进行bow统计，得到的直方图作为该视频的特征； 步骤7,将训练视频的视频特征送入svm分类器进行训练，得到多类的分类模型； 对于待识别的视频，进行W下步骤： 步骤8，输入进行识别的视频，分别进行步骤1、2、5、6，得到待识别视频的特征表示； 步骤9，将待识别视频的特征送入svm分类器，得到识别结果。
【专利摘要】基于判别性超体素的人体动作识别方法，本发明利用非监督的方法自动提取同类动作视频中不同于其他类别的，能够表征本类特点的视频超体素特征集合。然后再对这些超体素的进行特征描述，最终完成进行动作的识别，能够更准确地识别视频中人体动作的类别。本发明同时参考视频的超体素特征与图像的hog特征这两种维度的特征，通过一个训练，学习的迭代过程，提取视频中具有判别性的超体素，能够更准确地对一个动作进行识别。本发明与传统方法相比，能够自动地提取视频中有效的部分，不仅包括人体中的较有判别性的部分，还能提取到背景中的对本类动作有表征作用的部分。
【IPC分类】G06K9/62, G06K9/00
【公开号】CN105590100
【申请号】CN201510977414
【发明人】段立娟, 郭亚楠, 马伟
【申请人】北京工业大学
【公开日】2016年5月18日
【申请日】2015年12月23日