基于自上而下学习的行为分类方法
【专利摘要】本发明公开了一种基于自上而下学习的行为分类方法，解决现有方法中没有考虑底层特征与分类任务相关性而导致分类精度不高的问题。其实现步骤是：(1)提取数据的底层特征，并对其进行预处理；(2)对底层特征进行稀疏表达，将得到的稀疏编码作为隐变量输入多元逻辑回归模型；(3)以交替迭代训练得到稀疏编码的字典和多元逻辑回归模型的回归系数；(4)利用学得的字典和多元逻辑回归模型，对底层特征进行稀疏编码和最终的分类，统计实验结果，得到分类精度。本发明充分利用了底层特征与高层分类任务的联系，克服了底层数据繁多难以处理的问题，提高了行为分类的准确度，可用于公共安全管理、动漫设计、影视创作等方面。
【专利说明】
基于自上而下学习的行为分类方法
技术领域
[0001] 本发明属于信息处理技术领域，特别涉及一种行为识别技术，可用于公共安全管 理、动漫设计、影视创作等方面。
【背景技术】
[0002] 随着图像感知、大数据存储和计算机性能提升等各个方面的快速发展，视频数据 已经成为一种无处不在的媒体存储形式。来自监控设备、网络摄像头、电影等各个途径的视 频数据充斥着整个网络。各种小型且廉价消费设备例如笔记本电脑、智能手机以及高分辨 率摄像机的流行让人们更容易用视频记录生活的细节而不是使用简单的静态图像。如何在 这些海量的视频数据中针对人们感兴趣的人类行为进行分析已经成为一个热点问题。基于 视频的行为分类的目的是利用计算机和特定的算法提取视频中富有语义的部分，在大多数 场景中，人都是主要的语义元素，因为日常行为大都是由人主导的。因此，针对人体简单行 为的分类对最终的行为分析具有重要意义。
[0003] 目前，对于视频中行为的分类方法主要分3类：
[0004] 基于特征提取的方法，这种方法致力于提取紧致有表达能力的特征。 J. K. Aggarwal 等人在文南犬 " J. Aggarwal，and S. Michael, Human activity analysis:A review. 〃ACM Computing Surveys (CSUR) 43. 3 (2011) : 16. " 中提出了一些常见的特征提取 方法，这些方法往往利用训练数据的底层线索如灰度、光照变换等，对其进行处理得到底层 特征。比如H0G特征，就是先将图像分成不同的块，并计算图像中像素梯度分布，再统计块 中各像素点在不同方向上的梯度分布情况，最终得到一个特征向量。将这个特征向量输入 分类器进行分类。
[0005] 基于中层表达的方法。底层特征数据繁多，对计算能力的要求高，为了减小数据 量，同时提高特征的表达能力，一些中层表达的方法被提出，BoW(词袋模型）就是典型的 例子。在这种方法中，通过统计一幅图像或者一段视频中某些视觉词汇出现的频次，构建 分布直方图，并以其作为最终的特征向量。这种方法在文献"D.Filliat, A visual bag of words method for interactive qualitative localization and mapping, IEEE Conf. In Robotics and Automation, 2007, pp. 3921-3926. " 中有详细介绍。
[0006] 基于分类模型的方法，这种方法的重点在于在已有底层特征的基础上，如何通过 优化模型得到最接近真实情况的分类结果，常见的有SVM，MLR等。在文献"C. Schuldt，I. Laptev, B. Caputo, Recognizing human actions: a local SVM approach, in Proc.IEEE Conf. Proceedings of the 17th International Conference on, 2004, pp. 32-36.'，中京尤介 绍了一种基于SVM的行为分类方法。
【发明内容】
[0007] 本发明的目的在于针对上述现有方法的不足，提出一种基于自上而下学习的行为 分类方法。实现本发明目的的技术方案是：一种基于自上而下学习的行为分类方法，其特别 之处在于：包括以下步骤：
[0008] (1)将原始数据划分为训练样本集和测试样本集；
[0009] (2)利用尺度不变特征转移算法提取训练样本集和测试样本集视频片段的底层特 征，然后用词包模型预处理得到每段视频对应的特征向量；
[0010] (3)将步骤⑵得到的训练样本集的特征向量进行稀疏编码；将得到的稀疏编码 作为隐变量输入初始化得到的多元逻辑回归模型，得到训练样本的预测标签；结合预测标 签和实际的标签对稀疏编码所需的字典和多元逻辑回归模型的回归系数进行迭代训练优 化，得到稳定的字典和回归模型；
[0011] (4)利用步骤（3)得到的最终的字典和回归模型，对步骤（2)得到的测试样本集上 的特征向量进行稀疏编码，再带入回归模型，得到分类结果即测试样本的预测标签。
[0012] 优选的，在上述步骤之后还包括步骤（5)，分类结束后将测试样本的预测标签和实 际标签比较，统计测试样本预测标签的每一类中分类正确的数目，除以这一类的总数得到 分类正确率。
[0013] 所述步骤⑴中原始数据的划分采用随机抽取的方法，训练样本集占原始数据的 三分之二，测试样本集占原始数据的三分之一。
[0014] 所述步骤（3)的优化过程具体包括：
[0015] 步骤（3a)，构建优化目标表达式，将字典D和回归系数w结合在一个目标表达式 中，所述的目标表达式如下：
[0019] 为1 (w, D)为w，D的似然函数，Y，X分别为训练样本的标签和特征向量，s为单个 样本稀疏编码的系数；
[0020] 步骤（3b)，使用梯度下降法迭代优化回归系数w ;
[0021] 步骤（3c)，使用梯度下降法迭代优化字典D ;
[0022] 步骤（3d)，交替进行步骤（3b)和步骤（3c)，直至回归系数和字典稳定。
[0023] 本发明的优点是：
[0024] 本发明将特征中层表达与分类模型训练同时进行，采用自上而下的方式迭代优化 目标式得到最终的字典和回归模型，提高了特征的表达能力和模型的分类能力和鲁棒性， 并且克服了传统方法需要处理大量底层特征数据的弊端，减小了计算量。
【附图说明】
[0025] 图1为本发明基于自上而下学习的行为分类方法流程图；
[0026] 图2为本发明在数据集上运行得到的结果。
【具体实施方式】
[0027] 参照图1，本发明实现的步骤如下：
[0028] 步骤1，划分训练样本集和测试样本集。
[0029] 将数据库的样本集划分为训练样本集和测试样本集，随机抽取其中三分之二为训 练集，剩下的为测试集。
[0030] 步骤2,提取SIFT特征即尺度不变特征并预处理。
[0031] (2a)提取训练集和测试集中视频片断的SIFT特征；
[0032] (2b)采用BoW模型（词包模型）对原始SIFT特征进行预处理，得到每段视频片断 对应的特征向量。
[0033] 步骤3,构建优化目标表达式并训练字典和回归模型。
[0034] (3a)假设存在一个字典D e RpXk，其中k为字典的大小，p为步骤⑵得到的底层 特征的维数。这个字典含有由训练数据中学习得到的最有代表性的目标部分（视觉词汇） {山，d 2，…，dk}。我们引进一个隐变量组成的向量Sie Rk来对X 1= Ds i的系数表达进行建 模，稀疏表达通常由下式的优化解得到，
[0035]
[0036] 得到s之后，就可利用s进行分类，分类的目标是在已知s预测出类别标签y，在贝 叶斯框架中，实现这个目标往往是通过最大化后验概率P(y|s) 〇cp(S|y)p(y)，这里的后验 概率P (X I y)就是似然性函数（假设标签为y时S出现的概率），p (y)是先验概率。假设样 本s之间条件独立，那么p(s|Y) = n&ipfete)，其中S = {Sl，s2，…，sj为所有训练样本 稀疏系数的集合，Y= {yi，y2，…，yj为所有训练样本的标签集合，那么后验概率P(Y|S)就 可以写成：
[0037]
[0038] 带入MLR模型并采用贝叶斯最大后验概率模型得到对回归系数w和字典D优化公 式如下：
[0042] (3b)为了简化分析，先分析一个样本，这个样本对应的标签可能有k个，因此建立 一个向量Z = (Ζρ…，zk)T，其中除了这个样本对应的类别脚标j之外Zi= 0, z 1，这 个样本属于每个样本的概记为Pj，j = 1，…，k,将回归系数w e RmXk按列展开为mk行的向 量，1 (w, D)对w求一阶导得到
[0043][0044][0045][0046] 当有多个样本时，
[0047]
[0048]
[0049] 其中 N 为样本数目，Zi= (z …，zik), Pi= (p u，…，pik)，
[0050] 可以证明V2i(w, D) 2 0,因此可以使用梯度下降法来优化w。对w的优化过程为：
[0051] w = w+p*g(w)， (9)
[0052] 其中p为学习率，β(?_) = ▽〖〇,〇);
[0053] (3c)对字典D的优化同样采取梯度下降法，因为字典D在l(w，D)里不是显式定义 的，而是由稀疏编码隐性定义的（式X)，因此不能直接对D求导。这里采用链式求导法则来 对D求导。
[0054]
i ^
[0055] 计算此梯度的困难在于稀疏编码s对字典D没有显式的定义。本文通过在定点等 式上的隐微分克服了这个困难，首先可以确定等式1的定点，
[0056] DT(Ds_x) = - λ sign (s)， (11)
[0057] 在这里sign(s)表示在点的方式上s的符号且sign(0) = 0。我们在等式11的两 端计算D的微分，然后我们有：
[0058]
[0059] 在这里我们把Λ看作s中非零编码的索引，A看作零编码的索引。为了简化等式 12中梯度的计算，我们给每个s引进一个辅助变量z，
[0060]
β?η. λ
[0061] 在这里' =?另外，我们表示Ζ = [ζ^ ζ2,…，zj .因此，Γ对D的梯度可 以由下式计算：
[0062]
??) ' ' '
[0063] 对D的更新为
[0064]
[0065] 其中p为学习率。
[0066] (3d)迭代进行（3b)中对回归系数的优化和（3c)中对字典的优化，直到（3a)中表 达式收敛得到稳定的字典和回归模型。
[0067] 步骤4,在测试集上测试分类模型的性能
[0068] 利用得到的字典和回归模型，对测试集上数据先进行稀疏编码再带入多元逻辑回 归模型，得到分类结果即测试样本的预测标签。
[0069] 步骤5,统计分类结果并计算分类正确率。
[0070] 分类结束后将测试样本的预测标签和实际标签比较，统计测试样本预测标签的每 一类中分类正确的数目，除以这一类的总数得到分类正确率。
[0071] 本发明的效果可以通过以下实验做进一步的说明。
[0072] 1.仿真条件
[0073] 本发明是在中央处理器为 Intel (R) Core i3-2130 3. 4GHZ、内存 16G、WINDOWS 8 操作系统上，运用MATLAB软件进行的仿真。
[0074] 实验中使用的图像数据库为YouTube数据集，该数据集为一个有11个行为类别的 视频行为集，数据来自于YouTube的视频。数据集中的每一类行为都被分为25组，每组包 含至少四个视频片断。同一组内的视频都有某些共同点，比如行为由同一个人产生、相似的 背景、相似的视角等。
[0075] 2.仿真内容
[0076] 首先，在YouTube数据集上，完成本发明算法（基于度量学习的行人再识别）的 实验。为了证明算法的有效性，综合考虑算法的流行性、崭新性，我们选取了 3个对比方法 SVM，SMLR，MLR 进行比较。其中 SVM 是在文献"C. Chang, and C. Lin, LIBSVM:a library for support vector machines, ACM Transactions on Intelligent Systems and Technology (1'151')，￥〇1.2，11〇.3，卩卩.27,2011."有详细介绍。3]\&^是"8.1(1^81111&卩1^&11116七31，3卩&^6 multinomial logistic regression:Fast algorithms and generalization bounds, IEEE Trans. Pattern Analysis and Machine Intelligence，vol. 27, no. 6, pp. 957-968, 2005. " 中提出的。MLR 在"C.Kwak，A. Clayton_Matthews，Multinomial logistic regression. Nursing research，2002, pp. 404-410· " 中有详细介绍
[0077] 按照【具体实施方式】部分的步骤进行实验，得到本方法的实验结果。再在同样的数 据集上完成对比方法的实验。实验结果如下表所示。
[0078]
[0079] 实验结果说明，本方法相比现有方法具有一定的优异性。
【主权项】
1. 一种基于自上而下学习的行为分类方法，其特征在于：包括W下步骤： (1) 将原始数据划分为训练样本集和测试样本集； (2) 利用尺度不变特征转移算法提取训练样本集和测试样本集视频片段的底层特征， 然后用词包模型预处理得到每段视频对应的特征向量； (3) 将步骤（2)得到的训练样本集的特征向量进行稀疏编码；将得到的稀疏编码作为 隐变量输入初始化得到的多元逻辑回归模型，得到训练样本的预测标签；结合预测标签和 实际的标签对稀疏编码所需的字典和多元逻辑回归模型的回归系数进行迭代训练优化，得 到稳定的字典和回归模型； (4) 利用步骤（3)得到的最终的字典和回归模型，对步骤（2)得到的测试样本集上的特 征向量进行稀疏编码，再带入回归模型，得到分类结果即测试样本的预测标签。2. 根据权利要求1所述的基于自上而下学习的行为分类方法，其特征在于：还包括步 骤巧），分类结束后将测试样本的预测标签和实际标签比较，统计测试样本预测标签的每一 类中分类正确的数目，除W运一类的总数得到分类正确率。3. 根据权利要求1所述的基于自上而下学习的行为分类方法，其特征在于：所述步骤 (1)中原始数据的划分采用随机抽取的方法，训练样本集占原始数据的=分之二，测试样本 集占原始数据的=分之一。4. 根据权利要求1所述的基于自上而下学习的行为分类方法，其特征在于： 所述步骤（3)的优化过程具体包括： 步骤（3a)，构建优化目标表达式，将字典D和回归系数W结合在一个目标表达式中，所 述的目标表达式如下：为1 (W, D)为W，D的似然函数，Y，X分别为训练样本的标签和特征向量，S为单个样本 稀疏编码的系数； 步骤（3b)，使用梯度下降法迭代优化回归系数W ; 步骤（3c)，使用梯度下降法迭代优化字典D ; 步骤（3d)，交替进行步骤（3b)和步骤（3c)，直至回归系数和字典稳定。
【文档编号】G06K9/62GK106033546SQ201510104685
【公开日】2016年10月19日
【申请日】2015年3月10日
【发明人】李学龙, 卢孝强, 祁雷
【申请人】中国科学院西安光学精密机械研究所