视频分类方法和装置制造方法
【专利摘要】本发明实施例提供一种视频分类方法和装置，通过根据视频样本的特征之间的关系和语义之间的关系建立神经网络分类模型；获取待分类的视频文件的特征组合；采用所述神经网络分类模型和所述待分类的视频文件的特征组合，对所述待分类的视频文件进行分类。由于神经网络分类模型是根据视频样本的特征之间的关系和语义之间的关系建立的，充分考虑了特征之间的关系和语义之间的关系，因此，可以提高视频分类的准确性。
【专利说明】视频分类方法和装置
【技术领域】
[0001] 本发明实施例涉及计算机技术，尤其涉及一种视频分类方法和装置。
【背景技术】
[0002] 视频分类是指利用视频的视觉信息、听觉信息W及动作信息对视频进行处理和分 析，并判断和识别出视频中出现的动作和事件。视频分类应用非常广泛，例如：进行智能监 控、视频数据管理等。
[0003] 现有技术中，通过早期融合的技术进行视频分类，具体地，将从视频文件中提取出 的不同特征或者不同特征的核矩阵线性组合起来，输入到分类器中进行分析，从而，对视频 进行分类。然而，采用现有技术的方法，忽略了特征之间和语义之间的关系，因此，视频分类 的准确性不高。
【发明内容】
[0004] 本发明实施例提供一种视频分类方法和装置，W提高视频分类的准确性。
[0005] 本发明实施例第一方面提供一种视频分类方法，包括：
[0006] 根据视频样本的特征之间的关系和语义之间的关系建立神经网络分类模型；
[0007] 获取待分类的视频文件的特征组合；
[0008] 采用所述神经网络分类模型和所述待分类的视频文件的特征组合，对所述待分类 的视频文件进行分类。
[0009] 结合第一方面，在第一种可能的实现方式中，所述根据视频样本的特征之间的关 系和语义之间的关系建立神经网络分类模型，包括：
[0010] 根据视频样本的特征之间的关系和语义之间的关系，获取神经网络分类模型融合 层的权重矩阵和所述神经网络分类模型分类层的权重矩阵；
[0011] 根据所述神经网络分类模型融合层的权重矩阵和所述神经网络分类层的权重矩 阵建立神经网络的分类模型。
[0012] 结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述根据 视频样本的特征之间的关系和语义之间的关系，获取神经网络分类模型融合层的权重矩阵 和所述神经网络分类模型分类层的权重矩阵，包括：
[0013] 通过优化目标函数，获取神经网络分类模型融合层的权重矩阵和所述神经网络分 类模型分类层的权重矩阵；
[0014] 所述目标函数为：
[00巧]min".。( + 却I We II，, + 4^化(Wl I Q W/ I) ' 2 如 2
[001 引 S. t Q ^ 0 tr ( Q )二 1
[0017] 其中，^表示视频样本的预测值和真实值么间的偏差，A 1表示预设的第一权重系 数，A 2表示预设的第二权重系数，W。表示所述神经网络分类模型離合层的权重矩阵，W。的 每一列对应一种特征，Wh表示所述神经网络分类模型分类器层的权重矩阵，will表示所述 Wy的转置，IlWcI Ui表示Wc的2, 1范数，Q表示一个半正定的对称矩阵，用于表征语义之 间的关系，Q初始值为单位矩阵。
[0018] 结合第一方面的第二种可能的实现方式，在第H种可能的实现方式中，所述通过 优化目标函数，获取神经网络分类模型融合层的权重矩阵和所述神经网络分类模型分类层 的权重矩阵，包括：
[0019] 采用近端梯度算法优化目标函数，获取神经网络分类模型融合层的权重矩阵和所 述神经网络分类模型分类层的权重矩阵。
[0020] 结合第一方面的第H种可能的实现方式，在第四种可能的实现方式中，所述采用 近端梯度算法优化目标函数，包括：
[0021] 初始化所述目标函数中的所述神经网络分类模型融合层的权重矩阵和所述神经 网络分类模型分类层的权重矩阵；
[0022] 通过输入视频样本的特征，获取输出的预测值和实际值的偏差；
[0023] 根据所述偏差调整所述神经网络分类模型融合层的权重矩阵和所述神经网络分 类模型分类层的权重矩阵，直到所述偏差小于预设阔值。
[0024] 本发明实施例第二方面提供一种视频分类装置，包括：
[00巧]模型建立模块，用于根据视频样本的特征之间的关系和语义之间的关系建立神经 网络分类模型；
[0026] 特征提取模块，用于获取待分类的视频文件的特征组合；
[0027] 分类模块，用于采用所述神经网络分类模型和所述待分类的视频文件的特征组 合，对所述待分类的视频文件进行分类。
[0028] 结合第二方面，在第一种可能的实现方式中，所述模型建立模块具体用于根据视 频样本的特征之间的关系和语义之间的关系，获取神经网络分类模型融合层的权重矩阵和 所述神经网络分类模型分类层的权重矩阵；根据所述神经网络分类模型融合层的权重矩阵 和所述神经网络分类层的权重矩阵建立神经网络的分类模型。
[0029] 结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述模型 建立模块具体用于通过优化目标函数，获取神经网络分类模型融合层的权重矩阵和所述神 经网络分类模型分类层的权重矩阵；
[0030] 所述目标函数为：
[0031]
【权利要求】
1. 一种视频分类方法，其特征在于，包括： 根据视频样本的特征之间的关系和语义之间的关系建立神经网络分类模型； 获取待分类的视频文件的特征组合； 采用所述神经网络分类模型和所述待分类的视频文件的特征组合，对所述待分类的视 频文件进行分类。
2. 根据权利要求1所述的方法，其特征在于，所述根据视频样本的特征之间的关系和 语义之间的关系建立神经网络分类模型，包括： 根据视频样本的特征之间的关系和语义之间的关系，获取神经网络分类模型融合层的 权重矩阵和所述神经网络分类模型分类层的权重矩阵； 根据所述神经网络分类模型融合层的权重矩阵和所述神经网络分类层的权重矩阵建 立神经网络的分类模型。
3. 根据权利要求2所述的方法，其特征在于，所述根据视频样本的特征之间的关系和 语义之间的关系，获取神经网络分类模型融合层的权重矩阵和所述神经网络分类模型分类 层的权重矩阵，包括： 通过优化目标函数，获取神经网络分类模型融合层的权重矩阵和所述神经网络分类模 型分类层的权重矩阵； 所述目标函数为：
s. t Q ^ Otr (Q)=I 其中，（表示视频样本的预测值和真实值之间的偏差，A1表示预设的第一权重系数， 入2表示预设的第二权重系数，We表示所述神经网络分类模型融合层的权重矩阵，We的每一 列对应一种特征，Wm表示所述神经网络分类模型分类器层的权重矩阵，W匕表示所述Wm的转置，I IweI Iu表示We的2, 1范数，Q表示一个半正定的对称矩阵，用于表征语义之间的 关系，Q初始值为单位矩阵。
4. 根据权利要求3所述的方法，其特征在于，所述通过优化目标函数，获取神经网络分 类模型融合层的权重矩阵和所述神经网络分类模型分类层的权重矩阵，包括： 采用近端梯度算法优化目标函数，获取神经网络分类模型融合层的权重矩阵和所述神 经网络分类模型分类层的权重矩阵。
5. 根据权利要求4所述的方法，其特征在于，所述采用近端梯度算法优化目标函数，包 括： 初始化所述目标函数中的所述神经网络分类模型融合层的权重矩阵和所述神经网络 分类模型分类层的权重矩阵； 通过输入视频样本的特征，获取输出的预测值和实际值的偏差； 根据所述偏差调整所述神经网络分类模型融合层的权重矩阵和所述神经网络分类模 型分类层的权重矩阵，直到所述偏差小于预设阈值。
6. -种视频分类装置，其特征在于，包括： 模型建立模块，用于根据视频样本的特征之间的关系和语义之间的关系建立神经网络 分类模型； 特征提取模块，用于获取待分类的视频文件的特征组合； 分类模块，用于采用所述神经网络分类模型和所述待分类的视频文件的特征组合，对 所述待分类的视频文件进行分类。
7. 根据权利要求6所述的装置，其特征在于，所述模型建立模块具体用于根据视频样 本的特征之间的关系和语义之间的关系，获取神经网络分类模型融合层的权重矩阵和所述 神经网络分类模型分类层的权重矩阵；根据所述神经网络分类模型融合层的权重矩阵和所 述神经网络分类层的权重矩阵建立神经网络的分类模型。
8. 根据权利要求7所述的装置，其特征在于，所述模型建立模块具体用于通过优化目 标函数，获取神经网络分类模型融合层的权重矩阵和所述神经网络分类模型分类层的权重 矩阵； 所述目标函数为：
s. t Q ^ Otr (Q)=I 其中，（表示视频样本的预测值和真实值之间的偏差，A1表示预设的第一权重系数， 入2表示预设的第二权重系数，We表示所述神经网络分类模型融合层的权重矩阵，We的每一 列对应一种特征，Wm表示所述神经网络分类模型分类器层的权重矩阵，Wi3I 1表示所述Wm的转置，I IweI Iu表示We的2, 1范数，Q表示一个半正定的对称矩阵，用于表征语义之间的 关系，Q初始值为单位矩阵。
9. 根据权利要求8所述的装置，其特征在于，所述模型建立模块具体用于采用近端梯 度算法优化目标函数，获取神经网络分类模型融合层的权重矩阵和所述神经网络分类模型 分类层的权重矩阵。
10. 根据权利要求9所述的装置，其特征在于，所述模型建立模块具体用于初始化所述 目标函数中的所述神经网络分类模型融合层的权重矩阵和所述神经网络分类模型分类层 的权重矩阵；通过输入视频样本的特征，获取输出的预测值和实际值的偏差；根据所述偏 差调整所述神经网络分类模型融合层的权重矩阵和所述神经网络分类模型分类层的权重 矩阵，直到所述偏差小于预设阈值。
【文档编号】G06K9/62GK104331442SQ201410580006
【公开日】2015年2月4日 申请日期:2014年10月24日 优先权日:2014年10月24日
【发明者】姜育刚, 吴祖煊, 薛向阳, 顾子晨, 柴振华 申请人:华为技术有限公司, 复旦大学