一种基于注意力机制的视频分类方法与流程

本发明属于光通信
技术领域：
，更为具体地讲，涉及一种基于注意力机制的视频分类方法。
背景技术：
：近年来，得益于深度学习强大的特征提取能力，视频内容的识别和分析取得了突破性进展。视频内容识别的核心在于视频特征的提取，视频特征是视频本身所具有的物理性质，能够从不同的角度反映视频内容。karpathy采用卷积神经网络提取视频的空间特征，并在时间维度上将卷积神经网络进行扩展，从而提取视频的空时特征。ji则直接将二维卷积核扩展至三维卷积核，捕获相邻帧之间的运动信息。结合神经学方面的研究，simonyan和zisserman提出双通道cnn模型，一通道的cnn提取视频的空间特征，捕获视觉目标信息，一通道的cnn提取视频的短时间特征，捕获目标运动信息。尽管如此，这些方法只能捕捉视频的短时信息，忽视了视频的长时信息。虽然卷积神经网络能够提取鲁棒的空间特征，但却无法处理序列问题。尤其是对于一段长时间的视频内容，视频内容的识别和分析需要视频在更长时间范围内的时间特征。jeffreydonahue在2014年提出lrcn模型，该模型由空间特征提取和时间特征提取两部分组成。空间特征提取部分采用卷积神经网络，时间特征提取部分采用lstm网络，lstm网络根据连续输入的空间特征向量提取视频的长时间特征。虽然lrcn模型采用lstm网络提取视频的长时间特征，但在每一时刻，网络的输入仅为一帧视频内容，忽略了全局内容对网络的影响。深度学习模型能够直接利用原始数据进行端到端的训练，提取出与原始数据相适应的特征，这为视频内容识别和分析提供了更丰富的特征表示。moustafa分别训练alexnet模型和googlenet模型同时对视频内容进行识别。tran将三维卷积核应用于深度卷积神经网络，并将全部视频帧序列输入到网络中。为提取短时和长时特征，donahue在双通道cnn模型的基础上加入了两层lstm网络进行端到端学习。提出一种多粒度的空时结构，lstm网络被用于提取视频帧、光流特征图像、视频片段的时间特征，从多个角度关注视频内容。由于使用全部的视频帧序列对深度学习模型进行学习耗费了大量的资源，veeriah提出一种lstm网络的变体，该变体能够感知视频内容的变化，降低视频中的无关信息对视频内容识别的干扰。在视频内容识别过程中，如果深度学习模型能够感知视频内容的变化，把握视频内容的重点，将对视频内容识别非常有益。2014年googlemind团队使用注意力机制来进行图像分类，在递归神经网络中模拟人脑注意力特性，感知图像内容在各个区域的变化。随后bahdanau等人将注意力机制运用到自然语言翻译上，将翻译和对齐同时进行，相比传统的方法效果得到很大的提升，在长句的处理上也显示了极大的优势。venugopalan在自动生成视频描述时，采用编解码结构，编码部分采用卷积神经网络，解码部分采用lstm网络，并将全部的视频帧特征进行平均作为lstm网络的输入。该方法虽然在每一时刻考虑了全部的视频信息，但采用平均的方法使得视频特征丢失了时序信息，不利于视频内容的识别。技术实现要素：本发明的目的在于克服现有技术的不足，提供一种基于注意力机制的视频分类方法，从全局考虑视频信息，同时采用注意力机制选择性的关注视频中的有效信息，降低无效信息的干扰，从而实现视频分类。为实现上述发明目的，本发明一种基于注意力机制的视频分类方法，其特征在于，包括以下步骤：(1)、训练lstm网络模型(1.1)、通过卷积神经网络cnn提取输入视频的空间特征设输入视频为x＝{x1,x2，…,xn}，n表示输入视频的总帧数，通过卷积神经网络cnn提取输入视频的空间特征为v＝{v1,v2,…,vn}，vi表示第i帧视频图像的特征向量，i＝1,2,…,n；(1.2)、以注意力权重组合空间特征，得到加权空间特征并输入到lstm网络；其中，t＝1,2,…,t,t表示时刻总数；(1.3)、更新当前时刻lstm网络状态；其中，ft、it、ot分别表示lstm网络的遗忘门、输入门和输出门的计算结果，ht-1和ct-1分别表示上一时刻隐藏单元状态和记忆单元状态，ht和ct分别表示当前时刻隐藏单元状态和记忆单元状态，σ(·)是sigmoid函数，表示点积运算，uf、ui、uc，af、ai、ac，bi、bf、bc分别为待学习参数；(1.4)、lstm网络根据当前时刻状态预测视频类别；计算当前时刻t时视频类别的预测概率分布其中，softmax(·)是多分类函数，up、wp、bp、d分别为待学习参数；(1.5)、重复步骤(1.2)-(1.4)，分别预测出其余t-1个时刻的视频类别的预测概率分布pt；(1.6)、计算第t次的预测概率分布值pt和视频标识之间的误差δε，采用bptt算法将误差δε进行反向传递进而更新lstm网络中待学习参数，完成本轮迭代；(1.7)、当本轮迭代完成后，按照步骤(1.2)-(1.6)所述方法进行下一轮迭代，直到完成m次迭代，得到训练好的lstm网络模型；(2)、利用训练后的lstm网络模型对视频进行分类(2.1)、从待检测视频中每间隔m帧提取一个长度为n视频片段作为测试样本xj，j＝1,2,…,l，l表示待检测视频划分为长度为n的视频片段的个数；(2.2)、将l个测试样本xj按照步骤(1.1)-(1.5)所述方法进行处理，得到l个预测概率分布pt；(2.3)、在l个预测概率分布pt中，选取每一个预测概率分布pt中概率最大项的维度所对应的类别作为该测试样本xj的类别，从而得到l个统计结果，再统计l个统计结果中每个类别出现的次数，并将出现次数最多的类别作为待检测视频的类别；如果出现最大次数相等的类别，则以最大次数相等对应的预测概率分布pt中概率最大项的维度所对应的类别作为待检测视频的类别。本发明的发明目的是这样实现的：本发明一种基于注意力机制的视频分类方法，通过卷积神经网络cnn提取视频的空间特征，以注意力权重组合所有的空间特征送入到长短时记忆网络lstm提取视频的时间特征，最后采用多分类函数对视频内容进行分类。在lstm网络中引入的注意力机制能够模拟人脑的识别功能，将不同的视频内容区别对待，有效提高视频分类的准确性。同时，本发明一种基于注意力机制的视频分类方法还具有以下有益效果：(1)、通过将空间特征以注意力权重进行组合，每一时刻，模型能够感知到所有的视频信息，而非单个视频帧的信息；(2)、引入注意力机制后，模型能够模拟人脑的注意力机制，将不同的视频内容区别对待，有效提高视频分类的准确率。附图说明图1是本发明基于注意力机制的视频分类方法流程图；图2是基于注意力机制的lrcn模型结构图。具体实施方式下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。实施例为了方便描述，先对具体实施方式中出现的相关专业术语进行说明：cnn(convolutionalneuralnetwork)：卷积神经网络；lstm(longshort-termmemory)：长短时记忆网络；bptt(backpropagationthroughtime)：时间后向传播算法；图1是本发明基于注意力机制的视频分类方法流程图。在本实施例中，从crcv官方网站下载ucf-101数据集作为训练的样本视频，ucf-101数据集包含c＝101类视频，例如applyeyemakeup、applylipstick、...yoyo等，每个类别对应一个视频标识，如表1所示，按字母顺序排列，例如applyeyemakeup的标识为(1,0,0…0)、applylipstick的标识为(0,1,0…0)，yoyo的标识为(0,0,0…1)，标识为一个c维向量，是哪一类视频哪一维就为1，其余为0，视频标识在训练阶段属于已知。视频类别维度下标视频标识applyeyemakeup0(1,0,0…0)applylipstick1(0,1,0…0)…yoyo100(0,0,0…1)表1下面以ucf-101数据集中任意一类视频为例，本发明一种基于注意力机制的视频分类方法进行详细说明，具体包括以下步骤：s1、训练lstm网络模型s1.1、通过卷积神经网络cnn提取输入视频的空间特征设输入视频yoyo为x＝{x1,x2，…,xn}，n表示输入视频的总帧数，通过卷积神经网络cnn提取输入视频的空间特征为v＝{v1,v2,…,vn}，vi表示第i帧视频图像的特征向量，大小为2048维，i＝1,2,…,n；s1.2、以注意力权重组合空间特征，得到加权空间特征并输入到lstm网络；其中，t＝1,2,…,t,t＝16表示时刻总数；在本实施例中，如图2所示，基于注意力机制的lrcn模型由两部分组成，一部分是通过卷积神经网络cnn提取视频的空间特征，另一部分是以注意力权重组合空间特征，得到加权空间特征s1.3、更新当前时刻lstm网络状态；其中，ft、it、ot分别表示lstm网络的遗忘门、输入门和输出门的计算结果，ht-1和ct-1分别表示上一时刻隐藏单元状态和记忆单元状态，ht和ct分别表示当前时刻隐藏单元状态和记忆单元状态，σ(·)是sigmoid函数，表示点积运算，uf、ui、uc，af、ai、ac，bi、bf、bc分别为待学习参数；s1.4、计算注意力权重根据lstm网络当前时刻状态，计算第i帧视频的相关性得分其中，wa、ua、ba分别为待学习参数，tanh(·)为双曲正切函数；将所有帧视频的相关性得分进行归一化，得到第i帧视频的注意力权重其中，exp(·)为指数函数；注意力权重反映了第i帧视频特征向量在t时刻与整个视频特征向量集合的紧密程度，若该视频帧内容与整个视频内容越相关，则该注意力权重将越大；的学习与上一时刻的lstm网络状态和当前时刻的输入有关，且满足条件为：s1.5、lstm网络根据当前时刻状态预测视频类别；计算当前时刻t时视频类别的预测概率分布其中，softmax(·)是多分类函数，up、wp、bp、d分别为待学习参数；s1.6、重复步骤s1.2-s1.5，分别预测出其余t-1个时刻的视频类别的预测概率分布pt；s1.7、计算第t次的预测概率分布值pt和该视频的标识之间的误差δε，采用bptt算法将误差δε进行反向传递进而更新lstm网络中待学习参数，完成本轮迭代；s1.8、当本轮迭代完成后，按照步骤s1.2-s1.7所述方法进行下一轮迭代，直到完成m＝20000次迭代，得到训练好的lstm网络模型；s2、利用训练后的lstm网络模型对待检测视频进行分类s2.1、从待检测视频中每间隔m＝8帧提取一个长度为n＝16视频片段作为测试样本xj，j＝1,2,…,l，l表示待检测视频划分为长度为n的视频片段的个数；s2.2、将l个测试样本xj按照步骤s1.1-s1.6所述方法进行处理，得到l个预测概率分布pt；s2.3、在l个预测概率分布pt中，选取每一个预测概率分布pt中概率最大项的维度所对应的类别作为该测试样本xj的类别，从而得到l个统计结果，再统计l个统计结果中每个类别出现的次数，并将出现次数最多的类别作为待检测视频的类别；如果出现最大次数相等的类别，则以最大次数相等对应的预测概率分布pt中概率最大项的维度所对应的类别作为待检测视频的类别。仿真验证本实施例采用hmdb-51和ucf-101数据集进行模型的仿真和验证分析。hmdb-51数据集包含6766个视频，视频内容主要来自电影片段，分为51个类别，每个类别都包含至少101个视频，数据集的划分采用7/3原则。ucf-101数据集是从现实生活中收集的视频识别数据集，视频内容全部来源于youtube视频，包含13320个视频，共101类视频类别，是迄今为止最具挑战性的视频识别数据集之一。hmdb-51和ucf-101数据集的划分都包含3种划分方式，本实施例统一采用split-1划分方式，测试模型分类的准确率。对于空间特征提取部分，本实施例采用googlenet的inception-v3结构，并在2012年的imagenet上进行预训练，然后固定inception-v3网络参数，提取pooling3层特征作为视频的空间特征，特征大小为2048维。对于时间特征提取部分，在lstm网络中引入注意力机制，设置lstm网络的层数为1层，输入单元个数为2048，隐藏单元个数为512，根据数据集的不同，输出单元个数为51或101。在训练时，视频内容每16帧被划分成一个视频片段作为训练视频，在测试时，视频内容每隔8帧被划分成一个视频片段作为测试视频，相邻两个视频片段之间包含8帧相同的视频内容，来自同一视频的视频片段具有相同的视频标识。基于注意力机制的lrcn模型采用adam优化算法进行训练，初始学习率为0.001，最大迭代次数为20000。基于注意力机制的lrcn模型采用cnn+lstm的结构，为验证注意力机制对视频内容识别的影响，本文以cnn+lstm模型结构为基础，将基础模型与基于注意力机制的lrcn模型设置相同的单元结构，采用同样的方法进行训练，基础模型和基于注意力机制的lrcn模型分别在hmdb-51和ucf-101数据集上的识别准确率如表2所示。表2是基于注意力机制的lrcn模型在hmdb-51和ucf-101数据集上的识别准确率；模型hmdb-51ucf-101基础模型38.8％68.3％基于注意力机制的lrcn模型41.5％72.4％表2从表2的识别结果可以看出，基于注意力机制的lrcn模型对视频内容的识别效果有明显的改善，相对于基础模型，基于注意力机制的lrcn模型在hmdb-51数据集上的识别准确率提高了2.7％，在ucf-101数据集上的识别准确率提高了4.1％。相对于hmdb-51数据集，基于注意力机制的lrcn模型在ucf-101数据集上的改善效果更为明显，这是由于ucf-101数据集中的视频通常拥有较长的视频时长，而随着识别时间的增加，基础模型容易丢失视频中的关键信息，而基于注意力机制的lrcn模型始终能够关注与视频主题相关的视频帧序列，从而更准确的识别视频内容。同时，本实施例将基于注意力机制的lrcn模型与不同的视频内容识别方法进行了比较，比较结果如表3和表4所示。表3是不同视频内容识别方法在hmdb-51数据集上的识别准确率；不同视频内容识别方法hmdb-51hog/hof[7]20.0％空时hmax网络[49]22.8％trajmf[50]40.7％空间注意力模型[51]41.3％基于注意力机制的lrcn模型41.5％表3由于hog、hof特征和hmax网络提取的时间特征较为简单，因此视频内容的识别准确率不高。trajmf则将各种时间特征进行了融合，各种时间特征起到了互补的作用，识别准确率达到40.7％。空间注意力模型同样采用cnn+lstm模型结构，不同的是，空间注意力模型将注意力落在每个视频帧的内容上，没有考虑视频本身的时间特性。然而，卷积神经网络提取的空间特征有效表征了视频的空间信息，本实施例提出的基于注意力机制的lrcn模型将注意力落在视频帧序列的时间顺序上，识别准确率高于空间注意力模型。表4是不同视频内容识别方法在ucf-101数据集上的识别准确率；表4karpathy应用深度学习模型，直接将连续的视频帧作为卷积神经网络的输入提取视频的空间特征对视频内容进行识别，相对于传统的手工特征获得了不错的识别效果。jain在2014年thumos挑战赛中提出将hog/hof等手工空时特征与神经网络进行融合，识别准确率得到进一步提升。lrcn-single采用cnn+lstm模型结构进行端到端的学习，识别准确率达到71.1％。本实施例在lrcn-single模型的基础上引入注意力机制，并以加权的视频空间特征向量作为lstm网络的输入，提取带注意力的时间特征，识别准确率达到72.4％，高于lrcn-single模型。由此可以看出，在视频内容识别过程中，模拟人脑的注意力特性，有助于视频内容的理解和分析，改善识别效果。尽管上面对本发明说明性的具体实施方式进行了描述，以便于本
技术领域：
的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本
技术领域：
的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。当前第1页12