一种基于时空共生双流网络的视频图像分类方法与流程

技术特征：

1.一种基于时空共生双流网络的视频图像分类方法，其特征在于，主要包括数据输入(一)；时空双流网络(二)；融合(三)；SVM分类器(四)。

2.基于权利要求书1所述的一种基于时空共生双流网络的视频图像分类方法，其特征在于，包括采用早融的双流网络结合时间和空间信息(时空共生)方法，使用猴类的视频数据集，从每个视频使用更多的帧(即更多的空间数据)产生一个显著的精度提高；空间和时间信息的结合，两者形成互补，精度达到65.8％。

3.基于权利要求书1所述的一种基于时空共生双流网络的视频图像分类方法，其特征在于，基于降维的可视化技术使用t-分布邻域嵌入算法(t-SNE)得出，通过使用共生的方法较少的分离的集群形成，和分离的集群往往是更紧密的在一起，更好地利用时间信息。

4.基于权利要求书1所述的数据输入(一)，其特征在于，包括图像和光流信息，数据集由100种猴类视频集组成；该数据集分为训练集和测试集；在一定距离内记录猴类视频，该数据集具有较大的挑战，如大规模的相机运动变化和相当大的姿态变化；

对于每一个类(猴种)提供以下数据：具有活动注释的视频剪辑，声音剪辑，包围盒，以及分类和分布位置。

5.基于权利要求书4所述的测试，每个视频剪辑采用每秒5帧(FPS)的方式测试，计算每5帧的光流来计算效率。

6.基于权利要求书1所述的时空双流网络(二)，其特征在于，包括时间网络，空间网络，以及时空共生译码。

7.基于权利要求书6所述的时间网络和空间网络，其特征在于，包括

(1)时序网络使用作为水平流O_x，竖直流O_y和光流的大小O_mag的输入结合形成一个单一的光学特征映射O∈R^h×w×3，其中h×w是特征映射(图像)的大小；

(2)空间网络使用RGB帧(图像)作为输入；

和都使用DCNN结构，由5个卷积层组成S^c1,S^c2,…,S^c5，其次是完全连接层S^fc6；该网络进行训练，通过每一个视频的输入帧(图像或光流)是一个单独的实例，使用预训练网络；在进行分类时，每一个图像(或帧的光流)最初被视为独立的；对于一个视频的N_f帧生成N_f分类决定。

8.基于权利要求书6所述的时空共生译码，其特征在于，包括通过共同出现的联合的空间和时间特征，使用DCNNs方法通过计算共生结合空间和时间网络的卷积层，具体地说，让时空网络的第n层的特征映射为和d_n是特征映射的维数的数目，计算特征映射组合

$P_{i,j}=vec\left(S_{i,j}^n{T_{i,j}^n}^T\right)$

和是指位置(i,j)上的空间和时间流的局部特征向量，进行矢量化操作，作为位置(i,j)的共生特征；因此，在每个空间位置的共生模式，外积运算捕获的视觉运动，最大池应用到所有的本地编码向量；P_i,j创建最后的特征表示最后，L₂标准化应用于编码向量；

时空双线性DCNN特征结合fc6时空特征用于双流早期融合，这使我们能够结合局部和全局的空间和时间信息。

9.基于权利要求书1所述的融合(三)，其特征在于，包括如下步骤：

(1)早期融合

使用两个独立的时序网络和空间网络S^o和的双流网络用于动作识别，在早期结合双流的信息，通过融合fc6输出，S^fc6和T^fc6，fc6是第一个全连接层，经常用来从DCNNs中提取单特征；我们把这个网络称为双流早融；

(2)进行早期融合，采用双线性DCNN然后融合双流的方法，空间和时间信息相结合；

通过完全连接的层的组合原始数据预处理、确定分类计算对象、在计算对象上进行分类。

10.基于权利要求书1所述的SVM分类器(四)，其特征在于，包括SVM分类器的原理为：

设线性可分样本集和为(x_i,y_i)，i＝1,…,n，x∈R^d，y∈{+1,-1}是类别标号，则

w·x+b＝0

是SVM分类器的分类面方程；

在分类时，为了使分类面对所有样本正确分类且分类间隔达到最大，需要满足下面两个条件：

Φ(x)＝min(w^Tw)

y_i(w·x_i+b)-1≥0

通过解此约束优化问题就可以得到最优分类面，而过两类样本中离分类面最近的点且平行于最优分类面的超平面上的训练样本就是使得公式中等号成立的那些特殊样本，因为它们支撑了最优分类面，因此被称为支撑向量；将融合输出作为特征向量输入到SVM分类器之中，获得最终分类结果。