深层三维卷积神经网络的创建方法、装置、存储介质及处理器与流程
本发明涉及视频识别及处理领域，具体而言，涉及一种深层三维卷积神经网络的创建方法、装置、存储介质及处理器。
背景技术
三维卷积神经网络(convolutionalneuralnetworks,cnn)以多帧图像序列作为输入，可以同时提取图像序列中的空间维度抽象特征及时间维度抽象特征，在视频分类、动作识别等图像序列分析应用中取得了重大突破。相比于常规的卷积神经网络，相同层数的三维卷积神经网络参数量众多，所需的训练数据大大增加，训练难度也随之加倍。然而，在实际应用中，视频数据训练样本有限，难以达到要求。
针对此问题，现有的技术通过限制三维卷积神经网络的层数或空间维度通道数来降低其参数量。这些技术通过层数较浅、结构简单的网络设计，可以在数据集较小时保证网络收敛，另外一些技术在空间维度上采用二维卷积代替三维卷积，降低训练难度。然而，这些方法对于视频序列抽象特征的提取能力也随之削弱，在复杂的视频分析应用中性能难以保证。因此，现有技术中所创建的三维卷积神经网络存在参数多、训练难、性能差等因素，因而导致三维卷积神经网络的网络性能较差的技术问题。
针对上述的问题，目前尚未提出有效的解决方案。
技术实现要素：
本发明实施例提供了一种深层三维卷积神经网络的创建方法、装置、存储介质及处理器，以至少解决现有技术中所创建的三维卷积神经网络的网络性能较差的技术问题。
根据本发明实施例的一个方面，提供了一种深层三维卷积神经网络的创建方法，该方法包括：根据预设视频序列数据集训练预设浅层三维卷积神经网络模型，直至上述预设浅层三维卷积神经网络模型达到收敛状态；根据密集连接方式创建深层三维卷积神经网络模型，其中，上述深层三维卷积神经网络模型包含的三维卷积层的层级数高于上述预设浅层三维卷积神经网络模型包含的上述三维卷积层的上述层级数；将上述深层三维卷积神经网络模型中的全部或部分上述三维卷积层拆分为三维卷积单元，得到第一目标深层三维卷积网络模型，其中，上述三维卷积单元包含瓶颈层和上述三维卷积层；将上述预设视频序列数据集和达到上述收敛状态的上述预设浅层三维卷积神经网络模型设置为监督信号，根据上述监督信号训练上述第一目标深层三维卷积网络模型，得到第二目标深层三维卷积网络模型，其中，上述第二目标深层三维卷积网络模型为达到上述收敛状态的上述第一目标深层三维卷积网络模型。
进一步地，上述根据密集连接方式创建深层三维卷积神经网络模型包括：将多个上述三维卷积层密集连接，得到上述深层三维卷积神经网络模型，其中，上述深层三维卷积神经网络模型中的任意一层上述三维卷积层的输入可以包含上述任意一层上述三维卷积层前序每个上述三维卷积层的输出特征的级联。
进一步地，上述将上述预设视频序列数据集和达到上述收敛状态的上述预设浅层三维卷积神经网络模型设置为监督信号，根据上述监督信号训练上述第一目标深层三维卷积网络模型，得到第二目标深层三维卷积网络模型包括：将达到上述收敛状态的浅层三维卷积神经网络模型进行拆分，得到多个第一子模型；将上述第一目标深层三维卷积神经网络模型分别进行拆分，得到多个第二子模型，其中，上述第二子模型的个数和上述第一子模型的个数相等；将上述多个第一子模型和上述多个第二子模型分别进行排列，将上述排列中的上述第一子模型作为监督信号，训练与上述第一子模型的排列序号相同的上述第二子模型，直至上述第二子模型达到上述收敛状态；将达到上述收敛状态的全部上述第二子模型进行级联，得到上述第二目标深层三维卷积网络模型。
进一步地，上述将上述排列中的上述第一子模型作为监督信号，训练与上述第一子模型的排列序号相同的上述第二子模型包括：将上述排列中的最后一个排列序号对应的上述第一子模型的输出和上述预设视频序列数据集的标签进行加权计算后的计算结果作为监督信号，训练上述排列中的最后一个排列序号对应的上述第二子模型，直至上述第二子模型达到上述收敛状态。
根据本发明实施例的另一方面，还提供了一种深层三维卷积神经网络的创建装置，该装置包括：第一训练单元，用于根据预设视频序列数据集训练预设浅层三维卷积神经网络模型，直至上述预设浅层三维卷积神经网络模型达到收敛状态；创建单元，用于根据密集连接方式创建深层三维卷积神经网络模型，其中，上述深层三维卷积神经网络模型包含的三维卷积层的层级数高于上述预设浅层三维卷积神经网络模型包含的上述三维卷积层的上述层级数；拆分单元，用于将上述深层三维卷积神经网络模型中的全部或部分上述三维卷积层拆分为三维卷积单元，得到第一目标深层三维卷积网络模型，其中，上述三维卷积单元包含瓶颈层和上述三维卷积层；第二训练单元，用于将上述预设视频序列数据集和达到上述收敛状态的上述预设浅层三维卷积神经网络模型设置为监督信号，根据上述监督信号训练上述第一目标深层三维卷积网络模型，得到第二目标深层三维卷积网络模型，其中，上述第二目标深层三维卷积网络模型为达到上述收敛状态的上述第一目标深层三维卷积网络模型。
进一步地，上述创建单元包括：连接单元，用于将多个上述三维卷积层密集连接，得到上述深层三维卷积神经网络模型，其中，上述深层三维卷积神经网络模型中的任意一层上述三维卷积层的输入可以包含上述任意一层上述三维卷积层前序每个上述三维卷积层的输出特征的级联。
进一步地，上述第二训练单元包括：第一拆分子单元，用于将达到上述收敛状态的浅层三维卷积神经网络模型进行拆分，得到多个第一子模型；第二拆分子单元，用于将上述第一目标深层三维卷积神经网络模型分别进行拆分，得到多个第二子模型，其中，上述第二子模型的个数和上述第一子模型的个数相等；处理子单元，用于将上述多个第一子模型和上述多个第二子模型分别进行排列，将上述排列中的上述第一子模型作为监督信号，训练与上述第一子模型的排列序号相同的上述第二子模型，直至上述第二子模型达到上述收敛状态；级联子单元，用于将达到上述收敛状态的全部上述第二子模型进行级联，得到上述第二目标深层三维卷积网络模型。
进一步地，上述处理子单元包括：处理模块，用于将上述排列中的最后一个排列序号对应的上述第一子模型的输出和上述预设视频序列数据集的标签进行加权计算后的计算结果作为监督信号，训练上述排列中的最后一个排列序号对应的上述第二子模型，直至上述第二子模型达到上述收敛状态。
根据本发明实施例的又一方面，还提供了一种存储介质，其特征在于，上述存储介质包括存储的程序，其中，在上述程序运行时控制上述存储介质所在设备执行上述的深层三维卷积神经网络的创建方法。
根据本发明实施例的又一方面，还提供了一种处理器，其特征在于，上述处理器用于运行程序，其中，上述程序运行时执行上述的深层三维卷积神经网络的创建方法。
在本发明实施例中，采用根据预设视频序列数据集训练预设浅层三维卷积神经网络模型，直至预设浅层三维卷积神经网络模型达到收敛状态；根据密集连接方式创建深层三维卷积神经网络模型，其中，深层三维卷积神经网络模型包含的三维卷积层的层级数高于预设浅层三维卷积神经网络模型包含的三维卷积层的层级数；将深层三维卷积神经网络模型中的全部或部分三维卷积层拆分为三维卷积单元，得到第一目标深层三维卷积网络模型，其中，三维卷积单元包含瓶颈层和三维卷积层；将预设视频序列数据集和达到收敛状态的预设浅层三维卷积神经网络模型设置为监督信号，达到了根据监督信号训练第一目标深层三维卷积网络模型，得到第二目标深层三维卷积网络模型的目的，其中，第二目标深层三维卷积网络模型为达到收敛状态的第一目标深层三维卷积网络模型。本发明实施例实现了在网络创建过程中提升三维卷积神经网络的网络性能、减少网络参数量、深化网络层次的技术效果，进而解决了现有技术中所创建的三维卷积神经网络的网络性能较差的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的深层三维卷积神经网络的创建方法的流程示意图；
图2是根据本发明实施例的另一种可选的深层三维卷积神经网络的创建方法的流程示意图；
图3是根据本发明实施例的一种可选的深层三维卷积神经网络的创建装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种深层三维卷积神经网络的创建方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种可选的深层三维卷积神经网络的创建方法的流程示意图，如图1所示，该方法包括如下步骤：
步骤s102，根据预设视频序列数据集训练预设浅层三维卷积神经网络模型，直至预设浅层三维卷积神经网络模型达到收敛状态；
步骤s104，根据密集连接方式创建深层三维卷积神经网络模型，其中，深层三维卷积神经网络模型包含的三维卷积层的层级数高于预设浅层三维卷积神经网络模型包含的三维卷积层的层级数；
步骤s106，将深层三维卷积神经网络模型中的全部或部分三维卷积层拆分为三维卷积单元，得到第一目标深层三维卷积网络模型，其中，三维卷积单元包含瓶颈层和三维卷积层；
步骤s108，将预设视频序列数据集和达到收敛状态的预设浅层三维卷积神经网络模型设置为监督信号，根据监督信号训练第一目标深层三维卷积网络模型，得到第二目标深层三维卷积网络模型，其中，第二目标深层三维卷积网络模型为达到收敛状态的第一目标深层三维卷积网络模型。
在本发明实施例中，采用根据预设视频序列数据集训练预设浅层三维卷积神经网络模型，直至预设浅层三维卷积神经网络模型达到收敛状态；根据密集连接方式创建深层三维卷积神经网络模型，其中，深层三维卷积神经网络模型包含的三维卷积层的层级数高于预设浅层三维卷积神经网络模型包含的三维卷积层的层级数；将深层三维卷积神经网络模型中的全部或部分三维卷积层拆分为三维卷积单元，得到第一目标深层三维卷积网络模型，其中，三维卷积单元包含瓶颈层和三维卷积层；将预设视频序列数据集和达到收敛状态的预设浅层三维卷积神经网络模型设置为监督信号，达到了根据监督信号训练第一目标深层三维卷积网络模型，得到第二目标深层三维卷积网络模型的目的，其中，第二目标深层三维卷积网络模型为达到收敛状态的第一目标深层三维卷积网络模型。本发明实施例实现了在网络创建过程中提升三维卷积神经网络的网络性能、减少网络参数量、深化网络层次的技术效果，进而解决了现有技术中所创建的三维卷积神经网络的网络性能较差的技术问题。
可选地，步骤s102中，可以采用三维卷积核，构建较浅层的预设浅层三维卷积神经网络模型，例如，该预设浅层三维卷积神经网络模型可以为三维卷积神经网络a，该网络a可以包含多层三维卷积层、三维池化层、全连接层；
进一步地，所述网络a的第i层卷积层的三维卷积核的尺寸为[wi,hi,fi]，分别对应宽度、长度、帧数/通道数三个维度。
可选地，所述网络a可以采用c3d网络结构，包含8层三维卷积层和2层全连接，分别是：
第一卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为64；
第一池化层，三维池化核尺寸为2x2x1，步长为2x2x1；
第二卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为128；
第二池化层，三维池化核尺寸为2x2x2，步长为2x2x2；
第三卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为256；
第四卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为256；
第三池化层，三维池化核尺寸为2x2x2，步长为2x2x2；
第五卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为512；
第六卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为512；
第四池化层，三维池化核尺寸为2x2x2，步长为2x2x2；
第七卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为512；
第八卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为512；
第五池化层，三维池化核尺寸为2x2x2，步长为2x2x2；
第一全连接层，神经元个数为4096；
第二全连接层，神经元个数为4096。
可选地，步骤s102中，预设视频序列数据集可以是行为识别数据集ucf101、1msport等。
可选地，步骤s104中，根据密集连接方式创建深层三维卷积神经网络模型，例如，该深层三维卷积神经网络模型为网络b，网络b包含多层卷积层、三维池化层、全连接层。其中，三维卷积层采用密集连接形式，从而提升特征利用率，提升网络精度。
进一步地，所述网络b的第j层卷积层的三维卷积核的尺寸为[wj,hj,fj]，分别对应宽度、长度、帧数/通道数三个维度。
进一步地，所述网络b的所谓密集连接即每个三维卷积层的输入为该层前面所有三维卷积层输出特征图的级联；
可选地，所述网络b包含20层三维卷积层和1层全连接层，分别是：
第一卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为16；
第二卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为16；
第一池化层，三维池化核尺寸为2x2x1，步长为2x2x1；
第三卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为32；
第四卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为32；
第二池化层，三维池化核尺寸为2x2x2，步长为2x2x2；
第五卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为32；
第六卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为32；
第三池化层，三维池化核尺寸为2x2x2，步长为2x2x2；
第七卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为64；
第八卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为64；
第四池化层，三维池化核尺寸为2x2x2，步长为2x2x2；
第九卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为64；
第十卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为64；
第五池化层，三维池化核尺寸为2x2x2，步长为2x2x2；
第十一卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为128；
第十二卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为128；
第六池化层，三维池化核尺寸为2x2x2，步长为2x2x2；
第十三卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为128；
第十四卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为128；
第七池化层，三维池化核尺寸为2x2x2，步长为2x2x2；
第十五卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为256；
第十六卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为256；
第十七卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为256；
第八池化层，三维池化核尺寸为2x2x2，步长为2x2x2；
第十八卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为512；
第十九卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为512；
第二十卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为512；
第九池化层，三维池化核尺寸为2x2x2，步长为2x2x2；
全连接层，神经元个数为1024。
可选地，步骤s106中，将深层三维卷积神经网络模型中的全部或部分三维卷积层拆分为三维卷积单元，得到第一目标深层三维卷积网络模型。例如，该第一目标深层三维卷积网络模型可以为网络c。具体地，对网络b中的部分或所有三维卷积层拆分成1x1x1分组卷积层和三维卷积层，得到网络c，从而降低参数量。进一步地，所述拆分是指：将第j层卷积核尺寸为[wj,hj,fj]的卷积层拆分成一层1x1x1的分组卷积层和一层卷积核尺寸为[wj,hj,fj]的三维卷积层，从而减少密集连接产生的输入通道个数，降低参数量及计算量。
可选地，所述分组卷积层是指该层的每个卷积核只与对应组内的输入通道进行卷积运算，与其他组的输入通道之间不做运算，从而进一步降低参数量。如，输入通道为m，分组数为n，其中n为不小于1的正整数，则每组内的输入通道数为m/n。在常规卷积计算中，每个卷积核与所有的m个输入通道进行计算。当n取1时等同于常规卷积。分组卷积中，每个卷积核只与其对应组的m/n个输入通道相连。
可选地，将网络b的所有三维卷积层进行拆分，得到网络c，包括：
第一瓶颈层，三维卷积核尺寸为1x1x1，分组数为1，步长为1，个数为16；
第一卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为16；
第二瓶颈层，三维卷积核尺寸为1x1x1，分组数为1，步长为1，个数为16；
第二卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为16；
第一池化层，三维池化核尺寸为2x2x1，步长为2x2x1；
第三瓶颈层，三维卷积核尺寸为1x1x1，分组数为2，步长为1，个数为32；
第三卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为32；
第四瓶颈层，三维卷积核尺寸为1x1x1，分组数为2，步长为1，个数为32；
第四卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为32；
第二池化层，三维池化核尺寸为2x2x2，步长为2x2x2；
第五瓶颈层，三维卷积核尺寸为1x1x1，分组数为2，步长为1，个数为32；
第五卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为32；
第六瓶颈层，三维卷积核尺寸为1x1x1，分组数为2，步长为1，个数为32；
第六卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为32；
第三池化层，三维池化核尺寸为2x2x2，步长为2x2x2；
第七瓶颈层，三维卷积核尺寸为1x1x1，分组数为4，步长为1，个数为64；
第七卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为64；
第八瓶颈层，三维卷积核尺寸为1x1x1，分组数为4，步长为1，个数为64；
第八卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为64；
第四池化层，三维池化核尺寸为2x2x2，步长为2x2x2；
第九瓶颈层，三维卷积核尺寸为1x1x1，分组数为4，步长为1，个数为64；
第九卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为64；
第十瓶颈层，三维卷积核尺寸为1x1x1，分组数为4，步长为1，个数为64；
第十卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为64；
第五池化层，三维池化核尺寸为2x2x2，步长为2x2x2；
第十一瓶颈层，三维卷积核尺寸为1x1x1，分组数为8，步长为1，个数为128；
第十一卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为128；
第十二瓶颈层，三维卷积核尺寸为1x1x1，分组数为8，步长为1，个数为128；
第十二卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为128；
第六池化层，三维池化核尺寸为2x2x2，步长为2x2x2；
第十三瓶颈层，三维卷积核尺寸为1x1x1，分组数为8，步长为1，个数为128；
第十三卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为128；
第十四瓶颈层，三维卷积核尺寸为1x1x1，分组数为8，步长为1，个数为128；
第十四卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为128；
第七池化层，三维池化核尺寸为2x2x2，步长为2x2x2；
第十五瓶颈层，三维卷积核尺寸为1x1x1，分组数为16，步长为1，个数为256；
第十五卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为256；
第十六瓶颈层，三维卷积核尺寸为1x1x1，分组数为16，步长为1，个数为256；
第十六卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为256；
第十七瓶颈层，三维卷积核尺寸为1x1x1，分组数为16，步长为1，个数为256；
第十七卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为256；
第八池化层，三维池化核尺寸为2x2x2，步长为2x2x2；
第十八瓶颈层，三维卷积核尺寸为1x1x1，分组数为32，步长为1，个数为512；
第十八卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为512；
第十九瓶颈层，三维卷积核尺寸为1x1x1，分组数为32，步长为1，个数为512；
第十九卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为512；
第二十瓶颈层，三维卷积核尺寸为1x1x1，分组数为32，步长为1，个数为512；
第二十卷积层，三维卷积核尺寸为3x3x3，步长为1，个数为512；
第九池化层，三维池化核尺寸为2x2x2，步长为2x2x2；
全连接层，神经元个数为1024。
可选地，步骤s108中，将预设视频序列数据集和达到收敛状态的预设浅层三维卷积神经网络模型设置为监督信号，根据监督信号训练第一目标深层三维卷积网络模型，得到第二目标深层三维卷积网络模型。该第二目标深层三维卷积网络模型具有深层结构，可以充分提取输入数据的抽象化特征，且网络采用密集连接形式，特征利用率高，保证了性能精度。
可选地，根据密集连接方式创建深层三维卷积神经网络模型包括：将多个三维卷积层密集连接，得到深层三维卷积神经网络模型，其中，深层三维卷积神经网络模型中的任意一层三维卷积层的输入可以包含任意一层三维卷积层前序每个三维卷积层的输出特征的级联。
图2是根据本发明实施例的一种可选的深层三维卷积神经网络的创建方法的流程示意图，如图2所示，执行步骤s108，将预设视频序列数据集和达到收敛状态的预设浅层三维卷积神经网络模型设置为监督信号，根据监督信号训练第一目标深层三维卷积网络模型，得到第二目标深层三维卷积网络模型包括：
步骤s202，将达到收敛状态的浅层三维卷积神经网络模型进行拆分，得到多个第一子模型；
步骤s204，将第一目标深层三维卷积神经网络模型分别进行拆分，得到多个第二子模型，其中，第二子模型的个数和第一子模型的个数相等；
步骤s206，将多个第一子模型和多个第二子模型分别进行排列，将排列中的第一子模型作为监督信号，训练与第一子模型的排列序号相同的第二子模型，直至第二子模型达到收敛状态；
步骤s208，将达到收敛状态的全部第二子模型进行级联，得到第二目标深层三维卷积网络模型。
可选地，执行步骤s202至步骤s208的过程，举例如下：
(1)设置多监督信号的数量为s，s为不小于1的整数。当s取1时，等效于常规训练模式；(2)基于收敛后的网络a获得s个监督网络[a1,a2…as]。其中第i个监督网络ai包含a网络的前
可选地，s设为2。监督网络a1包含4层卷积层，a2等同于a，待训练网络c1包含10层瓶颈层和10层卷积层，c2等同于c。
可选地，将排列中的第一子模型作为监督信号，训练与第一子模型的排列序号相同的第二子模型包括：将排列中的最后一个排列序号对应的第一子模型的输出和预设视频序列数据集的标签进行加权计算后的计算结果作为监督信号，训练排列中的最后一个排列序号对应的第二子模型，直至第二子模型达到收敛状态。
可选地，在本发明实施例中，构建深层的三维卷积神经网络，深层次的网络结构有助于提取高维抽象化特征，提升网络的表达能力。同时，网络采用密集连接形式，后面卷积层可以接收来自前面其他层的输出特征，提高了特征的复用率，保证了网络性能。其次，为了解决训练难的问题，采用多监督信号训练模式，结合knowledgedistill方法，采用多个浅层的监督模型进行指导训练，加速网络收敛。再者，为了降低网络的参数量，网络用1x1x1瓶颈层降低输入通道数维度，并采用分组卷积方式，进一步降低连接数和参数量，减少计算负担。综上，本发明有效解决了现有三维cnn技术中的现有技术中所创建的三维卷积神经网络的网络性能较差的技术问题，提供了一种层次深、参数量少、性能高的三维卷积神经网络的构建及训练方法，可用于动作识别、序列分析、视频相似度比对等多种应用领域。
在本发明实施例中，采用根据预设视频序列数据集训练预设浅层三维卷积神经网络模型，直至预设浅层三维卷积神经网络模型达到收敛状态；根据密集连接方式创建深层三维卷积神经网络模型，其中，深层三维卷积神经网络模型包含的三维卷积层的层级数高于预设浅层三维卷积神经网络模型包含的三维卷积层的层级数；将深层三维卷积神经网络模型中的全部或部分三维卷积层拆分为三维卷积单元，得到第一目标深层三维卷积网络模型，其中，三维卷积单元包含瓶颈层和三维卷积层；将预设视频序列数据集和达到收敛状态的预设浅层三维卷积神经网络模型设置为监督信号，达到了根据监督信号训练第一目标深层三维卷积网络模型，得到第二目标深层三维卷积网络模型的目的，其中，第二目标深层三维卷积网络模型为达到收敛状态的第一目标深层三维卷积网络模型。本发明实施例实现了在网络创建过程中提升三维卷积神经网络的网络性能、减少网络参数量、深化网络层次的技术效果，进而解决了现有技术中所创建的三维卷积神经网络的网络性能较差的技术问题。
实施例2
根据本发明实施例的另一方面，还提供了一种深层三维卷积神经网络的创建装置，如图3所示，该装置包括：第一训练单元301，用于根据预设视频序列数据集训练预设浅层三维卷积神经网络模型，直至预设浅层三维卷积神经网络模型达到收敛状态；创建单元303，用于根据密集连接方式创建深层三维卷积神经网络模型，其中，深层三维卷积神经网络模型包含的三维卷积层的层级数高于预设浅层三维卷积神经网络模型包含的三维卷积层的层级数；拆分单元305，用于将深层三维卷积神经网络模型中的全部或部分三维卷积层拆分为三维卷积单元，得到第一目标深层三维卷积网络模型，其中，三维卷积单元包含瓶颈层和三维卷积层；第二训练单元307，用于将预设视频序列数据集和达到收敛状态的预设浅层三维卷积神经网络模型设置为监督信号，根据监督信号训练第一目标深层三维卷积网络模型，得到第二目标深层三维卷积网络模型，其中，第二目标深层三维卷积网络模型为达到收敛状态的第一目标深层三维卷积网络模型。
可选地，创建单元包括：连接单元，用于将多个三维卷积层密集连接，得到深层三维卷积神经网络模型，其中，深层三维卷积神经网络模型中的任意一层三维卷积层的输入可以包含任意一层三维卷积层前序每个三维卷积层的输出特征的级联。
可选地，第二训练单元包括：第一拆分子单元，用于将达到收敛状态的浅层三维卷积神经网络模型进行拆分，得到多个第一子模型；第二拆分子单元，用于将第一目标深层三维卷积神经网络模型分别进行拆分，得到多个第二子模型，其中，第二子模型的个数和第一子模型的个数相等；处理子单元，用于将多个第一子模型和多个第二子模型分别进行排列，将排列中的第一子模型作为监督信号，训练与第一子模型的排列序号相同的第二子模型，直至第二子模型达到收敛状态；级联子单元，用于将达到收敛状态的全部第二子模型进行级联，得到第二目标深层三维卷积网络模型。
可选地，处理子单元包括：处理模块，用于将排列中的最后一个排列序号对应的第一子模型的输出和预设视频序列数据集的标签进行加权计算后的计算结果作为监督信号，训练排列中的最后一个排列序号对应的第二子模型，直至第二子模型达到收敛状态。
根据本发明实施例的又一方面，还提供了一种存储介质，其特征在于，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行本申请实施例1中的深层三维卷积神经网络的创建方法。
根据本发明实施例的又一方面，还提供了一种处理器，其特征在于，处理器用于运行程序，其中，程序运行时执行本申请实施例1中的深层三维卷积神经网络的创建方法。
在本发明实施例中，采用根据预设视频序列数据集训练预设浅层三维卷积神经网络模型，直至预设浅层三维卷积神经网络模型达到收敛状态；根据密集连接方式创建深层三维卷积神经网络模型，其中，深层三维卷积神经网络模型包含的三维卷积层的层级数高于预设浅层三维卷积神经网络模型包含的三维卷积层的层级数；将深层三维卷积神经网络模型中的全部或部分三维卷积层拆分为三维卷积单元，得到第一目标深层三维卷积网络模型，其中，三维卷积单元包含瓶颈层和三维卷积层；将预设视频序列数据集和达到收敛状态的预设浅层三维卷积神经网络模型设置为监督信号，达到了根据监督信号训练第一目标深层三维卷积网络模型，得到第二目标深层三维卷积网络模型的目的，其中，第二目标深层三维卷积网络模型为达到收敛状态的第一目标深层三维卷积网络模型。本发明实施例实现了在网络创建过程中提升三维卷积神经网络的网络性能、减少网络参数量、深化网络层次的技术效果，进而解决了现有技术中所创建的三维卷积神经网络的网络性能较差的技术问题。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！