视频分类系统与方法以及神经网络训练系统与方法与流程

本公开涉及视频分类领域。特别是应用神经网络于视频分类的技术。

背景技术：

1、动画是电视行业的重要组成部分。它们是最受欢迎的儿童娱乐，但不仅如此，有越来越多的动画视频和电影提供给所有年龄段的观众。现在，不仅仅是传统的有线电视，我们还可以在串流媒体服务上观看大量的动画视频。在这种情况下，如何提高使用者在电视上观看动画视频的体验成为一个重要问题。为了实现这一目标，需要一个有效的系统及方法来对视频进行即时检测，以对视频是否是动画进行分类，并根据检测结果对视频应用不同的增强效果。

技术实现思路

1、有鉴于此，本公开的一些实施例提供一种视频分类系统与方法以及神经网络训练系统与方法，其涉及：视频分类系统、视频分类方法、神经网络训练系统以及神经网络训练方法，以改善现有技术问题。

2、本公开的一实施例提供一种视频分类系统。视频分类系统包括处理器、卷积神经网络模块与递归神经网络(recurrent neural networks)模块。处理器经配置以获得一视频。卷积神经网络模块，具有多个已训练第一参数。递归神经网络模块具有多个已训练第二参数。其中，处理器经配置以执行下列步骤：依据时间间隔，选取现在时间点，依据现在时间点对视频作取样以获得现在时间点的取样图像。对现在时间点的取样图像进行像素尺寸调整，以获取对应的第一图像。其中，第一图像的像素尺寸为第一像素尺寸，第一图像的第一像素尺寸小于取样图像的像素尺寸。对现在时间点的取样图像进行图像裁剪(crop)，以获得对应的至少一个部分图像，并基于至少一个部分图像，获得对应的第二图像，其中第二图像的像素尺寸为该第一像素尺寸。使用卷积神经网络模块将现在时间点的取样图像的第一图像与第二图像，编码成对应该现在时间点的取样图像的特征向量。将对应现在时间点的特征向量与对应多个过去时间点的多个过去特征向量依序合并成一特征矩阵。以及基于该递归神经网络模块及该特征矩阵获得该视频的一分类。

3、本公开的一实施例提供一种视频分类方法，由一处理器执行。视频分类方法包括以下步骤：依据时间间隔，选取现在时间点，依据现在时间点对视频作取样以获得现在时间点的取样图像。对现在时间点的取样图像进行像素尺寸调整，以获取对应的第一图像。其中，第一图像的像素尺寸为第一像素尺寸，第一图像的第一像素尺寸小于取样图像的像素尺寸。对现在时间点的取样图像进行图像裁剪，以获得对应的至少一个部分图像，并基于至少一个部分图像，获得对应的第二图像，其中第二图像的像素尺寸为该第一像素尺寸。使用卷积神经网络模块将现在时间点的取样图像的第一图像与第二图像，编码成对应该现在时间点的取样图像的特征向量。将对应现在时间点的特征向量与对应多个过去时间点的多个过去特征向量依序合并成一特征矩阵。

4、本公开的一实施例提供一种神经网络训练系统。神经网络训练系统包括处理器、卷积神经网络模块、递归神经网络模块以及分类模块。处理器经配置以获得多个视频、多个训练图像以及对应每一视频与对应每一训练图像的分类。卷积神经网络模块，具有多个第一参数，递归神经网络模块，具有多个第二参数，分类模块，具有多个第三参数。其中，该处理器经配置以执行下列步骤：从所述多个视频与所述多个训练图像中获得多个第一取样图像。从所述多个第一取样图像中选取未被选取的一个图像作为当前图像。对当前图像进行像素尺寸调整，以获取对应的第一图像，其中，第一图像的第一像素尺寸小于当前图像的像素尺寸。对当前图像进行图像裁剪，以获得对应的至少一个第一部分图像，并基于前述至少一个第一部分图像，获得对应的第二图像，其中第二图像的像素尺寸为第一像素尺寸。设定第一图像、第二图像与当前图像所对应的分类为对应当前图像的第一训练样本。重复前述步骤直到所述多个第一取样图像皆被选取为止。使用所有对应每一第一取样图像的第一训练样本，训练卷积神经网络模块与分类模块所合成的第一合成网络，以获得对应所述多个第一参数的多个第一参数数值。基于所述多个第一参数数值以及所有从每一视频中获得的多个第二取样图像，训练递归神经网络模块，以获得对应所述多个第二参数的多个第二参数数值。

5、本公开的一实施例提供一种神经网络训练方法，由一处理器执行。神经网络训练方法包括以下步骤：从多个视频、多个训练图像中获得多个第一取样图像。从所述多个第一取样图像中选取未被选取的一个图像作为当前图像。对当前图像进行像素尺寸调整，以获取对应的第一图像，其中，第一图像的第一像素尺寸小于当前图像的像素尺寸。对当前图像进行图像裁剪，以获得对应的至少一个第一部分图像，并基于前述至少一个第一部分图像，获得对应的第二图像，其中第二图像的像素尺寸为第一像素尺寸。设定第一图像、第二图像与当前图像所对应的分类为对应当前图像的第一训练样本。重复前述步骤直到所述多个第一取样图像皆被选取为止。使用所有对应每一第一取样图像的第一训练样本，训练卷积神经网络模块与分类模块所合成的第一合成网络，以获得对应所述多个第一参数的多个第一参数数值。基于所述多个第一参数数值以及所有从每一视频中获得的多个第二取样图像，训练递归神经网络模块，以获得对应所述多个第二参数的多个第二参数数值。

6、基于上述，本公开的一些实施例提供一种视频分类系统、视频分类方法、神经网络训练系统以及神经网络训练方法，通过预先以视频采集图像中包括两种不同信息的图像训练的卷积神经网络模块与递归神经网络模块，对即时视频的多个取样画面进行视频分类，可快速得到视频的分类结果。

技术特征：

1.一种视频分类系统，其特征在于，包括：

2.根据权利要求1所述的视频分类系统，其特征在于，该处理器在该取样图像的对应位置，进行图像裁剪，以获得像素尺寸为该第一像素尺寸的裁剪图像，并将该裁剪图像作为该至少一个部分图像与该第二图像。

3.根据权利要求1所述的视频分类系统，其特征在于，该处理器在该取样图像的多个对应位置，进行图像裁剪，以获得像素尺寸为该第一像素尺寸的多个裁剪图像，并将所述多个裁剪图像作为该至少一个部分图像，该处理器再对所述多个裁剪图像进行平均，以作为该第二图像。

4.根据权利要求1所述的视频分类系统，其特征在于，该处理器使用该卷积神经网络模块将该取样图像的该第一图像编码成第一部分特征向量，该处理器使用该卷积神经网络模块将该取样图像的该第二图像编码成第二部分特征向量，该处理器再结合该第一部分特征向量与第二部分特征向量以得到对应该现在时间点的该特征向量。

5.一种视频分类方法，适用于视频分类系统，由处理器执行，该视频分类系统包括：

6.一种神经网络训练系统，其特征在于，包括：

7.根据权利要求6所述的神经网络训练系统，其特征在于，该处理器经配置所执行的步骤(h)更包括：

8.根据权利要求7所述的神经网络训练系统，其特征在于，该处理器在每一第一取样图像的一第一对应位置，进行图像裁剪，以获得像素尺寸为该第一像素尺寸的第一裁剪图像，并将该第一裁剪图像作为该至少一个第一部分图像与该第二图像；以及，该处理器在每一样本图像的第二对应位置，进行图像裁剪，以获得像素尺寸为该第一像素尺寸的第二裁剪图像，并将该第二裁剪图像作为该至少一个第二部分图像与该第四图像，其中该第二对应位置与该第一对应位置的位置相同。

9.根据权利要求7所述的神经网络训练系统，其特征在于，该处理器在每一第一取样图像的多个第一对应位置，进行图像裁剪，以获得像素尺寸为该第一像素尺寸的多个第一裁剪图像，并将所述多个第一裁剪图像作为该至少一个第一部分图像，该处理器再对所述多个第一裁剪图像进行平均，以作为该第二图像；以及，该处理器在每一样本图像的多个第二对应位置，进行图像裁剪，以获得像素尺寸为该第一像素尺寸的多个第二裁剪图像，并将所述多个第二裁剪图像作为该至少一个第二部分图像，该处理器再对所述多个第二裁剪图像进行平均，以作为该第四图像，其中所述多个第二对应位置与所述多个第一对应位置的位置相同。

10.一种神经网络训练方法，适用于神经网络训练系统，由处理器执行，该神经网络训练系统包括：

技术总结
本公开提供一种视频分类系统与方法以及神经网络训练系统与方法。视频分类系统采集多个取样图像，使用卷积神经网络模块将所有取样图像的第一图像与第二图像，编码成取样图像的特征矩阵，并基于递归神经网络模块及特征矩阵获得视频的分类。神经网络训练系统采集多个第一取样图像，并使用所有第一取样图像的第一训练样本，训练卷积神经网络模块与分类模块，以获得卷积神经网络模块的多个参数数值。神经网络训练系统基于这些参数数值以及多个第二取样图像，训练递归神经网络模块。

技术研发人员：孙岭,朱彦勋
受保护的技术使用者：瑞昱半导体股份有限公司
技术研发日：
技术公布日：2024/1/12