视频分类方法、装置、存储介质及电子设备与流程

文档序号:14555558阅读:150来源:国知局
视频分类方法、装置、存储介质及电子设备与流程

本申请属于通信技术领域,尤其涉及一种视频分类方法、装置、存储介质及电子设备。



背景技术:

随着视频文件的大量增加,人们需要观看视频文件前都会按照视频文件的类别进行初步筛选,然后从对应类别的视频文件中去选择感兴趣的视频文件观看。这样就需要对视频文件进行有效的分类,以使视频文件在合适的类别中呈现。

现有的视频文件分类时,主要是先设置视频文件的类别标签,然后根据类别标签将其分到对应的视频类别中去。但是类别标签设置可能不准确或不全面,导致视频分类不准确。



技术实现要素:

本申请提供一种视频分类方法、装置、存储介质及电子设备,对视频文件进行自动合理分类,提高视频分类的准确度。

第一方面,本申请实施例提供一种视频分类方法,应用于电子设备,所述方法包括:

获取视频文件的多帧图像;

提取所述多帧图像中每一帧图像的特征点,得到特征点集合;

从所述特征点集合内选取关于场景特征的特征点,得到第一特征点集合,从所述特征点集合内选取关于物体特征的特征点,得到第二特征点集合;

分类模型根据所述第一特征点集合和所述第二特征点集合对所述视频文件分类。

第二方面,本申请实施例提供一种视频分类装置,应用于电子设备,所述装置包括:

图像获取模块,用于获取视频文件的多帧图像;

特征点集合获取模块,用于提取所述多帧图像中每一帧图像的特征点,得到特征点集合;

特征点集合选取模块,用于从所述特征点集合内选取关于场景特征的特征点,得到第一特征点集合,从所述特征点集合内选取关于物体特征的特征点,得到第二特征点集合;

处理模块,用于分类模型根据所述第一特征点集合和所述第二特征点集合对所述视频文件分类。

第三方面,本申请实施例提供一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行上述的视频分类方法。

第四方面,本申请实施例提供一种电子设备,包括处理器和存储器,所述存储器有计算机程序,所述处理器通过调用所述计算机程序,用于执行上述的视频分类方法。

本申请实施例提供的视频分类方法、装置、存储介质及电子设备,通过获取视频文件的多帧图像;提取多帧图像中每一帧图像的特征点,得到特征点集合;从特征点集合内选取关于场景特征的特征点,得到第一特征点集合,从特征点集合内选取关于物体特征的特征点,得到第二特征点集合;分类模型根据第一特征点集合和第二特征点集合对视频文件分类。从视频文件中得到关于场景特征和物体特征的两个特征点集合,然后将该两个特征点集合输入算法模块进行分类,输入数据进行分类处理,分类更准确。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的视频分类装置的应用场景示意图。

图2为本申请实施例提供的视频分类方法的第一种流程示意图。

图3为本申请实施例提供的视频分类方法的第二种流程示意图。

图4为本申请实施例提供的视频分类方法的第三种流程示意图。

图5为本申请实施例提供的视频分类方法的第四种流程示意图。

图6为本申请实施例提供的视频分类方法的第五种流程示意图。

图7为本申请实施例提供的视频分类方法的第六种流程示意图。

图8为本申请实施例提供的视频分类方法的第七种流程示意图。

图9为本申请实施例提供的视频分类装置的第一种结构示意图。

图10为本申请实施例提供的视频分类装置的第二种结构示意图。

图11为本申请实施例提供的视频分类装置的第三种结构示意图。

图12为本申请实施例提供的电子设备的结构示意图。

图13为本申请实施例提供的电子设备的另一结构示意图。

具体实施方式

请参照图式,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。

在以下的说明中,本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明,除非另有述明。因此,这些步骤及操作将有数次提到由计算机执行,本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处,其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置,其具有由该数据格式所定义的特定特性。但是,本申请原理以上述文字来说明,其并不代表为一种限制,本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。

本文所使用的术语“模块”可看做为在该运算系统上执行的软件对象。本文所述的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文所述的装置及方法可以以软件的方式进行实施,当然也可在硬件上进行实施,均在本申请保护范围之内。

本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块,而是某些实施例还包括没有列出的步骤或模块,或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。

请参阅图1,图1为本申请实施例提供的视频分类装置的应用场景示意图。例如,视频分类装置获取视频文件的多帧图像;然后提取多帧图像中每一帧图像的特征点,得到特征点集合;再从特征点集合内选取关于场景特征的特征点,得到第一特征点集合,从特征点集合内选取关于物体特征的特征点,得到第二特征点集合;将第一特征点集合第二特征点集合输入分类模型,分类模型根据第一特征点集合和第二特征点集合对视频文件分类。例如可以将视频文件分到主演演员的类别,或者分到体育视频的类别等。

本申请实施例提供一种视频分类方法,该视频分类方法的执行主体可以是本申请实施例提供的视频分类装置,或者集成了该视频分类装置的电子设备,其中该视频分类装置可以采用硬件或者软件的方式实现。可以理解的是,本申请实施例的执行主体可以是诸如智能手机或平板电脑等的终端设备。

本申请实施例将从视频分类装置的角度进行描述,该视频分类装置具体可以集成在电子设备中。该视频分类方法包括:获取视频文件的多帧图像;提取多帧图像中每一帧图像的特征点,得到特征点集合;从特征点集合内选取关于场景特征的特征点,得到第一特征点集合,从特征点集合内选取关于物体特征的特征点,得到第二特征点集合;分类模型根据第一特征点集合和第二特征点集合对视频文件分类。

请参阅图2,图2为本申请实施例提供的视频分类方法的第一种流程示意图。本申请实施例提供的视频分类方法应用于电子设备,具体流程可以如下:

步骤101,获取视频文件的多帧图像。

视频文件是包含了实时的音频、视频信息的多媒体文件。视频文件是互联网多媒体重要内容之一。包括多种格式,如avi、mpeg等格式。

可以获取视频文件连续的多帧图像,也可以根据预设获取频率获取多帧图像,例如以每隔1秒获取一帧图像的频率获取多帧图像,当然也可以根据其他频率,如每隔2秒、每隔1分钟或每隔5分钟获取一帧图像得到多帧图像,也可以每隔1分钟、每隔5分钟或每隔10分钟获取连续的多帧图像,将获取的几次多帧图像合并形成最终的多帧图像。连续的多帧图像,具有时间维度上的关联性,因此连续的多帧图像作为视频分类的参考数据更准确。

请参阅图3,图3为本申请实施例提供的视频分类方法的第二种流程示意图。本申请实施例提供的获取视频文件的多帧图像的步骤,具体流程可以如下:

步骤1011,将视频文件分成多个播放时长相等的子视频文件。

先获取视频文件的播放总时长,然后获取需要划分子视频文件的数量,然后总时长除以划分的数量,得到每个子视频文件的子播放时长,进而得到每个子视频文件的起始时刻和终止时刻,然后在对应的起始时刻和终止时刻将子视频文件取出,实现将视频文件分成多个播放时长相等的子视频文件。

步骤1012,获取每个子视频文件的起始时间段的多帧图像。

每个子视频文件都只获取起始时间段的多帧图像。当然可以获取每个子视频文件的其他时间段的多帧图像,起始时间段的多帧图像易于获取,不会产生帧数不够的问题。

步骤102,提取多帧图像中每一帧图像的特征点,得到特征点集合。

从视频文件中获取的多帧图像中,每一帧图像都通过特征点提取算法提取对应的一个或多个特征点,从而得到对应多帧图像的特征点集合。

特征点提取算法可以为尺度不变特征变换算法或加速稳健特征算法等。

步骤103,从特征点集合内选取关于场景特征的特征点,得到第一特征点集合,从特征点集合内选取关于物体特征的特征点,得到第二特征点集合。

得到对应多帧图像的特征点集合后,从该特征点集合中选出关于场景特征的特征点,并将所有的关于场景特征的特征点形成第一特征点集合。从该特征点集合中选出关于物体特征的特征点,并将所有的关于物体特征的特征点形成第二特征点集合。

步骤104,分类模型根据第一特征点集合和第二特征点集合对视频文件分类。

将多帧图像对应的特征点集合输入分类模块,分类模型根据特征点集合对视频文件分类。还可以将多帧图像对应的第一特征点集合和第二特征点集合输入分类模型,分类模型根据第一特征点集合和第二特征点集合对视频分类。因为视频文件为动态的,相邻帧的图像彼此关联,通过获取相邻帧的图像可以提高视频分类的准确度。而且通过相邻帧图像可以得到特征点的变化趋势,进一步提高视频分类的准确度。如体育视频文件对应的运动特征点变化。

请参阅图4,图4为本申请实施例提供的视频分类方法的第三种流程示意图。本申请实施例提供的分类模型根据第一特征点集合和第二特征点集合对视频文件分类的步骤,具体流程可以如下:

步骤1041,获取分类模型的多个分类标签,分类标签分别对应一种视频类别。

先获取分类模型的多个分类标签,即分类模型最后将视频文件分成的类别,如分类标签可以包括电影视频、体育视频、教育视频、搞笑视频等,分类标签还可以包括篮球视频、足球视频、短跑视频等。分类标签可以包括多级分类标签,如范围更大的第一级分类标签,在第一级分类标签下再包括多个第二级分类标签。如第一级分类标签为体育视频,第二级分类标签为篮球视频。当然还可以包括三级、四级等更多级的分类标签。

步骤1042,将第一特征点集合和第二特征点集合输入分类模型,得到视频文件与各个分类标签匹配的概率值。

将第一特征点集合和第二特征点集合输入分类模型,分类模型根据输入的信息进行预测,得到视频文件与各个分类标签匹配的概率值。

步骤1043,获取概率值大于预设概率值的分类标签作为目标分类标签。

将视频文件与各个分类标签匹配的概率值依次与预设概率值比较,将大于预设概率值的分类标签选出。

步骤1044,将视频文件按照目标分类标签分类。

根据目标分类标签对视频文件分类。如目标分类标签为体育视频标签,则将该视频文件划分到体育视频。具体的,可以将该视频文件存储在体育视频划分的存储空间内。也可以对应不同类别的视频文件设置一个集合,该集合内存储有各个该类别的视频文件的存储链接地址,当查看视频文件的时候,按照视频文件的类别将多个视频按照类别分类显示在不同的区域,如不同文件内,一个文件夹对应一个类别的视频文件。需要说明的是,目标分类标签可以包括多个,对应的,该视频文件可以划分到多个类别中,每个类别对应一个集合,每个集合内存储有该类别所有视频文件的存储链接地址。不需要物理存储空间设置在一起,不会浪费空间。

请参阅图5,图5为本申请实施例提供的视频分类方法的第四种流程示意图。本申请实施例提供的视频分类方法,分类模型根据第一特征点集合和第二特征点集合对视频文件分类的步骤之后,还包括:

步骤1051,识别多帧图像中每一帧图像的人脸图像,得到人脸图像集合。

通过人脸识别技术,对每一帧图像进行人脸识别,得到对应的人脸图像。然后将多帧图像对应的人脸图像合并,得到人脸图像集合,人脸图像集合包括多帧图像中出现的所有人脸图像。

步骤1052,计算人脸图像集合中各个人脸图像出现的频率,并确定出现频率最高的人脸图像为目标人脸图像。

计算人脸图像集合中各个人脸图像出现的频率,即计算各个人脸图像出现在多帧图像中出现的次数,然后确定出现概率最高的人脸图像为目标人脸图像。

步骤1053,识别目标人脸图像,得到目标人脸图像的人脸标签信息。

识别目标人脸图像,得到对应的人脸标签信息。如该目标人脸图像对应的名字等。

步骤1054,将人脸标签信息加入视频文件的文件名中。

将人脸标签信息加入该视频文件的文件名中。例如目标人脸图像为刘德华,将刘德华的人脸标签信息如名字加入该视频文件的文件名中,对应的分类为刘德华的电影,即按主演分类。

请参阅图6,图6为本申请实施例提供的视频分类方法的第五种流程示意图。本申请实施例提供的视频分类方法,分类模型根据第一特征点集合和第二特征点集合对视频文件分类的步骤之后,还包括:

步骤1055,根据第一特征点集合获取第一标签信息。

步骤1056,根据第二特征点集合获取第二标签信息。

步骤1057,将第一标签信息和第二标签信息加入视频文件的文件名中。

根据对应场景特征的第一特征点集合获取第一标签信息,如场景特征为湖人队的篮球场,则第一标签信息为湖人主场。根据对应物体的第二特征点获取第二标签信息,如物体特征点为汽车人,则第二标签信息可以为汽车人。

请参阅图7,图7为本申请实施例提供的视频分类方法的第六种流程示意图。本申请实施例提供的分类方法,具体流程可以如下:

步骤201,获取视频文件的多帧图像。

步骤202,提取多帧图像中每一帧图像的特征点,得到对应多帧图像的多个子特征点集合。

步骤203,计算多个特征点集合中各个特征点出现的次数。

步骤204,将多个子特征点集合合并形成特征点集合,同时根据各个特征点出现的次数得到对应各个特征点的权重值。

步骤205,从特征点集合内选取关于场景特征的特征点,得到第一特征点集合,从特征点集合内选取关于物体特征的特征点,得到第二特征点集合。

步骤206,将第一特征点向量和第二特征点向量与对应的权重值相乘后输入分类模型。

步骤207,分类模型根据相乘后的第一特征点集合和第二特征点集合对视频文件分类。

根据特征点出现次数的次数,设置不同的权重值,特征点出现次数越多说明该特征点越重要,特征点出现次数越少,说明该特征点重要性较低。提高出现次数多的特征点的比重,提高视频分类的准确度。

请参阅图8,图8为本申请实施例提供的视频分类方法的第七种流程示意图。本申请实施例提供的分类方法,具体流程可以如下:

步骤301,获取视频文件的多帧图像。

步骤302,获取每一帧图像的前景图像和背景图像。

步骤303,根据前景图像获取前景特征点,根据背景图像获取背景特征点。

步骤304,提取多帧图像中每一帧图像的特征点,得到特征点集合。

步骤305,从特征点集合内选取关于场景特征的特征点,得到第一特征点集合,从特征点集合内选取关于物体特征的特征点,得到第二特征点集合。

步骤306,将第一特征点集合和第二特征点集合转换成第一特征点向量和第二特征点向量。

步骤307,设置前景特征点的权重大于背景特征点的权重值。

步骤308,将第一特征点向量和第二特征点向量与对应的权重值相乘后输入分类模型。

步骤309,分类模型根据相乘后的第一特征点集合和第二特征点集合对视频文件分类。

前景图像的特征点的重要性大于背景图像的特征点的重要性。提高前景图像的特征点的比重,提高视频分类的准确度。

由上可知,本申请实施例提供的视频分类方法,通过获取视频文件的多帧图像;提取多帧图像中每一帧图像的特征点,得到特征点集合;从特征点集合内选取关于场景特征的特征点,得到第一特征点集合,从特征点集合内选取关于物体特征的特征点,得到第二特征点集合;分类模型根据第一特征点集合和第二特征点集合对视频文件分类。从视频文件中得到关于场景特征和物体特征的两个特征点集合,然后将该两个特征点集合输入算法模块进行分类,输入数据进行分类处理,分类更准确。

请参阅图9,图9为本申请实施例提供的视频分类装置的第一种结构示意图。其中该视频分类装置500应用于电子设备,该视频分类装置500包括图像获取模块501、特征点集合获取模块502、特征点集合选取模块503和处理模块504。其中:

图像获取模块501,用于获取视频文件的多帧图像。

视频文件是包含了实时的音频、视频信息的多媒体文件。视频文件是互联网多媒体重要内容之一。包括多种格式,如avi、mpeg等格式。

可以获取视频文件连续的多帧图像,也可以根据预设获取频率获取多帧图像,例如以每隔1秒获取一帧图像的频率获取多帧图像,当然也可以根据其他频率,如每隔2秒、每隔1分钟或每隔5分钟获取一帧图像得到多帧图像,也可以每隔1分钟、每隔5分钟或每隔10分钟获取连续的多帧图像,将获取的几次多帧图像合并形成最终的多帧图像。

特征点集合获取模块502,用于提取多帧图像中每一帧图像的特征点,得到特征点集合。

从视频文件中获取的多帧图像中,每一帧图像都通过特征点提取算法提取对应的一个或多个特征点,从而得到对应多帧图像的特征点集合。

特征点提取算法可以为尺度不变特征变换算法或加速稳健特征算法等。

特征点集合选取模块503,用于从特征点集合内选取关于场景特征的特征点,得到第一特征点集合,从特征点集合内选取关于物体特征的特征点,得到第二特征点集合。

得到对应多帧图像的特征点集合后,从该特征点集合中选出关于场景特征的特征点,并将所有的关于场景特征的特征点形成第一特征点集合。从该特征点集合中选出关于物体特征的特征点,并将所有的关于物体特征的特征点形成第二特征点集合。

处理模块504,用于分类模型根据第一特征点集合和第二特征点集合对视频文件分类。

将多帧图像对应的特征点集合输入分类模块,分类模型根据特征点集合对视频文件分类。还可以将多帧图像对应的第一特征点集合和第二特征点集合输入分类模型,分类模型根据第一特征点集合和第二特征点集合对视频分类。因为视频文件为动态的,相邻帧的图像彼此关联,通过获取相邻帧的图像可以提高视频分类的准确度。而且通过相邻帧图像可以得到特征点的变化趋势,进一步提高视频分类的准确度。如体育视频文件对应的运动特征点变化。

请参阅图10,图10为本申请实施例提供的视频分类装置的第二种结构示意图。本实施例中,特征点集合获取模块502包括子特征点集合子模块5021、计算子模块5022和权重值获取子模块5023。其中:

子特征点集合子模块5021,用于提取多帧图像中每一帧图像的特征点,得到对应多帧图像的多个子特征点集合;

计算子模块5022,用于计算多个特征点集合中各个特征点出现的次数;

权重值获取子模块5023,用于将多个子特征点集合合并形成特征点集合,同时根据各个特征点出现的次数得到对应各个特征点的权重值;

处理模块504,还用于将第一特征点向量和第二特征点向量与对应的权重值相乘后输入分类模型。

根据特征点出现次数的次数,设置不同的权重值,特征点出现次数越多说明该特征点越重要,特征点出现次数越少,说明该特征点重要性较低。提高出现次数多的特征点的比重,提高视频分类的准确度。

请参阅图11,图11为本申请实施例提供的视频分类装置的第三种结构示意图。本实施例中,处理模块504包括分类标签获取子模块5041、概率值获取子模块5042、分类标签选取子模块5043和分类子模块5044。其中:

分类标签获取子模块5041,用于获取分类模型的多个分类标签,分类标签分别对应一种视频类别。

先获取分类模型的多个分类标签,即分类模型最后将视频文件分成的类别,如分类标签可以包括电影视频、体育视频、教育视频、搞笑视频等,分类标签还可以包括篮球视频、足球视频、短跑视频等。分类标签可以包括多级分类标签,如范围更大的第一级分类标签,在第一级分类标签下再包括多个第二级分类标签。如第一级分类标签为体育视频,第二级分类标签为篮球视频。当然还可以包括三级、四级等更多级的分类标签。

概率值获取子模块5042,用于将第一特征点集合和第二特征点集合输入分类模型,得到视频文件与各个分类标签匹配的概率值。

将第一特征点集合和第二特征点集合输入分类模型,分类模型根据输入的信息进行预测,得到视频文件与各个分类标签匹配的概率值。

分类标签选取子模块5043,用于获取概率值大于预设概率值的分类标签作为目标分类标签。

将视频文件与各个分类标签匹配的概率值依次与预设概率值比较,将大于预设概率值的分类标签选出。

分类子模块5044,用于将视频文件按照目标分类标签分类。

根据目标分类标签对视频文件分类。如目标分类标签为体育视频标签,则将该视频文件划分到体育视频。具体的,可以将该视频文件存储在体育视频划分的存储空间内。也可以对应不同类别的视频文件设置一个集合,该集合内存储有各个该类别的视频文件的存储链接地址,当查看视频文件的时候,按照视频文件的类别将多个视频按照类别分类显示在不同的区域,如不同文件内,一个文件夹对应一个类别的视频文件。需要说明的是,目标分类标签可以包括多个,对应的,该视频文件可以划分到多个类别中,每个类别对应一个集合,每个集合内存储有该类别所有视频文件的存储链接地址。不需要物理存储空间设置在一起,不会浪费空间。

在一些实施例中,装置还包括前景背景图像获取模块和特征点提取模块。其中前景背景图像获取模块,用于获取每一帧图像的前景图像和背景图像。特征点提取模块,用于根据前景图像获取前景特征点,根据背景图像获取背景特征点。

处理模块包括转换子模块、权重值设置子模块、合并子模块和处理子模块。其中转换子模块,用于将第一特征点集合和第二特征点集合转换成第一特征点向量和第二特征点向量。权重值设置子模块,用于设置前景特征点的权重大于背景特征点的权重值。合并子模块,用于将第一特征点向量和第二特征点向量与对应的权重值相乘后输入分类模型。处理子模块,用于分类模型根据相乘后的第一特征点集合和第二特征点集合对视频文件分类。

前景图像的特征点的重要性大于背景图像的特征点的重要性。提高前景图像的特征点的比重,提高视频分类的准确度。

在一些实施例中,装置还包括人脸图像集合获取模块、目标人脸图像获取模块、人脸标签信息获取模块和文件名重命名模块。其中人脸图像集合获取模块,用于识别多帧图像中每一帧图像的人脸图像,得到人脸图像集合。目标人脸图像获取模块,用于计算人脸图像集合中各个人脸图像出现的频率,并确定出现频率最高的人脸图像为目标人脸图像。人脸标签信息获取模块,用于识别目标人脸图像,得到目标人脸图像的人脸标签信息。文件名重命名模块,用于将人脸标签信息加入视频文件的文件名中。

通过人脸识别技术,对每一帧图像进行人脸识别,得到对应的人脸图像。然后将多帧图像对应的人脸图像合并,得到人脸图像集合,人脸图像集合包括多帧图像中出现的所有人脸图像。通过人脸识别技术,对每一帧图像进行人脸识别,得到对应的人脸图像。然后将多帧图像对应的人脸图像合并,得到人脸图像集合,人脸图像集合包括多帧图像中出现的所有人脸图像。识别目标人脸图像,得到对应的人脸标签信息。如该目标人脸图像对应的名字等。将人脸标签信息加入该视频文件的文件名中。例如目标人脸图像为刘德华,将刘德华的人脸标签信息如名字加入该视频文件的文件名中,对应的分类为刘德华的电影,即按主演分类。

在一些实施例中,装置还包括第一标签信息获取模块、第二标签信息获取模块和文件名重命名模块。其中第一标签信息获取模块,用于根据第一特征点集合获取第一标签信息。第二标签信息获取模块,用于根据第二特征点集合获取第二标签信息。文件名重命名模块,用于将第一标签信息和第二标签信息加入视频文件的文件名中。

根据对应场景特征的第一特征点集合获取第一标签信息,如场景特征为湖人队的篮球场,则第一标签信息为湖人主场。根据对应物体的第二特征点获取第二标签信息,如物体特征点为汽车人,则第二标签信息可以为汽车人。

在一些实施例中,图像获取模块包括划分子模块和图像获取子模块。其中划分子模块,用于将视频文件分成多个播放时长相等的子视频文件。图像获取子模块,用于获取每个子视频文件的起始时间段的多帧图像。

先获取视频文件的播放总时长,然后获取需要划分子视频文件的数量,然后总时长除以划分的数量,得到每个子视频文件的子播放时长,进而得到每个子视频文件的起始时刻和终止时刻,然后在对应的起始时刻和终止时刻将子视频文件取出,实现将视频文件分成多个播放时长相等的子视频文件。每个子视频文件都只获取起始时间段的多帧图像。当然可以获取每个子视频文件的其他时间段的多帧图像,起始时间段的多帧图像易于获取,不会产生帧数不够的问题。

由上可知,本申请实施例提供的视频分类装置,通过获取视频文件的多帧图像;提取多帧图像中每一帧图像的特征点,得到特征点集合;从特征点集合内选取关于场景特征的特征点,得到第一特征点集合,从特征点集合内选取关于物体特征的特征点,得到第二特征点集合;分类模型根据第一特征点集合和第二特征点集合对视频文件分类。从视频文件中得到关于场景特征和物体特征的两个特征点集合,然后将该两个特征点集合输入算法模块进行分类,输入数据进行分类处理,分类更准确。

具体实施时,以上各个模块可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个模块的具体实施可参见前面的方法实施例,在此不再赘述。

本申请实施例中,视频分类装置与上文实施例中的视频分类方法属于同一构思,在视频分类装置上可以运行视频分类方法实施例中提供的任一方法,其具体实现过程详见视频分类方法的实施例,此处不再赘述。

本申请实施例还提供一种电子设备。请参阅图12,电子设备600包括处理器601以及存储器602。其中,处理器601与存储器602电性连接。

处理器600是电子设备600的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器602内的计算机程序,以及调用存储在存储器602内的数据,执行电子设备600的各种功能并处理数据,从而对电子设备600进行整体监控。

存储器602可用于存储软件程序以及单元,处理器601通过运行存储在存储器602的计算机程序以及单元,从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器602还可以包括存储器控制器,以提供处理器601对存储器602的访问。

在本申请实施例中,电子设备600中的处理器601会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器602中,并由处理器601运行存储在存储器602中的计算机程序,从而实现各种功能,如下:

获取视频文件的多帧图像;

提取多帧图像中每一帧图像的特征点,得到特征点集合;

从特征点集合内选取关于场景特征的特征点,得到第一特征点集合,从特征点集合内选取关于物体特征的特征点,得到第二特征点集合;

分类模型根据第一特征点集合和第二特征点集合对视频文件分类。

在一些实施例中,处理器601还用于执行以下步骤:

获取分类模型的多个分类标签,分类标签分别对应一种视频类别;

将第一特征点集合和第二特征点集合输入分类模型,得到视频文件与各个分类标签匹配的概率值;

获取概率值大于预设概率值的分类标签作为目标分类标签;

将视频文件按照目标分类标签分类。

在一些实施例中,处理器601还用于执行以下步骤:

提取多帧图像中每一帧图像的特征点,得到对应多帧图像的多个子特征点集合;

计算多个特征点集合中各个特征点出现的次数;

将多个子特征点集合合并形成特征点集合,同时根据各个特征点出现的次数得到对应各个特征点的权重值;

将第一特征点向量和第二特征点向量与对应的权重值相乘后输入分类模型;

分类模型根据相乘后的第一特征点集合和第二特征点集合对视频文件分类。

处理器601还用于执行以下步骤:

获取每一帧图像的前景图像和背景图像;

根据前景图像获取前景特征点,根据背景图像获取背景特征点;

将第一特征点集合和第二特征点集合转换成第一特征点向量和第二特征点向量;

设置前景特征点的权重大于背景特征点的权重值;

将第一特征点向量和第二特征点向量与对应的权重值相乘后输入分类模型;

分类模型根据相乘后的第一特征点集合和第二特征点集合对视频文件分类。

在一些实施例中,处理器601还用于执行以下步骤:

识别多帧图像中每一帧图像的人脸图像,得到人脸图像集合;

计算人脸图像集合中各个人脸图像出现的频率,并确定出现频率最高的人脸图像为目标人脸图像;

识别目标人脸图像,得到目标人脸图像的人脸标签信息;

将人脸标签信息加入视频文件的文件名中。

在一些实施例中,处理器601还用于执行以下步骤:

根据第一特征点集合获取第一标签信息;

根据第二特征点集合获取第二标签信息;

将第一标签信息和第二标签信息加入视频文件的文件名中。

在一些实施例中,处理器601还用于执行以下步骤:

将视频文件分成多个播放时长相等的子视频文件;

获取每个子视频文件的起始时间段的多帧图像。

由上述可知,本申请实施例提供的电子设备,通过获取视频文件的多帧图像;提取多帧图像中每一帧图像的特征点,得到特征点集合;从特征点集合内选取关于场景特征的特征点,得到第一特征点集合,从特征点集合内选取关于物体特征的特征点,得到第二特征点集合;分类模型根据第一特征点集合和第二特征点集合对视频文件分类。从视频文件中得到关于场景特征和物体特征的两个特征点集合,然后将该两个特征点集合输入算法模块进行分类,输入数据进行分类处理,分类更准确。

请一并参阅图13,在一些实施例中,电子设备600还可以包括:显示器603、射频电路604、音频电路605以及电源606。其中,其中,显示器603、射频电路604、音频电路605以及电源606分别与处理器601电性连接。

显示器603可以用于显示由用户输入的信息或提供给用户的信息以及各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示器603可以包括显示面板,在一些实施例中,可以采用液晶显示器(liquidcrystaldisplay,lcd)、或者有机发光二极管(organiclight-emittingdiode,oled)等形式来配置显示面板。

射频电路604可以用于收发射频信号,以通过无线通信与网络设备或其他电子设备建立无线通讯,与网络设备或其他电子设备之间收发信号。

音频电路605可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。

电源606可以用于给电子设备600的各个部件供电。在一些实施例中,电源606可以通过电源管理系统与处理器601逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管图13中未示出,电子设备600还可以包括摄像头、蓝牙单元等,在此不再赘述。

可以理解的是,本申请实施例的电子设备可以是诸如智能手机或平板电脑等的终端设备。

本申请实施例还提供一种存储介质,存储介质存储有计算机程序,当计算机程序在计算机上运行时,使得计算机执行上述任一实施例中的视频分类方法,比如:由上可知,本申请实施例提供的视频分类方法,通过获取视频文件的多帧图像;提取多帧图像中每一帧图像的特征点,得到特征点集合;从特征点集合内选取关于场景特征的特征点,得到第一特征点集合,从特征点集合内选取关于物体特征的特征点,得到第二特征点集合;分类模型根据第一特征点集合和第二特征点集合对视频文件分类。

在本申请实施例中,存储介质可以是磁碟、光盘、只读存储器(readonlymemory,rom)、或者随机存取记忆体(randomaccessmemory,ram)等。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

需要说明的是,对本申请实施例的视频分类方法而言,本领域普通测试人员可以理解实现本申请实施例视频分类方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,计算机程序可存储于一计算机可读取存储介质中,如存储在电子设备的存储器中,并被该电子设备内的至少一个处理器执行,在执行过程中可包括如视频分类方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。

对本申请实施例的视频分类装置而言,其各功能单元可以集成在一个处理芯片中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,存储介质譬如为只读存储器,磁盘或光盘等。

以上对本申请实施例所提供的一种视频分类方法、装置、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1