图像处理方法及装置、图像分类方法及装置与流程

文档序号:25876809发布日期:2021-07-16 17:55阅读:99来源:国知局
图像处理方法及装置、图像分类方法及装置与流程

1.本说明书实施例涉及图像分类技术领域,特别涉及一种图像处理方法、一种图像分类方法。本说明书一个或者多个实施例同时涉及一种图像处理装置、一种图像分类装置,一种视频搜索方法,一种视频搜索装置,三种计算设备,以及两种计算机可读存储介质。


背景技术:

2.在视频审核场景,用户为了对抗审核系统,会针对当前审核系统进行黑样本变异,以此来逃避监管;只基于模型的图像分类系统在察觉到变异样本之后,需要重新训练模型,重新部署,周期比较长,模型更新速度慢;因此急需提供一种可以提高视频审核精度和速度的分类方法。


技术实现要素:

3.有鉴于此,本说明书施例提供了一种图像分类方法。本说明书一个或者多个实施例同时涉及一种图像处理装置、一种图像分类装置,一种视频搜索方法,一种视频搜索装置,三种计算设备,以及两种计算机可读存储介质,以解决现有技术中存在的技术缺陷。
4.根据本说明书实施例的第一方面,提供了一种图像处理方法,包括:
5.获取待处理图像;
6.通过第一机器学习模型,计算得到所述待处理图像的第一分类结果,其中,所述第一机器学习模型适于为图像打标,并输出所述图像的标签以及标签的概率;
7.通过第二机器学习模型,计算得到所述待处理图像的第二分类结果,其中,所述第二机器学习模型适于基于图像的向量检索结果为所述图像打标,并输出所述图像的标签以及标签的概率;
8.至少基于所述第一分类结果和第二分类结果,确定所述待分类图像的目标分类结果;
9.基于所述目标分类结果实现对所述待处理图像的审核。
10.根据本说明书实施例的第二方面,提供了一种图像分类方法,包括:
11.接收待分类图像,并基于分类模型获得所述待分类图像的第一分类结果;
12.基于预设方法对所述待分类图像进行处理,且将处理结果输入至重排序模型中获得所述待分类图像的第二分类结果;
13.根据所述第一分类结果和所述第二分类结果确定所述待分类图像的目标分类结果。
14.根据本说明书实施例的第三方面,提供了一种图像处理装置,包括:
15.图像获取模块,被配置为获取待处理图像;
16.第一机器学习模型处理模块,被配置为通过第一机器学习模型,计算得到所述待处理图像的第一分类结果,其中,所述第一机器学习模型适于为图像打标,并输出所述图像的标签以及标签的概率;
17.第二机器学习模型处理模块,被配置为通过第二机器学习模型,计算得到所述待处理图像的第二分类结果,其中,所述第二机器学习模型适于基于图像的向量检索结果为所述图像打标,并输出所述图像的标签以及标签的概率;
18.分类结果获取模块,被配置为至少基于所述第一分类结果和第二分类结果,确定所述待分类图像的目标分类结果;
19.审核模块,被配置为基于所述目标分类结果实现对所述待处理图像的审核。
20.根据本说明书实施例的第四方面,提供了一种图像分类装置,包括:
21.第一分类结果获得模块,被配置为接收待分类图像,并基于分类模型获得所述待分类图像的第一分类结果;
22.第二分类结果获得模块,被配置为基于预设方法对所述待分类图像进行处理,且将处理结果输入至重排序模型中获得所述待分类图像的第二分类结果;
23.目标分类结果确定模块,被配置为根据所述第一分类结果和所述第二分类结果确定所述待分类图像的目标分类结果。
24.根据本说明书实施例的第五方面,提供了一种计算设备,包括:
25.存储器和处理器;
26.所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:
27.获取待处理图像;
28.通过第一机器学习模型,计算得到所述待处理图像的第一分类结果,其中,所述第一机器学习模型适于为图像打标,并输出所述图像的标签以及标签的概率;
29.通过第二机器学习模型,计算得到所述待处理图像的第二分类结果,其中,所述第二机器学习模型适于基于图像的向量检索结果为所述图像打标,并输出所述图像的标签以及标签的概率;
30.至少基于所述第一分类结果和第二分类结果,确定所述待分类图像的目标分类结果;
31.基于所述目标分类结果实现对所述待处理图像的审核。
32.根据本说明书实施例的第六方面,提供了一种计算设备,包括:
33.存储器和处理器;
34.所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:
35.接收待分类图像,并基于分类模型获得所述待分类图像的第一分类结果;
36.基于预设方法对所述待分类图像进行处理,且将处理结果输入至重排序模型中获得所述待分类图像的第二分类结果;
37.根据所述第一分类结果和所述第二分类结果确定所述待分类图像的目标分类结果。
38.根据本说明书实施例的第七方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现所述图像处理方法及所述图像分类方法的步骤。
39.根据本说明书实施例的第八方面,提供了一种视频搜索方法,包括:
40.获取多个待处理视频;
41.通过第一机器学习模型,计算得到所有待处理视频的第一分类结果,其中,所述第一机器学习模型适于为视频打标,并输出所述视频的标签以及标签的概率;
42.通过第二机器学习模型,计算得到所有待处理视频的第二分类结果,其中,所述第二机器学习模型适于基于视频的向量检索结果为所述视频打标,并输出所述视频的标签以及标签的概率;
43.至少基于所述第一分类结果和第二分类结果,确定所有待处理视频的目标分类结果;
44.获取用户搜索数据,并基于所述搜索数据与所述目标分类结果的关联关系确定目标视频。
45.根据本说明书实施例的第九方面,提供了一种视频搜索装置,包括:
46.视频获取装置,被配置为获取多个待处理视频;
47.第一视频分类结果确定模块,被配置为通过第一机器学习模型,计算得到所有待处理视频的第一分类结果,其中,所述第一机器学习模型适于为视频打标,并输出所述视频的标签以及标签的概率;
48.第二视频分类结果确定模块,被配置为通过第二机器学习模型,计算得到所有待处理视频的第二分类结果,其中,所述第二机器学习模型适于基于视频的向量检索结果为所述视频打标,并输出所述视频的标签以及标签的概率;
49.视频目标分类结果确定模块,被配置为至少基于所述第一分类结果和第二分类结果,确定所有待处理视频的目标分类结果;
50.目标视频搜索模块,被配置为获取用户搜索数据,并基于所述搜索数据与所述目标分类结果的关联关系确定目标视频。
51.根据本说明书实施例的第十方面,提供了一种计算设备,包括:
52.存储器和处理器;
53.所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:
54.接收待分类图像,并基于分类模型获得所述待分类图像的第一分类结果;
55.基于预设方法对所述待分类图像进行处理,且将处理结果输入至重排序模型中获得所述待分类图像的第二分类结果;
56.根据所述第一分类结果和所述第二分类结果确定所述待分类图像的目标分类结果。
57.根据本说明书实施例的第十一方面,提供了一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现所述视频搜索方法的步骤。
58.本说明书一个或多个实施例提供了一种图像处理方法及装置、一种图像分类方法及装置,其中,所述图像分类方法包括接收待分类图像,并基于分类模型获得所述待分类图像的第一分类结果;基于预设方法对所述待分类图像进行处理,且将处理结果输入至重排序模型中获得所述待分类图像的第二分类结果;根据所述第一分类结果和所述第二分类结果确定所述待分类图像的目标分类结果;根据不同模型输出的两种不同的结果的融合,实现对待分类图像的分类,以此提升采用所述图像分类方法获取待分类图像的精确度。
附图说明
59.图1是本说明书一个实施例提供的一种图像处理方法的应用场景的示例图;
60.图2是本说明书一个实施例提供的一种图像处理方法的流程图;
61.图3是本说明书一个实施例提供的一种图像分类方法的流程图;
62.图4是本说明书一个实施例提供的另一种图像分类方法的处理过程示意图;
63.图5是本说明书一个实施例提供的一种图像分类方法的处理过程流程图;
64.图6是本说明书一个实施例提供的一种图像处理装置的结构示意图;
65.图7是本说明书一个实施例提供的一种图像分类装置的结构示意图;
66.图8是本说明书一个实施例提供的第一种计算设备的结构框图;
67.图9是本说明书一个实施例提供的第二种计算设备的结构框图;
68.图10是本说明书一个实施例提供的一种视频搜索方法的流程图;
69.图11是本说明书一个实施例提供的一种视频搜索装置的结构示意图;
70.图12是本说明书一个实施例提供的第三种计算设备的结构框图。
具体实施方式
71.在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
72.在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
73.应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
74.在本说明书中,提供了一种图像处理方法、一种图像分类方法。本说明书一个或者多个实施例同时涉及一种图像处理装置、一种图像分类装置,一种视频搜索方法,一种视频搜索装置,三种计算设备,以及两种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
75.参见图1和图2,图1示出了根据本说明书一个实施例提供的一种图像处理方法的应用场景的示例图,图2示出了根据本说明书一个实施例提供的一种图像处理方法的流程图。
76.参见图1,应用场景中包括终端和服务器,具体的,用户通过终端向服务器发送待处理图像,服务器在接收到待处理图像后,通过第一机器学习模型计算得到待处理图像的第一分类结果,通过第二机器学习模型计算得到所述待处理图像的第二分类结果,然后基于所述第一分类结果和第二分类结果,确定所述待分类图像的目标分类结果,最后将目标
分类结果与业务系统的业务策略进行匹配,确定待处理图像是否符合业务系统的业务需求,具体处理过程可参见图2,图2包括步骤202至步骤210。
77.步骤202:获取待处理图像。
78.待分类图像可以为实际获取的需要进行分类的任意一种类型的图片,例如黑白图片、彩色图片、人物类图片、物品类图片等;具体实施时,待分类图像也可以是由视频分割为视频帧后获得的视频帧图像。
79.步骤204:通过第一机器学习模型,计算得到所述待处理图像的第一分类结果,其中,所述第一机器学习模型适于为图像打标,并输出所述图像的标签以及标签的概率。
80.具体的,第一机器学习模型可以是分类模型,输入待处理图像后,第一机器学习模型可以输出该待处理图像对应的标签以及该标签的概率。
81.步骤206:通过第二机器学习模型,计算得到所述待处理图像的第二分类结果,其中,所述第二机器学习模型适于基于图像的向量检索结果为所述图像打标,并输出所述图像的标签以及标签的概率。
82.具体的,第二机器学习模型可以是与第一机器学习模型不同的其他分类模型,实际应用中,第二机器学习模型的输入为通过向量索引检索得到的所述图像的向量检索结果,基于所述向量检索结果第二机器学习模型也可以输出该待处理图像对应的标签以及该标签的概率。
83.具体实施时,所述第一机器学习模型的训练方法包括如下步骤:
84.获取训练样本数据集,其中,所述样本数据集中包括样本数据以及每个所述样本数据对应的样本标签;
85.基于预设维度对所述训练样本数据集进行分类,以获得每种组合维度对应的训练样本数据,
86.其中,每种组合维度对应的训练样本数据对应一种初始第一机器学习模型;
87.通过每种组合维度对应的训练样本数据分别对对应的初始第一机器学习模型进行训练,得到所述第一机器学习模型,所述第一机器学习模型输出所述样本数据的样本标签以及所述样本标签针对所述样本数据的概率。
88.而所述第二机器学习模型的训练方法包括如下步骤:
89.获取训练样本数据集,其中,所述样本数据集中包括样本检索结果以及每个样本检索结果的样本标签;
90.通过所述训练样本数据集对初始第二机器学习模型进行训练,得到所述第二机器学习模型,所述第二机器学习模型输出所述样本数据的样本标签以及所述样本标签针对所述样本检索结果的概率。
91.其中,第一机器学习模型与第二机器学习模型的训练样本均为图像样本。
92.步骤208:至少基于所述第一分类结果和第二分类结果,确定所述待分类图像的目标分类结果。
93.具体的,将第一分类结果和第二分类结果融合后,可以得到待分类图像的目标分类结果。
94.步骤210:基于所述目标分类结果实现对所述待处理图像的审核。
95.具体实施时,所述基于所述目标分类结果实现对所述待处理图像的审核之前,还
包括:
96.获取业务系统的业务规则策略;
97.相应地,所述基于所述目标分类结果实现对所述待处理图像的审核包括:
98.判断所述待分类图像的目标分类结果与所述业务规则策略是否匹配,
99.若否,则所述待分类图像审核通过。
100.实际应用中,每个业务均有其对应的一套业务规则策略,同一待处理图像应用于不同的业务中审核结果会不相同。例如业务系统1的业务规则策略规定图像中不可以出现枪支,那么在待分类图像中包含枪支的情况下,则不符合业务系统1的业务需求,即待处理图像在业务系统1中不能通过审核;而在业务系统2中,业务规则策略中没有对枪支的限定,则待分类图像包含枪支的情况下,也是符合业务系统2的业务需求,即待处理图像在业务系统2中可以通过审核。
101.本说明书实施例提供的图像处理方法,在接收到待处理图像后基于第一机器学习模型获得所述待处理图像的第一分类结果;基于第二机器学习模型获得所述待处理图像的第二分类结果;然后根据所述第一分类结果和所述第二分类结果确定所述待处理图像的目标分类结果;最后根据目标分类结果与业务规则策略的匹配确定待处理图像的审核结果的准确度。
102.而在具体实施时为了提高图像处理效率,可以将第一机器学习模型与第二机器学习模型串行工作,具体的,若通过第一机器学习模型获得所述待处理图像的第一分类结果可以满足业务系统的审核需求,则可以不用再基于第二机器学习模型获得所述待处理图像的第二分类结果,以此节省处理时间,提高工作效率;若通过第一机器学习模型获得所述待处理图像的第一分类结果不可以满足业务系统的审核需求,则再基于第二机器学习模型获得所述待处理图像的第二分类结果,以提高待处理图像的分类结果的精度,支持业务系统的业务审核。
103.参见图3,图3示出了根据本说明书一个实施例提供的一种图像分类方法的流程图,包括步骤302至步骤306。
104.步骤302:接收待分类图像,并基于分类模型获得所述待分类图像的第一分类结果。
105.其中,待分类图像可以为实际获取的需要进行分类的任意一种类型的图片,例如黑白图片、彩色图片、人物类图片、物品类图片等;具体实施时,待分类图像也可以是由视频分割为视频帧后获得的视频帧图像,具体如下:
106.所述接收待分类图像包括:
107.接收待审核视频,且将所述待审核视频进行分割得到视频帧序列,其中,所述视频帧序列中的视频帧表征所述待分类图像。
108.由此可知,待分类图像还可以为将待审核视频分割之后,得到的视频帧序列中的每一个视频帧,其中,每一个视频帧为一个视频帧图像。
109.可选地,基于分类模型获得所述待分类图像的第一分类结果之前,会收集样本数据,实现对分类模型的训练,而所述分类模型的训练方法包括如下步骤:
110.获取训练样本数据集,其中,所述样本数据集中包括样本数据以及每个所述样本数据对应的样本标签;
111.基于预设维度对所述训练样本数据集进行分类,以获得每种组合维度对应的训练样本数据,
112.其中,每种组合维度对应的训练样本数据对应一种初始分类模型;
113.通过每种组合维度对应的训练样本数据分别对对应的初始分类模型进行训练,得到所述分类模型,所述分类模型输出所述样本数据的样本标签以及所述样本标签针对所述样本数据的概率。
114.具体的,训练样本数据集中的样本数据包括图像样本数据,而每个样本数据对应的样本标签则可以理解为:每个图像样本数据对应的图像样本标签,例如图像样本数据的内容为主角a手持枪支,则该图像样本标签为主角a+枪支。
115.具体对分类模型训练时,首先基于预设维度对收集的训练样本数据集进行分类,将训练样本数据集按照预设维度分为多种维度的训练样本数据集,例如预设维度为游行、枪支、恐怖、游戏维度,此次则基于训练样本数据的特征将其划分为游行、枪支类训练样本数据、以及恐怖、游戏类训练样本数据,其中,每种组合维度至少由两种或两种以上维度的组合形成,具体的维度组合方式可以根据实际需求进行设定,在此不做任何限定,并且每种组合维度对应的训练样本数据对应一种初始分类模型,仍以此为例,则有两种初始分类模型;
116.然后通过每种组合维度对应的训练样本数据分别对对应的初始分类模型进行训练,得到所述分类模型,仍以上述为例,即通过游行、枪支类训练样本数据对其对应的初始分类模型进行训练,通过恐怖、游戏类训练样本数据对其对应的初始分类模型进行训练,得到两个分类模型;
117.最后,每个分类模型输出样本数据的样本标签以及所述样本标签针对所述样本数据的概率;仍以上述为例,两个分类模型分别输出其对应的样本数据的样本标签以及样本标签针对样本数据的概率,其中,样本标签针对样本数据的概率,样本标签可以表示样本数据的概率。
118.实际应用中,若每个维度的训练数据分别训练对应的分类模型,会有多个分类模型,训练成本会很高,但是所有维度的训练数据训练一个分类模型,后续使用该分类模型进行图像分类的效果会很差,因此本说明书实施例中,可以根据实际应用采用组合维度的训练数据训练多个分类模型,使得每种分类模型具备多个图片维度的识别分类,可以在节省成本的基础上,提高图像分类结果的准确度。
119.本说明书另一实施例中,为了提升获得待分类图像的目标分类结果的效率,可以预先构建一个样本数据库,在样本数据库中存储收集到样本图像以及样本图像对应的标签,具体如下所述:
120.所述接收待分类图像之后,还包括:
121.将所述待分类图像与样本数据库中的样本图像进行匹配,且判断所述样本数据库中是否存在与所述待分类图像匹配的样本图像,
122.若否,则基于所述分类模型获得所述待分类图像的第一分类结果,
123.其中,所述样本数据库中存储样本图像以及每个样本图像对应的样本标签。
124.此外,所述判断所述样本数据库中是否存在与所述待分类图像匹配的样本图像之后,还包括:
125.若是,则将与所述待分类图像匹配的样本图像对应的样本标签作为所述待分类图像的目标分类结果。
126.具体的,在接收到待分类图像之后先将待分类图像与样本数据库中的样本图像进行匹配,若该待分类图像与样本数据库中的样本图像匹配上,则将直接将样本图像对应的样本标签作为待分类图像的目标分类结果;
127.若该待分类图像与样本数据库中的样本图像没有匹配上,此时则需要将待分类图像输入到上述训练好的分类模型中获得待分类图像的第一分类结果。
128.而具体实施时,由于正常图像的存储空间很大,例如一个大的图像中会包含好几张小的图像,因此实际样本数据库中存储的为每个样本图像的md5值,此处的md5值可以理解为每个图像的“指纹”,而基于每个图像的md5值进行匹配也可以极大的提高匹配效率;具体处理过程如下:
129.所述样本数据库中的每个样本图像均携带有md5值;
130.所述将所述待分类图像与样本数据库中的样本图像进行匹配包括:
131.提取所述待分类图像的md5值,并将所述待分类图像的md5值与样本数据库中的样本图像的md5值进行匹配。
132.本说明书实施例中,在接收待分类图像之后,可以先基于预先构建的样本数据库中存在与待分类图像匹配的样本图像之后,快速准确的获得待分类图像的目标分类结果,节省时间,提高工作效率;而在样本数据库中不存在与待分类图像匹配的样本图像之后,再基于分类模型实现对待分类图像的分类结果的获取。
133.步骤304:基于预设方法对所述待分类图像进行处理,且将处理结果输入至重排序模型中获得所述待分类图像的第二分类结果。
134.具体的,为了提高对待分类图像的分类结果的精确度,还会基于重排序模型中获得所述待分类图像的第二分类结果;而采用重排序模型中获得所述待分类图像的第二分类结果的具体处理过程如下所述:
135.所述基于预设方法对所述待分类图像进行处理,且将处理结果输入至重排序模型中获得所述待分类图像的第二分类结果包括:
136.基于特征提取模型提取所述待分类图像的图像特征;
137.将所述图像特征输入至向量索引,得到所述待分类图像的检索结果;
138.将所述检索结果输入至重排序模型中,获得所述待分类图像的第二分类结果。
139.可选地,所述特征提取模型的训练方法包括如下步骤:
140.获取训练样本数据集,其中,所述样本数据集中包括样本数据以及每个样本数据对应的样本特征;
141.通过所述样本数据集对初始特征提取模型进行训练,得到所述特征提取模型,所述特征提取模型输出每个样本数据对应的样本特征。
142.其中,特征提取模型的训练样本数据集与分类模型的训练样本数据集可以相同也可以不同,而特征提取模型的训练样本数据集中包括图像样本数据以及每个图像样本数据的样本特征。
143.实际应用中,首先基于特征提取模型提取待分类图像的图像特征,将所述图像特征输入至向量索引,基于向量索引得到待分类图像的topn个检索结果,例如,将所述图像特
征输入至向量索引,基于向量索引得到与待分类图像相似排序后的topn个检索结果,然后将topn个检索结果输入至重排序模型中,获得所述待分类图像的第二分类结果。
144.具体实施时,在基于重排序模型中,获得所述待分类图像的第二分类结果之前,还需要基于待分类图像的检索结果训练得到重排序模型。
145.具体的,所述重排序模型的训练方法包括如下步骤:
146.获取训练样本数据集,其中,所述样本数据集中包括样本检索结果以及每个样本检索结果的样本标签;
147.通过所述训练样本数据集对初始重排序模型进行训练,得到所述重排序模型,所述重排序模型输出所述样本数据的样本标签以及所述样本标签针对所述样本检索结果的概率。
148.具体的,训练样本数据集中包括基于向量索引得到的图像样本检索结果以及每个图像样本检索结果的样本标签;而基于训练样本数据集对初始重排序模型进行训练,得到所述重排序模型后,重排序模型可以输出每个图像样本检索结果对应的样本标签以及每个样本标签的概率,可以理解为该样本标签相对于该图像样本检索结果的置信度。
149.举例说明,重排序模型的具体处理过程,将接收到基于向量索引获取的与待分类图像相似的10张图像的标签以及每张图像与待处理图像的相似度输入至重排序模型,此时重排序模型输出这10张图像的标签以及每张图像与待处理图像的相似度融合之后的,待处理图像对应的标签以及标签的概率。
150.本说明书实施例中,在基于分类模型获得所述待分类图像的第一分类结果,再次基于重排序模型中获得所述待分类图像的第二分类结果,使得后续基于第一分类结果和第二分类结果获得的该待分类图像的目标分类结果更加准确。
151.步骤306:根据所述第一分类结果和所述第二分类结果确定所述待分类图像的目标分类结果。
152.具体实施时,第一分类结果包括第一图像标签和所述第一图像标签的概率,第二分类结果包括第二图像标签和所述第二图像标签的概率,然后再基于第一图像标签和所述第一图像标签的概率、以及第二分类结果包括第二图像标签和所述第二图像标签的概率结果确定所述待分类图像的目标分类结果。
153.具体的,所述基于分类模型获得所述待分类图像的第一分类结果包括:
154.基于所述分类模型获得所述待分类图像的第一图像标签和所述第一图像标签的概率。
155.所述将所述检索结果输入至重排序模型中,得到所述待分类图像的第二分类结果包括:
156.将所述检索结果输入至重排序模型中,得到所述待分类图像的第二图像标签和所述第二图像标签的概率。
157.由上可知,实际应用中,所述根据所述第一分类结果和所述第二分类结果确定所述待分类图像的目标分类结果包括:
158.将所述第一图像标签与所述第二图像标签进行匹配,获取匹配的第一图像标签和第二图像标签;
159.基于匹配的第一图像标签的概率和第二图像标签的概率,确定所述待分类图像的
重叠标签;
160.将不匹配的第一图像标签、第二图像标签以及重叠标签进行融合得到所述待分类图像的目标分类结果。
161.具体的,将不匹配的第一图像标签、第二图像标签以及重叠标签进行融合得到所述待分类图像的目标分类结果,即将不匹配的第一图像标签、第二图像标签以及重叠标签通过融合模型进行融合得到所述待分类图像的目标分类结果。
162.举例说明,例如重叠的第一图像标签中游戏的概率为0.1,第二图像标签中游戏的概率为0.99,融合模型则可以认为待分类图像中包含游戏标签。
163.而在实际应用中将第一图像标签与第二图像标签融合后获得待分类图像的目标分类结果可能会更复杂,例如第一图像标签中有枪支的概率是0.9,有爆炸的概率是0.95,有血腥的概率是0.2,有色情的概率是0.8;将第一图像标签的结果输入到融合模型之后,融合模型会判断:既然图像中出现了枪支和爆炸,大概率也会出现血腥,此时融合模型则会基于实际情况将血腥的概率修改为0.5;同时融合模型也会判断色情一般不会和枪支、爆炸等出现在一张图像中,因此色情虽然有0.8的概率,融合模型会基于认为色情的概率判断有误,因此会将色情的概率修改为0.2,具体的将不匹配的第一图像标签、第二图像标签以及重叠标签,通过融合模型进行融合得到所述待分类图像的目标分类结果的具体处理过程,可以基于实际应用通过融合模型具体处理,在此不做任何限定。
164.最后将去重后的第一图像标签、第二图像标签以及确认的重叠标签进行融合得到所述待分类图像的目标分类结果。
165.举例说明,第一图像标签包括枪支、游戏,第二图像标签包括游行、条幅,重叠标签包括暴露,则所述待分类图像的目标分类结果则为枪支、游戏、游行、条幅以及暴露。
166.参见图4,本说明书另一实施例中,图4示出了本说明书一个实施例提供了另一种图像分类方法的处理过程示意图。
167.具体的,基于分类模型获得待分类图像的第一分类结果(模型结果),基于向量索引获得待分类图像的检索结果,将检索结果输入重排序模型中得到待分类图像的第二分类结果,通过注意力机制将第一分类结果与第二分类结果进行融合后,得到最终的待分类图像的最终结果(目标分类结果)。
168.本说明书实施例提供的图像分类方法基于分类模型获得的第一分类结果以及重排序模型获得的第二分类结果的融合确定待分类图像的最终目标分类结果,通过融合了模型、检索等不同的分类结果,使得待分类图像的分类结果的精确度可以达到99%,加大的提升了待分类图像的目标分类结果的精度,并且还可以预先基于样本数据库进行待分类图像的目标分类结果的获取,极大的提升了待分类图像的目标分类结果的获取速度,并且可以基于图像的md5值进行匹配,减少计算量,提升了系统处理性能。
169.而在具体应用中,所述根据所述第一分类结果和所述第二分类结果确定所述待分类图像的目标分类结果之后,还包括:
170.获取业务系统的业务规则策略,并判断所述待分类图像的目标分类结果与所述业务规则策略是否匹配;
171.若是,则针对所述待分类图像发出警告提示,并将所述待分类图像以及所述待分类图像对应的目标分类结果添加至所述样本数据库。
172.其中,业务规则策略根据实际需求进行设定,在此不做任何限定,例如业务系统的业务规则策略为:包含游行、枪支以及暴露的图像均不得通过审核,那么在待分类图像的目标分类结果中只要包含游行、枪支以及暴露任意一个标签,则该待分类图像就不能通过审核。
173.而实际应用中,丰富样本数据库中的样本图像,在待分类图像不能通过审核的情况下,可以将待分类图像以及其对应的目标分类结果即标签添加至所述样本数据库中,实现对样本数据库的丰富和更新。
174.具体实施时,若审核内容为视频,待分类图像为多个视频帧,若其中一个待分类图像审核不通过,则该视频也无法通过审核;只有在所有视频帧图像均通过审核的情况下,该视频可以通过审核,具体如下所示:
175.所述获取业务系统的业务规则策略,并判断所述待分类图像的目标分类结果与所述业务规则策略是否匹配之后,还包括:
176.在所有待分类图像的目标分类结果与所述业务规则策略均不匹配的情况下,确定所述待审核视频通过审核。
177.本说明书实施例提供的图像分类方法,在获取待分类图像的目标分类结果后,可以基于该目标分类结果与实际应用中业务系统的匹配关系,确定是否可以应用于该业务系统中,而不同的业务系统仅需更改其业务规则策略就可以实现对其有影响的待分类图像的屏蔽,并且还可以基于该图像分类方法实现业务系统对视频的审核,精度较高,极大的提升了用户体验。
178.本说明书另一实施例中,所述图像分类方法也可以获取用户的审核条件,通过审核条件与每个图像设置目标分类结果的匹配关系,获得该审核条件对应的图像。例如用户的审核条件为获取包含有游戏标签的图像,则在为每个图像设置目标分类结果之后,可以将用户的审核条件与每个图像的目标分类结果进行匹配,以此获取每个目标分类结果中包含有游戏的图像,然后输出展示给用户。
179.参见图5,图5示出了本说明书一个实施例提供的一种图像分类方法的处理过程流程图,具体步骤包括步骤503至步骤528。
180.步骤503:输入query。
181.具体的,输入query即为输入待分类图像或者是将视频分割后的视频帧图像。
182.步骤504:提取md5。
183.具体的,提取待分类图像的md5。
184.步骤506:判断md5是否在底库,若是,则执行步骤508,若否,则执行步骤510。
185.其中,底库为包含有多个携带有md5样本图像的样本数据库。
186.具体的,判断待分类图像的md5是否与样本数据库中的样本图像的md5匹配,若是,则直接将样本图像对应的样本标签作为待分类图像的目标分类结果输出;若否,则将待分类图像输入分类模型中。
187.步骤508:返回结果。
188.具体的,返回结果,即是将样本图像对应的样本标签作为待分类图像的目标分类结果输出。
189.步骤510:将待分类图像输入分类模型。
190.步骤512:输出分类结果。
191.具体的,将待分类图像输入分类模型1...分类模型n,分别得到分类结果1...分类结果n,即第一分类结果。
192.步骤514:提取图像特征。
193.具体的,特征提取模型提取所述待分类图像的图像特征。
194.步骤516:相似图检索。
195.具体的,将所述图像特征输入至向量索引后,得到所述待分类图像的检索结果,即与所述待分类图像相似的topn个图像。
196.步骤518:将检索结果输入至rerank模型。
197.其中,rerank模型为重排序模型。
198.具体的,将所述检索结果输入至重排序模型中,获得所述待分类图像的第二分类结果。
199.具体实施时,步骤510和步骤514的执行并无先后顺序之分,具体根据实际情况执行即可。
200.步骤520:计算各个模块结果权重,对结果进行merge。
201.具体的,基于第一分类结果中第一图像标签的概率和第二分类结果中第二图像标签的概率对第一分类结果和第二分类结果进行融合,具体处理过程可参见上述实施例,在此不再赘述。
202.步骤522:返回merge后的算法sublabel分类结果。
203.具体的,在对第一分类结果和第二分类结果进行融合后,将得到的融合结果作为待分类图像的目标分类结果。
204.步骤524:业务系统的业务规则策略。
205.具体的,获取每个业务的业务规则策略,例如获取业务1的业务策略组合1,业务2的业务策略组合2、业务3的业务策略组合3,然后判断待分类图像的目标分类结果与业务规则策略(业务策略组合1、业务策略组合2以及业务策略组合3)是否匹配。
206.步骤526:业务的最终结果。
207.仍以上述为例,判断待分类图像的目标分类结果与业务规则策略1是否匹配,若匹配,则说明该待分类图像针对业务1为黑样本图像,可以针对待分类图像发出警告提示,并将待分类图像以及待分类图像对应的目标分类结果添加至样本数据库。
208.若不匹配,则说明该待分类图像为白样本图像,可以通过业务1系统的审核,进行正常使用。
209.然后判断待分类图像的目标分类结果与业务规则策略2是否匹配,若匹配,则说明该待分类图像针对业务2为黑样本图像,可以针对待分类图像发出警告提示,并将待分类图像以及待分类图像对应的目标分类结果添加至样本数据库。
210.若不匹配,则说明该待分类图像为白样本图像,可以通过业务2系统的审核,进行正常使用。
211.最后判断待分类图像的目标分类结果与业务规则策略3是否匹配,若匹配,则说明该待分类图像针对业务3为黑样本图像,可以针对待分类图像发出警告提示,并将待分类图像以及待分类图像对应的目标分类结果添加至样本数据库。
212.若不匹配,则说明该待分类图像为白样本图像,可以通过业务3系统的审核,进行正常使用。
213.步骤528:badcase反馈。
214.具体的,在待分类图像的目标分类结果与所述业务规则策略匹配的情况下,将待分类图像以及待分类图像对应的目标分类结果添加至样本数据库,以更新样本数据库。
215.本说明书实施例中,所述图像分类方法通过融合了模型、检索等不同的分类结果,使得待分类图像的分类结果的精确度可以达到99%,加大的提升了待分类图像的目标分类结果的精度,并且通过将badcase回流到检索样本数据库可以快速得到待分类图像的分类结果是否为badcase,提高图像分类速度,提升用户体验。
216.与上述方法实施例相对应,本说明书还提供了图像处理装置实施例,图6示出了本说明书一个实施例提供的一种图像处理装置的结构示意图。如图6所示,该装置包括:
217.图像获取模块602,被配置为获取待处理图像;
218.第一机器学习模型处理模块604,被配置为通过第一机器学习模型,计算得到所述待处理图像的第一分类结果,其中,所述第一机器学习模型适于为图像打标,并输出所述图像的标签以及标签的概率;
219.第二机器学习模型处理模块606,被配置为通过第二机器学习模型,计算得到所述待处理图像的第二分类结果,其中,所述第二机器学习模型适于基于图像的向量检索结果为所述图像打标,并输出所述图像的标签以及标签的概率;
220.分类结果获取模块608,被配置为至少基于所述第一分类结果和第二分类结果,确定所述待分类图像的目标分类结果;
221.审核模块610,被配置为基于所述目标分类结果实现对所述待处理图像的审核。
222.可选的,所述装置,还包括:
223.策略获取模块,被配置为获取业务系统的业务规则策略;
224.相应地,所述审核模块610,进一步被配置为:
225.判断所述待分类图像的目标分类结果与所述业务规则策略是否匹配,
226.若否,则所述待分类图像审核通过。
227.上述为本实施例的一种图像处理装置的示意性方案。需要说明的是,该图像处理装置的技术方案与上述的图像处理方法的技术方案属于同一构思,图像处理装置的技术方案未详细描述的细节内容,均可以参见上述图像处理方法的技术方案的描述。
228.与上述方法实施例相对应,本说明书还提供了图像分类装置实施例,图7示出了本说明书一个实施例提供的一种图像分类装置的结构示意图。如图7所示,该装置包括:
229.第一分类结果获得模块702,被配置为接收待分类图像,并基于分类模型获得所述待分类图像的第一分类结果;
230.第二分类结果获得模块704,被配置为基于预设方法对所述待分类图像进行处理,且将处理结果输入至重排序模型中获得所述待分类图像的第二分类结果;
231.目标分类结果确定模块706,被配置为根据所述第一分类结果和所述第二分类结果确定所述待分类图像的目标分类结果。
232.可选的,所述第二分类结果获得模块704,进一步被配置为:
233.基于特征提取模型提取所述待分类图像的图像特征;
234.将所述图像特征输入至向量索引,得到所述待分类图像的检索结果;
235.将所述检索结果输入至重排序模型中,获得所述待分类图像的第二分类结果。
236.可选的,所述装置,还包括:
237.匹配模块,被配置为将所述待分类图像与样本数据库中的样本图像进行匹配,且判断所述样本数据库中是否存在与所述待分类图像匹配的样本图像,
238.若否,则基于所述分类模型获得所述待分类图像的第一分类结果,
239.其中,所述样本数据库中存储样本图像以及每个样本图像对应的样本标签。
240.可选的,所述样本数据库中的每个样本图像均携带有md5值;
241.所述第一匹配模块,进一步被配置为:
242.提取所述待分类图像的md5值,并将所述待分类图像的md5值与样本数据库中的样本图像的md5值进行匹配。
243.可选的,所述分类模型的训练方法包括如下步骤:
244.获取训练样本数据集,其中,所述样本数据集中包括样本数据以及每个所述样本数据对应的样本标签;
245.基于预设维度对所述训练样本数据集进行分类,以获得每种组合维度对应的训练样本数据,
246.其中,每种组合维度对应的训练样本数据对应一种初始分类模型;
247.通过每种组合维度对应的训练样本数据分别对对应的初始分类模型进行训练,得到所述分类模型,所述分类模型输出所述样本数据的样本标签以及所述样本标签针对所述样本数据的概率。
248.可选的,所述特征提取模型的训练方法包括如下步骤:
249.获取训练样本数据集,其中,所述样本数据集中包括样本数据以及每个样本数据对应的样本特征;
250.通过所述样本数据集对初始特征提取模型进行训练,得到所述特征提取模型,所述特征提取模型输出每个样本数据对应的样本特征。
251.可选的,所述重排序模型的训练方法包括如下步骤:
252.获取训练样本数据集,其中,所述样本数据集中包括样本检索结果以及每个样本检索结果的样本标签;
253.通过所述训练样本数据集对初始重排序模型进行训练,得到所述重排序模型,所述重排序模型输出所述样本数据的样本标签以及所述样本标签针对所述样本检索结果的概率。
254.可选的,所述第一分类结果获得模块702,进一步被配置为:
255.基于所述分类模型获得所述待分类图像的第一图像标签和所述第一图像标签的概率。
256.可选的,所述第二分类结果获得模块704,进一步被配置为:
257.将所述检索结果输入至重排序模型中,得到所述待分类图像的第二图像标签和所述第二图像标签的概率。
258.可选的,所述目标分类结果确定模块706,进一步被配置为:
259.将所述第一图像标签与所述第二图像标签进行匹配,获取匹配的第一图像标签和
第二图像标签;
260.基于匹配的第一图像标签的概率和第二图像标签的概率,确定所述待分类图像的重叠标签;
261.将不匹配的第一图像标签、第二图像标签以及重叠标签进行融合得到所述待分类图像的目标分类结果。
262.可选的,所述装置,还包括:
263.目标分类结果获取模块,被配置为若所述样本数据库中存在与所述待分类图像匹配的样本图像,则将与所述待分类图像匹配的样本图像对应的样本标签作为所述待分类图像的目标分类结果。
264.可选的,所述装置,还包括:
265.图像审核模块,被配置为获取业务系统的业务规则策略,并判断所述待分类图像的目标分类结果与所述业务规则策略是否匹配;
266.存储模块,被配置为若所述待分类图像的目标分类结果与所述业务规则策略匹配的情况下,则针对所述待分类图像发出警告提示,并将所述待分类图像以及所述待分类图像对应的目标分类结果添加至所述样本数据库。
267.可选的,所述第一分类结果获得模块702,进一步被配置为:
268.接收待审核视频,且将所述待审核视频进行分割得到视频帧序列,其中,所述视频帧序列中的视频帧表征所述待分类图像。
269.可选的,所述装置,还包括:
270.视频审核模块,被配置为在所有待分类图像的目标分类结果与所述业务规则策略均不匹配的情况下,确定所述待审核视频通过审核。
271.本说明书实施例提供的所述图像分类装置包括接收待分类图像,并基于分类模型获得所述待分类图像的第一分类结果;基于预设方法对所述待分类图像进行处理,且将处理结果输入至重排序模型中获得所述待分类图像的第二分类结果;根据所述第一分类结果和所述第二分类结果确定所述待分类图像的目标分类结果;根据不同模型输出的两种不同的结果的融合,实现对待分类图像的分类,以此提升采用所述图像分类方法获取待分类图像的精确度。
272.上述为本实施例的一种图像分类装置的示意性方案。需要说明的是,该图像分类装置的技术方案与上述的图像分类方法的技术方案属于同一构思,图像分类装置的技术方案未详细描述的细节内容,均可以参见上述图像分类方法的技术方案的描述。
273.图8示出了根据本说明书一个实施例提供的第一种计算设备800的结构框图。该计算设备800的部件包括但不限于存储器810和处理器820。处理器820与存储器810通过总线830相连接,数据库850用于保存数据。
274.计算设备800还包括接入设备840,接入设备840使得计算设备800能够经由一个或多个网络860通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备840可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(nic))中的一个或多个,诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口,等等。
275.在本说明书的一个实施例中,计算设备800的上述部件以及图8中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图8所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
276.计算设备800可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或pc的静止计算设备。计算设备800还可以是移动式或静止式的服务器。
277.其中,处理器820用于执行如下计算机可执行指令:
278.获取待处理图像;
279.通过第一机器学习模型,计算得到所述待处理图像的第一分类结果,其中,所述第一机器学习模型适于为图像打标,并输出所述图像的标签以及标签的概率;
280.通过第二机器学习模型,计算得到所述待处理图像的第二分类结果,其中,所述第二机器学习模型适于基于图像的向量检索结果为所述图像打标,并输出所述图像的标签以及标签的概率;
281.至少基于所述第一分类结果和第二分类结果,确定所述待分类图像的目标分类结果;
282.基于所述目标分类结果实现对所述待处理图像的审核。
283.上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的图像处理方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述图像处理方法的技术方案的描述。
284.图9示出了根据本说明书一个实施例提供的第二种计算设备900的结构框图。该计算设备900的部件包括但不限于存储器910和处理器920。处理器920与存储器910通过总线930相连接,数据库950用于保存数据。
285.计算设备900还包括接入设备940,接入设备940使得计算设备900能够经由一个或多个网络960通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备940可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(nic))中的一个或多个,诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口,等等。
286.在本说明书的一个实施例中,计算设备900的上述部件以及图9中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图9所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
287.计算设备900可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或pc的静止计算设备。计算设备900还可以是移动式或静止式
的服务器。
288.其中,处理器920用于执行如下计算机可执行指令:
289.接收待分类图像,并基于分类模型获得所述待分类图像的第一分类结果;
290.基于预设方法对所述待分类图像进行处理,且将处理结果输入至重排序模型中获得所述待分类图像的第二分类结果;
291.根据所述第一分类结果和所述第二分类结果确定所述待分类图像的目标分类结果。
292.上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的图像分类方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述图像分类方法的技术方案的描述。
293.本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现所述图像处理方法或所述图像分类方法的步骤。
294.上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的图像处理方法或图像分类方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述图像处理方法或图像分类方法的技术方案的描述。
295.参见图10,图10示出了根据本说明书一个实施例提供的一种视频搜索方法的流程图,包括步骤1002至步骤1010。
296.步骤1002:获取多个待处理视频。
297.步骤1004:通过第一机器学习模型,计算得到所有待处理视频的第一分类结果,其中,所述第一机器学习模型适于为视频打标,并输出所述视频的标签以及标签的概率。
298.其中,获取多个待处理视频之后,需要将每个待处理视频分割为视频帧序列,然后通过第一机器学习模型,计算得到每个视频帧序列中视频帧的第一分类结果,实际应用中,每个待处理视频的第一分类结果即可以理解为该待处理视频的视频帧序列中每个视频帧的第一分类结果的总和。
299.具体的,第一机器学习模型可以是分类模型,输入视频帧序列后,第一机器学习模型可以输出视频帧序列对应的标签以及该标签的概率。
300.具体实施时,通过第一机器学习模型,计算得到所有待处理视频的第一分类结果,可以参见上述实施例中通过第一机器学习模型,计算得到待处理图像的第一分类结果的处理过程。
301.步骤1006:通过第二机器学习模型,计算得到所有待处理视频的第二分类结果,其中,所述第二机器学习模型适于基于视频的向量检索结果为所述视频打标,并输出所述视频的标签以及标签的概率。
302.具体的,第二机器学习模型可以是与第一机器学习模型不同的其他分类模型,实际应用中,第二机器学习模型的输入为通过向量索引检索得到的每个视频帧的向量检索结果,基于所述向量检索结果第二机器学习模型也可以输出该视频对应的标签以及该标签的概率。
303.其中,获取多个待处理视频之后,需要将每个待处理视频分割为视频帧序列,然后通过第二机器学习模型,计算得到每个视频帧序列中视频帧的第二分类结果,实际应用中,
每个待处理视频的第二分类结果即可以理解为该待处理视频的视频帧序列中每个视频帧的第二分类结果的总和。
304.具体实施时,通过第二机器学习模型,计算得到所有待处理视频的第二分类结果可以参见上述实施例中通过第二机器学习模型,计算得到待处理图像的第二分类结果,在此不再赘述。
305.步骤1008:至少基于所述第一分类结果和第二分类结果,确定所有待处理视频的目标分类结果。
306.具体的,基于所述第一分类结果和第二分类结果,确定所有待处理视频的目标分类结果的具体处理方式可以参见上述实施例,在此不再赘述。
307.步骤1010:获取用户搜索数据,并基于所述搜索数据与所述目标分类结果的关联关系确定目标视频。
308.其中,用户搜索数据包括但不限于用户设置的各种标签,而目标分类结果则为每个待处理视频的标签。
309.实际应用中,获取用户搜索数据之后,将用户搜索数据与每个待处理视频的目标分类结果进行匹配,以此获取与目标分类结果相匹配的待处理视频,即目标视频。
310.例如用户搜索数据包括枪支、车辆,那么所有目标分类结果中存在枪支、车辆的待处理视频均为用户搜索数据对应的目标视频。
311.具体实施时,所述视频搜索方法可以应用于视频购物中,输入用户搜索数据之后,则可以基于用户搜索数据(例如需求物品的型号、颜色等)为用户推荐多个与需求物品相关联的目标视频供用户选择。
312.本说明书实施例中,所述视频搜索方法在获得待处理视频后,为每个待处理视频设置目标分类结果,在实际应用中接收到用户的搜索数据中,可以基于用户的需求搜索出用户感兴趣的目标视频,提升用户体验。
313.参见图11,图11示出了根据本说明书一个实施例提供的一种视频搜索装置,包括:
314.视频获取装置1102,被配置为获取多个待处理视频;
315.第一视频分类结果确定模块1104,被配置为通过第一机器学习模型,计算得到所有待处理视频的第一分类结果,其中,所述第一机器学习模型适于为视频打标,并输出所述视频的标签以及标签的概率;
316.第二视频分类结果确定模块1106,被配置为通过第二机器学习模型,计算得到所有待处理视频的第二分类结果,其中,所述第二机器学习模型适于基于视频的向量检索结果为所述视频打标,并输出所述视频的标签以及标签的概率;
317.视频目标分类结果确定模块1108,被配置为至少基于所述第一分类结果和第二分类结果,确定所有待处理视频的目标分类结果;
318.目标视频搜索模块1110,被配置为获取用户搜索数据,并基于所述搜索数据与所述目标分类结果的关联关系确定目标视频。
319.上述为本实施例的一种视频搜索装置的示意性方案。需要说明的是,该视频搜索装置的技术方案与上述的视频搜索方法的技术方案属于同一构思,视频搜索装置的技术方案未详细描述的细节内容,均可以参见上述视频搜索方法的技术方案的描述。
320.图12示出了根据本说明书一个实施例提供的第三种计算设备1200的结构框图。该
计算设备1200的部件包括但不限于存储器1210和处理器1220。处理器1220与存储器1210通过总线1230相连接,数据库1250用于保存数据。
321.计算设备1200还包括接入设备1240,接入设备1240使得计算设备1200能够经由一个或多个网络1260通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备1240可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(nic))中的一个或多个,诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口,等等。
322.在本说明书的一个实施例中,计算设备1200的上述部件以及图12中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图12所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
323.计算设备1200可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或pc的静止计算设备。计算设备1200还可以是移动式或静止式的服务器。
324.其中,处理器1220用于执行如下计算机可执行指令:
325.接收待分类图像,并基于分类模型获得所述待分类图像的第一分类结果;
326.基于预设方法对所述待分类图像进行处理,且将处理结果输入至重排序模型中获得所述待分类图像的第二分类结果;
327.根据所述第一分类结果和所述第二分类结果确定所述待分类图像的目标分类结果。
328.上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的视频搜索方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述视频搜索方法的技术方案的描述。
329.本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现所述视频搜索方法的步骤。
330.上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的视频搜索方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述视频搜索方法的技术方案的描述。
331.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
332.所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储
器、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
333.需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
334.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
335.以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1