目标检测网络的训练方法、目标检测方法及系统与流程

文档序号:32839313发布日期:2023-01-06 20:15阅读:52来源:国知局
目标检测网络的训练方法、目标检测方法及系统与流程

1.本说明书涉及数据处理领域,尤其涉及一种目标检测网络的训练方法、目标检测方法及系统。


背景技术:

2.目标检测作为计算机视觉中重要的课题之一,具有极广泛的应用,比如人脸识别、智慧交通、工业检测等。在任何一种应用中,目标检测网络都会遇到多种表征差异迥异的场景特性,比如在人脸识别中,有室外光线特别强的人脸识别场景,也有室内光线特别暗的人脸识别场景,如何让一套目标检测网络在面对未知场景时能无差异性地适配成为了重要的研究方向。
3.现有技术在跨域适配时,不仅需要已知源域的数据训练检测网络,还需要获取未知新域的数据训练检测网络,才能使得训练好的检测网络适配到新域中,此处的“域”是指场景。然而实际中很难做到在未应用到新域时提前获取大量的未知域的数据,因此该方法的实际应用价值不高。


技术实现要素:

4.本说明书提供的目标检测网络的训练方法、目标检测方法及系统,在不使用未知场景数据的情况下仍能很好地适配未知场景,将目标检测网络应用在新域上会表现出很好的跨域鲁棒性。
5.第一方面,本说明书提供一种目标检测网络的训练方法,所述目标检测网络对输入数据的域不敏感并能够冷启动处理新域数据获得与处理源域数据相近的效果,包括:获取多个所述源域训练数据中每个所述训练数据的混合特征,所述混合特征包括多个相互耦合的特征,所述多个源域训练数据中不包括所述新域中的数据,所述新域为未使用所述目标检测网络进行目标检测的域;以及通过所述目标检测网络的判别器以对抗的方式迭代训练所述目标检测网络的解耦器,使所述解耦器通过从所述混合特征中迭代生成类无关特征和域特定特征而解耦出域不变特征,直到所述解耦器通过所述判别器的判别为止,其中,所述类无关特征包括与所述训练数据的类别无关的特征,所述域特定特征包括每个域的所述训练数据所特有的特征,所述域不变特征包括不同域的所述训练数据之间的共有特征。
6.在一些实施例中,所述数据包括图像数据;以及所述目标检测网络还包括生成器,所述获取多个训练数据中每个所述训练数据的混合特征包括:将每个所述训练数据输入所述生成器进行特征提取;以及获取所述生成器输出的所述训练数据的所述混合特征。
7.在一些实施例中,其中所述判别器包括类判别器和域判别器,所述类判别器被配置为输出类别,所述域判别器被配置为输出域,所述通过所述判别器以对抗的方式迭代训练所述解耦器包括:固定所述类判别器以对抗的方式迭代训练所述解耦器,使所述解耦器迭代地从所述混合特征中生成所述类无关特征,以及固定所述域判别器以对抗的方式迭代训练所述解耦器,使所述解耦器迭代地从所述混合特征中生成所述域特定特征,直到所述
类无关特征通过所述类判别器的判别以及所述域特定特征通过所述域判别器的判别为止,其中,所述域不变特征包括所述混合特征中除了所述类无关特征和所述域特定特征之外的特征。
8.在一些实施例中,其中所述类无关特征通过所述类判别器的判别包括:所述类判别器无法判别出所述类无关特征所属的类别,以及所述域特定特征通过所述域判别器的判别包括:所述域判别器无法判别出所述域特定特征所属的域。
9.在一些实施例中,其中所述类判别器在首次训练所述解耦器之前已经基于所述多个训练数据完成训练,所述域判别器在首次训练所述解耦器之前已经基于所述多个训练数据完成训练。
10.在一些实施例中,其中所述目标检测网络还包括第一重建器,所述方法还包括:将所述类无关特征和所述域不变特征输入所述第一重建器进行特征重建,输出第一重建特征;以所述第一重建特征与所述混合特征的差异在第一预设范围内为优化目标优化所述目标检测网络,使所述类无关特征和所述域不变特征在迭代训练所述解耦器的过程中始终服从正态分布。
11.在一些实施例中,其中所述重建器还包括第二重建器,所述方法还包括:将所述域特定特征和所述域不变特征输入所述第二重建器进行特征重建,输出第二重建特征;以所述第二重建特征与所述混合特征的差异在第二预设范围内为优化目标优化所述目标检测网络,使所述域特定特征和所述域不变特征在迭代训练所述解耦器的过程中始终服从正态分布。
12.在一些实施例中,其中所述方法还包括:计算所述类无关特征和所述域不变特征之间的第一互信息,以及所述域特定特征和所述域不变特征之间的第二互信息;以所述第一互信息最小为第一约束条件和所述第二互信息最小为第二约束条件迭代训练所述解耦器。
13.第二方面,本说明书还提供一种目标检测方法,包括:获取新域中待检测的目标数据;将所述目标数据输入目标检测网络进行特征解耦,得到所述目标数据的目标域不变特征;以及基于所述目标域不变特征对所述目标数据进行目标检测,输出检测结果,其中,所述目标检测网络根据如第一方面所述的目标检测网络的训练方法训练得到。
14.在一些实施例中,其中所述目标检测网络包括解耦器和类检测器,所述类检测器是基于完成训练的类判别器得来,所述将所述目标数据输入目标检测网络进行特征解耦包括:通过所述解耦器对所述目标数据进行特征解耦,输出所述目标域不变特征;相应地,所述基于所述目标域不变特征对所述目标数据进行目标检测包括:将所述目标域不变特征输入所述类检测器进行目标检测,输出所述目标数据的类别。
15.在一些实施例中,其中所述目标检测网络为活体攻击检测网络,所述检测结果包括活体类别和攻击类别。
16.第三方面,本说明书还提供一种目标检测系统,包括至少一个存储介质以及至少一个处理器,所述至少一个存储介质存储有用于目标检测的目标检测网络;所述至少一个处理器同所述至少一个存储介质通信连接,其中当所述目标检测系统运行时,所述至少一个处理器读取所述至少一个指令集并实施本说明书第一方面所述的目标检测方法,其中,所述目标检测网络根据如第一方面所述的目标检测网络的训练方法训练得到。
17.由以上技术方案可知,本说明书提供的目标检测网络的训练方法、目标检测方法及系统,获取多个源域训练数据中每个训练数据的混合特征,通过目标检测网络的判别器以对抗的方式迭代训练目标检测网络的解耦器,使解耦器通过从混合特征中迭代生成类无关特征和域特定特征而解耦出域不变特征,直到解耦器通过判别器的判别为止完成对目标检测网络的训练。用来训练目标检测网络的源域训练数据中不包括新域中的数据,即面对未知的新域,本技术不需要在还未应用到新域时就提前获取新域的数据,但训练好的目标检测网络能够冷启动处理新域中的数据且能够获得与处理源域数据相近的效果,实用价值很高。而且,在完全不使用新域数据的前提下,目标检测网络能够学习到域不变特征,这些特征对域的变化不敏感,可见,目标检测网络在不使用未知场景数据的情况下仍能很好地适配未知场景,将目标检测网络应用在新域上会表现出很好的跨域鲁棒性。
18.本说明书提供的目标检测网络的训练方法、目标检测方法及系统,通过两个重建器分别重建特征的方式,使得类无关特征、域特定特征以及域不变特征在网络训练的过程中始终服从正态分布,提高了网络训练的收敛速度。
19.本说明书提供的目标检测网络的训练方法、目标检测方法及系统,在类无关特征和域不变特征之间建立最小化互信息的约束,以及在域特定特征和域不变特征之间建立最小化互信息的约束,从而最大化类无关特征和域不变特征之间的差异,以及最大化域特定特征和域不变特征之间的差异,这样,解耦器能够更好地从混合特征中解耦出类无关特征、域特定特征以及域不变特征三部分,从而得到更具跨域鲁棒性的域不变特征。
20.本说明书提供的目标检测网络的训练方法、目标检测方法及系统的其他功能将在以下说明中部分列出。根据描述,以下数字和示例介绍的内容将对那些本领域的普通技术人员显而易见。本说明书提供的目标检测网络的训练方法、目标检测方法及系统的创造性方面可以通过实践或使用下面详细示例中所述的方法、装置和组合得到充分解释。
附图说明
21.为了更清楚地说明本说明书实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
22.图1示出了根据本说明书的一些实施例提供的一种计算设备100的硬件结构图;
23.图2示出了根据本说明书的一些实施例提供的一种目标检测网络的训练方法200的流程图;
24.图3示出了根据本说明书的一些实施例提供的一种目标检测网络的结构图;以及
25.图4示出了根据本说明书的一些实施例提供的一种目标检测方法400的流程图。
具体实施方式
26.以下描述提供了本说明书的特定应用场景和要求,目的是使本领域技术人员能够制造和使用本说明书中的内容。对于本领域技术人员来说,对所公开的实施例的各种局部修改是显而易见的,并且在不脱离本说明书的精神和范围的情况下,可以将这里定义的一般原理应用于其他实施例和应用。因此,本说明书不限于所示的实施例,而是与权利要求一
致的最宽范围。
27.这里使用的术语仅用于描述特定示例实施例的目的,而不是限制性的。比如,除非上下文另有明确说明,这里所使用的,单数形式“一”,“一个”和“该”也可以包括复数形式。当在本说明书中使用时,术语“包括”、“包含”和/或“含有”意思是指所关联的整数,步骤、操作、元素和/或组件存在,但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或组的存在或在该系统/方法中可以添加其他特征、整数、步骤、操作、元素、组件和/或组。
28.考虑到以下描述,本说明书的这些特征和其他特征、以及结构的相关元件的操作和功能、以及部件的组合和制造的经济性可以得到明显提高。参考附图,所有这些形成本说明书的一部分。然而,应该清楚地理解,附图仅用于说明和描述的目的,并不旨在限制本说明书的范围。还应理解,附图未按比例绘制。
29.本说明书中使用的流程图示出了根据本说明书中的一些实施例的系统实现的操作。应该清楚地理解,流程图的操作可以不按顺序实现。相反,操作可以以反转顺序或同时实现。此外,可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。
30.在对本说明书具体实施例说明之前,先对本说明书的应用场景进行如下介绍:
31.如前所述,目标检测可以应用在人脸识别、智慧交通、工业检测等多个领域中。以人脸识别为例,“活体攻击检测”是人脸识别系统中不可缺少的一环,该环节可以有效拦截非活体类型的攻击样本。然而,随着人脸识别系统不断地应用到更多特性迥异的场景,如何能让一套活体攻击检测模型在面对未知新场景部署时无差异性地适配成为了重要的研究及应用方向。
32.针对以上需求,本说明书提出了一种目标检测网络的训练方法、目标检测方法及系统。本方案通过构建端到端的对抗损失及特征解耦的训练框架,端到端地对混合特征进行解耦,从而学习到更好的域不变特征,这些特征对域的变化不敏感,因此训练完成的目标检测网络在预测阶段能很好地适配未知场景,即新域,表现出很好的跨域鲁棒性。
33.为了方便描述,本说明书对以下描述可能会出现的术语进行解释:
34.域:指场景。域可分为很多层面,不同的光线场景(如光线(光照亮度)强的户外场景和光线暗的室内场景)可称为不同的光线域,不同光谱范围的摄像头场景(如可见光摄像头和近红外摄像头)也可成为不同的视觉域。总之,训练数据和测试数据属于不同域时,希望目标检测网络在测试数据上表现出和在训练数据上相近的效果。
35.跨域生成:不同的场景认为数据分布具有不同的域,训练数据往往仅包含有限的域,而新部署的场景则认为是新域,这就需要通过跨域生成的方式让模型可以更好的兼容新域,即提高模型的跨域鲁棒性。
36.对抗损失:在分类任务中建立子分类,构建成多级分类标签体系,在模型端到端的学习原始分类(如对数据进行活体和攻击的分类)的过程中同时对子分类(如对数据进行域的分类)进行学习,两种学习任务各自的损失函数都呈现对抗之势头,从而起到困难样本挖掘的作用。
37.特征解耦:在分类任务的网络中特征可以划分成两部分,一部分为普式特征,一部分为特有特征,特征解耦即希望分离得到普式特征,只用这部分特征进行决策,从而达到模型跨域鲁棒性。
38.活体攻击检测:指在生活识别中,判断用户刷脸过程中的真人与攻击,攻击类型主要包括如照片、手机、屏幕、面具等非真人的类型。
39.图1示出了根据本说明书的一些实施例提供的一种计算设备100的硬件结构图。计算设备100可以执行本说明书描述的目标检测网络的训练方法、目标检测方法。执行所述目标检测网络的训练方法的计算设备与执行所述目标检测方法的计算设备可以是同一个计算设备100,也可以是两个独立的计算设备100。所述目标检测网络的训练方法和所述目标检测方法在本说明书中的其他部分介绍。所述计算设备100可以是客户端,也可以是服务器,也可以是客户端和服务器的组合。
40.如图1所示,计算设备100可以包括至少一个存储介质130和至少一个处理器120。在一些实施例中,计算设备100还可以包括通信端口150和内部通信总线110。同时,计算设备100还可以包括i/o组件160。
41.内部通信总线110可以连接不同的系统组件,包括存储介质130、处理器120和通信端口150。
42.i/o组件160支持计算设备100和其他组件之间的输入/输出。
43.通信端口150可以是有线通信端口也可以是无线通信端口。通信端口150用于计算设备100同外界的数据通信,比如,通信端口150可以用于计算设备100同网络400之间的数据通信。计算设备100通过网络可以接收数据采集设备(图1中未示出)的数据。所述数据采集设备和计算设备100可以作为整体安装,也可以分别安装。数据采集设备可以采集多个源域训练数据,将采集的训练数据发送给计算设备100。数据采集设备可以为图像采集设备、音频采集设备、视频采集设备等,相应地,训练数据可以为图像数据、音频数据、视频数据等。
44.存储介质130可以包括数据存储装置。所述数据存储装置可以是非暂时性存储介质,也可以是暂时性存储介质。比如,所述数据存储装置可以包括磁盘632、只读存储介质(rom)634或随机存取存储介质(ram)636中的一种或多种。存储介质130还包括存储在所述数据存储装置中的至少一个指令集。所述指令是计算机程序代码,所述计算机程序代码可以包括执行本说明书提供的人脸识别的方法的程序、例程、对象、组件、数据结构、过程、模块等等。
45.至少一个处理器120可以同至少一个存储介质130以及通信端口150通过内部通信总线110通信连接。至少一个处理器120用以执行上述至少一个指令集。当计算设备100运行时,至少一个处理器120读取所述至少一个指令集,并且根据所述至少一个指令集的指示,执行本说明书提供的人脸识别的方法。处理器120可以执行人脸识别的方法包含的所有步骤。处理器120可以是一个或多个处理器的形式,在一些实施例中,处理器120可以包括一个或多个硬件处理器,例如微控制器,微处理器,精简指令集计算机(risc),专用集成电路(asic),特定于应用的指令集处理器(asip),中心处理单元(cpu),图形处理单元(gpu),物理处理单元(ppu),微控制器单元,数字信号处理器(dsp),现场可编程门阵列(fpga),高级risc机器(arm),可编程逻辑器件(pld),能够执行一个或多个功能的任何电路或处理器等,或其任何组合。仅仅为了说明问题,在本说明书中计算设备100中仅描述了一个处理器120。然而,应当注意,本说明书中计算设备100还可以包括多个处理器,因此,本说明书中披露的操作和/或方法步骤可以如本说明书所述的由一个处理器执行,也可以由多个处理器联合
执行。例如,如果在本说明书中计算设备100的处理器120执行步骤a和步骤b,则应该理解,步骤a和步骤b也可以由两个不同处理器120联合或分开执行(例如,第一处理器执行步骤a,第二处理器执行步骤b,或者第一和第二处理器共同执行步骤a和b)。
46.图2示出了根据本说明书的一些实施例提供的一种目标检测网络的训练方法200的流程图。如前所述,计算设备100可以用来执行本说明书所述的目标检测的训练方法200。具体地,处理器120可以读取存储在其本地存储介质中的指令集,然后根据所述指令集的规定,执行本说明书所述的目标检测的训练方法200。如图2所示,所述方法200可以包括:
47.s210:获取多个源域训练数据中每个训练数据的混合特征。
48.如前所述,数据采集设备可以采集多个源域训练数据,将采集的训练数据发送给计算设备100,相应地,计算设备100中的处理器120可以获取到多个源域训练数据。
49.需要说明的是,所述源域可以是本技术的目标检测网络训练时使用的域,即所述目标检测网络的内部参数来自于源域数据的训练。所述多个源域训练数据可以是多个不同源域的数据,所述不同源域可以是一种层面上的多个域,也可以是多种层面上的多个域。比如,在光线层面上,多个源域训练数据可以包括强光线域中的数据、暗光线域中的数据、一般光线域中的数据。比如在视觉层面上,多个源域训练数据可以包括可见光域中的数据、近红外域中的数据、紫外域中的数据。又比如,所述多个源域训练数据既包括光线层面上的多个源域的数据,又包括视觉层面上的多个源域的数据,本说明书对此不作限定。
50.在一些实施例中,所述多个源域训练数据中可以不包括所述新域中的数据,所述新域是指未使用所述目标检测网络进行目标检测的未知域,但本技术的目标检测网络能够冷启动处理新域数据并获得与处理源域数据相近的效果,具备很好的跨域鲁棒性。其中,所谓“冷启动”是指模型没有经过新域数据的适应性训练获得相应的适应性参数调整,而直接处理新域数据;“相近”可以指目标检测网络冷启动处理新域数据的准确率与处理源域数据的准确率的差值在预设范围内,所述预设范围例如为小于5%。数据采集设备可以将采集的数据进行存储,组成训练数据集,并将该训练数据集直接或间接地发送给计算设备100。所述训练数据集中的训练数据可以包括有标签的和/或无标签的,其中有标签的训练数据可以是工作人员对采集的无标签数据进行手动或自动标注得到。
51.处理器120获取到多个源域训练数据之后,可以将所述多个源域训练数据输入所述目标检测网络的生成器,所述生成器可以对每个训练数据进行特征提取并输出每个训练数据的混合特征。其中,所述生成器可以是任意用于提取数据特征的网络结构,比如卷积神经网络cnn。图3示出了根据本说明书的一些实施例提供的一种目标检测网络的结构图。如图3所示,g表示所述生成器,fg表示所述混合特征。所述混合特征可以是多个不同特征之间高度耦合的特征。在一些实施例中,混合特征是类无关特征、域特定特征和域不变特征这三种特征高度耦合而成的混合特征。比如在人脸识别的场景下,每个训练数据可以是一张有独特光线条件的带有背景和人脸的图像。则该图像中的特征数据混合了人脸本身对应的特征、光线条件所对应的特征、以及背景数据所对应的特征。这些特征数据如果不经过特别处理是耦合在一起的,无法分开。在一些实施例中,混合特征中除了耦合有类无关特征、域特定特征和域不变特征之外,还可以耦合其他的特征,比如噪音特征等,本说明书对此不作限定。
52.其中,所述类无关特征可以是指与所述训练数据的类别无关的特征,比如,训练数
据是人脸图像数据,训练数据的类别包括活体和攻击两个类别,则类无关特征可以是人脸图像数据的背景特征、光谱特征等等同所检测的类别无关的特征。所述域特定特征可以是指每个域的训练数据所特有的特征,比如,在强光线域中获得的人脸图像数据,强光线的特征则是这些训练数据的域特定特征,在近红外域中获得的人脸图像数据,近红外光谱则是这些训练数据的域特定特征。所述域不变特征可以是指不同域的训练数据之间的共有特征,所述共有特征本身不会因为域的变化而变化,比如,在强光线域获得的人脸图像数据和在弱光线域获得的人脸图像数据之间,共有特征为人脸的五官特征(如双眼、鼻子、嘴巴等),则五官特征可以是域不变特征。
53.处理器120在获取到所述混合特征后,所述方法200还可以包括:
54.s220:通过所述目标检测网络的判别器以对抗的方式迭代训练所述目标检测网络的解耦器,使所述解耦器通过从所述混合特征中迭代生成类无关特征和域特定特征而解耦出域不变特征,直到所述解耦器通过所述判别器的判别为止。
55.所述目标检测网络可以通过一个判别器对抗训练解耦器,也可以通过两个判别器对抗训练解耦器。以两个判别器为例,所述目标检测网络可以包括类判别器和域判别器,所述类判别器可以输出类别,所述域判别器可以输出域。处理器120可以同时通过类判别器和域判别器分别对抗训练所述解耦器,使解耦器从混合特征中分别生成类无关特征和域特定特征,从而得到混合特征中除类无关特征和域特定特征之外的域不变特征。
56.在通过固定类判别器对抗训练解耦器以生成类无关特征,即类解耦,的过程中,首先,处理器120可以用多个训练数据有监督地训练类判别器,所述多个训练数据可以包括多个类别的训练数据,比如包括活体类别的人脸图像数据和攻击类别的人脸图像数据,完成训练的类判别器能够准确分类并输出测试数据所属的类别。同时,解耦器可以基于混合特征生成类无关特征。然后,处理器120可以固定住完成训练的类判别器(即不再训练类判别器),通过解耦器将生成的类无关特征输入固定的类判别器进行判别,确定该类无关特征能否通过类判别器,即判断类判别器能否判别出该类无关特征所属的类别,比如能否判别出该类无关特征的类别是活体还是攻击。若此次生成的类无关特征未通过判别器,即类判别器判别出了该类无关特征所属的类别,则即处理器120可以控制所述解耦器继续学习及调整内部参数,重新生成类无关特征,将重新生成的类无关特征输入完成训练的类判别器再次进行判别。若重新生成的类无关特征还是未通过判别器,则控制解耦器继续学习及调整内部参数,如此迭代训练解耦器,使解耦器迭代生成类无关特征,直到解耦器生成的类无关特征通过了类判别器的判别,即类判别器无法判别出类无关特征所属的类别时,则完成了类解耦的过程。需要说明的是,由于解耦器的目标是希望生成的类无关特征能通过(欺骗过)类判别器,而类判别器的目标则是希望类无关特征无法通过判别,两者形成对抗之势,以此来迫使解耦器不断学习训练,所以类解耦的过程可以称为固定类判别器对抗训练(以对抗的方式迭代训练)解耦器的过程。其中,所述类判别器的损失函数可以采用最小化预测类分布的负交叉熵。如图3所示,d表示解耦器,f
ci
表示类无关特征,c1表示类判别器,通过固定c1以对抗的方式迭代训练d使其迭代生成f
ci

57.在固定域判别器对抗训练解耦器以生成域特定特征,即域解耦,的过程中,首先,处理器120可以用多个训练数据有监督地训练域判别器,所述多个训练数据可以包括多个域的训练数据,比如包括强光线域的人脸图像数据、弱光线域的人脸图像数据以及一般光
线域的人脸图像数据,完成训练的域判别器能够准确分类并输出测试数据所属的域。同时,解耦器可以基于混合特征生成域特定特征。然后,处理器120可以固定住完成训练的域判别器(即不再训练域判别器),通过解耦器将生成的域特定特征输入固定的域判别器进行判别,确定该域特定特征能否通过域判别器,即判断域判别器能否判别出域特定特征所属的域,比如能否判别出域特定特征的类别是强光线域、弱光线域还是一般光线域。若此次生成的域特定特征未通过域别器,即域判别器判别出了该域特定特征所属的域,则处理器120可以控制所述解耦器继续学习及调整内部参数,重新生成域特定特征,将重新生成的域特定特征输入完成训练的域判别器再次进行判别。若重新生成的域特定特征还是未通过判别器,则控制解耦器继续学习及调整内部参数,如此迭代训练解耦器,使解耦器迭代生成域特定特征,直到解耦器生成的域特定特征通过了域判别器的判别,即域判别器无法判别出域特定特征所属的域时,则完成了域解耦的过程。需要说明的是,由于解耦器的目标是希望生成的域特定特征能通过(欺骗过)域判别器,而域判别器的目标则是希望域特定特征无法通过判别,两者形成对抗之势,以此来迫使解耦器不断学习训练,所以域解耦的过程可以称为固定域判别器对抗训练(以对抗的方式迭代训练)解耦器的过程。其中,所述域判别器的损失函数可以与所述类判别器的损失函数相同。如图3所示,f
ds
表示域特定特征,c3表示域判别器,通过固定c3以对抗的方式迭代训练d使其迭代生成f
ds

58.处理器120可以同时执行上述类解耦和域解耦的过程,直到解耦器通过了判别器的判别为止,即直到类无关特征通过类判别器的判别以及域特定特征通过域判别器的判别为止,此时,混合特征中除了类无关特征和域特定特征之外的特征即为域不变特征,从而实现了解耦器从混合特征中解耦出域不变特征。
59.所述目标检测网络还可以包括第一重建器和第二重建器。处理器120可以将类无关特征和域不变特征输入第一重建器进行特征重建,输出第一重建特征,第一重建特征的维度与混合特征的维度相同。在一些实施例中,处理器120可以对类无关特征和域不变特征进行隐式约束,即,以第一重建特征和混合特征之间的差异设置损失函数来优化目标检测网络,优化目标是该差异处于第一预设范围内,使得类无关特征和域不变特征在迭代训练解耦器的过程中始终服从正态分布,从而提高网络收敛的速度。在一些实施例中,处理器120也可以对类无关特征和域不变特征进行显式约束,即,将第一重建特征生成原始的训练数据后再输入目标检测网络中参与训练。其中,解耦器和第一重建器可以组成一组变分自编码器,解耦器使用变分自编码器中的编码器实现,第一重建器使用变分自编码器中的解码器实现。如图3所示,r1表示第一重建器,表示第一重建特征,r1对f
ci
和f
di
进行特征重建得到
60.处理器120可以将域特定特征和域不变特征输入第二重建器进行特征重建,输出第二重建特征,第二重建特征的维度与混合特征的维度相同。在一些实施例中,处理器120可以对域特定特征和域不变特征进行隐式约束,即,以第二重建特征和混合特征之间的差异设置损失函数来优化目标检测网络,优化目标是该差异处于第二预设范围内,使得域特定特征和域不变特征在迭代训练解耦器的过程中始终服从正态分布,从而提高网络收敛的速度。在一些实施例中,处理器120也可以对域特定特征和域不变特征进行显式约束,即,将第二重建特征生成原始的训练数据后再输入目标检测网络中参与训练。其中,解耦器和第
二重建器可以组成一组变分自编码器,解耦器使用变分自编码器中的编码器实现,第二重建器使用变分自编码器中的解码器实现。如图3所示,r2表示第二重建器,表示第二重建特征,r2对f
di
和f
ds
进行特征重建得到
61.为了更好地解耦特征,处理器120可以分别在类无关特征和域不变特征之间、域特定特征和域不变特征之间分别建立互信息最小的约束条件。具体地,处理器120可以计算类无关特征和域不变特征之间的第一互信息,以及域特定特征和域不变特征之间的第二互信息,以第一互信息最小为第一约束条件和第二互信息最小为第二约束条件迭代训练解耦器。其中,互信息用于衡量两个数据分布之间的相关程度或距离,计算互信息的方式例如可以是计算kl散度、计算熵等。如图3所示,f
ci
和f
di
之间实现了解耦,f
di
和f
ds
之间也实现了解耦。
62.本说明书的目标检测网络的训练方法可以采用minibatch(批训练)的方法,即,将大量训练数据分批对目标检测网络进行训练,而不是同时用所有的训练数据进行训练。处理器120还可以在每一批数据中引入metalearning的策略,即,将每一批训练数据重新划分成训练数据和测试数据进而训练目标检测网络,有利于特征解耦和目标检测网络的泛化性,进而实现更好地跨域生成。
63.需要说明的是,本说明书提到的生成器、解耦器、判别器以及重建器是网络结构,这些网络结构组成了整体的目标检测网络的网络结构。这些网络结构可以是存储在所述存储介质130中的一个或者多个执行对应指令的指令集,并且由计算设备100中的处理器120来执行。这些网络结构也可以是计算设备100中的一部分电路、硬件设备或者模组。比如生成器可以是计算设备100中接收源域训练数据的硬件设备/模组,解耦器可以是计算设备100中进行特征解耦的硬件设备/模组,等等。
64.通过图2的目标检测网络的训练方法200完成对目标检测网络的训练之后,即可采用目标检测网络进行目标数据的检测。所述目标检测网络可以为活体攻击检测网络、车辆检测网络等。
65.图4示出了根据本说明书的一些实施例提供的一种目标检测方法400的流程图。如前所述,计算设备100也可以用来执行本说明书所述的目标检测方法400。具体地,处理器120可以读取存储在其本地存储介质中的指令集,然后根据所述指令集的规定,执行本说明书所述的目标检测方法400。如图4所示,所述方法400可以包括:
66.s410:获取新域中待检测的目标数据。
67.处理器120将目标检测网络应用在新域上时,可以获取新域中待检测的目标数据,比如待检测的人脸图像数据。
68.s420:将所述目标数据输入目标检测网络进行特征解耦,得到所述目标数据的目标域不变特征。
69.处理器120可以将目标数据输入目标检测网络中的生成器生成目标数据的混合特征,然后将该混合特征输入目标检测网络的解耦器进行特征解耦,输出目标数据的目标域不变特征。
70.s430:基于所述目标域不变特征对所述目标数据进行目标检测,输出检测结果。
71.如图2所示,处理器120完成了对类判别器的训练。在检测阶段,目标检测网络中的
类检测器可以是基于完成训练的类判别器得来。具体地,处理器120可以将完成训练的类判别器作为类检测器使用,或者,按照训练类判别器的方法再训练一个类检测器,本说明书对此不作限定。如图3所示,c2表示类检测器。之后,处理器120可以将目标域不变特征输入所述类检测器进行目标检测,并输出目标数据的类别,比如,输出人脸图像数据的活体类别或者攻击类别。
72.综上所述,本说明书提供目标检测网络的训练方法200、目标检测方法400及系统102,获取多个源域训练数据中每个训练数据的混合特征,通过目标检测网络的判别器以对抗的方式迭代训练目标检测网络的解耦器,使解耦器通过从混合特征中迭代生成类无关特征和域特定特征而解耦出域不变特征,直到解耦器通过判别器的判别为止完成对目标检测网络的训练。用来训练目标检测网络的源域训练数据中不包括新域中的数据,即面对未知的新域,本技术不需要在还未应用到新域时就提前获取新域的数据,但训练好的目标检测网络能够冷启动处理新域中的数据且能够获得与处理源域数据相近的效果,实用价值很高。而且,在完全不使用新域数据的前提下,目标检测网络能够学习到域不变特征,这些特征对域的变化不敏感,可见,目标检测网络在不使用未知场景数据的情况下仍能很好地适配未知场景,将目标检测网络应用在新域上会表现出很好的跨域鲁棒性。而且,通过两个重建器分别重建特征的方式,使得类无关特征、域特定特征以及域不变特征在网络训练的过程中始终服从正态分布,提高了网络训练的收敛速度。而且,在类无关特征和域不变特征之间建立最小化互信息的约束,以及在域特定特征和域不变特征之间建立最小化互信息的约束,从而最大化类无关特征和域不变特征之间的差异,以及最大化域特定特征和域不变特征之间的差异,这样,解耦器能够更好地从混合特征中解耦出类无关特征、域特定特征以及域不变特征三部分,从而得到更具跨域鲁棒性的域不变特征。
73.本说明书另一方面提供一种非暂时性存储介质,存储有至少一组用来进行数据处理的可执行指令。当所述可执行指令被处理器执行时,所述可执行指令指导所述处理器实施本说明书所述的目标检测网络的训练方法200、目标检测方法400的步骤。在一些可能的实施方式中,本说明书的各个方面还可以实现为一种程序产品的形式,其包括程序代码。当所述程序产品在计算设备100上运行时,所述程序代码用于使计算设备100执行本说明书描述的目标检测网络的训练方法200、目标检测方法400的步骤。用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(cd-rom)包括程序代码,并可以在计算设备100上运行。然而,本说明书的程序产品不限于此,在本说明书中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统使用或者与其结合使用。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或
者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、rf等等,或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本说明书操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在计算设备100上执行、部分地在计算设备100上执行、作为一个独立的软件包执行、部分在计算设备100上部分在远程计算设备上执行、或者完全在远程计算设备上执行。
74.上述对本说明书特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者是可能有利的。
75.综上所述,在阅读本详细公开内容之后,本领域技术人员可以明白,前述详细公开内容可以仅以示例的方式呈现,并且可以不是限制性的。尽管这里没有明确说明,本领域技术人员可以理解本说明书需求囊括对实施例的各种合理改变,改进和修改。这些改变,改进和修改旨在由本说明书提出,并且在本说明书的示例性实施例的精神和范围内。
76.此外,本说明书中的某些术语已被用于描述本说明书的实施例。例如,“一个实施例”,“实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征,结构或特性可以包括在本说明书的至少一个实施例中。因此,可以强调并且应当理解,在本说明书的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或更多个引用不一定都指代相同的实施例。此外,特定特征,结构或特性可以在本说明书的一个或多个实施例中适当地组合。
77.应当理解,在本说明书的实施例的前述描述中,为了帮助理解一个特征,出于简化本说明书的目的,本说明书将各种特征组合在单个实施例、附图或其描述中。然而,这并不是说这些特征的组合是必须的,本领域技术人员在阅读本说明书的时候完全有可能将其中一部分设备标注出来作为单独的实施例来理解。也就是说,本说明书中的实施例也可以理解为多个次级实施例的整合。而每个次级实施例的内容在于少于单个前述公开实施例的所有特征的时候也是成立的。
78.本文引用的每个专利,专利申请,专利申请的出版物和其他材料,例如文章,书籍,说明书,出版物,文件,物品等,可以通过引用结合于此。用于所有目的的全部内容,除了与其相关的任何起诉文件历史,可能与本文件不一致或相冲突的任何相同的,或者任何可能对权利要求的最宽范围具有限制性影响的任何相同的起诉文件历史。现在或以后与本文件相关联。举例来说,如果在与任何所包含的材料相关联的术语的描述、定义和/或使用与本文档相关的术语、描述、定义和/或之间存在任何不一致或冲突时,使用本文件中的术语为准。
79.最后,应理解,本文公开的申请的实施方案是对本说明书的实施方案的原理的说明。其他修改后的实施例也在本说明书的范围内。因此,本说明书披露的实施例仅仅作为示例而非限制。本领域技术人员可以根据本说明书中的实施例采取替代配置来实现本说明书中的申请。因此,本说明书的实施例不限于申请中被精确地描述过的实施例。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1