一种基于域自适应先验知识引导的图像翻译方法及系统

1.本发明属于计算机视觉技术领域，具体涉及一种基于域自适应先验知识引导的图像翻译方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.随着生成对抗网络(generative adversarial networks，gan)的提出，图像生成翻译领域迎来研究热潮，基于gan的图像翻译模型已在风格迁移，图像修复，超分辨率，图像翻译等任务领域都取得令人满意的效果。
4.一般来说，gan模型由两部分网络组成，其一是生成器子网络，用于生成图像，另一部分是判决器子网络，用于保证生成的图像与目标图像保持一致。网络的训练过程也是两个子网络相互博弈并共同优化的过程。gan网络的复杂结构使得其参数较为庞大，因此训练gan往往需要较为大量的数据。如果数据量不足，则将导致图像翻译质量不高，生成图像模式崩溃(mode collapse)等问题。然而在某些特定任务中(例如医学图像翻译)，很难收集到大量的数据，将导致模型性能下降。


技术实现要素：

5.为了解决上述问题，本发明提出了一种基于域自适应先验知识引导的图像翻译方法及系统，本发明提出的gan中，生成器包括两个分支，源域分支和目标域分支。源域分支用于学习大量与目标域相似数据的内容信息，利用bn层的仿射参数迁移和域混合技术，将源域的知识迁移到目标域中，解决了目标域数据有限的问题。为了进一步提升生成图像的质量，通过在目标域分支中引入spade模块，在目标域图像翻译过程中引入主要目标的先验知识，提升了生成图像中目标的准确性。为了提高重要目标区域在判别过程中的重要性，在判别器中引入spade模块，使其能够重点关注目标区域。
6.根据一些实施例，本发明的第一方案提供了一种基于域自适应先验知识引导的图像翻译方法，采用如下技术方案：
7.一种基于域自适应先验知识引导的图像翻译方法，包括：
8.获取待处理的图像并进行预处理；
9.利用预处理后的图像，基于预先训练好的生成对抗网络模型进行图像翻译；
10.其中，所述训练生成对抗网络模型的过程，包括：
11.获取图像样本数据，并生成目标域数据集和源域数据集；
12.对目标域数据集和源域数据集进行预处理；
13.利用预处理后的源域数据集对生成对抗网络模型进行训练，得出源域训练好的生成对抗网络模型；
14.利用预处理后的目标域数据集对源域训练生成对抗网络模型进行训练，得到最终
训练好的生成对抗网络模型。
15.进一步地，所述生成对抗网络模型包括生成器和判决器；其中，所述生成器包括卷积层、正则化层；
16.所述正则化层包括源域正则化层和目标域正则化层，所述源域正则化层使用bn正则得到两个仿射参数标量，所述目标域正则化层使用spade正则化得到两个仿射变换参数张量；
17.所述目标域正则化层利用源域正则化层的两个参数和两个仿射变换参数进行融合，得到新的目标域正则化层的两个仿射参数张量。
18.进一步地，所述目标域数据集包括待翻译图像、待翻译图像语义分割标签、翻译后图像以及翻译后图像语义分割标签；
19.所述源域数据集包括翻译后图像的相似图像。
20.进一步地，所述对目标域数据集和源域数据集进行预处理，包括：
21.切割出目标域数据集中图像主要区域和源域数据集中图像主要区域；
22.对目标域数据集中图像主要区域和源域数据集中图像主要区域分别进行尺寸变换，且目标域数据集和源域数据集的尺寸保持一致；
23.对完成尺寸变换的目标域数据集中的图像和完成尺寸变换的源域数据集中的图像进行归一化，得到预处理后的目标域数据集和预处理后的源域数据集。
24.进一步地，所述利用预处理后的源域数据集对生成对抗网络模型进行训练，得出源域训练好的生成对抗网络模型，包括：
25.生成器随机接收噪声向量经过全连接层升维；
26.将升维后的噪声向量转换成256*256维的矩阵并输入到卷积层；
27.源域正则化层使用批正则化对卷积后的噪声向量进行处理，得到假源域图像；
28.将生成的假源域图像和源域数据集中的真源域图像进行图像增强；
29.将增强后的假源域图像和真源域图像输入到判决器进行判断。
30.进一步地，所述利用预处理后的目标域数据集对源域训练生成对抗网络模型进行训练，得到最终训练好的生成对抗网络模型，包括：
31.目标域生成器接收待翻译图像和待翻译图像语义分割标签进入卷积层；
32.正则化层对卷积后的图像特征图进行处理，得到假目标域翻译后图像；
33.将生成的假目标域翻译后图像和目标域数据集中的真翻译后图像进行图像增强；
34.将增强后的假目标域翻译后图像和真翻译后图像输入到判决器进行判断。
35.进一步地，所述正则化层对卷积后的图像特征图进行处理，得到假目标域翻译后图像，具体为：
36.利用实列正则化对经过卷积后的图像特征图进行正则化；
37.利用待翻译图像语义分割标签经过一次卷积后得到输出后，再分别经过两个卷积层后得到两个张量，即两个仿射变换参数；
38.将源域正则化层得到的两个仿射参数进行广播操作使其维度变成与两个仿射变换参数一致；
39.将广播后的两个仿射参数与两个仿射变换参数进行融合得到最终的目标域正则化参数；
40.利用最终的目标域正则化参数对卷积后的图像特征图进行元素级的相乘和相加，得到假目标域翻译后图像。
41.根据一些实施例，本发明的第二方案提供了一种基于域自适应先验知识引导的图像翻译系统，采用如下技术方案：
42.一种基于域自适应先验知识引导的图像翻译系统，包括：
43.图像获取模块，被配置为获取待处理的图像并进行预处理；
44.图像翻译模块，被配置为利用预处理后的图像，基于预先训练好的生成对抗网络模型生成目标图像；
45.其中，训练生成对抗网络模型的过程，包括：
46.获取图像样本数据，并生成目标域数据集和源域数据集；
47.对目标域数据集和源域数据集进行预处理；
48.利用预处理后的源域数据集对生成对抗网络模型进行训练，得出源域训练好的生成对抗网络模型；
49.利用预处理后的目标域数据集对源域训练生成对抗网络模型进行训练，得到最终训练好的生成对抗网络模型。
50.根据一些实施例，本发明的第三方案提供了一种计算机可读存储介质。
51.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的一种基于域自适应先验知识引导的图像翻译方法中的步骤。
52.根据一些实施例，本发明的第四方案提供了一种计算机设备。
53.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的一种基于域自适应先验知识引导的图像翻译方法中的步骤。
54.与现有技术相比，本发明的有益效果为：
55.本发明基于gan搭建图像翻译模型，结合域自适应技术，帮助小样本情况下的图像翻译。模型的训练过程具有两条线路同时训练，其中源域生成分支用于源域数据生成，源域数据都相似于翻译后的图像，对于该条线路的需求是生成一张逼真的图像，这张图像类似翻译后的图像。此时该条线路中保存了大量的生成图像所需的信息。线路二用于目标域图像翻译，模型接受待翻译图像作为输入，使用spade层注入待翻译图像的语义分割标签信息。通过这些额外的信息，帮助建立与翻译后图像之间的关系。由于线路一可以生成类似翻译后的图像，其bn层仿射参数中保存了与翻译后图像分布相关的信息，因此迁移仿射参数帮助线路二贴近翻译后图像的分布。本发明将域自适应引入gan网络，帮助提升小样本数据训练网络的能力。在实验中仅用160张图像即可达到生成逼真图像的目的。
附图说明
56.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
57.图1是本发明实施例所述的一种基于域自适应先验知识引导的图像翻译方法的流程图；
58.图2是本发明实施例所述的生成对抗网络的一批数据训练模型的流程图；
59.图3是本发明实施例中所述的生成器的结构图；
60.图4是本发明实施例中所述的判决器的结构图；
61.图5是本发明实施例中所述的目标域数据集训练流程图。
具体实施方式
62.下面结合附图与实施例对本发明作进一步说明。
63.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
64.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
65.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
66.实施例一
67.如图1所示，本实施例提供了一种基于域自适应先验知识引导的图像翻译方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。本实施例中，该方法包括以下步骤：
68.步骤s1：获取待处理的图像并进行预处理；
69.步骤s2：利用预处理后的图像，基于预先训练好的生成对抗网络模型进行图像翻译；
70.其中，如图2所示，所述训练生成对抗网络模型的过程，包括：
71.步骤s2.1：获取图像样本数据，并生成目标域数据集和源域数据集；
72.步骤s2.2：对目标域数据集和源域数据集进行预处理；
73.步骤s2.3：利用预处理后的源域数据集对生成对抗网络模型进行训练，得出源域训练好的生成对抗网络模型；
74.步骤s2.4：利用预处理后的目标域数据集对源域训练生成对抗网络模型进行训练，得到最终训练好的生成对抗网络模型。
75.针对数据有限的情况，采用迁移学习是提升网络性能的一个有效思路。在迁移学习中，域自适应技术火热，该技术能够将源域训练数据和目标域数据在潜空间内的特征表示进行对齐。可以认为两个域的数据被网络提取出同样或相似的特征，因此大量的源域数据提取特征能有效帮助目标域数据的训练，从而提升在数据有限情况下训练出的模型的性能。
76.gan在一定的训练策略下虽然能生成符合训练集图像分布的数据，但生成图像的质量难以保证，常会出现内容模糊等情况。这通常由于网络中的正则化方式不恰当引起。空间自适应归一化(spatially-adaptive normalization，spade)一定程度解决了该问题，它通过对额外的语义分割标签进行卷积计算得到正则化层中的仿射参数。语义标签中具有实例的区域，会在网络提取的特征图中更加显著，从而加强了特征图的语义性，使得生成图像的结果更加逼真。
77.步骤s2.1中，针对任务需求收集成对的图像和它们对应的语义分割标签，这些数据作为训练时的目标域数据。从互联网收集大量与目标域中翻译后的图像相似或相关的图像，不需要标签，这些数据作为训练时的源域数据。
78.收集与任务相关的图像数据，分为待翻译图像images_b，待翻译图像语义分割标签labels_b，翻译后图像images_a，翻译后图像语义分割标签labels_a，对应放置于四个文件夹中，这些数据作为目标域数据。使用与images_a图像有关的公开数据集或从互联网上收集类似于images_a的图像，作为源域图像source_images，单独放置在一个文件夹中。
79.所述目标域数据集包括待翻译图像、待翻译图像语义分割标签、翻译后图像以及翻译后图像语义分割标签；
80.所述源域数据集包括翻译后图像的相似图像。
81.步骤s2.2中，所述对目标域数据集和源域数据集进行预处理，包括：
82.切割出目标域数据集中图像主要区域和源域数据集中图像主要区域；
83.对目标域数据集中图像主要区域和源域数据集中图像主要区域分别进行尺寸变换，且目标域数据集和源域数据集的尺寸保持一致，缩放到256*256大小；
84.对完成尺寸变换的目标域数据集中的图像和完成尺寸变换的源域数据集中的图像进行归一化，归一化参数都是0.5，得到预处理后的目标域数据集和预处理后的源域数据集。
85.统一两个域的所有图像数据的尺寸。目标域数据中每一组的四个数据设定好命名规则，方便成组。
86.所述生成对抗网络模型包括生成器和判决器；其中，所述生成器包括卷积层、正则化层；
87.所述正则化层包括源域正则化层和目标域正则化层，所述源域正则化层使用bn正则得到两个仿射参数标量，所述目标域正则化层使用spade正则化得到两个仿射变换参数张量；
88.所述目标域正则化层利用源域正则化层的两个参数和两个仿射变换参数进行融合，得到新的目标域正则化层的两个仿射参数张量。
89.如图2所示，训练生成对抗网络模型的过程，具体为：
90.首先使用源域数据训练源域分支，首先从高斯分布中获得100维的噪声向量，该噪声向量输入到全连接层升维到65,536，将升维后的噪声向量转换成256*256维的矩阵并输入到全卷积网络中，首先经过卷积层(conv_1)得到64通道的256*256的张量，然后输入到bn层中进行标准化和仿射变换(bn层的会自动完成)，放射变化参数是可学习的参数，在训练中学习并保存a,b两个仿射变化参数。之后，64通道256*256的张量输入到relu激活函数激活后，再输入第二个卷积层(conv_2)中得到128通道的128*128的张量，同样将该张量输入
到bn层中，进行标准化和仿射变换，学习并保存仿射变换参数向量；然后使用relu激活函数激活后输入到第三个卷积层(conv_3)中得到256通道的64*64的张量，再输入到bn层进行正则化和学习并保存仿射变换参数向量；经过relu激活后输入到第四个卷积层(conv_4)中得到512通道的32*32的张量，输入bn层中重复上述操作。上述中张量从256*256的尺寸逐渐变成32*32尺寸的过程被称为下采样阶段。
91.然后512通道的32*32的张量输入到3个由卷积层，bn层等组成的残差卷积块(resblock_1,resblock_2,resblock_3)，进行处理，但是空间尺寸不变。经过残差卷积块处理后，该张量输入到第一个转置卷积层(tansconv_1,转置卷积和卷积层类似，卷积层是缩小空间尺寸的，转置卷积是方法空间尺寸的)中，得到256通道64*64的张量，经过bn层进行处理(同上所述)；张量经过激活后输入到第二个转置卷积(tansconv_2)中，张量变成64通道128*128的张量，再经过bn层进行处理；张量经过激活后再经过第三个转置卷积层(tansconv_3)，得到64通道的256*256的张量，同样bn层；经过激活，该张量通过一个卷积层(conv_5)得到256*256的灰度图像，此图像为假源域图像。假源域图像和真源域图像输入到判决器中，经过4个“卷积(conv_6-7)-bn-激活函数”结构，得到一个16*16得分图，每个分数代表原图上一个16*16区域的真实性。通过该得分图判断输入图像的真实性。
92.此时完成一此源域分支训练。
93.然后使用目标域数据训练目标域分支，目标域数据中的翻译前图像(256*256的灰度图)输入到和源域分支网络使用的卷积层(conv_1),首先经过卷积层(conv_1)得到64通道的256*256的张量，然后输入到spade正则化层，spade还接收待翻译图像的语义mask。通过对mask进行多次卷积得到两个仿射变换参数张量γ，β，并且从对应位置bn中取的a和b,对a和b进行广播(就是复制)，使其与γ和β的空间尺寸一致后相加，而γ和β的空间尺寸与输入的特征图张量尺寸一致(第一个spade中为256*256)，因此使用γ和β对输入特征图分别相乘相加；然后该张量进行relu函数激活，后输入共享的第二个卷积层(conv_2)，得到128通道的128*128的张量，该张量继续输入spade层。后续处理都与源域相同，仅是正则化换为bn层。最终得到假的翻译后图像，然后与真的假翻译后图像输入到判决器中，判决器由4个“卷积(conv_6-7)-spade-激活函数”结构组成。判决器经过处理得到一个16*16得分图，每个分数代表原图上一个16*16区域的真实性。通过该得分图判断输入图像的真实性。
94.至此完成一个训练迭代，重复上述步骤多次得到训练好的模型。
95.步骤s2.3中，所述利用预处理后的源域数据集对生成对抗网络模型进行训练，得出源域训练好的生成对抗网络模型，包括：
96.生成器随机接收噪声向量经过全连接层升维；
97.将升维后的噪声向量转换成256*256维的矩阵并输入到卷积层；
98.源域正则化层使用批正则化对卷积后的噪声向量进行处理，得到假源域图像；
99.将生成的假源域图像和源域数据集中的真源域图像进行图像增强；
100.将增强后的假源域图像和真源域图像输入到判决器进行判断。
101.在源域数据上训练模型时，将模型设置为源域模式。生成器接收的输入是一个噪声向量，该向量经过一个全连接层升维，成为一个65536维度的向量，然后将65536维度的向量转换成256*256维的矩阵，之后输入到卷积层中，卷积后的正则化使用bn正则。生成的过程需要经过降采样后再上采样生成256*256的假源域图像fake source_images。判决器接
收的图像是真实源域图像real source_images或fake source_images，这些图像经过一个全卷积网络得出。
102.步骤s2.4中，所述利用预处理后的目标域数据集对源域训练生成对抗网络模型进行训练，得到最终训练好的生成对抗网络模型，包括：
103.目标域生成器接收待翻译图像和待翻译图像语义分割标签进入卷积层；
104.此处的卷积层是由10个卷积块组成的全卷积网络；
105.每个卷积块中正则化层对卷积后的图像特征图进行处理，经过10个卷积块后得到假目标域翻译后图像；
106.将生成的假目标域翻译后图像和目标域数据集中的真翻译后图像进行图像增强；
107.将增强后的假目标域翻译后图像和真翻译后图像输入到目标域判决器进行判断。
108.其中，每个卷积块中正则化层对卷积后的图像特征图进行处理，经过10个卷积块后得到假目标域翻译后图像，具体为：
109.在目标域数据上训练网络时，生成器网络接收待翻译图像images_b和待翻译图像的语义分割标签labels_b，模型设置为目标域模式。images_b的尺寸为256*256像素，不需要像训练源域网络时经过全连接层，直接进入卷积层网络。经过卷积后的feature map使用spade正则化，在spade正则化中的feature map首先使用instance normalization对图像进行正则化，随后通过额外输入的labels_b计算两个张量对featuremap进行放射变换，首先输入的labels_b经过一次卷积得到输出后，分别经过两个卷积得到两个张量，这两个张量作为仿射变换参数中的γ和β，然后将源域分支中对应位置的bn层的两个仿射参数(bn层的仿射参数是两个标量a,b)分别进行广播操作使其维度变成γ和β一致后分别与γ和β进行相加(γ与广播后的a相加，β与广播后的b相加，如图5所示)。之后用融合了a,b的γ和β对feature map的进行元素级的相乘和相加，得到最终输出。spade层只用在下采样阶段中的卷积块中和中间的卷积块中，上采样阶段中的卷积块则和源域共用bn层，最终得到假目标域的翻译后图像fake images_a。
110.判决器接收真实的翻译后图像real images_a或假的翻译后图像fake images_b，和真实翻译后图像的语义分割标签labels_a。模型同样设置为目标域模式。图像进入卷积层提取特征。labels_a则用作spade层进行条件正则化，计算过程如s2.4所描述。在判决器中使用spade可以使得判决器关注关键的目标区域。最后得到判决结果。
111.其中，需要注意的是，下采样阶段是输入图像在卷积层的处理下，尺寸不断减小的阶段。共享bn则是两个分支在需要使用正则化层的时候，使用同一个bn层。
112.具体地，上述提到的图像增强的方式，具体为：
113.常规的增广的方式不适用于gan网络，这里采用专门针对gan提出的自适应判决器增强。即图像的增广变化发生在输入判决器之前，而不是生成器之前。图像送入到判决器之前要随机经过颜色变化，随机遮挡等增广方式。该方法原文中设置的随机概率是根据过拟合程度自动调整的，但过拟合的判断标准不适用于本发明，遂采用文献中指出的安全值0.8。判决的图像都将是经过0.8概率增广后的图像。
114.实施例二
115.本实施例提供了一种基于域自适应先验知识引导的图像翻译系统，包括：
116.图像获取模块，被配置为获取待处理的图像并进行预处理；
117.图像翻译模块，被配置为利用预处理后的图像，基于预先训练好的生成对抗网络模型生成目标图像；
118.其中，训练生成对抗网络模型的过程，包括：
119.获取图像样本数据，并生成目标域数据集和源域数据集；
120.对目标域数据集和源域数据集进行预处理；
121.利用预处理后的源域数据集对生成对抗网络模型进行训练，得出源域训练好的生成对抗网络模型；
122.利用预处理后的目标域数据集对源域训练生成对抗网络模型进行训练，得到最终训练好的生成对抗网络模型。
123.上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
124.上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
125.所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
126.实施例三
127.本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的一种基于域自适应先验知识引导的图像翻译方法中的步骤。
128.实施例四
129.本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的一种基于域自适应先验知识引导的图像翻译方法中的步骤。
130.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
131.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
132.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
133.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
134.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
135.上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。