一种语义引导的内容特征传递风格迁移方法及系统

1.本发明涉及深度学习风格迁移技术领域，具体涉及一种语义引导的内容特征传递风格迁移方法及系统。


背景技术：

2.随着自动驾驶和工业、服务机器人应用领域迅速发展，作为自动驾驶和路径规划感知系统必不可少的风格迁移技术成为当前研究热点之一。硬件方面，自动驾驶系统大多依靠雷达、红外相机等设备提升系统行车周边环境感知能力，但其成本较高，且小目标及高速运动目标定位和预测不精确；软件方面，现有风格迁移方法大多通过加深加宽网络或改进损失函数来提升其性能，但在训练过程极容易产生内容映射偏差，难以实现内容完整且一致的特征传递，影响自动驾驶系统行车安全。现有风格迁移方法可分为基于卷积神经网络和基于生成对抗网络两类：
3.基于卷积神经网络的风格迁移方法，一般借助分类神经网络，通过优化或训练一个图像迁移神经网络将内容图像转换为既定的风格图像。具体来说，名称为一种集合深度学习与深度感知的图像风格迁移方法，公开号为cn107705242b的发明专利中集合深度感知网络在目标损失函数中添加景深损失，对原图与生成的风格图像的景深进行估计。在风格迁移的过程中，生成图像不仅融合了相应的风格和内容，还保持原图的远近结构信息。名称为基于均值标准差的图像迁移方法，公开号为cn13837926a的发明专利申请中构造了特征空间来存储不同滤波器的特征信息，从而更好地获得多尺度和稳定的特征，不需要对真实数据进行训练，能够灵活进行风格变换。名称为一种基于特征融合的风格迁移方法、装置及其相关组件，公开号为cn113808011a的发明专利申请中通过预训练的内容和风格编码器对内容和风格图像进行特征提取，然后用训练好的内容和风格解码器对所述内容和风格特征进行融合并输出，得到目标风格迁移图像。上述基于卷积神经网络的风格迁移方法专注使用vgg和其他功能层进行深化或加宽网络来提取图像中的内容和风格特征，产生的风格迁移效果在细节纹理及颜色填充方面存在交叉，不能很好的应用于自动驾驶、移动机器人等现实场景的风格迁移中。
4.基于生成对抗网络的风格迁移方法，加速了风格迁移领域的进步，其一般基于编码-解码结构，利用编码器同步提取内容特征和风格特征，将两种特征直接输入解码器进行解码，同时从颜色、内容、平滑度等角度设计相关损失函数以监督网络获得风格化结果。名称为一种跨域变分对抗自编码方法，公开号为cn110210549a的发明专利申请中利用编码器解耦跨域输入图像的内容编码和风格编码，并利用对抗操作和变分操作分别拟合图像的内容和风格编码，通过交叉将不同域的内容和风格编码实现跨域图像的一对多变换。名称为一种基于潜变量特征生成的图像多风格转化方法，公开号为cn11099225a的发明专利申请在多模态无监督图像转换网络基础上，设计风格编码生成器对图像的风格编码进行拟合，同时在内容编码和风格编码之间引入跳跃连接，在风格编码中引入注意力机制，提高了图像多风格转换的质量和多样性。名称为一种多路并行图像内容特征优化风格迁移方法，公
开号为cn113284042a的发明专利申请使用多路并行方式分离出单一特征通道和多个特征通道的图像内容特征，其能够提升小目标和模糊目标的分离提取能力以及图像细节纹理信息的迁移能力。但上述风格迁移方法大多在封闭环境下依据网络自身性能，结合上下文信息进行推理，训练过程难以避免不同目标属性等各种混淆因子的影响，导致网络实际输出与理论输出存在偏差。因此，如何有效利用图像中提取出的深度特征，保证风格迁移前后图像内容一致，并将其更好的应用于交通场景成为一个亟待解决的问题。


技术实现要素：

5.本发明的目的在于，提供一种语义引导的内容特征传递风格迁移方法及系统，通过通道注意力方式将内容特征生成的带噪属性分为多个组别，在不同组和同一组之间分别进行随机的信息交换，弱化噪声，并将其余内容特征逐通道融合校正，为传递过程中的内容特征赋予正确的内容属性标签，指导内容特征生成，降低特征传递过程中的映射偏差，有效实现图像内容一致的风格迁移。
6.为实现上述目的，本发明的技术方案为：一种语义引导的内容特征传递风格迁移方法，包括：
7.准备训练风格迁移网络的数据集；
8.获取特征通道为c的源域输入图像和目标域输入图像分别对其进行双倍下采样操作，所述双倍下采样操作包括卷积操作和非线性激活函数处理；
9.对目标域输入图像的下采样结果使用全局平均池化和全连接函数处理，得到风格特征向量
10.对源域输入图像的下采样结果采用多层残差单元处理，获取四维特征向量
11.所述四维特征向量依次经过全局最大池化、全连接函数处理，再经过深度卷积神经网络、信息交换、点卷积神经网络处理，得到四维特征向量同时使用多层残差单元深化处理四维特征向量得到四维特征向量
12.将所述四维特征向量和四维特征向量相乘，生成四维内容特征向量实现内容特征中目标属性的重新分配，校正特征传递偏差；
13.将所述风格特征向量和四维内容特征向量相加融合得到四维特征向量然后进行上采样输出风格迁移结果yc×
2h
×
2w
。
14.进一步的，对源域输入图像和目标域输入图像进行双倍下采样操作，具体为：
15.使用卷积核mc×3×3提取所述源域输入图像中的内容特征和所述目标域输入图像中的风格特征公式为：
[0016][0017][0018]
其中为卷积过程，每个矩阵表示一个3
×
3的特征块；
[0019]
将输出的特征向量和使用非线性激活函数处理，当激活处理的特征值小于或等于0时，激活函数输出值为0，如式(3)所示；反之，激活函数输出值与输入值相同时，如式(4)所示：
[0020][0021][0022]
其中，函数a(
·
)为激活函数。
[0023]
进一步的，对目标域输入图像的下采样结果使用全局平均池化和全连接函数处理，具体为：
[0024]
使用全局平均池化对每一单位特征均值化处理，获得每一单位的特征向量公式如下：
[0025][0026]
其中，p
average
(
·
)为全局平均池化函数，mc×2×2为滤波器k＝2的卷积核对特征逐像素操作，选取平均值并输出；
[0027]
对特征向量使用全连接函数逐个特征通道进行处理，输出特征向量公式如下：
[0028][0029]
其中，c
fully
(
·
)为全连接函数，选用mc×1×1即滤波器k＝1的卷积核进行操作；
[0030]
对特征向量进行风格余弦归一化处理，得到四维风格特征向量公式为：
[0031][0032]
其中，cos
in
(
·
)为风格余弦归一化过程函数，μ(x)和μ(y)分别为特征向量长和宽维度上的均值，σ(x)和σ(y)分别为四维特征向量长和宽维度上的标准差。
[0033]
进一步的，对源域输入图像的下采样结果采用多层残差单元处理，公式为：
[0034][0035][0036]
其中，f(
·
)为单层残差单元过程函数，ω3为权值矩阵。
[0037]
进一步的，所述四维特征向量依次经过全局最大池化、全连接函数处理，再经过深度卷积神经网络、信息交换、点卷积神经网络处理，得到四维特征向量具体为：
[0038]
使用全局最大池化处理四维特征向量并得到特征向量公式为：
[0039][0040]
其中，p
max
(
·
)为全局最大池化函数，mc×2×2为滤波器k＝2的卷积核对特征逐像素操作，选取最大值并输出；
[0041]
使用全连接函数处理特征向量并得到特征向量公式为：
[0042][0043]
其中，c
fully
(
·
)为全连接函数，选用mc×1×1即滤波器k＝1的卷积核进行操作；
[0044]
使用深度卷积神经网络将特征向量按照特征通道均匀分为p条支路(p≤c)，得到每一特征通道的特征分量公式如下：
[0045][0046]
其中，f
deep
(
·
)为深度卷积神经网络过程函数；
[0047]
在每一支路上分为q组进行特征的随机交换，打乱不同通道间信息的固有顺序，对特征信息重新分类结合，得到特征分量公式如下：
[0048][0049]
其中，shuffle(
·
)为信息交换函数；
[0050]
使用点卷积神经网络对特征分量进行合并，得到四维特征向量所述点卷积神经网络在合并过程中随机删除部分神经元，公式如下：
[0051][0052]
其中，d
ran
为随机删除函数，m为随机删除神经元比例；
[0053][0054]
其中，f
poi
(
·
)为点卷积神经网络过程函数，使用mc×1×1形式的点卷积对特征向量进行点卷积操作。
[0055]
更进一步的，使用多层残差单元深化处理特征向量得到四维特征向量具体为：
[0056][0057]
其中，为权值矩阵。
[0058]
更进一步的，将所述特征向量和四维特征向量相乘，生成四维内容特征向量具体为：
[0059][0060]
其中，和为权值矩阵，
×
表示特征矩阵相乘。
[0061]
本发明还提供一种语义引导的内容特征传递风格迁移系统，包括编码模块、内容校准模块和解码模块；
[0062]
所述编码模块，包括内容编码模块和风格编码模块；所述内容编码模块将源域输入图像作为输入，对其执行双倍下采样操作，输出四维特征向量所述风格编码模块将目标域输入图像作为输入，依次使用双倍下采样、全局平均池化、全连接函数、风格余弦归一化处理，输出四维特征向量
[0063]
所述内容校准模块，包括特征优化单元和属性推理单元；所述特征优化单元对源域输入图像的下采样结果采用多层残差单元处理，获取四维特征向量所述属
性推理单元对四维特征向量依次经过全局最大池化、全连接函数处理，再经过深度卷积神经网络、信息交换、点卷积神经网络处理，得到四维特征向量同时使用多层残差单元深化处理特征向量得到四维特征向量将四维特征向量与四维特征向量按固定的比例ω1和ω2相乘，输出四维特征向量
[0064]
所述解码模块，将四维特征向量和四维特征向量相加融合得到四维特征向量然后进行上采样输出风格迁移结果yc×
2h
×
2w
。
[0065]
进一步的，所述内容校准模块表达为：
[0066][0067]
其中，f
opt
(x)为特征优化单元学习过程函数，f
re
(x)为属性推理单元学习过程函数。
[0068]
本发明由于采用以上技术方案，能够取得如下有益效果：可应用于自动驾驶、工业及服务型机器人等现实场景中，实现任意天气及环境场景的风格变换，并为精确识别小目标及模糊目标提供帮助。下面对本发明的有益效果分点列举介绍：
[0069]
(1)适用于小目标特征情况
[0070]
本发明的属性推理单元能够分离出图像内容特征中潜在的实例目标属性，充分挖掘深度特征信息，在无监督情况下准确清晰的识别并提取包含小目标图像的内容特征信息。
[0071]
(2)适用于高速运动目标特征情况
[0072]
本发明使用特征优化单元和属性推理单元分别提取输入图像中的内容特征和目标属性，依据提取出的目标属性校正特征优化单元中特征传递偏差，有效改善因目标高速运动产生的模糊现象，实现高速运动目标的提取工作。
[0073]
(3)适用于公共安防监控系统
[0074]
本发明能够满足安防监控摄像头及天眼系统拍摄的全天候任意复杂场景(如地下停车场、消防通道、交通场景)中多尺度特征有效提取和风格变换，为下一步检测识别工作提供有利条件，提升公共系统工作效率，为提升生产生活效率、维护公共安全提供保障。
[0075]
(4)适用于自主驾驶技术
[0076]
本发明为计算机视觉环境感知技术，适用于自动驾驶领域，能够对行车环境周围的行人、车辆、建筑、交通标识等目标特征和位置进行提取，为风格迁移模型提供全面的特征信息，为行车安全提供有力保障。
[0077]
(5)适用于视觉不清晰情况
[0078]
本发明适用于不同复杂场景风格迁移情况，对不同曝光度和清晰度的相机镜头获取的基于红外和可见光条件下视觉不清晰目标特征进行恢复，提升图像清晰度后对其进行风格迁移。
附图说明
[0079]
图1是语义引导的内容特征传递风格迁移方法流程框图；
[0080]
图2是内容校准模块结构示意图；
[0081]
图3是实施例1中安防监控风格迁移情况示意图；
[0082]
图4是实施例2中自主驾驶风格迁移情况示意图；
[0083]
图5是实施例3中视觉模糊场景风格迁移情况示意图。
具体实施方式
[0084]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术，即所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
[0085]
本发明提出一种语义引导的内容特征传递风格迁移方法及系统，一是通过加深网络增强对于深度特征提取能力，保证风格迁移过程中图像内容特征完整性，降低特征冗余；二是将内容特征压缩为一维的语义信息表达，逐通道分批次信息交换，增强不同通道特征关联，为每一内容特征分配一个正确的内容标签，改善特征传递过程中目标属性与内容特征表达不匹配的现象，保证内容特征传递一致性。如图1所示，具体迁移方法实施步骤如下：
[0086]
第1步：准备训练风格迁移网络的数据集，所述数据集尺寸可以为2h
×
2w；
[0087]
第2步：获取特征通道为c的源域输入图像和目标域输入图像分别对其进行双倍下采样操作，所述双倍下采样操作包括卷积操作和非线性激活函数处理两部分，具体为：
[0088]
(1)使用步长s＝2和滤波器k＝3的卷积核mc×3×3提取所述源域输入图像中的内容特征和所述目标域输入图像中的风格特征公式为：
[0089][0090][0091]
其中为卷积过程，每个矩阵表示一个3
×
3的特征块；
[0092]
(2)将输出的特征向量和使用非线性激活函数处理，当激活处理的特征值小于或等于0时，激活函数输出值为0，如式(3)所示；反之，激活函数输出值与输入值相同时，如式(4)所示：
[0093][0094][0095]
其中，函数a(
·
)为激活函数，采用激活函数对特征向量进行非线性处理可以提升特征向量的有效性并降低特征冗余，为实现图像内容特征一致性风格迁移提供帮助。
[0096]
第3步：为减小特征位置对于风格分类的影响，将第2步提取的特征向量使用全局平均池化和全连接函数处理，输出特征向量具体为：
[0097]
(1)使用全局平均池化对每一单位特征均值化处理，获得每一单位的特征向量公式如下：
[0098][0099]
其中，p
average
(
·
)为全局平均池化函数，mc×2×2为k＝2的卷积核对特征逐像素操作，选取平均值并输出；
[0100]
(2)对特征向量使用全连接函数逐个特征通道进行处理，降低像素和特征位置对特征分类的影响，输出特征向量公式如下：
[0101][0102]
其中，c
fully
(
·
)为全连接函数，选用mc×1×1即k＝1的卷积核进行操作。
[0103]
(3)为改变风格特征数据分布，实现精确的风格特征传递。本发明对特征向量进行风格余弦归一化处理，抑制与风格无关的特征信息，输出四维特征向量为与内容特征融合做准备，公式为：
[0104][0105]
其中，cos
in
(
·
)为风格余弦归一化过程函数，μ(x)和μ(y)分别为特征向量长和宽维度上的均值，σ(x)和σ(y)分别为四维特征向量长和宽维度上的标准差。
[0106]
第4步：特征优化单元输入为对源域输入图像的下采样结果采用多层(可以优选为8层)残差单元处理下采样输出的特征向量，降低特征冗余，保证风格迁移过程图像内容完整。公式为：
[0107][0108][0109]
其中，f(
·
)为单层残差单元过程函数，ω3为权值矩阵；
[0110]
第5步：属性推理单元输入为四维特征向量其依次经过全局最大池化、全连接函数处理、深度卷积神经网络、信息交换、点卷积神经网络处理，输出四维特征向量在网络训练过程中介入反思机制，为内容特征重新赋予正确的内容属性标签。同时，使用多层残差单元深化处理四维特征向量输出四维特征向量贯彻特征
中空间结构信息一致性传递，具体为：
[0111]
(1)为提取内容特征中的隐藏目标属性，本发明使用全局最大池化处理四维特征向量并输出消除因目标位置带来的目标属性分类影响，公式为
[0112][0113]
其中，p
max
(
·
)为全局最大池化函数，mc×2×2为k＝2的卷积核对特征逐像素操作，选取最大值并输出；
[0114]
(2)为增强网络对隐藏内容属性的学习能力，使用全连接函数处理增强通道间关联，输出特征向量公式为：
[0115][0116]
其中，c
fully
(
·
)为全连接函数，选用mc×1×1即k＝1的卷积核进行操作；
[0117]
(3)使用深度卷积神经网络将特征向量按照特征通道均匀分为p条支路(p≤c)得到每一特征通道的特征分量公式如下：
[0118][0119]
其中，f
deep
(
·
)为深度卷积神经网络过程函数；
[0120]
(4)在每一支路上分为q组进行特征的随机交换，打乱不同通道间信息的固有顺序，对特征信息重新分类结合，输出特征分量公式如下：
[0121]
其中，shuffle(
·
)为信息交换函数，将每一支路上的通道特征分为q组，在每一组之间和不同组之间随机打乱顺序，以谋求新的内容与属性匹配关系。
[0122]
(5)使用点卷积神经网络对交互后的特征向量进行合并，输出内容推理单元结果不同特征通道间特征重组融合，为内容特征精确传递提供更大可能。点卷积神经网络在处理过程中会随机删除部分神经元，公式如下：
[0123][0124]
其中，d
ran
为随机删除函数，m为随机删除神经元比例，该操作可防止网络出现过拟合现象；
[0125][0126]
其中，f
poi
(
·
)为点卷积神经网络过程函数，使用mc×1×1形式的点卷积对特征向量进行点卷积操作。
[0127]
(6)采用多层残差单元处理四维特征向量并输出四维特征向量保证特征向量传递过程中的空间结构和语义一致性，为不同特征通道特征分量有效交互奠定基础。
[0128][0129]
其中，为权值矩阵。
[0130]
第6步：将第5步输出四维特征向量和四维特征向量相乘，生成四维特征向量实现内容特征中目标属性的重新分配，校正特征传递偏差，公式为：
[0131][0132]
其中，和为权值矩阵，
×
表示特征矩阵相乘。
[0133]
第7步：将第3步输出的风格特征和第6步输出的内容特征相加融合得到四维特征向量在解码器中进行上采样输出风格迁移结果yc×
2h
×
2w
。
[0134]
本实施例还提供一种实施上述方法的系统，其包括：编码模块、内容校准模块和解码模块；下面对每一部分进行详细阐述说明：
[0135]
所述编码模块包括内容编码模块和风格编码模块；所述内容编码模块将源域输入图像作为输入，对其执行双倍下采样操作，输出四维特征向量所述风格编码模块将目标域输入图像作为输入，依次使用全局平均池化、全连接函数、风格余弦归一化处理，输出四维特征向量降低空间结构对于色彩语义信息的干扰。
[0136]
所述内容校准模块包括特征优化单元和属性推理单元；如图2所示，将多特征通道的四维特征向量输入到特征优化单元中，在保持多特征通道的图像内容特征完整传递的同时学习更多的内容结构和细节纹理信息；属性推理单元从残差单元输出的四维特征向量中提取隐藏属性，通过多通道、分批次的训练为每个内容特征重新赋予正确的特征表达，从而实现一维语义和二维像素的精确对应。不同单元输出以通道注意力形式相乘，校正内容特征传递偏差，实现内容结构的精准分类，贯彻图像内容特征传递一致性；下面对内容校准模块中的特征优化单元和属性推理单元进行详细说明：属性推理单元输入为经过特征优化单元中多层残差单元处理后，包含n个特征通道，尺寸为h
×
w的四维特征向量其中，特征优化单元学习过程函数为f
opt
(x)；属性推理单元学习过程函数为f
re
(x)；设两个单元输出
特征融合后输入给下一阶段的是包含n个特征通道，尺寸为h
×
w的四维特征向量内容校准模块表达为：
[0137][0138]
特征优化单元使用多层残差单元提取具有n个特征通道的深度特征降低特征冗余，保持源域输入图像纹理细节及轮廓特征信息。并将其作为属性推理单元和下一阶段的输入。
[0139]
属性推理单元使用全局平均池化对进行降维和正则化处理，输出四维特征向量在其基础上使用全连接层处理，弱化目标位置等空间信息对内容属性分类的影响，使得网络专注于不同通道特征间的关联，加强语义特征表达，增强对深度特征提取能力。为进一步增强不同特征通道间的关联性，充分提取源域输入图像中的隐藏属性，利用卷积核为3
×
3的深度卷积将分为p条支路，分别提取每一特征通道上的内容特征信息，不同支路之间互相学习监督，实现跨特征通道的参考。同时，在每一支路中将特征通道分为q组，在每一组内和不同组间分别打乱通道顺序，增加隐藏内容属性的随机性，提高网络泛化能力，为每一内容特征重新分配目标的分类属性，降低特征传递偏差。为获取精准的内容属性，对每一支路的特征进行滤波得到使用1
×
1的点卷积完成p条支路特征信息的整合工作，输出四维特征向量为每一内容特征赋予增强的特征表达，指导内容特征精确生成。处理单一特征通道中特征向量的同时，以并联支路形式使用多层残差单元在多特征通道层面对加工，输出四维特征向量保证特征向量传递完整性；将和按固定的比例ω1和ω2相乘，输出四维特征向量隐藏属性和固有内容特征进行对抗筛选，修复内容属性分配错误的问题，降低内容特征传递偏差，为实现内容一致、精确的风格迁移提供帮助。
[0140]
所述解码模块，执行源域和目标域特征向量操作：将和相加融合得到四维特征向量然后进行上采样输出风格迁移结果yc×
2h
×
2w
。
[0141]
本实施例中特征参数约束条件可以为：
[0142]
(1)下采样输入尺寸为256
×
256的rgb三通道图像，并将输入图像尺寸缩小至128
×
128、特征通道n∈{4,8,16,64,256,512}，可输出{1,128,128,4}、{1,128,128,8}、{1,128,128,16}、{1,128,128,64}、{1,128,128,256}、{1,128,128,512}中任意一种包含图像内容特征的四维特征向量。
[0143]
(2)内容校准模块依据输入图像内容不同，选取不同特征通道的四维特征向量作为输入：输入图像中包含小目标或模糊目标时，选取特征通道为n＝256的四维特征向量作为内容校准模块输入；输入图像中无小目标或模糊目标时，选取特征通道为n＝8的四维特征向量作为内容校准模块输入。
[0144]
(3)特征优化单元中传递特征通道为n∈{4,8,16,64,256,512}的四维特征向量。
[0145]
(4)属性推理单元中传递特征通道n＝1的四维特征向量。
[0146]
结构单元约束条件：
[0147]
(1)特征优化单元中使用4层残差单元提取深度内容特征。
[0148]
(2)属性推理单元中包含p条支路，且p∈{0,1,2,3,4}。当p＝0时，内容校准模块仅包含特征优化单元。
[0149]
(3)属性推理单元中每一支路包含q个分组，其中q＝{q|10≤q≤512,q∈z
+
}。
[0150]
(4)属性推理单元依据输入图像内容复杂度不同，选取不同的分组数目：输入图像中包含小目标或模糊目标时，选取q＝{q|128≤q≤512,q∈z
+
}的分组数目；输入图像中无小目标或模糊目标时，选取q＝{q|10≤q≤128,q∈z
+
}的分组数目。
[0151]
实施例1：安防监控风格迁移情况
[0152]
本实例针对学校、十字路口等无人防范和事故多发地进行监控。将本发明用于室外安全监控中，可以有效提升复杂光照下目标的识别能力。安防监控图像风格迁移情况如图3所示。
[0153]
实施例2：自主驾驶风格迁移情况
[0154]
本实例针对自主驾驶系统风格迁移。将本发明应用于车载摄像头，对行车周围环境进行感知，对驾驶者提供辅助手段，降低交通事故率，提高车辆的安全驾驶能力，自主驾驶风格迁移情况如图4所示。
[0155]
实施例3：视觉模糊场景风格迁移情况
[0156]
本实例针对因光照不均或自然天气等情况导致的视觉模糊场景的风格迁移，可提升复杂场景情况风格迁移的图像质量，为下一步目标检测或图像分割做准备，视觉模糊场景风格迁移情况如图5所示。
[0157]
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为发明的保护范围并不局限于这样的特别陈述和实施例。凡是根据上述描述做出各种可能的等同替换或改变，均被认为属于本发明的权利要求的保护范围。