技术特征：
1.一种跨场景识别模型训练方法，其特征在于包括：以源领域图像x
s
和源领域真实标签图y
s
以及跨场景的无标签目标领域图像x
t
作为训练数据，采用前向传导和链式反向梯度传导更新方法，分别在像素级、局部级与图像级计算输出跨场景识别的预测以及识别损失值和领域适配的预测以及领域适配损失值；分别在区域水平和样本水平联合跨场景识别和领域适配的像素级、局部级与图像级的预测以及损失值进行跨场景识别模型的迭代训练，最终得到训练完成的区域水平和样本水平跨场景识别模型。2.根据权利要求1所述的跨场景识别模型训练方法，其特征在于，所述跨场景识别模型包括多尺度特征提取器g、高分辨率聚合特征提取器m、像素级识别器f
p
、像素级领域分类器d
p
、局部级识别器f
l
、局部级领域分类器d
l
、图像级识别器f
g
以及图像级领域分类器d
g
；所述跨场景识别模型用于对输入图像的多尺度特征提取高分辨率聚合特征，在像素级、局部级以及图像级对高分辨率聚合特征进行识别预测以及计算识别损失值和领域分类预测以及计算领域适配损失值。3.根据权利要求2所述的跨场景识别模型训练方法，其特征在于，所述多尺度特征提取器g包括深度卷积神经网络，用于对源领域样本x
s
和目标领域样本x
t
提取n个源领域和目标领域多尺度特征f
ns
和f
nt
，其中s代表源领域、t代表目标领域、n代表多尺度特征个数，源领域和目标领域多尺度特征f
ns
和f
nt
的通道量和尺度相同；高分辨率聚合特征提取器m包括多尺度特征聚合层以及空洞卷积神经网络，分别将n个源领域和目标领域多尺度特征f
ns
和f
nt
分别聚合成高分辨率源领域特征o
s
和目标领域聚合特征o
t
；多尺度特征聚合层包括动态参数变量和卷积神经网络，动态参数变量用于存储对不同尺度特征进行卷积操作的卷积神经参数，卷积神经网络以多尺度特征作为输入进行特征计算并对动态参数变量进行参数的读写；像素级识别器f
p
、局部级识别器f
l
和图像级识别器f
g
均分别包括全卷积神经网络和激活函数；将源领域和目标领域聚合特征o
s
和o
t
均输入像素级识别器f
p
、局部级识别器f
l
和图像级识别器f
g
，像素级识别器f
p
输出源领域和目标领域的像素级识别预测概率图p
spixel
和p
tpixel
，局部级识别器输出源领域和目标领域的局部级识别预测概率图p
slocal
和p
tlocal
，图像级识别器f
g
输出源领域和目标领域的图像级识别预测概率图p
sglobal
和p
tglobal
。4.根据权利要求3所述的跨场景识别模型训练方法，其特征在于，所述在像素级、局部级以及图像级对高分辨率聚合特征进行识别预测以及计算识别损失值和领域分类预测以及计算领域适配损失值，具体包括：s1、以源领域像素级识别预测概率图p
spixel
和源领域真实标签图y
s
作为输入，通过像素级识别损失函数l
pixel
输出像素级识别损失值，像素级识别函数定义为： ；其中，w和h分别为概率图的宽和高；以源领域和目标领域像素级识别预测概率图p
spixel
和p
tpixel
作为输入，输入至像素级领域分类器d
p
，输出领域分类预测概率h
spixel
和h
tpixel
至像素级领域适配损失函数l
padapt
计算像素级领域适配损失值，h
spixel
和h
tpixel
分别为源领域和目标领域像素级领域分类预测概率；像素级领域适配损失函数定义为：
其中，l
dp
是交叉熵损失函数，1为源领域领域标签，0为目标领域标签；s2、以源领域局部级识别预测概率图p
slocal
和源领域真实标签图y
s
作为输入，通过局部级识别损失函数l
local
输出局部级识别损失值，局部级识别损失函数定义为：；其中，x={x
i
:i=1,2,
…
,n}和y={y
i
:i=1,2,
…
,n}，分别以局部块方式在概率预测图p
slocal
和源领域真实标签图y
s
上获取的局部预测值，n表示局部块个数，μ
x
，μ
y
分别是局部预测值x, y的均值和标准偏差，σ
xy
是局部预测值的协方差，c1和c2为超参；以源领域和目标领域局部级识别预测概率图p
slocal
和p
tlocal
作为输入，输入至局部级领域分类器d
l
，输出领域分类预测概率h
slocal
和h
tlocal
至局部级领域适配损失函数l
ladapt
计算局部级领域适配损失值，h
slocal
和h
tlocal
分别为源领域和目标领域局部级领域分类预测概率；局部级领域适配损失函数定义为：；其中，l
dp
是交叉熵损失函数，1为源领域标签，0为目标领域标签；s3、以源领域图像级识别预测概率图p
sglobal
和源领域真实标签图y
s
作为输入，通过图像级识别损失函数l
global
输出图像级识别损失值，图像级识别损失函数定义如下：；其中，w和h分别为概率图的宽和高；以源领域和目标领域图像级识别预测概率图p
sglobal
和p
tglobal
作为输入，输入图像级领域分类器d
g
，输出领域分类预测概率h
sglobal
和h
tglobal
至图像级领域适配损失函数l
gadapt
计算图像级领域适配损失值，h
sglobal
和h
tglobal
分别为源领域和目标领域图像级领域分类预测概率；图像级领域适配损失函数定义为：其中，l
dg
是交叉熵损失函数，1为源领域领域标签，0为目标领域标签。5.根据权利要求1~4任一项所述的跨场景识别模型训练方法，其特征在于，在区域水平联合跨场景识别和领域适配的像素级、局部级与图像级的预测以及损失值进行跨场景识别模型的迭代训练，指以源领域像素级、局部级以及图像级识别预测概率图p
spixel
、p
slocal
和p
sglobal
作为输入，经过难分区域训练损失函数l
region
得到难分区域训练损失值；区域水平跨场景识别模型的整体训练损失定义如下：场景识别模型的整体训练损失定义如下：
其中，l
seg
为跨场景识别模型识别功能的训练损失，l
adapt
为跨场景领域适配的训练损失，l
rtotal
为区域水平跨场景识别模型的整体训练损失，l
region
为难分区域训练损失函数；难分区域训练损失函数l
region
定义为：其中，p
s
=1/3p
spixel
+3p
slocal
+1/3p
sglobal
，是难分区域概率条件超参，γ为超参；区域水平训练输出训练完成的区域水平跨场景识别模型；在样本水平联合跨场景识别和领域适配的像素级、局部级与图像级的预测以及损失值进行跨场景识别模型的迭代训练，以源领域和目标领域图像级识别预测概率图p
sglobal
和p
tglobal
计算每个输入到样本水平跨场景识别模型的样本的预测置信度权重z，样本水平跨场景识别模型的整体训练损失定义如下：场景识别模型的整体训练损失定义如下：场景识别模型的整体训练损失定义如下：其中，l
itotal
为样本水平跨场景识别模型的整体训练损失，z的计算函数定义为：zp
global
具体根据样本所属领域取值p
sglobal
和p
tglobal
，若训练样本来自源领域，则p
global
=p
sglobal
，若训练样本来自目标领域，则p
global
=p
tglobal
；c为超参；样本水平训练输出训练完成的样本水平跨场景识别模型。6.基于权利要求5所述的跨场景识别模型训练方法的跨场景道路识别方法，其特征在于，包括以下步骤：a1、接收目标领域待识别道路图像数据x；a2、将目标领域待识别道路图像数据x分别输入由跨场景识别模型训练方法得到的训练完成的区域水平跨场景识别模型和样本水平跨场景识别模型，分别输出区域水平预测图p
rmask
和样本水平预测图p
imask
；a3、根据区域水平预测图p
rmask
，获取区域水平连通区域个数n
r
和每个区域水平连通区域所对应面积k
r
；根据样本水平预测图p
imask
，获取样本水平连通区域个数n
i
和每个样本水平连通区域所对应面积k
i
；a4、根据区域水平和样本水平连通区域个数n
r
和n
i
以及区域水平和样本水平连通区域所对应面积k
r
和k
i
，根据判定策略，输出目标领域待识别道路图像数据i道路识别的结果。7.根据权利要求6所述的跨场景道路识别方法，其特征在于，步骤a3中，采用连通区域分析算法，获取区域水平连通区域个数n
r
、每个区域水平连通区域所对应面积k
r
、样本水平连通区域个数n
i
和每个样本水平连通区域所对应面积k
i
。
8.根据权利要求6所述的跨场景道路识别方法，其特征在于，步骤a4中，判定策略具体如下：j1策略、若区域水平连通区域个数n
r
=1且区域水平连通区域面积k
r >样本水平连通区域所对应面积k
i
，k
min
为待识别道路图像数据x最小安全通行区域面积，则输出区域水平预测图p
rmask
为目标领域待识别道路图像数据x道路识别的结果，否则触发j2策略；j2策略、若样本水平连通区域个数n
i
= 1且样本水平连通区域面积k
i
满足k
i
>区域水平连通区域面积k
r
，则输出样本水平预测图p
smask
作为目标领域待识别道路图像数据x道路识别的结果，否则认为同时不满足j1策略和j2策略，以警告信号e作为目标领域待识别道路图像数据x道路识别的结果；其中k
min
=k
r
*β，β为待识别道路图像数据x分辨率与物理长度换算比，k
r
为真实道路中最小安全通行区域面积，k
r = l
r
*h
r
, h
r
为地面交通工具通行所需道路宽度，l
r
为向前安全制动距离，l
r = v * t，v为当前每秒速率，t为安全制动总时间。9.基于权利要求5所述的跨场景识别模型训练方法的跨场景识别模型训练装置，其特征在于，包括：训练数据输入处理单元，将源领域图像x
s
和像素级真实标签图y
s
以及不同场景的无标签目标领域图像x
t
数据输入至多尺度特征提取单元；多尺度特征提取单元，对输入的训练数据提取多个尺度的特征并输入高分辨率聚合特征提取单元；高分辨率聚合特征提取单元，对输入的多个尺度的特征聚合成高分辨率聚合特征；高分辨率聚合特征提取单元包括多尺度特征聚合模块和空洞卷积计算模块，多尺度特征聚合模块用于对多个尺度特征进行变换聚合，空洞卷积计算模块用于提高聚合特征分辨率；多级跨场景识别和领域分类预测以及损失计算单元，以高分辨率聚合特征作为输入，在像素级、局部级和图像级通过前向传导分别输出对应级别的识别概率图，进而以像素级、局部级和图像级的识别概率图、源领域样本真实标签图以及领域标签作为输入分别计算用于更新跨场景识别模型参数的像素级、局部级和图像级识别损失以及领域适配损失；区域水平跨场景识别模型联合训练单元，在区域水平联合像素级、局部级和图像级训练单元实现识别模型执行识别和跨场景领域适配的并行迭代训练，输出区域水平跨场景识别模型；样本水平跨场景识别模型联合训练单元，在样本水平联合像素级、局部级和图像级训练单元实现识别模型执行识别和跨场景领域适配的并行迭代训练，输出样本水平跨场景识别模型；模型存储单元，存储来自区域水平跨场景识别模型联合训练单元所输出的区域水平跨场景识别模型以及存储来自样本水平跨场景识别模型联合训练单元所输出的样本水平跨场景识别模型；所述多尺度特征聚合模块包括特征尺度变换处理子模块、动态参数存储子模块、卷积计算子模块和特征聚合处理子模块；特征尺度变换处理子模块用于对多个尺度的特征进行尺度缩放变换；动态参数存储子模块用于存储对不同尺度特征进行卷积操作的神经元参数；卷积计算子模块以不同尺度特征作为输入进行特征计算并对动态参数存储子模块进行神经元参数的读取和写入；特征聚
合处理子模块用于完成多个特征的聚合操作。10.基于权利要求9所述的跨场景道路识别方法的跨场景道路识别装置，其特征在于，包括：待识别跨场景图像接收单元，用于接收目标领域待识别道路图像数据x；跨场景道路图像识别单元，用于将目标领域待识别道路图像数据x输入至区域水平和样本水平跨场景识别模型，分别输出区域水平道路识别结果和样本水平道路识别结果；连通区域计算单元，用于将区域水平和样本水平路识别结果进行连通区域计算，输出区域水平连通区域个数以及对应区域水平连通区域面积和样本水平连通区域个数以及对应样本水平连通区域面积；结果判定单元，用于判断区域水平和样本水平的连通区域个数以及区域水平和样本水平的连通区域面积是否满足判定策略，根据判定策略输出识别结果；识别结果存储单元，用于储存来自结果判定单元输出的识别结果。
技术总结
本发明公开了跨场景识别模型训练方法、跨场景道路识别方法以及装置。本发明以源领域图像X
技术研发人员：周智恒 张鹏宇 郭勇帆 沈世福 王怡凡 李波
受保护的技术使用者：华南理工大学
技术研发日：2021.09.22
技术公布日：2021/10/26