图像增强模型的训练、图像增强方法及电子设备与流程

1.本发明涉及图像处理技术领域，具体涉及图像增强模型的训练、图像增强方法及电子设备。


背景技术：

2.低照度下的高质量成像是一项具有挑战性但意义重大的任务。一方面，它在许多领域中发挥着至关重要的作用，例如监控、汽车驾驶、智能手机摄影等。另一方面，由于低照度环境下的曝光和照明，从而导致极低的信噪比(snr)和相应的成像质量严重下降。针对该问题，最常见的一类方法是使用补光灯，但会导致光污染及行人和司机的眩晕感，而且低照度下不合理的灯光会给人体造成不适感。


技术实现要素：

3.有鉴于此，本发明实施例提供了一种图像增强模型的训练、图像增强方法及电子设备，以解决低照度环境下的成像问题。
4.根据第一方面，本发明实施例提供了一种图像增强方法，包括：
5.获取样本图像组，所述样本图像组包括双目相机采集的样本图像以及基准图像，所述样本图像为所述双目相机在第一照度下进行近红外补光后采集的图像，所述样本图像包括rgb图像和nir图像，所述rgb图像和所述nir图像位于所述双目相机的不同视场，所述基准图像为所述双目相机在第二照度下采集的rgb图像，所述第一照度低于第二照度；
6.将所述rgb图像以及所述nir图像输入图像增强模型中，以利用所述图像增强模型对所述rgb图像以及所述nir图像进行视场对齐以及增强重建处理，得到图像增强预测图像，其中，所述视场对齐是将所述rgb图像和所述nir图像在亮度通道上的特征相似关系作用于所述rgb图像和/或所述nir图像实现的；
7.基于所述图像增强预测图像与所述基准图像进行损失计算，以对所述图像增强模型的参数进行更新，确定目标图像增强模型。
8.本发明实施例提供的图像增强模型的训练方法，通过采集双目相机在第一照度下的rgb图像以及nir图像作为样本图像，第二照度下的rgb图像作为基准图像，将样本图像与基准图像组成样本组，即，通过构建样本图像组的方式对图像增强模型进行训练，得到目标图像增强模型，同时，在训练过程中的视场对齐是通过将样本图像的亮度通道上的特征相似关系作用于样本图像后实现的，由于在亮度通道上的特征之间计算特征相似关系能够去除色彩带来的差异，将其作用于rgb图像和/或nir图像能够保证较好的视场对齐效果，因此利用该图像增强模型实现了双目相机的rgb-nir的图像融合，从而解决了低光照环境下的成像问题。
9.在一些实施方式中，所述将所述rgb图像以及所述nir图像输入图像增强模型中，以利用所述图像增强模型对所述rgb图像以及所述nir图像进行视场对齐，包括：
10.利用所述图像增强模型中的两个特征提取单元分别对所述rgb图像以及所述nir
图像进行亮度通道上的特征提取得到第一参考特征和第二参考特征；
11.利用所述图像增强模型中的两个语义特征提取单元分别对所述rgb图像以及所述nir图像进行语义特征提取得到第一语义特征和第二语义特征，所述特征提取单元与所述语义特征提取单元的结构相同且参数不同；
12.利用所述图像增强模型计算所述第一参考特征和第二参考特征间的特征相似关系，并基于所述特征相似关系对所述第一语义特征和/或所述第二语义特征进行预设视场下的特征对齐得到对齐特征以实现所述视场对齐。
13.本发明实施例提供的图像增强模型的训练方法，nir图像三个通道都是一样的没有色彩，rgb是含有色彩的，所以只在亮度通道上做相似度计算能够去除色彩带来的差异；同时使用不同的特征提取单元及语义特征提取单元分别进行相似度计算及特征聚合，来完成双目视图对齐，能够克服rgb与nir图像存在着明显的色彩差异对双目对齐带来的困难。
14.在一些实施方式中，所述计算所述第一参考特征和第二参考特征间的特征相似关系，并基于所述特征相似关系对所述第一语义特征和/或所述第二语义特征进行预设视场下的特征对齐得到对齐特征以实现所述视场对齐，包括：
15.计算所述第一参考特征和所述第二参考特征间的相似度，得到相似度矩阵；
16.将所述相似度矩阵内元素的值映射为预设范围内的值，确定所述特征相似关系。
17.本发明实施例提供的图像增强模型的训练方法，对于视场对齐可能仍存在不准确的地方，导致最终聚合后的图像存在伪影。针对该情况，利用先计算两个参考特征间的相似度得到相似度矩阵，再将相似度矩阵映射为预设范围内的权重值，得到特征相似关系，该处理过程是利用注意力机制的处理思想来抑制经过视场对齐后仍存在的结构不一致的地方，以此来指导后续融合重建过程。
18.在一些实施方式中，所述计算所述第一参考特征和第二参考特征间的特征相似关系，包括：
19.获取所述rgb图像的第一参考特征中第一像素点所在的目标行；
20.从所述nir图像的第二参考特征中提取与所述目标行对应的行的第二像素点；
21.计算所述第一像素点与所述第二像素点的之间的相似度，确定所述特征相似关系。
22.本发明实施例提供的图像增强模型的训练方法，基于双摄系统极线约束，即双目视觉世界中同一点在两台相机图像中的像素坐标位于同一行，基于此仅计算某一视图下的特征点与另一视图下同一行的特征点之间的相似度，而非另一视图下的所有特征点，大大地减少计算量。
23.在一些实施方式中，所述对齐特征包括所述第一语义特征对应的第一对齐特征以及所述第二语义特征对应的第二对齐特征，所述图像增强模型包括结构相同且参数不同的第一增强重建单元以及第二增强重建单元，所述以利用所述图像增强模型对所述rgb图像以及所述nir图像进行视场对齐以及增强重建处理，得到图像增强预测图像，包括：
24.利用所述第一增强重建单元对所述第一对齐特征与所述第二语义特征聚合后的特征进行增强重建处理，得到第一图像增强预测图像；
25.利用所述第二增强重建单元对所述第二对齐特征与所述第一语义特征聚合后的特征进行增强重建处理，得到第二图像增强预测图像。
26.本发明实施例提供的图像增强模型的训练方法，经过视角对其处理不能保证图像每一处像素点都是准确对齐的，这会导致上述两路学习的难易程度不一样，所以对两路同时增强，而非单独增强，可以更好的进行监督学习。为了充分利用双目相机的两个视角提供的互补信息，同时对左右两个视场下的图像进行增强重建，能够在结合左右图互补信息的同时又能保持对单图信息的充分利用，从而进一步提升重建性能。
27.在一些实施方式中，所述基准图像包括第一基准图像以及第二基准图像，所述第一基准图像和所述第二基准图像位于所述双目相机的不同视场，所述基于所述图像增强预测图像与所述基准图像进行损失计算，以对所述图像增强模型的参数进行更新，确定目标图像增强模型，包括：
28.基于所述第一基准图像以及所述第一图像增强预测图像进行第一损失计算，得到第一损失；
29.基于所述第二基准图像以及所述第二图像增强预测图像进行第二损失计算，得到第二损失；
30.基于所述第一损失以及所述第二损失对所述图像增强模型的参数进行更新，确定目标图像增强模型。
31.本发明实施例提供的图像增强模型的训练方法，针对两个视场下的图像增强预测图像分别进行损失计算，再在两个视场下的损失的基础上对图像增强模型的参数进行更新，能够在训练过程中使得图像增强模型既能够学习到两个视场下图像的互补信息又能够学习到单个视场下图像的信息，保证了所得到的目标图像增强模型的可靠性。
32.在一些实施方式中，所述基于所述图像增强预测图像与所述基准图像进行损失计算，以对所述图像增强模型的参数进行更新，确定目标图像增强模型，包括：
33.对所述图像增强预测图像以及所述基准图像进行边缘损失的计算，得到边缘损失；
34.对所述图像增强预测图像以及所述基准图像进行色彩损失的计算，得到色彩损失；
35.基于所述边缘损失以及所述色彩损失，对所述图像增强模型的参数进行更新，确定目标图像增强模型。
36.本发明实施例提供的图像增强模型的训练方法，结合边缘损失及色彩损失进行损失计算，能够保证所训练得到的目标图像增强模型的准确性。
37.根据第二方面，本发明实施例还提供了一种图像增强方法，包括：
38.获取目标双目相机采集的不同视场下的第一图像以及第二图像，所述第一图像为rgb图像，所述第二图像为nir图像；
39.将所述第一图像以及所述第二图像输入目标图像增强模型中，得到目标图像，所述目标图像增强模型是根据本发明第一方面或第一方面任一实施方式中所述的图像增强模型的训练方法训练得到的。
40.本发明实施例提供的图像增强方法，在所训练得到的准确的目标图像增强模型的基础上对第一图像以及第二图像进行图像增强处理，能够实现在低照度下的图像成像问题。
41.根据第三方面，本发明实施例提供了一种图像增强模型的训练装置，包括：
42.第一获取模块，用于获取样本图像组，所述样本图像组包括双目相机采集的样本图像以及基准图像，所述样本图像为所述双目相机在第一照度下进行近红外补光后采集的图像，所述基准图像为所述双目相机在第二照度下采集的图像，所述样本图像包括rgb图像和nir图像，所述rgb图像和所述nir图像位于所述双目相机的不同视场，所述第一照度低于第二照度；
43.预测模块，用于将所述rgb图像以及所述nir图像输入图像增强模型中，以利用所述图像增强模型对所述rgb图像以及所述nir图像进行视场对齐以及增强重建处理，得到图像增强预测图像，其中，所述视场对齐是将所述rgb图像和所述nir图像在亮度通道上的特征相似关系作用于所述rgb图像和/或所述nir图像实现的；
44.更新模块，用于基于所述图像增强预测图像与所述基准图像进行损失计算，以对所述图像增强模型的参数进行更新，确定目标图像增强模型。
45.根据第四方面，本发明实施例还提供了一种图像增强装置，包括：
46.第二获取模块，用于获取目标双目相机采集的不同视场下的第一图像以及第二图像，所述第一图像为rgb图像，所述第二图像为nir图像；
47.图像处理模块，用于将所述第一图像以及所述第二图像输入目标图像增强模型中，得到目标图像，所述目标图像增强模型是根据本发明第一方面或第一方面任一实施方式中所述的图像增强模型的训练方法训练得到的。
48.根据第五方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的图像增强模型的训练方法，或者，执行第二方面所述的图像增强方法。
49.根据第六方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的图像增强模型的训练方法，或者，执行第二方面所述的图像增强方法。
50.需要说明的是，本发明实施例提供的图像增强模型的训练装置、图像增强装置、电子设备及计算机可读存储介质的相应有益效果请参见上文图像增强模型的训练方法或图像增强方法的对应有益效果的描述，在此不再赘述。
附图说明
51.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
52.图1是根据本发明实施例的图像增强模型的训练方法的流程图；
53.图2是根据本发明实施例的图像增强模型的训练方法的流程图；
54.图3是根据本发明实施例的图像增强模型的训练示意图；
55.图4是根据本发明实施例的对齐网络的结构示意图；
56.图5是根据本发明实施例的视场对齐的结构示意图；
57.图6是根据本发明实施例的图像增强方法的流程图；
58.图7是根据本发明实施例的图像增强模型的训练装置的结构框图；
59.图8是根据本发明实施例的图像增强装置的结构框图；
60.图9是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
61.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
62.本发明实施例提供的图像增强模型的训练方法，用于训练得到目标图像增强模型，该目标图像增强模型适用于低照度环境下的成像。该图像增强模型的训练方法是基于双目相机实现的，当相机使用红外滤光片时只获得可见光进行成像，即rgb图像，不使用红外滤光片时可同时获得可见光及红外光进行成像，即nir图像。
63.本发明实施例提供的图像增强方法是基于上述的目标图像增强模型实现的，是一种基于双目rgb-nir双光融合的低照度环境下的图像增强方法，从而实现低照度环境下的成像。
64.根据本发明实施例，提供了一种图像增强模型的训练方法以及图像增强方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
65.在本实施例中提供了一种图像增强模型的训练方法，可用于电子设备，如电脑、移动终端等，图1是根据本发明实施例的图像增强模型的训练方法的流程图，如图1所示，该流程包括如下步骤：
66.s11，获取样本图像组。
67.其中，所述样本图像组包括双目相机采集的样本图像以及基准图像，所述样本图像为所述双目相机在第一照度下进行近红外补光后采集的图像，所述样本图像包括rgb图像和nir图像，所述rgb图像和所述nir图像位于所述双目相机的不同视场，所述基准图像为所述双目相机在第二照度下采集的图像，所述第一照度低于第二照度。
68.在对图像增强模型进行训练时，每迭代一次需要使用一个样本图像组，在该样本图像组内包括样本图像以及基准图像。样本图像是在低照度且同时进行nir补光得到的，基准图像是在环境正常照度环境下得到的。具体地，在获得样本图像组时，进行环境光照设置，将环境调节至低照度且同时进行nir补光。双目相机中的第一相机使用红外滤光片，即ir滤光片，第二相机不使用ir滤光片，基于此，采用第一相机采集rgb图像，采用第二相机采集nir图像。其中，第一相机具有第一视场，第二相机具有第二视场。
69.再对环境正常补光，第一相机和/或第二相机使用ir滤光片获取的rgb图像，将其作为基准图像。这样，低照度环境下的rgb图像以及nir图像与正常照度环境下的基准图像即构成一个样本图像组。
70.需要说明的是，关于第一照度以及第二照度的具体数值是根据实际需求进行设置
的，在此对其并不做任何限制。在本发明实施例的描述中，第一照度对应于低照度，第二照度对应于正常环境照度。例如，正常环境下的光照强度是100lux，可以将低于10lux的照度称之为低照度，或者，也可以设置其他照度阈值以确定低照度。在此对其并不做任何限定，具体根据实际需求进行设置。
71.s12，将rgb图像以及nir图像输入图像增强模型中，以利用图像增强模型对rgb图像以及nir图像进行视场对齐以及增强重建处理，得到图像增强预测图像。
72.其中，所述视场对齐是将所述rgb图像和所述nir图像在亮度通道上的特征相似关系作用于所述rgb图像和/或所述nir图像实现的。
73.图像增强模型包括用于视场对齐的对齐模块以及用于增强重建处理的增强重建单元，对齐模块是用于实现视场对齐，对齐模块将双目相机的两个视场转换到一个视场，例如，将第一视场的rgb图像转换到第二视场，或，将第二视场的nir图像转换到第一视场，等等。即，只有不同视场下的两个样本图像转换至同一视场下方可进行后续的图像增强重建处理。具体地，在进行视场转换时，分别提取rgb图像与nir图像的亮度通道上的特征得到特征相似关系，将其作用于rgb图像与nir图像上，得到对齐关系以实现视场对齐。即，得到视场对齐的处理结果。
74.在一些实施方式中，在得到特征相似关系之后，先将特征相似关系作用于rgb图像和/或nir图像上，进行视场转换，再提取视场转换后图像的语义特征得到对齐的处理结果。或者，先提取rgb图像和/或nir图像的语义特征，再将特征相似关系作用于语义特征上，得到视场对齐的处理结果。
75.在经过对齐模块的处理之后，两个样本图像还是属于各自的域，即rgb图像从第一视场对齐到第二视场后还是rgb图像，nir图像从第二视场对齐到第一视场后还是nir图像，而在本实施例中希望要融合rgb的色彩和nir的细节从而实现在低照度环境下的成像。基于此，在对齐模块之后，还需要进行增强重建处理，得到融合rgb与nir的图像增强预测图像。
76.对齐模块的实现原理可以是计算rgb图像与nir图像之间的相似度，确定对齐关系；再利用该对齐关系实现不同视场下图像的视场转换；也可以是利用rgb图像与nir图像之间的光流场，将光流场作为对齐关系；再利用该对齐关系实现不同视场下图像的视场转换。当然，对齐模块还可以其他方式实现，在此对其并不做任何限定。
77.增强重建单元用于基于对齐模块的输出进行增强重建，期望该增强重建单元能够融合rgb图像的色彩信息及nir图像的细节信息。对于增强重建单元可以是通过监督学习的方式来实现，在此引入基准图像进行监督学习。
78.s13，基于图像增强预测图像与基准图像进行损失计算，以对图像增强模型的参数进行更新，确定目标图像增强模型。
79.对于图像增强模型而言，其期望输出的图像为基准图像，基于此，基于图像增强预测图像与基准图像之间的差异进行损失计算，并基于损失计算的结果对图像增强模型的参数进行更新。在进行损失计算时，可以结合其他损失，例如，使用smoothloss来限制对齐模块，使得相邻像素具有相似的权重，等等。具体损失函数的使用根据实际需求进行设置，在此对其并不做任何限定。经过对图像增强模型进行多轮的参数更新，最终确定出目标图像增强模型。
80.目标图像增强模型在推理时，其输入为双目相机中第一相机采集的第一图像以及
第二相机采集的第二图像，输出为目标增强图像。
81.本实施例提供的图像增强模型的训练方法，通过采集双目相机在第一照度下的rgb图像和nir图像作为样本图像，第二照度下的图像作为基准图像，将样本图像与基准图像组成样本组，即，通过构建样本图像组的方式对图像增强模型进行训练，得到目标图像增强模型，利用该图像增强模型实现了双目相机的rgb-nir的图像融合，从而解决了低照度环境下的成像问题。
82.在本实施例中提供了一种图像增强模型的训练方法，可用于电子设备，如电脑、移动终端等，图2是根据本发明实施例的图像增强模型的训练方法的流程图，如图2所示，该流程包括如下步骤：
83.s21，获取样本图像组。
84.其中，所述样本图像组包括双目相机采集的样本图像以及基准图像，所述样本图像为所述双目相机在第一照度下进行近红外补光后采集的图像，所述样本图像包括rgb图像和nir图像，所述rgb图像和所述nir图像位于所述双目相机的不同视场，所述基准图像为所述双目相机在第二照度下采集的图像，所述第一照度低于第二照度。
85.详细请参见图1所示实施例的s11，在此不再赘述。
86.s22，将rgb图像以及nir图像输入图像增强模型中，以利用图像增强模型对rgb图像以及nir图像进行视场对齐以及增强重建处理，得到图像增强预测图像。
87.其中，所述视场对齐是将所述rgb图像和所述nir图像在亮度通道上的特征相似关系作用于所述rgb图像和/或所述nir图像实现的。
88.具体地，上述s22包括：
89.s221，利用图像增强模型中的两个特征提取单元对rgb图像以及nir图像进行亮度通道上的特征提取得到第一参考特征和第二参考特征。
90.两个特征提取单元分别与第一视场以及第二视场对应，使用两个特征提取单元分别对rgb图像以及nir图像进行亮度通道上的特征提取，能够克服rgb图像与nir图像存在的明显的色彩差异对双目对齐带来的困难。对于两个特征提取单元而言，其结构相同参数不同。由于两个特征提取单元的处理过程类似，在下文中仅对用于处理rgb图像的特征提取单元的处理过程进行描述。
91.在利用特征提取单元对rgb图像进行特征提取时，先将rgb图像的图像格式转换为yuv空间，以便于仅在亮度通道上进行特征提取。由于nir图像的三个通道都是一样的，没有色彩；而rgb图像是含有色彩的，为了除去色彩带来的差异，所以只在y通道上进行特征提取并计算相似度。
92.为下文描述方便，将rgb图像进行亮度通道的特征提取得到的特征称之为第一参考特征，将nir图像进行亮度通道的特征提取得到的特征称之为第二参考特征。
93.s222，利用图像增强模型中的两个语义特征提取单元分别对rgb图像以及nir图像进行语义特征提取得到第一语义特征以及第二语义特征。
94.其中，所述特征提取单元与所述语义特征提取单元的结构相同且参数不同。
95.语义特征提取单元也是与第一视场以及第二视场分别对应的，即，两个不同视场下的图像分别采用不同的语义特征提取单元进行语义特征的提取。其中，两个语义特征提取单元的结构相同参数不同。
96.特征提取单元与语义特征提取单元均可以是基于卷积神经网络实现，对于卷积神经网络而言，不同深度对应着不同层次的语义特征，浅层网络分辨率高，学的更多是细节特征，深层网络分辨率低，学的更多是语义特征。
97.在一些实施方式中，语义特征提取单元是由多个残差层实现，每隔一层分辨率就降低一半，同时通道数量也在增加，用来提取具有不同语义信息的特征。利用两个语义特征提取单元分别对rgb图像以及nir图向进行语义特征的提取，得到第一视场下的第一语义特征以及第二视场下的第二语义特征。
98.需要说明的是，特征提取单元与语义特征提取单元是并行处理的，特征提取单元用于提取样本图像y通道的特征，并对第一参考特征与第二参考特征进行相似度计算得到特征相似关系；语义特征提取单元用于提取样本图像的语义特征；将特征相似关系作用于语义特征上，用于实现视场对齐。
99.在一些实施方式中，特征提取单元与语义特征提取单元的结构相同参数不同，均可以采用卷积神经网络实现，不同的是网络参数。特征聚合单元期望使用特征提取单元提取出的亮度通道上的特征计算的相似度关系，将rgb与nir的语义特征进行融合，该操作需要在相同形状的特征图上进行，所以需要保持特征提取单元与语义特征提取单元的结构一致。
100.s223，利用图像增强模型计算第一参考特征和第二参考特征间的特征相似关系，并基于特征相似关系对第一语义特征和/或第二语义特征进行预设视场下的特征对齐得到对齐特征以实现视场对齐。
101.其中，所述预设视场为所述第一视场和/或第二视场。
102.对第一参考特征以及第二参考特征进行相似度计算，得到提取出的亮度通道上特征之间的特征相似关系。其中，相似度的计算通过向量之间的点积来实现，即第一参考特征与第二参考特征之间的点积。
103.对于相似度的计算，是计算第一参考特征与第二参考特征两两特征点之间的相似度来构建两个亮度通道的特征之间的相关空间关系，即特征相似关系。
104.在一些实施方式中，计算第一参考特征和第二参考特征间的特征相似关系包括：
105.(1)获取rgb图像的第一参考特征中第一像素点所在的目标行。
106.(2)从nir图像的第二参考特征中提取与目标行对应的行的第二像素点。
107.(3)计算第一像素点与第二像素点的之间的相似度，确定特征相似关系。
108.基于双摄系统极线约束，即双目视觉世界中同一点在两台相机图像中的像素坐标位于同一行，基于此，仅计算某一视图下的特征点与另一视图下同一行的特征点之间的相似度，而非另一视图下的所有特征点，大大地减少计算量。具体地，先确定第一参考特征中各个第一像素点所在的目标行；再分别从第二参考特征中提取出与目标行对应的行的所有第二像素点，计算第一像素点与所有第二像素点之间的点积，确定特征相似关系。例如，对于坐标为(1，1)的第一像素点，从第二参考特征中提取出第一行的所有第二像素点，在计算第一像素点与所有第二像素点的点积，确定特征相似关系。
109.若预设视场为第一视场，即，利用特征相似关系将第二视场的第二语义特征对齐到第一视场下，得到对齐处理后的第二语义特征，也可将对其处理后得的第二语义特征称之为第二对齐特征。
110.若预设视场为第二视场，即，利用特征相似关系将第一视场的第一语义特征对齐到第二视场下，得到对齐处理后的第一语义特征，也可将对其处理后得的第一语义特征称之为第一对齐特征。
111.若预设视场为第一视场以及第二视场，则表示需要分别将第一视场对齐到第二视场，以及将第二视场对齐到第一视场。利用特征相似关系将第一视场的第一语义特征对齐到第二视场下，得到对齐处理后的第一语义特征，即，第一对齐特征；利用特征相似关系将第二视场的第二语义特征对齐到第一视场下，得到对齐处理后的第二语义特征，即，第二对齐特征。
112.在一些实施方式中，图3示出了图像增强模型的训练结构示意图。如图3所示，特征提取单元包括分别用于提取y通道的特征提取单元以及提取语义特征的语义特征提取单元。其中，特征提取单元为多层特征提取，语义特征提取单元为多层语义特征提取。特征提取单元为两个，分别与第一视场以及第二视场对应；同样地，语义特征提取单元为两个，分别与第一视场以及第二视场对应。图3中的多层语义特征提取、多层特征提取以及相似度计算均属于对齐模块。
113.在一些实施方式中，图4示出了对齐模块的具体实现，对于多层语义特征提取以及多层提取均是基于残差单元实现的。
114.在一些实施方式中，上述s223包括：
115.(1)计算第一参考特征和第二参考特征间的相似度，得到相似度矩阵。
116.(2)将相似度矩阵内的元素映射为预设范围内的值，确定特征相似关系。
117.如图5所示，先计算第一参考特征与第二参考特征之间的相似度得到相似度矩阵，再将相似度矩阵内的元素值映射为预设范围内的值，从而得到特征相似关系。其中，预设范围可以是[0，1]，也可以是其他范围，在此对其并不做任何限定。例如，映射可以采用softmax函数实现，也可以采用其他方式实现等等。该特征相似关系表示某一视角下某像素点对应另一视角下所在行像素点对该像素点的相似权重，然后利用该相似权重即可将另一视角的语义特征对齐到当前视角。例如，若将第一视场转换为第二视场，则计算第一语义特征与特征相似关系的乘积，得到第二视场下的第一语义特征。
[0118]
在此基础上，基于特征相似关系对第一语义特征和/或第二语义特征进行预设视场下的特征对齐得到对齐特征以实现所述视场对齐。例如，利用特征相似关系，将第一视场下的第一语义特征对齐到第二视场下，得到第一语义特征对应的第一对齐特征；和/或，将第二视场下的第二语义特征对齐到第一视场下，得到第二语义特征对应的第二对其特征。
[0119]
对于视场对齐可能仍存在不准确的地方，导致最终聚合后的图像存在伪影。针对该情况，利用先计算两个参考特征间的相似度得到相似度矩阵，再将相似度矩阵映射为预设范围内的权重值，得到特征相似关系，该处理过程是利用注意力机制的处理思想来抑制经过视场对齐后仍存在的结构不一致的地方，以此来指导后续融合重建过程。
[0120]
s224，利用图像增强模型中的增强重建单元对对齐特征以及相应的语义特征进行增强重建处理，得到图像增强预测图像。
[0121]
增强重建单元在对齐单元的基础上进行增强重建处理，该增强重建单元的输出为图像增强预测图像。
[0122]
在一些实施方式中，所述对齐特征包括第一语义特征对应的第一对齐特征以及第
二语义特征对应的第二对齐特征，所述增强重建单元包括结构相同且参数不同的第一增强重建单元以及第二增强重建单元。基于此，上述s224包括：
[0123]
(1)利用第一增强重建单元对第一对齐特征与第二语义特征聚合后的特征进行增强重建处理，得到第一图像增强预测图像。
[0124]
(2)利用第二增强重建单元对第二对齐特征与所述第一语义特征聚合后的特征进行增强重建处理，得到第二图像增强预测图像。
[0125]
经过视角对齐处理不能保证图像每一处像素点都是准确对齐的，这会导致上述两路学习的难易程度不一样，所以对两路同时增强，而非单独增强，可以更好的进行监督学习。为了充分利用双目相机的两个视角提供的互补信息，同时对左右两个视场下的图像进行增强重建，能够在结合左右图互补信息的同时又能保持对单图信息的充分利用，从而进一步提升重建性能。
[0126]
先对同一视场下的第一对齐特征与第二语义特征进行聚合，得到第一聚合特征，以及对同一视场下的第二对齐特征与第一语义特征进行聚合，得到第二聚合特征。再分别利用第一增强重建单元对第一聚合特征进行增强重建处理，得到第一图像增强预测模型，利用第二增强重建单元对第二聚合特征进行增强重建处理，得到第二图像增强预测模型。其中，对于特征的聚合方式可以是采用相连、拼接等方式，在此对其并不做任何限定。
[0127]
s23，基于图像增强预测图像与基准图像进行损失计算，以对图像增强模型的参数进行更新，确定目标图像增强模型。
[0128]
具体地，上述s23包括：
[0129]
s231，对图像增强预测图像以及基准图像进行边缘损失的计算，得到边缘损失。
[0130]
对于边缘损失，使用sobel边缘检测算子分别提取图像增强预测图像与基准图像的边缘然后计算差值，使得训练的时候边缘loss的贡献只来源于边缘。
[0131]
s232，对图像增强预测图像以及基准图像进行色彩损失的计算，得到色彩损失。
[0132]
对于色彩loss，使用颜色直方图衡量色彩差异。颜色直方图主要描述整个图像中不同颜色的比例，而不考虑颜色的空间位置，所以对于一张图，可以得到的颜色直方图是大小为3
×
256的矩阵，其中3对应于三个颜色通道(即r、g和b)，256表示像素的取值范围。例如，可以采用如下公式计算色彩损失lc：
[0133][0134]
其中，c
pre
为基准图像，cq为图像增强预测图像。
[0135]
s233，基于边缘损失以及色彩损失，对图像增强模型的参数进行更新，确定目标图像增强模型。
[0136]
除了边缘损失以及色彩损失以外，还可以包括使用smoothloss来限制对齐模块得到的注意力图，使得相邻像素具有相似的权重。或者，还可以包括其他损失，具体根据实际需求进行设置，对其并不做任何限制。
[0137]
在一些实施方式中，所述基准图像包括所述第一视场下的第一基准图像以及所述第二视场下的第二基准图像，上述s23包括：
[0138]
(1)基于第一基准图像以及第一图像增强预测图像进行第一损失计算，得到第一损失。
[0139]
(2)基于第二基准图像以及第二图像增强预测图像进行第二损失计算，得到第二损失。
[0140]
(3)基于第一损失以及第二损失对图像增强模型的参数进行更新，确定目标图像增强模型。
[0141]
同样地，基准图像包括两个视场下的图像，即第一视场下的第一基准图像以及第二视场下的第二基准图像。分别利用第一基准图像以及第一图像增强预测图像进行第一损失计算得到第一损失，相应地，利用第二基准图像以及第二图像增强预测图像进行第二损失计算得到第二损失。再基于第一损失与第二损失进行参数更新，确定出目标图像增强模型。其中，第一损失包括但不限于上文所述的边缘损失以及色彩损失，第二损失包括但不限于上文所述的边缘损失以及色彩损失。
[0142]
在进行视角对齐处理后，不能保证图像每一处像素点都是准确对齐的，这会导致上述两路学习的难易程度不一样，所以对两路同时增强，而非单独增强，可以更好的进行监督学习。
[0143]
关于损失的计算请参见上文s23的相关描述，在此不再赘述。
[0144]
本实施例提供的图像增强模型的训练方法，nir图像三个通道都是一样的没有色彩，rgb是含有色彩的，所以只在y通道上做相似度计算能够去除色彩带来的差异；同时使用两个不同的特征提取模块及语义提取模块分别进行相似度计算及特征聚合，来完成双目视图对齐，能够克服rgb与nir图像存在着明显的色彩差异对双目对齐带来的困难。结合边缘损失及色彩损失进行损失计算，能够保证所训练得到的目标图像增强模型的准确性。
[0145]
在本实施例中提供了一种图像增强方法，可用于电子设备，如电脑、移动终端等，图6是根据本发明实施例的图像增强方法的流程图，如图6所示，该流程包括如下步骤：
[0146]
s31，获取目标双目相机采集的不同视场下的第一图像以及第二图像。
[0147]
其中，所述第一图像为rgb图像，所述第二图像为nir图像。
[0148]
s32，将第一图像以及第二图像输入目标图像增强模型中，得到目标图像。
[0149]
其中，所述目标图像增强模型是根据上述的图像增强模型的训练方法训练得到的。
[0150]
在利用目标图像增强模型进行推理时，将目标双目相机采集的不同视场下的第一图像以及第二图像输入到目标图像增强模型中，经过目标图像增强模型的处理，即可得到目标图像。其中，关于目标图像增强模型的具体实现过程及原理请参见上文所述，在此不再赘述。
[0151]
本实施例提供的图像增强方法，在所训练得到的准确的目标图像增强模型的基础上对第一图像以及第二图像进行图像增强处理，能够实现在低照度下的图像成像问题。
[0152]
在本实施例中还提供了一种图像增强模型的训练装置以及图像增强装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0153]
本实施例提供一种图像增强模型的训练装置，如图7所示，包括：
[0154]
第一获取模块41，用于获取样本图像组，所述样本图像组包括双目相机采集的样本图像以及基准图像，所述样本图像为所述双目相机在第一照度下进行近红外补光后采集
的图像，所述样本图像包括rgb图像和nir图像，所述rgb图像和所述nir图像位于所述双目相机的不同视场，所述基准图像为所述双目相机在第二照度下采集的图像，所述第一照度低于第二照度；
[0155]
预测模块42，用于将所述rgb图像以及所述nir图像输入图像增强模型中，以利用所述图像增强模型对所述rgb图像以及所述nir图像进行视场对齐以及增强重建处理，得到图像增强预测图像，其中，所述视场对齐是将所述rgb图像和所述nir图像在亮度通道上的特征相似关系作用于所述rgb图像和/或所述nir图像实现的；
[0156]
更新模块43，用于基于所述图像增强预测图像与所述基准图像进行损失计算，以对所述图像增强模型的参数进行更新，确定目标图像增强模型。
[0157]
在一些实施方式中，预测模块42包括：
[0158]
第一提取单元，用于利用所述图像增强模型中的两个特征提取单元分别对所述rgb图像以及所述nir图像进行亮度通道上的特征提取得到第一参考特征和第二参考特征；
[0159]
第二提取单元，用于利用所述图像增强模型中的两个语义特征提取单元分别对所述rgb图像以及所述nir图像进行语义特征提取得到第一语义特征和第二语义特征，所述特征提取单元与所述语义特征提取单元的结构相同且参数不同；
[0160]
特征对齐单元，用于利用所述图像增强模型计算所述第一参考特征和第二参考特征间的特征相似关系，并基于所述特征相似关系对所述第一语义特征和/或所述第二语义特征进行预设视场下的特征对齐得到对齐特征以实现所述视场对齐。
[0161]
在一些实施方式中，所述特征对齐单元包括：
[0162]
第一计算子单元，用于计算所述第一参考特征和所述第二参考特征间的相似度，得到相似度矩阵；
[0163]
映射子单元，用于将所述相似度矩阵内元素的值映射为预设范围内的值，确定所述特征相似关系。
[0164]
在一些实施方式中，第一提取单元包括：
[0165]
第一获取子单元，用于获取所述rgb图像的第一参考特征中第一像素点所在的目标行；
[0166]
提取子单元，用于从所述nir图像的第二参考特征中提取与所述目标行对应的行的第二像素点；
[0167]
第二计算子单元，用于计算所述第一像素点与所述第二像素点的之间的相似度，确定所述特征相似关系。
[0168]
在一些实施方式中，所述对齐特征包括所述第一语义特征对应的第一对齐特征以及所述第二语义特征对应的第二对齐特征，所述增强重建单元包括结构相同且参数不同的第一增强重建单元以及第二增强重建单元，增强重建单元包括：
[0169]
第一增强重建子单元，用于利利用所述第一增强重建单元对所述第一对齐特征与所述第二语义特征聚合后的特征进行增强重建处理，得到第一图像增强预测图像；
[0170]
第二增强重建子单元，用于利用所述第二增强重建单元对所述第二对齐特征与所述第一语义特征聚合后的特征进行增强重建处理，得到第二图像增强预测图像。
[0171]
在一些实施方式中，所述基准图像包括第一基准图像以及第二基准图像，所述第一基准图像和所述第二基准图像位于所述双目相机的不同视场，更新模块43包括：
[0172]
第一损失单元，用于基于所述第一基准图像以及所述第一图像增强预测图像进行第一损失计算，得到第一损失；
[0173]
第二损失单元，用于基于所述第二基准图像以及所述第二图像增强预测图像进行第二损失计算，得到第二损失；
[0174]
更新单元，用于基于所述第一损失以及所述第二损失对所述图像增强模型的参数进行更新，确定目标图像增强模型。
[0175]
在一些实施方式中，更新单元包括：
[0176]
第一计算子单元，用于对所述图像增强预测图像以及所述基准图像进行边缘损失的计算，得到边缘损失；
[0177]
第二计算子单元，用于对所述图像增强预测图像以及所述基准图像进行色彩损失的计算，得到色彩损失；
[0178]
更新子单元，用于基于所述边缘损失以及所述色彩损失，对所述图像增强模型的参数进行更新，确定目标图像增强模型。
[0179]
本实施例提供一种图像增强装置，如图8所示，包括：
[0180]
第二获取模块51，用于获取目标双目相机采集的不同视场下的第一图像以及第二图像，所述第一图像为rgb图像，所述第二图像为nir图像；
[0181]
图像处理模块52，用于将所述第一图像以及所述第二图像输入目标图像增强模型中，得到目标图像，所述目标图像增强模型是根据上述的图像增强模型的训练方法训练得到的。
[0182]
本实施例中的图像增强模型的训练装置以及图像增强装置是以功能单元的形式来呈现，这里的单元是指asic电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
[0183]
上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
[0184]
本发明实施例还提供一种电子设备，具有上述图7所示的图像增强模型的训练装置，或图8所示的图像增强装置。
[0185]
请参阅图9，图9是本发明可选实施例提供的一种电子设备的结构示意图，如图9所示，该电子设备可以包括：至少一个处理器61，例如cpu(central processing unit，中央处理器)，至少一个通信接口63，存储器64，至少一个通信总线62。其中，通信总线62用于实现这些组件之间的连接通信。其中，通信接口63可以包括显示屏(display)、键盘(keyboard)，可选通信接口63还可以包括标准的有线接口、无线接口。存储器64可以是高速ram存储器(random access memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器64可选的还可以是至少一个位于远离前述处理器61的存储装置。其中处理器61可以结合图7或图8所描述的装置，存储器64中存储应用程序，且处理器61调用存储器64中存储的程序代码，以用于执行上述任一方法步骤。
[0186]
其中，通信总线62可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。通信总线62可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0187]
其中，存储器64可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：ram)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard disk drive，缩写：hdd)或固态硬盘(英文：solid-state drive，缩写：ssd)；存储器64还可以包括上述种类的存储器的组合。
[0188]
其中，处理器61可以是中央处理器(英文：central processing unit，缩写：cpu)，网络处理器(英文：network processor，缩写：np)或者cpu和np的组合。
[0189]
其中，处理器61还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：asic)，可编程逻辑器件(英文：programmable logic device，缩写：pld)或其组合。上述pld可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：cpld)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：fpga)，通用阵列逻辑(英文：generic array logic,缩写：gal)或其任意组合。
[0190]
可选地，存储器64还用于存储程序指令。处理器61可以调用程序指令，实现如本技术任一实施例中所示的图像增强模型的训练方法，或本技术任一实施例中所示的图像增强方法。
[0191]
本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的图像增强模型的训练方法或图像增强方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid-state drive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。
[0192]
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。