图像增强模型训练的方法、图像增强的方法、可读介质与流程

1.本公开涉及图像处理技术领域，例如是夜景图像增强技术领域，特别涉及一种图像增强模型训练的方法、图像增强的方法、计算机可读介质。


背景技术：

2.在夜间等亮度较低的情况下，采集到的图像往往亮度过低，不够清晰。尤其是，当采用手机等便携电子设备采集图像时，基于其尺寸的限制，其中的图像采集单元相对单反相机等的感光能力弱，以上问题就更严重。
3.为此，对在低亮度环境下采集的图像，可通过图像增强技术提高其亮度和对比度，使其更加清晰，例如是进行夜景图像增强(“夜景图像增强”仅表示图像整体亮度较低，而不代表其必须是在夜间的时间采集的)。但是，现有图像增强技术的效果不能同时有效的提升图像的亮度和对比度。


技术实现要素：

4.本公开提供一种图像增强模型训练的方法、图像增强的方法、计算机可读介质。
5.第一方面，本公开实施例提供一种图像增强模型训练的方法，所述图像增强模型包括用于增强亮度和对比度的增强模块，所述增强模块包括与多个预设的亮度区间一一对应的卷积支路；所述增强模块用于将输入其中的图像的像素按所属亮度区间输入对应卷积支路，在各卷积支路中用第一卷积单元卷积，并将各卷积支路输出的图像合并后用第二卷积单元卷积；所述方法包括：
6.将样本图像输入所述图像增强模型，获取所述图像增强模型输出的结果图像；
7.计算损失；所述损失包括结果图像相对标准图像的图像损失，以及所述卷积支路输出的图像相对标准图像在各卷积支路中的亮度直方图约束的第一约束损失；
8.根据所述损失调整增强模块；
9.若不满足训练结束条件，返回所述将样本图像输入所述图像增强模型的步骤。
10.在一些实施例中，所述卷积支路还包括：
11.设于所述第一卷积单元后的采样段，所述采样段包括多个用于进行采样的采样单元；其中，每个所述采样单元的输入来自其所在卷积支路和至少一个其它卷积支路。
12.在一些实施例中，所述损失还包括：
13.输入至所述采样段的图像相对输入至所述增强模块的图像在各卷积支路中的亮度直方图约束的第二约束损失。
14.在一些实施例中，所述损失loss通过以下公式计算：
15.loss＝||i
out-i
gt
||1+λ1hist(fm
out
,i
gt
,s)+λ2hist(fm
in
,i
in
,s)；
16.[0017][0018]
其中，hist(fm
out
,i
gt
,s)代表所述第一约束损失，hist(fm
in
,i
in
,s)代表所述第二约束损失，i
in
代表输入至所述增强模块的图像，i
out
代表所述结果图像，i
gt
代表所述标准图像，fm
in
代表输入至所述采样段的图像，fm
out
代表所述卷积支路输出的图像，s代表亮度区间的个数，||||1代表l1范数函数，hist代表hist统计函数，λ1代表预设的大于0的系数，λ2代表预设的大于0的系数。
[0019]
在一些实施例中，所述采样段包括用于进行下采样的下采样单元，以及设于所述下采样单元后的、用于进行上采样的上采样单元。
[0020]
在一些实施例中，所述下采样单元用于进行残差下采样；
[0021]
所述上采样单元用于进行残差上采样。
[0022]
在一些实施例中，所述卷积支路还包括：
[0023]
连接在所述采样段的输入端与输出端间的短路连接，所述短路连接用于将输入至采样段的图像短接至采样段的输出端。
[0024]
在一些实施例中，所述图像增强模型还包括：
[0025]
对齐模块，其设于所述增强模块前，用于将输入至所述图像增强模型的待增强图像和邻近图像对齐；所述邻近图像为与待增强图像对应相同场景，且与待增强图像在邻近的时间采集的图像；
[0026]
融合模块，其设于所述对齐模块与增强模块间，用于将所述对齐模块输出的多幅对齐后的图像融合为一幅图像输入至增强模块。
[0027]
第二方面，本公开实施例提供一种图像增强的方法，其包括：
[0028]
至少将待增强图像输入至图像增强模型；所述图像增强模型是通过本公开实施例的任意一种图像增强模型训练的方法训练得到的；
[0029]
获取所述图像增强模型输出的结果图像。
[0030]
第三方面，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现：
[0031]
本公开实施例的任意一种图像增强模型训练的方法，和/或，本公开实施例的任意一种图像增强的方法。
[0032]
本公开实施例中，在图像增强模型的训练过程中引入了亮度直方图约束(属于正则约束)，从而其所得的图像增强模型可有效的根据不同区域的亮度以不同方式进行亮度增强，即，在保持低亮度区域亮度基本不变的情况下有效增加高亮度区域的亮度，从而其既提高了亮度也提高了对比度，可满足超级夜景等的图像增强(如夜景图像增强)需求(在保持夜景的情况下使其中局部的景物增亮)，实现更好的图像增强效果。
附图说明
[0033]
在本公开实施例的附图中：
[0034]
图1为本公开实施例提供的一种图像增强模型训练的方法的流程图；
[0035]
图2为本公开实施例提供的一种图像增强模型的处理流程示意图；
[0036]
图3为本公开实施例提供的一种图像增强模型的对齐模块的输入图像的示意图；
[0037]
图4为本公开实施例提供的另一种图像增强模型的对齐模块的输入图像的示意图；
[0038]
图5为本公开实施例提供的一种图像增强模型的ap3d对齐模块的处理流程示意图；
[0039]
图6为本公开实施例提供的一种图像增强模型的ap3d对齐模块中的外观保持单元的处理流程示意图；
[0040]
图7为本公开实施例提供的一种图像增强模型的融合模块的处理流程示意图；
[0041]
图8为本公开实施例提供的一种图像增强模型的增强模块的处理流程示意图；
[0042]
图9为本公开实施例提供的一种图像增强模型的增强模块的残差下采样单元的处理流程示意图；
[0043]
图10为本公开实施例提供的一种图像增强模型的增强模块的残差上采样单元的处理流程示意图；
[0044]
图11为本公开实施例提供的一种图像增强的方法的流程图；
[0045]
图12为本公开实施例提供的一种计算机可读介质的组成框图。
具体实施方式
[0046]
为使本领域的技术人员更好地理解本公开的技术方案，下面结合附图对本公开实施例提供的图像增强模型训练的方法、图像增强的方法、计算机可读介质进行详细描述。
[0047]
在下文中将参考附图更充分地描述本公开，但是所示的实施例可以以不同形式来体现，且本公开不应当被解释为限于以下阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。
[0048]
本公开实施例的附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与详细实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细实施例进行描述，以上和其它特征和优点对本领域技术人员将变得更加显而易见。
[0049]
本公开可借助本公开的理想示意图而参考平面图和/或截面图进行描述。因此，可根据制造技术和/或容限来修改示例图示。
[0050]
在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
[0051]
本公开所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本公开所使用的术语“和/或”包括一个或多个相关列举条目的任何和所有组合。如本公开所使用的单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。如本公开所使用的术语“包括”、“由
……
制成”，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。
[0052]
除非另外限定，否则本公开所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本公开明确如此限定。
[0053]
本公开不限于附图中所示的实施例，而是包括基于制造工艺而形成的配置的修改。因此，附图中例示的区具有示意性属性，并且图中所示区的形状例示了元件的区的具体
形状，但并不是旨在限制性的。
[0054]
在一些相关技术中，可采用“超级夜景(super night)”技术进行图像增强。
[0055]
超级夜景技术中，用卷积神经网络(cnn，convolutional neural networks)等作为图像增强模型处理图像，以同时提高图像的亮度和对比度。
[0056]
也就是说，超级夜景技术的目的不是整体提高图像的亮度(使夜景变为白天)，而是在保持图像中低亮度区域的亮度基本不变的情况下，提高其中亮度相对较高的局部区域的亮度，使图像中的较亮的部分更加清晰明显(在保持夜景的情况下使其中局部的景物增亮)。例如，对夜间拍摄的夜景图像，其大部分区域都是漆黑的夜空，少数部分是星光、灯光等，而超级夜景技术应能在保持夜空相对黑暗(保持夜景)的情况下，提高其中星光、灯光等所在区域的亮度(局部增亮)。
[0057]
但是，在相关技术中图像增强模型的训练方式不合理，缺少适当的亮度约束，从而导致用其进行的图像增强(如超级夜景)的效果不理想：或是所得图像整体亮度提升不足，增亮效果不明显，图像仍不清晰；或是所得图像整体亮度提升过大而对比度不足，即不是局部增亮而成了整体增亮，如将夜景变为了白天。
[0058]
第一方面，参照图1至图10，本公开实施例提供一种图像增强模型训练的方法。
[0059]
其中，本公开实施例的图像增强模型可为神经网络(neural networks)模型，例如为包括卷积神经网络(cnn，convolutional neural networks)的模型等。
[0060]
其中，本公开实施例的图像增强模型可用于进行图像增强(如夜景图像增强)，具体是同时提高图像的亮度和对比度。从而对整体亮度较低的图像(如夜景图像)，该图像增强模型可在保持其低亮度区域亮度基本不变的情况下增加高亮度区域的亮度(在保持夜景的情况下使其中局部的景物增亮)，以实现“超级夜景(super night)”技术的图像增强。由此，以上图像增强模型也可视为“超级夜景网络(snn，super night network)”。
[0061]
其中，本公开实施例的方法用于对图像增强模型进行训练，即在训练过程中调整该图像增强模型中的参数，以改善图像增强模型的性能，最终得到满足要求的图像增强模型。
[0062]
本公开实施例中，图像增强模型包括用于增强亮度和对比度的增强模块，增强模块包括与多个预设的亮度区间一一对应的卷积支路；增强模块用于将输入其中的图像的像素按所属亮度区间输入对应卷积支路，在各卷积支路中用第一卷积单元卷积，并将各卷积支路输出的图像合并后用第二卷积单元卷积。
[0063]
参照图2，本公开实施例的图像增强模型中包括用于增强亮度和对比度的增强模块，例如为直方图约束模块(hcm，histogram consistency module)。
[0064]
参照图2、图8，图像(如后续融合模块fm输出的图像ifusion)进入该增强模块后，其中的像素(特征)根据自身亮度所处的亮度区间(即亮度等级的范围)进入相应的卷积支路形成多个(图中以3个为例)并行的数据流，即，每个卷积支路中的数据流仅包括亮度处于特定亮度区间内的像素(特征)。进入每个卷积支路的数据流被该卷积支路中的第一卷积单元(conv1)进行卷积处理，得到用于进行后续处理(如进入采样段)的图像(fmin)；而多个卷积支路输出的图像合并即为卷积支路的输出图像(fmout)，其再于“总体的”第二卷积单元(conv2)中进行卷积处理，并从增强模块输出，作为结果图像(iout)。
[0065]
其中，第二卷积单元和每个第一卷积单元中均可包括一个或多个卷积核，且不同
卷积单元中的卷积核的个数、尺寸、权重、元素等都可以是不同的。
[0066]
在一些实施例中，图像增强模型还包括对齐模块和融合模块。
[0067]
对齐模块，其设于增强模块前，用于将输入至图像增强模型的待增强图像和邻近图像对齐。
[0068]
其中，邻近图像为与待增强图像对应相同场景，且与待增强图像在邻近的时间采集的图像。
[0069]
融合模块，其设于对齐模块与增强模块间，用于将对齐模块输出的多幅对齐后的图像融合为一幅图像输入至增强模块。
[0070]
参照图2，作为本公开实施例的一种方式，图像增强模型还可包括设于增强模块前的对齐模块(am，alignment module)和融合模块(fm，fusion module)。对齐模块用于将输入图像增强模型的多幅图像对齐(如像素对齐)，之后融合模块将多幅图像融合为一幅图像，以供后续的增强模块处理。
[0071]
对于在夜间等亮度较低的情况下采集的图像，由于能采集到的光量较少，故往往存在噪点多、解析力弱、亮度低等问题，若直接对齐进行增强，可能导致误将噪点增强等问题。
[0072]
为此，可连续对同一场景采集多帧图像，以其中一帧作为待增强图像，其它为该待增强图像的邻近图像(在邻近的时间采集)，并将该待增强图像和邻近图像均输入至对齐模块、融合模块进行对齐和融合，从而，融合得到的图像结合了多幅图像的信息，可减少或消除图像中的噪点，并且获得更多的细节，具有更高的解析力。
[0073]
也就是说，通过对齐模块、融合模块可综合利用多幅(多帧)图像的信息，可丰富输入至增强模块(hcm)的图像的细节信息，使得最终得到的结果图像的细节有更大提升，噪点减少。
[0074]
其中，选取待增强图像和邻近图像的具体方式，以及对齐模块和融合模块的具体形式均是多样的。
[0075]
例如，参照图3，对视频流中连续的多帧图像int-n
…
int
…
int+n，可用第int帧图像作为待增强图像，而以其前后的各n(n为大于或等于1的整数)帧图像作为邻近图像。
[0076]
其中，对视频流进行的图像增强当然也可以是对视频流中的每一帧都进行图像增强，或者说对视频流中的每一帧都进行本公开实施例的方法。由此，对视频流的整体处理效果也就是对视频流进行了增强。
[0077]
再如，参照图4，对连续采集的多帧图像int
…
int+n，可用第int帧图像作为待增强图像，而以其后的n帧图像作为邻近图像。
[0078]
也就是说，对图像进行增强不局限于仅采集一帧图像，而是可采用连拍的方式，对同一场景连续采集多帧图像，从而获得更丰富的内容细节。
[0079]
例如，对齐模块(am)可采用外观保持的3d卷积网络(ap3d，appearance-preserving3d convolution)，ap3d可用于对图像做重建，并保证重建后的各图像表观对齐。
[0080]
ap3d的结构可参照图5，待增强图像和邻近图像被输入其中，其输入维度为n
×c×h×
w，其中n为图像数(帧数，图中以n＝3为例)，c为图像的通道(channel)数(图中以raw格式为例，故c＝1)，h和w分别为图像的长宽。例如，故输入的图像为int-1，int，int+1，其中
int为待增强图像，其它为邻近图像。
[0081]
参照图5，输入的图像先复制后分为两路，每路中的3幅图像再复制一份得到6幅图像并重新排序，从而每幅图像都会作为主图像与另一幅作为副图像的图像一起输入外观保持单元(apm，appearance-preserving module)，进行像素级相邻对齐，得到6幅图像。该6幅图像再插入(concat)原输入的3幅图像后得到9幅图像，该9幅图像用3*3*3的卷积核，进行步长(stride)为3，1，1的卷积(conv)，得到3幅图像(即对齐后重建的图像)作为对齐模块的输出(ialign)。
[0082]
具体的，外观保持单元(apm)的结构可参照图6，输入其中的主图像(central)和副图像(adjacent)通过一系列的变形(reshape)、l2范数(l2-norm)、哈达玛积(hadamard product)、内积(inner product)运算，将输入的两幅图像相邻对齐(aligned adjacent)为一幅图像。
[0083]
当然，对齐模块(am)可为其它任意能实现对齐功能的模块，比如其它3d卷积网络、光流网络、deformable卷积网络、memc网络等。
[0084]
而参照图7，融合模块(fm)可将对齐后的图像(ialign_t-1、ialign_t、ialign_t+1)直接进行特征(像素)相加(add)的融合，得到一幅融合图像(ifusion)，其维度为c
×h×
w。参照图2、图8，该图像(ifusion)即可为用于输入增强模块的图像。
[0085]
当然，融合模块(fm)可为其它的能实现融合功能的模块，比如级联模块、相加模块、卷积神经网络等。
[0086]
参照图1，本公开实施例的方法包括：
[0087]
s101、将样本图像输入图像增强模型，获取图像增强模型输出的结果图像。
[0088]
本公开实施例中，将样本图像输入到当前的图像增强模型中，由图像增强模型进行处理(图像增强)，得到结果图像(iout)。
[0089]
其中，样本图像位于预先设置的训练样本中，每个训练样本包括样本图像和对应的标准(ground truth)图像(i
gt
)，样本图像相当于待增强图像，而标准图像是样本图像进行了效果良好的图像增强后应得的图像。
[0090]
其中，获得对应的样本图像和标准图像的具体方式是多样的。例如，可以是通过图像采集单元(如摄像头)连续对同一场景进行曝光时间较短的图像采集和曝光时间较长的图像采集，以所得的一对(pair)长曝光图像(long)和短曝光图像(short)作为训练样本。其中，长曝光图像的曝光时间长，采集的光量多，相当于短曝光图像进行了图像增强后的图像，故可用短曝光图像作为样本图像，而长曝光图像作为标准图像。
[0091]
s102、计算损失。
[0092]
其中，损失包括结果图像相对标准图像的图像损失，以及卷积支路输出的图像相对标准图像在各卷积支路中的亮度直方图约束的第一约束损失。
[0093]
在得到结果图像后，即可根据损失函数计算对应的损失(loss)，损失能表征当前图像增强模型所得的结果图像与应有的标准结果之间的差异。
[0094]
本公开实施例中，损失至少包括图像损失和第一约束损失。
[0095]
该图像损失表征当前结果图像(即增强模块输出的图像iout)与对应的标准图像(i
gt
)之间的差异。
[0096]
而第一约束损失则表征卷积支路输出的图像(即卷积支路输出的，需要由第二卷
积单元进行卷积的图像fmout)相对于标准图像(i
gt
)，在以上各亮度区间中按照直方图统计的像素(特征)数分布的差异(即两个图像亮度直方图离散分布的差异)。由此，该第一约束损失相当于在训练过程中引入了亮度直方图约束(正则约束)。
[0097]
s103、根据损失调整增强模块。
[0098]
根据损失的情况，按照可降低损失的方向，相应对增强模块中的参数(如卷积核的权重和各元素值)进行调整，以改善图像增强模型。
[0099]
当然，若图像增强模型中还包括其它的模块(如以上对齐模块、融合模块等)，则这些模块可以是预先设定好的(如采用已有的成熟模块，或者是预先单独训练)，从而它们的参数在训练过程中可不进行调整，即不进行训练。
[0100]
当然，若以上模块也要根据损失调整参数，即也进行训练，也是可行的。
[0101]
其中，根据损失确定调整参数的具体方式是多样的，在此不再详细描述。
[0102]
s104、若不满足训练结束条件，返回将样本图像输入图像增强模型的步骤。
[0103]
判断当前是否满足预设的训练结束条件：
[0104]
若否，则返回将样本图像输入图像增强模型的步骤(s101)，重新选用样本图像继续进行训练，进一步优化图像增强模型。
[0105]
若是，则结束，图像增强模型的训练完成，后续可用其进行图像增强。
[0106]
其中，训练结束条件的具体形式是多样的，例如，训练结束条件可以是损失达到预定范围，或是图像增强模型的收敛达到一定程度，或是达到预定的循环次数等，在此不再详细描述。
[0107]
在一些实施例中，卷积支路还包括：设于第一卷积单元后的采样段，采样段包括多个用于进行采样的采样单元；其中，每个采样单元的输入来自其所在卷积支路和至少一个其它卷积支路。
[0108]
为更好的交互不同卷积支路中数据流的信息，可参照图8，在每个卷积支路的第一卷积单元后可设置采样段，采样段中包括采样单元，而且，每个采样单元的输入不仅来自其同一卷积支路的在前单元(如第一采样单元或其它采样单元)，而且还来自其它的卷积支路中对应的在前单元(即在其它卷积支路中，与本卷积支路的在前单元处于相同位置的在前单元)，多个输入合并(add)后再进入后续单元；或者说，第一采样单元和各采样单元的输出除了输入至自身卷积支路的在后采样单元外，还输出至其它卷积支路的对应的在后采样单元。
[0109]
例如，参照图8，在三个卷积支路中，中间的卷积支路的采样段的每个采样单元除接收本卷积支路在前单元的输出外，还接收其它两个卷积支路中对应的在前单元的输出，合并后进入再进入后续单元；而其它两个卷积支路的每个采样单元除接收本卷积支路在前单元的输出外，还接收中间卷积支路中对应的在前单元的输出。其中，因为上下两个卷积支路中像素的亮度差异较大，故不相互输出。
[0110]
在一些实施例中，采样段包括用于进行下采样的下采样单元，以及设于下采样单元后的、用于进行上采样的上采样单元。
[0111]
在一些实施例中，下采样单元用于进行残差下采样；上采样单元用于进行残差上采样。
[0112]
作为本公开实施例的一种方式，为了保证各卷积支路的最终输出的图像(即输出
至第二采样单元的图像)尺寸不变，故采样段中可先设有下采样单元，再设置上采样单元。例如，采样段中可包括数量相等的下采样单元和上采样单元，例如参照图8先有两个下采样单元，再有两个上采样单元。
[0113]
进一步的，以上的下采样单元可为用于进行残差下采样的残差下采样单元(resblock_down)，而上采样单元可为用于进行残差上采样的残差上采样单元(resblock_up)。
[0114]
示例性的，残差下采样单元和残差上采样单元的结构可分别参照图9和图10，其中包括多个不同尺寸的卷积(conv)、用于激活的线性整流函数(relu)、下取样(down-sampling)、上取样(up-sampling)等运算。
[0115]
当然，采样单元和残差采样单元的具体形式都不限于此，其也可为其它任何的采样单元，甚至是不改变尺寸的卷积采样单元。
[0116]
在一些实施例中，卷积支路还包括：连接在采样段的输入端与输出端间的短路连接，短路连接用于将输入至采样段的图像短接至采样段的输出端。
[0117]
参照图8中的虚线箭头，卷积支路还包括连接在其输入端与输出端间的短路连接(short-cut)，即输入到卷积支路的图像还输入到其输出端进行合并(add)，以进一步改善提高对比度的效果。
[0118]
当然，在增强模块中还可包括其它的短路连接，例如直接将输入增强模块的图像(即融合模块输出的图像ifusion)连接至增强模块输出端(即第二卷积单元后)的短路连接等，即将输入至增强单元的图像(ifusion)与增强模块原本(若不存在该短路连接时)应输出的图像(即第二卷积单元输出的图像)合并。
[0119]
其中，应当理解，以上短路连接也是跨越多级的，故其本质上也是一种残差连接。
[0120]
在一些实施例中，损失还包括：输入至采样段的图像相对输入至增强模块的图像在各卷积支路中的亮度直方图约束的第二约束损失。
[0121]
如前，第一约束损失表征卷积支路输出的图像(fmout)相对于标准图像(i
gt
)，在各亮度区间中按照直方图统计的像素数分布的差异，也就是增强模块的“输出侧”存在的差异。但同时，增强模块的“输入侧”也可能存在差异，并也会对损失有影响。
[0122]
为此，还可在损失中加入第二损失，即输入至采样段的图像(经过第一卷积单元的图像fmin)相对输入至增强模块的图像(iin，例如融合模块输出的图像)，在各亮度区间中按照直方图统计的像素数分布的差异。
[0123]
在一些实施例中，损失loss通过以下公式计算：
[0124]
loss＝||i
out-i
gt
||1+λ1hist(fmo
ut
,i
gt
,s)+λ2hist(fm
in
,i
in
,s)；
[0125][0126][0127]
其中，hist(fm
out
,i
gt
,s)代表第一约束损失，hist(fm
in
,i
in
,s)代表第二约束损失，i
in
代表输入至增强模块的图像，i
out
代表结果图像，i
gt
代表标准图像，fm
in
代表输入至采样
段的图像，fm
out
代表卷积支路输出的图像，s代表亮度区间的个数，||||1代表l1范数函数，hist代表hist统计函数，λ1代表预设的大于0的系数(例如为0.2)，λ2代表预设的大于0的系数(例如为0.2)。
[0128]
其中，以上fmin和fmout中的fm代表特征像(feature map)，而与融合模块(fm)无关。
[0129]
作为本公开实施例的一种方式，损失loss可通过以上的公式计算，其中||i
out-i
gt
||1为图像损失，而hist(fm
out
,i
gt
,s)和hist(fm
in
,i
in
,s)分别为第一约束损失和第二约束损失。
[0130]
具体的，hist代表hist统计函数，其统计的是对象(图像)中不同特征(不同亮度的像素)的个数。例如，hist(fm
out
,i
gt
,s)就代表标准图像(i
gt
)中处于s个亮度区中的像素个数，分别与卷积支路输出的图像(fm
out
)中处于s个亮度区中的像素个数的差，相对像素总个数的比例的和。
[0131]
当然，如果采用其它具体的方式计算由直方图产生的约束损失，也是可行的。
[0132]
第二方面，参照图11，本公开实施例提供一种图像增强(如夜景图像增强)的方法，其包括：
[0133]
s201、至少将待增强图像输入至图像增强模型。
[0134]
其中，图像增强模型是通过本公开实施例的任意一种图像增强模型训练的方法训练得到的。
[0135]
s202、获取图像增强模型输出的结果图像。
[0136]
在通过以上包括亮度直方图约束的方式训练得到以上的图像增强模型后，就可使用该图像增强模型进行图像增强(超级夜景)。
[0137]
即，将待增强图像(当然也可包括一幅或多幅邻近图像)输入至图像增强模型中，由图像增强模型的对齐模块、融合模块、增强模块依次进行处理，以得到增强后的结果图像。
[0138]
第三方面，参照图12，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现：
[0139]
本公开实施例的任意一种图像增强模型训练的方法，和/或，本公开实施例的任意一种图像增强的方法。
[0140]
其中，处理器为具有数据处理能力的器件，其包括但不限于中央处理器(cpu)等；计算机可读介质为具有数据存储能力的器件，其包括但不限于随机存取存储器(ram，更具体如sdram、ddr等)、只读存储器(rom)、带电可擦可编程只读存储器(eeprom)、闪存(flash)；i/o接口(读写接口)连接在处理器与存储器间，能实现存储器与处理器的信息交互，其包括但不限于数据总线(bus)等。
[0141]
本领域普通技术人员可以理解，上文中所公开的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
[0142]
在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。
[0143]
某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器(cpu)、数字
信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于随机存取存储器(ram，更具体如sdram、ddr等)、只读存储器(rom)、带电可擦可编程只读存储器(eeprom)、闪存(flash)或其它磁盘存储器；只读光盘(cd-rom)、数字多功能盘(dvd)或其它光盘存储器；磁盒、磁带、磁盘存储或其它磁存储器；可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据，并且可包括任何信息递送介质。
[0144]
本公开已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其它实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。