动态范围增强模型的训练方法、图像的动态范围增强方法及装置与流程

本发明涉及图像处理，具体地涉及一种动态范围增强模型的训练方法、图像的动态范围增强方法及装置。

背景技术：

1、动态范围增强技术可以提高画质质量，展现更丰富的色彩层次，保留更多的暗区和亮区细节，提高画面的对比度。因此，动态范围增强越来越多地应用到了拍摄图片、视频中。

2、当前，为了实现较好动态范围增强效果，通常会对待处理图像划分成多个区域，然后在每个区域进行局部色调映射，以得到动态范围增强图像。现有技术中，通常采用人工划分区域的方式或自动区域划分算法对待处理图像划分为多个块，然后采用一些与空间位置相关的局部色调映射算法对每个块执行色调映射，最终实现动态范围增强效果。

3、然而，现有的图像区域划分的方法，通常对待处理图像直接平均划分为n×n个矩形或正方形块，这种方法获得的区域划分结果存在如下问题：一方面，容易导致划分的块数量太多，特别是当图像尺寸变大时，划分的块数量增多将导致后续执行色调映射的时间与资源开销的增加；另一方面，容易出现一些大面积的内容、亮度相似的区域(例如，面积占比较大的天空区域、墙面区域)被划分为很多小块，然后对每个小块执行一组色调映射，但实际上对这些小块使用同样的色调映射系数即可。由此，导致动态范围增强效果不佳，也增加了不必要的运算开销。

4、虽然已经有一些研究注意上述问题，使用一些预训练的自动区域划分模型实现对图像的区域划分。但在模型训练阶段，需要采用已标注好划分区域的图像作为训练数据。然而，在对图像标注标签时通常是基于抽象的规则进行区域划分，比如对暗区、亮区的定义，因此，可能使得标注的区域划分结果不合理，导致模型训练效果不佳，进而影响后续的动态范围增强效果。

技术实现思路

1、本发明实施例实现的目的之一是提供一种动态范围增强模型的训练方法，可以训练得到更加优化的动态范围增强模型，从而对待处理图像进行更加准确、合理的区域划分以及色调映射，进而改进图像的动态范围增强效果。

2、为实现上述目的，本发明实施例提供一种动态范围增强模型的训练方法，包括以下步骤：确定待训练模型，所述待训练模型包括：色调映射子模型和区域划分子模型；确定训练数据集，所述训练数据集包括多帧原始场景图像，以及对每帧原始场景图像标注的动态范围增强标签图像；采用目标损失函数以及所述训练数据集，对以下待优化项进行迭代训练，以得到训练后的动态范围增强模型：所述色调映射子模型和区域划分子模型；其中，在每轮迭代中，将所述原始场景图像输入所述色调映射子模型和区域划分子模型，以得到所述原始场景图像的色调映射矩阵和区域划分矩阵，然后采用所述色调映射矩阵和区域划分矩阵，对所述原始场景图像进行色调映射处理，以得到动态范围增强预测图像；其中，每轮迭代中所述目标损失函数的函数值，是基于所述原始场景图像对应的动态范围增强标签图像与动态范围增强预测图像的至少一部分像素的像素值之差确定的。

3、可选的，在每轮迭代中，所述目标损失函数的函数值采用下述方式确定：对于当前轮输入的每帧所述原始场景图像，确定所述原始场景图像对应的动态范围增强标签图像的至少一部分像素与动态范围增强预测图像的对应位置的像素在每个颜色通道的像素值之差的平方，记为通道差异因子，再对每个像素在各个颜色通道的通道差异因子计算平均值，得到该像素的像素差异因子；对所得到的各个像素差异因子进行平均运算，得到所述原始场景图像对应的子损失值；对当前轮输入的各帧原始场景图像对应的子损失值进行加权运算，将加权运算结果作为当前轮所述目标损失函数的函数值。

4、可选的，所述区域划分矩阵中的每个元素用于指示所属原始场景图像的单个划分区域，每个色调映射矩阵中用于指示所属原始场景图像中单个像素的色调映射系数，所述区域划分矩阵中的每个元素指示的划分区域对应于多个色调映射矩阵；采用所述色调映射矩阵和区域划分矩阵，对所述原始场景图像进行色调映射处理，包括：对于所述区域划分矩阵的每个元素所指示的划分区域，确定所述划分区域内每个像素的像素值所属的像素值区间；根据该像素所属的像素值区间，确定该像素对应的色调映射矩阵；采用该像素对应的色调映射矩阵中的每个元素，对该像素的各个颜色通道进行色调映射处理；其中，所述像素值区间是对预设数值区间进行区间划分得到的，划分得到的多个像素值区间与所述划分区域对应的多个色调映射矩阵之间具有预设的一一对应关系。

5、可选的，采用下述方式，对预设数值区间进行区间划分，得到多个像素值区间：确定所述划分区域对应的色调映射矩阵的总数量，记为像素值区间总数量；在所述预设数值区间中，将大于等于最小端点值且小于等于第一阈值的区间作为第一像素值区间，将大于等于第二阈值且小于等于最大端点值的区间作为第二像素值区间，将大于所述第一阈值且小于所述第二阈值的区间平均划分为目标数量的第三像素值区间；其中，所述目标数量等于所述划分区域对应的色调映射矩阵的总数量减2；所述第一像素值区间的两端点数值之差大于所述第三像素值区间的两端点数值之差，所述第二像素值区间的两端点数值之差大于所述第三像素值区间的两端点数值之差。

6、可选的，所述区域划分子模型包含第一网络结构和第二网络结构，所述色调映射子模型包含所述第一网络结构和第三网络结构；其中，在每轮迭代中，将所述原始场景图像输入所述第一网络结构，以得到所述原始场景图像的特征数据，然后将所述特征数据分别输入所述第二网络结构和所述第三网络结构，以得到所述原始场景图像的区域划分矩阵和色调映射矩阵。

7、可选的，所述区域划分矩阵中的每个元素用于指示所属原始场景图像的单个划分区域；在迭代训练过程中，所述区域划分矩阵中包含预设的固定数量的元素。

8、本发明实施例还提供一种动态范围增强方法，包括以下步骤：确定训练后的动态范围增强模型，所述训练后的动态范围增强模型包括：色调映射子模型和区域划分子模型，其中，所述训练后的动态范围增强模型是基于上述动态范围增强模型的训练方法确定的；将待处理图像输入所述色调映射子模型和区域划分子模型，以得到所述待处理图像的色调映射矩阵和区域划分矩阵；采用所述待处理图像的色调映射矩阵和区域划分矩阵，对所述待处理图像进行色调映射处理，以得到动态范围增强图像。

9、本发明实施例还提供一种动态范围增强模型的训练装置，包括：待训练模型确定模块，用于确定待训练模型，所述待训练模型包括：色调映射子模型和区域划分子模型；训练数据集确定模块，用于确定训练数据集，所述训练数据集包括多帧原始场景图像，以及对每帧原始场景图像标注的动态范围增强标签图像；模型训练模块，用于采用目标损失函数以及所述训练数据集，对以下待优化项进行迭代训练，以得到训练后的动态范围增强模型：所述色调映射子模型和区域划分子模型；其中，在每轮迭代中，将所述原始场景图像输入所述色调映射子模型和区域划分子模型，以得到所述原始场景图像的色调映射矩阵和区域划分矩阵，然后采用所述色调映射矩阵和区域划分矩阵，对所述原始场景图像进行色调映射处理，以得到动态范围增强预测图像；其中，每轮迭代中所述目标损失函数的函数值，是基于所述原始场景图像对应的动态范围增强标签图像与动态范围增强预测图像的至少一部分像素的像素值之差确定的。

10、可选的，本发明实施例还提供一种图像的动态范围增强装置，包括：预训练模型确定模块，用于确定训练后的动态范围增强模型，所述训练后的动态范围增强模型包括：色调映射子模型和区域划分子模型，其中，所述训练后的动态范围增强模型是基于上述动态范围增强模型的训练方法确定的；动态范围增强系数确定模块，用于将待处理图像输入所述色调映射子模型和区域划分子模型，以得到所述待处理图像的色调映射矩阵和区域划分矩阵；图像处理模块，用于采用所述待处理图像的色调映射矩阵和区域划分矩阵，对所述待处理图像进行色调映射处理，以得到动态范围增强图像。

11、本发明实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述动态范围增强模型的训练方法的步骤，或者执行上述图像的动态范围增强方法的步骤。

12、本发明实施例还提供一种动态范围增强模型的训练装置，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述动态范围增强模型的训练方法的步骤。

13、本发明实施例还提供一种图像的动态范围增强装置，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行上述图像的动态范围增强方法的步骤。

14、与现有技术相比，本发明实施例的技术方案具有以下有益效果：

15、在本发明实施例中，将色调映射子模型和区域划分子模型结合，构建得到待训练模型；并在对模型训练过程中，采用动态范围增强标签图像作为标签对训练过程进行监督(例如，采用预先处理获得的高质量动态范围增强图像作为标签数据，指引模型训练过程)，以及采用预测得到的动态范围增强预测图像与动态范围增强标签图像的像素差异确定损失函数值，以最小化所述像素差异为目标迭代训练模型，以实现对所述色调映射子模型和区域划分子模型的参数的优化。

16、相较于现有的动态范围增强方案采用平均划分区域或基于抽象的亮区、暗区定义的区域划分方法，所获得的划分结果的合理性和准确性欠佳，采用本发明实施例提供的模型训练方法获得的所述训练后的动态范围增强模型，既可以学习到合理的区域划分方式(包括各个划分区域的位置、大小和数量)，又可以获得与区域划分结果相适应的、准确的色调映射系数。进一步，在后续应用所述训练后的动态范围增强模型进行图像处理时，可以合理确定图像划分区域并对每个划分区域精准执行色调映射。由此，可以整体改进图像的动态范围增强效果，获得更高质量的动态范围增强图像。

17、进一步，所述区域划分子模型包含第一网络结构和第二网络结构，所述色调映射子模型包含所述第一网络结构和第三网络结构；其中，在每轮迭代中，将所述原始场景图像输入所述第一网络结构，以得到所述原始场景图像的特征数据，然后将所述特征数据分别输入所述第二网络结构和所述第三网络结构，以得到所述原始场景图像的区域划分矩阵和色调映射矩阵。

18、通过上述模型构建方式，可以让区域划分子模型与所述色调映射子模型共享部分网络结构与网络参数，相较于所述色调映射子模型和所述区域划分子模型各自采用现有常规的、彼此独立而非共享模型结构与参数的情形，采用本实施方案有助于大幅减少整个待训练模型的参数数量，从而在保证训练效果的同时，尽可能提高训练效率，降低运算开销。

19、进一步，在本发明实施例中，采用训练数据集对模型训练的过程中，可以结合实际应用场景需要，对所述训练数据集中的原始场景图像设置相同或不同的权重。例如，可以根据不同帧原始场景图像本身的图像质量设置相应的权重，其中，所述图像质量例如可以基于清晰度、亮暗对比度、颜色饱和度等参数确定，所述图像质量越高，相应的权重可以设置越大。如此，可以实现有针对性的模型训练，使得训练效果更加符合实际需求。

20、进一步，在本发明实施例中，在进行区间划分得到多个像素值区间的过程中，通过采用区别性划分方式，对较小的像素值或较大的像素值均划分为更大范围的数值区间，对中间数值的像素值进行平均区间划分。由于像素值大小可以表征所属像素的色度、亮度、饱和度等，而属于相同像素值区间的各个像素值将会采用相同的色调映射矩阵执行色调映射。由此，采用本实施方案有助于对图像中色度、亮度或饱和度过低以及过高的区域，在更大范围上实现色调映射的均匀性和一致性，进一步改进动态范围增强的效果。