图像处理方法及图像处理系统与流程

本发明涉及显示
技术领域：
，尤其涉及一种图像处理方法及图像处理系统。
背景技术：
：近年来，高动态范围(high-dynamicrange，hdr)图像的应用逐渐成为图像处理领域的一个热门研究课题。hdr图像能够准确地描述亮度差异，从微弱的星光到明亮的阳光，从而为观众提供更高质量的观看体验。然而，由于当前的hdr相关设备通常都很昂贵，实际应用范围有限，大多数图像处理系统仍然配备了传统的ldr设备。同时，hdr图像和视频的获取设备也非常复杂和昂贵，许多缺陷也尚未解决，比如多曝光的拍摄装置往往带来图像伪影。所以虚拟hdr(pseudo-hdr)应运而生。虚拟hdr是指通过一些色调映射算法，将低动态范围(low-dynamicrange，ldr)图片处理成另一张ldr图片在ldr显示设备上显示，使其达到或接近hdr图片的显示效果。这种算法的根本是将图片中的细节和对比度最大程度的展现出来。它不需要昂贵的hdr显示设备，也不需要难以获取的hdr片源。虚拟hdr算法的难点有两个：第一是曝光是否合理，是否把细节最大程度的展现；第二是否存在严重色偏。现有的虚拟hdr方法有基于直方图的、基于多曝光融合的及基于暗通道的等等，每类方法都有适合的图片类型，如果要处理所有的图片类型，算法将变得极为复杂。类神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。它最大优势是能够被用作一个任意函数逼近的机制，从观测到的数据“学习”。近年来，类神经网络被越来越多地用在图像算法上，例如超分辨率，去噪，风格处理等。但是类神经网络的架构设计和损失函数的设置往往对算法结果起着决定性的作用。实际应用时，类神经网络的架构的设计并非越复杂越好，越来越多的证据显示，适合的且简单的类神经网络的架构往往是我们需要的。技术实现要素：本发明的目的在于提供一种图像处理方法，能够简单快捷的实现高质量的虚拟hdr显示。本发明的目的还在于提供一种图像处理系统，能够简单快捷的实现高质量的虚拟hdr显示。为实现上述目的，本发明提供了一种图像处理方法，包括如下步骤：步骤s1、获取图像集，所述图像集包括多个图像对，每一个图像对包括一原始图像和一与所述原始图像相对应的目标图像，所述原始图像与目标图像的尺寸相同；步骤s2、提供一具有类神经网络架构的图像处理模块，利用所述图像集对所述图像处理模块进行训练，使得所述图像处理模块在接收到原始图像时，其处理输出的结果图像与其接收到的原始图像的目标图像差异最小；步骤s3、提供待处理图像，将待处理图像输入训练后的图像处理模块，得到该待处理图像对应的虚拟hdr图像。所述图像处理模块包括曝光修复单元、色彩修复单元及与所述曝光修复单元和色彩修复单元均相连的整体调节单元。所述步骤s2具体包括：步骤s21、将各个原始图像和与目标图像输入至曝光修复单元中，对所述曝光修复单元进行训练，使得所述曝光修复单元在接收到原始图像时，其处理输出的第一过渡图像的曝光值与其接收到的原始图像对应的目标图像的曝光值差异最小；步骤s22、将各个原始图像和目标图像输入至色彩修复单元中，对所述色彩修复单元进行训练，使得所述色彩修复单元在接收到原始图像时，其处理输出的第二过渡图像的色彩与其接收到的原始图像对应的目标图像的色彩差异最小；步骤s23、将由训练后的曝光修复单元输出的各个第一过渡图像、由训练后的色彩修复单元输出的各个第二过渡图像及各个目标图像输入至整体调节单元，对所述整体调节单元进行训练，使得所述整体调节单元在接收到由同一原始图像产生的一第一过渡图像和一第二过渡图像时，其处理输出的结果图像与产生其接收到的第一过渡图像和第二过渡图像的原始图像对应的目标图像差异最小。所述步骤s3中将待处理图像从曝光修复单元和色彩修复单元输入，经过曝光修复单元、色彩修复单元及整体调节单元的处理后，从所述整体调节单元输出该待处理图像对应的虚拟hdr图像。所述曝光修复单元采用多层膨胀卷积结构，其损失函数为：其中，k输入图像中的一个像素，p为输入图像的全部像素集合，n为输入图像的像素总数，net1grey(k)为在由曝光修复单元处理输出的第一过渡图像中与像素k对应的像素的灰度通道值，gtgrey(k)为在输入图像对应的目标图像中与像素k对应的像素的灰度通道值，lossgrey为第一过渡图像相对于目标图像的曝光度损失值；灰度通道值为一个像素中红色灰度、绿色灰度及蓝色灰度的平均值；所述色彩修复单元为多层卷积结构，其损失函数为：其中，net2rg(k)及gtrg(k)分别在由色彩修复单元处理输出的第二过渡图像中与像素k对应的像素的红绿通道值及黄蓝通道值，net2yb(k)及gtyb(k)分别为在输入图像对应的目标图像中与像素k对应的像素的红绿通道值及黄蓝通道值，losscolor为第一过渡图像相对于目标图像的色彩损失值；所述红绿通道值为一个像素中红色灰度与绿色灰度的差，所述黄蓝通道值为一个像素中黄色灰度与蓝色灰度的差，黄色灰度为一个像素中红色灰度与绿色灰度的和的一半；所述整体调节单元为多层卷积结构，其损失函数为：其中，net3(k)为在由整体调整单元(303)处理输出的结果图像中与像素k对应的像素的灰度值，gt(k)为在输入图像对应的目标图像中与像素k对应的像素的灰度值，lossend为第一过渡图像相对于目标图像的图像损失值，像素的灰度值为一个像素中红色灰度、绿色灰度及蓝色灰度的和。本发明还提供一种图像处理系统，包括样本获取模块、与所述样本获取模块相连的训练模块及与所述训练模块相连的具有类神经网络架构的图像处理模块；所述样本获取模块，用于获取图像集，所述图像集多个图像对，每一个图像对包括一原始图像和一与所述原始图像相对应的目标图像，所述原始图像与目标图像的尺寸相同；所述训练模块，用于利用所述图像集对所述图像处理模块进行训练，使得所述图像处理模块在接收到原始图像时，其处理输出的结果图像与其接收到的原始图像的目标图像差异最小；所述图像处理模块，用于在经过训练模块的训练后对待处理图像进行处理，产生与所述待处理图像对应的虚拟hdr图像。所述图像处理模块包括曝光修复单元、色彩修复单元及与所述曝光修复单元和色彩修复单元均相连的整体调节单元。所述训练模块对所述图像处理模块进行训练具体包括：将各个原始图像和与目标图像输入至曝光修复单元中，对所述曝光修复单元进行训练，使得所述曝光修复单元在接收到原始图像时，其处理输出的第一过渡图像的曝光值与其接收到的原始图像对应的目标图像的曝光值差异最小；将各个原始图像和目标图像输入至色彩修复单元中，对所述色彩修复单元进行训练，使得所述色彩修复单元在接收到原始图像时，其处理输出的第二过渡图像的色彩与其接收到的原始图像对应的目标图像的色彩差异最小；将由训练后的曝光修复单元输出的各个第一过渡图像、由训练后的色彩修复单元输出的各个第二过渡图像及各个目标图像输入至整体调节单元，对所述整体调节单元进行训练，使得所述整体调节单元在接收到由同一原始图像产生的一第一过渡图像和一第二过渡图像时，其处理输出的结果图像与产生其接收到的第一过渡图像和第二过渡图像的原始图像对应的目标图像差异最小。所述图像处理模块从曝光修复单元和色彩修复单元接收待处理图像，经过曝光修复单元、色彩修复单元及整体调节单元的处理后，从所述整体调节单元输出该待处理图像对应的虚拟hdr图像。所述曝光修复单元采用多层膨胀卷积结构，其损失函数为：其中，k输入图像中的一个像素，p为输入图像的全部像素集合，n为输入图像的像素总数，net1grey(k)为在由曝光修复单元处理输出的第一过渡图像中与像素k对应的像素的灰度通道值，gtgrey(k)为在输入图像对应的目标图像中与像素k对应的像素的灰度通道值，lossgrey为第一过渡图像相对于目标图像的曝光度损失值；灰度通道值为一个像素中红色灰度、绿色灰度及蓝色灰度的平均值；所述色彩修复单元为多层卷积结构，其损失函数为：其中，net2rg(k)及gtrg(k)分别在由色彩修复单元处理输出的第二过渡图像中与像素k对应的像素的红绿通道值及黄蓝通道值，net2yb(k)及gtyb(k)分别为在输入图像对应的目标图像中与像素k对应的像素的红绿通道值及黄蓝通道值，losscolor为第一过渡图像相对于目标图像的色彩损失值；所述红绿通道值为一个像素中红色灰度与绿色灰度的差，所述黄蓝通道值为一个像素中黄色灰度与蓝色灰度的差，黄色灰度为一个像素中红色灰度与绿色灰度的和的一半；所述整体调节单元为多层卷积结构，其损失函数为：其中，net3(k)为在由整体调整单元(303)处理输出的结果图像中与像素k对应的像素的灰度值，gt(k)为在输入图像对应的目标图像中与像素k对应的像素的灰度值，lossend为第一过渡图像相对于目标图像的图像损失值，像素的灰度值为一个像素中红色灰度、绿色灰度及蓝色灰度的和。本发明的有益效果：本发明提供一种图像处理方法，包括如下步骤：步骤s1、获取图像集，所述图像集包括多个图像对，每一个图像对包括一原始图像和一与所述原始图像相对应的目标图像，所述原始图像与目标图像的尺寸相同；步骤s2、提供一具有类神经网络架构的图像处理模块，利用所述图像集对所述图像处理模块进行训练，使得所述图像处理模块在接收到原始图像时，其处理输出的结果图像与其接收到的原始图像的目标图像差异最小；步骤s3、提供待处理图像，将待处理图像输入训练后的图像处理模块，得到该待处理图像对应的虚拟hdr图像，能够简单快捷的实现高显示显示质量的虚拟hdr显示。本发明还提供一种图像处理系统，能够简单快捷的实现高质量的虚拟hdr显示。附图说明为了能更进一步了解本发明的特征以及技术内容，请参阅以下有关本发明的详细说明与附图，然而附图仅提供参考与说明用，并非用来对本发明加以限制。附图中，图1为本发明的图像处理方法的流程图；图2为本发明的图像处理系统的结构图；图3为本发明的图像处理系统中图像处理模块的结构图。具体实施方式为更进一步阐述本发明所采取的技术手段及其效果，以下结合本发明的优选实施例及其附图进行详细描述。请参阅图1并结合图3，本发明提供一种图像处理方法，包括如下步骤：步骤s1、获取图像集，所述图像集包括多个图像对，每一个图像对包括一原始图像和一与所述原始图像相对应的目标图像，所述原始图像与目标图像的尺寸相同。具体地，所述图像集的来源可以是现有的图像库，或由传统算法生成，或由修图师加工完成。步骤s2、提供一具有类神经网络架构的图像处理模块30，利用所述图像集对所述图像处理模块30进行训练，使得所述图像处理模块30在接收到原始图像时，其处理输出的结果图像与其接收到的原始图像的目标图像差异最小。具体地，所述图像处理模块30包括曝光修复单元301、色彩修复单元302及与所述曝光修复单元301和色彩修复单元302均相连的整体调节单元303。进一步地，所述步骤s2具体包括：步骤s21、将各个原始图像和与目标图像输入至曝光修复单元301中，对所述曝光修复单元301进行训练，使得所述曝光修复单元301在接收到原始图像时，其处理输出的第一过渡图像的曝光值与其接收到的原始图像对应的目标图像的曝光值差异最小；步骤s22、将各个原始图像和目标图像输入至色彩修复单元302中，对所述色彩修复单元302进行训练，使得所述色彩修复单元302在接收到原始图像时，其处理输出的第二过渡图像的色彩与其接收到的原始图像对应的目标图像的色彩差异最小；步骤s23、将由训练后的曝光修复单元301输出的各个第一过渡图像、由训练后的色彩修复单元302输出的各个第二过渡图像及各个目标图像输入至整体调节单元303，对所述整体调节单元303进行训练，使得所述整体调节单元303在接收到由同一原始图像产生的一第一过渡图像和一第二过渡图像时，其处理输出的结果图像与产生其接收到的第一过渡图像和第二过渡图像的原始图像对应的目标图像差异最小。具体地，所述曝光修复单元301采用多层膨胀卷积结构，其损失函数为：其中，k输入图像中的一个像素，p为输入图像的全部像素集合，n为输入图像的像素总数，net1grey(k)为在由曝光修复单元301处理输出的第一过渡图像中与像素k对应的像素的灰度通道值，gtgrey(k)为在输入图像对应的目标图像中与像素k对应的像素的灰度通道值，lossgrey为第一过渡图像相对于目标图像的曝光度损失值；灰度通道值为一个像素中红色灰度、绿色灰度及蓝色灰度的平均值；所述色彩修复单元302为多层卷积结构，其损失函数为：其中，net2rg(k)及gtrg(k)分别在由色彩修复单元302处理输出的第二过渡图像中与像素k对应的像素的红绿通道值及黄蓝通道值，net2yb(k)及gtyb(k)分别为在输入图像对应的目标图像中与像素k对应的像素的红绿通道值及黄蓝通道值，losscolor为第一过渡图像相对于目标图像的色彩损失值；所述红绿通道值为一个像素中红色灰度与绿色灰度的差，所述黄蓝通道值为一个像素中黄色灰度与蓝色灰度的差，黄色灰度为一个像素中红色灰度与绿色灰度的和的一半；所述整体调节单元303为多层卷积结构，其损失函数为：其中，net3(k)为在由整体调整单元(303)处理输出的结果图像中与像素k对应的像素的灰度值，gt(k)为在输入图像对应的目标图像中与像素k对应的像素的灰度值，lossend为第一过渡图像相对于目标图像的图像损失值，像素的灰度值为一个像素中红色灰度、绿色灰度及蓝色灰度的和。进一步地，所述曝光修复单元301的每层卷积核尺寸为3×3，深度>20，卷积核的膨胀系数(rate)每层递增，优选实施例如表1所示，当然本发明对此并不限制，必要时也可以采用表1以外的其他实施方式。采用多层膨胀卷积的方法建立曝光修复单元301可以扩大神经网络的感受野，但是又不会增加网络的参数量。层卷积核膨胀系数卷积核深度13*313223*323233*353243*373253*3173263*3333273*3673283*31273293*313表1所述色彩修复单元302每层卷积核尺寸为3*3，深度>20，由于为非膨胀卷积，所以膨胀系数为1，优选实施例如表2所示，当然本发明对此并不限制，必要时也可以采用表2以外的其他实施方式。层卷积核膨胀系数卷积核深度13*313223*313233*313243*313253*313263*313273*3132表2所述整体调节单元303每层卷积核尺寸为3*3，深度>20，由于为非膨胀卷积，所以膨胀系数为1，优选实施例如表3所示，当然本发明对此并不限制，必要时也可以采用表3以外的其他实施方式。层卷积核膨胀系数卷积核深度13*313223*313233*313243*313表3具体地，对曝光修复单元301进行训练时，网络优化设置为反向梯度传播优化，按照曝光修复单元301的损失函数训练曝光修复单元301中的参数，使得所述曝光修复单元301在接收到原始图像时，其处理输出的第一过渡图像的曝光值与其接收到的原始图像对应的目标图像的曝光值差异最小。具体地，对色彩修复单元302进行训练时，网络优化设置为反向梯度传播优化，按照色彩修复单元302的损失函数训练色彩修复单元302中的参数，使得所述曝光修复单元301在接收到原始图像时，其处理输出的第二过渡图像的色彩与其接收到的原始图像对应的目标图像的色彩差异最小。具体地，对整体调节单元303进行训练时，网络优化设置为反向梯度传播优化，按照整体调节单元303的损失函数训练整体调节单元303中的参数，使得所述曝光修复单元301在接收到原始图像时，其处理输出的结果图像与其接收到的原始图像对应的目标图像差异最小。步骤s3、提供待处理图像，将待处理图像输入训练后的图像处理模块30，得到该待处理图像对应的虚拟hdr图像。具体地，所述步骤s3中将待处理图像从曝光修复单元301和色彩修复单元302输入，经过曝光修复单元301、色彩修复单元302及整体调节单元303的处理后，从所述整体调节单元303输出该待处理图像对应的虚拟hdr图像。从而本发明根据hdr图像的特点，基于合理曝光和减小色偏这两个角度，设计了一个两路类神经网络，实现有效的虚拟hdr算法，从而简单快捷的实现高质量的虚拟hdr显示，使虚拟hdr显示实现合理曝光，并展现更多细节，同时减小色偏，且运算速度快。请参阅图2和图3，本发明还提供一种图像处理系统，包括样本获取模块10、与所述样本获取模块20相连的训练模块20及与所述训练模块20相连的具有类神经网络架构的图像处理模块30；所述样本获取模块10，用于获取图像集，所述图像集包括多个图像对，每一个图像对包括一原始图像和一与所述原始图像相对应的目标图像，所述原始图像与目标图像的尺寸相同；所述训练模块20，用于利用所述图像集对所述图像处理模块30进行训练，使得所述图像处理模块30在接收到原始图像时，其处理输出的结果图像与其接收到的原始图像的目标图像差异最小；所述图像处理模块30，用于在经过训练模块20的训练后对待处理图像进行处理，产生与所述待处理图像对应的虚拟hdr图像。具体地，所述图像集的来源可以是现有的图像库，或由传统算法生成，或由修图师加工完成。具体地，所述图像处理模块30包括曝光修复单元301、色彩修复单元302及与所述曝光修复单元301和色彩修复单元302均相连的整体调节单元303。进一步地，所述训练模块20对所述图像处理模块30进行训练具体包括：将各个原始图像和与目标图像输入至曝光修复单元301中，对所述曝光修复单元301进行训练，使得所述曝光修复单元301在接收到原始图像时，其处理输出的第一过渡图像的曝光值与其接收到的原始图像对应的目标图像的曝光值差异最小；将各个原始图像和目标图像输入至色彩修复单元302中，对所述色彩修复单元302进行训练，使得所述色彩修复单元302在接收到原始图像时，其处理输出的第二过渡图像的色彩与其接收到的原始图像对应的目标图像的色彩差异最小；将由训练后的曝光修复单元301输出的各个第一过渡图像、由训练后的色彩修复单元302输出的各个第二过渡图像及各个目标图像输入至整体调节单元303，对所述整体调节单元303进行训练，使得所述整体调节单元303在接收到由同一原始图像产生的一第一过渡图像和一第二过渡图像时，其处理输出的结果图像与产生其接收到的第一过渡图像和第二过渡图像的原始图像对应的目标图像差异最小。具体地，所述曝光修复单元301采用多层膨胀卷积结构，其损失函数为：其中，k输入图像中的一个像素，p为输入图像的全部像素集合，n为输入图像的像素总数，net1grey(k)为在由曝光修复单元301处理输出的第一过渡图像中与像素k对应的像素的灰度通道值，gtgrey(k)为在输入图像对应的目标图像中与像素k对应的像素的灰度通道值，lossgrey为第一过渡图像相对于目标图像的曝光度损失值；灰度通道值为一个像素中红色灰度、绿色灰度及蓝色灰度的平均值；所述色彩修复单元302为多层卷积结构，其损失函数为：其中，net2rg(k)及gtrg(k)分别在由色彩修复单元302处理输出的第二过渡图像中与像素k对应的像素的红绿通道值及黄蓝通道值，net2yb(k)及gtyb(k)分别为在输入图像对应的目标图像中与像素k对应的像素的红绿通道值及黄蓝通道值，losscolor为第一过渡图像中的各个像素相对于目标图像的各个像素的色彩损失的平均值；所述红绿通道值为一个像素中红色灰度与绿色灰度的差，所述黄蓝通道值为一个像素中黄色灰度与蓝色灰度的差，黄色灰度为一个像素中红色灰度与绿色灰度的和的一半；所述整体调节单元303为多层卷积结构，其损失函数为：其中，net3(k)为在由整体调整单元(303)处理输出的结果图像中与像素k对应的像素的灰度值，gt(k)为在输入图像对应的目标图像中与像素k对应的像素的灰度值，lossend为第一过渡图像相对于目标图像的图像损失值，像素的灰度值为一个像素中红色灰度、绿色灰度及蓝色灰度的和。进一步地，所述曝光修复单元301的每层卷积核尺寸为3×3，深度>20，卷积核的膨胀系数(rate)每层递增，优选实施例如表1所示，当然本发明对此并不限制，必要时也可以采用表1以外的其他实施方式。采用多层膨胀卷积的方法建立曝光修复单元301可以扩大神经网络的感受野，但是又不会增加网络的参数量。层卷积核膨胀系数卷积核深度13*313223*323233*353243*373253*3173263*3333273*3673283*31273293*313表1所述色彩修复单元302每层卷积核尺寸为3*3，深度>20，由于为非膨胀卷积，所以膨胀系数为1，优选实施例如表2所示，当然本发明对此并不限制，必要时也可以采用表2以外的其他实施方式。表2所述整体调节单元303每层卷积核尺寸为3*3，深度>20，由于为非膨胀卷积，所以膨胀系数为1，优选实施例如表3所示，当然本发明对此并不限制，必要时也可以采用表3以外的其他实施方式。层卷积核膨胀系数卷积核深度13*313223*313233*313243*313表3具体地，对曝光修复单元301进行训练时，网络优化设置为反向梯度传播优化，按照曝光修复单元301的损失函数训练曝光修复单元301中的参数，使得所述曝光修复单元301在接收到原始图像时，其处理输出的第一过渡图像的曝光值与其接收到的原始图像对应的目标图像的曝光值差异最小。具体地，对色彩修复单元302进行训练时，网络优化设置为反向梯度传播优化，按照色彩修复单元302的损失函数训练色彩修复单元302中的参数，使得所述曝光修复单元301在接收到原始图像时，其处理输出的第二过渡图像的色彩与其接收到的原始图像对应的目标图像的色彩差异最小。具体地，对整体调节单元303进行训练时，网络优化设置为反向梯度传播优化，按照整体调节单元303的损失函数训练整体调节单元303中的参数，使得所述曝光修复单元301在接收到原始图像时，其处理输出的结果图像与其接收到的原始图像对应的目标图像差异最小。所述图像处理模块30从曝光修复单元301和色彩修复单元302接收待处理图像，经过曝光修复单元301、色彩修复单元302及整体调节单元303的处理后，从所述整体调节单元303输出该待处理图像对应的虚拟hdr图像。从而本发明根据hdr图像的特点，基于合理曝光和减小色偏这两个角度，设计了一个两路类神经网络，实现有效的虚拟hdr算法，从而简单快捷的实现高质量的虚拟hdr显示，使虚拟hdr显示实现合理曝光，并展现更多细节，同时减小色偏，且运算速度快。综上所述，本发明提供一种图像处理方法，包括如下步骤：步骤s1、获取图像集，所述图像集包括多个图像对，每一个图像对包括一原始图像和一与所述原始图像相对应的目标图像，所述原始图像与目标图像的尺寸相同；步骤s2、提供一具有类神经网络架构的图像处理模块，利用所述图像集对所述图像处理模块进行训练，使得所述图像处理模块在接收到原始图像时，其处理输出的结果图像与其接收到的原始图像的目标图像差异最小；步骤s3、提供待处理图像，将待处理图像输入训练后的图像处理模块，得到该待处理图像对应的虚拟hdr图像，能够简单快捷的实现高显示显示质量的虚拟hdr显示。本发明还提供一种图像处理系统，能够简单快捷的实现高质量的虚拟hdr显示。以上所述，对于本领域的普通技术人员来说，可以根据本发明的技术方案和技术构思作出其他各种相应的改变和变形，而所有这些改变和变形都应属于本发明权利要求的保护范围。当前第1页12