一种局部背光调光方法、系统及设备和介质与流程

1.本发明涉及图像处理、人工智能算法及液晶显示器领域，具体涉及一种局部背光调光方法、系统及设备和介质。


背景技术：

2.目前，液晶显示器(liquid crystal display,lcd)在在寿命、耐用性和价格等方面具有很大的优势，因此其占有很大的市场份额。但是lcd不是自发光器件，需要用背光来显示内容，根据液晶的自身特性，传统lcd在显示低亮度画面时背光亮度不能调节降低，部分光线穿过液晶阻隔，形成漏光伪影降低图像的显示质量。另外，由于背光模组功耗在lcd的整体功耗中占比最大，传统lcd会造成很大的能源浪费。
3.鉴于以上问题，背光调光技术应运而生，此方法在黑暗区域使背光变暗，并且反过来补偿lc透射率，使其与调光率成反比，使得在减少泄漏特性影响的同时，显示的图像失真较小。如今，发光二极管(led)已取代冷阴极荧光灯(ccfl)作为背光单元(blu)。blu通常分为块，这样我们可以根据图像内容局部和单独地控制每个块中led的强度。这种策略被称为局部背光调光(lbd)，它在降低功耗的同时大大提高对比度。然而，现有的lbd也经常带来一些退化，例如细节丢失和光晕伪影。且现有的局部背光调光多为手工特征提取或依托人工神经网络，这些方法需要大量的计算，在硬件上难以实现。
4.中国专利申请，申请号cn201910895951.2，公开日2019年9月21号，公开了一种基于深度学习的用于图像处理的动态调光背光扩散方法，该专利采用区域背光提取算法提取样本图像的背光亮度；将背光亮度输入至基于深度学习背光扩散模型进行背光亮度扩散，输出背光亮度扩散图像，将背光亮度扩散图像与输入图像对应的补偿图像相乘，得到显像图像，确定显像图像与样本图像间的误差，用所述的误差更新背光扩散模型，得到最终的背光扩散模型。该发明利用神经网络建立背光扩散模型，为动态调光算法的理论研究提供了无需实际测量的可靠的扩散模型。但是，该专利提出的方法，采用传统的区域背光提取算法对原图像提取背光亮度，在确定背光时无法考虑到相邻位置的光扩散问题；且在背光扩散模型中，使用了三个卷积块和四个残差块，每个残差块中又包含两个卷积块，网络规模较大，需要训练的参数众多，在因而在处理大尺寸图像时，存储资源消耗很大，难以在硬件上有效实现。


技术实现要素：

5.1.要解决的技术问题
6.本发明的目的在于克服现有技术的不足，解决传统局部背光调光方法缺乏泛化能力以及网络庞大、计算复杂、难以在硬件上有效实现的问题，采用了一种简单卷积神经网络来学习特征，以找到最佳的背光强度，提供了一种局部背光调光方法、系统及设备和介质。
7.2.技术方案
8.本发明的目的通过以下技术方案实现。
9.具体由以下技术方案实现：
10.第一方面，提出一种局部背光调光算法，将整个背光单元(blu)划分为固定数量的背光块，用于局部调光控制；对原图像使用简单卷积神经网络，经过1个扩张卷积层、4个最大池化层和1个全连接层，最后使用sigmoid函数，将输出作为blu的归一化初始背光强度；此网络结构体量小，容易进行硬件实现，同时可以考虑到周围像素点的影响，实验证明，此网络结构具有较好的效果。接着对blu初始背光使用双边平滑操作与两次双三次插值操作，以将blu初始背光进行模糊处理并插值放大到与原图像大小相等，得到整体背光；随后创建调光透射率补偿器，对原图像进行补偿，在背光过暗时使调光图像与原始图像保持相同的亮度值，得到背光调光后的补偿液晶透射率；最后考虑光泄露问题，根据原图像、blu整体背光、背光调光后的补偿液晶透射率和漏光系数完成调光图像的建模；计算原图像与调光图像之间的损失值，在输出的调光图像无限接近于输入图像的约束条件下，估计固定数量背光块blu的发光强度，训练所述的简单卷积神经网络。训练完成后，最终得到背光调光的方案。
11.方法具体包括以下步骤：
12.将整个blu划分为固定数量的背光块，所述背光块为单独控制led强度的最小单元；
13.将原图像输入简单卷积神经网络，输出blu的归一化背光强度blu初始背光，以所述blu初始背光控制led背光显示；
14.对blu初始背光使用平滑操作，进行模糊处理；
15.对经过平滑操作的blu初始背光进行插值操作，将blu初始背光放大到与原图像大小相等，得到blu整体背光；
16.创建调光透射率补偿器，根据blu整体背光对原图像进行调光透射率补偿，得到背光调光后的补偿液晶透射率；
17.根据blu整体背光、背光调光后的补偿液晶透射率和漏光系数对原图像进行像素补偿，完成调光图像的建模；
18.计算原图像与调光图像之间的损失值，在输出的调光图像无限接近于输入图像的约束条件下，估计固定数量的背光块blu的发光强度，训练所述的简单卷积神经网络，优化简单卷积神经网络模型的参数；
19.每一轮迭代中计算输入图像正向传播到输出层节点的数据，输出的数据为blu初始背光，对blu初始背光进行平滑、插值计算后对原图像进行像素补偿，最终输出调光图像；通过计算调光图像与原图像的损失值，来计算梯度再进行反向传播，并在反向传播的过程中更新网络模型参数权重w和偏置值bias；经过多轮迭代，最终得到稳定的网络模型参数，保存最终的网络模型参数，训练过程完毕，完成模型构建，得到背光调光的整体方案；
20.所述背光调光的整体方案包括简单卷积神经网络输出的blu初始背光和blu整体背光的计算方法。
21.在第一方面的一些可实现方式中，将整个背光单元(blu)划分为10
×
16个背光块，用于局部调光控制，在模拟训练时，使用960
×
1536像素的rgb图像，即每个背光块覆盖96
×
96个像素；
22.在第一方面的一些可实现方式中，对原图像使用简单卷积神经网络，经过1个扩张
卷积层、4个最大池化层和1个全连接层，最后使用sigmoid函数，将生成器输出归一化到[0，1]之间，将输出作为blu的归一化背光强度，得到blu初始背光。
[0023]
卷积层中的操作可以表示为：
[0024]hout
＝σ(w*h
in
+bias)
[0025]
其中w和bias分别表示权重和偏置，卷积层的输出是输入h
in
与权重w的卷积结果再与偏置bias相加，然后使用非线性激活函数σ。通过使用一层cnn，可以考虑到相邻图像的影响，使之能够具有极端可变性的模式；随后使用多层步长不同的最大池化层，不断提取像素值最高的值，同时不需要训练更多的参数，使得训练和硬件上的移植变得更加简单。
[0026]
在第一方面的一些可实现方式中，对blu初始背光使用双边平滑操作，进行模糊处理，来模拟光学扩散膜的影响。
[0027]
由于led是一个离散光源，因此需要多层光学漫射膜来分散led光。这使得照明作为平面光源在区域上扩散，从而减少背光块周围的阻挡伪影。为了模拟光学漫射膜的影响，本发明使用了双边平滑操作。与高斯平滑不同，双边滤波平滑可以在进行模糊处理的同时又能保持图像的边沿不被影响。双边滤波是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折衷处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的。在局部背光调光中，通常使用高斯滤波，该滤波方式会导致较为明显的模糊边缘，对于高频细节的保护效果不佳，而双边滤波可以很好地解决这一问题。其具体操作为：
[0028][0029]
其中，
[0030][0031]
其中，b
blur
和b
dim
分别表示第(c，r)块处的模糊背光强度和初始背光强度。c∈{1,2,...,10}和r∈{1，2，
…
，16}分别表示块的列索引和行索引，d为像素邻域直径，k为相邻像素的行，l为相邻像素的列索引。p(x0,y0)表示中心点的像素值，p(x,y)表示距离中心点距离为(x,y)的像素值。坐标空间的标注方差δ数值越大，意味着越远的像素会相互影响，从而使更大的区域足够相似的颜色获取相同的颜色。在本专利中，为了使得平滑效果达到最佳，选取折中的σ以及像素邻域的直径d，使用δ＝1.5的d＝7的双边滤波器，则相邻像素的行列索引k和l的取值即为[3，3]。
[0032]
在第一方面的一些可实现方式中，使用两次双三次插值操作，以将blu初始背光放大到与原图像大小相等，得到blu整体背光。双三次插值是一种插值方式，它能创造出比双线性插值更平滑的图像边缘。其计算方法为：
[0033][0034]
其中，α
ij
为计算系数，其值依赖于插值数据的特性，由于双三次插值的基函数是一维的，而像素是二维的，所以将像素点的行与列分开计算，选取离待计算blu整体背光像素点(x,y)最近的4行(i＝0,1,2,3)4列(j＝0,1,2,3)进行计算。p(x,y)为待计算blu整体背光像素点坐标(x,y)的像素值。在这种方法中，点(x,y)的像素值可以通过矩形网格中最近的
16个采样点的加权平均得到，每次使用两个多项式插值三次函数进行计算，每个采样点方向计算一次。
[0035]
在第一方面的一些可实现方式中，创建调光透射率补偿器，当背光过暗时使调光图像与原始图像保持相同的亮度值，同时考虑光泄露影响，引入漏光系数ε，对调光图像进行建模。
[0036]
动态背光技术之所以能够在lcd领域得到发展与它的自身结构密不可分，它的画面显示亮度能够由可以独立受控的液晶面板和背光源调节，这是动态背光技术的硬件基础。一般我们认为理想状态下液晶显示的亮度可以近似为液晶面板(lc)的透过率与背光源亮度大小的乘积，即：
[0037]
背光亮度
×
液晶透射率＝图像像素值
[0038]
在应用lbd之前，假设blu的初始亮度为峰值亮度(亮度＝1)，这意味着所有光源均已打开。形式上，位置(x,y)处lcd面板的原始像素值建模为：
[0039][0040]
其中，为第c通道的原始像素值，为第c通道的初始lc透射率，b
init
(x,y)表示第c通道的初始背光强度。在调光之前，所有背光都完全打开，这对应于b
init
(x,y)＝1，因此，调光之前的初始像素值为：
[0041][0042]
当背光亮度变暗时，为了使调光图像与原始图像保持相同的亮度值，lc透射率必须进行补偿，使其与调光率成反比。为此，将补偿系数c定义为：
[0043][0044]
其中，b
lbd
(x,y)是背光强度，其数值大小在(0，1)之间。由于液晶透射率是有界的，因此必须通过clip函数施加饱和约束。最终，背光调光后的补偿液晶透射率表示为：
[0045][0046]
其中f
clip
为将输入值限制在0到1之间的clip函数。
[0047]
根据透射率和背光强度b
lbd
，当没有光泄漏时，显示器上的亮度必须为，当没有光泄漏时，显示器上的亮度必须为但由于存在与b
lbd
成比例的少量泄漏，因此调光图像建模为：
[0048][0049]
其中∈表示漏光系数。这取决于液晶材料、器件结构和视角的特性。在本专利中，为了简单起见，整个像素使用∈＝0.03。
[0050]
在第一方面的一些可实现方式中，计算原图像与调光图像之间的损失值，计算方法为：
[0051]
[0052]
其中，为原图像像素值，为调光图像像素值。w为待调光图像的宽度，h为待调光图像的高度，c为待调光图像的通道数。使得在输出的调光图像无限接近于输入图像的约束条件下，估计固定数量背光块blu的发光强度，得到背光调光的方案。
[0053]
第二方面，提出一种局部背光调光系统，该系统包括初始背光模块、模糊背光模块、插值背光模块、背光调光模块四部分。
[0054]
初始背光模块，包括1层卷积层、4层最大池化层和1层全连接层的简单卷积神经网络，所述简单卷积神经网络的输入为原图像，输出为blu初始背光；模糊背光模块，负责对初始背光模块输出的blu初始背光发光强度使用双边平滑操作，进行模糊处理；插值背光模块，负责对模糊背光模块的输出结果使用两次双三次插值操作，将blu初始背光放大到与原图像大小相等，得到blu整体背光；背光调光模块，负责创建调光透射率补偿器，对调光图像进行建模。
[0055]
第三方面，提出一种局部背光调光训练设备，该设备包括至少一个处理器和存储器；存储器存储计算机执行指令；至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如第一方面及第一方面的一些实施例中提及的训练方法。
[0056]
第四方面，提出一种可读存储介质，该可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面及第一方面的一些实施例中提及的训练方法。
[0057]
3.有益效果
[0058]
本发明的技术方案需要训练的参数较少，计算量和延迟也显著减少，网络简单，使得学习成本明显降低，训练和硬件上的移植更加简单。与传统方法不同，卷积神经网络的方法使用在更大像素值范围内学习的特征来估计强度，自然地考虑到来自相邻块的光的扩散，实验表明，该算法在客观度量方面取得了合理的结果且需要训练的参数较少，可以在硬件上进行有效实现。
[0059]
本发明基于卷积神经网络，可以考虑到邻近像素的影响，解决了传统特征缺乏泛化能力的问题。同时卷积神经网络体量较小，只使用一层卷积层与一层全连接层，使用四层的最大池化层不需要训练参数，与现有的基于卷积神经网络的调光方法需要训练108k参数相比，只需要训练两千余个参数即可达到相近的调光结果，减少了参数的冗余，可以在硬件上进行有效实现。
[0060]
本发明使用了双边滤波平滑的方法，对比均值滤波、中值滤波和高斯滤波，双边滤波可以在对图像进行模糊的同时又能保持图像的边沿不受影响，在背光调光中，保持边沿是尤为重要的。
[0061]
本发明使用两次双三次插值对模糊背光进行插值放大，在这种方法中，一个点的像素值通过矩形网格中最近的16个采样点的加权平均得到，能产生的效果最好，两次双插值计算可以比一次双插值更为精确地插补图形，同时，与多次插值相比，计算量更少。
[0062]
本发明设计了一种硬件友好的局部背光调光策略，对图像进行模拟调光后，其峰值信噪比与图片相似度都处于一个较高的值，能很好支持各种规模的液晶显示器调光任务。
附图说明
[0063]
图1为局部背光调光算法的流程框图；
[0064]
图2为局部背光调光算法的网络结构示意图；
[0065]
图3为局部背光调光算法的原理图；
[0066]
图4为局部背光调光算法中像素补偿的流程图；
[0067]
图5为本发明在div2k数据集上测试效果示意图1；
[0068]
图6为本发明在div2k数据集上测试效果示意图2；
[0069]
图7为本发明在div2k数据集上测试效果示意图3。
具体实施方式
[0070]
下面结合说明书附图和具体的实施例，对本发明作详细描述。
[0071]
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
[0072]
目前，为了解决液晶显示器，在显示低亮度画面时背光亮度不能调节降低，不能制造完美黑区，部分光线穿过液晶阻隔，形成漏光伪影降低图像的显示质量，并且由于背光模组功耗在lcd的整体功耗中占比最大，传统lcd会造成很大的能源浪费等问题，许多研究者都提出了局部背光调光的方法。
[0073]
局部背光调光需要在黑暗区域使背光变暗，并且反过来补偿lc透射率，使其与调光率成反比，使得在减少泄漏特性影响的同时，显示的图像失真较小。如今，发光二极管(led)已取代冷阴极荧光灯(ccfl)作为背光单元(blu)。blu通常分为块，这样我们可以根据图像内容局部和单独地控制每个块中led的强度。然而，现有的lbd也经常带来一些退化，例如细节丢失和光晕伪影，效果较好的调光方法使用了多层卷积层，网络体量较大，所需要训练的参数很多。
[0074]
为了克服以上现有技术之不足，解决传统局部背光调光方法缺乏泛化能力、新型调光方法网络大、难以实现的问题，本发明采用了一种硬件友好的小型网络来学习特征，以找到最佳的背光强度。与传统方法不同，本方法采用一层卷积层与多层池化层进行不断地训练，在更大像素值范围内学习的特征来估计强度。实验表明，该算法在客观度量方面取得了合理的结果。
[0075]
实施例1
[0076]
一种局部背光调光算法，如图1所示，将整个背光单元(blu)划分为固定数量的背光块，用于局部调光控制；对原图像使用简单卷积神经网络，经过1个扩张卷积层、4个最大池化层和1个全连接层，最后使用sigmoid函数，将输出作为blu的归一化初始背光强度；接着对blu初始背光使用双边平滑操作与两次双三次插值操作，以将blu初始背光进行模糊处理并插值放大到与原图像大小相等，得到整体背光；随后创建调光透射率补偿器，当背光过暗时使调光图像与原始图像保持相同的亮度值，同时考虑光泄露问题，根据原图像、整体背光、调光透射率补偿系数和漏光系数对调光图像进行建模；最后计算原图像与调光图像之间的损失值，使得在输出的调光图像无限接近于输入图像的约束条件下，估计固定数量背
光块blu的发光强度，训练简单卷积神经网络，训练完成后，保存所有参数，得到背光调光的整体解决方案。
[0077]
方法包括以下具体步骤：
[0078]
将整个blu划分为固定数量的背光块，所述背光块为单独控制led强度的最小单元。
[0079]
将原图像输入简单卷积神经网络，输出blu的归一化背光强度blu初始背光，以所述blu初始背光控制led背光显示。
[0080]
对blu初始背光使用平滑操作，进行模糊处理。对经过平滑操作的blu初始背光进行插值操作，将blu初始背光放大到与原图像大小相等，得到blu整体背光。
[0081]
创建调光透射率补偿器，根据blu整体背光对原图像进行调光透射率补偿，得到背光调光后的补偿液晶透射率。
[0082]
根据blu整体背光、背光调光后的补偿液晶透射率和漏光系数对原图像进行像素补偿，完成调光图像的建模。
[0083]
计算原图像与调光图像之间的损失值，在输出的调光图像无限接近于输入图像的约束条件下，估计固定数量的背光块blu的发光强度，训练所述的简单卷积神经网络，优化简单卷积神经网络模型的参数。
[0084]
每一轮迭代中计算输入图像正向传播到输出层节点的数据，输出的数据为blu初始背光，对blu初始背光进行平滑、插值计算后对原图像进行像素补偿，最终输出调光图像；通过计算调光图像与原图像的损失值，来计算梯度再进行反向传播，并在反向传播的过程中更新网络模型参数权重w和偏置值bias；经过多轮迭代，最终得到稳定的网络模型参数，保存最终的网络模型参数，训练过程完毕，完成模型构建，得到背光调光的整体方案。
[0085]
所述背光调光的整体方案包括简单卷积神经网络输出的blu初始背光和blu整体背光的计算方法。
[0086]
本实施例应用图1所示流程的局部背光调光算法，基于图2所示局部背光调光算法的网络结构，依据图3所示调光原理，具体使用图4所示的像素补偿方法。实例中使用div2k数据集，该数据集是为单图像超分辨率发布的。div2k数据集由内容多样的高分辨率(2k)rgb图像组成，由800张培训图片和100张验证图片组成。为了提高效率，使用从原始数据集中随机裁剪的子图像进行训练，子图像大小为480
×
768，是目标图像大小的四分之一。从480
×
768个子图像中估计5
×
8个blus，大小足以让网络考虑周围的blu块中的信息。
[0087]
在经过10轮训练后，峰值信噪比稳定在35db以上，图片相似性也达到了0.98左右，相较一些手工特征值提取的方法有了较大的提升。junho jo等人提出了基于卷积神经网络的局部背光调光算法，需要训练1082065个参数，峰值信噪比稳定达到37.47db，图片相似性达到0.984，与该方法对比，本发明只需训练两千余个参数即可达到较好的结果。在div2k数据集中的效果如图5～图7所示，以图5为例，从左至右五幅图片的含义分别是：原始图像，经过训练好的网络进行背光调光图像，初始背光，模糊背光，以及原始图像与经过调光的图像二者的差值，从图中可以看出，经过局部背光调光后，图像的细节损失很小，证明了局部背光调光算法的可靠性。
[0088]
本发明的技术方案提出了一种硬件友好的局部背光调光算法，使用较小的网络进行训练，与现有的基于卷积神经网络的调光方法需要训练108k参数相比，只需要训练两千
余个参数即可达到相近的调光结果，减少了参数的冗余，可以在硬件上进行有效实现。实验表明，该算法在客观度量方面取得了合理的结果。
[0089]
实施例2
[0090]
一种局部背光调光系统，该系统包括初始背光模块、模糊背光模块、插值背光模块、背光调光模块四部分。
[0091]
初始背光模块，包括1层卷积层、4层最大池化层和1层全连接层的简单卷积神经网络，所述简单卷积神经网络的输入为原图像，输出为blu初始背光；模糊背光模块，负责对初始背光模块输出的blu初始背光发光强度使用双边平滑操作，进行模糊处理；插值背光模块，负责对模糊背光模块的输出结果使用两次双三次插值操作，将blu初始背光放大到与原图像大小相等，得到blu整体背光；背光调光模块，负责创建调光透射率补偿器，对调光图像进行建模。
[0092]
实施例3
[0093]
一种局部背光调光系统训练设备，包括：至少一个处理器和至少一个存储器；所述存储器存储计算机执行指令；所述处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如实施例1所述的局部背光调光方法。
[0094]
实施例4
[0095]
一种可读存储介质，所述可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现实施例1所述的背光调光方法。
[0096]
以上示意性地对本发明创造及其实施方式进行了描述，该描述没有限制性，在不背离本发明的精神或者基本特征的情况下，能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本专利的保护范围。此外，“包括”一词不排除其他元件或步骤，在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。