基于图像分割的移动设备显示器省电方法与流程

本发明涉及oled自发光显示器省电领域，尤其涉及一种基于图像分割的移动设备显示器省电方法。

背景技术：

当今社会，手机、平板电脑等智能移动设备已被广泛使用。显示器作为智能移动设备中人机交互不可或缺的界面，主要分为非自发光显示器和自发光显示器。有机发光二极管(organiclight-emitting,oled)作为一种现代新兴的自发光显示器技术，不同于传统的非自发光显示器，每一个像素都可以提供光源，其亮度可以根据所显示的图像的内容单独调节，易于有效控制电池消耗。因此，目前应用oled自发光显示器的功率约束图像增强算法是一个研究热点。

现有的自发光显示器的功率约束图像增强算法已经有很多。

lee等人提出了一种基于直方图的可修改的修正技术，改进了jan等人方法的抑制率。虽然这些方法可以保持图像质量，但其节能率较低。因此，lee等人提出了一种基于直方图的可修改的修正技术，改进了jan等人方法的抑制率。虽然这些方法可以保持图像质量，但其节能率较低。因此，基于oled显示器，大家当前公认的降低耗能技术是基于改变像素亮度值来增加电池寿命，这种方法在近些年受到非常多的关注。另外一种专门应用于视频播放器的oled显示器节能方法是一种基于场景分类的动态色调映射方法。尽管这种方法优化了显示器的能量消耗，但是视频分类器在某些特定的场景中是失败的。park等人提出了一种在图像中降低人的感知的α混合方法来降低显示器的功耗。这种方法虽然实现了视频处理的低计算复杂度，但是在不同图像的处理中需要初始化确定的参数，这在实际中是很难实现的。nam等人提出的一个基于功率受限对比度增强(sdmsr)的多阶的视网膜大脑皮层方法，其中输入图片被分成不同的子模块并且计算出对于每一个局部的调整像素强度合适的增益，直到到达能量的目标消耗。然而使用这些规定的假设或者先验的对比度增强去过分的校准每一个像素的强度的方法，增强图像可能会出现效果差强人意的人造图像或者造成图像退化。为了减少图像像素强度的退化，基于校准的人造图像出现，例如chang等人提出了一种可调光的感知像素，使用减法因子降低像素亮度值，这种方法通过结构相似性(ssim)的评估，允许不通过任何设备显示器的先验的知识，直接判断显示器内容的像素强度。chondro等人提出的应用于amoled显示器且以感知色调为目标的节能方法，对于输入图片的局部亮度通过临近区域的颜色进行抑制。通过根据色调转换增加每一个像素的结构会使能量消耗更加减少，尽管此方法在节能和图像质量方面有一定的权衡，但是其计算复杂度太高，影响影音播放器的使用。chang等人的方法是对chondro等人的方法通过抑制过度曝光区域和蓝色光谱来进一步提高的方法。kang等人直接延展出基于ssim评估和感知质量能量减少(pqpr)算法，pqpr算法的思想是输入图片线性的转换，基于获得的灰阶图像曲线进行图像增强。后来又提出了一种在oled显示器中基于图像质量能量控制(iqpc)算法，这是对kang等人方法的改进。iqpc方法为了减少错误以避免图像质量损失，提出一个曲线目标函数。之后提出的原始亮度二极管能量控制(oledpc)算法，是对iqpc的直接延展。chondro等人提出一种基于直方图均衡化的显示器功率约束对比增强算法(hdpcce)。该算法利用凸优化理论最小化目标函数，同时实现对比度增强和节电。oledpc方法设计另外的一个目标函数，决定灰阶图曲线，全局的校准基于图像质量的输入图片的像素强度。最近，chondro等人采用颜色保持像素调光(hppd)方法，提出一个色调饱和值颜色图(hsv)，目的在于抑制amoled显示器的能量消耗。

然而，现有的功率约束图像增强算法有2个明显的不足之处。第一，影响视觉感受。现有的方法都是直接将整张图片进行调整，这种操作会损失图像的细节信息，影响视觉感受。第二，省电的程度较小。现有的方法实际应用于智能移动设备时，用户不能根据自身需要灵活调整所需的省电程度，体验感较差。因此，目前应用oled自发光显示器的功率约束图像增强算法是一个研究热点。

技术实现要素：

本发明的目的在于提供基于图像分割的移动设备显示器省电方法，能够根据上下文正则化的循环深度学习框架的分割图像，进而降低图像中非图像区域的亮度，在有效保持图像质量的同时，使得显示器耗电程度可以随用户的使用偏好进行调节。

为了实现上述目的，本发明采用以下技术方案：

基于图像分割的移动设备显示器省电方法，其特征在于，包括以下步骤：

步骤1：对输入图片在vgg19-fcn网络中进行卷积操作，其中，vgg19-fcn网络由18个卷积层、5个池化层和3个反卷积层构成；具体包括以下步骤：

步骤1.1：卷积层操作，采用以下方法：

假设是第l层卷积层的第i层特征映射，定义特征映射为输入量，为输出量，即二值掩膜图，卷积操作如公式(1-1)所示：

其中，是第l层卷积层的第i层卷积层的卷积核，是第l层卷积层的第i层卷积层的偏差参数；n是在中特征映射的数量，*表示为卷积操作，f(·)为激活函数；

步骤1.2：池化层最大池化操作，采用以下公式(1-3)表示：

其中，ω(m,n)表示特征向量的空间向量的位置(m,n)，△代表在本算法框架的第7层中；

步骤1.3：反卷积层操作，采用以下方法：

将第一层卷积层的第5层的输出量反卷积到原图大小，再将第一层卷积层的第4层的输出和第3层的输出量也依次反卷积，得到反卷积操作用公式(1-4)表示：

其中是第l层卷积层的第i层卷积层的卷积核，表示为反卷积操作；

步骤1.4：调整学习率，采用以下方法：

学习率的调整如公式(1-5)所示：

其中，rt为学习率，t为变化计数，t＝0，1，2，3；α为衰减指数；ρ＝0.90；

步骤2：对卷积层输出的二值掩膜图上下文正则化操作，具体包括以下步骤：

步骤2.1：定义为在位置(m,n)的像素，x^g是灰度图，则x^g在位置(m,n)的像素i(m,n)为：

其中，η是最原始的误差，η为：

其中，为最小化误差参数η，表示frobenius范数操作；

步骤2.2：定义约束函数：

其中，是像素周围8个方向的像素；

步骤2.3：定义权重函数w(m,n)：

当w(m,n)＝0时，m和n之间的相应上下文约束将被取消；

步骤2.4：基于两个相邻像素的向量之间的平方差的方法，构造权重函数w(m,n)：

其中，σ为规定参数，σ＝0.5，i(m+δm,n+δn)为x^g的输入像素周围8个方向的像素；

步骤2.5：在图像域中加入加权上下文约束，改写公式(1-9)为：

其中，ω代表8个所在位置的像素的不同方向；

步骤2.6：定义高阶滤波器dδm,δn，使dδm,δn在每一个位置(δm,δn)的值都满足：

即使dδm,δn在每一个位置(δm,δn)的值都满足

其中，ω表示指标集，为像素的乘法算子，为卷积算子，dδm,δn表示一个一阶微分算子，wδm,δn表示像素在(δm,δn)的一个加权矩阵，||·||1表示曼哈顿距离的评估；

步骤2.7：定义并最小化下面的目标函数，目标函数(1-14)由公式(1-7)和公式(1-13)得：

其中，ξ是平衡两个条件的正则化参数；对于符合以下公式：

步骤2.8：定义辅助变量重写公式(1-15)：

其中，β为预定义的比例因子，β的初始值β0为1，最大值βmax为22，通过比例因子反复增加β，使其从最小值0到最大值22；

步骤2.9：首先，固定优化

因此，可以直接在位置(m,n)中最优化

其中，sign(·)是信号函数；

其次，固定优化

因为公式(1-19)是的二次方程，因此可以重写公式(1-19)：

步骤2.10：使用二维傅里叶变换和假设循环边界条件优化计算出最优解y*：

其中，τ是傅里叶变化，τ(·)^-1是反傅里叶变化；

步骤3：循环迭代操作，包括以下步骤：

步骤3.1：在经过上下文正则化计算之后，将得出的最优解y*与输入的rgb图片做像素值的相乘，得到一张相乘后的图片y；

步骤3.2：将步骤3.1中的y作为输入，重复进行步骤1、步骤2和步骤3.1，基于y的熵值，设置熵值临界值6.92，使迭代从0到6.92进行，直至预测出与真相最为接近的二值掩膜图y’；

步骤4：根据步骤3.2的y’，将oled自发光显示器显示的图片的图像区域保持不变，非图像区域进行像素亮度值的降低。

根据权利要求1所述的基于图像分割的移动设备显示器省电方法，其特征在于：步骤1.1中，所述的激活函数使用的是修正线性单元，如公式(1-2)所示：

f(x)＝max(0,x)；(1-2)

其中x是激活函数的输入值。

步骤1.4中，所述的学习率rt的初始值r0设为10-4。

步骤3.2中，判断图片y是否为与真相最为接近的二值掩膜图的方法为：通过查准率、召回率、f1_measure和相似度这4个评价指标判断。

步骤4中对非图像区域进行像素亮度值的降低的方法为：定义能量节省后的图像为y”，则：

其中，p是期望功率消耗水平。

本发明的有益效果：

本发明所述的一种基于上下文正则化的图像语义分割方法，通过卷积操作、上下文正则化操作和循环迭代操作解决了现有同类算法图像区域和非图像区域分割不准确的问题，尤其解决了预测图片大面积错误和边缘分割不清晰的问题，提高了图像分割准确程度，进而降低图像中非图像区域的亮度，在有效保持图像质量的同时，使得显示器耗电程度可以随用户的使用偏好进行调节。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的方法流程图；

图2为本发明所述高阶滤波器dδm,δn的结构示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示：本发明所述的一种基于图像分割的移动设备显示器省电方法，包括以下步骤：

步骤1：在vgg19-fcn网络中进行卷积操作，其中，vgg19-fcn网络由18个卷积层、5个池化层和3个反卷积层构成；具体包括以下步骤：

步骤1.1：假设是第l层卷积层的第i层特征映射，特征映射是输入量，是输出量，即二值掩膜图，如公式(1-1)所示：

其中，是第l层卷积层的第i层卷积层的卷积核，是第l层卷积层的第i层卷积层的偏差参数；其中n是xi^l在中特征映射的数量，*表示为卷积操作，f(·)代表激活函数，激活函数使用的是修正线性单元(rectifiedlinearunit，relu)，如公式(1-2)所示：

f(x)＝max(0,x)；(1-2)

其中x是激活函数的输入值；

步骤1.2：卷积操作之后，接着是池化层，本算法中使用的池化操作是最大池化，就是从特征向量的空间向量中，取最大值保留，其余值舍弃；池化操作可以用公式(1-3)表示为：

其中ω表示在特征向量的空间向量的(m,n)位置，δ代表变量在本算法框架的第7层中；

步骤1.3：反卷积层操作，采用以下方法：

如果直接对第6层网络的输出进行放大32倍的反卷积操作，得到的结果对比于xi^l的真相二值图来说，结果并不精确，有很多错误；因此，按从后向前的顺序，将第4层的输出16倍反卷积之后再根据第3层的输出8倍反卷积，得到的结果比之前未经过此过程的输出结果更加精确；进一步的，反卷积操作用公式(1-4)表示：

其中表示第l层卷积层的第i层反卷积层的核的值，表示为反卷积操作；因此，在执行反卷积操作之后，生成一个二值掩膜图(binarymask)作为显著性映射图(saliency-guidedmap)，以分离出显示图像中的图像区域和非图像区域；

步骤4，在经过测试得到预测的二值掩膜图xil+1之后，本发明做了一个参数的调整，以求得最好的效果；学习率的调整如公式(1-5)所示：

其中，t表示变化计数，t＝0，1，2，3；r0是学习率的初始值，初始值设为10^-4；α为衰减指数；本发明一共进行了15个纪元的卷积操作，其中，每3个纪元减少为之前的α倍，一共变化了4次；本发明将衰减指数α的值设置为0.90；

步骤2：上下文正则化操作，具体包括以下步骤：

步骤2.1：定义是在位置(m,n)的值，x^g是灰度图，因为x^g是最接近真相的图，i(m,n)是灰度图x^g在位置(m,n)的像素，可以表示为公式(1-6):

其中η是最原始的误差，可以用公式(1-7)表示为:

最小化误差参数η，表示frobenius范数操作；

步骤2.2：定义约束函数:：

其中，是像素的周围8个方向的像素；

步骤2.3：设置一个权重函数为w(m,n)：

权重函数w(m,n)代表在位置(m,n)处加权函数起到了m和n之间的约束的“开关”作用，当w(m,n)＝0时，m和n之间的相应上下文约束将被取消；一个非常关键的问题是如何选择一个合理的w(m,n)；

步骤2.4：基于两个相邻像素的向量之间的平方差的方法，构造权重函数w(m,n)：

其中，σ为一个规定参数，值为0.5，i(m,n)和i(m+δm,n+δn)分别为x^g的输入像素和输入像素周围8个方向的像素；

步骤2.5：在图像域中加入加权上下文约束；为了便于计算，公式(1-9)可以表示为:

其中，ω代表8个所在位置的像素的不同方向；

步骤2.6：如图2所示：定义高阶滤波器dδm,δn；

设置dδm,δn在每一个位置(δm,δn)的值的计算都满足公式(1-12)：

为了方便计算，公式(2-12)使用更合理的表达方法，如公式(1-13)：

其中，表示像素的乘法算子，表示卷积算子，wδm,δn表示像素在(δm,δn)的一个加权矩阵，||·||1表示曼哈顿距离的评估；

本发明根据一个最小滤波器的移动窗口，对输入图片的每个像素通道进行滤波，然后将每个通道的最大值作为x^g的分量的估计值；

步骤2.7：定义并最小化下面的目标函数，从而找到一个最优的函数，由公式(1-7)和公式(1-13)得目标函数为：

其中，ξ是平衡两个条件的正则化参数。对于符合以下公式：

步骤2.8：为了便于计算，本发明采用了一种基于分离变量的优化方法，该方法的基本思想是引入几个辅助变量，构造一系列简单的子问题，最终解收敛到原问题的最优解；定义辅助变量重写公式(1-15)：

其中，β是预定义的比例因子，设置为进一步的，初始值β0为1，最大值βmax为2²；通过比例因子反复增加β，使循环从最小值0到最大值2²；

步骤2.9：首先，固定化简之后固定化简重复这个过程，直到收敛，可以有效的解决问题；具体做法如下：

首先，固定化简

因此，可以直接在位置(m,n)中最优化

其中，sign(·)是信号函数；

其次，固定优化

因为公式(2-19)是的二次方程，因此可以重写公式(1-19)：

步骤2.10：使用二维傅里叶变换(2dfft)和假设循环边界条件优化可以直接计算出的最优解y*：

其中，τ是傅里叶变化，τ(·)^-1是反傅里叶变化，表示像素乘法，在公式(1-21)中，除法也以像素的方式计算；在迭代过程中，通过比例因子反复增加β，使其从最小值0到最大值2²。

步骤3：循环迭代操作，包括以下步骤：

步骤3.1：在经过上下文正则化计算之后，将得出的最优解y*与输入的rgb图片做像素值的相乘，得到一张相乘后的图片y；图片y图像区域每一个像素点的值都为0，非图像区域保持不变；

步骤3.2：将步骤3.1中的y作为输入，重复进行步骤1、步骤2和步骤3.1，基于y的熵值，设置熵值临界值6.9²，使迭代从0到6.9²进行，直至预测出与真相最为接近的二值掩膜图y’。

本发明通过计算查准率(precision)、召回率(recall,也叫查全率)、f1-measure和相似度(similary)判断最终结果是否是与真相最为接近的二值掩膜图。

其中真正例(truepositive,tp)说明答案为0时，预测结果为0；真反例(truenegative,tn)说明答案为1时，预测结果为1；假正例(falsepositive,fp)说明答案为0时，预测结果为1；假反例(falsenegative,fn)说明答案为1时，预测结果为0。

查准率(precision)为真正正确的个数占整个结果的比例；即在正确答案应该为0这一标准下，预测正确的个数占所有预测结果出的值是0的个数的比例。

召回率(recall,也叫查全率)为真正正确的个数占整个数据集中真正正确个数的比例；即在正确答案应该为0这一标准下，预测正确的个数占整个数据集中正确答案为0的个数的比例。

f1-measure是精准率precision和召回率recall加权调和平均。

相似度(similary)为真正正确的个数占预测错误的个数与误报率和漏报率之和；即在正确答案应该为0这一标准下，预测正确的个数，占整个数据集中正确答案为0的个数和正确答案为1而预测答案为0的个数之和的比例。

查准率、召回率、f1_measure和相似度这4个评价指标的值在0-1之间，其中值越接近1，表明最终结果与真相最为接近。

步骤4：步骤4：根据步骤3.2的y’，将oled自发光显示器显示的图片的图像区域保持不变，非图像区域进行像素亮度值的降低；具体方法为：

在基于上下文正则化的循环深度学习框架得到预测的二值掩膜图y’后，进行线性变换，以降低显示显示的图片中非图像区域的功耗，定义能量节省后的图像为y”，则：

其中，p是期望功率消耗水平；经此操作后，只有非图像区域像素亮度值被降低，但图像区域不变。

本发明分别针对680张耗电量80％、680张耗电量70％和680张耗电量60％的图片进行客观评价指标的比较：耗电量80％的意思是进行省电操作后的耗电量为未进行省电操作的耗电量的80％，以下都以耗电量80％描述；耗电量70％的意思是进行省电操作后的耗电量为未进行省电操作的耗电量的70％，以下都以耗电量70％描述；耗电量60％的意思是进行省电操作后的耗电量为未进行省电操作的耗电量的60％，以下都以耗电量60％描述。

从表1到表3，对所有的比较方法进行峰值信噪比(peaksignaltonoiseratio,psnr)、结构相似性(structuralsimilarityindex,ssim)、视觉信息保真度(visualinformationfidelity,vif)、measureofenhancement(eme)和colorqualityenhancement(cqe)5种客观评价指标的比较；其中，psnr的值越大，代表图像失真越小；ssim的值越接近1，代表与原图的相似性越高；vif通过计算与原图的相互信息衡量图像的质量好坏，值越大代表视觉效果越好；eme值越大代表图像质量越高；cqe计算与原图在色彩的方面的比较，值越大代表图像色彩越好；本发明中所用的所有客观指标值，都是数值越大，代表图像视觉效果越好。

表1电耗量80％下省电效果的客观评价指标比较

表2电耗量70％下省电效果的客观评价指标比较

表3电耗量60％下省电效果的客观评价指标比较

根据表1、表2和表3的数据结果，本发明所提出的方法与sdmsr、pqpr、iqpc、hdpcce和hppd这5种方法相比，在耗电量不同的情况下，数据上均高于其他方法的数据值，说明本发明的方法，不仅实现了图像区域保持不变，非图像区域亮度降低这一功能外，其图片视觉保持度也比其他5种方法好，在psnr、ssim、vif、eme和cqe这5个客观评价指标中均比sdmsr、pqpr、iqpc、hdpcce和hppd这5种方法有所提高。

本发明相对于其他5种省电方法，不但从视觉效果上，还是从客观评价指标的实验数据上，都表明在耗电量相同的情况下，本发明的视觉效果保持的较好；因此，本发明提出的方法更好的保持了图像质量，具有更高的价值和更好的视觉感受。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。