一种依赖观看条件的图像显示适配方法与流程

本发明属于计算机图像处理领域，具体涉及一种依赖观看条件的图像显示适配方法。

背景技术：

近年来，人们经常相互之间分享照片、图像、视频等多媒体。这就需要从不同的显示设备上观看同一幅图像或视频。原始采集图像的分辨率已经固定，为了适配不同的显示设备，需要对图像进行重新编辑，使其适配显示设备。例如，在交互式屏幕共享应用(家庭应用的多屏切换)中，一幅图像可以分别从电脑，智能手机，智能电视等屏幕上进行观看。而由于不同显示设备的显示尺寸不一样，用户得到的观看体验质量也不完全相同。

为了保证在不同的显示设备上观看同一幅图像都能得到最优的体验质量，研究人员提出了基于内容感知的图像重定向方法。即重新编辑图像内容，尽量保留或放大一些重要的、能引起观看者注意的内容，而挤压、去掉一些观看者不关注的内容。这种方法在一定程度上能够有效的改善同一幅图像在不同显示设备上的观看体验质量。目前主要有两类基于内容感知的图像显示适配方法。一种方法是基于图像变形的方法。这种方法连续的改变像素的位置关系，能够保持图像的整体结构，突出图像的显著区域。但是，很难做到大部分图像内容的一致性，也就是图像内容的自然协调性并不十分理想。另一种方法是一种以离散形式处理图像像素关系的方法，代表性的方法就是基于接缝雕刻的方法。这种方法用以不同的处理粒度对待相邻的像素，因此图像的像素之间的平滑性并不完美。

目前的图像显示适配方法忽略了观看条件变化对观看体验质量的影响。观看条件，例如观看距离，屏幕的显示PPI(Pixels Per Inch))等都会对观看体验造成影响。由于观看条件的不同，图像内容显示的最优尺寸大小并不一定与显示设备的大小一致。所以目前以显示设备为最优目标图像大小的图像显示适配方法并不能达到观看体验质量的最优。特别是图像内容中，受关注对象的保留程度与观看条件息息相关，其直接影响观看体验质量。另外，目前的基于内容感知的图像显示适配方法忽略了人类视觉系统对不同显示情况感知不同的因素。例如人类视觉系统与内容适配变换之间的关系，还没有被深刻认识。

技术实现要素：

针对目前图像适配处理方法忽略了观看条件影响适配质量的问题，本发明的目的在于提供一种依赖观看条件的图像显示适配方法。本方法利用对比敏感性概念首先建立图像观看条件与人类视觉系统响应的关系。然后决策图像受关注区域的最优目标缩放比例。得到最优目标缩放比例后，对不同图像区域朝着目标显示尺寸进行变形变换处理，得到最优的适配观看条件和显示设备的图像显示。

本发明内容主要分为两个环节：1)依赖观看条件的受关注区域的最优缩放比例的决策；2)保持最优关注区域尺寸的图像变形处理。

本发明的技术方案为：

一种依赖观看条件的图像显示适配方法，其步骤为：

1)计算图像中傅里叶域中任一点(u,v)处对应的图像模式的真实对比度，得到该图像在空间频率域的对比度图MC，以及计算该图像任一点(u,v)处的空间频率f(u,v)，得到该图像在空间频率域的空间频率分布图MF；

2)通过公式计算缩放处理的最优缩放比例SFopt，根据该最优缩放比例SFopt对该图像进行缩放，得到一中间图像；然后对该中间图像进行变形，在变形过程中尽可能保持每一受关注区域si形状不变，得到一与目标屏幕适配的目标图像；其中，SF为缩放因子，Pi表示在原观看环境下对第i个受关注区域si的感知，P′i表示在目标观看环境下将第i个受关注区域si按因子SF缩放之后的感知，N为受关注区域总数，其中，根据MC和MF共同刻画Mi(f)，Mi(f)表示第i个受关注区域中各位置对应的空间频率和真实对比度的综合描述；MCSF(f)表示CSF滤波矩阵，矩阵的每个元素由MF中对应位置的空间频率代入到CSF(f)滤波函数计算得到，计算出Mi(f)的过程表示为ξ(si)，ξ^-1操作是与ξ操作相反的过程。

进一步的，对该中间图像进行变形的方法为：1)对该中间图像进行网格划分；2)求出该中间图像中缩放后的受关注区域分布；3)基于网格对该中间图像进行变形。

进一步的，对该中间图像进行变形的方法为：对受关注区域集合Ψ中的四边形网格和非受关注区域集合Φ中的四边形网格分别设定一不同的初始失真函数；然后计算按照当前设定的失真函数对该中间图像进行变形的加权失真总和Q，取Q最小化时对应的失真函数对该中间图像进行变形。

进一步的，加权失真总和其中，为Ψ中索引为的四边形网格的权重，其值为该四边形网格的平均关注值；wφ为Φ中索引为φ的四边形网格的权重，为网格由变为过程中产生的失真，其中指索引为的四边形网格，为索引为的变形图像中的四边形网格；为网格由qφ变为q′φ过程中产生的失真，其中qφ指索引为φ的四边形网格，而q′φ为索引为φ′的变形图像中的四边形网格。

进一步的，加权失真总和为Ψ中索引为四边形网格的顶点坐标集合，变形后为πφ为Φ中索引为φ四边形网格的顶点坐标集合，变形后为π′φ；t(·)为平移操作s(·)为相似性变换。

进一步的，将公式中的min|s(πφ)-π′φ|²替换为min|R·ε-π′φ|²；其中，相似性变换s(·)用向量ε＝[α,β,τx,τy]来表征，α代表缩放变换参数，β代表旋转变换参数，τx和τy代表x方向和y方向的平移向量，s(πφ)＝R·ε，R为相似性变形变换矩阵；然后将最小化表达式|R·ε-π′φ|²的求解问题转换为求最优ε的问题，设R·ε＝π′φ，求得最优εopt＝(R^TR)^-1R^Tπ′φ；然后计算得到min|R·ε-π′φ|²＝|R·εopt-π′φ|²＝|Hs·π′φ|²，Hs＝R(R^TR)^-1R^T-E，E为单位矩阵；最后通过最小线性二乘的方法求解

进一步的，对Ψ中的四边形网格仅进行平移操作t(·)。

进一步的，通过基于上下文感知的关注区域检测方法求出图像的关注区域分布。

进一步的，滤波函数CSF(f)为CSF(f)＝2.6·(0.0192+0.114·f)·exp(-(0.114·f)^1.1)。

本发明的优点和积极效果如下：

与传统的单纯基于内容感知的图像显示适配不同，本发明通过引入观看条件和用户观看体验质量的依赖关系，利用图像的对比敏感性概念，在图像显示适配过程中控制关注区域的最优尺寸，使得得到的图像能够在当前的现实条件下得到最优的观看体验。表1给出了从电脑屏幕(D1)到智能手机屏幕(D2)，电脑屏幕到智能电视屏幕(D3)的不同图像适配处理方法的观看体验质量评价的对比数据。对比数据显示的是平均体验分值(最小为0，代表最差；最大值为5，代表最好)其中ES代表对图像均匀缩放的方法，SC代表接缝雕刻的图像显示适配方法，SPR代表形状保持变形的图像显示适配的方法。Ours表示我们提出的依赖观看条件的图像显示适配方法。针对不同图像“Boats”，“Diving”的结果显示我们提出的方法能够获得更高的观看体验质量。

表1不同图像显示适配处理方法的主观体验质量评价对比

附图说明

图1为本发明的方法流程图；

图2为图像傅里叶变换处理图；

(a)为图像的傅里叶域图，(b)为(0，0)处傅里叶反变换图，

(c)为(0，0)、(k，0)处傅里叶反变换图，

(d)为(k，0)、(k，k)处傅里叶反变换图；

图3为在屏幕上观看图2(c)的示意图。

具体实施方式

下面结合附图详细说明本发明的技术方案，本发明的方法流程如图1所示：

1、决策受关注区域的最优缩放比例

1.1CSF的定义

人眼在观看图像时，图像中包含的真实对比度与人眼所感知到的对比度在一定程度上存在差异，而人眼感知到的对比度Cs与输入真实对比度Ci之间的比值即被定义为对比敏感性(CSF)。人眼感知的对比度Cs反映了人眼对图像感知的体验质量，其可以通过输入真实对比度Ci和对比敏感性相乘得到。CSF是一个空间频率f的函数，根据以往的研究可知CSF函数大致服从如下表达式，其在空间频率8cpd(cycles per degree)附近取得峰值，且峰值小于等于1。

CSF(f)＝2.6·(0.0192+0.114·f)·exp(-(0.114·f)^1.1) (1)

1.2图像在空间频率域的描述

对一副图像做傅里叶变换处理，则得出其在傅里叶域的表示，如图2(a)所示。其中(0,0)处的元素值代表了图像的平均灰度值，如果仅对该值进行傅里叶反变换则得出一个纯色的灰度图像如图2(b)；如果仅对(k,0)和(0,0)处的元素值进行傅里叶反变换，则可得出包含k个正弦波形的图像，如图2(c)所示，其中k＝9；同理仅对(k,k)和(0,0)的元素值进行傅里叶反变换则得出图2(d)中的图像，其中k＝9。从中可以看出傅里叶域的任一元素(u,v)对应一种图像模式，且该图像模式中的最大灰度值为lmax＝e(0,0)+e(u,v)，最小灰度值为lmin＝e(0,0)-e(u,v)，因此(u,v)处的元素对应的图像模式的真实对比度C(u,v)可以写为如下式子，

C(u,v)＝(lmax-lmin)/(lmax+lmin)＝e(u,v)/e(0,0) (2)

通过此公式可以得出傅里叶域中任一元素对应的图像模式的真实对比度，进而原图像在空间频率域的对比度图MC就可以提前计算出来。

傅里叶域的任一元素对应的图像模式的空间频率也存在差别。比如图3所示的在屏幕上观看图2(c)的这种场景，人眼观看图像时的视角θ可以表达如下，

θ＝arctan(W/ρ·δ/(2·D)) (3)

其中W为横向像素数，ρ为屏幕的每英寸内的像素数目(PPI，pixelsperinch)，δ为常数2.54，D代表人眼与屏幕中心之间的观看距离。我们知道空间频率的定义为单位视角内的灰度的周期数，因此对图3中的例子，可得其空间频率f可以写为如下式子，其中k代表灰度的正弦波周期数。

f＝k/θ (4)

运用上述相似的原理可以计算任意(u,0)处元素对应的空间频率f(u,0)，以及(0,v)处元素对应的空间频率f(0,v)，更进一步地对一般情况下(u,v)处元素可以计算其空间频率f(u,v)如下所示。

根据上式可以提前准备出傅里叶域中的每个元素所对应的空间频率，因此原图像在空间频率域的空间频率分布图MF就准备好了。

上面说到的MC和MF构成了原图像在空间频率域的描述，我们在此统称原图像在空间频率域的描述为M，后续的CSF滤波也是针对M操作的。

1.3通过CSF滤波决策受关注区域的最优缩放比例

当人在观看图像时，人眼并不会对图像的每个像素点都扫描一遍，而是通过图像中受关注的区域就能够较充分地获得图像想要传递的信息。因此在将一副图像从一种观看环境下转换到另一种观看环境下播放时，为了保持人眼所感知到的信息尽量的一致，则需要保证人眼对图像中的受关注区域的感知是尽量一致的。而一副图像中的受关注区域的集合可以通过基于上下文感知的关注区域检测方法提前识别为si(i＝1,2,...,N)，si代表识别出的图像中的第i个受关注区域。

而为了使得在不同的观看环境下对各受关注区域的感知尽量一致，则需要对所有的受关注区域做一定的统一的缩放处理，这个最优的缩放因子表示为SFopt，其计算可以表示如下，

其中Pi表示在原观看环境下对第i个受关注区域的感知，P′i表示在目标观看环境下将第i个受关注区域按因子SF缩放之后的感知，但是为了保持原环境下的感知Pi与目标环境下的感知P′i具有可比性，需要将P′i按因子1/SF反向缩放为与Pi的尺寸一致。基于公式(6)，通过更换缩放因子SF，就可以得到具有最小感知差异的最优的关注区域缩放比例SFopt。

人眼对一个图像的感知，如感知Pi，可以根据CSF滤波来模拟，其具体计算如式(7)所示。其中Mi(f)表示第i个受关注区域中各位置对应的空间频率和真实对比度的综合描述，其可以由上一部分介绍的MF和以及相关联的MC共同刻画得到，即在Mi(f)中每个位置对应不同的空间频率，而相应位置处的值即为对应该频率的真实对比度。即Mi(f)包含了对同一元素位置的空间频率描述和真实对比度描述。计算出Mi(f)的过程可以被表示为ξ(si)，而ξ^-1操作是与ξ操作相反的过程。MCSF(f)表示CSF滤波矩阵，矩阵的每个元素由由MF中对应位置的空间频率代入到公式(1)计算得到。公式(7)中的代表了对Mi(f)中的MC部分与MCSF(f)按位置相乘的操作。

2、保持最优关注区域尺寸的图像变形(warping)处理

为了将原图像放到目标环境下观看时能够保持图像各个部分之间的一致的缩放调整，一个初级但有效的方法即是将这个最优缩放因子SFopt应用到整个图像上，得到的这个图像此处被称为一个中间图像Iinter。但是该中间图像Iinter有可能在横向或纵向上超过目标终端屏幕尺寸，甚至在两个方向均超过目标屏幕尺寸，因此为了使得中间图像能与目标屏幕适配，我们设计了一种图像变形的方式去优化目标图像的显示。图像变形处理本身是一种连续的图像显示适配方法，其常见的方式是在网格的指导下完成对图像各个部分的不均等变形，在这个过程中更多地保护受关注区域，而将那些不得不产生的失真更多地分配到非受关注区域中，以达到优化图像整体显示效果的目的。整个变形处理分为以下几个步骤：1)对图像进行网格划分；2)通过基于上下文感知的关注区域检测方法求出图像的关注区域分布；3)基于网格对整幅图像进行变形。这些步骤中，前两个步骤为常用的方法，而第三个步骤中，需要前边计算得到的缩放因子对不同的关注区域的变形进行约束。变形的控制主要体现在变形前后的相似性失真上。因此我们通过变形失真的描述，间接控制关注区域的最优尺寸。

2.1图像变形失真刻画

在网格的变形过程中，我们将处于受关注区域集合Ψ中的四边形网格(quad)和非受关注区域集合Φ中的四边形网格区别对待，不同种类的四边形网格被定义了不同的失真函数，加权的失真总和Q如下式(8)所示，而优化目标即需要最小化Q。式子(8)中的代表了Ψ中索引为的四边形网格的权重，其用该四边形网格的平均关注值来表征；标志mesh格变形中变为过程中产生的像素位置失真，其中指索引为的四边形网格，而为索引为的变形图像中的四边形网格；式子(8)中的wφ代表了Φ中索引为φ的四边形网格的权重，其用该四边形网格的平均关注值来表征；标志mesh格变形中qφ变为q′φ过程中产生的像素位置失真，其中qφ指索引为φ的四边形网格，而q′φ为索引为φ′的变形图像中的四边形网格；

对任一quad，其顶点坐标的集合可以表示为π＝[x1,y1,x2,y2,x3,y3,x4,y4]^T，而变形后成为π′＝[x′1,y′1,x′2,y′2,x′3,y′3,x′4,y′4]^T。为了对受关注区域Ψ中的quad实施强保护，此处认为其中的quad坐标应尽量保持其原本的相对位置，也就是说只要相对位置有变化就认为产生了失真，而单纯的平移操作t(·)不会导致失真。在变形中，那些不得不产生的失真则需要更多地被分配到区域Φ的quad中，但如果这些quad的变形不可避免，相对于不规则的形变，用户还是会偏向于能保持图像元素的形状，即在这些区域的相似性变换s(·)都将不导致失真，否则就会认为有失真产生。综上可以得出Q可以被重新写为如下表达式。

2.2受关注区域的强保护

对区域Ψ中的quad实施强保护，意为这些quad尽量只发生平移操作t(·)，而平移操作t(·)的本质正是保持其各个顶点的相对位置不变，即目标坐标π′中的元素应满足如下关系。

这里η为各个顶点的相对距离。由于quad是正方形网格，所以顶点之间的相对距离是相等的。

为了统一整个失真表达式为矩阵操作方式，将上式整理为如下表达式。

η＝[η′,η′,η′,η′,η′,η′,η′,η′]^T为控制当前四边形网格变形变换的向量，代表了四边形网格顶点之间的相对距离关系。可以通过它来体现前边计算的最优的缩放因子的作用，即四边形网格顶点之间的相对距离的控制也就反应了当前网格的缩放力度。通过上式可以知道当Ht·π′＝η时，则认为没有失真产生，这里Ht表示为平移变形变换矩阵；而一旦Ht·π′≠η，则意味着该quad的顶点产生了相对位置的变化，从而产生失真。因此从实质含义上可以被写为如下表达式。

2.3非受关注区域的形状保持

对非受关注区域中的quad，如果只实施相似性变换则依然认为不会产生失真。相似性变换具体包含平移操作、缩放操作和旋转操作；相似性变换s(·)可以用一个向量ε＝[α,β,τx,τy]来表征，其中α和β共同影响着缩放和旋转的力度，而τx和τy影响平移操作，其中α代表着变形变换中的缩放变换，而β代表着变形变换中的旋转变换，τx和τy代表x方向和y方向的平移向量。s(πφ)可以写为如下表达式，

上式中，R为从得到的中间图像Iinter的网格到目标图像对应网格的相似性变形变换矩阵。进一步地，公式(9)中的min|s(πφ)-π′φ|²可以被写为min|R·ε-π′φ|²。而最小化表达式|R·ε-π′φ|²的问题又可以被转换为求最优ε的问题，此处可以设R·ε＝π′φ，进而可以求得最优εopt＝(R^TR)^-1R^Tπ′φ。有了最优εopt，则min|R·ε-π′φ|²可以被写为如下表达式，其中E为单位矩阵。

min|R·ε-π′φ|²＝|R·εopt-π′φ|²＝|Hs·π′φ|² (14)

Hs＝R(R^TR)^-1R^T-E (15)

这样公式(9)就可以通过最小线性二乘的方法进行求解；但在此求解过程中考虑到实际情况，需要满足以下条件：在输入图像中的边界上的点，在目标图像中依然在对应的边界上，以保证输出图像仍然为规整的矩形。