专利名称：基于内容相关图像尺寸调整的保真度评测方法
技术领域：
本发明涉及图像保真度评估技术，特别涉及基于内容相关尺寸调整技术的图像保真度评 测方法。
背景技术：
现代社会中，我们接触的显示屏幕越来越多。从小的如照相机屏幕、手机屏幕，到大的 如电脑显示器、电影屏幕等尺寸变化范围很大，而且长宽比例也有不同。因此要求同样的图 像能够变化为不同的尺寸显示在尺寸不一、长宽比不一的屏幕上。现有的技术都是通过简单 的图像拉伸或剪切，对于长宽比相同的屏幕利用拉伸尚且还好，可是对于长宽比不同的屏幕 就会导致图像主题内容变形或丢失信息。而在数字电视、智能手机已经逐渐普及的今天，这 样的结果是无法让人满意的。而内容相关图像尺寸调整技术是一种利用计算机算法对图像进 行处理，以实现主题内容基本不变的技术。在硬件系统日趋完善的同时，我们可以很清楚地 看到内容相关尺寸调整技术广阔的发展前景。在内容相关图像尺寸调整技术中，常使用seam carving算法。seam carving算法相关内 容及具i本实'施及t喿f乍参见Shai Avidan, Ariel Shamir, Seam Carving for Content-Aware Image Resizing ACM Transactions on Graphics, Volume 26, Number 3,(SIGGRAPH 2007)简单地说， seam carving算法就是尽量在不改变图像连续性的情况下把能量比较低的点去掉，以适应目标 尺寸。而对于能量的定义就是要把与周围颜色区别大的点赋予较高的能量值，因为人眼对它 们的识别性更强，同时可以把我们想要留下的内容赋予较高的能量值，以满足使用者的需求。可见seam carving算法基于energy function单元，也就是我们说的能量函数。可以说，能 量函数是 seam carving算、法的核心与灵魂，不同能量函数会产生不同seam， 这样经过seam carving算法形成的调整图也会有差别。最常见的能量函数是图像的梯度函数，它的定义是每一点的能量值为该点在横向上的梯 度值的绝对值加上在纵向上的梯度值的绝对值；较常用的还有其他边缘检测算子，如Prewitt 算子，Sobd算子等。目前，人们都是采用人眼直接观察的方式比较各种能量函数方法的优劣。但进行此类心 理物理学实验显然存在单调乏味、昂贵、周期长、不易自动化操作和不易复制等缺点。而目4前新的能量函数方式层出不穷，每出现一个新的能量函数就迅速进行一次心理物理学实验是 不现实的，而利于计算机来进行模拟智能评测显然是最理想的方式。
发明内容
有鉴于此，本发明的一个主要目的在于，提供一种图像保真度评测方法，能够提高对seam carving算法中不同能量函数进行评估的准确性和效率。本发明的另一个主要目的在于，提供一种图像保真度评测系统，能够提高对seam carving 算法中不同能量函数进行评估的准确性和效率。 所述评估方法如下步骤(1):初始化，在所述计算机中建立以下各单元，构建一个评测系统参考图像数据库单元，存有待处理的参考图像资料，包括原图，能量图，条纹seam图；条纹切割算法单元，在输入待测能量函数后，通过条纹切割seam carving算法对载入 的所述参考图像进行内容相关的图像尺寸调整，同时在调整过程中记录下所述原图各点 在所述调整结束后得到的后图上的对应点的位置，其中设有能量计算单元，条纹寻找单元，调整图像尺寸单元以及对应点计算单元，其中所述的能量计算单元，载入需要评估的能量函数并从所述参考图像数据库载 入原图，对原图中的点的能量进行计算，生成能量图，再将能量图载入所述参考图像数据库；所述的条纹寻找单元，从所述的能量计算单元载入能量图，利用条纹切割 seam carving算法寻找条纹线得到条纹seam图，再将条纹seam图载入所述参考 图像数据库；所述的调整图像尺寸单元，从所述的条纹寻找单元输入条纹seam图，依照预 先载入所述计算机的目标尺寸逐次地去掉能量最低的一条条纹，得到所述的后 图；所述的对应点计算单元，从所述的条纹寻找单元载入条纹seam图，计算原图 中条纹两侧点在所述后图中的对应点的位置初始时，原图上各点的对应点位置 即为当前所在位置，在每去掉一个条纹时若被去掉的条纹是垂直条纹，则位于该条纹左边的点的所述对应点位置不变；若被去掉的条纹是水平条纹，则位于该 条纹上边的点的所述对应点位置不变；若被去掉的条纹是垂直条纹，则位于该条 纹右边的点的所述对应点位置沿水平方向向左移动一个单位；若被去掉的条纹是水平条纹，则位于该条纹下边的点的所述对应点位置沿垂直方向向上移动一个单 位；保真度评估单元，比较原图上点及其在后图上对应点的窗口矩阵之间的差异，从而计 算所述后图的保真度值，并依据此量化结果得到保真度的评估结果；所述某点的窗口矩阵是指某点在该点所在图上的以该点为中心的一个9*9 的矩形窗口，其内容为位于该窗口中点的信号值； 步骤(2):所述计算机依次按以下步骤进行所述的保真度评测方法，步骤(2.1)，从所述能量计算单元依据输入的需要评估的能量函数，原图输出能量图；从条 纹寻找单元依据能量图利用条纹切割算法输出条纹seam图；从调整图像尺寸单元依据设定的 目标尺寸和条纹seam图向所述保真度评估单元输出所述后图，从所述对应点计算单元输出原 图上各个点与该点在所述后图的位置之间的各个一一对应关系到所述的保真度评估单元中； 步骤(2.2)，所述保真度评估单元按以下步骤进行保真度评估步骤(2.2.1)，把载入的后图从红绿蓝三基色空间RGB转换到lap颜色空间，其中，l表示非颜色的亮度通道，a表示彩色的黄蓝通道，(3表示彩色的红绿通道，找出所有的所述条纹两侧的点；若某点上下左右四点中有一点属于某个条纹则所述的某点 即为所述某个条纹的两侧的点；步骤(2.2.2)，计算步骤(2.2.1)得到的条纹两侧点的单个对应点的9*9矩阵窗 口的单个颜色通道的保真度值Q:^一 & 2巧 2< A、A (巧2+(刃2其中，x是所述原图的窗口矩阵中的点在某一个通道上的信号值；y是后 图的对应点窗口矩阵中的点在此通道上的信号值，i》是窗口矩阵中的点 在某一个通道上的信号值的平均值，5x,Sy是方差，Sxy是协方差； 步骤(2.2.3),对所有待计算的所述后图上的对应点的保真度值按l、 cu (3三个通、道分别进行算术平均，得到込=ZQ /M 其中，p/,a,々，M为对应点的个数；步骤(2.2.4)，把l、 a、 P三个通道的对应点的保真度值Q、仏、^^加权几何平 均后得到整幅图的保真度值込一 =>必2 +G^a2 。用需要评估的能量函数，通过seam carving算法对预先选择的图像 进行内容相关的尺寸縮放，并在调整图像的过程中计算原图和后图的点的位置之间的对应关 系，最后将原图上点与对应点的窗口矩阵进行比较，得到量化的图像保真度评估结果，降低 了评估的延迟性，得到了客观、精确的评估效果。
图l保真度评测系统示例性结构2保真度评测系统评估过程示意3保真度评测方法的示例性流程4实施例中保真度方法流程5条纹seam线及对应点矩阵窗口示意图具体实施方式
根据上述的第一个主要目的，本发明提供了一种图像保真度评测方法，包括以下步骤-A利用需要评估的能量函数，通过seam carving算法，对预先选择的图像进行内容相关 的尺寸縮放。B在后图中寻找原图的对应点。C将后图与原图进行比较，并根据比较结果得到该能量函数的保真度评估结果。步骤A所述对图像进行内容相关的尺寸縮放为在图像上选定需要保留的主题内容后，利用需要评估的能量函数，通过seam carving算法对图像进行基于主题内容的任意尺寸的图像缩放。步骤B所述寻找原图和后图上的点的位置之间的对应关系在增减seam线调整原图尺 寸的同时，寻找后图上原图各点的对应点。。步骤C所述根据比较结果得到评估结果为只比较原图中seam线相邻两侧点与其后图上 对应点的窗口矩阵之间的差异，从而计算后图的匹配值，得到量化的比较结果。根据上述的第二个主要目的，本发明提供一种图像保真度评测系统，包括参考图像数 据库、seam carving算法单元、保真度评估单元。所述参考图像数据库提供要处理的参考图像资料。其中包括原图，能量图，条纹seam 图。之所以这样设计，是出于对某些能量函数的作者知识产权的保护。即如原作者不愿提供 能量函数的代码，可以仅提供原图的能量图或条纹seam图，同样可以实现评测。所述seam carving算法单元将载入待测能量函数，并通过seam carving算法对参考图像进 行内容相关的图像尺寸调整。同时将在调整过程中记录下原图各点在后图上的对应点。所述保真度评估单元将后图与原图进行匹配度计算，利用图像变化特点，通过之比较原 图seam线两侧点与其对应点的窗口矩阵之间的差异，从而计算后图的保真度值，得到量化的 比较结果并根据比较结果得到算法保真度的评估结果。为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发 明进一步详细说明。本发明中保真度评测方法的基本思想是利用需要评估的能量函数，通过seam carving 算法，对预先选择的图像进行内容相关的尺寸縮放。在后图中寻找原图的对应点。将后图与 原图进行比较，并根据比较结果得到该能量函数的保真度评估结果。如图3所示图1为本发明中图像保真度评测系统的示例性结构图。如图1所示，本发明的图像保证 评测系统包括参考图像数据库ll、 seam carving算法单元12、保真度评估单元13。而seam carving算法单元本身包括能量计算单元121、寻找seam单元122、调整尺寸单元123、对应 点计算单元124。图2为本发明中保真度评测系统评估过程示意图。如图2所示，本发明的评估过程为参考图像数据库11将预先存储的参考图像提供给seam carving算法单元12和保真度评 估单元13，参考图像数据库中可能包括普通图、能量图和条纹seam图。seam carving算法单元12利用需要评估的能量函数，通过seam carving算法，对预先选 择的图像进行内容相关的尺寸縮放，同时在后图中寻找原图的对应点。将后图和原图各点对 应关系提供给保真度评估单元13;其中能量计算单元121利用能量函数由图像的色彩信息计 算，得到原图的能量图，如己提供能量图则跳过121单元；寻找seam单元122利用seam carving 的算法由能量图计算，得到条纹seam图，如己提供条纹seam图则跳过121 、 122两个单元。 调整尺寸单元123根据条纹seam图和目标尺寸，通过增减seam线来调整图像大小，得到后 图。计算对应点单元124计算后图与原图的对应关系，得到后图上原图各点的对应点。保真度评估单元13将利用原图、后图及点的对应关系，对后图与原图上的对应点的窗口 矩阵进行比较，并根据比较结果得到待测能量函数下seam carving算法保真度的评估结果。下面，结合具体实施例，对本发明中的图像保真度评测方法进行详细说明。 步骤41，初始化。载入原图，选择能量函数，设置目标大小。 步骤42，能量计算。利用需要评估的能量函数，对原图各点的能量进行计算，生成能量图 步骤43，寻找seam。根据上步提供的能量图，利用seam carving算法寻找seam线，进而得到条纹seam图 步骤44，调整图像尺寸。依照目标尺寸每次去除当前能量最低的一条seam线。得到后图 步骤45，对应点计算。初始时每点的对应点位置即为该点当前所在位置，每去掉一个seam， seam左边 (垂直seam)或上边(水平seam)的点的对应点位置不变，seam右边(垂直seam)或下边(水平seam)的点的对应点位置左移(垂直seam)或上移(水平seam) —个单位。此步骤同步骤44交替进行。 步骤46，保真度评估。首先将图像从RGB颜色空间转化到lap颜色空间(其中，l表示非颜色的亮度通道，a表示彩色的黄蓝通道，卩表示彩色的红绿通道)，然后找出所有的seam 两侧的点。由于seam有横向的也有纵向的，seam两侧的点的定义是若某点 上下左右四点中有一点属于某一条seam ，则此点算作seam两侧的点。计算这 些seam两侧点的单个对应点9x9矩形窗口 (如图5)单个颜色通道的保真度值， 此保真度值的计算方法如下 ~ 2巧 2化其中x是原图的窗口矩阵中的点在某一个通道上的信号值，_y后图的对应 点窗口矩阵中的点在此通道上的信号值，^J是窗口矩阵中的点在某一个通道上的信号值的平均值，Sx,Sy是方差，Sxy是协方差。 然后对所有需计算的对应点的每个通道的保真度值取平均，得到此即为整幅图的保真度值，现各通道取系数为l，故总Q值的标准值为^込=(Z = /, ，/ )，每通道的标准值为l。再将三个通道的对应点保真度的值加权平均后得到将得到的保真度值与标准值^比较，越接近标准值，说明被评测算法的保真度 效果越好。g— ~ 2化 其中，步骤46中采用计算公式 ")2 +(力2 A2 +~,2 ，是由于它计算简单，与主观质量评价关联性较强，能够很好地从亮度、对比度、结构三个子方面得到一个总的相似性 度量作为质量客观评价标准。该方法充分考虑了图像的结构信息和人类视觉的特性，从图像 内容的理解功能出发，通过数学建模估算出人眼对图像质量的主观视觉感受，使结构相似性 计算模型符合图像处理应用的本质。关于此公式参见Zhou Wang and Alan C. Bovik， A Universal Image Quality Index, IEEE Signal Processing Letters, vol. 9, no. 3, pp. 81-84, March 200210
权利要求
1、基于内容相关图像尺寸调整的保真度评测方法，其特征在于，所述方法是在计算机中按以下步骤实现的步骤(1)初始化，在所述计算机中建立以下各单元，构建一个评测系统参考图像数据库单元，存有待处理的参考图像资料，包括原图，能量图，条纹seam图；条纹切割算法单元，在输入待测能量函数后，通过条纹切割seam carving算法对载入的所述参考图像进行内容相关的图像尺寸调整，同时在调整过程中记录下所述原图各点在所述调整结束后得到的后图上的对应点的位置，其中设有能量计算单元，条纹寻找单元，调整图像尺寸单元以及对应点计算单元，其中所述的能量计算单元，载入需要评估的能量函数并从所述参考图像数据库载入原图，对原图中的点的能量进行计算，生成能量图，再将能量图载入所述参考图像数据库；所述的条纹寻找单元，从所述的能量计算单元载入能量图，利用条纹切割seam carving算法寻找条纹线得到条纹seam图，再将条纹seam图载入所述参考图像数据库；所述的调整图像尺寸单元，从所述的条纹寻找单元输入条纹seam图，依照预先载入所述计算机的目标尺寸逐次地去掉能量最低的一条条纹，得到所述的后图；所述的对应点计算单元，从所述的条纹寻找单元载入条纹seam图，计算原图中条纹两侧点在所述后图中的对应点的位置初始时，原图上各点的对应点位置即为当前所在位置，在每去掉一个条纹时若被去掉的条纹是垂直条纹，则位于该条纹左边的点的所述对应点位置不变；若被去掉的条纹是水平条纹，则位于该条纹上边的点的所述对应点位置不变；若被去掉的条纹是垂直条纹，则位于该条纹右边的点的所述对应点位置沿水平方向向左移动一个单位；若被去掉的条纹是水平条纹，则位于该条纹下边的点的所述对应点位置沿垂直方向向上移动一个单位；保真度评估单元，比较原图上点及其在后图上对应点的窗口矩阵之间的差异，从而计算所述后图的保真度值，并依据此量化结果得到保真度的评估结果；所述某点的窗口矩阵是指某点在该点所在图上的以该点为中心的一个9*9的矩形窗口，其内容为位于该窗口中点的信号值；步骤(2)所述计算机依次按以下步骤进行所述的保真度评测方法，步骤(2.1)，从所述能量计算单元依据输入的需要评估的能量函数，原图输出能量图；从条纹寻找单元依据能量图利用条纹切割算法输出条纹seam图；从调整图像尺寸单元依据设定的目标尺寸和条纹seam图向所述保真度评估单元输出所述后图，从所述对应点计算单元输出原图上各个点与该点在所述后图的位置之间的各个一一对应关系到所述的保真度评估单元中；步骤(2.2)，所述保真度评估单元按以下步骤进行保真度评估步骤(2.2.1)，把载入的后图从红绿蓝三基色空间RGB转换到|αβ颜色空间，其中，|表示非颜色的亮度通道，α表示彩色的黄蓝通道，β表示彩色的红绿通道，找出所有的所述条纹两侧的点；若某点上下左右四点中有一点属于某个条纹则所述的某点即为所述某个条纹的两侧的点；步骤(2.2.2)，计算步骤(2.2.1)得到的条纹两侧点的单个对应点的9*9矩阵窗口的单个颜色通道的保真度值Q<maths id="math0001" num="0001" ><math><![CDATA[ <mrow><mi>Q</mi><mo>=</mo><mfrac> <msub><mi>δ</mi><mi>xy</mi> </msub> <mrow><msub> <mi>δ</mi> <mi>x</mi></msub><msub> <mi>δ</mi> <mi>y</mi></msub> </mrow></mfrac><mfrac> <mrow><mn>2</mn><mover> <mi>xy</mi> <mo>‾</mo></mover> </mrow> <mrow><msup> <mrow><mo>(</mo><mover> <mi>x</mi> <mo>‾</mo></mover><mo>)</mo> </mrow> <mn>2</mn></msup><mo>+</mo><msup> <mrow><mo>(</mo><mover> <mi>y</mi> <mo>‾</mo></mover><mo>)</mo> </mrow> <mn>2</mn></msup> </mrow></mfrac><mfrac> <mrow><mn>2</mn><msub> <mi>δ</mi> <mi>x</mi></msub><msub> <mi>δ</mi> <mi>y</mi></msub> </mrow> <mrow><msup> <msub><mi>δ</mi><mi>x</mi> </msub> <mn>2</mn></msup><mo>+</mo><msup> <msub><mi>δ</mi><mi>y</mi> </msub> <mn>2</mn></msup> </mrow></mfrac> </mrow>]]></math></maths>其中，x是所述原图的窗口矩阵中的点在某一个通道上的信号值；y是后图的对应点窗口矩阵中的点在此通道上的信号值，<overscore>x</overscore>，<overscore>y</overscore>是窗口矩阵中的点在某一个通道上的信号值的平均值，δx，δy是方差，δxy是协方差；步骤(2.2.3)，对所有待计算的所述后图上的对应点的保真度值按|、α、β三个通道分别进行算术平均，得到<maths id="math0002" num="0002" ><math><![CDATA[ <mrow><msub> <mi>Q</mi> <mi>z</mi></msub><mo>=</mo><mrow> <mo>(</mo> <munderover><mi>Σ</mi><mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn></mrow><mi>M</mi> </munderover> <msub><mi>Q</mi><mi>i</mi> </msub> <mo>)</mo></mrow><mo>/</mo><mi>M</mi> </mrow>]]></math> id="icf0002" file="A2008101176780003C2.tif" wi="31" he="12" top= "193" left = "83" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/></maths>其中，z＝l，α，β，M为对应点的个数；步骤(2.2.4)，把|、α、β三个通道的对应点的保真度值Ql、Qα、Qβ加权几何平均后得到整幅图的保真度值<maths id="math0003" num="0003" ><math><![CDATA[ <mrow><msub> <mi>Q</mi> <mi>colour</mi></msub><mo>=</mo><msqrt> <msub><mi>ω</mi><mi>l</mi> </msub> <msup><msub> <mi>Q</mi> <mi>l</mi></msub><mn>2</mn> </msup> <mo>+</mo> <msub><mi>ω</mi><mi>α</mi> </msub> <msup><msub> <mi>Q</mi> <mi>α</mi></msub><mn>2</mn> </msup> <mo>+</mo> <msub><mi>ω</mi><mi>β</mi> </msub> <msup><msub> <mi>Q</mi> <mi>β</mi></msub><mn>2</mn> </msup></msqrt><mo>.</mo> </mrow>]]></math> id="icf0003" file="A2008101176780003C3.tif" wi="58" he="6" top= "221" left = "84" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/></maths>
2、基于内容相关图像尺寸调整的保真度评测方法，其特征与1的区别在于，步骤(2.2.4),把i、 a、 (3三个通道的对应点的保真度值Q、 a、 &直接按照=Vg,2+a2+得至u 整幅图的保真度值，其他特征及步骤与l相同。
全文摘要
基于内容相关图像尺寸调整的保真度评测方法，属于图像保真度评估技术，其特征在于，包括以下步骤A.利用需要评估的能量函数，通过seam carving算法，对预先选择的图像进行内容相关的尺寸缩放；B.在调整后的图中寻找原图的对应点；C.将调整后的图与原图进行比较，并根据比较结果得到该能量函数的保真度评估结果；还公开了一种seam carving算法中不同能量函数的图像保真度评测系统，包括参考图像数据库、seam caving算法单元和保真度评估单元；本发明技术方案可以对内容相关的尺寸变化后的图像进行保真度评测，由此实现该图像在不同能量函数下的内容相关尺寸变化后的图像保真度评测。
文档编号G06T3/40GK101329762SQ200810117678
公开日2008年12月24日 申请日期2008年8月4日 优先权日2008年8月4日
发明者丁剑飞, 刘永进, 姜昌浩, 钟力立 申请人:清华大学