创建感知调和图的方法和装置的制造方法
【技术领域】
[0001] 本发明一般涉及用于创建图像的调和图的方法和装置。本发明还涉及用于评估图 像质量的方法和装置
【背景技术】
[0002] 当操纵、编辑、改善图像时，最终目标通常是最佳的质量以及某种艺术意图。然而， 尽管与客观质量评估有关的问题已经在低级人工制品的背景下（诸如，模糊、块效应、抖 动...）被广泛地研究，艺术意图在某种程度上是更加棘手和主观的问题，其导致了在建模 和泛化方面的高难度。
[0003] 作为中间指标，基于直观地涉及美和规则（构图、三分法则、地平线等等）的特征 (色度、线条方向、形状等等）的美学质量度量最近正在群体中显露出来。
[0004] 取决于应用背景，一些方法在提供绝对质量测量时在无需任何参考的情况下尽最 大努力或者利用参考源。
[0005] 本发明所解决的问题是定义了用于评估图像的颜色调和以及用于评估图像（图 片）质量如何的方法。
【发明内容】
[0006] 本发明通过定义了用于创建图像的感知调和图的方法解决了此问题，其中该方法 包括：
[0007] -计算图像的多分辨率分解，
[0008] -在每一分辨率水平处，
[0009] -针对每一调和颜色模板，计算最优旋转角度和针对与图像在该分辨率水平处的 每个像素相关联的色调值的调和距离，并且通过对调和距离的和进行加权计算调和距离 图，
[0010] -计算对比度图和熵活动图，
[0011] -通过将对比度图、熵活动图和调和距离图整合在一起来获得感知调和图，以及
[0012] _通过累加感知调和图，获得感知图。
[0013] 本发明还涉及用于评估图像质量的方法，其特征在于从通过上述方法创建的图像 的感知图中获得图像的评估分。
[0014] 作为对于内容创造者的感兴趣的工具，并且以最大化艺术效果为目标，所提出的 方法在无需参考图像的情况下提供了感知调和引导的质量图以及图片的不调和度的分数。
[0015] 本方法将两个不同的主题联系在一起：感知质量度量和调和色调模板，从而向无 论怎样的专业水平的内容创造者提供了新的工具。
[0016] 图像的多分辨率分解被处理以计算该图像在不同分辨率处的感知调和图，从而模 仿人类视觉系统。
[0017] 另外，每一感知调和图都是通过向调和距离图应用掩蔽功能获得的，换句话说，是 通过将对比度图、熵活动图以及调和距离图整合在一起获得的。这种调和距离图的掩蔽提 供了关于局部和全局可视性的信息。
[0018] 通过下面对于优选实施例的描述并结合附图，本发明的特定本质和其他目标、优 点、特征以及对本发明的使用将变得显而易见。
【附图说明】
[0019] 实施例将参考下列附图进行描述：
[0020] -图1表不颜色模板；
[0021] -图2描述了用于创建图像的感知调和图的处理方法的流程图；以及
[0022] -图3描述了包括实现用于创建图像的感知调和图的方法的装置的设备。
[0023] 本发明的优诜实施例的详细描沐
[0024] 调和（harmony)是主观概念，其困难在于对它的定义和测量。Fedorovskaya等 A (E. Fedorovskaya, C. Neustaedetr, and ff. Hao. Image harmony for consumer images. In Image Processing,2008. ICIP 2008. 15th IEEE International Conference on, pages 121-124, Oct.)通过一系列的实验研究了对涉及调和舒适（不适）的一些图像特征的识 另1J。他们发现边缘对比度、平均亮度、亮度范围等等可影响全局调和认知（global harmony appreciation)。虽然有此在前参考，但是在图像处理领域中的大部分调和研究涉及颜色 合成和互补。从Itten对比度测量（其中定义了颜色的调和两元素（doublet)和三元素 (triplet))(J. Itten. The art of color ：the subjective experience and objective rationale of color. Van Nostrand Reinhold，NewYork，1973)开始，Matsuda (Y. Matsuda， Color design，Asakura Shoten，1995)通过定义基于 HSV(色调、饱和、亮度（Value))的模 板扩展了这项工作，其中基于HSV的模板预测了图像内的一组调和色调。
[0025] 因此，调和颜色模板是一组HSV(色调、饱和、亮度）值，在该一组HSV值同时出现 时被视为呈现/反映了全局调和效果。如图1所描述的使用高度调和颜色模板T ni (me U， I，L，T，V，X，Y，J})。不使用调和颜色模板0和N。每一调和颜色模板Tni由不同部分/扇区 组成以处理颜色补偿、颜色正交和一组相近色调。每一扇区具有中心a"和尺寸大小W ni。调 和颜色模板可围绕色调环转动。因此，调和颜色模板是由模板类型和扇区角a"定义的。
[0026] 图2中描述了本发明的完整实施方式。能够注意的是可通过向连续帧应用相同的 处理而将下面的方法扩展到视频源。
[0027] 在步骤10处，计算图像的多分辨率分解。
[0028] 例如，离散小波变换（DWT)已经被证明在预测和计算性能两方面均是高效的 (A. Ninassi, 0. LeMeur, Le Callet and D. Barba, On the performance of human visual system based image quality assessment metric using wavelet domain. Pages 680610-680610-12,2008·)。CDF 9/7 (Cohen-Daubechies-Feauveau)内核可以被使用。
[0029] 每一分解水平包括三个方向的子带（水平、垂直和斜频率）。分解水平I e [0 ; L-1]的空间频率范围是[2(1+1).f_;;2 ^fniaJ，其中乙是输入图像Im的最大空间频率。
[0030] 在步骤20处，在每一分辨率水平1处，针对每一调和颜色模板T111，计算最优旋转角 度B ni,i，并且针对与该分辨率水平1处的图像Im的每一像素（X，y)相关联的色调值h计算 调和距离HDni, Jh)。然后，通过对所述调和距离HDni, Jh)的和进行加权，针对该图像的每一 像素以该分辨率水平1计算调和距离图HDMap1 (x，y)。
[0031] 根据实施例，针对调和颜色模板!"所计算的最优旋转角度a^,最小化能量在， 该能量瓦\,由处于分辨率水平1的图像1"的原始色调分布M h, i和针对角度a 4勺调和颜 色模板1"的分布P h, Jm，am, i)之间的Kullback-Liebler散度所定义，如Baveye等人所 描述的（Y.Baveye，F. Urban，C.Chamaret，V.Demoulin，and P. Hellier. Saliency-guided consistent color harmonization. In S Tominaga，R. Schettini，and A. Trmeau，editors， Computational Color Imaging， Volume 7786 of Lecture Notes in Computer Science， pages 105-118. Springer Berlin Heidelberg，2013)〇
[0032] 注意，分布(m，a^)可被视为具有360个组距（bin)的直方图。
[0033] 分布Mha，即颜色直方图Mha在HSV空间中被计算为经饱和度S (x，y)和亮度V (X， y)加权的归一化色调分布：
[0034]
[0035] 其中（X，y)是属于处于每一分辨率水平1的图像Im的像素。
[0036] 从数学角庠夹说，能量兄由下式给出：
[0037]
[0038] 针对具有η个扇区的调和颜色模板1"的分布Ph,Jnua)由下式给出：
[0039] _
?=[
[0040] 以及针对每一组距值i的扇区Sk(m，ak)的分布由下式给出：
[0041 ]
[00