评估图像清晰度的制作方法_3

文档序号:9794076阅读:来源:国知局

[0074] 其中,α和β是在将清晰度分数空间映射至概率空间的函数中使用的两个参数。该 概率分数有助于以更加用户友好的方式解释清晰度分数。当用户上传图像时,概率分数向 用户提供其图像相对于针对给定图像类别(在图4示出的示例中,类别可以是上衣服装)先 前上传的清晰或模糊图像的实际分布有多清晰的感觉。越模糊,给定范围(如〇和1之间)内 的概率分数越大。每个图像类别(例如上衣、裤子、牛仔、外衣、毛衣、手套、帽子、床单等)可 以具有其自己的先前上传的清晰或模糊图像的实际分布。给定图像类型的分布可以使不同 的α参数、β参数或两者相对于其他图像类型使用。例如,即使清晰度分数被计算为0.47,这 在〇到1的范围上看起来相当模糊,如果相同类别的所有图像范围在〇. 2至0.5的清晰度分数 之间,那么给定该类别的实际图像分布,0.47可能被认为是清晰图像。相反,如果给定类别 的所有图像范围在〇. 35至0.9之间,相同的值0.47可能被认为是模糊的。
[0075] 此外,模糊检测器(例如在清晰度评估机器中)可以基于Pblur构建。Pblur>ρ的图像 可以被标记为模糊,从而向用户提供警告,防止他们保留所上传的视觉上令人烦扰或无信 息量的模糊图像。
[0076] 图7是示出了分析图像清晰度或模糊度、将清晰度分数转换为概率分数并将概率 分数与预定模糊阈值比较以将图像标记为对用户而言太模糊的示例方法的流程图。
[0077] 3.实验结果
[0078] 以上方案可适用于两个数据集。第一数据集可以是主观质量评估的公共数据库。 例如,第一数据集可以是或包括类别主观图像质量(CSIQ)数据库。该数据集可以包含多样 的图像失真。在一些示例实施例中,仅使用模糊子集。
[0079] 图8和9示出了所获得的清晰度分数和模糊概率,分别表示为"Shrp"和"Pblur"。用 于计算模糊概率的参数被设置为经验值α = 〇.9和β = 0.44。对于每个图,地面实况清晰度等 级(3)>(13)>((3)>((1)>(6)>(〇。可以看到 :使用上述方案,针对清晰度,对图像正确地 进行了排序。特别地,将图8中的图像(d)和(e)比较,可以看到:由于模糊失真,图8中的图像 (e)在视觉上显著地令人烦扰,而图8的图像(d)不那么令人烦扰并且因此在视觉上是可接 受的。所提出的检测器得到0.5381和0.9053作为模糊概率,这显示了与人类视觉相匹配的 (或更加用户友好的)预测模糊效果的能力。
[0080] 第二数据集可以从在线电子商务网站(例如eBay.com)取得。例如,第二数据集可 以是或包括来自具有较大变化的女性衣服类别的194,279个图像。对于每个列表,销售者通 常上传从相同对象取得的一个或多个图像。图10示出了从一个列表对象取得的四个图像的 估计清晰度等级和模糊概率。图10显示:上述方法能够正确预测模糊失真并且甚至区分相 当精细的图像。右上图像是四个图像的集合中最清晰的图像,具有最低的模糊概率值。图11 示出了来自女性服装类别的多个示例图像。如图11所示,上述方法成功检测到模糊图像,其 可进一步用于标记图像并向销售者给出警告,以帮助其提高图像质量。
[0081] 为了在模糊或清晰度评估中并入图像内容,具有较大部分实心区域的图像包含较 少的高频信号,从而往往误报警。为了评估使用上述方案的改进,对最模糊的图像进行分 析,并且将问题看作排序问题,例如以按照它们的模糊级别产生正确的图像排序。该设置还 有助于构建清晰度评估系统(例如清晰度评估机器),所述系统能够标记模糊图像以帮助用 户。因此,可以使用来自原始194k数据集的总共9,313个图像。与其余图像相比,这些图像可 以是最模糊的。由于数据复杂的以及人类感知的限制,按照模糊程度获得图像的绝对排序 可能极为困难。因此,取代对各个图像进行排序,将数据分离为具有人类视觉仍可区分的不 同模糊级别的两个集合可能是合理的。
[0082] 在清晰度评估系统的一些示例实施例中,手工检查9,313个最模糊图像中的每一 个,并且将这些图像划分为两个集合:正集合和负集合。正集合可由比负集合相对更模糊的 图像组成。例如,正集合Φ P〇s可以由8,241个图像组成,负集合Φ neg可以由1,072个图像组 成。将图像手工分类为两个集合可以被比作确定上述方法是否能够更好地区分该两级数据 集。这可能使难得多的问题,因为区分模糊和清晰图像远比区分所有模糊图像容易得多。
[0083] 排序的标准评估度量可用于分析不同算法的性能,例如但不限于归一化的折损累 积增益(nDCGhDCG做出两个假设:当在排序中更早出现时,高相关项目(在我们的情况中, 来自正集合的最模糊的图像)更有用;以及它们还比边际相关项目(来自负集合的不太模糊 的图像)更有用,后者继而比无关项目(清晰图像)更有用。位置P的DCG值通过下式计算:
[0085] 其中,如果图像IiE (J>pcis,reli = l;否则如果图像IiE <Keg,reli = 0。然而,DCG取 决于结果的长度和位置。为了移除该效果,每个选定位置P处的DCG由理想DCG进行归一化:
[0087] 完美排序产生1.0的nDCG。所有nDCG是区间0.0到1.0上的相对值。
[0088] 每个图像可以转换为灰色图像(例如灰度图像)并划分为多个小片(m= 15)。除了 基线算法BlurMetric,将上述WeightedBlur算法(具有各种σ)与其他两个算法BetaBlur和 TopBlockBlur比较可能也是有帮助的。BetaBlur使用简单的平滑模式(在实验中,β = 4):
[0090] TopBlockBlur对来自具有最大权重W(i,j)的最前面的小片的模糊值Blur(i,j)进 行平均。在一些示例实施例中,其对正数1/3的小片进行平均。
[0091] 图12示出了针对不同方法的在若干正数位置(p= 1100,1600,2100,2600)的所计 算的]1〇06的柱状图。从图12可以看出所提出的16181^6(1131111'度量(〇 = 3,5)始终好于基线方 案(模糊度量)和其他两个方法(BetaBlur和TopBlockBlur)。增加σ迫使算法偏向于关注边 缘区域。
[0092] 4.图像诊断和销售者辅助系统
[0093] 基于上述方案,两个系统(例如Web版和移动版)可以被实现为在照片上传过程期 间引导用户(例如销售者)。当用户上传图像时,图像被发送至服务器API (或直接在用户设 备上计算),以评估其清晰度质量。接着,清晰度结果返回给用户,并使用用户友好的仪表或 等级显示。针对具有大的模糊概率的图像,用户接收警告标记的弹出窗口(或其他通知格 式),并被要求通过使用其设备上的编辑工具来改善图像质量或拍摄并上传另一图像。在一 些实施例中,图像编辑工具可能不足以解决当前上传图像中的模糊,在该情况下拍摄另一 图像可能是希望的。
[0094]图13和14是分别示出了根据一些示例实施例的响应于移动和web上下文中的上传 图像向用户提供的即时反馈的概念图。
[0095]在移动上下文中,如图13所示,每个图像由移动摄像机拍摄或从相册上传,联网系 统102帮助用户(例如销售者)评估清晰度质量并向他们提供即时反馈。用户接着可以决定 是否为其列表产品拍摄另一图片。
[0096] 在web上下文中(在台式机或膝上型计算机上或经由网站访问),如图14所示,针对 给定列表用户(例如销售者)可同时上传产品的多个图像。联网系统102帮助销售者评估所 有这些图像,从上传图像集合中选择最清晰的图像。如果所有图像低于模糊阈值,则联网系 统102可以提供拍摄另一照片、应用照片编辑工具等的警告、推荐或其他通知。
[0097] 图15至19是根据一些示例实施例的、上传图像和向用户返回的图像清晰度评估结 果的示例截屏。图像清晰度评估结果可以包括但不限于唯一标识要列出的项目的项目标识 符(ID)、0和1之间的清晰度分数、相应的模糊分数概率以及图像有多"好"(清晰)或多"坏" (模糊)的图形指示符。图14至18中所示的图像清晰度评估结果中的一个或多个可以在移动 上下文、web上下文或两者中(例如作为销售者助理方案的一部分)呈现。
[0098] 如此,此处公开了涉及面向边缘的加权模糊度量和图像清晰度的概率建模的内容 感知图像清晰度评估方案。对各种数据集应用上述方案产生对清晰度等级更好的检测并改 善了清晰度/模糊检测结果。使用该方案,移动系统或基于web的系统可以被配置为向上传 对象(例如要在电子商务网站或市场中列出的产品)的一个或多个照片的用户提供关于上 传照片的质量的即时反馈。反馈可以包括一个或多个指示符(例如数字、图形等),以关于照 片的模糊度定量地教导用户。系统可以附加地提供拍摄并上传备选照片、编辑上传的照片 或从针对给定对象的上传照片的集合中选择最清晰的照片的推荐或通知。
[0099]以下参考文献全部并入此处:
[0100] Chandler,E. C.(2009) .Most apparent distortions dual strategy for full-reference image quality assessment.SPIE.
[0101] Crete,F.(2007).The Blur Effect:Perception and Estimation with a New No-Reference Perceptual Blur Metric.SPIE Electronic Imaging Symposium Conf Human Vision and Electronic Imaging.
[0102] Karam,N.D.(2010).An Improved N〇-Reference Sharpness Metric Based on the Probability of Blur Detection.International Workshop on Video Processing and Quality Metrics for Consumer Electronics(VPQM)·
[0103] N.D.Narvekar and L.J.Karam.(2009).A N〇-Reference Perceptual Image Sharpness Metric Based on a Cumulative Probability of Blur Detection. International Workshop on Quality of Multimedia Experience(QoMEX), (pp.87-91).
[0104] Z.Wang,H.R.(2002).No-reference perceptual quality assessment of JPEG compressed images. IEEE Int.Conf.Image Proc.
[0105] 在另一示例实施例中,通过升级由销售者发布的图像来改进产品列表的质量。销 售者可以使用用户设备(例如设备机器110或112)拍摄项目的图片,将图像上传至系统(例 如联网系统102),图像由用户设备、系统或两者处理,并且如果确定图像是低质量的(例如 低于预定阈值),使用库存图像代替上传图像用于产品列表。图像处理可以包括分析上传图 像以确定一个或多个图像属性,例如但不限于低光亮、部分视图、模糊度、颜色正确度、色调 等。在以库存图像代理上传图像钱,可以向销售者给出一个或多个通知和选项。例如,向销 售者提供库存图像的预览,并且征求销售者批准以使用该库存图像。作为另一示例,销售者 可以被给予上传不同图像的选择(并且可以提供拍摄项目的更好照片的推荐),而不是以库 存图像代替当前上传图像。作为又一示例,多于一个库存图像可以在库存图像的库中可用 (例如在数据库126中维护),并且销售者可以从与所列
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1