评估图像清晰度的制作方法_2

文档序号:9794076阅读:来源:国知局
允许购买者方便地编写对期望购买的项目的列表或请求。在 一些实施例中,列表可以与用户(例如购买者)希望经由联网系统102交易的商品或服务有 关。每个商品或服务与特定类型相关联。列表引擎206可以接收购买者关于所请求的项目知 道的尽可能多或尽可能少的列表数据,如名称、描述和方面名-值对。在一些实施例中,列表 引擎206可以解析购买者提交的项目信息并可以完成列表的不完整部分。例如,如果购买者 提供了所请求项目的简要描述,列表引擎206可以解析描述,提取关键术语并使用那些术语 来确定项目的标识。使用所确定的项目标识,列表引擎206可以取得项目细节,以包括在购 买者项目请求中。在一些实施例中,列表引擎206可以向每个商品或服务列表指派项目标识 符。
[0035]在一些实施例中,列表引擎206允许销售者产生对产品或服务的折扣的报价。列表 引擎206可以接收列表数据,如正在报价的产品或服务、产品或服务的价格(有或无折扣)、 报价有效的时段等。在一些实施例中,列表引擎206允许销售者从其移动设备产生报价。所 产生的报价可上传至联网系统102,以存储和跟踪。
[0036]搜索引擎208便于搜索联网系统102。例如,搜索引擎208使得能够进行对经由联网 系统102发布的列表的关键字查询。在示例实施例中,搜索引擎208从用户的设备接收关键 字查询,并进行对存储列表信息的存储设备的浏览。浏览将使得能够编辑可排序并返回给 用户的客户端设备(例如设备机器110或112)的列表的结果集合。搜索引擎208可以记录查 询(例如关键字)以及任意后续用户动作和行为(例如导航、选择或点击)。
[0037] 搜索引擎208还可以基于用户的位置执行搜索。用户可以经由移动设备访问搜索 引擎208并产生搜索查询。使用搜索查询和用户位置,搜索引擎208可以向用户返回产品、月艮 务、报价、拍卖等的相关搜索结果。搜索引擎208可以以列表形式并以图形方式在图上标识 搜索结果。在图上选择图像指示符可以提供关于所选搜索结构的附加细节。在一些实施例 中,用户可以指定与用户当前位置的半径或距离作为搜索查询的一部分,以限制搜索结果。
[0038] 搜索引擎208还可以基于图像执行搜索。图像可以从客户端没备的摄像机或呈现 组件拍摄,或者可以从存储器访问。
[0039] 在另一示例中,导航引擎210允许用户根据哪些列表可在联网系统102内分类来导 航遍历各种类别、目录或库存数据结构。例如,导航引擎210允许用户向下导航类别树,所述 类别树包括类别层级(例如类别树结构)直至达到特定的列表集合。可以提供导航引擎210 内的各种其他导航应用,以补充搜索和浏览应用。导航引擎210可以记录用户执行的各种用 户动作(例如点击),以向下导航类别树。
[0040] 以下更详细地描述与联网系统102相关联的附加模块和引擎。应意识到,模块或引 擎可以实现以下描述的细节的各个方面。例如,图像清晰度检测引擎212(又称图像清晰度 诊断引擎、图像模糊检测引擎或图像模糊诊断引擎)和图像上传辅助引擎214可以包括在联 网系统102或设备机器110或112(例如客户端机器)中的任意一个或多个中,以执行以下描 述的功能和操作。
[0041] 电子商务中的高质量图像提高了用户参与和转换率。例如,在消费者对消费者 (C2C)电子商务环境中,销售者可能不具有拍摄其产品的高质量相片的专业技能。常见图像 质量问题之一是照片模糊。当销售者将产品的模糊照片上传至电子商务系统时,销售该产 品的可能性降低。因此,本讨论提出以下方案,以评估图像质量或便于用户向基于在线的系 统(如在线电子商务或市场系统)上传高质量图像。此处讨论的系统和方法的示例实施例可 以实现内容感知图像清晰度评估算法并使用该算法便于图像上传(例如照片上传)的实时 (或近似实时)辅助。
[0042] 当执行图像清晰度诊断时,此处讨论的系统和方法的示例实施例可以考虑图像中 显示的内容。例如,当图像的大部分包括实心区域(例如纯色),图像往往指示比图案或非实 心区域更少的高频信号。
[0043] 此处讨论的系统和方法的示例实施例可以在用户上传图像时(例如在产品列表过 程期间)向用户提供对图像质量的即时反馈。这样的实时(或近似实时)的返回避免或劝阻 用户发布模糊图像。没有反馈特征,使用模糊图像作为产生的可视表示可能潜在地降低潜 在购买者的信任,因为信息是模糊的并且产品细节缺失。
[0044] 根据此处讨论的系统和方法的各种示例实施例,图像清晰度诊断(又称图像模糊 检测)可以是不与特定摄像机或其他硬件相关的基于软件或基于web的检测方案。
[0045] 图像可以对电子商务具有深刻影响。其可用于更高效地或以文本不可能的方式表 达信息,特别是从观看图像的用户的角度而言或为了有助于电子商务。
[0046] 然而,在许多C2C电子商务网站中,销售者不具有使他们能够拍摄高质量产品图像 的专业照相技能或工具。糟糕的图片可能引起糟糕的购买者体验或糟糕的销售者转换,并 且继而可能是电子商务网站作为值得信赖的市场的糟糕的反映。在许多照片质量问题中, 模糊(例如清晰度不佳)是通常发生的问题,对于越来越多的使用移动设备或其他便携设备 (例如iPhone、iPad、智能电话、平板计算机)拍摄照片的人来说尤其如此。越来越多的销售 者通过移动应用更新或创建其产品列表,并使用其移动设备拍摄其产品的图像。虽然这样 使用移动应用和设备是便捷得多的更新或创建产品列表的方式,但与使用传统摄像机捕捉 的图像相比,针对这些图像更常遇到相关的模糊问题。具有模糊效果的图像可能导致高频 信息丢失,这可能使得购买者更难看到产品细节并且因此可能对产品质量产生怀疑。某些 向导和指令可以帮助购买者评估其上传的照片,并且还在针对给定产品列表上传多个照片 时做出关于哪个照片应显示为主图像的正确决定。
[0047] 因此,可以实现加权模糊度量以评估照片的清晰度,并且自动照片评估系统可以 被配置为关于模糊效果提供图像质量的立即反馈。这可能对帮助销售者保持其产品在电子 环境中高标准的可视表示极其有用。
[0048] 第1节介绍了非参考模糊分析的背景。第2节提供了评估照片的清晰度的方法。第3 节中包括对不同数据集的实验。第4节给出了 web和移动照片评估系统,例如,自动照片评估 和上传辅助系统。
[0049] 1.非参考模糊和清晰度概述
[0050] 产品照片的各方面之一是其忠实表示产品或场景的能力。此处,词语"产品"、"项 目"、"场景"、"对象"等可互换使用,以表示图像内容。当其在谱中的高空间频率值衰减时, 图像看上去模糊。因此,其引起高频内容的丢失,从而降低了图像清晰度和对比度。可以使 用不同的核函数与图像卷积来对模糊效果建模。因此,一个像素的场景信息"溢出"至相邻 像素。场景中的高对比度边缘变为逐渐过度,并且精细细节模糊或者甚至可能变得不可见。 图3示出了根据一些示例实施例的用于建模模糊处理的多种类型的核。图4示出了根据一些 示例实施例的实际图像示例以及相同图像的针对两种不同类型模糊(失焦模糊和运动模 糊)的示例。模糊的常见原因包括但不限于运动模糊、失焦模糊、图像补偿等。
[0051 ]运动模糊由曝光期间物体的相对运动或摄像机的相对运动引起。可把线性运动模 糊看作在仅仅一个方向上的拖尾,而非线性涉及多个方向不同强度的拖尾。对于模糊方向 不变的是,甚至少量运动模糊也使性能显著劣化。失焦模糊指沿光轴远离最佳对焦面或表 面的平移,因此传入光拖尾。一般地,当焦点在要捕捉的对象的"景深"以外时发生散焦。对 象离该景深越远,散焦程度越大。散焦模糊对应于使用圆盘核对图像卷积,这可由高斯模糊 近似。区别在于使用高斯核的高斯模糊具有无限支撑。
[0052]非参考照片质量评估意味着不存在现有完美的地面实况照片作为测量测量失真 程度的参考。因此,估计必须仅仅依赖于要评估的图像。非参考模糊评估几十年来最困难的 问题。此外,由于缺乏参考数据,内容感知评估甚至更困难。如果具有不同内容的图像对在 频域具有类似性态,将两图像进行比较更合理。与人造对象相比,自然风景图像通常具有十 分不同的分布。
[0053] 2.图像清晰度评估方案
[0054]根据各种示例实施例,清晰度评估机器可以被(例如一个或多个软件模块)配置为 帮助销售者(例如销售者用户)理解其图像是否在特定清晰度等级以下,这可能引起销售者 产品细节信息的感知损失。模糊度量可由清晰度机器基于以下观察来实现:人类难以感知 模糊图像和相同的再模糊图像之间的差异。模糊度量可以使用在相同图像中感知的不同模 糊等级之间的区别,来估计模糊烦扰。
[0055] 然而,虽然该模糊度量对于评估包含相似内容的图像表现良好,该模糊度量对于 具有彼此不同内容的图像可能是不太优化,这是由于其频率等级的固有差异导致的。与大 多数自然风景图像不同,产品图像在颜色和纹理方面通常具有较少的变化。例如,黑色iPad 或黑色衣服的产品图像可能仅包含白色和黑色,并且大多数区域可能是实心的并且没有纹 理。在这样的情况下,高频信号仅出现在产品相对于其背景的边缘。在实心区域中,像素类 似于它们的周围区域,并且在模糊度量中使用的再模糊模式可能难以提取有用信号;相反, 由于其低频属性,它们将这些实心区域看作模糊区域。在一些情况下,这可能导致由图像内 容的固有低频内容引起的、模糊度量的误报警。
[0056] 为了解决该问题,可以实现加权模糊度量,其适应性地包括来自图像的边缘内容 信息。加权模糊度量的算法可以通过更多地关注与图像的边缘而非实心区域来正确地归一 化来自图像的每个局部区域的模糊信号。如此,可以解决上述问题,以减少由固有的低频图 像内容引起的误报警。模糊检测器还可以通过对加权模糊度量的定量输出并计算图像模糊 的概率(例如机会)来实现。最后,模糊检测和照片辅助系统可以被配置(例如构建)为包括 web和移动接口。系统可以被配置为分析任何上传图像,并对模糊图像加标记,以帮助消费 者(例如销售者),特别是在电子商务环境中的销售过程中帮助他们。
[0057]根据加权模糊度量的各种示例实施例,给定图像首先根据函数1 = 0.2989R+ 0.5870G+0.1140B转换至灰度,其中,R、G和B是图像的红、绿和蓝色分量。由于图像内容在不 同区域和小片间变化,为了捕捉局部清晰度等级,首先将图像划分为多个小的矩形区域。变 量m是横轴和纵轴上块的数目,所产生的小片的总数是m 2。对于每个单独的小片(i,j),其中 (i,j)是小片的索引(1 < i <m,l < j <m)。令Blur(i,j)表示模糊度量来计算的模糊分数。例 如,每个小片(i,j)可以是15x15像素、20x20像素等。
[0058]为了计算加权矩阵W,可以首先将图像变换为灰度图像,然后通过Sobel操作分别 从水平和竖直方向进行滤波。令Sh和Sv分别表示水平和竖直方向的Sobel滤波器的结果。边 缘能量图可计算如下:
[0060] 图5示出了(a)原始图像、(b)变换为灰度图像的图像;以及(c)水平和(d)竖直 Sobe 1滤波器的结果。
[0061] 每个小片的权重可通过累计该小片内的所有边缘能量值来计算:
[0063] 其中,W和Η分别是整个图像的宽度和高度。
[0064] W = \ jV ? ntjf ?w」0
[0065] 为了强调具有高边缘密度的区域的重要性,可以并入并使用平滑参数〇来计算归 一化加权度量:
[0067]图6示出了边缘能量图、权重图以及〇 = 3的归一化权重图。
[0068]最终模糊分数可通过用该归一化加权度量对来自每个小片的模糊分数进行加权 来计算:
[0071] 2.1模糊检测器
[0072] 所获得清晰度的范围从0到1,其中,1指示清晰图像,0指示最模糊的图像。然而,清 晰分数的输出遵循高斯分布。为了正确理解该定量结果,所计算的清晰度分数可以被建模 并转换为图像模糊的概率(又称模糊概率或模糊分数概率)。
当前第2页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1