用于调整图像大小的系统和方法
【专利说明】用于调整图像大小的系统和方法
【背景技术】
[0001] 在诸如互联网或其他网络的网络化环境中，第一方内容提供者可提供用于在资源 上公开显示的信息，该资源例如是web页面、文档、应用和/或其他资源。第一方内容可包 括由第一方提供者经由例如内容服务器提供的用于在互联网上显示的文本、视频和/或音 频信息。还可以由第三方内容提供者提供用于与由第一方提供者提供的第一方内容一起在 资源上显示的附加的第三方内容。因此，查看资源的人可访问作为资源主题的信息，以及可 能与该资源的主题相关或不相关的第三方内容。
【发明内容】
[0002] 用于调整图像大小的方法可包括接收关于图像的数据、缝（seam)成本阈值和步 长。可基于所述关于图像的数据做出所述图像的显著性图。可基于显著性图为所述图像确 定第一缝集合，所述第一缝集合中的每个缝具有低于所述缝成本阈值的显著性成本。可使 用第一调整大小的缝的集合调整所述图像的大小以生成第二图像。其所述第一调整大小的 缝的集合包括与所述第一缝集合的缝的数量和所述步长之中的最小值相等的缝的数量。可 为所述第二图像确定第二缝集合，所述第二缝集合中的每个缝具有低于所述缝成本阈值的 显著性成本。可使用第二调整大小的缝的集合调整所述第二图像的大小，以生成调整了大 小的图像。所述第二调整大小的缝的集合包括与所述第二缝集合的缝的数量和所述步长之 中的最小值相等的缝的数量。可输出用于完成所述调整了大小的图像的显示的显示数据。
[0003] 计算机可读存储装置可存储指令，当由数据处理器执行该指令时可使得所述数据 处理器执行一些操作。所述操作可包括从请求装置接收对于将与资源一起显示的内容项的 请求。可选择包括具有数个像素的图像的内容项。可基于梯度显著性值、颜色空间分布显 著性值以及标志检测值为每个像素确定显著性分数。可基于显著性分数为所述图像确定平 均显著性值。如果所述平均显著性值低于平均阈值，则可基于所述显著性分数为所述图像 确定第一缝集合。可基于所述第一缝集合调整所述图像的大小。可为所述第一缝集合确定 总的成本值，并且如果所述总的成本值低于最小成本阈值，则输出显示数据以完成将调整 了大小的图像显示为内容项。
[0004] 用于调整第三方内容提供者的图像内容项的大小的系统可包括数据处理器和存 储一些指令的计算机可读存储装置，当由所述数据处理器执行该指令时使得所述数据处理 器执行多种操作。所述操作可包括接收关于具有数个像素的图像的数据、缝成本阈值和步 长。可为所述图像确定显著性图，并且所述显著性图可包括所述图像的每个像素的显著性 分数。可基于显著性分数为所述图像确定平均显著性值。如果所述平均显著性值低于平均 阈值，则基于所述显著性分数为所述图像确定第一缝集合。所述第一缝集合中的每个缝可 具有低于所述缝成本阈值的显著性成本。可基于第一调整大小的缝的集合调整所述图像的 大小，以生成第二图像。所述第一调整大小的缝的集合可包括与所确定的第一缝集合的缝 的数量和所述步长之中的最小值相等的缝的数量。可为所述第二图像确定第二缝集合。可 基于所述第二缝集合调整所述第二图像的大小，以生成调整了大小的图像。可输出用于完 成所述调整了大小的图像的显示的显示数据。
【附图说明】
[0005] 在附图中，以示例而不是限制的方式示出了本文教导的各个实施方式，其中：
[0006]图1是描述经由计算机网络提供信息的示例系统的概览；
[0007] 图2是用于调整图像内容项的大小的示例过程的流程图；
[0008] 图3A是示出了示例缝的示例的图像的显著性图的概览；
[0009] 图3B是移除了示例缝的图3A的示例显著性图的概览；
[0010] 图4A是平均显著性值可能超过平均阈值的示例图像内容项；
[0011] 图4B是示出了具有添加的补缺（filler)的图4A的图像内容项的图像的示例；
[0012] 图4C是示出了具有添加的补缺的图4A的图像内容项的图像的另一个示例；
[0013] 图5A是可对其应用自适应缝切割（seamcarving)的示例的图像内容项；
[0014] 图5B是示出了对于图5A的图像内容项的图像检测到的文字区域和标志区域的示 例；
[0015] 图5C是示出了可能低于缝成本阈值的关于图5A的图像内容项的图像的数个缝的 示例；
[0016] 图是示出了通过复制缝来调整大小之后的关于图5A的图像内容项的第二调整 了大小的图像的示例；
[0017] 图5E是关于图5A的图像内容项的不例的调整了大小的图像；
[0018] 图5F是示出了可能低于缝成本阈值的关于图5A的图像内容项的图像的数个缝的 示例；
[0019] 图5G是示出了通过复制图5F的缝来调整大小之后的关于图5A的图像内容项的 第二调整了大小的图像的示例；
[0020] 图5H是示出了通过复制图5G的附加缝来调整大小之后的关于图5A的图像内容 项的第三调整了大小的图像的示例；
[0021] 图6A是可对其应用自适应缝切割的另一个示例图像内容项；
[0022] 图6B是示出了在调整图像的大小时使用的数个确定的缝的关于图6A的图像内容 项的示例的调整了大小的图像；
[0023] 图6C是省略了确定的缝的关于图6A的图像内容项的示例的调整了大小的图像；
[0024] 图7A是可对其应用自适应缝切割的另一个示例的图像内容项；
[0025]图7B是示出了在调整图像的大小时使用的数个确定的缝的关于图7A的图像内容 项的示例的调整了大小的图像；
[0026] 图7C是省略了确定的缝的关于图7A的图像内容项的示例的调整了大小的图像；
[0027] 图8A是可对其应用自适应缝切割的另一个示例的图像内容项；
[0028]图8B是示出了在调整图像的大小时使用的数个确定的缝的关于图8A的图像内容 项的示例的调整了大小的图像；
[0029] 图8C是省略了确定的缝的关于图8A的图像内容项的示例的调整了大小的图像；
[0030] 图9是示出了可用来实现本文描述和示出的系统和方法的各个元素的计算机系 统的总体架构的框图。
[0031] 部分或全部的所述图示应被视为是用于说明目的的示意图表示。出于示出一个或 多个实施方式的目的提供所述图示，应明确理解它们将不被用于限制权利要求的范围或含 义。
【具体实施方式】
[0032] 下文是对用于在计算机网络上提供信息的方法、设备和系统的与其相关的各个概 念及其实施方式的更详细的描述。由于所描述的方面不限于实施方式的任何特定方式，因 此可采用众多方式中的任何一种来实现下文中更详细讨论的各个方面。主要出于说明的目 的来提供【具体实施方式】和应用的示例。
[0033] 在一些实例中，调整内容项（诸如图像和/或视频）的大小可能是有用的。例如， 计算装置（如用户装置或请求装置）可经由互联网通过与对应于资源的服务器（如web页 面服务器）通信来查看该资源（诸如web页面）。该资源可包括来自第一方提供者的作为 资源的主题的内容，以及附加的第三方提供的内容，如广告。在一个实施方式中，响应于接 收到访问web页面的请求，web页面服务器可与诸如内容布置系统的数据处理系统通信，以 请求用于插入到在计算装置处显示的web页面的植染（rendering)中的内容项。内容布置 系统可选择合适的内容项并且将其提供给web页面服务器，以与web页面一起显示。
[0034] 在一些实例中，资源的空档（slot)可能具有与所选择的内容项不同的一组尺寸。 在这类实例中，调整内容项的大小以符合该空档可能是有用的，例如移除内容项的部分和/ 或向内容项添加附加的像素。可通过利用诸如缝切割（seamcarving)的技术来完成这种 大小调整。缝切割基于期望的大小调整来选择内容项的一系列连接的像素，以进行复制和/ 或移除。对于内容项来说，选择不扭曲内容项的主要或显著内容的缝可能是有用的。例如， 内容项可包括背景上的文本内容。缝可被选择以在调整内容项大小的同时保留该文本内容 和/或字符间距，从而提供调整了大小的内容项且保留显著内容。在其他实例中，内容项可 包括面部，使得面部检测对于保留面部内容来说是有用的。在其他实例中，内容项中可能存 在标志，使得保留标志的形状和大小同样是有用的。本文中将更详细地讨论其他显著内容 考虑事项。
[0035] 可通过为每个像素确定显著性分数（即该像素对内容项的内容有多重要）来完成 这种显著内容的保留和缝的选择。可确定显著性分数的集合来生成内容项的显著性图。该 显著性图可用于确定缝，以用于缝切割和/或用于与一个或多个评价指标一起使用。
[0036] 可在调整大小过程之前、期间和/或之后使用评价指标，以确定是否继续进行缝 切割和/或使用调整了大小的图像。例如，可计算显著性图的显著性分数的平均值。如果 显著性分数的平均值低于平均阈值，则可以继续进行缝切割。如果该平均值高于平均阈值， 则可选择替换的方法和/或内容项（例如，不调整具有高平均显著性分数的图像内容项的 大小，而是显示具有补缺的图像内容项以保留图像内容项的内容可能更好）。
[0037] 使用显著性图的显著性分数，可通过选择具有低显著性分数像素的缝来选择缝， 以调整内容项的大小。在一些实例中，可使用缝成本阈值评价指标，使得所选择的缝具有低 于该缝成本阈值的显著性成本。缝的显著性成本可被计算为该缝的每个像素的显著性成本 的和。在一些实例中，可使用步长来限制和/或保证在调整内容项大小的迭代过程中选择 一定数量的缝。该步长可与缝成本阈值一起使用，使得两者中的最小值或最大值可用于提 供自适应调整大小过程。
[0038] 在进一步的实施方式中，可为添加的和/或移除的缝计算总的成本值评价指标。 该总的成本值可用于确定是否使用调整了大小的图像。例如，如果从内容项移除缝的总的 成本值超过最大值，则调整了大小的图像可能已经移除和/或添加了太多具有高显著性分 数的像素并且潜在地扭曲了内容项的内容。如果移除和/或添加缝的总的成本值低于最小 值，则调整了大小的图像可能已经移除和/或添加了具有低显著性分数的像素，并且不太 可能扭曲内容项的内容。当然，也可以使用将总的成本值作为评价指标的其他使用和实施 方式。
[0039]I?示例系统的概述
[0040] 图1示出了用于经由诸如网络105的计算机网络提供信息的示例系统100。网络 105可包括计算机网络，如互联网、局域、广域、城域或其他区域网络、内部网，以及诸如语音 或数据移动电话通信网络的其他计算机网络。系统100还可以包括数据