用于图像的基于云的内容认知填充的制作方法
【技术领域】
[0001] 本申请的各实施例设及用于图像的基于云的内容认知填充。
【背景技术】
[0002] 随着计算技术已经发展并且计算设备已经变得日益地普遍，人们已经开始W多种 不同方式使用他们的设备。一个运样的使用是在他们的计算设备上编辑图像。尽管用户可 W享受在他们的设备上编辑图像的能力，但是运样的编辑不是没有它的问题。一个运样的 问题是图像编辑软件可能需要许多计算设备可能没有的显著存储器或者处理器资源，从而 造成用户对他们的设备失望。
【发明内容】
[0003] 运一
【发明内容】
W简化的形式介绍了 W下在【具体实施方式】中被进一步描述的概念 的选集。运样，运一
【发明内容】
并非旨在于标识要求保护的主题内容的实质特征，也并未旨在 于用作辅助确定要求保护的主题内容的范围。
[0004] 根据一个或者多个方面，在计算设备处，获得图像并且获得对图像的将基于获得 的图像的第二组一个或者多个区域中的像素的值而被填充的第一组一个或者多个区域的 指示。对获得的图像下采样W生成获得的图像的减少尺寸的版本，并且向远程服务发送获 得的图像的减少尺寸的版本，远程服务被实施在从计算设备分离的一个或者多个设备中。 从远程服务接收映射，该映射为第一组一个或者多个区域中的每个像素标识第二组一个或 者多个区域中的一个或者多个像素，该一个或者多个像素的值将用来生成用于该像素的 值。使用映射W确定第一组一个或者多个区域中的像素的值来生成输出图像。
[0005] 根据一个或者多个方面，在服务中，从与服务分离的计算设备接收图像的减少尺 寸的版本。也从计算设备接收对图像的减少尺寸的版本的将基于图像的减少尺寸的版本中 的第二组一个或者多个区域中的像素的值而被填充的第一组一个或者多个区域的指示。为 第一组一个或者多个区域中的每个像素确定第二组一个或者多个区域中的一个或者多个 像素，该一个或者多个像素的值将用来生成用于该像素的值。生成映射，该映射为第一组一 个或者多个区域中的每个像素标识第二组一个或者多个区域中的一个或者多个像素，该一 个或者多个像素的值将用来生成用于该像素的值。向设备返回映射而不向计算设备返回图 像的版本。
【附图说明】
[0006] 参照附图描述【具体实施方式】。在图中，标号的最左位标识标号首次出现的图。在 描述和图中的不同实例中使用相同标号可W指示相似或者相同项目。在图中表示的实体可 W指示一个或者多个实体并且因此可W在讨论中可互换地参照实体的单数或者复数形式。
[0007] 图1是图示了实施根据一个或者多个实施例的用于图像的基于云的内容认知填 充的示例环境的框图。
[000引图2图示了根据一个或者多个实施例的示例内容认知填充系统。
[0009] 图3是图示了根据一个或者多个实施例的用于执行内容认知填充操作的示例过 程的流程图。
[0010] 图4是图示了根据一个或者多个实施例的用于生成映射的示例过程的流程图，该 映射标识用于替换图像的待填充的一个或者多个区域中的像素的图像像素。
[0011] 图5是图示了根据一个或者多个实施例的用于压缩映射的示例过程的流程图。
[0012] 图6图示了根据一个或者多个实施例的标识图像的区域和向那些区域的偏移的 示例表。
[0013] 图7是图示了根据一个或者多个实施例的用于生成输出图像的示例过程的流程 图。
[0014] 图8是图示了根据一个或者多个实施例的条带的示例的示图。
[0015] 图9图示了包括示例计算设备的示例系统，该计算设备代表可W实施运里描述的 各种技术的一个或者多个计算系统和/或设备。
【具体实施方式】
[0016] 运里讨论用于图像的基于云的内容认知填充。在计算设备处获得图像，并且标识 图像的将对其执行内容认知填充操作的一个或者多个区域。内容认知填充操作是基于图像 的一个或者多个其它区域填充图像的一个区域、从而用来自一个或者多个其它区域的像素 值替换一个区域中的像素值的操作。计算设备通过对图像下采样来生成图像的减少尺寸的 版本，并且经由网络（例如，因特网）向远程服务发送图像的减少尺寸的版本。
[0017] 远程服务对图像的减少尺寸的版本执行内容认知填充过程的部分、从而生成映 射，该映射指示图像的减少尺寸的版本中的哪些像素将用来确定图像的减少尺寸的版本的 (待填充的区域中的）其它像素的值。映射被压缩并且返回到计算设备。计算设备解压映 射并且对映射上采样W对应于原先获得的图像的尺寸。通过执行卷积运算W生成用于图像 的区域的像素值来生成输出图像。基于原先获得的图像和经上采样的映射来执行运一卷积 运算。
[001引可W在条带中执行卷积运算，运些条带是指图像的块或者条带。例如，条带可W是 某个数目（例如，10至20个）的像素高和另一数目（原先获得的图像的宽度）的像素宽。 条带的集合然后组合W生成输出图像。通过在条带中执行卷积运算，计算设备的存储器约 束被减少，因为计算设备无需一次对整个图像执行卷积运算。
[0019] 图1是图示了实施根据一个或者多个实施例的用于图像的基于云的内容认知填 充的示例环境100的框图。环境100包括计算设备102,该计算设备102可W是可W编辑或 者处理图像的多种不同类型的设备中的任何设备，也被称为图像处理设备。计算设备102 通常是具有不充分资源（例如存储器、处理器性能、存储空间）W致于无法完全地自行执行 内容认知填充操作或者是具有不充分资源W致于无法足够快地执行内容认知填充操作W 提供良好用户体验的低资源设备。例如，计算设备102可W是上网本计算机、平板或者笔记 本计算机、通信地禪合到显示设备、电视或者其它显示设备的机顶盒、蜂窝或者其它无线电 话（例如，智能电话）、车载计算机、数字相机、扫描仪或者复印机等。
[0020] 环境100支持对图像执行内容认知填充操作。内容认知填充操作的部分由计算设 备102的内容认知处理系统104执行，并且内容认知填充操作的部分由内容认知操作服务 106执行，该内容认知操作服务106是由计算设备102经由网络108访问的远程服务。如 图1的示例中所示，输入图像110由计算设备102获得，该计算设备102 (使用内容认知处 理系统104和内容认知操作服务106来）生成对应的内容认知填充的图像112,其中输入图 像110的区域（被图示为小汽车）被去除并且用来自输入图像110中的其它位置的像素值 来替换。
[0021] 内容认知操作服务106由从计算设备102物理地分离的一个或者多个设备实施， 并且因此被称为从计算设备102远离。内容认知操作服务106可W由多种不同设备（典型 地为具有大量存储器和处理器资源的设备）实施。例如，内容认知操作服务106可W由服 务器计算机、台式计算机、服务器计算机、膝上型计算机、游戏控制台等实施。
[0022] 内容认知操作服务106和计算设备102经由网络108相互通信。网络108可W是 多种不同网络，包括因特网、局域网（LAN)、公用电话网络、内联网、其它公用和/或专有网 络、其组合等。网络108也可W是其它类型的无线通信信道，比如无线通用串行总线通信信 道。
[0023] 如W下更具体讨论的那样，为了减少在计算设备102与内容认知操作服务106之 间的带宽使用和传送时间，向内容认知操作服务106传达图像的减少尺寸的版本。内容认 知操作服务106执行计算成本高的部分，该部分为图像的给定的区域确定使用来自图像的 一个或者多个其它区域的什么值W替换区域中的像素值。内容认知操作服务106生成映 射，该映射指示图像的减少尺寸的版本中的哪些像素将用作图像的减少尺寸的版本的给定 的区域中的哪些像素的值。运一映射被返回到计算设备102,从而允许内容认知处理系统 104执行内容认知填充操作的计算成本较低的部分（基于映射替换区域中的像素的值）。
[0024] 图2图示了根据一个或者多个实施例的示例内容认知填充系统200。内容认知填 充系统200包括如W上参照图1讨论的内容认知处理系统104和内容认知操作服务106。 阳0巧]内容认知处理系统104包括输入模块202、通信模块204、内容认知填充模块206 和映射解压模块208。内容认知操作服务106包括通信模块212、内容认知填充确定模块 214、映射生成模块216和映射压缩模块218。虽然运里参照特定模块来讨论特定功能，但是 应当注意，运里讨论的个别模块的功能可W被分到多个模块中和/或运里讨论的多个模块 的至少一些功能可W被组合到单个模块中。
[00%]输入模块202获得将对其执行内容认知填充操作的图像（也被称为输入图像或者 原有图像）。输入模块202可W用多种方式和从各种来源获得输入图像，并且可W从实施系 统104的设备的另一部件或者从分离的设备获得图像。例如，模块202可W从图像捕获部 件获得图像、从禪合到实施系统104的设备的存储设备取回图