像、从经由网络访问的存储 设备取回图像等等。
[0027] 输入模块202也获得对输入图像的将使用内容认知填充操作而被填充的区域的 指示。可W用多种不同方式（比如从用户输入（例如，利用光标控制设备、手指或者其它物 体勾勒显示的图像的区域或者在该区域周围映描））从实施系统104的计算设备的另一部 件或者模块、从另一设备等接收该指示。待填充的区域可W是图像中的各种不同区域，比如 包括将从图像去除的物体（例如，人、车辆、标志、建筑物的一部分等）的区域、待固定的区 域（例如，建筑物中的裂缝或者其它开口、在图像上捕获的毛发或者灰尘等）等。
[0028] 通信模块204向和从通信模块212传达数据，从而允许数据在内容认知处理系统 104与内容认知操作服务106之间被传达。运一数据包括经下采样的图像222和填充映射 224,该经下采样的图像222是输入图像（例如，图1的图像110)的经下采样的版本，该填 充映射224指示图像的减少尺寸的版本中的哪些像素将用来确定图像的减少尺寸的版本 的区域中的哪些像素的值。
[0029] 内容认知填充模块206执行内容认知填充操作的部分，包括对将向内容认知操作 服务106发送的图像下采样。通信模块204向通信模块212发送经下采样的图像222。内 容认知填充确定模块214确定经下采样的图像222中的哪些像素将用作经下采样的图像 222的正被填充的区域中的值。映射生成模块216生成标识运些确定的像素的映射，并且生 成的映射由映射压缩模块218压缩。
[0030] 通信模块212返回压缩的映射作为由通信模块204接收并且由映射解压模块208 解压的填充映射224。内容认知填充模块206对解压的映射上采样，并且执行卷积运算W生 成用于图像的区域的像素值。基于原先获得的图像、经上采样的映射和对区域的指示来执 行运一卷积运算。
[0031] 图3是图示了根据一个或者多个实施例的用于执行内容认知填充操作的示例过 程300的流程图。过程300可W被实施在软件、固件、硬件或者其组合中。图3的左手侧上 所示的过程300的动作由计算设备（比如图1的计算设备102或者实施图1或者图2的内 容认知处理系统104的设备）执行，并且可W被实施在软件、固件、硬件或者其组合中。图 3的右手侧上所示的过程300的动作由远程服务（比如图1或者图2的内容认知操作服务 106)执行，并且可W被实施在软件、固件、硬件或者其组合中。过程300被示出为动作的集 合并且不限于所示的用于执行各种动作的操作的顺序。过程300是用于执行内容认知填充 操作的示例过程；运里参照不同附图包括执行内容认知填充操作的附加讨论。
[0032] 在过程300中，获得图像和对图像的待填充的一个或者多个区域的指示（动作 302)。可W用如W上讨论的多种不同方式中的任何方式来获得图像，比如被计算设备捕获 或者被从另一设备获得。可W用如W上讨论的多种不同方式中的任何方式获得指示，比如 通过用户输入、从计算设备的另一部件或者模块。
[0033] 对获得的图像下采样（动作304)。对图像下采样减少图像中的像素数目，因此生 成在动作302中获得的图像的减少尺寸的版本。图像可W被下采样各种量（比如按照倍率 5至10)，或者被下采样成特定尺寸（例如，1兆字节）。下采样可W使用多种不同公用和/ 或专有技术中的任何技术（比如最近邻居技术、平均化技术、双线性技术、双Ξ次技术等） 而被执行。
[0034] 经下采样的图像被发送给服务（动作306)，该服务接收经下采样的图像（动作 308)。通过发送原先获得的输入图像的经下采样的版本，相对于发送获得的图像减少了在 计算设备与服务之间的数据传送带宽的使用，并且相对于发送获得的图像减少了为了向服 务传送经下采样的图像而需要的时间量。
[0035] 服务生成映射（也被称为映射化（mapping))，该映射标识用于替换图像的待填充 的一个或者多个区域中的像素的图像像素（动作310)。作为内容认知填充过程的部分，为 一个或者多个区域中的每个像素标识一个或者多个其它区域中的一个或者多个其它像素 作为用来替换像素的像素。映射是运些一个或者多个其它像素的标识符或者指示。可W使 用多种公用或者专有技术中的任何技术来确定图像中的其它区域的哪些像素将用来替换 一个或者多个区域中的像素。
[0036] 图4是图示了根据一个或者多个实施例的用于生成映射的示例过程400的流程 图，该映射标识用于替换图像的待填充的一个或者多个区域中的像素的图像像素。过程400 由远程服务（比如图1或者图2的内容认知操作服务106)执行，并且可W被实施在软件、 固件、硬件或者其组合中。过程400可W例如实施图3的动作310。过程400被示出为动作 的集合，并且不限于所示的用于执行各种动作的操作的顺序。过程400是用于生成映射的 示例过程，该映射标识用于替换图像的待填充的一个或者多个区域中的像素的图像像素； 运里参照不同附图包括生成映射的附加讨论，该映射标识用于替换图像的待填充的一个或 者多个区域中的像素的图像像素。
[0037] 过程400 W从粗到细分辨率的多分辨率方式使用广义化的补下匹配算法来对连 续转化域执行捜索。被称为最近邻居场（NN巧的映射或者映射化用来记录捜索操作的结 果。NNF映射被定义为偏移的函数/: A it,该函数是对于两个补下的某个距离函数D而 对图像A中的所有可能的补下坐标（补下中屯、的位置）而被定义的。因此，对于图像A中 的给定的补下坐标a及其在图像B中的对应的最近邻居b，f (a)简单地是b-a。图像A可 W是指接收的经下采样的图像的一个区域（例如，待填充的区域），并且图像B可W是指接 收的经下采样的图像的另一区域（例如，从其选择像素 W填充图像A(待填充的区域）的区 域）。补下是指可W变化尺寸的像素块，比如是单个像素、3x3像素块、7巧像素块等。NNF 映射是如下映射，该映射标识用于替换图像的待填充的一个或者多个区域中的像素的图像 像素。
[0038] 在过程400中，初始化NNF映射（动作402)。NNF映射可W用各种方式（比如通 过向NNF映射指派随机值或者通过使用先验信息而被初始化。可W使用粗到细逐渐尺寸重 设，从而允许可W使的用从金字塔中的前级放大的初始猜测。
[0039] NNF映射通过向相邻像素迭代地传播良好补下偏移（动作406)并且在迄今发现的 最佳偏移的邻域中随机地捜索（动作408)而被修正（动作404)。运一传播和随机捜索可 W被迭代各种次数，比如固定次数（例如，4或者5次）。备选地，各种其它标准可W用来确 定何时中止对传播和随机捜索的迭代。
[0040] 动作406和408的每个迭代继续如下。按照扫描顺序（例如，从左到右、从上到 下）检查偏移，并且每个经历传播（动作406)、继而为随机捜索（动作408)。在补下级交 织运些操作：如果P，和S，分别表示在补下j处的传播和随机捜索，则操作按照W下顺序继 续经过数目为η的分组札Si，P2, S2,…，P。，S。。
[0041] 在动作406中，通过尝试使用已知偏移f (x-l，y)和f (x，y-l)提高f (x，y)来向相 邻像素传播良好补下偏移，其中X，y是像素的坐标，其中假设补下偏移很可能相同。例如， 如果在（X-1，y)处有良好映射，则将该映射向右平移一个像素 W用于在（X，y)处的映射。 令D(v)表示在图像A中的（X，y)处的补下与在图像B中的补下（X，y)+v之间的补下距离 (误差）。用于：?(义，7)的新值是{〇江(义，7))，〇江(又-1，7)),0江(又，7-1))}的曰'邑111；[]1。在 一个或者多个实施例中，在交替（例如，偶数）迭代时，传播通过使用f (x+l，y)和f (x，y+l) 作为候选偏移按照相反扫描顺序检查偏移而向左上。 阳042] 在动作408中，如下执行随机捜索。令V(j= f (X，y)。通过在从V。呈指数地减少 的距离处测试候选偏移序列来进行对提高f(x，y)的尝试：Ui=Ve+waiRi，其中Ri是[-1， 1]X[-1，1]中的统一随机数，W是大的最大捜索"半径"，并且α是在捜索窗尺寸之间的固 定比率。检查用于i = 0，l，2，...的补下直至当前捜索半径wαl在l个像素 W下。在一 个或者多个实施例中，W是最大图像维数，并且α = 1/2,并且捜索窗被限位到界限Β。
[0043] 压缩如在动作404中修正的NNF映射（动作410)。可W使用多种公用或者专有压 缩技术中的任何压缩技术来压缩NNF映射。在一个或者多个实施例中，使用无损压缩技术 来压缩NNF映射，但是在一些情形中，可W使用有损压缩技术。
[0044] 图5是图示了根据一个或者多个实施例的用于压缩NNF映射的示例过程500的流 程图。过程500由远程服务（比如图1或者图2的内容认知操作服务106)执行，并且可W 被实施在软件、固件、硬件或者其组合中。过程500可W例如实施图4的动作410。过程500 被示出为动作的集合，并且不限