在对象去除之后恢复图像中的缺失结构的结构分析方法

在对象去除之后恢复图像中的缺失结构的结构分析方法
【专利摘要】本发明涉及在对象去除之后恢复图像中的缺失结构的结构分析方法。响应于对缺失对象区域的结构分析和恢复过程来控制图像修复。检测去除对象区域的外围周围的结构边线，并且根据颜色和深度信息确定延伸。在结构框架中确定交叉点，其中结构框架的区域然后利用补片填充过程进行合成，在这之后类似地合成图像的剩余区域。
【专利说明】在对象去除么后恢复图像中的缺失结构的结构分析方法
[0001] 对受版权保护的素材的申明
[0002] 本专利文档中的部分素材受美国和其它国家的版权法下的版权保护。版权所有者 不反对任何人对专利文档或专利公开内容按照在美国专利商标局可W公开得到的文件或 记录中出现得那样进行传真复制，但是除此之外在任何情况下都保留所有版权。版权所有 者并非W此方式放弃任何其秘密维护本专利文档的权利，包括但不限于根据37C.F.R.§ 1.14的权利。
技术领域
[0003] 本技术一般设及对象去除（object removal)之后的图像修复，并且更特别地，设 及在图像的对象去除之后恢复缺失结构。
【背景技术】
[0004] 图像修复过程包含重建图像帖或视频帖中的已去除或移动的缺失部分。如果图像 内所捕获的对象被删除或移动，则在原始图像中由该对象覆盖(掩盖）的区域必须要重建， 使得所得到的图像仍然看起来"自然"。运就是说，所期望的是，如果观看者没有看过原始图 像，则他们不能注意到该图像已通过去除或移动其中的对象而被改变过。
[0005] 在文献中描述了许多目前的修复技术。一般而言，运些方法可W归类为W下种类： (1)基于扩散的方法，（2)图像的稀疏表示，W及(3)基于样例（exemplar-based)的方法。
[0006] 当修复过程设及没有复杂结构的同质和/或小的区域时，运些方法一般可W产生 合适的输出。但是，在设及具有多个封闭的区域和结构的较大缺失区域的场景中，运些技术 在所得到的图像中留下可见的人工痕迹，尤其在边线(edge) W及有结构的区域中。
[0007] 因此，存在即使对于包括结构的较大修复区域也能够生成期望的结果的修复重建 技术的需求。

【发明内容】

[000引提出了用于分析关于缺失对象区域的结构W便恢复缺失对象区域内的结构并根 据所恢复的结构执行缺失对象的修复的装置和方法。总体的过程包括:检测结构的边线、延 伸和交叉点，使用颜色和深度信息来决定哪些边线要延伸到缺失对象区域中W及延伸的程 度。然后，将结构线合成到对象区域中，然后，合成剩余的区域W完成修复过程。
[0009] 本技术的其它方面将在说明书的W下部分中阐明，其中详细的描述是为了充分地 公开本技术的优选实施例，而非对其进行限制。
【附图说明】
[0010] 通过参考W下附图，本技术将得到更加充分的理解，其中W下附图仅出于说明性 的目的：
[0011] 图1是根据本技术的实施例的用于演示结构分析和恢复的图像示例。
[0012] 图2是来自图1的图像部分，其示出了根据本技术的实施例而利用的已去除的（瓶 子)对象示例并且描绘了许多结构元素。
[0013] 图3是示出了在结构未被适当地重建时产生的许多人工痕迹和不合适的填充的修 复图像。
[0014] 图4是根据本技术的实施例的利用结构分析和重建的一般修复过程的流程图。
[0015] 图5是示出了用于本技术的实施例的缺失瓶子对象的剪影内的期望的结构线的图 像。
[0016] 图6是只示出了根据本技术的实施例的缺失对象区域外部的结构边线的线条抽象 图像。
[0017] 图7是缺失对象区域连同根据本技术的实施例而确定的边界、蒙版(mask)和边线 交叉点的的图像。
[0018] 图8是根据本技术的实施例的边线检测的流程图。
[0019] 图9是示出了根据本技术的实施例的边线跟踪的图像。
[0020] 图10是根据本技术的实施例的边线跟踪的流程图。
[0021] 图11A至图11C是例示了根据本技术的实施例的在纹理和结构边线之间进行区分 的图像。
[0022] 图12和图13是描绘了根据本技术的实施例的用于测试候选边线的平直度标准之 一的图像。
[0023] 图14是根据本技术的实施例的使结构边线延伸穿过缺失对象区域内部的图像。
[0024] 图15A和图15B是示出了根据本技术的实施例的找到可能的边线交叉点的图像，其 W结构线上的抽象示出（图15A)，并且叠加到原始瓶子对象图像上（图15B)。
[0025] 图16是根据本技术的实施例的考虑本地区域内的边线两侧的示图。
[0026] 图17是关于根据本技术的实施例利用的对象区域的边界周围的颜色值的图像。
[0027] 图18是根据本技术的实施例的确定边线的平均深度并且示出了叠加在对象图像 上的运些深度的图像。
[0028] 图19是根据本技术的实施例的确定边线的颜色区域并且示出了叠加在对象图像 上的运些颜色区域的图像。
[0029] 图20是根据本技术的实施例的确定有效交叉点的抽象图像。
[0030] 图21是根据本技术的实施例的遮挡与有效交叉点相关联的结构区域的抽象图像。
[0031] 图22是根据本技术的实施例的找到交叉点至遮挡有效交叉点之间的区域的过程 的流程图。
[0032] 图23是示出了根据本技术的实施例的补片(patch)匹配捜索过程的图像。
[0033] 图24A至图24C是示出了根据本技术的实施例的作为多分辨率捜索的补片匹配捜 索过程的图像。
[0034] 图25是示出了根据本技术的实施例的从边线进行补片填充的另一个对象修复示 例的图像。
[0035] 图26是正基于根据本技术的实施例的补片捜索过程来修复图25中的缺失对象的 图像。
[0036] 图27A至图27D是示出了如根据本技术的实施例而执行的结构线的延伸（图27A)、 沿着第一方向上的边线进行填充（图27B)、沿着另一方向上的边线进行填充（图27C)、然后 填充所限定的结构内的区域(图27D)的一系列图像。
[0037] 图28是示出了利用根据本技术的实施例的利用结构分析和重建来执行的修复过 程的结果的图像。
[0038] 图29是另一个修复情形的图像，其示出了桌面上的Ξ个填充玩具动物。
[0039] 图30A至30D是示出了根据本技术的实施例的根据运种结构的遮挡去除对象、结构 分析和修复的步骤的一系列图像。
[0040] 图31是根据本技术的实施例的由图30A至30D中所示的修复过程而得到的图像。
【具体实施方式】
[0041] 所述装置和方法呈现了用于在对象去除之后的图像中恢复缺失结构的结构分析 方法。提供了用于确定包围被去除的对象区域的结构"网"的细节。应当理解，修复过程的其 它步骤可W使用任何期望的修复技术来实现，诸如文献中所描述的那些修复技术，所述文 南犬包括Criminisi、P.Perez和K.Toyama的''Re邑ionFillin邑 and Object Removal by Exemplar-Based Image Inpainting''，该文章可从在2004年的IEEE Transaction On Image Processing中找到。
[0042] -般而言，在运些修复过程中，图像孔桐用诸如来自同一图像的其它部分的补片 进行填充。因此，目标区域(缺失对象)的边界中的补片由来自源区域(缺失对象区域外部的 区域)的最匹配的补片来填充。在运种边线驱动(edge-化ive)的填充顺序中，已去除区域的 边线被给予优先权。应当理解，当填充可能导致不合适的填充、人工痕迹和不连续时，不给 予结构适当的优先权。
[0043] 图1描绘了示例图像(或视频帖）10,其示出了其中作为对象12的透明瓶子被去除 并使用修复方法进行填实的区域14。
[0044] 图2描绘了围绕透明瓶子对象的区域的特写部分14'，其中透明瓶子已被去除并留 下透明瓶子对象的黑色剪影（即，用黑色均匀填充的、作为剪样（cutout)或构型图 (configuration化awing)的对象轮廓的二维表示）。在该图中可W看到：至Ij达对象边界的 许多表面结构16。出现了关于修复过程如何能够自动地确定运些表面中的哪些要蔓延到缺 失区域(例如，剪影）的内部、它们应该蔓延多远W及如何处理结构之间的交互(例如，交叉 点）的问题。如果不知道与相关结构相关联的填充顺序，则在修复期间出现许多问题。响应 于运些问题，出现各种形式的人工痕迹。
[0045] 图3描绘了在对象去除W及未正确考虑结构的修复过程之后图1的图像30。从该图 像中可W看出，修复的结果呈现了相当大的人工痕迹区域，同时破坏了之前被水瓶对象遮 挡的结构。
[0046] 为了克服运些问题，本公开执行分析来恢复修复过程接下来要针对的缺失结构。 基于结构边线、延伸和交叉点来确定缺失结构。然后按合适的顺序填充所恢复的结构边线 之间的表面组合，W完成缺失对象区域的填充。
[0047] 图4例示了用于本公开的结构分析的示例性实施例50。示出了用于在处理单元62 上执行的程序设计52,其中处理单元62具有至少一个计算机处理器64和至少一个存储器 66。示出了能够在处理器64上执行的程序设计，其执行所公开的方法的W下步骤。检测54结 构边线W及它们的延伸和交叉点。利用关于颜色和深度(例如，深度图）的信息确定56哪些 边线需要延伸，W及它们应该延伸到什么程度。合成58结构区域，随后合成60剩余的区域 (例如，同质区域）。
[0048] 应该理解，本公开的图像处理可W由一个或多个计算机处理器执行，该一个或多 个计算机处理器结合一个或多个外部或内部计算机电路或设备内的一个或多个存储器一 起操作。应当理解，被存储在包括各种固态存储器和计算机可读介质的存储器上的程序能 够在计算机处理器上执行。关于存储器和计算机可读介质，本技术是非限制性的，只要它们 是非临时性的，并因此不构成临时的电子信号。
[0049] 图5例示了使结构线延伸70穿过缺失对象区域72的发明性对象。首先确定哪些结 构边线与去除的对象区域相邻，W作为与对象边界相交的边线。运些边线可W被分类为Ξ 种基本类别。（1)结构边线是通常来自对象边界的那些边线、对象表面上的突出边线等。（2) 纹理边线是响应于纹理图案而产生的、典型地短且弯曲的那些边线。（3)短边线是由于照明 的噪声和变化而产生的那些边线。在本公开中，在被缺失对象遮挡的可辨别结构中，所考虑 的是结构边线，而不是其它形式的边线。所公开的系统在运些边线类型之间进行辨别。
[0050] 图6绘出了图1的部分90,其示出了环绕去除对象的区域，其中结构线在由它们自 身示出的区域外部。
[0051] 图7绘出了针对已去除的对象确定边界框110,并且诸如根据预定的阔值(例如，固 定数量的像素、平均图像大小的百分比、基于图像和/或应用的变量），在具有一些额外余地 (margin)的情况下绕着对象来裁剪图像。然后开始用于检测边线及其起始点的过程。可W 看到对象蒙版112直到缺失对象区域的边线，而外部环绕区域114刚好超出蒙版(缺失对象 区域外部）。在结构到达去除的对象外部的蒙版112内确定边线点116。
[0052] 图8例示了检测边线130及其起始点的过程。应用边线检测132,然后生成对象蒙版 134,对象蒙版被看作该图中的内轮廓。对红色轮廓之间的边线点进行检测136。运样的边线 点被丢弃138:在相同边线上，并且输出具有进入对象蒙版的各个边线的起始点的结果，如 蒙版区域中看到的点(星号)所示。
[0053] 图9例示了从在图8中的蒙版区域看到的点自对象区域向外开始跟踪边线的示例 150。
[0054] 图10例示了边线跟踪的示例实施例170,该边线跟踪从起始点朝着对象蒙版的外 部跟踪边线172期望的长度。W举例而非限制的方式，该跟踪的长度可W被配置为针对给定 数量的像素、对象尺寸的百分比、或在不背离本技术教导的情况下使用任何期望的预定和/ 或可选择的标准。如果边线被检测到比该期望的长度短，则在任何附加的分析中丢弃174 它。通过跟踪点来确定对每条边线的角度和方向的估计176。
[0055] 图11A至图11C是例示了确定结构边线的重要特性的示例性图像190。在图11A中， 图像中可W看到着装人体模特对象。在图11B中，该对象被去除，留下了对象剪影。在对象区 域的区域192中，可W看到与人体模特头发的外围对应的纹理边线194的示例。在区域192的 下部，可W从背景看到结构边线196。图11C绘出了相关纹理194和结构196边线的近照细节。 本公开丢弃了太短的或者不够直而不被认为是结构边线的边线。
[0056] 利用两个平直度标准来确定运些线条是否是结构或纹理。在第一标准中，线条角 度在被跟踪的边线上应该保持基本上相同。
[0化7]图12和图13绘出了第二直线标准的特征210，230。对于一些短的边线，当跟踪算法 到达末端时，它在同一边线上返回并且向后跟踪边线。运意味着运些边线通过了第一直线 标准。因此，我们添加另一个标准：
其中Pi是当前点，P0 是边线起始点，并且C是常量，例如是在0和4之间的值。
[005引图14例示了使结构边线250延伸并且寻找有效的交叉点。对运些片段的角度和方 向进行估计并且在对象蒙版的内部延伸每条边线。
[0059] 图15A和图15B例示了 270在对象蒙版内寻找边线之间的所有可能的边线交叉点。 运些交叉点在图15A中与单独示出的边线有关地示出，并且在来自原始图像的一部分的图 15B中被叠加在对象本身上。
[0060] 图16例示了290关于边线292进入对象蒙版的面向方向，本公开考虑每条边线的两 侧，举例来说，运两侧被命名为左化)和右(R)。该方法在对象边界周围的小邻域294中针对 边线的每一侧确定平均深度和颜色值。应当理解，虽然本技术是利用Lab(即，CIELab)颜色 空间进行测试的，但是在不背离本技术教导的情况下，也可W利用其它颜色空间（例如，
[0061] 图17例示了 310在对象区域的边界周围确定颜色值(虽然W单色绘出）。
[0062] 图18例示了 330确定相对边线的平均深度，并且对于为边线的每一侧确定的深度， 在图中可W看到成对出现的从6到16的值。在小窗口内每条边线的每一侧的平均深度是围 绕该边线的起始点确定的。深度信息被用来确定边线的优先级，更靠近照相机的边线相比 于更远的边线具有更高的优先级。在另一个关于修复的索尼申请中描述了运种深度确定。
[0063] 如图中所见，图19示出350 了在边线的每一侧覆盖用从1至11的值例示的颜色类。
[0064] 图20例示370了基于匹配颜色（或充分地匹配颜色）来确定有效交叉点。该方法认 为只有当两条边线的颜色在交叉点的同一侧匹配时，运两个边线才具有有效的交叉点。在 该图中，由于在区域两侧发现374了相同的颜色类(9)，则该区域通过了一致性约束，因此一 个交叉点372有效。运种寻找有效交叉点的过程从离照相机最近的边线开始。
[0065] 图21例示390 了限定从有效交叉点延伸的结构区域，其它边线(具有较低深度优先 级)不能穿过该结构区域。该图突出了该结构区域的拐角。
[0066] 图22例示了该过程从寻找交叉点到掩盖有效交叉点之间的区域的示例性实施例 410。找到412对象蒙版内的所有可能的交叉点，并且定义414每个边线的两侧。找到416围绕 对象边界的平均深度和颜色，W及边线的每一侧的平均颜色418。然后响应于距离(例如，离 摄像机的焦距)和为每条边线的每一侧定义的颜色类422来确定420边线的优先级。找到424 有效交叉点，并且掩盖426运些交叉边线之间的区域，W防止其它边线穿过该区域中。
[0067] 然后，该方法提供了边线区域的合成。补片匹配方法被用于合成边线，其中按照边 线被处理的顺序来对边线进行填充（即，最近的边线优先）。在填充边线之后，对剩余的区域 进行填充。利用多分辨率捜索来加速填充过程。为了优化执行并增强结果，对补片捜索区域 施加了限制。
[0068] 图23例示430了示例性捜索过程。在该捜索中，保留关于之前的补片在哪里获得的 信息，使得该区域可W用作当前补片的可能位置。在该图中，可W看到上部位置432,从中获 得用于进行中的补片匹配区域438内的位置434的补片。对于后续的补片436,由于该信息已 被保留，因此可W再次尝试从上部位置432获得补片。
[0069] 图24A至图24C例示了捜索过程的某些重要元素。首先要注意，捜索优选地被执行 为多分辨率捜索，图24A示出了在最低分辨率的示例450，图24B示出了在中等分辨率的示例 470,图24C示出了在最高分辨率的示例490。通过在低分辨率开始捜索过程，然后当找到看 似合适的候选补片区域时上移至更高分辨率，来大幅地加快捜索。应当理解，在不受限制并 且不背离本公开的教导的情况下，运种捜索可W利用不同数量的分辨率和/或不同的分辨 率范围。在每个阶段，通过围绕之前阶段的解决方案捜索来进行修正结果。在图24A中，围绕 被填充的区域454定义捜索区域452。找到候选区域456W用于填充。在图24B中，W中等分辨 率470，针对正被填充的区域474来约束472捜索区域。最后，在图24C中，W最高（例如，原始） 分辨率，仍然维持捜索区域492,来自捜索区域492的补片被填充在当前填充位置494,并且 捜索还在该补片填充位置附近496执行。
[0070] 图25例示510 了本技术要求利用与边线起始点的颜色相似的颜色填充整个边线。 在该图中示出了示例性边线512, W及在缺失区域的边界的方框514及其相邻的补片填充 516。
[0071] 在该过程中，边线点及其延伸被标记，使得边线补片属于哪条边线是已知的。对于 每条边线的低于期望阔值(例如，5)的开始几个补片，如之前执行的那样执行匹配过程。对 于边线上的剩余补片，将缺省位置设置为起始点的匹配位置，除了目标补片周围的小捜索 区域之外，还围绕所述始点的匹配位置执行捜索。
[0072] 图26例示了被示为正在对图25中所见的对象区域进行的填充边线补片的示例性 图像530。示出了正在对被填充532的目标补片进行的修复，围绕该区域具有捜索窗口 534 (例如，到期望数量的像素、补片或其它尺寸约束）。为边线起始补片找到匹配位置536,并且 为W后的捜索保留捜索窗口 538。
[0073] 图27A至图27D绘出了边线填充550的进展。在图27A中，可W看到缺失对象区域和 环绕结构线条的抽象，其中可W看到延伸的边线552、554延伸越过对象边界556进入对象区 域内部。在图27B中，延伸的边线552、554已经用补片进行了填充。在图27帥，可W看到结构 边线填充558从右侧延伸至与边线552、554交叉。最后在图27D中，由于在该下部分中的所有 有效结构线都被延伸，因此在运些结构线条内限定的区域被填充。
[0074] 图28例示了在根据本技术对所有结构线W及其中限定的区域进行填充之后的运 些修复结果的示例性图像570。在将该图与图1比较时，可W看到，已经在适当的结构框架内 W适当的顺序修复了被瓶子遮住的结构和区域。
[0075] 图29例示了该修复过程在示例性图像590上的另一个示例，其中示例图像590示出 了桌子上的Ξ个填充玩具动物。最左边的对象(熊填充玩具动物)是要去除和填充的。
[0076] 图30A至图30D例示了掩盖掉并填充图29的图像中所见的熊对象的过程。图30A是 在熊对象上限定的对象蒙版的示例610。在图30B中，可W看到通过边线检测器生成边线地 图的示例615。在图30C中，示例性图像620示出了穿过熊对象内部的连续的结构边线。然后 在图30D中，可W看到填充穿过熊对象的边线的补片的示例625,在运之后，对剩余结构进行 填充W提供在下一张图中看到的结果。
[0077] 图31例示了在去除熊对象并执行本公开中概括的步骤之后从图29中得到的经修 复的图像的示例630。
[0078] 本技术的实施例可W参考根据本技术实施例的方法和系统的流程图示和/或算 法、公式或其它计算描写来进行描述，也可W被实现为计算机程序产品。就运点而言，流程 图的每个方框或步骤、W及流程图中方框(和/或步骤）的组合、算法、公式或计算描写可W 通过各种方式实现，诸如包括被包含在计算机可读程序代码逻辑中的一条或多条计算机程 序指令的软件和/或硬件、固件。应当理解，任何运种计算机程序指令可W被加载到计算机 上，所述计算机包括但不限于通用计算机或专用计算机或者用于制造机器的其它可编程处 理装置，使得在计算机或其它可编程处理装置上执行的计算机程序指令创建用于实现在流 程图的方框中指定的功能的单元。
[0079] 相应地，流程图的方框、算法、公式或计算描述支持用于执行指定功能的单元的组 合、用于执行指定功能的步骤的组合、W及计算机程序指令，诸如包含在计算机可读程序代 码逻辑单元中用于执行指定功能的计算机程序指令。还应当理解，本文描述的流程图示中 的每个方框、算法、公式或计算描写W及它们的组合可W由执行指定功能或步骤的基于专 用硬件的计算机系统、或者专用硬件和计算机可读程序代码逻辑单元的组合来实现。
[0080] 此外，运些计算机程序指令，诸如包含在计算机可读程序代码逻辑中的计算机程 序指令，也可W存储在计算机可读存储器中，所述计算机可读存储器可W指示计算机或其 它可编程处理装置W特定的方式工作，使得存储在计算机可读存储器中的指令产生运样一 种产品：该产品包括实现在流程图的方框中指定的功能的指令单元。该计算机程序指令还 可W加载到计算机或其它可编程处理装置上，W使一系列操作步骤在计算机或其它可编程 处理装置上执行，从而产生由计算机实现的过程，使得在计算机或其它可编程处理装置上 执行的指令提供用于实现在流程图的方框、算法、公式或计算描写中指定的功能的步骤。
[0081] 还应当理解，本文使用的"程序"是指可W被处理器执行W执行如本文所述的功能 的一条或多条指令。程序可W包含在软件、固件、或软件和固件的组合中。程序可W存储在 设备本地的非临时性介质中，或者可W远程地存储在诸如服务器上，或者程序的全部或一 部分可W本地和远程地存储。远程存储的程序可W通过用户初始化或基于一个或多个因素 而自动地下载（推送）到设备。还应当理解，如本文所使用的，术语处理器、中央处理单元 (CPU) W及计算机同义地用来表示能够执行程序并与输入/输出接口和/或外围设备通信的 设备。
[0082] 根据本文的描述，应当理解，本公开包含多个实施例，包括但不限于W下：
[0083] 1.-种用于在对象去除之后在图像修复过程中对结构进行分析和恢复的装置，包 括：（a)计算机处理器;及(b)可W在计算机处理器上执行的程序，用于分析关于所接收的图 像内的缺失对象区域的结构，W便恢复缺失对象区域内部的结构并通过执行W下步骤根据 所恢复的结构来进行缺失对象区域的修复，所述步骤包括：（b)(i)检测图像内要修复的缺 失对象区域的结构边线、延伸和交叉点；（b)(ii)决定哪些结构边线要延伸；（b)(iii)响应 于颜色和深度信息来将结构边线延伸到缺失对象区域中；（b)(iv)将结构区域合成到缺失 对象区域中；及(b)(v)合成结构区域外部的剩余缺失对象区域W完成对去除对象区域的修 复。
[0084] 2.如前面任何实施例所述的装置，其中所述可在计算机处理器上执行的程序被配 置为在针对缺失对象区域确定边界框之后检测缺失对象区域的结构边线、延伸和交叉点。
[0085] 3.如前面任何实施例所述的装置，其中所述可在计算机处理器上执行的程序被配 置为响应于在具有额外空间余地的情况下围绕缺失对象区域进行裁剪来确定所述边界框。
[0086] 4.如前面任何实施例所述的装置，其中所述可在计算机处理器上执行的程序被配 置为响应于利用用于扩展边界的预定阔值、固定数量的像素、平均图像大小的百分比、基于 图像和/或应用的变量、或者它们的组合来确定所述额外空间余地。
[0087] 5.如前面任何实施例所述的装置，其中所述结构边线是到达缺失对象区域的边 线。
[0088] 6.如任何前面实施例所述的装置，其中所述可在计算机处理器上执行的程序被配 置为决定哪些结构边线要延伸，并且基于那些结构边线的颜色和深度信息来确定所延伸的 结构边线的交叉点。
[0089] 7.如前面任何实施例所述的装置，其中所述可在计算机处理器上执行的程序被配 置为基于颜色和深度信息来决定要将结构边线延伸到缺失对象区域中的程度。
[0090] 8.如前面任何实施例所述的装置，其中所述可在计算机处理器上执行的程序被配 置为合成包括了在缺失对象区域内但在结构区域外的区域的剩余缺失对象区域。
[0091] 9.如前面任何实施例所述的装置，其中所述剩余缺失对象区域包括图像的同质区 域。
[0092] 10.如前面任何实施例所述的装置，其中所述可在计算机处理器上执行的程序被 配置为响应于W下步骤来检测图像内要修复的去除对象区域的结构边线、延伸和交叉点： (a) 确定哪些结构边线与缺失对象区域相邻，W作为与缺失对象区域的边界相交的边线； (b) 将运些结构边线归为Ξ种总的类别：（b)(i)由对象表面上的突出边线和对象边界引起 的结构边线；（b)(ii)响应于纹理图案而产生的纹理边线，该纹理边线由于短且弯曲而可W 辨别；（b)(iii)由照明中的噪声和变化引起的短边线;及(C)对于在缺失对象区域内的延伸 和相交，只考虑所述结构边线，不考虑纹理边线或噪声边线。
[0093] 11.如前面任何实施例所述的装置，其中所述可在计算机处理器上执行的程序被 配置为恢复缺失对象区域的修复区域内的结构元素。
[0094] 12.-种用于在对象去除之后在图像修复过程中对结构进行分析和恢复的装置， 包括：（a)计算机处理器;及(b)可W在计算机处理器上执行的程序，用于分析关于图像的缺 失对象区域的结构，W便恢复缺失对象区域内的结构并通过执行W下步骤根据所恢复的结 构来执行缺失对象区域的修复，所述步骤包括：（b)(i)检测图像内要修复的缺失对象区域 的结构边线、延伸和交叉点；（b)(ii)基于确定哪些结构边线与缺失对象区域相邻W作为与 缺失对象区域边界相交的边线，随后将运些结构边线归类为Ξ种总的类别，即，由对象表面 上的突出边线和对象边界引起的结构边线、响应于纹理图案而产生的纹理边线（由于短且 弯曲，从而可辨别）、W及由照明中的噪声和变化引起的短边线，对于缺失对象区域中延伸 和相交，只考虑所述的结构边线，而不考虑纹理边线或噪声边线，来决定哪些结构边线要延 伸；（b)(iii)根据颜色和深度信息将结构边线延伸到缺失对象区域中；（b)(iv)将结构区域 合成到缺失对象区域中；及(b)(v)合成结构区域外的剩余缺失对象区域W完成缺失对象区 域的修复。
[0095] 13.如前面任何实施例所述的装置，其中所述可在计算机处理器上执行的程序被 配置为在针对缺失对象区域确定边界框之后检测去除对象区域的结构边线、延伸和交叉 点。
[0096] 14.如前面任何实施例所述的装置，其中所述可在计算机处理器上执行的程序被 配置为响应于在具有额外空间余地的情况下围绕缺失对象区域进行裁剪来确定所述边界 框。
[0097] 15.如前面任何实施例所述的装置，其中所述可在计算机处理器上执行的程序被 配置为响应于预定的阔值、固定数量的像素、平均图像大小的百分比、基于图像和/或应用 的变量、或者它们的组合来确定所述额外空间余地。
[0098] 16.如前面任何实施例所述的装置，其中所述可在计算机处理器上执行的程序被 配置为决定哪些结构边线要延伸，并且基于那些结构边线的颜色和深度信息来确定所延伸 的结构边线的交叉点。
[0099] 17.如前面任何实施例所述的装置，其中所述可在计算机处理器上执行的程序被 配置为基于颜色和深度信息来决定要将结构边线延伸到缺失对象区域中的程度。
[0100] 18.如前面任何实施例所述的装置，其中所述可在计算机处理器上执行的程序被 配置为合成包括了在缺失对象区域内但在结构区域之外的区域的剩余缺失对象区域。
[0101] 19.如前面任何实施例所述的装置，其中所述可在计算机处理器上执行的程序被 配置为恢复缺失对象区域的修复区域内的结构元素。
[0102] 20.-种用于在对象去除之后在图像修复过程中对结构进行分析和恢复的方法， 包括：（a)通过电子图像处理设备检测图像内要修复的缺失对象区域的结构边线、延伸和交 叉点；（b)决定哪些结构边线要延伸，同时忽略纹理边线和噪声边线；（C)响应于利用颜色和 深度信息来将结构边线延伸到缺失对象区域中；（d)将结构区域合成到缺失对象区域中；及 (e)合成结构区域之外的剩余缺失对象区域W完成去除对象区域的修复。
[0103] 虽然本文的描述包含许多细节，但是运些不应当被理解为限制本公开内容的范 围，而应被理解为仅仅提供一些当前优选实施例的例示。因此，应当理解，本公开的范围完 全涵盖对本领域技术人员会变得显然的其它实施例。
[0104] 在权利要求中，除非明确声明，否则对单数的元素的引用并非意指"一个且只有一 个"，而是"一个或多个"。所公开实施例中已为本领域普通技术人员所知的元素的所有结构 和功能的等效都通过引用被明确地并入于此，并且意图被本权利要求涵盖。此外，无论元 素、组件或方法步骤是否在权利要求中明确阐述，本公开中的元素、组件或方法步骤都非意 在奉献给公众。本文中的权利要求元素不能被理解为是"单元加功能"的元素，除非该元素 是利用短语"用于…的单元"明确地记载的。本文中的权利要求元素不能被理解为是"步骤 加功能"的元素，除非该元素是利用短语"用于…的步骤"明确地记载的。
【主权项】
1. 一种用于在对象去除之后在图像修复过程中对结构进行分析和恢复的装置，包括： (a) 计算机处理器;及 (b) 能够在所述计算机处理器上执行的程序，用于分析关于所接收的图像内的缺失对 象区域的结构，以便恢复缺失对象区域内的结构并通过执行以下步骤根据所恢复的结构来 执行缺失对象区域的修复： (i) 针对图像内正要修复的缺失对象区域检测结构边线、延伸和交叉点； (ii) 决定哪些结构边线要延伸； (iii) 响应于颜色和深度信息来将结构边线延伸到缺失对象区域中； (i v)将结构区域合成到缺失对象区域中；及 (v)合成结构区域外部的剩余缺失对象区域以完成去除对象区域的修复。2. -种用于在对象去除之后在图像修复过程中对结构进行分析和恢复的装置，包括： (a) 计算机处理器;及 (b) 能够在计算机处理器上执行的程序，用于分析关于图像的缺失对象区域的结构，以 便恢复缺失对象区域内的结构并通过执行以下步骤根据所恢复的结构来执行缺失对象区 域的修复： (i) 针对图像内正要修复的缺失对象区域检测结构边线、延伸和交叉点； (ii) 基于以下来决定哪些结构边线要延伸：确定哪些结构边线与缺失对象区域相邻， 以作为与缺失对象区域的边界相交的边线；随后将这些结构边线分类为三种总的类别，即， 由对象表面上的突出边线和对象边界引起的结构边线、响应于纹理图案而引起的纹理边 线、以及由照明中的噪声和变化引起的短边线，其中所述纹理边线由于短且弯曲从而是能 够辨别的，其中对于缺失对象区域内的延伸和交叉点，只考虑所述结构边线，而不考虑纹理 边线或噪声边线； (iii) 响应于颜色和深度信息来将结构边线延伸到缺失对象区域中； (i v)将结构区域合成到缺失对象区域中；及 (v)合成结构区域外部的剩余缺失对象区域以完成缺失对象区域的修复。3. 如权利要求1或2所述的装置，其中所述能够在计算机处理器上执行的程序被配置为 在针对缺失对象区域确定边界框之后检测缺失对象区域的结构边线、延伸和交叉点。4. 如权利要求3所述的装置，其中所述能够在计算机处理器上执行的程序被配置为响 应于在具有额外空间余地的情况下围绕缺失对象区域进行裁剪来确定所述边界框。5. 如权利要求4所述的装置，其中所述能够在计算机处理器上执行的程序被配置为响 应于利用用于扩展边界的预定阈值、固定数量的像素、平均图像大小的百分比、基于图像或 应用的变量、或其组合来确定所述额外空间余地。6. 如权利要求1所述的装置，其中所述结构边线是到达缺失对象区域的边线。7. 如权利要求1或2所述的装置，其中所述能够在计算机处理器上执行的程序被配置为 决定哪些结构边线要延伸，并且基于这些结构边线的颜色和深度信息来确定所延伸的结构 边线的交叉点。8. 如权利要求1或2所述的装置，其中所述能够在计算机处理器上执行的程序被配置为 基于颜色和深度信息来决定要将结构边线延伸到缺失对象区域中的程度。9. 如权利要求1或2所述的装置，其中所述能够在计算机处理器上执行的程序被配置为 合成包含了在缺失对象区域内但在结构区域外的区域的剩余缺失对象区域。10. 如权利要求9所述的装置，其中所述剩余缺失对象区域包括所述图像的同质区域。11. 如权利要求1所述的装置，其中所述能够在计算机处理器上执行的程序被配置为响 应于以下操作来检测图像内正要修复的去除对象区域的结构边线、延伸和交叉点： (a) 确定哪些结构边线与缺失对象区域相邻，以作为与缺失对象区域的边界相交的边 线； (b) 将这些结构边线分类为三种总的类别： (i) 由对象表面上的突出边线和对象边界引起的结构边线； (ii) 由纹理图案引起的纹理边线，所述纹理边线由于短且弯曲从而是能够辨别的；及 (iii) 由照明中的噪声和变化引起的短边线;及 (c) 对于缺失对象区域内的延伸和交叉点，只考虑所述结构边线，而不考虑纹理边线或 噪声边线。12. 如权利要求1或2所述的装置，其中所述能够在计算机处理器上执行的程序被配置 为恢复缺失对象区域的修复区域内的结构元素。13. -种用于在对象去除之后在图像修复过程中对结构进行分析和恢复的方法，包括： (a) 通过电子图像处理设备检测图像内正要修复的缺失对象区域的结构边线、延伸和 交叉点； (b) 决定哪些结构边线要延伸，同时忽略纹理边线和噪声边线； (c) 响应于利用颜色和深度信息，来将结构边线延伸到缺失对象区域中； (d) 将结构区域合成到缺失对象区域中；及 (e) 合成结构区域外部的剩余缺失对象区域以完成去除对象区域的修复。14. 如权利要求13所述的方法，其中所述方法还包括在针对缺失对象区域确定边界框 之后检测缺失对象区域的结构边线、延伸和交叉点。15. 如权利要求14所述的方法，其中所述方法还包括响应于在具有额外空间余地的情 况下围绕缺失对象区域进行裁剪来确定所述边界框。16. 如权利要求15所述的方法，其中所述方法还包括响应于利用用于扩展边界的预定 阈值、固定数量的像素、平均图像大小的百分比、基于图像或应用的变量、或其组合来确定 所述额外空间余地。17. 如权利要求13所述的方法，其中所述结构边线是到达缺失对象区域的边线。18. 如权利要求13所述的方法，其中所述方法还包括决定哪些结构边线要延伸，并且基 于这些结构边线的颜色和深度信息来确定所延伸的结构边线的交叉点。19. 如权利要求13所述的方法，其中所述方法还包括基于颜色和深度信息来决定要将 结构边线延伸到缺失对象区域中的程度。20. 如权利要求13所述的方法，其中所述方法还包括合成包含了在缺失对象区域内但 在结构区域外的区域的剩余缺失对象区域。21. 如权利要求20所述的方法，其中所述剩余缺失对象区域包括所述图像的同质区域。22. 如权利要求13所述的方法，其中所述方法还包括响应于以下操作来检测图像内正 要修复的去除对象区域的结构边线、延伸和交叉点： (a)确定哪些结构边线与缺失对象区域相邻，以作为与缺失对象区域的边界相交的边 线； (b) 将这些结构边线分类为三种总的类别： (i) 由对象表面上的突出边线和对象边界引起的结构边线； (ii) 由纹理图案引起的纹理边线，所述纹理边线由于短且弯曲从而是能够辨别的；及 (iii) 由照明中的噪声和变化引起的短边线;及 (c) 对于缺失对象区域内的延伸和交叉点，只考虑所述结构边线，而不考虑纹理边线或 噪声边线。23.如权利要求13所述的方法，其中所述方法还包括恢复缺失对象区域的修复区域内 的结构元素。
【文档编号】G06T5/00GK105825478SQ201610011410
【公开日】2016年8月3日
【申请日】2016年1月8日
【发明人】G·阿布杜拉希安, M·格哈拉维-阿尔克汉萨利
【申请人】索尼公司