利用深度恢复图像中的缺失信息的设备、系统和方法
【专利说明】利用深度恢复图像中的缺失信息的设备、系统和方法
[0001]相关申请的交叉引用
[0002]不适用。
[0003]关于联邦支助研发的声明
[0004]不适用。
[0005]计算机程序附录的引用包含
[0006]不适用。
[0007]受版权保护的材料的通知
[0008]本专利文献中的一部分材料受美国及其他国家的版权法的版权保护。版权所有人不反对任何人影印再现专利文献或专利公开，因为专利文献或专利公开出现在可公开获得的美国专利商标局文件或档案中，不过保留其它方面的所有版权。版权所有人从而不放弃使本专利文献维持保密状态的任何权利，包括但不限于依照37 C.F.R.§1.14的权利。
技术领域
[0009]本公开一般地涉及图像修复，更具体地，涉及当进行图像帧修复时，利用深度信息恢复缺失的信息。这里，深度信息指的是场景中的点离拍摄图像的照相机的距离，或者当沿着照相机的光轴测量时，它们离所述照相机的距离。
【背景技术】
[0010]图像修复的处理涉及重构被破坏或者有意去除的图像帧或视频帧的缺失部分。如果在图像内拍摄的对象被删除或移动，那么必须重构原始图像中被所述对象遮盖(隐藏)的区域，以便作为结果的图像仍然看起来“自然”。即，理想的是如果观看者没有看过原始图像，那么他们理应不能注意到图像已因去除或移动对象而被改变。
[0011]文献中记载了许多目前的修复技术。通常，这些方法可被分类成以下类别:(a)基于扩散的方法，(b)图像的稀疏表示，和(C)基于模型的方法。
[0012]当修复处理涉及无复杂结构的同类区域和/或小区域时，这些方法通常能够产生适当的输出。不过，在涉及具有多个被挡住的区域和结构的较大缺失区域的景象中，这些技术在作为结果的图像中留下明显的伪像，尤其是在边缘和结构化区域中。
[0013]因而，需要即使对于包括结构的较大被修复区域，也能够产生合意结果的修复重构技术。
【发明内容】
[0014]本公开提供修复设备和方法，所述修复设备和方法为修复提供在各种大小和程度的不均匀性范围内的看起来自然的结果。易于认识到，一些现有的修复方法基本上可处理极小区域或者可用均匀填充充填的区域的填充。当对象较大(例如，大于帧高度和/或宽度的约5-10%)时，出现更大的挑战，当对象被几个不同的区域和相交的结构(线条、平面和其它结构)围绕时，会使挑战进一步复杂化。在后一情况下，很难解析缺失、被去除或者被移动的结构或区域，以致重构的图像具有看起来自然的外观，同时跨越任何修复等仍然邻接的所有结构被适当地表现。应明白修复结果中的多数明显的伪像出现在边缘或区域边界周围。在很大程度上，当穿过被去除对象的区域重构与所述被去除对象相邻的结构，并且修复处理未留下任何明显的伪像时，景象看起来“自然”。提出的技术在进行修复时，利用深度信息，以便克服以前的方法的许多不足之处。
[0015]修复设备和技术用在许多应用领域，以下是作为例子给出的，而不是限制性的:(a)用于重构扫描的照片或老照片中的缺失部分。用于去除覆盖在图像或视频帧上的文本或标志；(b)用于从图像或视频中去除或移动不希望有的对象；(C)用于恢复图像编码和传输中的缺失块；(d)用于解决立体成像中的去遮挡问题，从而响应来自其附近的插值，恢复数字图像中的被遮挡区域；(e)用于产生各种3D效果，其中静态照片中的一个或多个对象被提取到图像的前景和生成的运动视频片段中；和(f)用于图像和视频帧的缩放和超分辨率。本领域的普通技术人员会认识到，这里介绍的技术也可用于另外的应用，以及它们的组合。
[0016]在说明书的以下部分中，将说明本技术的其它方面，其中详细的说明是用于充分公开本技术的优选实施例，而不是对其加以限制。
【附图说明】
[0017]参考以下附图，将更充分地理解本说明，附图只是用于举例说明的目的:
[0018]图1是举例用于进行按照本技术的实施例的修复的图像。
[0019]图2是在去除对象之后的图1中的图像的修剪版，箭头指示在对象的边缘相互作用的各种表面结构。
[0020]图3是表示用于按照本技术的实施例的修复的准备的已去除对象中的结构描绘和扩展的图像。
[0021 ]图4是按照本技术的实施例的修复的流程图。
[0022]图5是在不利用深度来确定修复顺序的情况下，从图1的原始图像修复被去除对象的图像。
[0023]图6是按照本技术的实施例，利用深度确定修复顺序，从图1的原始图像修复被去除对象的图像。
【具体实施方式】
[0024]响应涉及识别相邻结构的存在并利用深度信息设定这些结构的填充顺序的优先级的处理，进行修复。结构区域被按次序填充，随后填充剩余(均匀)区域，从而产生修复的图像。
[0025]图1描述例证图像(或视频帧)10，表示其中作为对象12的瓶子被去除，并利用修复方法填充的区域14。
[0026]图2描述围绕对象12的区域的特写镜头部分14’，对象12已被去除，从而留下对象12的黑色剪影(S卩，作为均匀填充以黑色的剪切块或外形图画的对象轮廓的二维表示)。图中，在对象边界可看到许多表面结构16。出现修复处理如何可自动确定这些表面中的哪些表面扩展到缺失区域(即，剪影)内，这些表面应被扩展多远，和如何处理结构之间的相互作用(即，相交)的问题。如果与有关结构相关的填充顺序未知，那么在修复期间，会出现许多问题。响应这些问题，出现各种形式的伪像。
[0027]图3图解说明应如何使附近的结构线穿过缺失的对象区域32的理想例子30。本技术中，利用深度信息确保适当的填充顺序。在至少一个实施例中，利用景象的深度图。本领域的普通技术人员会意识到许多技术可用于获得关于图像的不同部分的深度的信息，所述许多技术中的任意一种技术可以无限制地和公开的修复设备和方法一起使用。例如(但不限于)，响应利用比如在自动聚焦处理中获得的两画面模糊匹配，可以获得深度。
[0028]修复设备和方法首先扩展更靠近照相机的要素/结构，因为较近的对象会遮蔽较远的对象，但是反过来则不成立。从而，检测结构，并根据各个结构的深度值，向各个结构分配优先级，更靠近照相机的要素/结构获得更高的优先级。
[0029]图4图解说明图像修复的例证实施例50。获得图像，从中去除对象或区域(缺失或者被移动到不同的位置)，从而留下具有缺失像素的图像52。进行结构分析54，同时根据离照相机光圈的深度，确定填充的顺序。随后响应深度，按优先级顺序，填充各个结构区域56。随后对于剩余的区域，进行填充58。在填充之后，输出修复的图像60。
[0030]应理解上面说明的用于进行修复的图像处理可在各种设备上实现，所述各种设备包括可编程控制电路62，可编程控制电路62具有一个或多个计算机处理器64(例如，CPU、微处理器、微控制器、计算机支持的ASIC等)和相关的存储器66(例如，RAM、DRAM、NVRAM、闪存、计算机可读介质等)，从而保存在存储器中并且可在处理器上执行的程序进行这里说明的方法的各个步骤。就存储器和计算机可读介质来说，提出的技术无限制，只要这些存储器和计算机可读介质是非临时性的，从而不构成短暂的电子信号。
[0031]应理解可以响应能够在许多设备，包括(但不限于)蜂窝电话机、数字照相机、平板计算机、膝上型计算机、个人计算机和其它装备处理器的电子设备上执行的软件(程序)，进行这里说明的修复方法。程序可以在制造设备时驻留在设备上，或者可在以后安装在这些设备上，没有限制。
[0032]图5描述在去除水瓶对象，并在不受益于深度映射的情况下进行修复处理之后的图1的原始图像70。
[0033]图6描述在去除水瓶对象并进行利用本公开的深度映射、结构分析和区分优先顺序的修复的修复处理之后的图1的原始图像90。
[0034]可参考按照本发明的实施例的方法和系统的流程图图解，和/或也可被实现成计算机程序产品的算法、公式或其它计算描述，说明本发明的实施例。在这方面，流程图的各个方框或步骤，和流程图、算法、公式或计算描述中的方框(和/或步骤)的组