自适应深度引导非真实感呈现方法及设备与流程

本公开属于图像处理领域，并且涉及用于呈现场景的非真实感表示的技术。更准确地说，本公开涉及用于呈现非真实感内容的技术，考虑到与场景相关联的深度图像。本公开的技术可以特别而非排他地应用到通过光场数据采集设备获得的光场内容。

背景技术：

本部分意在向读者介绍可能与下面描述和/或要求保护的本公开的各方面有关的技术的各方面。相信该讨论有助于向读者提供背景信息以便于更好地理解本发明的各方面。因此，应当理解的是，要在该角度阅读这些陈述，而不是作为对现有技术的承认。

非真实感呈现是传统真实感计算机图形学的替选。通过采用艺术家周知的抽象原理，非真实感呈现包括根据诸如着色、绘画、技术插图等的各种艺术风格呈现内容(图像或视频)。目标可以从纯粹的艺术目的变为图像简化，以使得其有意义的结构清晰。

很多非真实感呈现技术(诸如存在于创建场景的卡通风格图像抽象的呈现技术)依赖于必须在场景的真实表示上(如照片或3d模型)执行的至少两个主要操作：区域平坦化和线条画。

区域平坦化包括例如使用诸如颜色之类的图像属性，通过移除非必要的细节同时保留有意义的视觉信息来简化图像内容。

线条画包括提取简洁而美观地描述场景内容的一致的一组线。

非真实感呈现的问题取决于它是基于场景的3d模型还是2d表示而非常不同。当从3d模型呈现2d非真实感内容时，可以例如从遮挡轮廓或折痕导出线条画。当从场景的2d表示呈现2d非真实感内容时(技术通常称作“基于图像的非真实感呈现”，例如基于照片)，没有可靠的方法来访问场景内的对象的3d形状。因而必须从图像本身提取所有有意义的线和区域。基于图像的非真实感呈现的大多现有技术依赖于边缘检测和/或分割方法，这是图像抽象的常用方法。例如，可以通过使用均值移位算法来执行分割。对于提取有意义的线，高斯差分滤波器或增强相关技术(诸如流引导高斯差分(其显著提高线一致性同时抑制噪声))已被证明对艺术插图特别有效。

然而，对于基于图像的非真实感呈现的现有解决方案仍然存在很多限制。

例如，很多照片包括边缘检测和分割算法执行不佳的失焦区域：它们在这些区域中较不精确且较不鲁棒。因此，线条画和区域平坦化边界在所呈现的非真实感内容的对应区域是不规则和不一致的，这可能导致不愉快或分散注意力。

传统的非真实感呈现技术的另一个缺点是以相同的方式处理整个图像，因而非真实感效果在整个所得到的非真实感内容上是不变的。在“stylizationandabstractionofphotographs”中，德卡罗(decarlo)等人提出一种用于从照片呈现非真实感内容的技术，其中预测为有意义的图像的区域以比其他区域更精细的尺度被处理。然而，该技术没有考虑图像本身的组成(在前景、背景等方面)以针对图像的相关(coherent)部分(诸如场景内的识别对象)使非真实感效果适应。此外，它没有解决已提及的失焦区域中的分割和边缘提取问题。

因此，期望提供一种将避免现有技术的至少一个缺点的用于内容的非真实感呈现的技术。为了简单起见，在整个描述中，用于内容的非真实感呈现的技术被简称为用于呈现非真实感内容的方法，尽管其解决内容的非真实感呈现。

技术实现要素：

根据本公开的实施例，提供了一种用于从相同场景的至少一个图像的集合呈现非真实感内容的方法。至少一个图像的集合与包括区域的集合的深度图像相关联，所述区域的集合中的每个区域与给定深度的区域相对应。这样的方法包括：

-生成分割图像，所述分割图像包括利用多个分割尺度中的给定分割尺度生成的至少一个分割区域，所述至少一个分割区域与所述区域的集合中的至少一个区域相对应；

-生成二进制边缘图像，所述二进制边缘图像包括利用多个边缘提取尺度中的给定边缘提取尺度生成的至少一个二进制边缘区域，所述至少一个二进制边缘区域与所述区域的集合中的至少一个区域相对应；

-通过将所述分割图像和所述二进制边缘图像组合来呈现所述非真实感内容。

因此，本公开依赖于一种用于呈现非真实感内容的不同方法：不以相同的方式处理场景的整个图像表示，并且可以呈现非真实感内容，其中关于在与场景相关联的深度图像中可用的深度信息，非真实感效果在图像上变化。利用所提出的技术，(例如经由颜色分割获得的)区域平坦化和(经由边缘提取获得的)线条画可以彼此独立地在图像上变化。

根据实施例，从所述区域的集合中的至少一个区域来确定分割尺度。

以该方式，应用以对区域进行分割的分割尺度随着与该区域相关联的深度而变化。

根据实施例，给定分割区域与所述区域的集合中的给定区域相对应，并且应用到所述给定分割区域的分割尺度随着与所述给定分割区域相对应的所述区域的集合中的所述给定区域的深度和第一参考深度之间的差而变化。

以该方式，关于第一参考深度，分割尺度根据图像的每个部分的散焦度而变化。

根据实施例，从所述区域的集合中的至少一个区域来确定边缘提取尺度。

以该方式，应用以获得二进制边缘区域的边缘提取尺度随着与该区域相关联的深度而变化。

根据实施例，给定二进制边缘区域与所述区域的集合中的给定区域相对应，并且其中应用到所述给定二进制边缘区域的边缘提取尺度随着与所述二进制边缘区域相对应的所述区域的集合中的所述给定区域的深度和第二参考深度之间的差而变化。

以该方式，关于第二参考深度，边缘提取尺度根据图像的每个部分的散焦度而变化。

根据本公开的另一实施例，从分层图像表示来确定分割区域，通过从相同场景的所述至少一个图像的集合导出的全对焦图像(aif)的分层分割来获得所述分层图像表示。

因此，由于对全对焦图像(其具有扩展的景深)执行分层分割处理，所以分割处理在图像中的各处良好地执行。有利地，该分层分割执行一次，独立于之后可以获得的第一参考深度。换言之，在预处理阶段期间，分层图像表示例如从全对焦图像被预计算一次，然后用于呈现新的非真实感内容，无论何时为给定场景获得新的第一参考深度。以该方式，呈现新的非真实感内容所需要的计算力和时间从而得以优化。全对焦图像的分层分割例如采用树表示的形式，并且例如通过在树表示的给定级别处从分割的全对焦图像提取对应的分割区域来获得分割区域，所述级别与所述分割区域的期望分割尺度相对应。

根据本公开的另一实施例，从加权边缘表示来确定二进制边缘区域，通过从相同场景的所述至少一个图像的集合导出的全对焦图像的边缘提取来获得所述加权边缘表示。

因此，由于对全对焦图像(其具有扩展的景深)执行边缘提取处理，所以边缘提取处理在图像中的各处良好地执行。有利地，该边缘提取处理仅执行一次，独立于之后可以获得的第二参考深度。换言之，在预处理阶段期间，加权边缘表示例如从全对焦图像被预计算一次，然后用于呈现新的非真实感内容，无论何时为给定场景获得新的第二参考深度。以该方式，呈现新的非真实感内容所需要的计算力和时间从而得以优化。加权边缘表示是应用到全对焦图像的边缘提取处理(诸如例如高斯差分滤波技术)的结果，并且采用2d表示的形式，其中对每个所提取的边缘像素进行估值。然后例如通过提取全对焦的图像的加权边缘表示中的对应区域来获得二进制边缘区域，并且通过使用阈值以在所述二进制边缘区域内保持较多或较少的边缘，所述阈值与所述二进制边缘区域的期望边缘提取尺度相对应。

根据实施例，分割尺度的粒度级别随着分割区域深度和所述第一参考深度之间的差的减少而增加。

以该方式，例如在与第一参考深度相对应的感兴趣区域中显示更多细节。

根据实施例，边缘提取尺度的粒度级别随着二进制边缘区域深度和所述第二参考深度之间的差的减少而增加。

以该方式，例如在与第二参考深度相对应的感兴趣区域中显示更多细节。

根据实施例，通过视线跟踪分析来自动获得所述第一参考深度。

以该方式，提供手动选择第一参考深度的替选，并且第一参考深度与自动获得的场景的吸引眼球的区域相对应。

根据实施例，通过视线跟踪分析来自动获得所述第二参考深度。

以该方式，提供手动选择第二参考深度的替选，并且第二参考深度与自动获得的场景的吸引眼球的区域相对应。

在一个实施例中，第一和第二参考深度是同一个参考深度。

根据实施例，从通过光场数据采集设备递送的光场内容来导出相同场景的所述至少一个图像的集合。

以该方式，提供了一种对多条数据的容易的访问，该多条数据用于实现根据本公开的一个实施例的非真实感内容呈现方法，因为这些多条数据(相同场景的图像的集合、全对焦图像和深度图像)是众所周知的光场数据采集设备输出。

本公开还关于一种用于从相同场景的至少一个图像的集合呈现非真实感内容的设备。图像的集合与包括区域的集合的深度图像相关联，所述区域的集合中的每个区域与给定深度的区域相对应。这样的设备包括：

-用于生成分割图像的模块，所述分割图像包括利用多个分割尺度中的给定分割尺度生成的至少一个分割区域，所述至少一个分割区域与所述区域的集合中的至少一个区域相对应；

-用于生成二进制边缘图像的模块，所述二进制边缘图像包括利用多个边缘提取尺度中的给定边缘提取尺度生成的至少一个二进制边缘区域，所述至少一个二进制边缘区域与所述区域的集合中的至少一个区域相对应；

-用于通过将所述分割图像和所述二进制边缘图像组合来呈现所述非真实感内容的模块。

本公开还关于一种可从通信网络下载和/或记录在计算机可读的介质上和/或可由处理器执行的计算机程序产品，包括用于实现上述方法的程序代码指令。

本公开还关于一种非临时性计算机可读介质，其包括记录在其上并且能够由处理器运行的计算机程序产品，包括用于实现上述方法的程序代码指令。

这样的计算机程序可以存储在计算机可读存储介质上。在此使用的计算机可读存储介质被认为是非临时性存储介质，其具有在其中存储信息的固有能力以及从其提供信息取回的固有能力。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、装置、或设备，或前述的任何适当组合。应当理解的是，在提供可以应用本原理的计算机可读存储介质的更具体的示例时，以下仅仅是本领域普通技术人员容易理解的说明性而不详尽的列表：便携式计算机磁盘；硬盘；只读存储器(rom)；可擦除可编程只读存储器(eprom或闪速存储器)；便携式压缩盘只读存储器(cd-rom)；光学存储设备；磁性存储设备；或前述的任何适当组合。

要理解的是，前述一般描述和以下详细描述都是示例性和解释性的，并不限制所要求保护的本发明。

还必须理解的是，说明书中对“一个实施例”或“实施例”的引用表示所描述的实施例可以包括特定特征、结构、或特性，但是每个实施例可以不一定包括特定特征、结构、或特性。此外，这样的短语不一定指代相同的实施例。另外，当特定特征、结构、或特性结合实施例被描述时，认为在本领域技术人员的认知范围内，结合其他实施例影响这样的特征、结构或特征，无论是否明确描述。

附图说明

参考以示例而非限制保护范围的方式给出的以下描述和附图可以更好地理解本公开的实施例，并且附图中：

-图1示出了与3d场景的2d表示相关联的深度图像的示例；

-图2是用于图示根据本公开的实施例的用于呈现非真实感内容的所提出的技术的一般原理的流程图；

-图3是用于说明根据本公开的实施例的用于呈现非真实感内容的处理的流程图；

-图4是描述根据本公开的实施例的预处理阶段的流程图，执行该预处理阶段以生成对于呈现非真实感内容有用的多条数据；

-图5是图示根据本公开的实施例的用于呈现非真实感内容的装置的示例的示意性块图。

附图中的组件不一定是按比例的，而是将重点放在说明本发明的原理上。

具体实施方式

本公开的一般原理依赖于用于从相同场景的至少一个图像的集合呈现非真实感内容的特有技术。如关于现有技术已经提出的那样，非真实感呈现包括创建图像抽象(诸如卡通风格图像抽象)，其通常主要依赖于两个任务：区域平坦化和线条画。如之后参考附图更加全面地描述的那样，本公开中提出使用在与场景的至少一个图像的集合相关联的深度图像中可用的深度信息以增强基于图像的非真实感呈现(npr)。

然而，本公开可以以很多替代形式实施，并且不应被解释为限制在此阐述的实施例。因此，虽然本公开易于各种修改和替选形式，但是其特定实施例在附图中以示例的方式示出，并且将在此详细描述。然而应当理解的是，没有意图将本公开限制到所公开的特定形式，而是相反，本公开将覆盖落入由权利要求书所限定的本公开的精神和范围内的所有的修改、等同物以及替选。在整个附图的描述中，相同的数字指代相同的元素。

还将理解的是，虽然术语第一、第二等可以在此用于描述各种元素，但是这些元素不应受限于这些术语。这些术语仅仅用于将一个元素与另一个元素区分。例如，第一元素可以被称为第二元素，并且类似地，第二元素可以被称为第一元素，而不会背离本公开的教导。

虽然没有明确描述，但是本实施例和变型可以以任何组合或子组合使用。

如上面所介绍的那样，所提出的技术依赖于使用与场景的图像集合相关联的深度图像以呈现感兴趣的非真实感内容。不应该在狭义上解释术语深度图像，其有时在文献中被称作深度数据或深度地图。深度图像例如为3d场景的2d表示(即图像)，其中每个像素与深度或视差信息相关联。这样的信息表示场景的对象与参考点(其例如为用于捕获场景表示的捕获系统的位置，或者场景中的另一对象的位置)的距离。换句话说，深度图像包括表示所捕获的场景中的对象之间的距离的深度信息，其可以被存储为任何格式的数字文件或表格。它也可以通过任何其他手段来计算或采集。图1示出了与场景的2d表示(100)相关联的深度图像(101)的示例。在该示例中，深度图像(101)的每个像素与以灰度编码的深度信息相关联(每个像素的光强度例如以16位灰度编码)。当然，图1的示例仅仅是说明性的，并且深度图像可以采用其他形式。然而，无论采用何种形式，深度图像可以被看作区域的组合体，即区域集合，所述区域集合的每个区域对应于给定深度的区域。

根据所提出的技术，深度图像允许将场景的2d表示(即图像)划分成另一区域集合，所述另一区域集合的每个区域对应于给定深度的区域，或者对应于深度图像中的不同给定深度的多个区域的联合。本公开的一般原理包括以不同尺度处理所述另一区域集合的区域，以最终重建非真实感内容，其中非真实感效果在图像上变化。

在本公开的一个实施例中，所提出的技术依赖于三个主要步骤，如关于图2所示的那样：

-第一步骤21，用于生成场景的分割图像，其由分割区域集合的组合体形成，每个分割区域以分割尺度被分割，该分割尺度可以与应用到所述分割区域集合的另一区域的分割尺度不同；

-第二步骤22，用于生成场景的二进制边缘图像，其由二进制边缘区域集合的组合体形成，每个二进制边缘区域以边缘提取尺度被处理，该边缘提取尺度可以与应用到所述二进制边缘区域集合的另一区域的边缘提取尺度不同；

-第三步骤23，用于通过将在第一步骤21生成的分割图像和在第二步骤22生成的二进制边缘图像组合，来呈现表示场景的非真实感内容。

包括在分割区域集合(在步骤21处)中或二进制边缘区域集合(在步骤22处)中的区域对应于给定深度的区域，或者对应于深度图像中的不同给定深度的多个区域的联合。

在步骤21处提及的分割技术可以是任何类型的图像分割技术，诸如基于颜色的分割技术或基于纹理的分割技术(即使在前文中，关于基于颜色的分割技术来描述示例性实施例)。

第一和第二步骤(21，22)可以并行处理，或者一个接一个地处理，无论顺序如何。

通过在步骤23处将分割图像和二进制边缘图像组合，在这里意味着将在步骤22处生成的二进制边缘图像的边缘叠加到在步骤21处生成的分割图像上。

因此本公开描述了原始的非真实感呈现技术，其中不以相同的方式处理场景的整个图像。如将在下面提出的那样，关于本公开的多个其他实施例，所提出的技术是非常灵活的，并且归功于使用深度信息而提供很多非真实感效果可能性，同时在所生成的非真实感内容的图像组成方面保持显著程度的一致性。

图3是用于说明根据本公开的实施例的用于呈现非真实感内容的处理的流程图。可使用相同场景的至少一个图像的集合(si)。包括在图像集合(si)中的图像对应于从同一视角看到的场景的2d表示。它们例如从光场内容导出，该光场内容由用于捕获场景的光场数据采集设备来递送。替选地，它们对应于场景的一系列2d图像，每个2d图像是通过使用传统手持照相机从同一视点但是以不同聚焦距离拍摄的。它们也可以是利用计算机生成图像(cdi)模拟的场景图像。

也可使用与图像集合(si)相关联的深度图像。可以通过任何手段获得该深度图像。例如，其可以从由用于捕获场景的光场数据采集设备递送的光场内容来计算或者从通过使用传统照相机在不同视点拍摄的场景的多个图像来计算。

除了深度图像之外，图3的特定实施例涉及使用两条附加的数据以执行非真实感内容的呈现。这两条数据一方面是分层图像表示(其之后将用于生成场景的深度引导的分割图像)，并且另一方面是加权边缘表示(其之后将用于生成场景的深度引导的二进制边缘图像)。

在一个实施例中，例如在预处理阶段，在呈现非真实感内容之前，预先生成这两条数据，如关于图4所示的那样。在该预处理阶段期间，对场景的图像表示执行分层分割步骤41和边缘提取步骤42。对其应用该预处理阶段的图像可以是图像集合(si)的任何图像。根据优选的实施例，其为在该图像集合(si)之中选择的特定图像，或者从该图像集合(si)计算的特定图像，如将在下面进一步描述的那样。在一个实施例中，该预处理阶段还提供生成深度图像的机会，该深度图像之后将用于执行非真实感内容的呈现。

在步骤41，从场景图像生成分层图像表示。这样的表示采用整个场景的分割图像的有序集合的形式，每个分割图像具有与其他不同的分割尺度。允许获得这样的分层图像的很多多尺度分割算法存在于视觉领域中，因此不在这里详细描述该技术。例如，关于现有技术已经引用的“stylizationandabstractionofphotographs”[德卡罗(decarlo)，2002]论文提出了一种基于颜色分割获得分层图像表示的合适技术。该分层图像表示可以像树那样表示，如图4中所示(图4的树图是从“stylizationandabstractionofphotographs”论文中提取的)。一旦生成该分层图像表示，就可以以任何可用的给定尺度获得分割图像：取决于树的级别，因此可以获得包含很多区域(以较细尺度)或者相反的少数区域(以较粗尺度)的颜色分割图像。

在步骤42，生成场景的加权边缘表示。加权边缘表示是应用到场景图像的边缘提取处理(诸如例如高斯差分或流引导的高斯差分滤波器技术)的结果，并且采用2d表示的形式，其中对每个所提取的边缘像素进行估值。因为对加权边缘表示的边缘像素进行估值，所以可以对该表示设阈值以根据阈值获得包含较多或较少的边缘的场景的二进制边缘图像。在某种程度上，该阈值因此可以被认为是边缘提取尺度，允许获得包含很多边缘(如果所述阈值较低)或者相反的少数边缘(如果所述阈值较高)的二进制边缘图像。

在一个实施例中，对场景的图像集合(si)之中的任何图像执行步骤41的分层分割处理和步骤42的边缘提取处理。然而，在优选实施例中，当在图像集合(si)中多于一个图像可用时，对人们知道将得到好结果的图像执行分层分割和边缘提取处理是特别感兴趣的。这例如通过在图像集合(si)中(手动或自动)识别“聚焦最佳”的图像(即具有最佳景深的图像)来完成。在一些实施例中，也可以从图像集合(si)计算这样的图像。例如，如果从光场内容导出图像集合(si)，则可以计算所有像素都对焦的全对焦图像(aif)，无论其深度如何。由于这样的全对焦图像具有扩展的景深，所以分割和边缘提取算法在各处良好地执行。因此，所得到的分层图像表示和加权边缘表示的精度得以改善，这表现呈现非真实感内容的益处，如将在下面描述的那样。

返回参考图3，根据本公开的特定实施例，现在说明使用深度图像、分层图像表示和加权边缘表示来呈现非真实感内容。

如先前已经介绍的那样，根据所提出的技术的一般原理的非真实感呈现包括将场景的分割图像和二进制图像组合，以特定方式关于与场景相关联的深度图像生成所述分割图像和所述二进制边缘图像。

在步骤33，使用深度图像和分层图像表示来生成场景的颜色分割图像，其中分割尺度在图像上变化。由于在关于图4描述的预处理阶段期间已经完成以不同分割尺度对整个图像的分割，并且在分层图像表示中可用，所以步骤33可以被看作深度引导的分割尺度选择而不是纯分割的步骤。

现在详细描述在步骤33处执行的机制。

对于与深度图像中的给定深度的区域相对应的每个区域，在分层图像表示树中根据预定义的映射来选择与该给定深度相关联的级别。该级别表示特定分割尺度，并且整个场景的相关联的分割图像在分层图像表示中可用。使用深度图像，从而可以从整个场景的该分割割图像中提取与深度图像中的所考虑的深度的区域相对应的分割区域。

重复该操作以为存在于深度图像中的给定深度的每个区域取回分割区域。

一旦已经取回与存在于深度图像中的所有区域相对应的所有分割区域，则可以通过像拼图一样将所有分割区域放回一起来重建整个场景的分割图像。由于以不同尺度对所有分割区域进行分割，所以步骤33的处理导致生成整个场景的分割图像，其中分割尺度在图像上变化。

深度和对于具有该深度的区域的在分层图像表示中选择的分割尺度之间的映射可以是任何预定义的函数。

在本公开的一个实施例中，例如取决于深度图像中可用的深度级别的数目，该映射是自适应的。例如，以分层图像表示中可用的较细分割尺度来处理与场景的前景相对应的区域，而以分层图像表示中可用的较粗分割尺度来处理与场景的背景相对应的区域。然后以分层图像表示中可用的中间分割尺度来处理所有中间深度。先前的示例当然是非限制性的，并且可以提出其他自适应映射，如下面所示。

在本公开的另一实施例中，在可选步骤31，在步骤33的深度引导分割尺度选择之前，获得第一参考深度。然后执行深度引导分割尺度选择，使得对于图像的相同深度区域所选择的分割尺度随着所述区域深度和所述第一参考深度之间的差而变化。换言之，根据该实施例，关于第一参考深度，分割尺度根据图像的每个部分的一种散焦度而变化。在变型中，例如通过允许用户通过使用输入设备和图形用户界面在显示在屏幕上的场景图像(例如图像集合(si)中的图像)中选择特别感兴趣的区域，来手动获得该第一参考深度。替选地，例如归功于允许在图像中检测特别感兴趣的区域的视线跟踪技术，来自动获得第一参考深度。在该实施例的特定实现中，分割尺度的粒度级别随着分割区域深度和所述第一参考深度之间的差的减小而增加。在具有第一参考深度的区域内，在分层图像表示中可用的较细分割尺度例如是所选的一个。例如，根据第一参考深度，对具有最大深度差的区域选择分层图像表示中可用的较粗分割尺度。

关于边缘提取，在步骤34处执行与刚刚描述的处理非常类似的处理。在步骤34，使用深度图像和加权边缘表示来生成场景的二进制边缘图像，其中边缘提取尺度在图像上变化。由于整个图像的边缘提取在参考图4所描述的预处理级阶段期间已经完成，导致生成加权边缘表示，其中每个检测到的边缘与表示其在场景中的重要性(如其梯度)的值相关联，所以步骤34可以被看作深度引导边缘提取尺度选择，而不是纯边缘提取步骤。

现在详细描述在步骤34处实现的机制。

对于与深度图像中的给定深度区域相对应的每个区域，根据预定义的映射来选择与该给定深度相关联的阈值。然后该阈值用于给加权边缘表示设阈值，使得获得整个场景的二进制边缘图像，其包含较多(低阈值)或较少(高阈值)的边缘。因此，该阈值表示特定边缘提取尺度。使用深度图像，则可以从整个场景的该二进制边缘图像提取与深度图像中的所考虑的深度的区域相对应的二进制边缘区域。

重复该操作以为存在于深度图像中的给定深度的每个区域取回二进制边缘区域。

一旦已经取回与存在于深度图像中的所有区域相对应的二进制边缘区域，则可以通过像拼图一样将所有二进制边缘区域放回一起来重建整个场景的二进制边缘。由于所有二进制边缘区域具有不同的边缘提取尺度，所以步骤34的处理导致生成整个场景的二进制边缘图像，其中边缘提取尺度在图像上化。

深度和对于具有该给定深度的区域的应用到加权边缘表示的边缘提取尺度之间的映射可以是任何预定义的函数。

在本公开的一个实施例中，取决于深度图像中可用的深度级别的数目，该映射是自适应的。例如，以非常低的阈值(hmin)来处理与场景的前景相对应的区域，而以非常高的阈值(hmax)来处理与场景的背景相对应的区域。然后以中间边缘提取尺度，即在hmin和hmax之间的阈值，来处理所有的中间深度。先前的示例当然是非限制性的，并且可以提出其他自适应映射，如下面所示。

在本公开的另一实施例中，在可选步骤32，在步骤34的深度引导边缘提取尺度选择之前，获得第二参考深度。然后执行深度引导边缘提取尺度选择，使得对于图像的相同深度区域所选择的边缘提取尺度随着所述区域深度和所述第二参考深度的差而变化。换言之，根据该实施例，关于第二参考深度，边缘提取尺度根据图像的每个部分的一种散焦度而变化。例如通过允许用户通过使用输入设备和图形用户界面在显示在屏幕上的场景图像(例如图像集合(si)中的图像)中选择特别感兴趣的区域，来手动获得该第二参考深度。替选地，例如归功于允许在图像中检测特别感兴趣的区域的视线跟踪技术，其也可以自动完成。在该实施例的特定实现中，边缘提取尺度的粒度级别随着二进制边缘区域深度和所述第二参考深度之间的差的减小而增加。例如，在具有第二参考深度的区域内，当呈现非真实感内容(通过使用非常低的阈值)时，将显示在加权边缘表示的对应区域中可用的所有提取边缘。对于其他区域，以当所考虑的区域的深度与第二参考深度越来越不同时越来越少的边缘被显示(仅仅保留具有最强梯度的边缘)的这样的方式，阈值增加。在一个实现方式中，当深度的差高于给定阈值时，人们可以决定不显示任何边缘。

当然，步骤33和34可以并行处理，或者一个接一个地处理，无论顺序如何。

在步骤35，通过将在步骤33处生成的分割图像和在步骤34处生成的二进制边缘图像组合，最终呈现非真实感内容。如先前已经描述的那样，通过将分割图像和二进制边缘图像组合，这里意味着将二进制边缘图像的边缘叠加在分割图像上，从而得到最终的非真实感内容的呈现。

关于所提出的技术，并且更准确地关于关于图3和图4提出的特定实施例，现在提出各种考虑。

如关于图4所描述的预处理阶段的实现方式具有很多优点，因为其允许对之后可以用于生成相同场景的多个不同非真实感呈现的多条数据进行预先计算。以该方式，一旦已经对给定场景计算出分层图像表示和加权边缘表示，则呈现该场景的任何非真实感表示所需要的计算力和时间得以减少。

使用全对焦图像(或至少最佳对焦图像)作为执行该预处理阶段的基础也是非常有意义的，因为它允许获得非常精确的分层图像表示和加权边缘表示。因此，根据本公开的这样的实施例生成的非真实感内容中的过渡是规则和一致的。重要的是要注意，如果将该预处理阶段直接应用到(例如从场景的图像集合(si)中随机选择的)普通图像，则不是这样的情况：因为这样的图像的散焦部分中的模糊效应，所以在所生成的非真实感内容中的线条画和平坦化区域边界将是不规则和不一致的，这可能结果是不愉快或分散注意力的。因此，所提出的技术特别适用于从源自光场内容的图像集合生成非真实感内容，因为光场内容通常允许容易地生成与所捕获的场景相关联的深度图像和全对焦图像。

因此，可以考虑适用于不同应用领域的实施例，例如一方面适用于来自光场内容的非真实感呈现的实施例，另一方面适用于来自常规图像的非真实感呈现的实施例。

与光场内容有关的实施例被实现在例如诸如全光设备或照相机阵列之类的光场捕获设备中，或者实现在处理光场数据的任何设备中。在某种程度上，所提出的技术从而允许从与场景相关联的光场数据集合呈现非真实感内容，因为光场数据集合包括(或允许计算)深度图像和全对焦图像，可以从其生成精确的分层图像表示和加权边缘表示。在这些实施例中，不仅非真实感效果在所呈现的非真实感内容上变化，而且呈现非真实感内容的一般处理也得以改进(通过在预处理阶段使用全对焦图像来解决在图像的散焦部分内的非真实感呈现的问题)。

与常规图像有关的实施例例如实现在对图像处理感兴趣的任何设备中，诸如常规照相机、计算机、电视机等等。它们也可以实现在嵌入这些设备中的图像或视频处理软件中。这些实施例还允许呈现非真实感内容，其中归功于使用相同场景的图像集合和相关联的深度图像，光场效果在内容上变化。根据图像集合中可用的图像，还可以在预处理阶段选择或计算以及使用最佳对焦图像，从而得到增强的非真实感呈现。

还应该注意的是，所提出的技术是非常灵活的，并且提供可以获得的非真实感效果的极大可能性。例如，关于图3中描述的非真实感呈现处理，应该注意的是，第一和第二参考深度可以是或者可以不是同一个参考深度。还应该注意的是，引导分割尺度选择和边缘提前尺度的规则(即映射)可以彼此非常不同。根据被实现为选择这些尺度的映射，甚至可以执行受限于区域平坦化而没有线条画的非真实感呈现，或反之亦然。

最后，利用所提出的技术，在图像组成方面保持一定的一致性，因为其允许呈现非真实感内容，其中非真实感效果可以在图像上变化，但是在图像的每个相同深度区域上可以是不变的，相同深度区域通常对应于场景的相关部分(诸如在场景中所识别的对象)。

可以理解的是，本公开可以以各种形式实施，而不限于上面讨论的示例。具体而言，虽然所提出的技术已经主要参考作为图像的非真实感内容的呈现被描述，但是其也可以应用于视频非真实感内容的呈现，而不脱离本公开的范围。

图5是图示根据本公开的实施例的用于呈现非真实感内容的设备的示例的示意性块图。这样的设备可以是可能对图像处理任何：例如计算机、机顶盒、电视机或任何便携式手持设备，诸如智能电话、平板、光场捕获设备。

图5中示出的装置500包括通过总线506连接的处理器501、存储单元502、输入设备503、输出设备504、以及接口单元505。当然，可以通过除了使用总线506的总线连接之外的其他连接来连接计算机装置500的组成元件。

处理器501控制装置500的操作。存储单元502存储要由处理器501执行的至少一个程序和各种数据，包括例如深度图像、全对焦图像、所计算的分层图像表示以及加权边缘表示、由处理器501执行的计算所用的参数、由处理器501执行的计算的中间数据等等。处理器501可以通过任何已知和适当的硬件、或软件、或硬件和软件的组合形成。例如，处理器501通过诸如处理电路之类的专用硬件、或通过诸如执行存储在其存储器中的程序的cpu(中央处理单元)之类的可编程处理单元形成。

存储单元502通过任何适当的存储器或能够以计算机可读的方式存储程序、数据等等的部件来形成。存储单元502的示例包括非临时性计算机可读存储介质，诸如半导体存储设备，以及加载到读写单元中的磁、光、或磁光记录介质。该程序使得处理器501执行根据先前描述的本公开的实施例的用于呈现非真实性内容的处理。

输入设备503例如通过由用户用来输入命令键盘、诸如鼠标之类的点击设备等等形成。例如在诸如光场捕获设备或传统照相机之类的图像捕获设备中执行非真实感呈现的实施例中，输入设备503还包括用于捕获场景的光学设备。其他附加设备可以是输入设备的一部分，诸如例如用于执行视线跟踪的照相机。

输出设备504诸如通过显示设备形成，以显示例如通过应用先前描述的呈现的方法所确定的最终图像。输入设备503和输出设备504例如可以通过触摸屏面板集成。输入设备503可以由操作者使用以选择第一和/或第二参考深度，进一步用于确定要应用到每个区域的分割和边缘提取尺度，根据相对于这些参考深度的它们的散焦度。这样的第一和第二参考深度然后可以被存储在存储单元502中。

接口单元505提供在装置500和外部装置之间的接口。接口单元505可以与外部装置经由有线或无线通信来进行通信。在一些实施例中，外部装置可以是显示设备、或配置为实现先前描述的预处理阶段的设备，例如当该实现方式未被装置500本身所支持时。

虽然在图5上仅仅示出了一个处理器501，但是必须理解的是，这样的处理器可以包括体现根据本公开的实施例的由装置500执行的功能的不同的模块和单元，诸如：

-用于生成分割图像的模块，所述分割图像包括利用多个分割尺度中的给定分割尺度生成的至少一个分割区域，所述至少一个分割区域与所述区域的集合中的至少一个区域相对应；

-用于生成二进制边缘图像的模块，所述二进制边缘图像包括利用多个边缘提取尺度中的给定边缘提取尺度生成的至少一个二进制边缘区域，所述至少一个二进制边缘区域与所述区域的集合的至少一个区域相对应；

-用于通过将所述分割图像和所述二进制边缘图像组合来呈现非真实感内容的模块。

这些模块和单元还可以体现在彼此通信和协同操作的多个处理器501中。