在高动态范围图像创建中的幻像伪影检测和去除的制作方法
【技术领域】
[0001] 该发明涉及高动态范围（HDR)成像，并且具体地，其涉及在HDR图像创建期间的幻 像（ghost)伪影（artifact)的去除。
【背景技术】
[0002] 高动态范围（HDR)成像是在图像处理和数字拍照中使用的技术，以处置具有特别 大亮度（光强）范围的源。例如，日光中的室外场景可包括蓝色天空和阳光照耀的（sunlit) 对象以及阴影下的对象；夜晚场景可包括氖光和被明亮照耀的对象以及被较差照耀的对 象；室内场景可包括明亮窗户以及较暗区域等。这些场景造成对于诸如数字相机的成像装 置的挑战；当前可用的数字相机的图像传感器的动态范围通常不能对这样的场景进行充分 成像。如果曝光级别对于捕获场景的较暗区域的细节是充分的，则较亮的区域将通常被曝 光过度而缺失细节；相反，如果曝光级别对于捕获场景的较亮区域的细节是充分的，则较暗 的区域将通常被曝光不足而缺失细节。
[0003] HDR成像技术通过按照各种曝光级别拍摄相同场景的多个图像的集合、并然后数 字合并所述多个图像来创建包括来自原始的多个图像的信息的HDR图像，使得在HDR图像 中充分表达较亮和较暗区域两者中的细节，来处置该问题。用于从多个图像的集合创建HDR 图像的方法一般是已知的。
[0004] 加括号（bracketing)是使用不同曝光级别或诸如焦点、景深等的其他不同设置 值来拍摄相同场景的多个图像的摄影中的技术。一些相机能执行自动加括号，即，自动改变 多个设置时间并拍摄多个图像。所述多个图像中的每一个有时被称为括号（bracket)。能 使用通过曝光加括号所生成的多个图像来创建HDR图像。
[0005] 在HDR图像创建期间，当在不同图像（括号）的摄制之间对象已移动、出现或消失 时，幻像伪影能出现。例如，在三个括号的摄制期间，如果人走进仅在第三括号中的场景，则 从这三个括号创建的HDR图像将具有场景上的人的半透明图（"幻像"）。在该公开中，这 些对象被称为移动对象或引入幻像的对象。
[0006] 已提出了这样的方法，其标识多个图像内的这种引入幻像的对象，使得能处理图 像以降低或消除得到的HDR图像中的幻像效应。这些技术中的一些已在评论（review)论 文中描述，A.Srikantha和D.Sidibe,GhostDetectionandRemovalforHighDynamic RangeImages:RecentAdvances,SignalProcessing:imageCommunications, 27(6), pp.650-662, 2012。
[0007] 在一些已知的幻像伪影检测方法中，选择多个括号之一作为参考图像（也称为背 景图像），其是按照定义不包括任何引入幻像的对象的图像。其他括号与参考图像相比，以 确定引入幻像的对象是否存在以及在哪里存在。这样的单一基准方案的优点在于，其简化 幻像检测和去除问题，因为当处理每一非基准括号时，仅两个图像（基准括号和非基准括 号）需要比较以检测非一致（non-consistent)像素。然而，缺点在于，基准图像的一些大 区域可被较差曝光（过度曝光或曝光不足），并且如果用作基准，则导致相关区域中的不可 靠的幻像检测、信息丢失以及得到的HDR图像的差质量。
[0008] 由此，已提出这样的方法，以将每一图像划分为多个拼接块（tiles)(所有括号被 划分为相同拼接块），并且对于每一拼接块，选择一个括号作为基准图像，使得可选择不同 括号作为用于不同拼接块的基准括号。所选择的用于每一拼接块的括号被称为局部基准或 局部背景。一种这样的方法在GdkdenizKaradag和AhmetOguzAkyUz,Colorpreserving HDRFusionforDynamicScenes,JournalofWSCG20 (2):155-160 (2012)( "Karadag和 Akyuz2012"）中进行了描述。从Karadag和Akyuz2012论文的图1改编的图2示出了被划 分为多个拼接块的图像：标记为"S"的拼接块（靠近图像的右上和右下角）指示短曝光括 号将被用作基准图像的拼接块，而标记为"L"的拼接块（靠近图像的中央）指示将使用长曝 光括号的拼接块（该图像集合具有一共三个括号）。对于其他拼接块，将使用中（middle) 括号作为基准，但是为了简明，这些括号在图1中没有标记。在对于每一拼接块选择基准括 号之后，在非基准括号中检测幻像像素。
【发明内容】
[0009] Karadag和Akyuz2012论文中描述的方法具有当相邻拼接块与相同移动对象相 关、但是具有对于它们选择的不同括号作为基准图像时出现的问题。例如，如果移动对象〇 在括号#1中（但是不在括号#2和#3中）的相邻拼接块A和B中存在，并且如果括号#1 (具 有对象〇)被选择为用于拼接块A的基准括号并且括号#2 (不具有对象0,仅具有对象0之 后的场景）被选择为用于拼接块B的基准括号，则在得到的HDR图像中，拼接块A和B可看 上去显然（visibly)不一致、或者与移动对象相关的拼接块A或B的部分中的信息可丢失。 [0010]因此，本发明针对用于幻像伪影检测和去除的方法和相关设备，其基本上消除由 于现有技术的限制和缺点导致的问题中的一个或多个。
[0011] 本发明的目的是提供用于在HDR图像创建中检测幻像伪影的改进方法。
[0012] 本发明的附加特征和优点将在接下来的描述中阐明，并部分将根据该描述而清 楚，或者可通过本发明的实践而得知。本发明的目的和其他优点将通过在书写的描述及其 权利要求以及附图中特别指出的结构来实现和得到。
[0013] 为了实现这些和/或其他目的，如同实施和广泛描述的那样，本发明提供了一种 用于从多个输入图像的集合生成高动态范围（HDR)图像的方法，每一输入图像被分配括号 索引，该方法包括：(a)将每一输入图像划分为拼接块的集合，其中所有图像被划分为相同 的拼接块集合；(b)确定用于所述拼接块的集合的每一拼接块的基准括号索引，包括：(bl) 作为用于所述拼接块的集合的括号索引的集合的函数来定义目标函数，该目标函数包括测 量个别拼接块的曝光质量的分量和测量相邻拼接块之间的相关性的分量；和（b2)计算使 得该目标函数最优化的用于拼接块的基准括号索引的集合；（c)基于用于拼接块的基准括 号索引的集合，通过对于每一拼接块比较其括号索引不是基准括号索引的每一输入图像与 其括号索引是基准括号索引的输入图像，而在逐拼接块的基础上检测输入图像的集合中的 引起幻像的像素，并生成指示那个图像中的引起幻像的像素的用于每一输入图像的幻像 图；和（d)使用输入图像的集合和对应幻像图来生成HDR图像。
[0014] 步骤（b2)可包括：基于该目标函数构造图形，使得该图形的最佳切口给出使得该 目标函数最优化的用于拼接块的括号索引的集合；和使用图形切割算法来计算图形的最佳 切口，以获得使得该目标函数最优化的用于拼接块的基准括号索引的集合。
[0015] 在另一方面，本发明提供了运行以上方法的数据处理设备。
[0016] 应理解的是，以上一般描述和以下详细描述两者是示范性和解释性的，并且意欲 提供要求保护的本发明的进一步解释。
【附图说明】
[0017] 图1示意性图示了根据本发明实施例的用于幻像伪影检测和HDR图像创建的方 法。
[0018] 图2图示了根据已知方法的被划分为多个拼接块的图像，其中选择不同括号作为 用于不同拼接块的基准括号。
[0019] 图3示意性图示了在本发明实施例中有用的反转（inverted)像素曝光质量函数。
[0020] 图4示意性图示了根据本发明实施例的用于计算拼接块到拼接块 (tile-to-tile)的相关性而使用的初级（primary)拼接块网格（grid)和次级拼接块网格。
[0021] 图5A和5B示意性图示了根据本发明实施例的用于三个输入图像的集合的图形构 造。
[0022] 图6A-6F示意性图示了根据本发明实施例的图5B的图形的图形切口。
[0023] 图7示意性图示了根据本发明实施例的用于四个输入图像的集合的图形构造。
[0024] 图8示意性图示了根据本发明实施例的用于幻像伪影检测和HDR图像创建的方 法。
[0025] 图9A和9B分别示意性图示了其中可实现本发明实施例的数据处理设备和相机。
【具体实施方式】
[0026] 本发明的实施例提供了用于对于HDR图像创建检测多个图像中的幻像伪影的方 法。通过按照不同曝光级别拍摄相同场景而获得多个图像（括号）。假设相机在拍摄处 理期间基本上不移动；然而，在处理期间，对象可在场景内移动，或者可在场景中出现或从 场景消失。在该公开中，这样的对象被统称为移动对象或引入幻像的对象。如果不处置 (untreated)，则移动对象将在得到的HDR图像中引入幻像伪影。幻像伪影检测方法标识可 引起幻像伪影的、包括这样的移动对象的图像的区域。应注意的是，尽管该方法被称为幻像 伪影检测方法，但是在其已被创建之后，其不检测HDR图像中的幻像伪影。相反，该方法检 测多个原始图像中的区域，并且如果不处置，则所述多个原始图像中的区域将在HDR图像 中引入幻像伪影。
[0027]