从手持设备所捕获的多个图像进行肖像图像合成的制作方法

本申请是国际申请号为pct/ep2011/071233、国际申请日为2011年11月29日、进入中国国家阶段日期为2013年02月06日、国家申请号为201180038857.7的发明专利申请的分案申请。

本发明涉及从手持数字图像捕获设备上所捕获的至少两个图像合成增强肖像图像。

技术实现要素：

根据本发明，提供了一种手持数字图像捕获设备，其具有显示屏和用户可选择模式，其中当采用该模式时，该设备检测设备的视场中的脸部，并且在屏幕上生成围绕屏幕上的脸部的图像的初始位置的脸部定界符，该设备随后在该设备偏离沿预定凹型路径的移动、并伴随有该设备的光轴指向该脸部的情况下向用户进行指示，这样的指示通过脸部图像相对于定界符的移动来进行，该设备捕获并存储处于沿该路径的连续位置处的多个图像。

附图说明

现在将参考附图通过示例对本发明的实施例进行描述，其中：

图1是体现本发明的数码相机的框图。

图2至6是图示了相机操作的示意图。

具体实施方式

图1是手持数码图像获取设备20的框图。在当前实施例中，设备20是这样的手持数码相机，但是其可以是蜂窝电话的相机部件或者集成有数码相机功能的其它手持设备。无论这是否是其主要功能，这样的设备在这里为了方便都被称作为相机。

相机20包括数字处理器120。如众所周知的，在数码相机中执行或者由其所执行的许多处理可以以在处理器120中进行操作的软件来实施或者由该软件所控制，包括用户界面功能以及诸如按钮和显示屏之类的外部组件的控制。

响应于在122处的诸如半按快门按钮(预捕获模式)的用户输入，处理器120发起并控制数字摄像过程。使用光线传感器40对周围曝光进行监视以便自动确定是否要使用闪光灯。使用对焦组件50确定到主体的距离，其也对图像捕获组件60上的图像进行对焦。如果要使用闪光灯，则处理器120引起闪光灯70在完全按下快门按钮时生成与图像捕获组件60所进行的高分辨率图像记录实质上相一致地照像闪光。图像捕获组件60以色彩对图像进行数字记录。图像捕获组件优选地包括ccd(电荷耦合器件)或cmos以促进数字记录。闪光可以响应于光线传感器40或者来自相机用户的手工输入72而有选择地生成。图像捕获组件60所记录的高分辨率图像被存储在图像存储80中，其可以包括诸如动态随机访问存储器或非易失性存储器之类的计算机存储器。该相机被配备以诸如lcd的数字显示屏100以用于图像预览和后期查看。显示屏100可以是电子取景器屏幕或者其可以是外部屏幕，其通常放置在相机主体的后部。

在捕获主要(高分辨率)图像之前，在屏幕100上生成并显示连续的预览图像以帮助用户进行构图，以及在预捕获模式中用来确定对焦和曝光。临时存储82可以被用来存储一个或多个预览图像，并且可以作为图像存储80的一部分或者单独组件。预览图像优选地由图像捕获组件60所生成。出于速度和存储器效率的原因，预览图像优选地具有比完全按下快门按钮时所拍摄的主图像更低的像素分辨率，并且通过使用软件124对原捕获的图像进行二次采样(sub-sampling)，该软件124可以是通用处理器120的一部分或专用硬件或者是其组合。

当用户对预览图像满意时，用户将快门按钮完全按下并且捕获高分辨率的主图像。

除了以上所描述的标准功能之外，相机20具有用户可选择的“增强肖像”模式。在该模式中，当快门按钮被完全按下时，引起相机在用户围绕以所要成像的人类主体之一的脸部为中心的凹型路径(concavepath)进行移动的同时自动捕获并存储一系列图像。所捕获的图像随后被进行处理以合成增强肖像图像。

参考图2至6，相机20用于生成主体的增强肖像图像的使用和操作如下：

1.相机用户200通过按压相机主体上的特定按钮、将转盘旋转到特定位置等而将相机准备为3d肖像模式。

2.相机用户200使其自己位于所要拍摄的人员204的头部202的四分之三视图的位置a，图2。相机镜头系统的光轴206直接指向(并且相机自动对焦于)主体的头部202特别是主体的脸部203。

在某些实施例中，可以选择浅的景深而将背景置于焦点之外。然而如将要简短解释的，在正常情况下无需如此。

3.当用户200对预览图像中所看到的构图满意时，半按快门按钮。作为响应，相机20使用标准脸部检测技术来检测预览图像中主体204的脸部203，并且相机随后在显示屏100上生成并显示紧密围绕所检测脸部203的图像210的脸部定界符208(delimiter)(图3)。脸部定界符208在该示例中被示为矩形框，但是其可以为其它连续或不连续(例如，虚线)的多边形和/或曲线形状。在该阶段，焦点被锁定。

4.现在，用户200完全按压快门按钮并且由相机发出诸如启动蜂鸣声的视觉或听觉指示。在继续按住快门按钮的时，这向用户指示他现在应当沿预定凹型路径p(图2)围绕主体204移动相机20，在当前情况下，该凹型路径p具有以主体的脸部203为中心的大致恒定的半径r，用户确保相机206的光轴继续直接指向该人员的脸部。

这样沿凹型路径的运动对于用户而言可能并不是所要遵循的一条自然路径。即使对于经验丰富的研究人员而言，通过这样的路径正确摇摄(sweep)手持设备也是具有挑战的。因此，使用脸部定界符208以以下方式对这样的移动进行辅助。

如步骤3中最初建立的脸部定界符208的大小和位置此后贯穿沿路径p的移动而固定在显示屏幕上。该固定的脸部定界符208通过允许用户尝试将脸部图像210始终保持在定界符208内并且占据其整个宽度和高度来帮助用户将相机20保持在路径p上。

例如，图4a、4b和4c示出了当相机20正确位于分别处于图2的路径p上的点a、b和c时的脸部定界符208和脸部图像210，其具有直接指向脸部的光轴。在每种情况下，脸部图像210基本上填充了定界符208而并不延伸至其外部。另一方面，如果光轴偏离中心，并且例如指向如图5中的206a和206b所示的脸部左侧或右侧，则图像屏幕上的结果分别在图6(a)和6(b)中示出。这将向用户指示需要将相机稍微进行旋转以重新将脸部图像210置于定界符208中的中心。

图6(c)和6(d)示出了相机分别过于远离或过于接近主体204的结果。这将向用户指示其必须引起相机更为接近主体204或离其更远以便将脸部图像210适当填充在定界符208中并居于中心。备选地，虽然这由于远景效应而不会对大幅的距离偏差进行充分补偿，但是可以通过自动适当缩放相机镜头而保持脸部图像208适当填充定界符208。

5.在沿路径p移动的期间，如果脸部图像210相对于定界符208变得过大或过小，相机就在视觉和/或听觉上对用户200进行警告，指示相机正在朝向或远离主体的脸部进行移动，或者如果脸部图像偏离定界符进行移动，则指示相机的光轴206并没有以主体的脸部为中心。特别地，只要相机20开始移动而引起脸部图像210比某个小的数量更多地移动到定界符208之外，或者脸部图像210比初始大小增大或缩小超过5％，则相机20被配置为向用户提供警告。可以存在一种或两种的一般警告声音或其它通信，或者更为具体的警告。具体警告甚至可以包括诸如“太靠右”、“太靠左”、“太低”和“太近”等的词语。在备选实施例中，可以使用图形警告指示符，或者脸部定界符208的边界可以在一侧或多侧间歇闪烁或者以其它方式发生变化以指示错误属性。

6.在沿路径p移动的期间，相机20捕获并存储主体202的连续高分辨率图像，包括背景景象。如相机中的惯性传感器所确定的或者根据连续图像的逐帧替换所确定的那样，这些图像可以以沿路径p预先确定的角位置进行捕获。备选地，假设沿该路径的移动大致以某个已知速率进行，它们可以以预先确定的时间间隔进行捕获。在后者的情况下，也可以在用户没有在如基于来自惯性传感器的读数所确定的最优速度范围之内移动相机的情况下提供警告。移动过快可能不允许捕获到足够数量的“良好”图像，而移动过慢则可能引起用户难以实现平滑且连续的摇摄运动。

在当前实施例中，需要光学立体位移的至少两个图像。立体位移取决于到脸部的距离(其可以根据脸部大小而足够精确地确定)，并且对于大多数实际生产的3d立体肖像而言，理想的是其等同于人眼的间隔。然而，可能期望以更大间隔进行捕获以强调3d肖像。通常还期望在主题在一对图像之一中眨眼而在另一图像中没有眨眼的情况下捕获到多个立体配对。

7.一旦已经获得了足够数量的(良好)立体图像配对，或者脸部区域已经在可接受的摇摄路径之外移动过远，则沿路径p的凹型肖像摇摄可以由用户手工终止或者由相机20自动终止。利用听觉音调或相机屏幕上的消息所给出的适当指示通知用户摇摄是否成功或者提供适当的错误消息。

在摇摄被用户所终止的情况下，用户200在相机到达图2的位置c时或者在之前给出了成功摇摄的指示的情况下释放快门按钮，该位置c从位置a的相对一侧具有头部202的四分之三视图。快门释放结束了增强肖像模式的图像捕获功能。在备选实施例中，不同于在沿路径p的整个摇摄期间保持快门按下，快门可以在开始时被短暂按下并且在结束时再次短暂按下以指示摇摄结束。

8.在步骤7之后，相机20选择至少一个“良好”立体配对(即在没有对用户进行警告的时间段期间所捕获的图像)。在某些实施例中，用户可以被提供以多个配对以从其中进行选择。

可能还期望捕获与每个图像配对相关联的至少一个附加图像，以引起可以利用针对主要立体脸部配对不同程度的模糊(blur)而对背景进行重构。特别地，这在肖像为近拍(closeup)的情况下可能是有必要的。在这样的情况下，前景脸部所需要的立体分隔在肖像画面背景上引入了过多的远景差异，这对于观看者而言可能是不适的。因此，期望使用从主要立体图像配对的左边和右边图像之间所捕获的图像帧所取得的背景。该附加图像因为其处于立体配对的左边和右边图像之间而被称作中间图像。在示例实施例中，左边图像被保留，但是来自右边图像的面部区域得以从背景分离并且结合在中间图像的面部区域上。

在备选实施例中，在该第三图像不可用的情况下，可能通过将立体配对中每个图像的面部图像和前景区域从相应背景中进行分离来对背景模糊进行改善。随后两个背景最初可以被对其并且可以使用差异和深度映射计算来更有选择地确定临近和遥远的背景区域。随后基于所确定的像素差异和或深度映射，两个背景区域随后可以选择性地被拆散或选择性地被模糊或者进行其二者，以提供更具说服力的3d焦外成像效果。原始的面部图像随后被再次结合到其相应背景上以提供更具说服力的3d肖像。在一个或两个经修改背景并不与原始面部图像和前景区域完全匹配的情况下，则其它背景图像的匹配部分可以被结合以填充这样的空白。

在备选实施例中，通过执行相同过程、创建深度映射并仅选择一个静止图像以使用深度映射并对背景进行模糊，而同时保留前景对象，设备可以简单地捕获焦外成像效果有所增强的2d肖像。

在备选实施例中，在相机沿凹型路径行进时可以捕获多个立体配对，引起主题的伪3d幻灯片得以被创建。配对可以以多个图像静止的格式的形式或者电影3d格式进行存储。在某些实施例中，该幻灯片可以进行另外的后期处理以生成更为精良的人员3d模型，或者执行先进的伪3d面部识别。

在备选实施例中，可以保留多个匹配的立体配对以允许制备3d肖像摇摄幻灯片。这可能要求额外的后期处理，但是如果相机具有足够强大的cpu，则其可以在相机中进行制备并查看。

在捕获设备具有自动立体3d显示(例如，nintendo3ds)的某些实施例中，可以通过移动成像设备并且使用内部传感器或另外的方式检测其的移动来改变3d摇摄肖像上的用户远景。在成像设备被移动时，显示周期根据设备移动而通过幻灯片中多个立体配对前进或后退。注意，这需要用户引起其头部连同设备一起移动以保持其相对于自动立体显示器的位置。

如以上所描述的所存储图像的后期处理在增强肖像模式处理器90中执行。处理器90可以处于相机20内部(例如，其可以是具有适当编程的处理器120)或者诸如桌面计算机之类的外部处理设备10的一部分。在处理器90处于相机20内部的情况下，最终处理的图像可以被显示在图像显示屏100上，保存在持久存储112上，该持久存储112可以是内部的或者是诸如cf卡、sd卡等的可移动存储，或者经由图像输出装置110被下载到另一设备。在处理器90在外部设备10中实现的实施例中，最终处理的图像可以被返回相机20以便如以上所描述的进行存储和显示，或者在相机外部进行存储和显示。

在相机20的视场包含多于一个的脸部时，例如使用基于脸部优先级的机制，该相机指向一个主体的脸部并且在沿路径p移动期间保持其指向，或者可以由用户选择脸部。个体脸部可以被用作基准点以在创建后续的深度映射时具有最小视差。另外的脸部可以被检测并且来自这样另外检测的脸部的信息(例如，大小、眼睛位置和面部方向)有助于提高深度映射的精确度。

更具体地，在相机移动通过其控制路径时，另外的脸部的大小将增大/减小并且眼睛和其它面部特征的位置提供了与这些另外脸部的方向变化相关的信息。该信息知识这样的另外脸部相对于主要主体的相对深度并且促成了将这些脸部从画面背景中分离出来。在这样的多脸部实施例中，可以捕获多于两个的图像以促进创建最终优化的立体图像。在特定立体图像配对中，除了主脸部的立体图像配对之外可以获取对每个另外的脸部进行优化。这些将基于每个另外脸部相对于主脸部的相对深度而获取。

虽然以上实施例令相机沿以中心处于主体脸部上的恒定半径的预定凹型路径进行移动(图2)，但是凹型路径的旋转中心并不必然处于主体的脸部。实际上，该路径可以根据相机与脸部的距离进行修改。当脸部距相机越远时，则可以使用比到脸部的实际距离更短的曲率半径，因为这放大了立体配对之间的差异(其在更大距离有所减小)；当脸部接近时，则可以使用较长的曲率半径来减小差异(其有所增加)并且获得更优的立体配对。在存在多个脸部时也可以使用更长的曲率半径进行摇摄以对每个脸部的适当立体配对的获取进行优化。在这样的实施例中，用户并不了解曲率半径，但是被指引使用如图3所示的脸部定界符208内的脸部210的位置以正确半径进行摇摄，定界符的大小由相机基于用户相对于脸部的位置而根据用户所希望拍摄的期望路径进行动态调节。

本发明的实施例提供了容易且准确地对画面的前景和背景区域进行分离，确定画面的详细且准确的深度映射并且可选地捕获画面的(多个)前景对象的至少一个立体图像配对的手段。实施例另外提供了根据背景区域的相对深度有选择地使其模糊并且将它们与所提取的前景区域或者备选地与前景的立体配对重新结合以创建增强肖像图像的手段。

本发明并不局限于这里所描述的(多个)实施例，而是可以进行改变或修改而并不背离本发明的范围。