从图像去除对象的制作方法

文档序号:7994413阅读:254来源:国知局
从图像去除对象的制作方法
【专利摘要】一种方法,包括:数子化处理来自第一视角的场景的第一图像,以识别由所述场景中的前向对象遮蔽的在成像平面处的所述场景的第一被遮蔽的部分;数子化处理来自第二视角的所述场景的第二图像,以识别由所述场景中的所述前向对象遮蔽的在所述成像平面处的所述场景的第二被遮蔽的部分;以及如果所述场景的所述第一被遮蔽的部分和所述场景的所述第二被遮蔽的部分在所述成像平面处重叠,则输出不能成功地处理所述第一图像和所述第二图像以产生没有所述前向对象的所述场景的第三合成图像的指示。
【专利说明】从图像去除对象

【技术领域】
[0001] 本发明的实施例涉及从图像去除对象。

【背景技术】
[0002] 当从第一视角以及然后从偏移方位处的不同视角来获取场景的图像时,视差效应 能够使得前景对象相对于背景显著地移动。


【发明内容】

[0003] 在一些情况下能够处理此类图像以产生不含有前景对象的第三合成图像。
[0004] 根据本发明的各种但未必是所有实施例,提供了一种方法,该方法包括:数子化处 理来自第一视角的场景的第一图像,以识别由所述场景中的前向(forward)对象遮蔽的在 成像平面处的所述场景的第一被遮蔽的部分;数子化处理来自第二视角的所述场景的第二 图像,以识别由所述场景中的所述前向对象遮蔽的在所述成像平面处的所述场景的第二被 遮蔽的部分;以及如果所述场景的所述第一被遮蔽的部分和所述场景的所述第二被遮蔽的 部分在所述成像平面处是重叠的,则输出不能成功地处理所述第一图像和所述第二图像以 产生没有所述前向对象的所述场景的第三合成图像的指示。
[0005] 这提供的优点是告知所述用户是否能够去除所述前向对象,允许所述用户有机会 来重新取景(re-frame)所述场景(例如,改变方位)以便能够去除所述前向对象。
[0006] 根据本发明的各种但未必是所有实施例,提供了一种装置,该装置包括至少一个 处理器;以及包含计算机程序代码的至少一个存储器,所述至少一个存储器和所述计算机 程序代码被配置为使用所述至少一个处理器使得所述装置至少执行:数子化处理来自第一 视角的场景的第一图像,以识别由所述场景中的前向对象遮蔽的在成像平面处的所述场景 的第一被遮蔽的部分;数子化处理来自第二视角的所述场景的第二图像,以识别由所述场 景中的所述前向对象遮蔽的在所述成像平面处的所述场景的第二被遮蔽的部分;以及如果 所述场景的所述第一被遮蔽的部分和所述场景的所述第二被遮蔽的部分在所述成像平面 处是重叠的,则输出不能成功地处理所述第一图像和所述第二图像以产生没有所述前向对 象的所述场景的第三合成图像的指示。

【专利附图】

【附图说明】
[0007] 为了更好地理解本发明的实施例的各种示例,现在将参照仅作为示例的附图,其 中:
[0008] 图1A说明了第一图像与第二图像重叠的示例;
[0009] 图1B说明了已经从合成图像去除了前向对象的合成图像的示例;
[0010] 图2从顶视图说明了前向对象在成像平面的前面和远端的示例;
[0011] 图3从顶视图说明了前向对象在成像平面的前面和近端的示例;
[0012] 图4A和图4B说明了与在图2中说明的配置相关联的第一图像和第二图像的示 例;
[0013] 图5A和图5B说明了与在图2中说明的配置相关联的第一图像和第二图像的示 例;
[0014] 图6说明了处理电路的示例;
[0015] 图7说明了用于计算机程序的记录载体的示例;
[0016] 图8说明了包括处理电路的成像装置的示例;
[0017] 图9说明了向用户输出指示的方法的示例;
[0018] 图10A说明了没有前向对象的场景的第三合成图像的产品的示例;以及
[0019] 图10B说明了没有前向对象的场景的第三合成图像的产品的示例。

【具体实施方式】
[0020] 以下描述的示例中的至少一些示例涉及(如在图9中说明的)一种方法,该方法 包括:在框62,数子化处理来自第一视角的场景4的第一图像10,以识别由所述场景4中的 前向对象2遮蔽的在成像平面3处的所述场景4的第一被遮蔽的部分12 ;在框64,数子化 处理来自第二视角的所述场景4的第二图像20,以识别由所述场景4中的所述前向对象2 遮蔽的在所述成像平面3处的所述场景4的第二被遮蔽的部分22 ;以及如果所述场景4的 所述第一被遮蔽的部分12和所述场景4的所述第二被遮蔽的部分22在所述成像平面3处 是重叠的,则输出不能成功地处理所述第一图像10和所述第二图像20以产生没有所述前 向对象的所述场景4的第三合成图像8的指示6。
[0021] 图1A说明了场景4的第一图像10的示例。已经从第一视角使场景4成像在第一 图像10中。
[0022] 图1A还说明了相同场景4的第二图像20的示例。已经从第二视角使场景4成像 在第二图像20中。
[0023] 第一视角和第二视角是不同的,使得第一图像10和第二图像20基本上重叠。
[0024] 在场景4中的对象2被放置在更远的对象7的前面。在某些情况下,能够成功地 处理第一图像10和第二图像20以产生如图1B中说明的没有前向对象2的场景4的第三 合成图像8。使用标记2'来指示缺失的前向对象2。
[0025] 以下描述的一些示例当不能成功地处理第一图像10和第二图像20以产生没有前 向对象2的场景4的第三合成图像8时向用户指示。以下描述的一些示例当能够成功地处 理第一图像10和第二图像20以产生没有前向对象2的场景4的第三合成图像8时向用户 指示。
[0026] 图2和图3说明了在第一方位11处和在第二方位21处,成像平面3处的场景4 的哪些部分由前向对象2遮蔽。
[0027] 第一图像10来自第一方位11,该第一方位11与用于获取第二图像20的第二方位 21物理地偏移。在这个示例中,第一方位11和第二方位21在平行于成像平面3的平面中 水平地偏移。
[0028] 前向对象2建立了场景4的遮蔽体积,该遮蔽体积从第一方位11不能观察到以及 在第一图像10中不出现。在这个体积遇到成像平面3的地方,界定了场景4的第一被遮蔽 的部分12。在第一方位11处,在成像平面3处的场景4的这个部分由前向对象2所遮蔽。
[0029] 前向对象2建立了场景4的遮蔽体积,该遮蔽体积从第二方位21不能观察到以及 在第二图像20中不出现。在这个体积遇到成像平面3的地方,界定了场景4的第二被遮蔽 的部分22。在第二方位21处,在成像平面3处的场景4的这个部分由前向对象2所遮蔽。
[0030] 在图2中,前向对象2充分地远离于成像对象3,以便成像平面3位于体积5的外 部,其中不能从第一方位11观察到的场景4的体积和不同从第二方位21观察到的场景4 的体积重叠。因此,在成像平面3处,在成像平面3处的场景4的第一被遮蔽的部分12与 在成像平面3处的场景4的第二被遮蔽的部分22是分离的和不同的。
[0031] 在图2中,出于说明的目的,成像平面被分成若干垂直的带(:、83、4'、8'、(:'。在 成像平面3处在这些带的前面图示说明了若干不同的远端场景特征7。仅在带A、仅在带B 以及仅在带C的前面有不同的场景特征。在带A'和带B'之间的接口的前面有不同的场景 特征7,以及在带B'和带C之间的接口的前面有不同的场景特征7。图4A说明了从第一方 位11的视角获取的对应的第一图像10,其中前向对象垂直地延伸成条带。图4B说明了从 第二方位21的视角获取的对应的第二图像20,其中前向对象垂直地延伸成条带。
[0032] 参照图4A,在这个示例中,前向对象2遮蔽整个带B'。因此,在第一图像10中,仅 在带A、B和带C的前面的整个的不同场景特征7是可见的。然而,在第一图像10中,在带 A'和带B'之间的接口的前面的场景特征7的仅有一部分是可见的,以及在带B'和带C之 间的接口的前面的场景特征7的仅有一部分是可见的。
[0033] 参照图4B,在这个示例中,前向对象2遮蔽整个带B。因此,在第二图像20中,仅 在带A和带C的前面的整个的不同场景特征7是可见的。在第二图像20中,在带A'和带 B'之间的接口的前面的场景特征7以及在带B'和带C'之间的接口的前面的场景特征7是 可见的。然而,在第二图像20中,仅在带B的前面的场景特征7是不可见的。
[0034] 因此,在第一图像10或第二图像20中,在成像平面3处的所有的不同场景对象7 是可见的。因此,当处理第一图像10和第二图像20以创建第三合成图像时,通过使用来自 第二图像20的对应部分来替换第一图像10中在成像平面3处的场景4的第一被遮蔽部分 12,能够从合成图像去除对象2。
[0035] 在图3中,前向对象2充分接近成像平面3,以便成像平面3与体积5相交,其中从 第一方位11不能观察到的场景4的体积与从第二方位21不能观察到场景4的体积重叠。 因此,在成像平面3处,在成像平面3处的场景4的第一被遮蔽的部分12与在成像平面3 处的场景4的第二被遮蔽的部分22不分离和不区分。
[0036] 在图3中,出于说明的目的,成像平面被分成类似于图2的若干垂直的带C、B、A、 A'、B'、C'。在这些带的前面说明了不同的远端场景特征7。在带A和带A'两者的前面有 不同的场景特征7。图5A说明了从第一方位11的视角获得的对应的第一图像10,其中前 向对象2是垂直条带。图5B说明了从第二方位21的视角获得的对应的第二图像20,其中 前向对象2是垂直条带。
[0037] 因此,成像平面3被定位在更远的对象7,该更远的对象7部分地位于至少第一被 遮蔽的部分12和第二被遮蔽的部分22两者内;以及第一被遮蔽的部分12 (以及分离的第 二被遮蔽的部分22)。在这个示例中,成像平面3被定位在一种距离处,在该距离中,更远的 对象7被检测为与第一被遮蔽的区域12的边缘重叠以及被检测为与第二被遮蔽的区域22 的边缘重叠。
[0038] 参照图5A,在这个示例中,前向对象2遮蔽整个带A'和带A的内部部分。因此,在 第一图像10中,只有在带A的未被遮蔽的外部部分的前面的不同的场景特征7是可见的。
[0039] 参照图5B,在这个示例中,前向对象2遮蔽整个带A和带A'的内部部分。因此,在 第二图像20中,只有在带A'的未被遮蔽的外部部分的前面的不同的场景特征7是可见的。
[0040] 因此,与带A和带A'之间的接口重叠的对象2的部分在第一图像10和第二图像 20两者中被遮蔽。因此,如果处理第一图像10和第二图像20以创建第三合成图像,则将不 可能从合成图像8去除对象2。
[0041] 图9说明了方法60,该方法60识别类似于在图3、图5A和图5B中说明的情况,以 及向用户输出指示6。然后,用户能够(只要他们希望)重新定位相机装置50以重新定位 第一方位11和第二方位21。
[0042] 在框62,数字化处理来自第一视角的场景4的第一图像10以识别由场景4中的前 向对象2遮蔽的成像平面3处的场景4的第一被遮蔽的部分12。
[0043] 在框64,数字化处理来自第二视角的场景4的第二图像20以识别由场景4中的前 向对象2遮蔽的成像平面3处的场景4的第二被遮蔽的部分22。
[0044] 在框64,确定场景4的第一被遮蔽的部分12与场景4的第二被遮蔽的部分22是 否在成像平面3处重叠。
[0045] 如果有重叠,则方法前进到框68。
[0046] 在框68,因为场景4的第一被遮蔽的部分12和场景4的第二被遮蔽的部分22在 成像平面3处重叠,所以有不能成功地处理第一图像10和第二图像20以产生没有前向对 象2的场景4的第三合成图像8的指示6的输出。
[0047] 如果在框66处没有重叠,则方法在(A)处退出以可选地执行一个或多个方法。
[0048] 例如,如在图10A中说明的,在框70,有能够成功地处理第一图像10和第二图像 20以产生没有前向对象2的场景4的第三合成图像8的指示的输出。该指示可以涉及在显 不器中商壳对象2。
[0049] 例如,如在图10B中说明的,在框72,能够自动地处理第一图像10和第二图像20 以产生没有前向对象2的场景4的第三合成图像8。
[0050] 在一些实施例中,框72可以替代地包括处理第一图像10和第二图像20以产生具 有前向对象2呈现但是提供能够去除前向对象2的指示的场景4的第三合成图像8。然后, 用户能够提供输入命令,例如通过触摸(在场景4的显示版本中)对象2。响应于用户输入 命令,处理第一图像10和第二图像20以产生没有前向对象2的场景4的第三合成图像8。
[0051] 参照回图9,可以执行数字化处理62第一图像10,数字化处理64第二图像20以及 输出68指示,作为在捕获和存储第一图像10和第二图像20作为可检索的数据结构43 (见 图8)之前执行的图像合成阶段的一部分。
[0052] 在一些实现方式中,方法60可以在框62的前面包括数字化处理第一图像10和第 二图像20以计算用于场景4的深度图。深度图是标识至场景4内的场景特征的距离的数 据结构。
[0053] 深度图可以用于确定前向对象2。例如,前向对象2可以是最前面(最近)的对 象。
[0054] 深度图可以用于确定成像平面3。
[0055] 深度图还可以或可替代地用于确定场景4的第一被遮蔽的部分12和场景4的第 二被遮蔽的部分22是否在成像平面3处重叠。
[0056] 例如,图2中的体积5的尖端表示成像平面3能够接近前向对象2同时仍然能够 去除对象2的最近的方位的估计。如果成像平面3更远,则去除是可能的,然而,如果成像 平面3较近,则去除是不可能的。使用相似三角形,从平行于成像平面3以及由第一点11 和第二点21共享的平面到体积5的尖端的距离D与在该平面中第一点11和第二点21的 间隔Y的比率等于从前向对象2到体积5的尖端的距离d与在平行于该成像平面的平面中 前向对象2的延伸y的比率。能够根据第一图像10或第二图像20占据了多少视野范围来 估计前向对象2的延伸y。第一点11和第二点21的间隔是已知的,以及距离D-d是前向对 象2的距离,根据距离图该距离是已知的。因此,能够估计D。
[0057] 如果成像平面3的真实距离(根据距离图知道)小于D,则场景4的第一被遮蔽的 部分12和场景4的第二被遮蔽的部分22在成像平面3处重叠,以及从合成图像8去除前 向对象2是不可能的。
[0058] 可以针对不同的成像平面3和/或针对不同的前向对象2来重复方法60。
[0059] 参照回图2和图3,可以自动地确定成像平面3的位置。
[0060] 可以基于用于对第一图像10和第二图像20进行调焦的焦距设置来定位成像平面 3。成像平面3可以是焦距内平面。可以使用自动调焦方法来确定焦距设置。
[0061] 可替代地,可以基于第一图像10和第二图像20的处理来定位成像平面。例如,如 图2中说明的,成像平面3可以被定位在一种距离处,在该距离处更远的对象7被检测为与 第一被遮蔽的区域12的边缘重叠或与第二被遮蔽的区域22的边缘重叠。作为另一个示例, 如图3中说明的,成像平面3可以被定位在一种距离处,在该距离处更远的对象7被检测为 与第一被遮蔽的区域12的边缘重叠以及与第二被遮蔽的区域22的边缘重叠。
[0062] 可替代地,成像平面3可以被定位在无穷远处。
[0063] 前向对象2可以是例如用户选择的或自动选择的。
[0064] 例如,前向对象2可以是在场景4中的最前面的对象。可替代地,前向对象2可以 不是最前面的对象。它可以例如是防止从合成图像8去除更远的前向对象的对象7 (图3), 因为它具有在第一图像10中和在第二图像20中由更远的前向对象遮蔽的部分,以及只在 第一图像10(和/或只在第二图像20)中由更远的前向对象遮蔽的另外的部分。
[0065] 图6说明了处理电路40,该处理电路40被配置为启用上述方法。处理电路40的实 现方式能够是单独在硬件中(电路、处理器…),单独在包含固件的软件中具有某些方面, 或能够是硬件和软件(包含固件)的组合。
[0066] 可以使用启用硬件功能的指令来实现处理电路40,例如通过在通用或专用处理器 中使用可执行的计算机程序指令,可以将该可执行的计算机程序指令存储在计算机可读存 储介质(磁盘、存储器等)上以由此类处理器来执行。
[0067] 在所说明的示例中,处理电路40包括:可操作地耦合的处理器44和存储器42,以 及能够存在任何数量的中间元素或中间元素的组合(包含没有中间元素)。
[0068] 处理器44被配置为读写存储器42。处理器44还可以包括输出接口,由处理器44 经由该输出接口来输出数据和/或命令,以及输入接口,经由该输入接口将数据和/或命令 输入到处理器44。
[0069] 存储器42存储包括计算机程序指令的计算机程序46,当将该计算机程序指令加 载到处理器44时,该计算机程序指令控制处理器44的操作。计算机程序指令46提供逻辑 和例程,该逻辑和例程使得装置能够执行所描述的方法和在图9、图10A和图10B中说明的 方法。处理器44通过读取存储器42能够加载和执行计算机程序46。
[0070] 因此,处理电路40包括:至少一个处理器44 ;和包含计算机程序代码46的至少一 个存储器42,至少一个存储器和计算机程序代码被配置为使用至少一个处理器使得装置至 少执行:数子化处理来自第一视角的场景4的第一图像10,以识别由所述场景4中的前向 对象2遮蔽的在成像平面3处的所述场景4的第一被遮蔽的部分12 ;数子化处理来自第二 视角的所述场景4的第二图像20,以识别由所述场景4中的所述前向对象2遮蔽的在所述 成像平面3处的所述场景4的第二被遮蔽的部分22 ;以及如果所述场景4的所述第一被遮 蔽的部分12和所述场景4的所述第二被遮蔽的部分22在所述成像平面3处是重叠的,则 输出不能成功地处理所述第一图像10和所述第二图像20以产生没有所述前向对象2的所 述场景4的第三合成图像8的指示6。
[0071] 计算机程序可以经由任何合适的传递机制48到达装置40。传递机制48可以是例 如非短暂性的计算机可读存储介质、计算机程序产品、存储设备、记录介质(诸如光盘只读 存储器(CD-ROM)或数字通用光盘(DVD))、有形地具体化计算机程序46的制造品。传递机 制可以是信号,该信号被配置为可靠地递送计算机程序46。装置40可以传播或传送作为计 算机数据信号的计算机程序46。
[0072] 虽然存储器42被说明为单个组件,但是它可以被实现成一个或多个分离的组件, 该组件中的一些或所有组件可以被集成/移动和/或可以提供永久/半永久/动态/缓存 的存储设备。
[0073] 图8说明了成像装置500。在这个示例中,它包括:处理电路40、用户输入设备52、 显示器54、第一图像传感器56A和第二图像传感器56B。
[0074] 成像装置50可以是专用的成像装置,或它可以是执行包含成像的许多功能的多 功能装置。
[0075] 成像装置50可以例如是手持便携型的包含电池的电子装置。当使用时,手持便 携型电子装置是大小适于在成人的手掌中把持的装置,可以是大小适合于放入外套的口袋 中。
[0076] 多功能装置的示例包含:具有图像捕获能力的移动蜂窝电话、具有图像捕获能力 的个人数字助理、具有图像捕获能力的个人媒体播放器等。
[0077] 第一图像传感器56A用于记录来自第一视角的第一图像10。第二图像传感器56B 用于记录来自第二视角的第二图像20。第一图像传感器56A位于第一方位11,以及第二图 像传感器56B位于第二点21 (图2&图3)。由第一方位11和第二方位21之间的偏移提供 了第一视角和第二视角之间的差异。这种偏移引入了视差。可以有引入视差的其它配置。 对于成像装置50以具有两个(或更多)图像传感器56A、56B而言未必是必要的。然而,成 像装置2应当能够记录具有视差的第一图像10和第二图像20。
[0078] 显示器54可以是在图像被捕获和存储成存储器42中的数据结构43之前用于取 景图像的取景器显示器。
[0079] 虽然,用户输入设备52被说明成与显示器54分离,但是它可以与显示器集成作为 触摸敏感显示器的触摸屏。
[0080] 处理电路40被配置为接收来自第一图像传感器56A的第一图像10和来自第二图 像传感器56B的第二图像20。它被配置为在取景显示器54上显示第一图像10和第二图像 20中的一者或两者。处理电路40被配置为处理第一图像10和第二图像20,以及当不能从 合成图像8去除对象2时输出指示6。该指示6可以是在取景显示器54中高亮前向对象 2〇
[0081] 在一些实施例中,用户输入设备52可以用于用户选择,例如,前向对象的选择,或 用于激活从合成图像8去除前向对象2。
[0082] 在一些实施例中,处理电路40可以被配置为检测更远的对象,该更远的对象部分 地位于第一被遮蔽的部分12和第二被遮蔽的部分22至少两者内;以及第一被遮蔽的部分 12或第二被遮蔽的部分22 ;以及将成像平面3定位在所检测的更远的对象处。更远的对 象可以被检测为与第一被遮蔽的区域12的边缘重叠以及与第二被遮蔽的区域22的边缘重 叠。
[0083] 在一些实施例中,处理电路40可以被配置为自动地检测对象,该对象具有在第一 图像10中和在第二图像20中由更远的前向对象遮蔽的部分,以及具有在第一图像10和第 二图像20中的至少一个图像中由更远的前向对象遮蔽的部分;以及自动地选择所检测到 的对象作为前向对象2。
[0084] 提及'计算机可读存储介质'、'计算机程序产品'、'有形地体现的计算机程序'等 等或'控制器'、'计算机'、'处理器'等等应当被理解为不仅涵盖具有不同的架构的计算机, 如单/多处理器架构和顺序(冯诺依曼)/并行架构,而且还涵盖专用电路,如现场可编程 门阵列(FPGA)、专用集成电路(ASIC)、信号处理设备和其它处理电路。提及计算机程序、指 令、代码等等应当被理解为涵盖用于可编程处理器或者固件的软件,如硬件设备的可编程 内容,而无论是用于处理器的指令、还是用于固定功能设备、门阵列或可编程逻辑设备等等 的配置设置。
[0085] 如在本申请中使用的,术语"电路"指以下中的所有:(a)仅硬件的电路实现方式 (诸如仅模拟和/或数字电路中的实现方式);(b)电路和软件(和/或固件)的组合,诸 如(如果适用):(i)针对处理器(多个)的组合或(ii)处理器(多个)/软件(包含数字 信号处理器(多个)、软件和存储器(多个),其一起工作以使得装置(诸如移动电话或服 务器)执行各种功能)的部分;和(c)电路,诸如微处理器(多个)或微处理器(多个)的 一部分,其需要软件或固件以用于操作,即使软件或固件不是物理呈现的。
[0086] "电路"的这种定义应用于本申请中(包含在任何权利要求中)的这个术语的所有 使用。作为又一个示例,如在本申请中使用的,术语"电路"还将覆盖仅处理器(或多个处理 器)或处理器的一部分以及其(或它们的)附带的软件和/或固件的实现方式。术语"电 路"还将覆盖(例如以及如果可以适用于特定要求保护的元素)用于移动电话的基带集成 电路或专用集成电路或服务器、蜂窝网络设备或其它网络设备中的类似的集成电路。
[0087] 如此处使用的'模块'指不包括将由端制造商或用户添加的某些部件/组件的单 元或装置。处理电路40可以是模块。
[0088] 在图9、图10A和图10B中说明的框可以表示方法中的步骤和/或计算机程序46 中的代码段。针对框的特定顺序的说明不是必须意味着对于框有要求或优选的顺序,并且 框的顺序和布置可以变化。此外,省略一些框也是可能的。
[0089] 虽然已经在前述段落中参照各种示例描述了本发明的实施例,但是应用了解的 是,在不背离根据权利要求的本发明的范围的情况下,能够做出针对给定示例的修改。
[0090] 在前述描述中所描述的特征可以在与不同于明确描述的组合的组合中使用。
[0091] 虽然,已经参照某些特征描述了功能,但是可以由其它特征来执行那些功能而不 管是否描述。
[0092] 虽然已经参照某些实施例描述了特征,但是在其它实施例中也可以存在那些特征 而不管是否描述。
[0093] 虽然在上述说明书中力图着重于本发明被认为是特别重要的那些特征,但应当理 解的是,发明人要求任何可专利特征或者附图中示出和/或指出的上述特征的组合方面的 保护,而不管是否对其进行了特定的重点介绍。
【权利要求】
1. 一种方法,包括: 数子化处理来自第一视角的场景的第一图像,以识别由所述场景中的前向对象遮蔽的 在成像平面处的所述场景的第一被遮蔽的部分; 数子化处理来自第二视角的所述场景的第二图像,以识别由所述场景中的所述前向对 象遮蔽的在所述成像平面处的所述场景的第二被遮蔽的部分;以及 如果所述场景的所述第一被遮蔽的部分和所述场景的所述第二被遮蔽的部分在所述 成像平面处是重叠的,则输出不能成功地处理所述第一图像和所述第二图像以产生没有所 述前向对象的所述场景的第三合成图像的指示。
2. 根据权利要求1所述的方法,其中输出所述指示包括在取景显示器中高亮所述对 象。
3. 根据权利要求1或2所述的方法,其中执行数字化处理所述第一图像,数字化处理所 述第二图像以及输出所述指示,作为在捕获和存储所述第一图像和所述第二图像作为可检 索的数据结构之前执行的图像合成阶段的一部分。
4. 根据任何前述权利要求中所述的方法,还包括自动地确定所述成像平面。
5. 根据任何前述权利要求中所述的方法,还包括基于焦距设置来确定所述成像平面。
6. 根据任何前述权利要求中所述的方法,其中所述成像平面被定位在更远的对象处, 该更远的对象部分地位于以下之内:至少所述第一被遮蔽的部分和所述第二被遮蔽的部分 两者;以及所述第一被遮蔽的部分或所述第二被遮蔽部分。
7. 根据任何前述权利要求中所述的方法,其中所述成像平面被定位在一种距离处,在 该距离中更远的对象被检测为与所述第一被遮蔽的区域的边缘重叠以及被检测为与所述 第二被遮蔽的区域的边缘重叠。
8. 根据权利要求1至5中的任何一项所述的方法,其中所述成像平面被定位在无穷远 处。
9. 根据任何前述权利要求中所述的方法,其中所述前向对象是用户选择的。
10. 根据权利要求1至8中的任何一项所述的方法,其中所述前向对象是自动选择的。
11. 根据权利要求1至10中的任何一项所述的方法,其中所述前向对象是所述场景中 的最前面的对象。
12. 根据权利要求1至10中的任何一项所述的方法,其中所述前向对象不是最前面的 对象,以及是具有在所述第一图像中和在所述第二图像中由更远的前向对象遮蔽的部分以 及在所述第一图像和所述第二图像中的仅一个图像中由所述更远的前向对象遮蔽的部分 的对象。
13. 根据任何前述权利要求中所述的方法,还包括数字化处理所述第一图像和所述第 二图像以计算用于所述场景的深度图。
14. 根据任何前述权利要求中所述的方法,还包括使用深度图以确定所述对象。
15. 根据任何前述权利要求中所述的方法,还包括使用深度图以确定所述图像平面。
16. 根据任何前述权利要求中所述的方法,还包括使用深度图通过使用在成像的场景 中的所述对象的相对大小和所述对象与所述成像平面的距离来确定所述场景的所述第一 被遮蔽的部分和所述场景的所述第二被遮蔽的部分是否在所述成像平面处重叠。
17. 根据任何前述权利要求中所述的方法,其中如果背景的所述第一被遮蔽的部分和 所述第二被遮蔽的部分不重叠,则输出能够成功处理所述第一图像和所述第二图像以产生 没有所述前向对象的所述场景的第三合成图像的指示。
18. 根据任何前述权利要求中所述的方法,其中输出能够成功处理所述第一图像和所 述第二图像以产生没有所述前向对象的所述场景的第三合成图像的指示包括在显示器中 1?壳所述对象。
19. 根据任何前述权利要求中所述的方法,还包括处理所述第一图像和所述第二图像 以产生具有所述前向对象呈现但是提供能够去除所述前向对象的指示的所述场景的第三 合成图像。
20. 根据任何前述权利要求中所述的方法,还包括处理所述第一图像和所述第二图像 以产生没有所述前向对象的所述场景的第三合成图像。
21. 根据权利要求20所述的方法,还包括响应于由用户选择的所述前向对象来处理所 述第一图像和所述第二图像以产生没有所述前向对象的所述场景的第三合成图像。
22. 根据任何前述权利要求中所述的方法,还包括: 使用位于第一方位处的相机传感器从第一视角来记录所述第一图像;以及 使用位于所述第一方位处的所述相机传感器从第二视角来记录所述第二图像。
23. 根据任何前述权利要求中所述的方法,其中通过使用在平行于所述成像平面的平 面中的彼此偏移的多个传感器来提供所述第一视角和所述第二视角之间的差异。
24. 根据任何前述权利要求中所述的方法,包括对于不同的成像平面,重复任何前述权 利要求的所述方法。
25. 根据任何前述权利要求中所述的方法,包括对于不同的前向对象,重复任何前述权 利要求的所述方法。
26. -种计算机程序,当在计算机上运行所述计算机程序时,所述计算机程序执行:权 利要求1至25中的任何一项所述的方法。
27. -种装置,包括: 至少一个处理器;以及 包含计算机程序代码的至少一个存储器,所述至少一个存储器和所述计算机程序代码 被配置为使用所述至少一个处理器使得所述装置至少执行权利要求1至25中的任何一项 所述的方法。
28. -种装置,包括用于执行权力要求1至25中的任何一项所述的方法的构件。
29. -种装置,包括: 至少一个处理器;以及 包含计算机程序代码的至少一个存储器 所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得 所述装置至少执行: 数子化处理来自第一视角的场景的第一图像,以识别由所述场景中的前向对象遮蔽的 在成像平面处的所述场景的第一被遮蔽的部分; 数子化处理来自第二视角的所述场景的第二图像,以识别由所述场景中的所述前向对 象遮蔽的在所述成像平面处的所述场景的第二被遮蔽的部分;以及 如果所述场景的所述第一被遮蔽的部分和所述场景的所述第二被遮蔽的部分在所述 成像平面处是重叠的,则输出不能成功地处理所述第一图像和所述第二图像以产生没有所 述前向对象的所述场景的第三合成图像的指示。
30. 根据权利要求29所述的装置,其中所述至少一个存储器和所述计算机程序代码被 配置为使用所述至少一个处理器使得所述装置至少执行: 自动地确定所述成像平面。
31. 根据权利要求29或30所述的装置,其中所述至少一个存储器和所述计算机程序代 码被配置为使用所述至少一个处理器使得所述装置至少执行: 基于焦距设置来确定所述成像平面。
32. 根据权利要求29至31中的任何一项所述的装置,其中所述至少一个存储器和所述 计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行: 检测更远的对象,该更远的对象部分地位于以下之内:至少所述第一被遮蔽的部分和 所述第二被遮蔽的部分两者;以及所述第一被遮蔽的部分或所述第二被遮蔽部分;以及 将所述成像平面定位在所检测的更远的对象处。
33. 根据权利要求29至31中的任何一项所述的装置,其中所述至少一个存储器和所述 计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行: 检测更远的对象为与所述第一被遮蔽的区域重叠以及为与所述第二被遮蔽的区域重 置;以及 将所述成像平面定位在所检测的更远的对象处。
34. 根据权利要求29至33中的任何一项所述的装置,其中所述至少一个存储器和所述 计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行: 自动地选择所述前向对象。
35. 根据权利要求29至34中的任何一项所述的装置,其中所述至少一个存储器和所述 计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行: 自动地检测具有在所述第一图像中和在所述第二图像中由更远的前向对象遮蔽的部 分以及具有在所述第一图像和所述第二图像中的仅一个图像中由所述更远的前向对象遮 蔽的部分的对象;以及 自动地选择所检测的对象为所述前向对象。
36. 根据权利要求29至35中的任何一项所述的装置,其中所述至少一个存储器和所述 计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行: 数字化处理所述第一图像和所述第二图像以计算用于所述场景的深度图。
37. 根据权利要求29至36中的任何一项所述的装置,其中所述至少一个存储器和所述 计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行: 使用深度图以确定所述对象。
38. 根据权利要求29至37中的任何一项所述的装置,其中所述至少一个存储器和所述 计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行: 使用深度图通过使用在成像的场景中的所述对象的相对大小和所述对象与所述成像 平面的距离来确定所述场景的所述第一被遮蔽的部分和所述场景的所述第二被遮蔽的部 分是否在所述成像平面处重叠。
39. 根据权利要求29至38中的任何一项所述的装置,其中所述至少一个存储器和所述 计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行: 如果背景的所述第一被遮蔽的部分和所述第二被遮蔽的部分不重叠,则输出能够成功 处理所述第一图像和所述第二图像以产生没有所述前向对象的所述场景的第三合成图像 的指示。
40. 根据权利要求29至39中的任何一项所述的装置,其中所述至少一个存储器和所述 计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行: 处理所述第一图像和所述第二图像以产生具有所述前向对象呈现但是提供能够去除 所述前向对象的指示的所述场景的第三合成图像。
41. 根据权利要求29至40中的任何一项所述的装置,其中所述至少一个存储器和所述 计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行: 处理所述第一图像和所述第二图像以产生没有所述前向对象的所述场景的第三合成 图像。
42. 根据权利要求29至41中的任何一项所述的装置,其中所述至少一个存储器和所述 计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行: 数字化处理来自第一视角的场景的第一图像,以识别由所述场景中的第一前向对象遮 蔽的在第一成像平面处的所述场景的第一被遮蔽的部分; 数字化处理来自第二视角的场景的第二图像,以识别由所述场景中的所述第一前向对 象遮蔽的在所述第一成像平面处的所述场景的第二被遮蔽的部分;以及 如果所述场景的所述第一被遮蔽的部分和所述场景的所述第二被遮蔽的部分在所述 成像平面处重叠,则输出不能成功地处理所述第一图像和所述第二图像以产生没有所述第 一前向对象的所述场景的第三合成图像的指示,以及 数字化处理来自所述第一视角的场景的所述第一图像,以识别由所述场景中的第二前 向对象遮蔽的在第一成像平面处的所述场景的第三被遮蔽的部分; 数字化处理来自所述第二视角的场景的所述第二图像,以识别由所述场景中的所述第 二前向对象遮蔽的在所述第一成像平面处的所述场景的第四被遮蔽的部分;以及 如果所述场景的所述第三被遮蔽的部分和所述场景的所述第四被遮蔽的部分在所述 第一成像平面处重叠,则输出不能成功处理所述第一图像和所述第二图像以产生没有所述 第二前向对象的所述场景的第三合成图像的指示。
43. 根据权利要求29至41中的任何一项所述的装置,其中所述至少一个存储器和所述 计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行: 数字化处理来自第一视角的场景的第一图像,以识别由所述场景中的第一前向对象遮 蔽的在第一成像平面处的所述场景的第一被遮蔽的部分; 数字化处理来自第二视角的场景的第二图像,以识别由所述场景中的所述第一前向对 象遮蔽的在所述第一成像平面处的所述场景的第二被遮蔽的部分;以及 如果所述场景的所述第一被遮蔽的部分和所述场景的所述第二被遮蔽的部分在所述 成像平面处重叠,则输出不能成功地处理所述第一图像和所述第二图像以产生没有所述第 一前向对象的所述场景的第三合成图像的指示,以及 数字化处理来自所述第一视角的场景的所述第一图像,以识别由所述场景中的第二前 向对象遮蔽的在第二成像平面处的所述场景的第三被遮蔽的部分; 数字化处理来自所述第二视角的场景的所述第二图像,以识别由所述场景中的所述第 二前向对象遮蔽的在所述第二成像平面处的所述场景的第四被遮蔽的部分;以及 如果所述场景的所述第三被遮蔽的部分和所述场景的所述第四被遮蔽的部分在所述 第二成像平面处重叠,则输出不能成功处理所述第一图像和所述第二图像以产生没有所述 第二前向对象的所述场景的第三合成图像的指示。
【文档编号】H04N5/272GK104145479SQ201280069262
【公开日】2014年11月12日 申请日期:2012年2月7日 优先权日:2012年2月7日
【发明者】O·H·A·许韦里宁 申请人:诺基亚公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1