用于在图像中识别虚拟视觉信息的方法和装置的制作方法

专利名称：用于在图像中识别虚拟视觉信息的方法和装置的制作方法
技术领域：
本发明涉及用于在至少两幅图像中识别虚拟视觉信息(virtual visualinformation)的方法和装置，所述至少两幅图像来自包括真实视觉信息及所述虚拟视觉信息的视觉场景的连续图像的一个序列。
背景技术：
当使用一个或多个摄像头捕获真实世界场景的时候，仅捕获实际存在的而不是如通过投影来虚拟呈现的场景对象是满足需要的。一种示例可以是未来的视频会议系统用于使得多人之间能够视频会议，这些人物理上位于多个不同的会议室中。在该系统中，全部参与者被置于其中的虚拟环境可以通过在屏幕上的投影来呈现或者在真实会议室中存在的可用可视化设备中的一个或多个上被渲染。为捕获所需的信息，比如哪些人正在参与、他们的运动、他们的表情等，诸如此类以使得该虚拟环境能够被渲染，放置于不同会议室中的摄像头被使用。然而，这些摄像头不仅追踪会议室中的真实人物和对象，还追踪比如在这些相同会议室中的大屏幕上，被虚拟渲染的人物和对象。当真实人物当然需要被追踪来使得能够获得更好的视频会议体验时，他们的投影却不应该被追踪，或者至少应该在随后的步骤中被过滤出来。对该问题可能的现有解决方案使用固定放置的可视化设备，其与可导致简单规则的校准摄像头合作，以过滤不需要的虚拟信息。这可以被使用于在会议室中被固定放置的传统屏幕。该解决方案的问题在于，其仅对相对静态的场景有效，这些场景的组成是事先已知的。该解决方案也需要手动校准步骤，其在这些情况中呈现一个缺点，要求容易部署。另一个缺点关于该项事实，即与被投影的虚拟内容的屏幕区域相对应的被捕获图像的区域将被过滤，而不考虑其内容。当该方案适合于较旧类型的屏幕时，其可能不再适合较新的屏幕技术，比如当存在需要被显示的事物时，如显示一个人物讲话的剪辑视频，仅在特定区域处变为不透明的半透明屏幕。在该情形中，对特定摄像头被分配为“虚拟”的区域并非在全部时序实例(instances in time)上均是如此。使用该方案更难以支持移动摄像头。

发明内容
本发明实施例的一个目的因此在于提供一种用于在至少两幅图像中识别虚拟视觉信息的方法，该至少两幅图像来自包括真实视觉信息和该虚拟视觉信息的视觉场景的连续图像的一个序列，但该方法不存在现有技术方法的固有缺点。根据本发明的实施例，该目的通过包括以下步骤的方法来实现:-对所述至少两幅图像中的至少一幅执行特征检测，-确定所检测的特征在所述至少两幅图像之间的运动，由此获得一个运动组，-识别所述组中属于在基本垂直平面中的运动的运动，由此获得一组垂直运动，-将属于所述垂直运动的特征与所述至少两幅图像中的所述虚拟视觉信息关联，以此来识别所述虚拟视觉信息。
通过该方式，垂直平面中的特征的运动检测将被使用来识别与这些特征关联的图像部分的虚拟内容。这些特征可以是所识别的对象，比如人物、或一个桌子、或一面墙、一个屏幕、一个椅子、或者它们的部分诸如嘴、耳朵、眼睛......这些特征也可以是角落、或线条、或梯度、或更复杂的特征比如由算法提供的特征，算法如众所周知的尺度不变特征变换算法。
由于会议室内的虚拟屏幕信息通常将包括会议参与者的图像，其通常如通过说话、写字、转动他们的头部等来显示一些运动，并且由于屏幕位置可以被视为基本垂直的，对存在于该垂直平面中的运动的检测，以下被标识为垂直运动，可以作为将图像中的虚拟视觉内容识别为真实对象的真实运动的一种简单方法，因此非投影的人物，通常是三维运动，从而不处于垂直平面中。由此所识别的虚拟视觉信息则可以进一步在下一图像或视频处理步骤中从图像中过滤出来。
在本发明方法的一个实施例中，垂直运动被识别为所述运动组中通过单应性与第二运动组中属于所述特征的运动相关的运动，所述第二运动组是从第二图像序列中的至少两幅其它图像获得，并且所述至少两幅其它图像与所述第一图像序列中的所述至少两幅图像属于相同的时序实例(timing instances)。
由于确定两个运动组之间的单应性是一种略微直接及简单的操作，这些实施例提供了 一种简单的在垂直平面中的运动检测。这些运动通常对应于被投影在垂直屏幕上的运动，因此作为虚拟视觉信息的运动的代表。
第一运动组在第一影像序列上被确定，同时第二运动组也从由第二摄像头所捕获的相同场景的图像的第二序列被确定，或替代地，从仅包括虚拟信息的预定序列被确定。该预定序列可以比如对应于被投影在屏幕上的序列，并且可以单独影像或电视频道的方式被提供至该装置。
通过将第一序列的运动与第二序列的运动进行比较，并且识别哪些运动是单应性相关的，可以推出，与第二序列中的一些运动具有单应性关系的这些运动，因此是一个平面内的运动，因为这是一种单应性关系的特征。如果从场景信息中得知平面中不存在其它运动，比如全部人都在运动但仍坐在桌子周围，可以得出，所检测的运动是对应于屏幕上运动的运动，由于平面中不存在其它运动，因此与存在于垂直平面中的运动相对应。
然而，如果人物也在会议室周围运动，运动也可以在地面的水平平面上被检测。对于这些情况，一个额外的过滤出水平运动的过滤步骤，或替代地，一个额外的自平面中检测到的全部运动中仅选择在垂直平面中的运动的选择步骤，是合适的。
一旦垂直运动被发现，属于垂直运动的对应特征的各个图像部分则可以被识别为该虚拟视觉信息。
需要注意，垂直将相对于水平参考平面来被确定的，水平参考平面比如可以对应于会议室的地面或对应于第一摄像头的水平参考平面。垂直角度典型地为相对该参考水平平面90度，在垂直角度上允许的误差典型地为10度上下于该90度。
本发明也涉及用于执行本发明方法实施例的装置的实施例，并涉及包括用于执行本发明方法的代码的计算机程序产品，涉及包括该装置的图像分析装置。
需要注意，术语“耦合”，用于权利要求中，不应该被解释为仅限制于直接连接。因此，表述“设备A与设备B相耦合”的范围不应该被限制为其中设备A的输出直接连接至设备B的输入的设备或系统。这意味着A的输出与B的输入之间存在一条路径,其可以是包括其他设备或者装置的路径。需要注意，术语“包括”，用于权利要求中，不应该被解释为限制于其后所列出的装置。因此，表述“设备包括装置A和B”的范围不应该被限制为仅由元件A和B组成的设备。这意味着关于本发明，该设备的相关元件仅是A和B。


本发明的上述和其他目的和特征将变得更明显，并且本发明自身将通过参阅以下结合附图的实施例描述来被最好地理解。图1示出本发明的方法的第一变形的高度概括实施例，图2a_b示出了图1中模块200的更具体实现，图3-6示出了本发明方法的其它变形的更具体实现。
具体实施例方式描述和附图仅说明本发明的原理。因此它将被理解为本领域技术人员将能够设计，尽管未在此被明确地描述或示出，体现本发明的原理并被包含于其精神和范围内的各种装置。进一步地，在此所述的全部例子主要意在明确地仅用于教学目的来帮助读者理解本发明的原理与发明人所贡献的概念以促进本领域，并且将被解释为没有对这些具体列举的例子和条件的限制。此外，在此所有列举本发明的原理、方面及实施例的陈述，以及它们的具体示例，意在包括它们的等同方式。本领域技术人员应能理解，任何框图在此表示体现本发明原理的示例性电路的概念图。类似地，还将理解，任何流程表、流程图、状态转换图、伪代码，诸如此类，代表各种过程，其可以被充分地描述于计算机可读介质内并因此被计算机或处理器执行，无论这些计算机或处理器是否被明确示出。图1示出本发明方法的第一实施例的高度概括图解方案。自一个图像序列中的两幅图像IOtO及IOti上，运动特征被提取。该图像序列由一个源，比如单独或内置摄像头、
网络摄像头，......被标识为源O,来提供或记录。在时序的两个实例(two instances in
time),这些时序实例(timing instances)被标识为t0及ti,被标识为100及101的步骤中，各自的图像从该序列中获取或选择。两个时序实例充分地相互分离，以检测有意义的运动。这可以包括人类的运动，以及比如会议室中的其它项目的其它运动。典型值在0.1和2秒之间。运动特征提取发生在步骤200中，运动特征可以与特征的运动相关，比如运动矢量本身，或替代地，与属于单个特征的运动矢量的起点和终点的集合有关，因此与关于运动本身的特征更相关。参照图2来解释用于确定特征的运动的方法。一旦特征的运动被确定，将在步骤300中被检查其是否属于垂直运动，因此本文档中在垂直平面中的有意义运动。垂直平面被定义为在特定允许误差内与水平参考平面相对的平面。该水平参考面可以比如对应于会议室的地面，或对应于摄像头或提供图像的第一序列的源的水平参考平面。相对水平参考平面，垂直平面的典型值为80至100。垂直运动的确定是怎样实现的，将参照如图3来解释。垂直运动被搜索，由于这涉及该项事实:待识别的虚拟信息通常与人物或被投影在垂直平面上的他们的化身的图像相关。因此检测垂直运动将使得能够识别被投影的图像/房间中人物的代表，其之后将被识别为虚拟信息。
用于确定特征运动是否存在于垂直平面中的方法将参照图3-4被描述。
一旦特征在垂直平面中的运动被确定，这些特征将被识别并被关联回至源的捕获图像中它们各自的图像部分。这在步骤400及500中被执行。这些图像部分之后将被识别或被标识为虚拟信息，如果合适，其可以被过滤出来。
图2a_b示出了用于提取特征的运动的更具体实施例。在第一阶段201和202，特征在两幅图像IOtO和IOti中被检测和提取。特征可以涉及对象,也可以涉及更抽象的项，比如角落、线条、梯度、或更复杂特征如由算法提供的特征，算法如尺度不变特征变换算法，简称为Sift。特征提取可以使用标准方法比如canny边缘角落探测器或之前提到的Sift方法来完成。由于两幅图像IOtO和IOti均来自记录相同场景的单个源所提供的相同序列，通过在两幅图像中识别相似或匹配特征来检测运动是可能的。然而也可以(在图中未被示出)仅在这些图像中的一幅上检测特征，并且之后通过对属于该图像中被检测特征的全部像素确定运动矢量的传统方法，通过用于确定像素或宏块(macroblocks)之间的运动矢量的惯用块匹配技术，确定特征的运动。
如图2a_b所示的实施例中，特征提取因此在两幅图像中被执行，所匹配特征之间的位移则提供了这些匹配特征之间的运动或运动矢量。这可以是每个特征有一个单个运动矢量，比如匹配对象的重力点的位移，或替代地，可以是一组用于识别组成对象的像素的位移的运动矢量。这也可以是用于替代方法的情形，其中特征提取仅在一幅图像上被执行，并且组成该特征的全部像素的位移被计算。同样在此例中，单个运动矢量可以从该组运动矢量中选择出来，用于表示该特征的运动矢量。
图2a_b中一幅图像与另一幅之间的特征匹配以及相应的特征的运动的确定在步骤203中被执行，因此导致每个匹配特征具有一个或多个运动矢量。该结果在图2a-b中被标识为运动矢量。为了仅选择有意义的运动，可选的过滤步骤204可以存在。这可以被用于比如过滤掉如可归于噪音的小的运动。该过滤步骤通常通过排除所有检测到的低于特定阈值的运动来进行，该阈值通常与摄像头的特征相关。
该可选过滤步骤的结果是可以作为有意义的运动的代表的运动矢量，因此处于特定噪音阈值之上。运动矢量可以据此被提供，如以图2a中的方式，或，如图2b中的可替代实施例，对每个特征集合其运动矢量起点及终点是合适的。
在下一阶段，由此所检测的特征运动，或替代地，与特征的运动相关的特征，将经历用于确定它们是否属于在垂直平面中的运动的检查。
图3示出用于确定特征的运动是否处于垂直平面中的优选实施例。在图3的实施例中，这通过识别在所识别的特征的运动与相同特征的第二组运动之间是否存在单应性关系的方法来进行。该第二运动组可以类似方法从由第二摄像头或源所记录的相同场景的图像的第二序列来确定。该实施例在图3中示出，其中第二源被标识为源1，并且从第二源中选择的图像被标识为IItO和Ilti。图像IOtO及IItO将在相同的时序实例(same instancein time)被获取及标识。同样处理图像IOti和Ilti,其时序实例(timing instance)在此被标识为ti。
替代地，第二序列可以由外部提供，比如来自适于创建用于被投影在垂直屏幕上的虚拟序列的合成应用。该合成应用可以作为提供待显示在屏幕上的内容的源被提供至该装置，并因此仅包括虚拟信息，比如在大会议室中一起开会的全部人物的虚拟场景。从该仅包括虚拟信息的序列，图像将在实例to和ti再一次被获取，同时特征提取和特征运动确定操作被执行。两个所识别的特征运动组之后被提交至确定两组的多个运动之间是否存在单应性关系的步骤。单应性关系的存在是属于同一平面的指示。在此方面，多个运动组中的每个组各自关联至将被获得的各自的平面。图3示出单应性关系是如何被获得的示例，即使用众所周知的RANSAC算法，RANSAC为随机抽样一致性的缩写。然而，替代的方法比如穷举搜索(exhaustive searching)也可以被使用。该步骤的结果因此是一组或多组运动，每组属于一个平面中的运动。跟随该步骤之后的可以是仅选择属于垂直平面的运动组的可选的过滤或选择步骤，尤其对于那些其它平面中的运动也将被期待的情形。这可以是，比如用于在房间中走动的人的情形，其也将创建在水平地面上的运动。在一些实施例中，摄像头可以被假设为水平放置，因此代表参考水平平面，平面相对摄像头的方向可以基于单应性通过单应性分解方法被计算，单应性分解方法对于本领域技术人员是已知的并且比如公开于http://hal.archives-ouvertes.fr/docs/00/17/47/39/PDF/RR-6303.pdfo这些技术可以之后被用于自平面中的全部运动的组中选择垂直运动。当确定垂直运动，与它们有关的特征也再次被确定，随后通过它们在图像IOtO和IOti中各自部分上的映射，这些图像部分于是被识别为属于虚拟信息。在使用记录相同场景的第二摄像头或源的实施例的情形下，所识别的垂直运动也可以被关联回至图像IltO和Ilti中的特征和图像部分。图4示出与图3相似的一个实施例，但包括额外的集合之前实例的步骤。该集合步骤使用之前时序实例中所确定的特征，其在单应性的确定时可能有帮助。图5示出另一个实施例，但其中用于两个源的多个时序实例，比如视频序列的多个帧，被追踪来用于发现匹配特征。自追踪个体特征的个体运动获得的合成运动矢量之后将用于两个序列。单应性关系则将被搜索来用于沿合成的路径运动的特征。这具有知晓相同运动路径中的特征应在相同单应性的优点。这降低了该问题的不受约束的程度，便于更容易的确定通过单应性相关的特征。图6示出通过追踪沿着运动路径的特征，合成运动矢量可以怎样被使用的示例。这允许来执行中间过滤操作，比如用于过小的运动。当本发明的原理已经结合具体的装置被描述如上，可清楚地理解该描述仅通过举例方式进行，且并非对本发明的范围的限制，该范围由所附的权利要求所限定。
权利要求
1.用于在至少两幅图像中识别虚拟视觉信息的方法，所述至少两幅图像来自包括真实视觉信息及所述虚拟视觉信息的视觉场景的连续图像的第一序列，所述方法包括以下步骤: -对所述至少两幅图像中的至少一幅执行特征检测， -确定所检测的特征在所述至少两幅图像之间的运动，由此获得一个运动组， -识别所述组中属于在基本垂直平面中的运动的运动，由此获得一组垂直运动， -将属于所述垂直运动的特征与所述至少两幅图像中的所述虚拟视觉信息关联，以此来识别所述虚拟视觉信息。
2.根据权利要求1所述的方法，其中垂直运动被识别为所述运动组中通过单应性与第二运动组中属于所述特征的运动相关的运动，所述第二运动组是从第二图像序列中的至少两幅其它图像获得，并且所述至少两幅其它图像与所述第一图像序列中的所述至少两幅图像属于相同的时序实例。
3.根据权利要求2所述的方法，其中所述第二图像序列由记录所述相同视觉场景的第二摄像头提供。
4.根据权利要求2所述的方法，其中所述第二图像序列中的所述至少两幅图像仅包括所述虚拟信息。
5.根据权利要求2所述的方法，进一步包括选择垂直平面内通过单应性相关的运动的步骤。
6.根据权利要求1所述的方法，其中进一步包括基于在时间上相互分离来自所述第一序列选择所述至少两幅图像，以此来使得所述特征的运动能够确定。
7.根据权利要 求1所述的方法，其中所述基本垂直平面相对所述场景的水平参考平面具有80至100度的倾角。
8.用于在至少两幅图像中识别虚拟视觉信息的装置，所述至少两幅图像来自包括真实视觉信息及所述虚拟视觉信息的视觉场景的连续图像的第一序列，所述装置适用于接收所述连续图像的第一序列以及适用于 -对所述至少两幅图像中的至少一幅执行特征检测， -确定所检测的特征在所述至少两幅图像之间的运动，由此获得一个运动组， -识别所述组中属于在基本垂直平面中的运动的运动，由此获得一组垂直运动， -将属于所述垂直运动的特征与所述至少两幅图像中的所述虚拟视觉信息关联，以此来识别所述虚拟视觉信息。
9.根据权利要求8所述的装置，进一步适用于将垂直运动识别为所述组中通过单应性与第二运动组中属于所述特征的运动相关的运动，其中所述装置进一步适用于从提供给所述装置的第二序列中的至少两幅其它图像获得所述第二运动组，并且所述至少两幅其它图像与所述第一序列中的所述至少两幅图像属于相同的时序实例。
10.根据权利要求9所述的装置，进一步适用于自第二摄像头接收所述第二图像序列，所述第二摄像头与提供所述第一图像序列至所述装置的第一摄像头同时记录所述相同视觉场景。
11.根据权利要求9所述的装置，其中所述第二图像序列仅包括所述虚拟信息，从而所述装置适用于自在所述装置注册为仅提供虚拟信息的视频源接收所述第二图像序列。
12.根据权利要求9所述的装置，进一步适用于选择垂直平面内通过单应性相关的运动。
13.根据权利要求8所述的装置，进一步适用于自所述第一序列选择所述至少两幅图像，以致所述至少两幅图像在时间上相互分离，以此来使得所述特征的运动能够确定。
14.根据权利要求8所述的装置，其中所述基本垂直平面相对所述场景的水平参考平面具有80至100度的倾角。
15.计算机程序，包括当在数据处理装置上被执行时，适用于执行如在先权利要求1至7中任一项所述的任何步骤的软件。`
全文摘要
用于在至少两幅图像中识别虚拟视觉信息的方法，所述至少两幅图像来自包括真实视觉信息及所述虚拟视觉信息的视觉场景的连续图像的第一序列，该方法包括以下步骤对所述至少两幅图像中的至少一幅执行特征检测，确定所检测的特征在所述至少两幅图像之间的运动，由此获得一个运动组，识别所述组中属于在基本垂直平面中的运动的运动，由此获得一组垂直运动，将属于所述垂直运动的特征与所述至少两幅图像中的所述虚拟视觉信息关联，以此来识别所述虚拟视觉信息。用于执行该方法的实施例的装置也被公开。
文档编号G06K9/00GK103155002SQ201180048807
公开日2013年6月12日 申请日期2011年10月3日 优先权日2010年10月6日
发明者唐尼·媞加替, 萨米·利芬斯, 马滕·阿兹 申请人:阿尔卡特朗讯