专利名称：识别物体运动模式的方法
识别物体运动模式的方法本发明涉及一种方法和一种运动识别器，用于通过确定在至少一 个物体的图像或图像序列中在所述至少一个物体周围的相对运动模 糊变化，来识别所述至少一个物体的运动模式。众所周知，在由固定相机拍摄的物体图像中，如果在拍摄图像时 物体正在运动，那么在图像中物体周围就会存在运动模糊。例如，如 果物体是沿着水平轴行走的人，则在人周围的模糊会出现在人的左右 两侧。因此，无法判断人是沿着轴从左向右行走，还是从右向左行走。US6，766，036公开了一种方法，用于控制车辆的功能装置，其中， 用户通过各种与位置和方位相关的功能来与车辆互动，例如通过借助 于使用光源来以上/下运动移动他的手指，其中通过相机来检测光源 的不同位置。基于该检测，确定该装置的想要的控制功能。该发明公 开了用亮度变化来确定和/或追踪物体目标数据，在此使用了明亮的 目标，例如LED或反光镜。如果目标图像出现运动，那么在特定方 向上就会辨认出模糊，其中模糊方向也指示轴向运动。该公开存在的问题是对于用户相当的不友好，因为该发明需要用 户必需穿戴所述光源，在此光源是明亮的且易于被所述相机识别。而 且，在US6，766，036中，由于在该参考文献中仅从模糊中提取方向参 数，因此只能以非常受限的方式来使用模糊。本发明的一个目的是借助于扩展在运动模糊中所提供信息的用 途并在识别物体运动模式时实现所述用途，来解决上述问题。根据一个方面，本发明涉及一种通过确定在至少一个物体的图像 中或图像序列中在所述至少一个物体周围的相对运动模糊变化来识 别所述至少一个物体的运动模式的方法，所述方法包括步骤 一从所述图像或所述图像序列中的运动模糊中提取运动模糊参数， 以及一确定在所述运动模糊参数之间的变化。
因此，提供了一种非常容易且用户友好的方法，用于基于运动模 糊的变化来识别物体的运动模式。所述物体可以是人、人手、手指等。 所述方法可以在手势识别中实施，在此用户可以简单地通过指向或使 用任一种手语来与手势识别系统(例如拟人系统)互动，其例如更适 于非常嘈杂的环境中。实施该方法的另一个实例是通过使用计算机和例如网络摄像头(webcam)或任何一种相机而用于手语识别中，其 中，不再需要现有技术方法所用的位置传感器。这使得本方法比其它 现有技术方法成本低的多，并更易于实现。在一个实施例中，所述模糊参数包括所检测的运动模糊的范围， 其中该范围用作物体速度的指示器。因此，获得了对于物体相对速度 的指示器，在此较低范围表示低速，较大范围表示高速。在一个实施例中，使用所述图像序列中所述物体的所检测运动模 糊的所述范围的时间进展(time evolution),来识别所述物体的运动 模式。由此，通过对在不同时间值上所拍摄的多个图像的所检测运动 模糊的范围进行检测，能够根据所述图像确定物体是在加速还是以恒 定速度运动，即获得物体的一维运动状态。在一个实施例中，使用在同一图像内的两个或更多物体之间的所 检测运动模糊的相对范围，来识别在所述图像内的所述物体的相对速 度。由此，基于所检测运动模糊的所述相对范围，能够确定例如在同 一图像内的两个或更多物体中哪一个运动最快，哪一个运动第二快等 等。在一个实施例中，所述运动模糊参数包括模糊的方向，其中通过 确定在所述方向中的变化，来获得物体的轨迹。由此，例如能够跟随 人在房间中的轨迹，其例如显著地增强了所述手势识别。而且，通过 结合所述方向和所述范围参数，获得了物体的三维运动状态。在一个实施例中，所述图像或所述图像序列包括由静态相机拍摄 的一个(或多个)固定图像。在另一个实施例中，所述图像序列包括 由移动相机拍摄的图像，其中从模糊中减去由于所述移动所造成的、 在所述图像中所述至少一个物体周围的运动模糊。前一个采集系统可 以是网络摄像头，第二采集系统可以是监视摄像机，在此从所述图像
中的模糊中减去背景模糊。在另一方面，本发明涉及一种计算机可读取介质，包含存储在其 中的指令，用于使处理单元执行所述方法。根据另一方面，本发明涉及一种运动识别器，通过确定在至少一 个物体的图像或图像序列中所述至少一个物体周围的相对运动模糊 变化来识别所述至少一个物体的运动模式，所述运动识别器包括 一用于从所述图像或所述图像序列中的运动模糊中提取运动模糊 参数的处理器，以及一用于确定在所述运动模糊参数之间的变化的处理器。参考下文中所述的实施例的说明，本发明这些以及其它方面会变 得显而易见。以下将参考附图来说明本发明的优选实施例，在此
图1—3示出了在三种不同运动条件下人的三个静止图像；图4 (a) - (d)示出了本发明的一个实例，显示了为识别物体的运动模式，对在连续图像之间的局部运动模糊宽度的时间变化； 图5示出了图(a) - (d)区域中模糊的放大图； 图6示出了根据本发明的方法，用于基于物体的至少一个图像来识别该物体的运动模式；以及图7示出了根据本发明的运动识别器，用于识别物体的运动模式。图l一3示出了在三种不同运动条件下人100的三个静止图像， 在此用相机(例如数码相机、网络摄像头、监视摄像机等)拍摄所述 图像。在图1中，人100静止站立，在图2中人按箭头103所指从右 向左移动，在图3中人按箭头104所指从左向右移动。根据本发明， 模糊101、 102用作信息源，用于识别物体的运动模式，g卩，在此情 况下识别人100的运动模式。因此，不是将模糊认为是应被消除的噪 声，而是将模糊用于提取模糊运动参数，随后使用这些参数来识别物 体相对于所述相机的运动模式。在此，假定相机处于固定位置，以便 图像中没有背景模糊，否则如果在拍摄图像时相机移动，就会出现这 种情况。在相机移动的情况下，由于相机的移动，当处理图像时，背
景模糊就必须被减去。图1中没有检测到模糊的实际情况表明人是静止站立的。如图2 和3所示，运动模糊101、 102表明人或者从左到右、或者从右到左 运动。由于模糊IOI、 102出现在人100的两侧，因此不能确定由箭 头103、 104所指定的实际方向。在一个实施例中，人100 (物体)的运动模式包括人100的轨迹， 其中通过确定运动模糊101、 102的位置作为用于人100的图像序列 的时间函数是如何变化的，来确定轨迹。在另一个实施例中，人IOO (物体)的运动模式包括确定人100 是以恒定速度运动还是加速运动。这可以基于作为用于人100的图像 序列的时间函数的运动模糊范围中的变化而确定。如图2和3所示， 由于在两个图像之间的范围基本上相同，因此在两个图像中的人100 是以基本上相同的速度运动。通过将该运动模式与人100的所述轨迹 相结合，可以获得人100 (物体)的详细运动状态。在本发明的再另一个实施例中，使用运动模糊的范围来确定物体 的绝对速度。以此方式，通过考虑例如一个物体的仅仅一幅图像，使 用运动模糊的范围来确定物体速度的绝对值。必须执行将模糊的范围 "ext"与物体速度V(ext)相联系的校准，在此例如V(ext) ext。例如，本发明能够实施于测速器。在此，假设物体速度与运动模糊的范围 "ext"成比例。在这个简化的实例中，校准参数是常数，即 V(ext)=const*eXt。物体例如可以是汽车，相机是测速相机。在最简化 的实施例中，假设在相机与物体之间的距离总是固定的，例如，相机 位于街道上方或在街道一侧。校准当然还可以包括在物体与相机之间 的距离。图4 (a) - (d)示出了本发明的一个实例，显示了在四个连续图 像之间的局部运动模糊范围的时间变化，其中，对这些变化进行处理， 并用于识别物体是以恒定速度运动还是加速运动。如在此所示的，该 物体是图1中所示的人100，基于由所述相机在四个不同时间值tl-t4 上所探测的图像序列(a)-(d)来识别人的运动模式，在此tKt2〈t3〈t4。 随后，从所述图像中提取与在401a-402d中的运动模糊范围相关的运 动模糊参数。随后，将这些参数用于识别相对于所述相机的位置的运动模式。局部模糊范围401a-401d的增大表明人正在以正加速度加速 运动。图4 (a) - (d)也能够被认为是四个不同人的单个图像。通过确 定这四个人之间的相对范围，能够确定这四个人之间的相对速度。因 此，由于人(a)的模糊范围最小，人(b)的第二小，人(c)的第 二大，及人(d)的最大，随之而来的是人(a)的速度最小，人(b) 的第二小，人(c)的第二大，及人(d)的最大，即V(a)<V(b)<V(c)<V(d)， 在此V是物体的速度。在没有速度校准的情况下(在此，对速度进 行测量，并将其与固定距离的运动模糊范围相关联)，不能预测 V(a，b,c,d)运动得有多快。只能够确定相对速度差。然而，通过进行所 述校准，还能够获得这些速度。图5示出了图4中区域401a-401d中模糊的放大图，在此我们假 设这四个人是同一个人。在用于所述四个平均分布的时间值tl-t4的 曲线图500中，在纵轴上绘出局部模糊401a-401d的范围dl-d4 502-505。如在此所示的，在时间tl，以任意单位给出的模糊范围dl 在tl是最小的，但稳定的增大，并在时间值t4变为最大d4。范围随 时间的增大表明了从左到右或从右到左运动的人100的运动模式是 加速运动。此外，由于直线506，该加速运动是等加速度的。如前所述，还能够通过额外确定表明运动模糊位置的运动模糊参 数是如何随用于图4 (a) - (d)中图像序列的时间而变化的，来额外 地使用人100的轨迹。实现本发明的一种方式是与手势相关联，例如用于监视人102是 到达还是离开，或者用于一些基本命令，通常出现在对话系统期间， 如停止与拟人系统的互动、等待、返回、继续、求助等。例如，当环 境过于嘈杂时，这可以允许避免与系统的语音互动。真正的多模式互 动也是可能的，在该情况下，人102同时通过语音和手势提供补充信 息的。例如如果人102想要图像源在指定方向上移动，他/她可以说 "请看这个方向"，并通过在该方向中移动他/她的手臂来显示该方 向。
实现本发明的另一种方式是在手语解释中，通过使用计算机和摄 像头来代替位置传感器。具有普通个人计算机的用户因此可以将手语 转录为位于其前面的文本，或者使用文本到语音软件，将文本转换为 可听见的语音。图6示出了一种根据本发明的方法，用于基于物体的至少一个图 像来识别物体的运动模式。开始，例如通过数字摄像机在步骤601中 拍摄多个静止图像(C—A)。随后，在步骤602中从图像中检测到模 糊(D一B)，并且基于该检测，在步骤603中提取运动模糊参数(E)。 例如，可以借助于通过计算利普希茨系数(lipschitzcoefficient)测量 图像中边缘的连续性来进行对运动模糊的检测，其中，如果边缘是清 晰的，则其对应于图像梯度的方向中的强不连续性，如果它是模糊的， 则其就对应于平滑的不连续性。存在几种方法来提取运动模糊参数， 例如Mallet等人的"S. Mallet and W.L.Hwang, Singularity detection and processing with wavelets, IEEE Transactions on Information Theory, vol. 32， no. 2， March 1992"所公开的方法，其据此被包含作为参考。在捕捉图像时相机移动的情况下，由于相机移动所引起的"背景" 模糊必须在步骤604中从图像中减去/消除。在从检测到的模糊中提取运动模糊参数之后，在步骤605中为在 连续图像之间的运动执行偏差计算(V_C)。例如这可以包括计算运 动模糊参数的位置在两个相连图像之间是否改变，模糊的范围(例如 在物体的特定区域内)是否改变，以确定物体是以恒定速度运动，还 是加速运动。这些变化随后起到特征或输入参数的作用，用于例如步 骤606的算法中的手势分类/识别(G_C)。例如，如果用户用他/她的头来表明否定(通过摇头)，则模糊参 数按如下在用户脸部周围变化首先是脸部的清晰图像(没有模糊) _随后检测到一系列具有不同宽度的水平运动模糊(因为头部从中 间向一侧加速运动，随后在每一侧减慢甚至停止，并数次从一侧向另 一侧再次加速运动)最后是脸部新的清晰图像。
图7示出了根据本发明的运动识别器700，用于识别物体的运动 模式，其中识别器700包括相机701;处理器(P) 702，适于从所述 物体的图像704中提取模糊参数；以及存储器(M) 703，包含存储 在其中的识别软件。相机(C) 701用于提供图像，优选的是物体的 数字图像704，并能够集成在运动识别器700中，或者位于外部并通 过无线通信网络706与运动识别器700互连。这可以是例如图像源是 监视摄像机且运动识别器位于其它位置，例如中央服务器、警察局等 的情况。存储器703可以包含预先存储的一组规则，其结合所述运动 模糊参数来识别物体的运动模式。应指出上述实施例是说明本发明，而不是限制，本领域技术人员 将能够设计许多可选实施例，而不会脱离所附权利要求的范围。在权 利要求书中，位于括号中的任何参考标记都不应被解释为限制权利要 求。词语"包括"不排除除在权利要求中所列出的之外，其它元件或 步骤的存在。能够借助于包含几个不同元件的硬件，或借助于被适当 编程的计算机来实现本发明。在列举了几个装置的设备权利要求中， 这些装置中的几个可以由一个同一项硬件来包含。仅是在相互不同的 从属权利要求中阐述特定措施的事实并不表示这些措施的组合不能 够被用于产生良好效果。
权利要求
1、一种通过确定在至少一个物体(100)的图像或图像序列中所述至少一个物体(100)周围的相对运动模糊(101，102，401a-401d)变化来识别所述至少一个物体(100)的运动模式的方法，所述方法包括以下步骤从所述图像或所述图像序列中的运动模糊(101，102)中提取运动模糊参数，以及确定在所述运动模糊参数之间的变化。
2、 根据权利要求1的方法，其中，所述模糊参数包括所检测运 动模糊(101, 102， 401a-401d)的范围(502-505)，其中，将所述范 围用作所述物体(100)的速度的指示器。
3、 根据权利要求1或2的方法，其中，使用所述图像序列中所 述物体的所检测运动模糊(101， 102， 401a-401d)的所述范围的时 间进展，来识别所述物体(100)的运动模式。
4、 根据前述任意一项权利要求的方法，其中，使用在同一图像 内的两个或更多物体之间的所检测运动模糊(101， 102， 401a-401d) 的相对范围，来识别在所述图像内的所述物体的相对速度。
5、 根据前述任意一项权利要求的方法，其中，所述运动模糊(101 ， 102， 401a-401d)参数包括所述模糊的方向，其中，通过确定在所述 方向上的所述变化，来获得所述物体(100)的轨迹。
6、 根据前述任意一项权利要求的方法，其中，所述图像或所述 图像序列包括由固定相机(701)拍摄的一个或多个固定图像。
7、 根据前述任意一项权利要求的方法，其中，所述图像或所述 图像序列包括由移动相机(701)拍摄的图像，其中，从所述模糊(IOI， 102， 401a-401d)中减去由于所述移动所造成的、在所述图像或所述 多个图像中所述至少一个物体周围的运动模糊(101， 102， 401a-401d)。
8、 一种计算机可读取介质，包含存储在其中的指令，用于使处 理单元执行根据权利要求l一7中任意一项的方法。
9、 一种运动识别器(700)，通过确定在至少一个物体(100)的 图像或图像序列中所述至少一个物体(100)周围的相对运动模糊(101， 102， 401a-401d)变化来识别所述至少一个物体(100)的运 动模式，所述运动识别器(700)包括用于从所述图像或所述图像序列中的运动模糊(101， 102， 401a-401d)中提取运动模糊参数的处理器(702)，以及用于确定在所述运动模糊参数之间的变化的处理器(702)。
全文摘要
公开了一种方法和一种运动识别系统，用于通过确定在图像或图像序列中至少一个物体周围的相对运动模糊变化来识别所述至少一个物体的运动模式。从图像中的运动模糊中提取运动模糊参数，并在其基础上通过确定在运动模糊参数之间的变化来确定运动模糊变化。
文档编号G06K9/00GK101213563SQ200680023826
公开日2008年7月2日 申请日期2006年6月23日 优先权日2005年6月30日
发明者O·皮特奎因 申请人:皇家飞利浦电子股份有限公司