专利名称：通过照相机应用进行运动感应/识别的系统的制作方法
技术领域：
本发明是关于一种运动感应/识别系统，尤其是关于一种通过照相 机应用进行运动感应/识别的系统。
背景技术：
传统计算机和媒体播放器采用诸如键盘和鼠标的输入设备以接收 来自用户的信息和指令。因此，传统计算机和媒体播放器由于这些输入 设备而受到物理约束，并且用户与计算机之间的交互并非直观和本能的。
发明内容
本发明要解决的技术问题在于提供一种应用于诸如计算机的电子 设备的动作感应/识别系统，无须使用物理键盘/鼠标即可控制相关电子设 备。
为解决上述技术问题，本发明提供一种运动感应/识别系统。该运 动识别系统包括照相机，该照相机能够感知表示运动对象方位的信号并 产生针对该信号的监视信息。耦合与照相机的控制器能够根据监视信息 计算多个参数(例如，运动对象的速率，运动对象的运动矢量，以及所 述信号的闪烁频率)。控制器能够根据这多个参数产生运动对象的运动 数据并根据数据匹配算法将运动数据与至少一种运动数据参考值进行 比较，并根据比较结果产生动作匹配信号。由此，耦合与控制器的功能 模块能够接收动作匹配信号并根据动作匹配信号执行至少一种功能。与现有技术相比，本发明提供的运动识别系统能够感应/识别运动 对象的动作，并且功能模块能够根据运动对象的动作自动执行一种或多种功能。因此，运动识别系统可以使用户与电子系统间的交互变得更为 便捷和直观。
以下结合附图和具体实施例对本发明的技术方案进行详细的描 述，以使本发明的特征和优点更为明显。其中
图1所示为根据本发明的一个实施例的运动识别系统的方框图。 图2所示为根据本发明的另一个实施例的运动识别系统的方框图。图3所示为根据本发明的一个实施例的由图2中控制器执行的示范性操作过程的方框图。图4所示为根据本发明的一个实施例的由运动识别系统执行的操 作流程图。
具体实施方式
以下将对本发明的实施例给出详细的说明。虽然本发明将结合实 施例进行阐述，但应理解这并非意指将本发明限定于这些实施例。相反， 本发明意在涵盖由后附权利要求项所界定的本发明精神和范围内所定 义的各种可选项，可修改项和等同项。此外，在以下对本发明的详细描述中，为了提供一个针对本发明 的完全的理解，阐明了大量的具体细节。然而，本领域技术人员将理解， 没有这些具体细节，本发明同样可以实施。在另外的一些实例中，对于 大家熟知的方案、流程、元件和电路未作详细描述，以便于凸显本发明 之主旨。在一个实施例中，本发明提供了一种运动识别系统，用于识别运 动对象的运动。有利的是，使用识别系统可以根据运动对象的运动控制 功能模块执行至少一种功能。图1所示为根据本发明的一个实施例的运动识别系统100的方框 图。运动识别系统IOO包括照相机104，用于感知表示运动对象114 (例 如，人的右手)方位的信号120并产生对应信号120的监视信息122。此外，在一个实施例中，运动识别系统IOO包括耦合于照相机104的控 制器106，用于根据监视信息122计算多个参数并根据这多个参数产生 运动对象114的运动数据。控制器106能够根据数据匹配算法将运动对 象114的运动数据与至少一种运动数据参考值进行比较，并且能够根据 该比较结果产生动作匹配信号124。该动作匹配信号124可以表示运动 对象114的运动是否与某种参考性动作相匹配。在一个实施例中，信号120可以由实施于(附加于)运动对象114 上的信号发生器/反射器102所提供。在一个实施例中，可以由信号发 生器102产生信号120，其中信号发生器102可以是，但不限于，不可 见光源。例如，在一个实施例中，在运动对象114上可以采用不可见光 源102 (附加于运动对象114上)以产生信号120。该不可见光源可以 是，但不限于， 一种红外线发光二极管。信号120可以是，但不限于， 不可见光，例如红外线，等等。在另一个实施例中，信号120可以由反 射器102提供。例如，在运动对象114上可以采用反射器102 (附加于 运动对象114上)，以吸收可见光并反射由不可见光源产生的不可见光 (例如红外线)。更确切地说，不可见光源可用于将不可见光发射至反 射器。在一个实施例中，反射器能够吸收可见光，并且能够将来自不可 见光源的不可见光反射至照相机104。照相机104能够感应来自信号发生器/反射器102的信号120，并 产生对应信号120的监视信息122。在一个实施例中，监视信息122包 括，但不限于，表示信号120在某个时间是否出现的状态，以及信号 120在某个时间所处的位置，等等。有利的是，可以通过监视信号120 以感应运动对象114的运动。在一个实施例中，控制器106包括处理器108，用于接收监视信息 122并根据监视信息122计算多个参数。在一个实施例中，处理器108 能够根据多个参数产生运动对象114的运动数据。在一个实施例中，多 个参数可以包括，但不限于，运动对象114的速率、运动对象114的 运动矢量5，以及信号120的闪烁频率f。在一个实施例中，照相机104能够以一种预定频率对来自运动对象114的信号120进行采样，并生成监视信息122至控制器106，其中 监视信息122包括来自运动对象114的信号120在不同时间点(例如， to,t,， ...，tn)所处的多个位置(例如，p。,ph ...,pn)。在一个实施例中， 由于信号120能够用于表示运动对象114所处的位置，控制器106能够 根据信号120的多个位置(例如，po，p,, ...，pn)生成运动对象114的多 个运动矢量(例如，、i)及多个速率(例如，；，^,...，；)。 例如，在一个实施例中，如果来自运动对象114的信号120在时间 to处于位置p。且在时间t,处于位置p"那么运动对象114的运动矢量^ 在周期tr t。内可以由等式R^p「p。给出，并且运动对象114的平均速率； 在周期tr t。内可以由等式^-K;/(trt。)给出。在一个实施例中，如果信 号120在周期T内出现了 N次，信号120的闪烁频率f可以由等式f=N/T 给出。此外，照相机104能够感应来自第二信号发生器/反射器的第二信号， 其中第二信号发生器/反射器实施于(附加于)第二运动对象上(例如人的 左手，为简明起见，在图1中未示出)，并且将表示第二运动对象所处位 置的第二信号的监视信息输出至处理器108。有利的是，多个参数也可以 包括运动对象114相对于第二运动对象的相对速率A^ ，以及运动对象114 相对于第二运动对象的相对运动矢量^。假设在同一周期内，运动对象 114的运动矢量是^且第二运动对象的运动矢量是^，那么运动对象114 相对于第二运动对象的相对运动矢量可以由等式AS:^A-^给出。同样的， 假设在同一周期内，运动对象114的速率是7A且第二运动对象的速率是；， 那么运动对象114相对于第二运动对象的相对速率可以由等式A^^;-^ 给出。在一个实施例中，由处理器108根据前述多个参数产生运动对象114 的运动数据。运动对象114的运动数据可以包括运动对象114的运动轨迹 (例如，直线、弧线、圆周等)和信号120的闪烁频率f。可以根据多个 运动矢量(^， 5n)获得运动对象114的运动轨迹。例如，可以根据运动对象114的多个运动矢量的变化计算运动对象114的运动轨迹，其 中运动对象114的多个运动矢量的变化可以由等式A^=S2-& ，At"3-"…，Ad二di给出。例如，如果该多个矢量(a^， aL，...， aS^)中每个矢量的角度小于某一预定角度，即可由运动识别系统100识别为直线的运动轨迹。如果该多个矢量(A&, A&，…，中每个矢量的角度处于预定角度范围中， 且该多个矢量(A&， A^,…，AL-O中任意两个矢量间的角度差小于某一预定角度差，且如果n相对较大，即可由运动识别系统100识别为弧线的运动轨迹。此外，根据该多个矢量(A&, AS:,..., Ala)同样可以识别其 它类型的运动轨迹，例如圆周。在一个实施例中，运动识别系统100能够识别简单运动轨迹，例如直线、弧线等。有利的是，复杂运动轨迹，例如挥手、鼓掌等，同样可以由运动识别系统100根据简单运动轨迹的组合进行识别。例如，如果在周期Vt"(Ka〈b〈n)内探测到形成弧线的第一运动轨迹 A,，在下一周期Vtb((KbKcKn)内探测到在相反方向形成弧线的第二动轨迹 A2，并且是交替探测到第一运动轨迹A〗和第二动轨迹A2，即可识别为运 动对象114 (例如用户的手)正处于挥动状态。运动识别系统100能够识 别多种其他类型的运动形式，为了简明起见，在此将不对其进行详述。在一个实施例中，运动对象的运动数据同样可以表示运动对象114所 处的静态形式(例如，静态的手势)。因此，运动识别系统100同样可以 识别运动对象114所处的静态形式。在一个实施例中，多个信号发生器/ 反射器可以实施于运动对象114上，从而描述运动对象114所处的静态形 式。在一个实施例中，如果由多个信号发生器/反射器发出的多个信号所处 的多个位置在同一时间分别为p^、 ps2、...，和Psm，即可由这多个位置 psl、 ps2、...，和pw描述一种静态形式。例如，多个信号发生器/反射器可 附加于用户的食指和中指上。当用户用食指和中指摆出V字造型(一种表 示胜利的手势)时，即可通过感应由附加于手指上的信号发生器/反射器发 出信号所处的位置从而识别V字造型的静态形式(手势)。在一个实施例中，运动识别系统100还包括耦合于处理器108的存储 单元110，用于存储多个运动数据参考值和数据匹配算法。在一个实施例 中，存储于存储单元110中的多个运动数据参考值可以用作动作匹配(分类)的参考值。多个运动数据参考值中的每个参考值可以表示对应的参考 动作，例如，鼓掌，挥手，做手势，弹虚拟吉他等等。在--个实施例中，控制器106可以通过数据匹配算法将处理器108产生的运动数据与多个运动数据参考值进行比较，并产生对应的动作匹配信号124以表示运动对象114的动作是否与多个参考动作中的某一个相匹 配，以及何种参考动作与运动对象114的动作相匹配。因此，在一个实施 例中，控制器106可以接收来自照相机104的监视信息并识别运动对象114 的动作。在一个实施例中，运动识别系统100也包括耦合于控制器106的功能 模块112，用于接收动作匹配信号124并根据动作匹配信号124执行至少 一种功能。例如，如果动作匹配信号124指示运动对象114的运动数据与 某个运动数据参考值相匹配，功能模块112即可执行一种或多种相关功能。 有利的是，根据所识别/感应的运动对象114的动作，功能模块112能够执 行一种或多种相关功能。功能模块112可以是，但不限于，媒体播放器(例 如，mp3播放器、CD播放器以及视频播放器)，掌上电脑，个人电脑，安 全警报器等。有利的是，运动数据参考值是可编程的并且可以由用户自行定义。此 外，在练习模式中，用户可自行将某种运动形式与功能模块112的一种或 多种功能进行关联。例如，当用户启动练习模式后，用户可以在照相机104 前于一段时间内演示某种运动。在练习模式中，运动识别系统100能够监 视用户所演示的运动，并且能够根据该动作产生某一运动数据参考值并将 该运动数据参考值存储于存储单元110中。在练习模式中，用户也可以选 择将一个或多个运动数据参考值与功能模块112的一种或多种功能相关 联。例如，在练习模式中，用户能够将拇指朝上的动作与增大音量的功能 相关联，这样当用户在照相机104前作出拇指朝上的动作时，功能模块112 即可自动增大音量。在一个实施例中，功能模块112可以是一种媒体播放器。存储单元 110可以存储多个运动数据参考值，分别表示多种参考动作，例如，鼓掌、 挥手、弹虚拟吉他、拇指朝上、拇指朝下等等。如果控制器106识别出用户在照相机104前作出拇指朝上的动作，功能模块112，例如， 一种媒体 播放器，即可自动增大音量。如果控制器106识别出用户在照相机104前 作出弹吉他的动作，功能模块112即可控制媒体播放器自动播放相应的音 乐，例如摇滚乐。在一个实施例中，功能模块112可以是一种安全报警器。例如，为安 全起见，在游泳池中可以采用运动识别系统100。多个信号发生器102可 附加于游泳者的腿部和/或手臂，并且能够以一种预定频率提供信号120， 以表示游泳者的腿部和/或手臂的运动。有利的是，附加于某一游泳者的信 号发生器所发出的信号的频率可不同于附加于其他游泳者的信号发生器 所发出的信号的频率。由此，运动识别系统100可以分别探测一组游泳者 中每个游泳者的动作。如果某一游泳者发生危险(例如，溺水，痉挛等)， 运动识别系统100即可识别这些动作并自动启动安全警报器。此外，在一个实施例中，功能模块112可以是一种计算机系统。有利 的是，在一个实施例中，运动识别系统100可用于通过一种虚拟键盘/鼠标 从而控制计算机系统，例如，通过实施于用户手指上的信号发生器/反射器 102发出的监视信号120。有利的是，在一个实施例中，无须使用物理键 盘/鼠标即可控制计算机系统。功能模块112可以包括多种其他装置，为简 明起见，此处将不对其进行详述。在一个实施例中，在运动识别系统100中可以采用更多的照相机(例 如，3个照相机)，用于从多个角度(例如，3种角度)感应/识别运动对象 114的动作。由此，通过运动识别系统100即可感应/识别运动对象114的 三维运动。在图1所示的实施例中，运动识别系统100通过感应由附加在运动对 象114上的信号发生器/反射器102 (例如， 一种不可见光发生器)产生的 信号120从而识别运动对象114的动作。然而，也可以采用其他的动作识 别方法。图2所示为根据本发明的一个实施例的另一种运动识别系统200 的方框图。与图1中标记相同的单元具有相似的功能，为了简明起见，在 此将不对其进行重复性描述。在一个实施例中，运动识别系统200包括照 相机204和控制器206，用于识别运动对象114的动作。此外，在一个实施例中，运动识别系统200包括诸如媒体播放器的功能模块112，其耦合 于控制器206，用于根据动作匹配信号124使媒体播放器执行至少一种功 能。在图2所示的实施例中，信号发生器/反射器(例如，不可见光发生器) 不是必须的。照相机204可用于捕获运动对象114的动作。此外，耦合于照相机 204的控制器206可以用于接收照相机204发出的监视信息122，并将表 示运动对象114的动作的运动数据与多个运动数据参考值进行比较从而进 行动作匹配(分类)，并且根据该比较结果产生动作匹配信号124。在一个实施例中，如果动作匹配信号124指示运动对象114的动作与 多个预定参考动作中的某种动作相匹配，控制器206可以控制功能模块 112执行一种相关功能。在一个实施例中，功能模块112可以是一种媒体播放器。媒体播放器 112的功能可以包括，但不限于，变换音效，播放至少一种媒体文件(例 如古典音乐、摇滚音乐、R&B音乐、蓝调音乐和流行音乐)。在一个实施 例中，如果运动识别系统探测到运动对象114的当前动作表示吹奏虚拟口 琴，即可相应地播放相关音乐(例如，蓝调音乐)。图3所示为根据本发明的一个实施例的由图2中控制器206执行的示 范性操作过程的方框图300。与图2中标记相同的单元具有相似的功能， 为了简明起见，在此将不对其进行重复性描述。图3将结合图2进行描述。 如图3所示，控制器206可用于对运动对象114执行分割操作304以及对 运动对象114执行特征提取操作306。更确切地说，在一个实施例中，在采样操作302的过程中，控制器 206能够以一种预定频率对监视信息222 (例如，来自照相机204的视频 数据)进行采样。在一个实施例中，可以将多个采样数据320提供给分割 操作304。在分割操作304的过程中，可以将运动对象114与背景区分开。 此外，分割操作304能产生表示运动对象114的方位和边界的多个提取信 息322，可将该提取信息322用于特征提取操作306。此外，在一个实施例中，通过特征提取操作306可以产生一个或多个 特征324。在一个实施例中，特征324可用于判定运动对象114的运动数据(例如，包括运动轨迹，运动形状)。在动作匹配操作308中，在一个 实施例中，可将运动数据与存储在存储单元中的预存和/或用户定义的运动数据参考值进行比较。因此，控制器206即可识别/归类该动作并产生表示 匹配/分类结果的动作匹配信号124以控制功能模块112使其执行相关功能。图4所示为根据本发明的一个实施例的由运动识别系统执行的操作 流程图400。图4将结合图1进行描述。如图4所示，在方框402中，照相机104可以用于捕获运动对象114 的动作。例如，在一个实施例中，照相机104能够感应由运动对象114上 的信号发生器102发出的信号120，并产生对应信号120的监视信息122。 在一个实施例中，控制器106可用于根据监视信息122计算多个参数并根 据多个参数产生运动对象114的运动数据。在另一个实施例中，控制器106 可用于对运动对象114执行分割和特征提取操作并相应的产生运动对象 114的运动数据。在方框404中，控制器106可以根据数据匹配算法将表示运动对象 114所做动作的运动数据与运动数据参考值进行比较。在一个实施例中， 可以将运动数据参考值和数据匹配算法存储于存储单元110中。在进行比 较(动作匹配)后，控制器106可以根据比较结果使功能模块112 (例如 媒体播放器)执行至少一种功能，如方框406所示。例如，如果功能模块 112是媒体播放器，根据比较结果，控制器106可以变换媒体播放器的音 效，也可以播放媒体文件。因此，本发明提供了一种运动识别系统。在一个实施例中，运动识别 系统能够感应/识别运动对象的动作，并且功能模块能够根据运动对象的动 作自动执行一种或多种功能。在一个实施例中，通过利用电子系统中的现 有硬件，即可在诸如计算机的电子系统中实现运动识别系统。此外，在一 个实施例中，可以通过软件实现控制器106、 206。有利的是，在实施例中， 运动识别系统可以使用户与诸如计算机的电子系统间的交互变得更为便 捷和直观。上文具体实施方式
和附图仅为本发明之常用实施例。显然，在不脱离后附权利要求书所界定的本发明精神和保护范围的前提下可以有各种增 补、修改和替换。本领域技术人员应该理解，本发明在实际应用中可根据 具体的环境和工作要求在不背离发明准则的前提下在形式、结构、布局、 比例、材料、元素、组件及其它方面有所变化。因此，在此披露之实施例 仅用于说明而非限制，本发明之范围由后附权利要求及其合法等同物界 定，而不限于此前之描述。
权利要求
1.一种运动识别系统，其特征在于，包括照相机，用于感应指示运动对象位置的信号并产生所述信号的监视信息；耦合于所述照相机的控制器，用于根据所述监视信息计算多个参数，其中所述多个参数包括所述运动对象的速率，所述运动对象的运动矢量和所述信号的闪烁频率，所述控制器还用于根据所述多个参数产生所述运动对象的运动数据，还用于根据数据匹配算法将所述运动数据与至少一种运动数据参考值进行比较，还用于根据所述比较的结果产生动作匹配信号；以及耦合于所述控制器的功能模块，用于接收所述匹配信号并根据所述匹配信号执行至少一种功能。
2. 根据权利要求1所述的运动识别系统，其特征在于，还包括在所述运动对象上实施的不可见光源，用于产生所述信号，其中所 述信号包括不可见光。
3. 根据权利要求2所述的运动识别系统，其特征在于，所述不可见光 源包括红外线发光二极管。
4. 根据权利要求1所述的运动识别系统，其特征在于，还包括在所述运动对象上实施的反射器，用于吸收可见光并反射由不可见 光源发出的不可见光，其中所述信号包括由所述反射器反射的所述不可 见光。
5. 根据权利要求1所述的运动识别系统，其特征在于，所述控制器包 括耦合于所述照相机的处理器，用于接收所述监视信息，并用于根据所 述监视信息计算所述多个参数，还用于根据所述多个参数产生所述运动 数据。
6. 根据权利要求5所述的运动识别系统，其特征在于，所述多个参数 还包括所述运动对象相对于第二运动对象的相对速率，以及所述运动对 象相对于所述第二运动对象的相对运动矢量。
7. 根据权利要求1所述的运动识别系统，其特征在于，还包括存储单元，用于存储所述至少一种运动数据参考值和所述数据匹配算法。
8. 根据权利要求1所述的运动识别系统，其特征在于，所述功能模块 包括媒体播放器。
9. 根据权利要求1所述的运动识别系统，其特征在于，所述功能模块 包括安全告警器。
10. 根据权利要求1所述的运动识别系统，其特征在于，所述功能模块包括计算机系统。
11. 一种运动识别系统，其特征在于，包括 照相机，用于捕获运动对象的动作；耦合于所述照相机的控制器，用于根据数据匹配算法将代表所述动 作的运动数据与至少一种运动数据参考值进行比较，并根据所述比较的 结果产生动作匹配信号；以及耦合于所述控制器的媒体播放器，用于根据所述动作匹配信号执行 所述媒体播放器的至少一种功能。
12. 根据权利要求11所述的运动识别系统，其特征在于，所述功能包 括变换所述媒体播放器的音效。
13. 根据权利要求11所述的运动识别系统，其特征在于，所述功能包 括播放至少一种媒体文件。
14. 根据权利要求11所述的运动识别系统，其特征在于，所述照相机 用于感应由所述运动对象上的信号发生器发出的信号并产生对应所述 信号的监视信息，其中所述信号表示所述运动对象的位置。
15. 根据权利要求14所述的运动识别系统，其特征在于，所述信号发 生器包括不可见光源，用于产生不可见光。
16. 根据权利要求14所述的运动识别系统，其特征在于，所述信号包 括不可见光。
17. 根据权利要求14所述的运动识别系统，其特征在于，所述控制器 包括处理器，用于接收所述监视信息，并用于根据所述监视信息计算多个参数，并用于根据所述多个参数产生所述运动数据，其中所述多个参 数包括所述运动对象的速率，所述运动对象的运动矢量，以及所述信号 的闪烁频率。
18. 根据权利要求17所述的运动识别系统，其特征在于，所述多个参 数还包括所述运动对象相对于第二运动对象的相对速率，以及所述运动 对象相对于所述第二运动对象的相对运动矢量。
19. 根据权利要求11所述的运动识别系统，其特征在于，所述控制器 用于对所述运动对象执行分割操作和对所述运动对象执行特征提取操作。
20. —种方法，用于与电子设备进行交互，其特征在于，包括 通过照相机捕获运动对象的动作；根据数据匹配算法将代表所述动作的运动数据与至少一种运动数 据参考值进行比较；以及根据所述比较的结果执行媒体播放器的至少一种功能。
21. 根据权利要求20所述的方法，其特征在于，还包括根据所述比较的所述结果变换所述媒体播放器的音效。
22. 根据权利要求20所述的方法，其特征在于，还包括根据所述比较的所述结果播放至少一种媒体文件。
23. 根据权利要求20所述的方法，其特征在于，还包括感应由实施于所述运动对象上的信号发生器发出的信号；以及 产生对应所述信号的监视信息。
24. 根据权利要求23所述的方法，其特征在于，还包括 根据所述监视信息计算多个参数；以及 根据所述多个参数产生所述运动对象的所述运动数据。
25. 根据权利要求24所述的方法，其特征在于，所述多个参数包括所 述运动对象的速率，所述运动对象的运动矢量，以及所述信号的闪烁频
全文摘要
本发明公开了一种运动感应/识别系统。运动识别系统包括照相机，能够感应指示运动对象位置的信号并产生针对该信号的监视信息。耦合于照相机的控制器能够根据监视信息计算多个参数(例如，运动对象的速率，运动对象的运动矢量，以及所述信号的闪烁频率)。控制器能够根据所述多个参数产生运动对象的运动数据并根据数据匹配算法将所述运动数据与至少一种运动数据参考值进行比较，并根据比较结果产生动作匹配信号。由此，耦合于控制器的功能模块即可接收所述匹配信号并根据该匹配信号执行至少一种功能。与现有技术相比，本发明提供的运动识别系统可以使用户与诸如计算机的电子系统间的交互变得更为便捷和直观。
文档编号G06F3/01GK101221467SQ200710307819
公开日2008年7月16日 申请日期2007年12月28日 优先权日2006年12月28日
发明者杜珣弤, 昕 盛, 赵红晓, 睿 陈 申请人:美国凹凸微系有限公司