专利名称：人机交互设备以及将该设备用于虚拟世界的装置和方法
技术领域：
本发明涉及虚拟世界的人机交互领域，更具体而言，涉及用于进行人机交互的设备和将该设备用于虚拟世界的装置和方法。
背景技术：
随着信息技术和互联网的高速发展，三维虚拟世界越来越多地应用在各种场景之中，为用户提供对现实世界的逼真模拟，带来直观而真实的浸入式用户体验。对于典型的三维虚拟世界系统，包括三维游戏，虚拟社区等，用户以化身的形式进入虚拟世界中，并通过各种人机交互设备来控制对应的化身在三维虚拟世界中的活动。传统的可用于虚拟世界的人机交互设备包括鼠标、键盘、触摸板、操作杆、手柄、轨迹球、游戏手套等等。通过操纵这样的人机交互设备，用户可以发出指令，引导化身根据指令在虚拟世界中做出动作。然而，在现有的虚拟世界中，化身能够做出的动作通常都是预先定义的。图1示出现有的虚拟世界的一个场景示例，该场景示出了在Google提供的虚拟世界Lively中用户如何进行动作选择。如图所示，虚拟世界中预先定义并存储了一系列动作，并将这些动作的选项以动作列表的形式提供给用户。动作列表中列出了用户当前可以进行的动作，例如，与别人打招呼、拳击对方、踢他、和他跳舞、亲吻对方等等。在用户使用人机交互设备选择其中的动作之后，虚拟世界呈现或播放对应的动画，从而使得化身根据用户的选择完成指定动作。然而，如以上的示例，用户仅仅能够从预定义的动作中进行选择， 而不能自己为化身设计或定制更加精细的动作，例如一边走路一边摆手打招呼等等。这样的局限性使得现有的虚拟世界无法达到更加丰富和逼真的期望效果。这种化身动作的局限性主要源于两个方面。一方面，现有的人机交互设备无法同时提供多元的信号指令。例如，鼠标只能提供光标位置导航和左键右键的点击选择，这样的简单指令难以支持化身的更加复杂的动作。专用于三维游戏的操纵杆、轨迹球和游戏手套等等也只能提供较为单一的操作指令，并且不便于携带。另一方面，由于缺乏多元信号指令的输入，现有的虚拟世界系统无法基于多元信号指令提供更加丰富的化身动作。因此，为了增强虚拟世界的表现力，希望从以上两个方面进行改进，从而丰富虚拟世界中化身的动作和姿态，为用户提供更加真实的用户体验。
发明内容
鉴于上述问题和需要，提出本发明，用以提供一种改进的人机交互设备和通过该设备控制虚拟世界中的化身的可能方式。根据本发明第一方面，提供了一种人机交互设备，在所述设备表面上布置有至少一个感测装置，所述至少一个感测装置包括操作部分和至少一个距离传感器，所述操作部分接收用户的至少一个手指的操作动作，所述至少一个距离传感器用以感测所述操作部分相对于所述设备中至少一个固定位置的距离，并生成至少一个距离信号，所述至少一个距离信号用以表征所述至少一个手指的操作动作。
根据本发明第二方面，提供了一种虚拟世界辅助装置，用以将本发明第一方面的人机交互设备用于虚拟世界中，所述辅助装置包括接收单元，配置为从所述人机交互设备接收至少一个信号，所述至少一个信号是所述人机交互设备基于所感测到的距离而提供的信号，并用以表征至少一个手指的操作动作；以及映射单元，配置为将所述至少一个信号分别映射到虚拟世界中的化身的身体局部的动作。根据本发明第三方面，提供了一种方法，用以将本发明第一方面的人机交互设备用于虚拟世界中，所述方法包括接收步骤，在其中从所述人机交互设备接收至少一个信号，该至少一个信号是所述人机交互设备基于所感测到的距离而提供的信号，并用以表征至少一个手指的操作动作；以及映射步骤，在其中将所述至少一个信号分别映射到虚拟世界中的化身的身体局部的动作。通过本发明各实施例中提出的人机交互设备，以及将该人机交互设备用于虚拟世界的装置和方法，能够感测到用户手指操作的多元信号，并将这样的多元信号用于控制虚拟世界中化身的各个身体局部的动作，从而实现对化身动作和姿态的自由控制。
图1示出现有的虚拟世界的一个场景示例；图2A示出根据本发明一个实施例的人机交互设备的俯视图；图2B示出图2A的人机交互设备的剖视图；图3示出根据本发明一个实施例的控制球的示意图以及控制球与手指的配合；图4示出根据本发明一个实施例的虚拟世界辅助装置的示意性框图；图5示出根据本发明一个实施例不同手指与化身的局部的对应关系；图6A-6C示出根据本发明一个实施例手指的动作参数与化身动作的映射关系；图7示出根据本发明一个实施例的将人机交互设备用于虚拟世界的方法的流程图；以及图8示出根据一个实施例的映射步骤的具体流程图。
具体实施例方式以下结合附图描述本发明的具体实施例。但是应该理解，以下对具体实施例的描述仅仅是为了解释本发明的执行示例，而不对本发明的范围进行任何限定。图2A示出根据本发明一个实施例的人机交互设备的俯视图，图2B示出图2A的人机交互设备的剖视图。总体而言，本发明实施例的人机交互设备被设计为适于人的单手握持的形状，例如球状、半球状、椭球状等等。在图2A，2B所示的具体例子中，示出的人机交互设备20表现为球状，因此，在本说明书的部分描述中将其简称为控制球。控制球的大小与人的手掌大小相仿，使得在操作该控制球时，人的单手可以自然而松弛地握持在控制球上。在图2A所示的具体例子中，控制球20具备一定的弹性。在弹性部分上与人的单手中的五个手指相对应的位置，布置有五个感测装置21，每个感测装置用以感测手指对控制球的操作动作。图2B的剖视图更清楚地示出一个感测装置21的结构。在图2B所示的示例中，一个感测装置21包括操作部分22和距离传感器23。操作部分22可以与人的手指接触并配合，接收人手指对控制球的操作，距离传感器23用以感
5测操作部分22相对于控制球中固定位置的距离，并生成与手指动作相关的、表示距离的信号。具体地，操作部分22包括一个按压板221、一个拉环222。按压板221布置在控制球表面，拉环222形成在控制球表面上与按压板221相对应的位置上。拉环222与按压板221相配合，可以容纳一根手指。在操作该控制球时，手指伸进拉环222与按压板221之间的空间，将拉环222套在手指上，就可以进行沿球面法向、切向以及两个方面的组合的动作。沿球面法向的动作包括按压弹性控制球表面，即，向下按压按压板221，和从控制球表面抬起，即，向上拉伸拉环222。沿球面切向的动作包括，手指平行于控制球表面的摆动。在操作部分22与控制球内的两个固定位置A，B之间形成了距离Hl，H2。可以沿着这两个距离布置两个距离传感器23，用以感测Hl和H2的大小，并生成表示距离Hl，H2的信号。在手指对操作部分22进行上述操作时，手指的动作会引起距离Hl，H2的变化，该变化进而被距离传感器23感测并捕获，从而生成能够反映手指动作的距离信号。距离传感器23可以通过多种方式实现。在一个实施例中，距离传感器23由随着距离而改变的电容或电阻器件形成，通过感测电容或电阻值而确定距离的大小。在另一个实施例中，沿着距离Hl，H2布置弹簧，并在弹簧的一端或两端设置力感测装置作为距离传感器23。在这种情况下，距离传感器23通过感测弹簧受力大小来确定距离的大小。可以理解，本领域技术人员可以根据需要选择适当的形式来实现距离的感测。在图2B所示的实施例中，控制球20中还包括球体形状的处理电路对。在这种情况下，固定位置A和B可以设置在处理电路M形成的球体上。处理电路M通过专用硬件电路形成，配置为接收距离传感器23生成的信号，由此推算距离Hl，H2及其变化。可选地， 处理电路M还可以配置为，根据距离Hl，H2计算手指在球面切向和法向的移动幅度。由于 AB位置固定，在获知Hl，H2之后，根据三角关系，很容易计算得出操作部分22所在的三角形顶点C的位置，进而得出手指在切向和法向的移动幅度。进一步地，处理电路M将获得的结果通过线缆25传送到相连的支持虚拟世界的计算机系统。在一种实施方式中，处理电路M与计算机系统的通信可以通过现有技术公知的手段以无线方式实现。可选地，在图2B的实施例中，控制球20还可以包括传统的鼠标装置沈。该鼠标装置26以现有技术的方式实现光标导航和按键选择等功能。图3示出根据本发明一个实施例的控制球的示意图以及控制球与手指的配合。如图3A的示意，人的手指具有三个关节，从与手掌连接的关节起，我们将其依次称为第一关节、第二关节和第三关节。这三个关节将手指分为三个指节，依次称为第一指节到第三指节 (对于拇指，习惯上认为只具有第一关节、第二关节以及相应的第一指节和第二指节)。为了更好地与手指相配合，提高控制球的操控性，在图3B所示的控制球上，为一根手指设置两个感测装置Sl和S2。每个感测装置如图2B所示包括由按压板和拉环构成的操作部分以及距离传感器，从而能够感测手指通过操作部分对控制球的作用。在手指自然伸入两个拉环当中握持住控制球时，两个感测装置Sl和S2分别位于手指的第一指节和第三指节上。 对于拇指来说，可以认为两个感测装置分别位于第一指节和第二指节上。位于第一指节处的感测装置Sl中的操作部分用以接收第一指节对控制球的作用，感测装置Sl中的距离传感器用以感测对应的操作部分相对于固定位置(例如，球心) 的距离hi。通过距离hi的改变，可以确定第一指节对感测装置Sl的按压板和拉环的作用幅度，进而确定第一指节绕第一关节的纵向运动角度al。类似地，感测装置S2用以感测第三指节所作用的操作部分相对于固定位置的距离h2。通过距离h2的改变，可以确定第三指节对控制球的作用。由于第三指节通常不能单独产生动作，而是要与第二指节一起绕第二关节运动，因此距离h2的变化可以对应到手指绕第二关节的纵向运动角度a2。对于拇指来说，由于感测装置S2位于第二指节处，所感测到的距离h2的变化可以直接对应到拇指的第二指节绕第二关节的纵向运动角度a2。感测装置Sl和S2的每一个也可以如图2B所示包括两个距离传感器，用以感测对应的操作部分到固定位置的两个距离，由此确定手指在控制球表面方向上的运动。该运动可以对应到手指绕第一关节在手掌平面内的横向摆动幅度，如图3C所示的角度bl所示。可选地，在图;3B的控制球中可以包含处理电路，用以将感测装置Sl和S2感测到的距离直接转化为上述角度al，a2和bl，并传送到支持虚拟世界的计算机系统。在一种实施方式中，也可以省略掉处理电路，由感测装置直接将感测的距离信号传送到计算机系统， 接着利用计算机系统的处理和计算能力推导出角度al，a2和bl。尽管以上示出了人机交互设备的两个具体实例，但是可以理解，根据精度的需要， 本领域技术人员可以对其进行形式上的修改，得到多种实现方式。例如，感测装置的数目和设置方式可以根据需要进行修改。在一个实施例中，为单手的每根手指均设置感测装置。在另一种实施方式中，仅为部分手指设置感测装置。在一个实施例中，为每根手指设置两个感测装置，如图3B所示；在另一种实施方式中，仅为部分手指，例如较为灵活的食指和中指设置两个感测装置，而为其他手指设置一个感测装置。或者，为了捕捉更为细致的动作，可以为单根手指设置更多感测装置，例如三个或更多个。感测装置的结构也可以根据需要进行修改。在一个实施例中，操作部分仅包含按压板，从而仅可以接收手指对控制球的按压。在另一个实施例中，操作部分仅包含拉环，从而仅接收手指从控制球抬起的动作。在仅需要感测手指沿控制球法向运动的情况下，也就是仅感测手指的按压深度和抬起高度的情况下，感测装置可以仅包含一个距离传感器，用以感测操作部分到控制球中一个固定位置的距离。上述固定位置也可以根据需要来设定。在控制球中具有同心的处理电路的情况下，固定位置可以选在处理电路的特定位置处。在一种实施方式中，可以一般性地将球心作为一个固定位置。此外，尽管在图2B的实施例中控制球整体具有弹性表面，但是在一种实施方式中，控制球整体可以不具有弹性，仅仅由感测装置中的操作部分提供弹性，从而接收手指的按压、抬起和平移操作。并且，尽管以上例子中人机交互设备表现为控制球，但是也可以采用其他形状来实现人机交互设备，只要其适于人手的握持。可以理解，虽然以上描述了多种对人机交互设备的实现方式进行修改的例子，但是本领域技术人员在阅读说明书之后，能够根据实际需要做出更多种修改。所有这样的修改都应被认为涵盖在本发明范围之内，而无需进行穷举。如上所述，人机交互设备通过其上布置的多个感测装置，能够同时感测到多根手指的多维度操作，从而捕捉到多个变量，这为虚拟世界中化身动作的丰富化提供了基础和可能。
为了利用上述的人机交互设备增强虚拟世界的表现力，本发明的实施例还提供了一种虚拟世界辅助装置，用以将上述人机交互设备用于虚拟世界中。图4示出根据本发明一个实施例的虚拟世界辅助装置的示意性框图。如图4所示，虚拟世界辅助装置40包括接收单元41以及映射单元43。接收单元41配置为从以上所述的人机交互设备接收至少一个信号，该至少一个信号是所述人机交互设备基于感测到的距离而提供的信号，用以表征至少一个手指的操作动作；映射单元43配置为将所述至少一个信号分别映射到虚拟世界中的化身的身体局部的动作。上述人机交互设备基于感测到的距离而提供的信号可以是直接表示距离的距离信号，也可以是基于感测到的距离而转化的经过处理的信号。具体地，在一个实施方式中， 接收单元41所接收的至少一个信号是人机交互设备中的感测装置直接产生的距离信号。 映射单元43可以将这些距离信号直接映射到虚拟世界中化身的身体动作。或者，映射单元 43可以首先将距离信号转化为表示手指的操作动作的动作参数，例如手指绕第一关节的纵向运动角度al，绕第二关节的纵向运动角度a2，绕第一关节的横向摆动角度bl等，然后将这些动作参数映射到虚拟世界中化身的动作。在另一个实施方式中，人机交互设备中所具备的处理电路已经将距离信号转化为动作参数。在这种情况下，接收单元41接收到的是基于距离信号转化的表示动作参数的信号，映射单元43将动作参数映射到虚拟世界中化身的动作。可以理解，接收单元41与人机交互设备的通信可以通过有线或无线的方式实现。下面结合一个具体实施例描述映射单元43的映射过程。在该具体实施例中，如图 3B所示地在人机交互设备上为每个手指设置两个感测装置。基于感测装置的感测结果，映射单元43可以获得每个手指的动作参数，并将五个手指的动作参数分别映射到虚拟世界的化身的四肢和头部的动作。图5示出根据本发明一个实施例不同手指与化身的局部的对应关系。在图5的实施例中，映射单元43将拇指的动作参数映射到虚拟世界中化身的左臂的动作，将食指的动作参数映射到化身右臂的动作，将中指的动作参数映射到化身左腿的动作，将无名指的动作参数映射到化身右腿的动作，将小指的动作参数映射到化身头部的动作。这是考虑到拇指和食指较为灵活，适于操纵动作比较细致的上臂，而小指不够灵敏， 适于操作动作较少的头部而做出的映射。进一步地，每个手指的动作参数都包括，手指绕其第一关节的纵向运动角度al，绕其第二关节的纵向运动角度a2，绕其第一关节的横向摆动角度bl。参数al，a2和bl的示意图如图;3B和3C所示。下面描述每个动作参数与化身动作的映射关系。图6A-6C示出根据本发明一个实施例手指的动作参数与化身动作的映射关系。图 6A分别以正视图、侧视图和俯视图示出食指的动作参数与化身右臂动作的映射。如图中所示，将食指绕第一关节的纵向运动角度al映射到化身的右臂在身体平面内绕肩膀的竖直摆动角度Al，将食指绕第一关节的横向摆动角度bl映射到右臂在水平平面内绕肩膀的水平摆动角度Bi，并将食指绕第二关节的纵向运动角度a2映射为右臂的小臂相对于大臂的摆动角度A2。通过这样的映射，将食指对人机交互设备的操作动作转化为对虚拟世界中化身右臂的自如控制，使得化身能够根据食指的动作呈现不同的右臂动作。类似地，拇指的动作参数与左臂动作的映射关系与图6A所示相同，不再赘述。图6B分别以正视图、侧视图和俯视图示出中指的动作参数与化身左腿动作的映射。如图中所示，将中指绕第一关节的横向摆动角度bl映射到化身的左腿在身体平面内绕髋关节的横向左右摆动角度Bi，中指绕第一关节的纵向运动角度al映射到化身的左腿绕髋关节的纵向前后摆动角度Al，并将中指绕第二关节的纵向运动角度a2映射为左腿的小腿相对于大腿的摆动角度A2。通过这样的映射，将中指对人机交互设备的操作动作转化为对虚拟世界中化身左腿的自如控制，使得化身能够根据中指的动作呈现不同的左腿动作。 类似地，无名指的动作参数与右腿动作的映射关系与图6B所示相同，不再赘述。图6C分别以正视图、侧视图和俯视图示出小指的动作参数与化身头部动作的映射。相比于其他手指，小指的灵活度相对比较欠缺，因此将小指动作映射到动作相对简单的头部，并在进行映射时仅考虑小指的动作参数al和bl。具体地，如图中所示，将小指绕第一关节的横向摆动角度bl映射到化身头部的横向左右摆动角度Bi，也就是摆头角度Bi，并将小指绕第一关节的纵向运动角度al映射到化身头部的纵向上下摆动角度Al，也就是点头角度Al。通过这样的映射，将小指对人机交互设备的操作动作转化为对虚拟世界中化身头部的自如控制，使得化身能够根据小指的动作呈现不同的头部动作。通过以上映射，虚拟世界辅助装置40将人机交互设备捕捉到的各个手指的操作动作转化为虚拟世界中化身各个身体局部的动作，由此，能够实现对化身各个身体局部的同时分别控制，从而使得化身根据用户多个手指的操作做出任何用户期望的、非预定义的动作。可以理解，尽管以上具体描述了一个实施例中手指动作参数与化身动作的映射关系，但是，取决于人机交互设备的配置和对化身动作控制性的需要，映射单元43可以依据其他映射关系来进行映射。例如，映射单元43可以以不同方式将各个手指对应到化身的各个局部，比如将拇指动作映射到头部动作，将食指动作映射到腿部动作等。对于每个手指的动作参数，映射单元43也可以进行不同方式的映射，例如对于食指动作参数与右臂动作的关系，映射单元43可以将食指的横向摆动角度bl映射到右臂的上下摆动角度Al，等等。此夕卜，如上所述，人机交互设备本身也存在不同的配置方式，例如仅为部分手指设置了感测装置，或者为每根手指仅设置了一个感测装置等等。相应地，人机交互设备所提供的信号数量和类型也会随着上述配置的不同而不同。在此情况下，映射单元43可以被修改为根据所接收的信号来进行映射，例如在接收单元41仅接收到与食指动作相关的信号的情况下，映射单元43仅对食指信号进行映射，例如选择性地将其映射到头部动作。对于特定的手指动作相关信号，映射单元43可以根据预先定义并预先存储的映射关系来进行映射。然而，在一种实施方式中，映射关系也可以由用户进行设定。具体地， 在一个实施例中，辅助装置40还可以包括设定单元(未示出)，配置为接收用户对映射关系的设定。通过作用为接口的设定单元，用户可以根据自己的操作习惯设定期望的映射关系，例如设定将拇指动作映射到化身头部动作，更具体地将拇指横向摆动角度bl映射到点头幅度Al，等等。继而，映射单元43根据用户设定的映射关系来进行手指信号与化身动作的映射。为了使得化身的动作更加协调，提高人机交互设备的可操作性，辅助装置40还可以包括协调单元(未示出)，用于根据用户的操作习惯协调化身的动作。在一个具体实施例中，如图6A所示，拇指和食指的横向摆动角度bl分别被映射到化身右臂和左臂的横向摆动角度Bi。然而，由于拇指和食指灵活度以及运动极限存在区另IJ，拇指和食指的最大横向摆动角度bl可能存在差异。这就有可能造成化身左臂和右臂的
9运动幅度不一致，动作不协调。为此，协调单元可以获取每个手指关于每个动作参数的极限值，将该极限值对应到化身动作的极限幅度。例如，对于以上所述的手臂动作来说，协调单元获取食指能够达到的最大横向摆动角度blmax，将该角度对应到化身右臂能够达到的最大横向摆动角度BlmaX(例如，180° )，并将食指自然状态的摆动角度bl = 0对应到右臂在横向的自然状态Bl = 0。对于介于0和blmax之间的角度bl，协调单元计算其相对于 blmax的比例。进而，映射单元在进行映射时，按照计算的比例，将bl映射到0到Blmax之间的对应比例的角度Bi。对于拇指亦是如此。这样，就使得化身的左臂右臂能够分别在拇指和食指的控制下对称协调地完成相应动作。为了获取每个手指关于每个动作参数的极限值，在一个实施例中，协调单元通过接口程序引导用户输入该极限值。例如，协调单元可以提示用户，尽量高地向上抬起手指， 然后尽量向下按压人机交互设备，将此时从人机交互设备获得的信号作为极限值信号，从而直接获得食指的纵向运动的极限角度almax和a2maX。在另一个实施例中，协调单元可以通过训练和自学习来获知动作参数的极限值。 例如，协调单元可以向用户提供一段化身的示范性动作，比如一段舞蹈，要求用户操纵自己的化身模仿示范动作。通过观察用户化身的动作与示范动作之间的差距，协调单元可以确定该用户的动作参数范围与标准动作参数范围之间的偏差，进而将该偏差传送给映射单元 43，使其在进行映射时修正该偏差。针对不同的用户，协调单元可以通过上述引导用户输入的方式或自学习的方式确定不同用户的操作习惯，并将该操作习惯存储为配置文件，供映射单元参考。由此，映射单元43在进行映射时，可以基于配置文件中的信息根据用户操作习惯进行一定程度的修正， 使得映射之后化身的动作在合理范围之内。根据以上描述的具体实施例，虚拟世界辅助装置40可以将人机交互设备20用于控制化身的动作，从而使得用户能够通过操作人机交互设备20自如地控制虚拟世界中的化身做出各种期望的动作。基于与辅助装置40同样的发明构思，本发明的实施例还提供了将人机交互设备用于虚拟世界的方法。图7示出根据本发明一个实施例的将人机交互设备用于虚拟世界的方法的流程图。如图7所示，所述方法包括接收步骤71以及映射步骤73，在接收步骤71中从以上所述的人机交互设备接收至少一个信号，该至少一个信号是所述人机交互设备基于感测到的距离而提供的信号，用以表征至少一个手指的操作动作；在映射步骤73中，将所述至少一个信号分别映射到虚拟世界中的化身的身体局部的动作。具体地，在一个实施方式中，在步骤71中接收的至少一个信号是人机交互设备中的感测装置直接产生的表示距离的信号。基于此，在映射步骤73中，可以将这些距离信号直接映射到虚拟世界中化身的身体动作。或者，在映射步骤73中，可以首先将距离信号转化为表示手指的操作动作的动作参数，例如手指绕第一关节的纵向运动角度al，绕第二关节的纵向运动角度a2，绕第一关节的横向摆动角度bl等，然后将这些动作参数映射到虚拟世界中化身的动作。在另一个实施方式中，人机交互设备中所具备的处理电路已经将距离信号转化为动作参数。在这种情况下，在接收步骤71中接收到的是基于距离信号转化的表示动作参数的信号，在映射步骤73中将动作参数映射到虚拟世界中化身的动作。下面结合具体实施例描述映射步骤73的映射过程。在该具体实施例中，在接收步骤71中接收到表示五个手指中每个手指的动作参数的信号，于是在映射步骤73中，首先将五个手指分别映射到虚拟世界的化身的四肢和头部。图8示出根据一个实施例的映射步骤的具体流程图。在图8的例子中，映射步骤73包括，步骤731，将拇指的动作参数映射到虚拟世界中化身的左臂的动作，步骤732，将食指的动作参数映射到化身右臂的动作，步骤 733，将中指的动作参数映射到化身左腿的动作，步骤734，将无名指的动作参数映射到化身右腿的动作，以及步骤735，将小指的动作参数映射到化身头部的动作。进一步地，每个手指的动作参数都包括，手指绕其第一关节的纵向运动角度al，绕其第二关节的纵向运动角度a2，绕其第一关节的横向摆动角度bl。因此，映射步骤73需要将每个动作参数映射到化身局部的具体动作。在一个例子中，步骤732包括，将食指的纵向运动角度al映射到化身的右臂在身体平面内绕肩膀的竖直摆动角度Al，将食指的横向摆动角度bl映射到右臂在水平平面内绕肩膀的水平摆动角度Bi，并将食指的纵向运动角度 a2映射为右臂的小臂相对于大臂的摆动角度A2。类似地，步骤731中拇指的动作参数与左臂动作的映射过程与步骤732相同，不再赘述。对于中指的动作参数的映射过程，步骤733包括，将中指的横向摆动角度bl映射到化身的左腿在身体平面内绕髋关节的横向左右摆动角度Bi，将中指的纵向运动角度al 映射到化身的左腿绕髋关节的纵向前后摆动角度Al，并将中指的纵向运动角度a2映射为左腿的小腿相对于大腿的摆动角度A2。类似地，步骤734中无名指的动作参数与右腿动作的映射过程与步骤733相同，不再赘述。对于小指的动作参数的映射过程，步骤735包括，将小指的横向摆动角度bl映射到化身的摆头角度Bi，并将小指的纵向运动角度al映射到化身的点头角度Al。通过以上映射过程，将人机交互设备捕捉到的各个手指的操作信号转化为虚拟世界中化身各个身体局部的动作，由此，能够实现对化身各个身体局部的同时分别控制。可以理解，尽管以上具体描述了一个实施例中的具体映射步骤，但是，取决于人机交互设备的配置和对化身动作控制性的需要，在映射步骤73中可以依据其他映射关系来进行映射。其他映射关系的举例如参照辅助装置进行的描述，不再赘述。对于特定的手指动作相关信号，映射步骤73中进行映射所依据的映射关系可以是预先定义的，也可以根据用户的需求来设定。相应地，在一种实施方式中，图7的方法还可以包括设定步骤(未示出)，在该步骤中，接收用户对映射关系的设定。继而，在映射步骤 73中，就可以根据用户设定的映射关系进行映射。为了使得化身的动作更加协调，提高人机交互设备的可操作性，图7的方法还可以包括协调步骤(未示出)，用于根据用户的操作习惯协调化身的动作。在一个实施例中， 协调步骤包括，获取每个手指关于每个动作参数的极限值，并将极限值之内的动作参数转化为相对于极限值的比例。进而，在映射步骤中，就可以按照计算的比例，将动作参数映射到对应比例的化身动作幅度。这样，就使得化身的左臂和右臂以及左腿和右腿能够分别在不同手指的控制下对称协调地完成相应动作。为了获取每个手指关于每个动作参数的极限值，根据一个实施例，在协调步骤中通过引导用户的输入而直接获得各极限值。根据另一个实施例，在协调步骤中，通过训练和自学习来获知动作参数的极限值。由此，图7所示的将人机交互设备用于虚拟世界的方法能够将用户对人机交互设
11备的操作转化为化身的动作，从而使得用户能够通过操作人机交互设备自如地控制虚拟世界中的化身做出各种期望的动作。更为具体的描述和示例与上述对辅助装置的描述一致， 在此不再赘述。本领域技术人员可以理解，上述将人机交互设备用于虚拟世界的辅助装置及其方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、 CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本实施例的装置及其单元可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合实现。用于执行本发明的操作的软件和程序代码，可以用一种或多种程序设计语言的组合来编写，包括但不限于，面向对象的程序设计语言，诸如Java，Smalltalk，C++之类，以及常规的过程式程序设计语言，诸如C程序设计语言或类似的程序设计语言。程序代码可以本地地或远程地在计算机上执行，以完成设定的操作。虽然以上结合具体实施例，对本发明的人机交互设备、将人机交互设备用于虚拟世界的装置和方法进行了详细描述，但本发明并不限于此。本领域普通技术人员能够在说明书教导之下对本发明进行多种变换、替换和修改而不偏离本发明的精神和范围。应该理解，所有这样的变化、替换、修改仍然落入本发明的保护范围之内。本发明的保护范围由所附权利要求来限定。
1权利要求
1.一种人机交互设备，在所述设备上布置有至少一个感测装置，所述至少一个感测装置包括操作部分，用以接收用户的至少一个手指的操作动作；以及至少一个距离传感器，用以感测所述操作部分相对于所述设备中至少一个固定位置的距离，并生成至少一个距离信号，所述至少一个距离信号用以表征所述至少一个手指的操作动作。
2.根据权利要求1的人机交互设备，其中所述操作部分包括按压板和拉环中的至少一个，所述按压板用以接收手指对操作部分的按压，所述拉环用以接收手指从操作部分的抬起。
3.根据权利要求1或2的人机交互设备，其中所述至少一个距离传感器用以感测所述操作部分相对于所述设备中两个固定位置的两个距离。
4.根据权利要求1的人机交互设备，其中所述至少一个感测装置包括，针对同一手指的不同部位设置的两个或更多个感测装置。
5.根据权利要求1的人机交互设备，还包括处理电路，所述处理电路接收所述至少一个距离信号，根据接收的信号计算所述至少一个手指的动作参数。
6.根据权利要求5的人机交互设备，其中所述处理电路将所述动作参数传送到支持虚拟世界的系统。
7.—种虚拟世界辅助装置，用以将权利要求1-6中任一项的人机交互设备用于虚拟世界中，所述辅助装置包括接收单元，配置为从所述人机交互设备接收至少一个信号，所述至少一个信号是所述人机交互设备基于感测到的距离而提供的信号，并且所述至少一个信号用于表征至少一个手指的操作动作；以及映射单元，配置为将所述至少一个信号分别映射到虚拟世界中的化身的身体局部的动作。
8.根据权利要求7的辅助装置，其中所述至少一个信号是表示距离的信号，所述映射单元将所述至少一个信号转化为至少一个手指的动作参数。
9.根据权利要求7的辅助装置，其中所述至少一个信号是基于感测到的距离而转化的信号，其表示至少一个手指的动作参数。
10.根据权利要求8或9的辅助装置，其中所述映射单元配置为，将一个手指的动作参数映射到化身手臂的动作，将另一个手指的动作参数映射到化身腿部的动作。
11.根据权利要求7的辅助装置，还包括设定单元，配置为接收用户设定的映射关系， 并且其中，所述映射单元配置为，根据所述设定单元接收的映射关系来映射所述至少一个信号。
12.根据权利要求7的辅助装置，还包括协调单元，配置为用于根据用户的操作习惯协调化身的动作。
13.根据权利要求12的辅助装置，其中所述协调单元还配置为，获取至少一个手指的操作动作的极限值，将所述极限值对应到化身局部的动作极限，将所述极限值之内的操作动作按比例对应到化身局部的动作幅度。
14.一种方法，用以将权利要求1-6中任一项的人机交互设备用于虚拟世界中，所述方法包括接收步骤，在其中从所述人机交互设备接收至少一个信号，所述至少一个信号是所述人机交互设备基于感测到的距离而提供的信号，并且所述至少一个信号用于表征至少一个手指的操作动作；以及映射步骤，在其中将所述至少一个信号分别映射到虚拟世界中的化身的身体局部的动作。
15.根据权利要求14的方法，其中所述至少一个信号是表示距离的信号，在所述映射步骤中还将所述至少一个信号转化为至少一个手指的动作参数。
16.根据权利要求14的方法，其中所述至少一个信号是基于感测到的距离转化的信号，其表示至少一个手指的动作参数。
17.根据权利要求15或16的方法，其中所述映射步骤包括，将一个手指的动作参数映射到化身手臂的动作，将另一个手指的动作参数映射到化身腿部的动作。
18.根据权利要求14的方法，还包括，接收用户设定的映射关系，并且在所述映射步骤中，根据所述用户设定的映射关系来映射所述至少一个信号。
19.根据权利要求14的方法，还包括协调步骤，在其中根据用户的操作习惯协调化身的动作。
20.根据权利要求19的方法，其中协调步骤包括，获取至少一个手指的操作动作的极限值，将所述极限值对应到化身局部的动作极限，将所述极限值之内的操作动作按比例对应到化身局部的动作幅度。
全文摘要
一种人机交互设备，以及将该设备用于虚拟世界的装置和方法。所述人机交互设备上布置有感测装置，感测装置包括操作部分和距离传感器，操作部分接收用户手指的操作动作，距离传感器感测操作部分相对于固定位置的距离，并生成距离信号用以表征操作动作。还提供了虚拟世界辅助装置，用以将上述人机交互设备用于虚拟世界，包括接收单元，配置为从人机交互设备接收信号，所述信号基于距离信号，用以表征操作动作；以及映射单元，配置为将所述信号分别映射到虚拟世界中的化身的身体局部的动作。还提供了与辅助装置对应的方法。通过本发明，能够感测操作的多元信号，并利用多元信号实现对化身动作的自由控制。
文档编号G06F3/01GK102478960SQ20101057703
公开日2012年5月30日 申请日期2010年11月29日 优先权日2010年11月29日
发明者朱子玉, 李起成, 王健, 王宜敏 申请人:国际商业机器公司