实现非接触式鼠标控制的人机交互方法和系统的制作方法
【专利摘要】本发明公开了一种实现非接触式鼠标控制的人机交互方法和系统，以解决现有技术中实现非接触式鼠标控制时操作难度大的技术问题。所述人机交互方法包括接收手掌的空间三维坐标和速度信息的步骤和接收手指尖的空间三维坐标和速度信息的步骤；其中，所述速度信息至少包括速度方向；还包括根据所述手掌的空间三维坐标和速度信息，以及所述手指尖的空间三维坐标和速度信息，控制光标在操作界面上的鼠标事件的步骤。本发明通过对手掌和手指尖的空间三维坐标和速度信息的分析和比较，依据判断的结果将用户的手掌和手指尖的运动关联为用户熟知的鼠标事件，简化了用户的操作，降低了操作者的控制难度。
【专利说明】实现非接触式鼠标控制的人机交互方法和系统
【技术领域】
[0001] 本发明涉及电子【技术领域】，尤其涉及一种实现非接触式鼠标控制的人机交互方 法和系统。
【背景技术】
[0002] 在用户与计算机的人机交互方式中，除了鼠标和键盘等传统的人机交互方式，近 年来出现了语音控制、触控控制和手势控制等新式的人机交互方式，尤其是以手势控制为 代表的非接触式人机交互方式，通过深度传感器检测人体动作，计算机再根据检测到的数 据将人体动作转换为对计算机的交互命令，使得人机交互显得更直接更自然。
[0003] 运用鼠标控制计算机是最传统最直接的人机交互方式，但在一些卫生条件要求很 高的环境中，不宜用手直接操控鼠标，在需要随时调取计算机资料时，常常感到不方便，例 如医生在手术室内，厨师在烹饪过程中，实验人员在无尘、无菌工作室中等；因此需要将手 势控制与鼠标操作结合起来，进行一种非接触式的操作。
[0004] 现有技术中的实现非接触式鼠标控制中，一种方法是：使用深度传感器捕获手部 的深度图，在手部的深度图中确定手指的数量和形状，并根据手指的数量和形状确定手部 的姿势，同时根据手部的位移情况确定手部的运动轨迹，将确定的手部的运动轨迹和手部 的姿势结合，对应成为不同的操作动作，例如将手指全部张开变化为伸直一根手指对应成 为选中目标的动作，将伸直一根手指变化为弯曲一根手指对应成为鼠标左键点击动作等， 这种方法的缺点在于：需要通过多帧手部深度图分析手部的姿势变化轨迹，再将手部的姿 势变化映射成为鼠标的操作动作，需要操作者记住手部姿势与鼠标动作的对应关系，增加 了操作者的控制难度。
【发明内容】
[0005] 本发明的目的是提供一种实现非接触式鼠标控制的人机交互方法和系统，以解决 现有技术中实现非接触式鼠标控制时操作难度大的技术问题。
[0006] 本发明的目的是通过以下技术方案实现的： 提供了一种实现非接触式鼠标控制的人机交互方法，所述方法包括以下步骤：接收手 掌的空间三维坐标和速度信息；接收手指尖的空间三维坐标和速度信息；其中，所述速度 信息至少包括速度方向；根据所述手掌的空间三维坐标和速度信息，以及所述手指尖的空 间三维坐标和速度信息，控制光标在操作界面上的鼠标事件。
[0007] 进一步的，所述控制光标在操作界面上的鼠标事件，具体为：判断所述手掌的速度 方向与所述手指尖的速度方向是否一致；若一致，则将所述手掌的空间三维坐标映射到所 述操作界面的二维坐标系中；根据映射的二维坐标更新所述光标在所述操作界面上的位 置。
[0008] 进一步的，所述控制光标在操作界面上的鼠标事件，具体为：当所述手掌的速度方 向与所述手指尖中的一个手指尖的速度方向不一致时，或当所述手指尖中的一个手指尖的 速度方向与其他手指尖的速度方向不一致时，判断所述一个手指尖是否是定义手指尖；若 是，则关联所述光标执行鼠标按键动作。
[0009] 进一步的，所述关联所述光标执行鼠标按键动作，还包括：当所述定义手指尖为第 一定义手指尖时，关联所述光标执行鼠标左键动作；当所述定义手指尖为第二定义手指尖 时，关联所述光标执行鼠标右键动作；当所述定义手指尖为第三定义手指尖时，关联所述光 标执行鼠标中键动作。
[0010] 进一步的，所述关联所述光标执行鼠标按键动作，具体为：当所述定义手指尖下移 时，关联所述光标执行一次鼠标键下按动作；当所述定义手指尖上移时，关联所述光标执行 一次鼠标键上抬动作。
[0011] 进一步的，所述关联所述光标执行鼠标按键动作，还包括：当所述第一定义手指尖 下移后，在预设时间内没有上移，并且所述第一定义手指尖的速度方向与所述手掌的速度 方向一致时，关联所述光标执行选择拖动动作。
[0012] 进一步的，所述控制光标在操作界面上的鼠标事件，具体为：当所述手掌的速度方 向与所述手指尖中至少两个手指尖的速度方向不一致时，关联所述光标执行鼠标滚轮动 作。
[0013] 还提供了一种实现非接触式鼠标控制的人机交互系统，包括操作界面和深度传感 器，所述系统还包括：接收单元，用于接收所述深度传感器检测到的手掌的空间三维坐标和 速度信息，以及手指尖的空间三维坐标和速度信息；其中，所述速度信息至少包括速度方 向；控制单元，用于根据所述手掌的空间三维坐标和速度信息，以及所述手指尖的空间三维 坐标和速度信息，控制光标在操作界面上的鼠标事件。
[0014] 进一步的，所述控制单元具体包括：判断模块，用于判断所述接收到的手掌的速度 方向与所述手指尖的速度方向是否一致；映射模块，用于将所述手掌的空间三维坐标和所 述手指尖的空间三维坐标映射到所述操作界面的二维坐标系中；第一关联模块，用于当所 述判断模块判断所述手掌的速度方向与所述手指尖的速度方向一致时，根据所述映射的二 维坐标更新所述光标在所述操作界面上的位置。
[0015] 进一步的，所述判断模块还用于当判断出所述手掌运动的速度方向与所述手指指 尖中的一个手指尖的速度方向不一致时，或当所述手指尖中的一个手指尖的速度方向与其 他手指尖的速度方向不一致时，进一步判断所述一个手指尖是否是定义手指指尖，所述定 义手指尖包括第一定义手指尖、第二定义手指尖和第三定义手指尖。
[0016] 进一步的，所述系统还包括第二关联模块，所述第二关联模块还用于，当所述定义 手指尖为第一定义手指尖时，关联所述光标执行鼠标左键动作；当所述定义手指尖为第二 定义手指尖时，关联所述光标执行鼠标右键动作；当所述定义手指尖为第三定义手指尖时， 关联所述光标执行鼠标中键动作。
[0017] 进一步的，所述第二关联模块还用于当所述定义手指尖下移时，关联所述光标执 行一次鼠标键下按动作；当所述定义手指尖上移时，关联所述光标执行一次鼠标键上抬动 作。
[0018] 进一步的，所述第二关联模块还用于当所述第一定义手指尖下移后，在预设时间 内没有上移，并且所述第一定义手指尖的速度方向与所述手掌的速度方向一致时，关联所 述光标执行选择拖动动作。
[0019] 进一步的，所述第二关联模块还用于当所述判断模块判断出所述手掌的速度方向 与所述手指尖中至少两个手指尖的速度方向不一致时，关联所述光标执行鼠标滚轮动作。
[0020] 本发明提供的技术方案的有益效果或者优点是：在本发明提供的实现非接触式鼠 标控制的人机交互方法和系统中，深度传感器获取手掌和手指尖等精细部位的深度信息， 这些深度信息包括手掌和五个手指尖的空间三维坐标以及至少包括速度方向的速度信息， 系统仅需根据上述信息的分析和比较来确定光标在操作界面上的鼠标事件；相比于现有技 术，本发明提供的技术方案不需要分析用户手部的深度图，不需要定义用户的手势模型，更 不需要将用户的手势模型与鼠标事件建立映射模型，因此用户不需记忆繁琐的手势操作， 简化了用户的操作，用户在进行非接触式鼠标操作时，仅需按照常规鼠标操作非接触式的 控制操作界面上的光标即可，降低了操作者的控制难度。
【专利附图】
【附图说明】
[0021] 图1为本申请实施例提供的实现非接触式鼠标控制的人机交互方法的流程图； 图2为本申请实施例提供的实现非接触式鼠标控制的人机交互系统的架构图； 图3为本申请实施例中实现非接触式鼠标控制的具体方法流程图； 图4为本申请实施例提供的关联光标执行鼠标滚轮动作的示意图； 图5本申请实施例中实现非接触式鼠标控制的具体方法流程图； 图6为本申请实施例提供的实现非接触式鼠标的人机交互系统的系统架构图。
【具体实施方式】
[0022] 下面将结合附图，对本发明实施例提供的实现非接触式鼠标控制的人机交互方法 和系统的技术方案进行详细描述。
[0023] 本申请实施例提供的实现非接触式鼠标控制的人机交互方法，如图1所示，包括 以下步骤： 步骤S01 :接收手掌的空间三维坐标和速度信息； 步骤S02 :接收手指尖的空间三维坐标和速度信息；其中，所述速度信息包括速度值和 速度方向； 其中，速度信息至少包括速度方向。
[0024] 手掌和手指尖的空间三维坐标和速度信息是通过设置在操作界面周围的深度传 感器获取的。本申请实施例中，操作界面可以是但不受限于电视屏幕、投影屏幕、电脑屏幕 等。深度传感器放置于操作界面的周围或是内置于系统的操作键盘内，以图2中深度传感 器3放置于操作界面1前端为例，其能感知的范围在操作界面前方形成一个能感知手掌和 手指尖的位置和速度信息的交互空间4,用户在此交互空间内进行手部操作时，其手掌和手 指尖的位置和速度信息都能被该深度传感器感知，并将感知到的信息传送给系统的控制单 元，控制单元则根据以下步骤将用户的手掌和手指尖的运动转换为操作界面上光标2的鼠 标事件。这里的手掌和手指尖的位置和速度信息可以区分左手手掌和左手手指尖的位置和 速度信息，以及右手手掌和右手手指尖的位置和速度信息，本申请实施例不对左右手做限 定，用户可以根据自己的习惯使用左手操作或者使用右手操作；这里的鼠标事件包含但不 受:限于鼠标平移、左键单击、左键双击、选择拖动、右键单击等。
[0025] 步骤S03 :根据所述手掌的空间三维坐标和速度信息，以及所述手指尖的空间三 维坐标和速度信息，控制光标在操作界面上的鼠标事件。
[0026] 深度传感器以设定的频率捕获交互空间内用户的动作，并将捕获到的用户手掌和 五个手指尖的空间三维坐标和速度信息传送给系统的控制单元，系统的控制单元在接收到 用户手掌和五个手指尖的空间三维坐标和速度信息后，通过这些信息的分析和比较，将用 户的手掌和手指尖的运动转换为用户熟知的鼠标事件。控制过程中，不需要获取用户手部 的深度图，不需要通过分析深度图来定义用户的手势模型，更不需要将用户的手势模型与 鼠标事件建立映射模型，因此用户不需记忆繁琐的手势模型，简化了用户的操作，用户在进 行非接触式鼠标操作时，仅需按照常规鼠标操作非接触式的控制操作界面上的光标即可， 降低了操作者的控制难度。
[0027]当然，本申请实施例不限制手掌和手指尖的速度信息的获取方式，其可以是深度 传感器获取到的速度信息，也可以是控制单元根据深度传感器获取的手掌和手指尖的空间 二维坐标计算得出的速度彳目息。
[0028] 具体的，控制光标在操作界面上的鼠标事件可以细化为如图3的步骤： 步骤S031 :判断所述手掌的速度方向与所述手指尖的速度方向是否一致。
[0029] 这里所指的手指尖包含整只手的全部五个手指的指尖，或者是代表所有手指尖运 动方向的多数手指尖，例如至少包含三根手指的手指尖。速度方向一致时，说明用户的手部 (包括手掌和手指尖）在进行整体的移动，任一个手指尖没有产生动作控制鼠标事件，此时， 可以将这种手部的整体移动与鼠标的平移事件关联起来；若不一致，说明至少有一个手指 尖在控制操作界面上的光标产生鼠标事件，因此，若比较结果表明手掌和手指尖的速度方 向是一致时，则进入步骤S032。
[0030] 步骤S032:将所述手掌的空间三维坐标映射到所述操作界面的二维坐标系中。
[0031] 将手掌的空间三维坐标映射到操作界面的二维坐标系中，存在两个坐标系的对应 映射关系。映射时，忽略三维空间中空间方向（如图2中的Z轴方向）的空间位移，将映射关 系简化为两个二维平面坐标系的比例换算映射，同时可以排除手部在空间方向的抖动对平 移判断的影响。
[0032] 步骤S033 :根据映射的二维坐标更新所述光标在所述操作界面上的位置。
[0033] 手掌和手指尖的速度方向一致时，将用户这种整体手部移动的动作与鼠标平移的 鼠标事件进行关联。具体的，将手掌在空间的三维坐标映射到操作界面的二维坐标系中，映 射时，忽略三维空间中其中一维的空间位移，进而将手部在三维空间的移动映射为二维平 面上的移动，并将这种移动与操作界面上的光标关联，使得手部在空间的整体移动映射为 操作平面上光标的移动，由此，将用户手部的空间移动动作与鼠标平移的事件关联起来。用 户可以通过手部整体移动的动作来控制光标在操作平面移动，从而可以控制光标选择控制 目标。
[0034]例如，手掌在三维坐标系中的坐标为映射到操作界面的二维坐标系 (X，y)中时，忽略A点的空间方向的坐标Z，从而将映射转换为从二维坐标系（X，Y)映射到二 维坐标系（x，y)的过程，假设二维坐标系（X，Y)与二维坐标系（x，y)的映射比例为（a，b)， 则将手掌映射到操作平面的坐标为（aX，bY)，此时，将光标的位置更新到操作界面坐标系的 坐标（aX，bY)上即可。
[0035] 若手掌和手指尖的速度方向不一致，则说明至少有一个手指尖在控制操作界面上 的光标产生鼠标事件，则具体的，进入步骤S034。
[0036] 步骤S034:进一步判断与手掌的速度方向不一致的手指尖是否是单个手指尖。若 不是单个手指尖，则进入步骤S037。
[0037] 步骤S037:关联所述光标执行鼠标滚轮动作。
[0038] 本申请实施例中，将至少两个手指尖的同向运动关联为鼠标滚轮事件。具体的，例 如，如图4所示，用户食指和中指(或者食指、中指和无名指，或者除去大拇指的其他四根手 指）的指尖同时上下移动，其三维空间坐标的纵轴(如图4中的Y轴）坐标发生往复位移变 化，将用户的此动作关联为鼠标滚轮事件，并判断所述至少两个手指尖的速度值，当所述至 少两个手指尖同时下移的速度值明显大于其他手指尖或手掌的速度值时，关联所述光标执 行鼠标滚轮顺时针滚动动作；当所述至少两个手指尖同时上移的速度值明显大于其他手指 尖或手掌的速度值时，关联所述光标执行鼠标滚轮逆时针滚动动作。
[0039] 进一步判断与手掌的速度方向不一致的手指尖是单个手指尖，则进入步骤S035。
[0040] 步骤S035 :进一步判断所述单个手指尖是否是定义手指尖；当判断出单个手指尖 为定义手指尖后，则进入步骤S036。
[0041] 步骤S036 :关联所述光标执行鼠标按键动作。
[0042] 定义手指尖，是指用户在系统设置中自行设置的手指尖与鼠标事件的对应关系 (当然也可以是系统设置的默认的手指尖与鼠标事件的对应关系)，本申请实施例中，将单 个手指尖的运动关联为鼠标事件中的点击事件。例如，用户在系统第一次启动后，进入系统 设置环境，定义第一定义手指尖关联光标执行鼠标左键点击动作，定义第二定义手指尖关 联光标执行鼠标右键点击动作，定义第三定义手指尖关联光标执行鼠标中键点击或者滚轮 动作。
[0043] 通常鼠标事件中的点击包括左键单击、左键双击和右键单击等，具体的，按照用户 熟知的操作习惯，可以将食指指尖的运动关联为鼠标事件中的左键点击，将中指指尖的运 动关联为鼠标事件中的右键点击，又或者，将中指指尖的运动关联为鼠标事件中的中键点 击或者鼠标滚轮事件，而将无名指指尖的运动关联为鼠标事件中的右键点击等。
[0044] 具体的关联，如图5所示，包括如下步骤： 步骤S0361:判断定义手指尖是否下移。
[0045] 具体的，通过深度传感器获取到定义手指尖的三维空间坐标变化，判断定义手指 尖在空间中是否产生纵向的下移动作，即判断纵向坐标是否是向下移方向发生变化，若是， 则进入步骤S0362。
[0046] 步骤S0362:将定义手指尖的一次下移关联为所述光标执行一次鼠标键的下按动 作。
[0047] 接着进入步骤S0363:判断在预设之间内定义手指尖是否上移；若判断出定义手 指尖的纵向坐标是向上移方向发生变化，则进步步骤S0364。
[0048] 步骤S0364 :将定义手指尖的一次上移关联为所述光标执行一次鼠标键的上抬动 作。
[0049] 具体的，当定义食指指尖关联鼠标左键事件，定义中指指尖关联鼠标右键事件时， 则食指指尖的一次下移和上移过程对应鼠标左键事件的左键按下和抬起的动作，从而完成 一次鼠标左键单击的鼠标事件，食指指尖的两次下移和上移过程对应鼠标左键事件的左键 两次按下和抬起的动作，从而完成一次鼠标左键双击的鼠标事件；而中指指尖的一次下移 和上移过程对应鼠标右键事件的一次按下和抬起动作，从而完成一次鼠标右键的单击鼠标 事件。
[0050] 进一步的，若在预设之间内定义手指尖没有上移，则进步步骤S0365。
[0051] 步骤S0365 :进一步判断该定义手指是否是第一定义手指尖，即判断是否是鼠标 左键事件关联的手指尖，例如食指指尖，若是，则进入步骤S0366。
[0052] 步骤S0366 :判断第一定义手指尖的速度方向与所述手掌的速度方向一致。
[0053] 若手指尖的速度方向与手掌的速度方向一致时，说明手部整体向同一个方向运 动，如前所述，将手部的整体运动关联为鼠标的平移事件，此时，第一定义手指尖产生下按 动作，同时产生位移，则： 步骤S0367 :关联所述光标执行选择拖动动作。
[0054] 具体的，第一定义手指尖下移关联光标在操作界面执行鼠标左键单击动作选中目 标后，手部整体移动，使得第一定义手指尖的速度方向与手掌的速度方向一致，进而关联光 标在操作界面上执行鼠标拖动事件，将选中目标在操作界面上移动。当第一定义手指尖再 次上移时，关联光标在操作界面执行放开选中目标的动作，从而完成一次选择拖动动作。
[0055] 本申请实施例还提供了一种实现非接触式鼠标控制的人机交互系统，如图6所 示，所述系统包括：操作界面1，深度传感器3,接收单元5和控制单元6。
[0056] 结合图2所示，深度传感器3放置于操作界面1的周围位置，可以是前侧，也可以 是边侧，本申请实施例不做限制。深度传感器的感知范围形成交互空间4,用户在交互空间 内的操作深度传感器3捕获后，将手掌和手指尖的三维空间坐标和速度信息传送给接收单 元5,其中，速度信息至少包括速度方向，接收单元5将上述信息传送给控制单元6,控制单 元6根据接收到的手掌的空间三维坐标和速度信息，以及所述手指尖的空间三维坐标和速 度信息，控制光标在操作界面上的鼠标事件。
[0057] 具体的，控制单元包括判断模块61，映射模块62,第一关联模块63和第二关联模 块64。
[0058] 其中，判断模块，用于判断所述接收到的手掌的速度方向与所述手指尖的速度方 向是否一致；并且，当判断出所述手掌的速度方向与所述手指尖中的一个手指尖的速度方 向不一致时，或当所述手指尖中的一个手指尖的速度方向与其他手指尖的速度方向不一致 时，进一步判断所述一个手指尖是否是定义手指尖，所述定义手指尖包括第一定义手指尖、 第二定义手指尖和第三定义手指尖。
[0059] 映射模块，用于将所述手掌的空间三维坐标和所述手指尖的空间三维坐标映射到 所述操作界面的二维坐标系中。
[0060] 第一关联模块，用于当所述判断模块判断所述手掌的速度方向与所述手指尖的速 度方向一致时，根据所述映射的二维坐标更新所述光标在所述操作界面上的位置。
[0061] 第二关联模块，当所述定义手指尖下移时，关联所述光标执行一次鼠标键下按动 作；当所述定义手指尖上移时，关联所述光标执行一次鼠标键上抬动作。当所述定义手指尖 为第一定义手指尖时，关联所述光标执行鼠标左键动作；当所述定义手指尖为第二定义手 指尖时，关联所述光标执行鼠标右键动作；当所述定义手指尖为第三定义手指尖时，关联所 述光标执行鼠标中键动作。当所述第一定义手指尖下移后，在预设时间内没有上移，并且所 述第一定义手指尖的速度方向与所述手掌的速度方向一致时，关联所述光标执行选择拖动 动作；当所述手掌的速度方向与所述手指尖中至少两个手指尖的速度方向不一致时，关联 所述光标执行鼠标滚轮动作。
[0062] 具体的控制过程已经在上述实现非接触式鼠标控制的人机交互方法中详细介绍， 此处不再赘述。
[0063] 本申请实施例提供的实现非接触式鼠标控制的人机交互方法和系统，采用例如kinect2代体感传感器、LeapMotion厉动传感器等，能够精确识别手掌、手指尖等精细部位 的位置和速度等信息，并根据这些信息，经过控制单元的比较和判断，依据比较和判断的结 果将手掌和手指尖的运动与鼠标事件进行关联，这些鼠标事件都是用户熟知的鼠标操作， 使得用户无需记忆复杂的手势操作，在不接触鼠标的情况下进行非接触式鼠标的操作，实 现鼠标的熟知功能，无需改变用户的操作习惯，具有操作简单的技术效果；同时控制单元无 需采集用户手部深度图，无需对深度图进行图像处理分析建立手势模型，无需将手势模型 与鼠标事件建立映射模型，只需进行简单的数据比较和判断，减少了控制单元的数据计算 量，提高了系统运行效率，进一步能提高用户的操作感，降低系统的控制难度，具有很高的 推广意义。
[0064] 本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序 产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实 施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机 可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产 品的形式。
[0065] 本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程 图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一 流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算 机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理 器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生 用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能 的装置。
[0066] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特 定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指 令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或 多个方框中指定的功能。
[0067] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计 算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或 其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图 一个方框或多个方框中指定的功能的步骤。
[0068] 尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造 性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优 选实施例以及落入本发明范围的所有变更和修改。
[0069] 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精 神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围 之内，则本发明也意图包含这些改动和变型在内。
【权利要求】
1. 实现非接触式鼠标控制的人机交互方法，其特征在于，所述方法包括以下步骤： 接收手掌的空间三维坐标和速度信息； 接收手指尖的空间三维坐标和速度信息；其中，所述速度信息至少包括速度方向； 根据所述手掌的空间三维坐标和速度信息，以及所述手指尖的空间三维坐标和速度信 息，控制光标在操作界面上的鼠标事件。
2. 根据权利要求1所述的实现非接触式鼠标控制的人机交互方法，其特征在于，所述 控制光标在操作界面上的鼠标事件，具体为： 判断所述手掌的速度方向与所述手指尖的速度方向是否一致； 若一致，则将所述手掌的空间三维坐标映射到所述操作界面的二维坐标系中； 根据映射的二维坐标更新所述光标在所述操作界面上的位置。
3. 根据权利要求1所述的实现非接触式鼠标控制的人机交互方法，其特征在于，所述 控制光标在操作界面上的鼠标事件，具体为： 当所述手掌的速度方向与所述手指尖中的一个手指尖的速度方向不一致时，或当所述 手指尖中的一个手指尖的速度方向与其他手指尖的速度方向不一致时，判断所述一个手指 尖是否是定义手指尖； 若是，则关联所述光标执行鼠标按键动作。
4. 根据权利要求3所述的实现非接触式鼠标控制的人机交互方法，其特征在于，所述 关联所述光标执行鼠标按键动作，还包括： 当所述定义手指尖为第一定义手指尖时，关联所述光标执行鼠标左键动作； 当所述定义手指尖为第二定义手指尖时，关联所述光标执行鼠标右键动作； 当所述定义手指尖为第三定义手指尖时，关联所述光标执行鼠标中键动作。
5. 根据权利要求3-4任一项权利要求所述的实现非接触式鼠标控制的人机交互方法， 其特征在于，所述关联所述光标执行鼠标按键动作，具体为： 当所述定义手指尖下移时，关联所述光标执行一次鼠标键下按动作； 当所述定义手指尖上移时，关联所述光标执行一次鼠标键上抬动作。
6. 根据权利要求5所述的实现非接触式鼠标控制的人机交互方法，其特征在于，所述 关联所述光标执行鼠标按键动作，还包括： 当所述第一定义手指尖下移后，在预设时间内没有上移，并且所述第一定义手指尖的 速度方向与所述手掌的速度方向一致时，关联所述光标执行选择拖动动作。
7. 根据权利要求1所述的实现非接触式鼠标控制的人机交互方法，其特征在于，所述 控制光标在操作界面上的鼠标事件，具体为： 当所述手掌的速度方向与所述手指尖中至少两个手指尖的速度方向不一致时， 关联所述光标执行鼠标滚轮动作。
8. 实现非接触式鼠标控制的人机交互系统，包括操作界面和深度传感器，其特征在于， 所述系统还包括： 接收单元，用于接收所述深度传感器检测到的手掌的空间三维坐标和速度信息，以及 手指尖的空间三维坐标和速度信息；其中，所述速度信息至少包括速度方向； 控制单元，用于根据所述手掌的空间三维坐标和速度信息，以及所述手指尖的空间三 维坐标和速度信息，控制光标在操作界面上的鼠标事件。
9. 根据权利要求8所述的实现非接触式鼠标控制的人机交互系统，其特征在于，所述 控制单元具体包括： 判断模块，用于判断所述接收到的手掌的速度方向与所述手指尖的速度方向是否一 致； 映射模块，用于将所述手掌的空间三维坐标和所述手指尖的空间三维坐标映射到所述 操作界面的二维坐标系中； 第一关联模块，用于当所述判断模块判断所述手掌的速度方向与所述手指尖的速度方 向一致时，根据所述映射的二维坐标更新所述光标在所述操作界面上的位置。
10. 根据权利要求9所述的实现非接触式鼠标控制的人机交互系统，其特征在于，所述 判断模块还用于： 当判断出所述手掌运动的速度方向与所述手指指尖中的一个手指尖的速度方向不一 致时，或当所述手指尖中的一个手指尖的速度方向与其他手指尖的速度方向不一致时，进 一步判断所述一个手指尖是否是定义手指指尖，所述定义手指尖包括第一定义手指尖、第 二定义手指尖和第三定义手指尖。
11. 根据权利要求10所述的实现非接触式鼠标控制的人机交互系统，其特征在于，所 述系统还包括第二关联模块，所述第二关联模块用于， 当所述定义手指尖为第一定义手指尖时，关联所述光标执行鼠标左键动作； 当所述定义手指尖为第二定义手指尖时，关联所述光标执行鼠标右键动作； 当所述定义手指尖为第三定义手指尖时，关联所述光标执行鼠标中键动作。
12. 根据权利要求11所述的实现非接触式鼠标控制的人机交互系统，其特征在于，所 述第二关联模块还用于， 当所述定义手指尖下移时，关联所述光标执行一次鼠标键下按动作； 当所述定义手指尖上移时，关联所述光标执行一次鼠标键上抬动作。
13. 根据权利要求12所述的实现非接触式鼠标的人机交互系统，其特征在于，所述第 二关联模块还用于 当所述第一定义手指尖下移后，在预设时间内没有上移，并且所述第一定义手指尖的 速度方向与所述手掌的速度方向一致时，关联所述光标执行选择拖动动作。
14. 根据权利要求11所述的实现非接触式鼠标控制的人机交互系统，其特征在于，所 述第二关联模块还用于 当所述判断模块判断出所述手掌的速度方向与所述手指尖中至少两个手指尖的速度 方向不一致时， 关联所述光标执行鼠标滚轮动作。
【文档编号】G06F3/0346GK104331154SQ201410551798
【公开日】2015年2月4日 申请日期:2014年10月17日 优先权日:2014年8月21日
【发明者】周谆 申请人:周谆