基于三维显示的手势操控方法和系统的制作方法
【技术领域】
[0001] 本发明涉及手势操作控制技术，特别是涉及人机自然交互的基于三维显示的手势 操控方法和系统。
【背景技术】
[0002] 人机交互、机器人和虚拟现实等领域的快速发展和广泛应用，三维交互输入新技 术成为人机虚拟交互领域中众多研究学者的热点。随着这项技术的发展和不断深入，大众 对其使用需求越来越高，非接触、高速、实时定位与三维操作成为该技术发展的方向。因此， 传统的采用鼠标或者触摸屏控制显示屏已无法实现大众的需求。
【发明内容】
[0003] 基于此，有必要提供一种人机自然交互的、非接触的基于三维显示的手势操控方 法。
[0004] 一种基于三维显示的手势操控方法，包括以下步骤：
[0005] 获取手部的位置信息，并建立手部在三维空间坐标系的运动轨迹；
[0006] 根据手部在三维空间坐标系的运动轨迹，识别手部的手势动作；
[0007] 根据所述手势动作读取对应的控制指令，并根据所述控制指令控制三维图像中的 操作对象。
[0008] 在其中一个实施例中，所述获取手部的位置信息，并建立手部在三维空间坐标系 的运动轨迹的步骤包括：
[0009] 获取手部一系列连续的深度信息，根据所述深度信息形成手部在三维空间坐标系 的运动轨迹。
[0010] 在其中一个实施例中，所述手部的操作空间与所述三维空间坐标系成线性对应关 系，其中，操作空间为手部执行一系列连续动作的真实空间。
[0011] 在其中一个实施例中，所述根据手部在三维空间坐标系的运动轨迹识别手部的手 势动作的步骤包括：
[0012] 提取手部轮廓特征信息，并结合所述位置信息进行特征匹配对手势动作进行识别 分类。
[0013] 在其中一个实施例中，所述根据所述手势动作读取对应的控制指令，并根据所述 控制指令控制三维图像中的操作对象的步骤包括：
[0014] 存储每个手势动作与对应的控制指令的对应关系；
[0015] 在识别手势动作后，从对应关系中读取该手势动作对应的控制指令；
[0016] 根据所述控制指令控制三维图像中的操作对象执行对应动作。
[0017] 此外，还提供一种人机自然交互的、非接触的基于三维显示的手势操控系统。
[0018] -种基于三维显示的手势操控系统，包括：
[0019] 信息获取模块，用于获取手部的位置信息，
[0020] 坐标建立模块，用于根据所述位置信息建立手部在三维空间坐标系的运动轨迹；
[0021] 手势识别模块，用于根据手部在三维空间坐标系的运动轨迹识别手部的手势动 作；
[0022] 操作控制模块，用于根据所述手势动作读取对应的控制指令，并根据所述控制指 令控制三维图像中的操作对象。
[0023] 在其中一个实施例中，所述信息获取模块还用于获取手部一系列连续的深度信 息；所述坐标建立模块还用于根据所述深度信息形成手部在三维空间坐标系的运动轨迹。
[0024] 在其中一个实施例中，手部的操作空间与所述三维空间坐标系成线性对应关系， 其中，操作空间为手部执行一系列连续动作的真实空间。
[0025] 在其中一个实施例中，所述手势识别模块还用于提取手部轮廓特征信息，并结合 所述位置信息进行特征匹配对手势动作进行识别分类。
[0026] 在其中一个实施例中，所述操作控制模块包括存储模块、读取模块及执行模块；所 述存储模块用于存储每个手势动作与对应的控制指令的对应关系；所述读取模块用于在识 别手势动作后，从对应关系中读取该手势动作对应的控制指令；所述执行模块用于根据所 述控制指令控制三维图像中的操作对象执行对应动作。
[0027] 此外，还提供一种人机自然交互的、非接触的基于三维显示的手势操控装置。
[0028] 一种基于三维显示的手势操控装置，其特征在于，包括深度相机、三维显示器及处 理器；
[0029] 所述深度相机用于获取手部的深度图像，并输出给所述处理器；
[0030] 所述处理器根据所述深度图像获取手部的位置信息；并根据所述位置信息建立手 部在三维空间坐标系的运动轨迹；所述处理器还用于根据手部在三维空间坐标系的运动轨 迹识别手部的手势动作；所述处理器还用于根据所述手势动作读取对应的控制指令，并根 据所述控制指令控制三维图像中的操作对象；
[0031] 所述处理器还用于根据所述手势动作控制三维显示器显示该手势动作，并显示执 行该手势动作对应的控制指令的轨迹。
[0032] 上述基于三维显示的手势操控方法和系统、装置通过获取手部的位置信息，然后 建立手部在三维空间坐标系的运动轨迹，根据该运动轨迹识别手部的手势动作，最后根据 所述手势动作读取对应的控制指令，并根据所述控制指令控制三维图像中的操作对象。即 通过识别用户的手势动作，然后依据手势动作控制操作对象执行对应的操作。因此，能够实 现人机自然交互且无需接触显示屏。
【附图说明】
[0033] 图1为基于三维显示的手势操控方法的流程图；
[0034] 图2为物体深度计算模型的示意图；
[0035] 图3(a)手与三维显示光标对应移动的示意图之一；
[0036] 图3(b)手与三维显示光标对应移动的示意图之二；
[0037] 图3(c)抓握对象在三维显示中跟随手移动的示意图之一；
[0038] 图3(d)抓握对象在三维显示中跟随手移动的示意图之二；
[0039] 图3(e)抓握对象在三维显示中跟随手移动的示意图之三；
[0040] 图3(f)抓握对象在三维显示中跟随手移动的示意图之四；
[0041] 图3(g)抓握对象在三维显示中跟随手移动的示意图之五；
[0042] 图4基于三维显示的手势操控系统的模块图。
【具体实施方式】
[0043] 为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中 给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文 所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透 彻全面。
[0044] 需要说明的是，当元件被称为"固定于"另一个元件，它可以直接在另一个元件上 或者也可以存在居中的元件。当一个元件被认为是"连接"另一个元件，它可以是直接连接 到另一个元件或者可能同时存在居中元件。本文所使用的术语"垂直的"、"水平的"、"左"、 "右"以及类似的表述只是为了说明的目的。
[0045] 除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的 技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具 体的实施例的目的，不是旨在于限制本发明。本文所使用的术语"及/或"包括一个或多个 相关的所列项目的任意的和所有的组合。
[0046] 如图1所示，为基于三维显示的手势操控方法的流程图。
[0047] 获取手部的深度图像，深度图像也成为距离图像，是指从观察视角看去，图像所含 信息与场景中物体表面距离相关的一种图像或一种图像通道。在深度图像中像素点的灰度 值对应于场景中点的深度值。深度图像包含的信息为深度信息。
[0048] 深度图像具有颜色无关性和灰度值变化方向与相机所拍摄的视场方向Z方向相 同等两个性质。其中，颜色无关性是指与彩色图像相比，深度图像不会有光照、阴影以及环 境变化的干扰。