专利名称：一种用户交互系统和方法
技术领域：
本发明涉及电子应用(application)技术领域,特别地,涉及一种用户交互系统和方法。
背景技术：
1959年美国学者B.Shackel首次提出了人机交互工程学的概念。20世纪90年代后期以来，随着高速处理芯片，多媒体技术和互联网技术的迅速发展和普及，人机交互的研究重点放在了智能化交互、多模态(多通道)_多媒体交互、虚拟交互以及人机协同交互等方面，也就是放在以人为在中心的人机交互技术方面。人们对于现存的人机交互方式并不满足，人们期望新一代的人机交互能像人与人交互一样自然、准确和快捷。在20世纪90年代人机交互的研究进到了多模态阶段，称为人机自然交互(Human-Computer Nature Interaction, HCNI 或 Human-Machine NatureInteraction, HMNI)。用户交互界面(User Interface, UI)设计是指对软件的人机交互、操作逻辑、界面美观的整体设计。在人和机器互动获取信息、体验的过程中，有一个媒介，即可视化的人机交互界面，以及相应于该人机交互界面的交互设备及方法。举例来讲，触摸屏手机的出现把触摸交互方式带给了广大消费大众。与此同时，传统鼠标、键盘的交互界面迅速转向了适应于触摸交互方式的交互界面。以苹果的IOS以及Google的Android为例，用户可以通过触摸屏点击或拖动屏幕上显示的图标，以进行相应的交互操作。可以看到一种新的用户交互界面及交互方法需要相应硬件及软件的支持。
`
以目前主流智能手机、平板电脑为代表的平面触摸交互设备让人们可以通过触摸这种所见即所得的方式与平面图形交互界面进行交互。例如，用户可以直接点击界面中的方形应用图标以进入该应用程序；可以按住某个应用程序图标在屏幕上滑动以对该图标进行平移拖拽操作等等。目前，微软配合旗下游戏主机Xbox发布的体感交互附件Kinect使人机交互向着自然体感交互的方式迈了很大的一步。通过Kinect，用户可以通过手势与电视中显示的交互界面进行自然地交互。交互界面中有一个圆形的图标代表用户的手的位置，用户可以通过移动手来移动交互界面中的圆形图标，当用户通过移动手将交互界面中的圆形图标移动到某一个应用图标上并停留一定的时间，这将触发一个类似于确认、进入、选择的交互命令，从而进入该应用程序。然而，平面交互界面中内容的丰富程度受到较大限制。而且，Kinect通过移动光标到某按键上并停留一段时间的方式进行确认选择，这种操作只能进行一种确认或进入的操作，交互的丰富性受到限制，此外用户感觉不够自然，交互操作时感受到拘束。
发明内容
有鉴于此，本发明实施方式提出一种用户交互系统，以与三维立体交互界面进行交互。本发明实施方式还提出一种用户交互方法，以与三维立体交互界面进行交互。本发明技术方案如下:一种用户交互系统，该系统包括三维交互界面显示模块、手势识别模块和运算处理模块，其中:三维交互界面显示模块，用于向用户提供三维交互界面；手势识别模块，用于捕获用户浏览该三维交互界面做出的手势移动轨迹信息和手势形态信息，并将所述手势移动信息和手势形态信息发送到信息运算处理模块；运算处理模块，用于当判定该手势移动轨迹信息与预先设定空间点之间的距离满足预先设定的距离门限值，而且该手势形态信息满足预先设置的状态切换条件时，确定相对应的交互操作命令，并将执行 该交互操作命令后的三维交互结果界面发送给三维交互界面显示模块；三维交互界面显示模块，进一步用于向用户提供所述三维交互结果界面。所述运算处理模块为移动终端、智能电视、计算机或基于云计算的信息服务平台。运算处理模块，进一步用于在三维交互界面上显示空间虚拟指针元素，所述空间虚拟指针元素在三维交互界面上的运动轨迹与用户浏览该三维交互界面做出的手势移动轨迹保持一致，而且所述空间虚拟指针元素在三维交互界面上的手势形态与用户浏览该三维交互界面做出的手势形态保持一致。所述空间虚拟指针元素为手型点云形态、手型实体模型或手型透明轮廓。所述三维交互界面显示模块为3D电视、3D头戴式显示器、3D投影仪或3D全息显
示装置。该系统进一步包括佩戴于用户头部的视角感知单元；视角感知单元，用于感测用户头部运动信息，并将所述用户头部运动信息发送到运算处理模块；运算处理模块，还用于根据所述用户头部运动信息确定用户实时视角，并实时向三维交互界面显示模块发送基于该用户实时视角下的三维交互界面和三维交互结果界面。一种用户交互方法，该方法包括:向用户提供三维交互界面；捕获用户浏览该三维交互界面做出的手势移动轨迹信息和手势形态信息；当判定该手势移动轨迹信息与预先设定空间点之间的距离满足预先设定的距离门限值，而且该手势形态信息满足预先设置的状态切换条件时，确定相对应的交互操作命令；向用户提供对应于执行该交互操作命令后的三维交互结果界面。该方法进一步包括:在三维交互界面上显示空间虚拟指针元素，所述空间虚拟指针元素在三维交互界面上的运动轨迹与用户浏览该三维交互界面做出的手势移动轨迹保持一致，而且所述空间虚拟指针元素在三维交互界面上的手势形态与用户浏览该三维交互界面做出的手势形态
保持一致。所述空间虚拟指针元素为手型点云形态、手型实体模型或手型透明轮廓。
所述手势形态信息满足预先设置的状态切换条件包括:该手势形态信息从第一状态切换到不同于该第一状态的第二状态，所述第一状态和第二状态都从手势状态组中选择，而且所述手势状态组包括:单手握拳、单手掌心朝上手掌伸开、单手掌心朝下手掌伸开、单手伸出单个手指、单手伸出任意两个手指、单手伸出任意三个手指、单手伸出任意四个手指、双手握拳、双手掌心朝上手掌伸开、双手掌心朝下手掌伸开、双手伸出单个手指、双手伸出任意两个手指、双手伸出任意三个手指、双手伸出任意四个手指、双手伸出任意五个手指、双手伸出任意六个手指、双手伸出任意七个手指、双手伸出任意八个手指和双手伸出任意九个手指。该方法进一步包括判断该手势移动轨迹信息与预先设定的移动轨迹信息特征是否匹配；其中当判定该手势移动轨迹信息与预先设定的移动轨迹信息特征相匹配，而且该手势形态信息满足预先设置的状态切换条件时，确定相对应的交互操作命令。从上述技术方案中可以看出，在本发明实施方式中，用户交互系统包括三维交互界面显示模块、手势识别模块和运算处理模块，其中:三维交互界面显示模块，用于向用户提供三维交互界面；手势识别模块，用于捕获用户浏览该三维交互界面做出的手势移动轨迹信息和手势形态信息，并将所述手势移动信息和手势形态信息发送到信息运算处理模块；运算处理模块，用于当判定该手势移动轨迹信息与预先设定空间点之间的距离满足预先设定的距离门限值，而且该手势形态信息满足预先设置的状态切换条件时，确定相对应的交互操作命令，并将执行该交互操作命令后的三维交互结果界面发送给三维交互界面显示模块；三维交互界面显示模块，进一步用于向用户提供所述三维交互结果界面。由此可见，应用本发明实施方式以后，通过虚拟的三维界面与用户手势之间的交互，实现了一种用户与硬件设备之间交互与获取信息的方式，极大地增强了用户体验。而且，本发明实施的交互方式非常`自然，符合人性的基本肢体动作(比如手势)交互模式，而且降低了用户对操作设备的学习成本，符合人体自然地交互操控与便携信息处理硬件设备的分体设计，使人能够更集中精力于其所关注的信息而不是硬件设备本身。而且，本发明实施方式还提出了一种自然交互技术的三维立体虚拟信息自然交互界面，该交互界面包含众多三维立体可进行自然交互的元素。通过本发明实施方式所提出的解决方案，用户可以自然地用手控制上述三维立体虚拟信息自然交互界面中对应于用户手的虚拟指针，对三维立体虚拟信息自然交互界面进行自然交互。另外，本发明实施方式的独特显示方式使其受环境影响较小，给人提供高品质的感官体验，并能够保护信息的私密性。本发明实施方式通过直接视网膜扫描投影显示方式可以将三维虚拟信息与现实实景融合在一起，给人提供增强现实的感官体验，从而基于此可以衍生出大量的有意义的应用，进一步极大地提高用户体验。不仅于此，本发明实施方式可以应用与任何人机交互信息设备，其通用性将给人们带来极大便利。
图1为根据本发明实施方式的用户交互系统结构示意图；图2为根据本发明实施方式的用户交互方法流程示意图3为根据本发明实施方式的点云形式指针元素示意图；图4为根据本发明实施方式的轮廓形式指针元素示意图；图5为根据本发明实施方式的实体模型形式指针元素示意图；图6为根据本发明实施方式的三维空间点阵解锁界面示意图；图7为根据本发明实施方式的三维空间菜单选择界面示意图。
具体实施例方式为使本发明实施方式的目的、技术方案和优点表达得更加清楚明白，下面结合附图及具体实施例对本发明实施方式再作进一步详细的说明。在本发明实施方式中，针对现有技术下各种电子设备(诸如便携式电子设备)采用平面交互界面所导致的各种缺陷，提出了一种针对三维界面的用户交互解决方案。在本发明实施方式中，可以使用多种方式产生虚拟三维屏幕界面，避免了采用物理显示屏导致的各种问题，而且还不会影响背景视场，其产生的虚拟三维屏幕界面还可作为对现实实景的增强，能够广泛应用于增强现实(Augment Reality)技术。另外，本发明实施方式同时针对前述虚拟三维界面提出一种基于对人肢体动作(优选为人的手势)识别的人性化交互方案，此交互方案能够无缝融合前述虚拟三维界面与人体的肢体动作操控信息。类似地，通过对一些基本的典型的操作识别进行优化处理，形成一个稳定的交互开发平台，供开发者开发各式各样应用。图1为根据本发明实施方式的用户交互系统结构示意图。
·
如图1所示，该系统包括三维交互界面显示模块101、手势识别模块102和运算处理模块103。三维交互界面显示模块101，用于向用户显示三维交互界面；手势识别模块102，用于捕获用户浏览该三维交互界面做出的手势移动轨迹信息和手势形态信息，并将所述手势移动信息和手势形态信息发送到信息运算处理模块；运算处理模块103，用于当判定该手势移动轨迹信息与三维交互界面上预先设定空间点之间的距离满足预先设定的距离门限值，而且该手势形态信息满足预先设置的状态切换条件时，确定相对应的交互操作命令，并将执行该交互操作命令后的三维交互结果界面发送给三维交互界面显示模块；三维交互界面显示模块101，进一步用于向用户提供所述三维交互结果界面。三维交互界面显示模块101可以从任意的三维信号提供源获取三维交互界面显示信号，并且基于三维交互界面显示信号向用户显示三维交互界面。比如，三维交互界面显示模块101可以从运算处理模块103获取三维交互界面显示信号，并且基于三维交互界面显示信号向用户提供三维交互界面。可选地，三维交互界面显示模块101还可以从该系统之外的移动终端、计算机，甚至是基于云计算的信息服务平台等三维信号提供源获取三维交互界面显示信号。其中，运算处理模块103可以是具备计算能力的任意装置。比如移动终端、计算机，甚至是基于云计算的信息服务平台等。运算处理模块103可以将三维交互界面上的任意空间点设置为交互点，当用户手移动到与该交互点之间的距离满足预先设定的距离门限值，而且手势形态满足预先设置的状态切换条件时，确定相对应的交互操作命令，并将执行该交互操作命令后的三维交互结果界面发送给三维交互界面显示模块101 ;三维交互界面显示模块101，进一步用于向用户显示所述三维交互结果界面。在一个实施方式中，预先设置的状态切换条件可以包括:用户的一只手在状态一(例如手掌状态)下移动到某个特定位置，并转变为状态二 (例如握拳状态)，保持手在状态二下向特定的方向(如上、下、左、右、前、后、左前，右前等等)或沿特定轨迹(如:闭合轨迹，摆动轨迹)下移动。当满足了这种状态切换条件后，可以触发某种交互操作，实现特定的交互意图。基于状态切换条件的不同，交互操作命令可以相应不同。三维交互界面显示模块101用于接受运算处理模块103或其他三维立体交互信号提供源所提供的三维立体交互界面显示信号，并向用户呈现三维立体交互界面。三维交互界面显示模块101具备显示三维立体内容的能力，具体可以是3D电视、3D头戴式显示器、3D投影设备或3D全息显示装置，等等。优选地，运算处理模块103与三维交互界面显示模块101之间的通信方式可以有多种具体实施形式，包括但是不局限于:无线宽带传输、蓝牙传输、红外传输、移动通信传输或者有线传输等等。三维交互界面显示模块101通过上述通讯方式从任意的三维信号提供源接收三维交互界面显示信号之后，对三维交互界面显示信号进行调制解码后，将三维交互界面显示图像直接投影到用户视网膜上，使用户感觉到前方出现一个虚拟的三维界面(优选为增广的屏幕)。用户感兴趣的信息将通过这个虚拟三维界面得以展现。三维交互界面显示模块101可以通过多种方式产生这个虚拟三维界面。比如，三维交互界面显示模块101具体可以是用户头戴式眼镜式显示器。该用户头戴式眼镜式显示器有两个超微显示屏对应于人的左右眼，通过精密光学透镜放大超微显示屏上的图像，进而呈现于观看者眼中虚拟增广的屏幕图像。此外，三维交互界面显示模块101还可以通过视网膜直接投影的方式产生虚拟三维界面。比如，三维交互界面显示模块101具体可以为直接视网膜投影装置。在这种方式中，利用人的视觉暂留原理，三维交互界面显示模块101 (即直接视网膜投影装置)中的显示芯片接收三维交互界面显示信号，进而对三维交互界面显示模块101中的微型激光发生器产生的红绿蓝激光进行调制，让低功率激光快速地按指定顺序在水平和垂直两个方向上循环扫描，撞击视网膜的一小块区域使其产生光感，使人们感觉到三维图像的存在，此种显示方式可以不影响背景视场，三维虚拟屏幕叠加在真实视场上，进而可以提供增强现实的感官体验。在一个实施方式中，当三维虚拟交互界面出现以后，用户浏览三维虚拟交互界面，并且通过手势来触发交互过程。手势(hand and gesture)识别模块用于实时获取用于识别判定用户的手势状态以及手指三维空间相对位置坐标相关信息的数据。这种原始数据可以是实时的图像数据，包括普通的RGB图像数据，和/或包含深度信息的图像数据，也可以包含来自某种位置定位传感器的实时位置坐标数据与指令信息。在一个实施方式中，手势识别模块102可以是一种深度图像传感器。该深度图像传感器连续实时拍摄得到前方一定区域范围内包含深度信息的图像数据，当用户的手出现在传感器的视场区域中时，深度图像传感器得到的深度图像数据包含用户的手的位置形态信息。这些深度图像数据通过有线或无线的方式发送给运算处理模块103。在一个实施方式中，运算处理模块103，进一步用于在三维交互界面上显示空间虚拟指针元素，所述空间虚拟指针元素在三维交互界面上的运动轨迹与用户浏览该三维交互界面做出的手势移动轨迹保持一致，而且所述空间虚拟指针元素在三维交互界面上的手势形态与用户浏览该三维交互界面做出的手势形态保持一致。优选地，空间虚拟指针元素具体可以包括:手型点云形态、手型实体模型或手型透明轮廓，等等。优选地，该系统可以进一步包括佩戴于用户头部的视角感知单元(图中没有示出)。视角感知单元，用于感测用户头部运动信息，并将所述用户头部运动信息发送到运算处理模块103 ；运算处理模块103，还用于根据所述用户头部运动信息确定用户实时视角，并实时向三维交互界面显示模块101提供 基于该用户实时视角下的三维交互界面和三维交互结果界面。运算处理模块103通过一系列软件算法，对接收到的包含了用户手的当前状态信息的数据进行分析处理，提取出用户手指的三维空间相对位置信息以及手的形态信息，用于进一步对用户交互意图的判断。运算处理模块103可以判定出的手的当前状态信息包括:单手握拳、单手掌心朝上手掌伸开、单手掌心朝下手掌伸开、单手伸出单个手指、单手伸出任意两个手指、单手伸出任意三个手指、单手伸出任意四个手指、双手握拳、双手掌心朝上手掌伸开、双手掌心朝下手掌伸开、双手伸出单个手指、双手伸出任意两个手指、双手伸出任意三个手指、双手伸出任意四个手指、双手伸出任意五个手指、双手伸出任意六个手指、双手伸出任意七个手指、双手伸出任意八个手指和双手伸出任意九个手指，等等。运算处理模块103根据用户的手的状态以及手的空间相对位置，实时计算得到对应于三维立体交互界面(或空间)中对应于用户手的手型指针元素的形态和位置，从而实现在三维立体交互界面中的手型指针元素可以实时与用户的手的位置和形态相对应。同时，运算处理模块103根据识别得到的用户手势状态以及手的空间相对位置判断用户在三维立体交互界面中的交互意图，并根据预设好的相应交互反馈实现用户的相应交互意图。运算处理模块103可以根据以上处理结果实时渲染生成三维立体交互界面显示信号，并将该显示信号实时传输给三维交互界面显示模块101，从而使用户能够通过三维交互界面显示模块看到交互反馈结果。运算处理模块103也可以将交互操作命令发送给三维交互界面显示模块，由三维交互界面显示模块向用户提供对应于执行该交互操作命令后的三维交互结果界面。具体地，运算处理模块103通过一系列图形图像处理算法，对接收到的图像数据进行分析，从图像中识别提取出用户的手以及相应的手指尖等一些手的特征点在深度图像中的位置，再由图像像素点的深度值，即物体距离深度图像传感器的距离以及深度图像传感器的水平及竖直视场角，即可反演推算出用户手及特征点相对于深度图像传感器的相对空间三维位置坐标。
运算处理模块103利用识别得到的用户手及手的特征点的空间位置信息以及手的状态信息可以实现用户通过手与交互界面进行自然地交互。基于上述详细分析，本发明实施方式还提出了一种用户交互方法。图2为根据本发明实施方式用户交互方法流程图。如图2所示，该方法包括:步骤201:向用户提供三维交互界面。步骤202:捕获用户浏览该三维交互界面做出的手势移动轨迹信息和手势形态信
息步骤203:当判定该手势移动轨迹信息与三维交互界面上预先设定空间点之间的距离满足预先设定的距离门限值，而且该手势形态信息满足预先设置的状态切换条件时，确定相对应的交互操作命令。在一个实施方式中:该方法进一步包括判断该手势移动轨迹信息与预先设定的移动轨迹信息特征是否匹配；其中当判定该手势移动轨迹信息与预先设定的移动轨迹信息特征相匹配，而且该手势形态信息满足预先设置的状态切换条件时，确定相对应的交互操作命令。步骤204:向用户提供对应于执行该交互操作命令后的三维交互结果界面。优选地，该方法进一步包括:在三维交互界面上显示空间虚拟指针元素，所述空间虚拟指针元素在三维交互界面上的运动轨迹与用户浏览该三维交互界面做出的手势移动轨迹保持一致，而且所述空间虚拟指针元素在三维交互界面上的手势形态与用户浏览该三维交互界面做出的手势形态
保持一致。在一个实施方式中，空间虚拟指针元素为手型点云形态、手型实体模型或手型透明轮廓。图3为根据本发明实施方式的点云形式指针元素示意图；图4为根据本发明实施方式的轮廓形式指针元素示意图；图5为根据本发明实施方式的实体模型形式指针元素示意图。在一个实施方式中，所述手势形态信息满足预先设置的状态切换条件包括:该手势形态信息从第一状态切换到不同于该第一状态的第二状态，所述第一状态和第二状态都从手势状态组中选择，而且所述手势状态组包括:单手握拳、单手掌心朝上手掌伸开、单手掌心朝下手掌伸开、单手伸出单个手指、单手伸出任意两个手指、单手伸出任意三个手指、单手伸出任意四个手指、双手握拳、双手掌心朝上手掌伸开、双手掌心朝下手掌伸开、双手伸出单个手指、双手伸出任意两个手指、双手伸出任意三个手指、双手伸出任意四个手指、双手伸出任意五个手指、双手伸出任意六个手指、双手伸出任意七个手指、双手伸出任意八个手指和双手伸出任意九个手指。下面具体描述一种在该手势操作方式下的交互界面解锁方法。图6为根据本发明实施方式的三维空间点阵解锁界面示意图.
如图6所示，三维交互界面中存在一个立方球形点阵列。用户预设了一条三维路径作为解锁密码。
在解锁过程中，用户的手进入手势识别模块的识别区域中，手势识别模块将实时的手势数据(包括手势移动轨迹信息和手势形态信息)传输给运算处理模块。运算处理模块检测到手的出现并实时分析手在三维空间位置的移动轨迹信息以及形态信息，并且在三维交互界面中生成对应用户手的指针元素，该指针元素与用户的手势移动和形态保持一致。用户控制状态一(例如手掌状态)下的手移动指针元素到解锁路径的开始位置，然后用户手状态变为状态二 (例如握拳状态)，保持握拳状态并控制指针元素沿解锁路径进行移动，当移动到解锁路径末端时，触发解锁交互命令。下面具体描述一种在该手势操作方式下进行菜单选择的方法。图7为根据本发明实施方式的三维空间菜单选择界面示意图。在三维交互界面中有一个用于激活选择菜单的可交互元素，可交互元素既可以是三维虚拟交互空间中的某个特定的虚拟物体，也可以是交互界面中某些特定的区域。用户通过移动在状态一(例如手掌状态)下的手来移动交互界面中的手型指针元素到可交互元素的作用区域(比如:手型指针元素与可交互元素的距离小于某一个特定的门限值时)时，将触发一个交互信号，该交互信号将使可交互兀素发生一个状态变化，由一个一般的状态转变为标志着可被进一步交互的状态，这种状态变化包括:可交互元素A的颜色变化、和/或大小变化和/或提示声音等等，从而提示用户可以对其进行某种进一步的交互。接下来，用户手的状态从状态一转变为状态二，用户手的状态变化将触发一个交互信号，该交互信号标志着用户开始基于可交互元素A进行进一步的交互操作，同时在交互界面中出现相应进一步交互操作的动态引导信息。在一个实施方式中，一种可能的动态引导信息为:可交互元素处生成三维分块的饼型菜单，如图7优选的划分为4个区域。每块菜单项代表不同的交互意图，不同区域所代表的交互意图可以通过带有·指向性含义的图标或文字信息传达给用户。此时，三维交互界面中对应于用户手的手型指针元素位于该虚拟交互球的中央，这时用户通过手控制该手型指针元素向某个菜单项方向进行移动时，将激活相应移动方向上的代表某种交互意图的交互区域，并向用户实时传达该区域被激活的相应反馈，这种反馈可以是该区域出现颜色、颜色亮暗、大小改变以及提示声音等提示方式，并且随着手型指针元素向着该方向的移动，对应的交互区域出现动态的带一定透明度的颜色填充，填充饱满度与交互球的球心与手型指针元素中心位置构成向量在该交互区域对应方向投影的长度成比例，即手型指针元素沿着该交互区域的方向移动越远，该区域的填充饱满度越高。手型指针元素沿该方向移动一定距离使该方向区域填充饱满度达到100%，从而触发该区域代表的交互意图。综上所述，在本发明实施方式中，用户交互系统包括三维交互界面显示模块、手势识别模块和运算处理模块，其中:三维交互界面显示模块，用于向用户提供三维交互界面；手势识别模块，用于捕获用户浏览该三维交互界面做出的手势移动轨迹信息和手势形态信息，并将所述手势移动信息和手势形态信息发送到信息运算处理模块；运算处理模块，用于当判定该手势移动轨迹信息与预先设定空间点之间的距离满足预先设定的距离门限值，而且该手势形态信息满足预先设置的状态切换条件时，确定相对应的交互操作命令，并将执行该交互操作命令后的三维交互结果界面发送给三维交互界面显示模块；三维交互界面显示模块，进一步用于向用户提供所述三维交互结果界面。本发明实施方式通过虚拟的三维界面与用户手势之间的交互，实现了一种用户与硬件设备之间交互与获取信息的方式，极大地增强了用户体验。而且，本发明实施的交互方式非常自然，符合人性的基本肢体动作(比如手势)交互模式，而且降低了用户对操作设备的学习成本，符合人体自然地交互操控与便携信息处理硬件设备的分体设计，使人能够更集中精力于其所关注的信息而不是硬件设备本身。而且，本发明实施方式还提出了一种自然交互技术的三维立体虚拟信息自然交互界面，该交互界面包含众多三维立体可进行自然交互的元素。通过本发明实施方式所提出的解决方案，用户可以自然地用手控制上述三维立体虚拟信息自然交互界面中对应于用户手的虚拟指针，对三维立体虚拟信息自然交互界面进行自然交互。另外，本发明实施方式的独特显示方式使其受环境影响较小，给人提供高品质的感官体验，并能够保护信息的私密性。本发明实施方式通过直接视网膜扫描投影显示方式可以将三维虚拟信息与现实实景融合在一起，给人提供增强现实的感官体验，从而基于此可以衍生出大量的有意义的应用，进一步极大地提高用户体验。不仅于此，本发明实施方式可以应用与任何人机交互信息设备，其通用性将给人们带来极大便利。以上所述，仅为本发明实施方式的较佳实施例而已，并非用于限定本发明实施方式的保护范围。凡在本发明实施方式的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明实施方式的`保护范围之内。
权利要求
1.一种用户交互系统，其特征在于，该系统包括三维交互界面显示模块、手势识别模块和运算处理模块，其中: 三维交互界面显示模块，用于向用户提供三维交互界面； 手势识别模块，用于捕获用户浏览该三维交互界面做出的手势移动轨迹信息和手势形态信息，并将所述手势移动信息和手势形态信息发送到信息运算处理模块； 运算处理模块，用于当判定该手势移动轨迹信息与预先设定空间点之间的距离满足预先设定的距离门限值，而且该手势形态信息满足预先设置的状态切换条件时，确定相对应的交互操作命令，并将执行该交互操作命令后的三维交互结果界面发送给三维交互界面显示模块； 三维交互界面显示模块，进一步用于向用户提供所述三维交互结果界面。
2.根据权利要求1所述的用户交互系统，其特征在于，所述运算处理模块为移动终端、智能电视、计算机或基于云计算的信息服务平台。
3.根据权利要求1所述的用户交互系统，其特征在于， 运算处理模块，进一步用于在三维交互界面上显示空间虚拟指针元素，所述空间虚拟指针元素在三维交互界面上的运动轨迹与用户浏览该三维交互界面做出的手势移动轨迹保持一致，而且所述空间虚拟指针元素在三维交互界面上的手势形态与用户浏览该三维交互界面做出的手势形态保持一致。
4.根据权利要求3所述的用户交互系统，其特征在于，所述空间虚拟指针元素为手型点云形态、手型实体模型或手型透明轮廓。
5.根据权利要求1所述的用户交互系统，其特征在于，所述三维交互界面显示模块为3D电视、3D头戴式显示器、3D投影仪`或3D全息显示装置。
6.根据权利要求5所述的用户交互系统，其特征在于，该系统进一步包括佩戴于用户头部的视角感知单元； 视角感知单元，用于感测用户头部运动信息，并将所述用户头部运动信息发送到运算处理模块； 运算处理模块，还用于根据所述用户头部运动信息确定用户实时视角，并实时向三维交互界面显示模块发送基于该用户实时视角下的三维交互界面和三维交互结果界面。
7.一种用户交互方法，其特征在于，该方法包括: 向用户提供三维交互界面； 捕获用户浏览该三维交互界面做出的手势移动轨迹信息和手势形态信息； 当判定该手势移动轨迹信息与预先设定空间点之间的距离满足预先设定的距离门限值，而且该手势形态信息满足预先设置的状态切换条件时，确定相对应的交互操作命令； 向用户提供对应于执行该交互操作命令后的三维交互结果界面。
8.根据权利要求7所述的用户交互方法，其特征在于，该方法进一步包括: 在三维交互界面上显示空间虚拟指针元素，所述空间虚拟指针元素在三维交互界面上的运动轨迹与用户浏览该三维交互界面做出的手势移动轨迹保持一致，而且所述空间虚拟指针元素在三维交互界面上的手势形态与用户浏览该三维交互界面做出的手势形态保持—致。
9.根据权利要求7所述的用户交互方法，其特征在于，所述空间虚拟指针元素为手型点云形态、手型实体模型或手型透明轮廓。
10.根据权利要求7所述的用户交互方法，其特征在于，所述手势形态信息满足预先设置的状态切换条件包括: 该手势形态信息从第一状态切换到不同于该第一状态的第二状态，所述第一状态和第二状态都从手势状态组中选择，而且所述手势状态组包括: 单手握拳、单手掌心朝上手掌伸开、单手掌心朝下手掌伸开、单手伸出单个手指、单手伸出任意两个手指、单手伸出任意三个手指、单手伸出任意四个手指、双手握拳、双手掌心朝上手掌伸开、双手掌心朝下手掌伸开、双手伸出单个手指、双手伸出任意两个手指、双手伸出任意三个手指、双手伸出任意四个手指、双手伸出任意五个手指、双手伸出任意六个手指、双手伸出任意七个手指、双手伸出任意八个手指和双手伸出任意九个手指。
11.根据权利要求7所述的用户交互方法，其特征在于，该方法进一步包括判断该手势移动轨迹信息与预先设定的移动轨迹信息特征是否匹配； 其中当判定该手势移动轨迹信息与预先设定的移动轨迹信息特征相匹配，而且该手势形态信息满足预先设置的状 态切换条件时，确定相对应的交互操作命令。
全文摘要
本发明实施方式公开了一种用户交互系统和方法。三维交互界面显示模块，用于向用户提供三维交互界面；手势识别模块，用于捕获用户浏览该三维交互界面做出的手势移动轨迹信息和手势形态信息，并将手势移动信息和手势形态信息发送到信息运算处理模块；运算处理模块，用于当判定该手势移动轨迹信息与预先设定空间点之间的距离满足预先设定的距离门限值，而且该手势形态信息满足预先设置的状态切换条件时，确定相对应的交互操作命令，并将执行该交互操作命令后的三维交互结果界面发送给三维交互界面显示模块；三维交互界面显示模块，进一步用于向用户提供三维交互结果界面。
文档编号G06F3/01GK103246351SQ20131019382
公开日2013年8月14日 申请日期2013年5月23日 优先权日2013年5月23日
发明者刘广松, 杨智 申请人:刘广松