用于三维视觉与环境交互的系统架构、方法及电子设备与流程

1.本发明涉及本发明涉及虚拟现实技术领域，特别涉及一种用于三维视觉与环境交互的系统架构、方法、电子设备、计算机可读存储介质及计算机程序产品。


背景技术：

2.伴随着vr/ar软硬件发展，大量的系统操作都借助于vr/ar头显外部的控制设备(比如手柄)或者头显上的物理按键进行操作。vr/ar现阶段的设备操作系统，大多是依赖于android系统进行定制改造形成，所采用的系统ui是基于android原生的ui系统进行定制改造。另外，在vr/ar技术发展的突飞猛进的环境下，基于3d环境下使用三维图形引擎来进行系统与环境的开发，也在逐步成熟。
3.然而，现有的三维视觉与环境交互，都只解决了单一的ui系统能力(或是基于视线检测实现按钮的单一点击或其他响应事件，或是基于物体角色碰撞解决场景内交互响应)，ui的系统响应没有一致性的状态机制和统一的交互模式，无法成为较为通用和实现复杂交互功能的系统方法。


技术实现要素：

4.针对现有技术的上述问题，本发明的目的在于提供一种用于三维视觉与环境交互的系统架构、方法、电子设备、介质及程序产品，能够提供ui系统的统一交互模式，能够实现通用和复杂的ui系统交互。
5.为了解决上述问题，本发明第一方面提供一种用于三维视觉与环境交互的系统架构，所述架构包括：
6.业务应用层，所述业务应用层包括系统交互模块，所述系统交互模块包括基于视觉射线交互模块和基于三维世界物体对象交互模块；
7.功能管理组件层，所述功能管理组件层包括碰撞检测管理模块和ui系统状态机管理模块，所述碰撞检测管理模块用于检测ui发射器所发射的ui发射对象和ui碰撞对象之间的碰撞，所述ui系统状态机管理模块用于检测和控制ui交互对象状态，所述ui交互对象状态包括按下、弹起、点击、拖动、选定、取消选定、自定义及滑动中的一种或多种；
8.系统管理层，所述系统管理层包括ui系统管理与监听模块，ui系统管理与监听模块用于基于业务应用层的所述系统交互模块，生成所述ui交互对象，且用于监听和调度所述功能管理组件层中所述碰撞检测管理模块和所述ui系统状态机管理模块，以根据用户操作，通过所述碰撞检测管理模块检测ui发射对象和ui碰撞对象之间的碰撞，并通过所述ui系统状态机管理模块改变所述ui交互对象的状态，从而实现三维视觉与环境的交互。
9.进一步地，用于三维视觉与环境交互的系统架构还包括：
10.ui功能组件层，所述ui功能组件层包括ui系统套件，用于生成ui交互对象，且定义所述ui交互对象的状态，
11.所述ui系统管理与监听模块通过所述ui系统套件生成所述ui交互对象，所述ui系
统管理机状态管理模块通过所述ui系统套件改变所述ui交互对象的状态。
12.进一步地，所述ui系统套件中的ui组件包括ui按钮、ui计时器、复选框、容器、滑动框、滚屏拖动组件、消息弹窗中的系统套件框架及自定义组件。
13.进一步地，所述系统管理层还包括：
14.ui渲染组件，用于渲染所述ui组件；
15.外设管理器模块，用于管理外设设备的软件开发工具包和通信协议信号。
16.进一步地，用于三维视觉与环境交互的系统架构还包括：
17.底层库，所述底层库包括图形渲染引擎模块、vr设备驱动模块及外设驱动模块。
18.进一步地，所述ui系统状态机管理模块还用于对所述ui发射对象和ui碰撞对象之间的碰撞进行计时。
19.本发明第二方面提供一种基于上述第一方面任一实施例的系统架构进行三维视觉与环境交互的方法，包括：
20.步骤s1，ui系统管理与监听模块基于业务应用层的系统交互模块中的应用实例，生成ui交互对象，注册ui发射器、ui发射对象、ui碰撞对象、所述ui发射对象和所述ui碰撞对象的碰撞信息及所述ui交互对象的状态信息；
21.步骤s2，ui系统管理与监听模块监听及调度碰撞检测管理模块和ui系统状态机管理模块，触发所述ui交互对象的状态响应；
22.步骤s3，所述ui系统管理与监听模块基于用户操作，改变所述ui交互对象的状态，从而实现三维视觉与环境交互。
23.进一步地，所述步骤s2包括：
24.步骤s21，所述ui系统管理与监听模块激活所述ui发射器，调度所述碰撞检测管理模块；
25.步骤s22，所述碰撞检测管理模块检测所述ui发射对象和所述ui碰撞对象的碰撞情况，并将所述碰撞情况反馈至所述ui系统管理与监听模块；
26.步骤s23，所述ui系统管理与监听模块在所述碰撞情况满足所述碰撞信息时，触发所述ui交互对象的状态响应。
27.进一步地，所述步骤s23包括：
28.步骤s231，所述ui系统管理与监听模块在所述碰撞情况满足所述碰撞信息时，调度所述ui系统状态机管理模块；
29.步骤s232，所述ui系统状态机管理模块对碰撞进行计时；
30.步骤2323，所述ui系统管理与监听模块在所述计时达到阙值时，进行所述ui交互对象状态响应。
31.进一步地，所述步骤s3包括：
32.步骤s31，所述ui系统管理与监听模块基于用户操作，调度所述ui系统状态机管理模块；
33.步骤s32，所述ui系统状态机通过所述ui系统套件改变所述ui交互对象的状态，从而实现三维视觉与环境交互；
34.步骤s33，所述ui系统状态机管理模块检测所述ui交互对象的状态变化的合法性。
35.进一步地，用于三维视觉与环境交互的方法还包括：
36.步骤s4，所述ui系统管理与监听模块根据所述ui状态机管理模块反馈操作结束后所述ui交互对象的状态，结束所述三维视觉与环境交互。
37.本发明第三方面提供一种电子设备，包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述第二方面任一实施例的用于三维视觉与环境交互的方法。
38.本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述第二方面任一实施例的用于三维视觉与环境交互的方法。
39.本发明第五方面提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上述第二方面任一实施例的用于三维视觉与环境交互的方法。
40.由于上述技术方案，本发明具有以下有益效果：
41.根据本发明实施例的系统架构，业务应用层集成了多个交互模块，能够实现多类型的ui系统的交互应用实例，通过功能管理组件层，能够对ui系统中碰撞进行检测，而且能够检测和控制ui交互对象的状态，通过系统管理层能够对功能管理层中的各个模块进行调度，从而实现三维视觉和环境的交互，提供了ui系统的统一交互模式，能够实现通用和复杂的ui系统交互。
附图说明
42.为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
43.图1是本发明一个实施例提供的用于三维视觉与环境交互的系统架构的示意图；
44.图2是本发明一个实施例提供的用于三维视觉与环境交互的方法的流程图；
45.图3是本发明一个实施例提供的ui系统中各个模块协同工作的时序图；
46.图4是本发明一个实施例提供的电子设备的结构示意图。
具体实施方式
47.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品
或设备固有的其它步骤或单元。
49.为了使本发明实施例公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明实施例进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明实施例，并不用于限定本发明实施例。本发明实施例的技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
50.首先，本发明实施例对下述概念进行解释：
51.1、ui：ui是指人与信息交互的媒介，它是信息产品的功能载体和典型特征。ui作为系统的可用形式而存在，比如以视觉为主体的界面，强调的是视觉元素的组织和呈现。这是物理表现层的设计，每一款产品或者交互形式都以这种形态出现，包括图形、图标(icon)、色彩、文字设计等，用户通过它们使用系统。在这一层面，ui可以理解为user interface，即用户界面，是ui作为人机交互的基础层面。
52.2、三维视觉：是计算机视觉与计算机图形学高度交叉的一个重要研究方向。近年来，由于三维技术的飞速发展和三维几何数据的爆炸式增长，三维视觉研究突破传统的二维图像空间，实现三维空间的分析、理解和交互。
53.3、vr：vr一般指虚拟现实，虚拟现实，顾名思义，就是虚拟和现实相互结合。从理论上来讲，虚拟现实技术(vr)是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中。虚拟现实技术就是利用现实生活中的数据，通过计算机技术产生的电子信号，将其与各种输出设备结合使其转化为能够让人们感受到的现象，这些现象可以是现实中真真切切的物体，也可以是我们肉眼所看不到的物质，通过三维模型表现出来。因为这些现象不是我们直接所能看到的，而是通过计算机技术模拟出来的现实中的世界，故称为虚拟现实。
54.4、ar：ar一般指增强现实，增强现实(augmented reality，简称ar)，增强现实技术也被称为扩增现实，ar增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在。下面，首先结合图1说明根据本发明实施例的用于三维视觉与环境交互的系统架构。
55.参考说明书附图1，其示出了本发明一个实施例提供的用于三维视觉与环境交互的系统架构的示意图。
56.如图1所示，根据本技术实施例的用于三维视觉与环境交互的系统架构包括：业务应用层、功能管理组件层及系统管理层。下文中，“用于三维视觉与环境交互的系统”与“ui系统”的意思表示一致，可以互相代替。
57.首先，说明业务应用层。业务应用层包括系统交互模块，所述系统交互模块包括基于视觉射线交互模块和基于三维世界物体对象交互模块。
58.通过系统交互模块可以生成具体的三维视觉与环境的交互的应用实例，通过基于视觉射线交互模块可以生成基于视觉射线交互的应用实例，通过基于三维世界物体对象交互模块可以生成基于三维世界物体对象交互的应用实例。也就是说，根据本技术的系统架构，在业务应用层中集成有多个类型的交互模块，从而使得根据本技术的ui系统架构具有
普适性。
59.例如，通过基于视觉射线交互模块生成基于视觉射线进行系统ui操作滑动框的第一应用实例，通过基于三维世界物体对象交互模块生成三维环境实体人物对象和外设按键设备协同操作ui碰撞对象的第二应用实例。
60.需要注意的是，以上只是可选的示例，如图1所示，业务应用层还可以包括ui状态事件与三维控制算法模块。
61.接着，说明功能管理组件层。功能管理组件层包括碰撞检测管理模块和ui系统状态机管理模块。其中，碰撞检测管理模块用于检测ui发射器所发射的ui发射对象和ui碰撞对象之间的碰撞；ui系统状态机管理模块用于检测和控制ui交互对象状态，ui交互对象状态包括按下、弹起、点击、拖动、选定、取消选定、自定义及滑动中的一种或多种。
62.也就是说，通过ui发射器发射ui发射对象，通过碰撞检测管理模块检测ui发射对象与ui碰撞对象之间的碰撞。
63.碰撞检测管理模块可以提供相关的碰撞检测算法，包括射线碰撞检测算法、矩形碰撞检测算法、非规则碰撞检测算法等。通过碰撞检测管理模块能够准确检测出ui发射对象与ui碰撞对象之间的碰撞。也就是说，根据本技术的ui系统架构，在碰撞检测管理模块集成了多种交互方法中所采用的碰撞检测算法。
64.例如，上述的第一应用实例中，以射线发射器作为ui发射器，以射线作为ui发射对象，以射线碰撞检测单元作为ui碰撞对象。通过碰撞检测管理模块检测射线与射线碰撞检测单元之间的碰撞。
65.又例如，上述的第二应用实例中，以矩形发射器作为ui发射器，以矩形框作为ui发射对象，以矩形框碰撞检测单元作为ui碰撞对象，通过碰撞检测单元检测矩形框与矩形框碰撞检测单元之间的碰撞。
66.ui系统状态机管理模块用于检测和控制ui交互对象状态，所述ui交互对象状态包括按下、弹出、点击、拖动、选定、取消选定、自定义及滑动中的一种或多种。
67.例如，上述的第一实施例中，以ui滑动框为ui交互对象，ui滑动框的状态包括常规状态和拖动状态。
68.又例如，上述的第二实施例中，以ui消息弹出框为ui交互对象，ui消息弹出框的状态包括常规状态和弹出状态。
69.其中，所述ui系统状态机管理模块还可以用于计算所述ui发射对象和ui碰撞对象之间的碰撞时间。通过检测碰撞时间，能够便于设置阙值，实现ui交互对象的状态响应的灵敏度的调整。
70.最后，说明系统管理层。系统管理层包括ui系统管理与监听模块，ui系统管理与监听模块用于基于业务应用层的所述系统交互模块，生成ui交互对象，且用于监听和调度功能管理组件层中碰撞检测管理模块和ui系统状态机管理模块，以根据用户操作，通过碰撞检测管理模块检测ui发射对象和ui碰撞对象之间的碰撞，并通过ui系统状态机管理模块改变ui交互对象的状态，从而实现三维视觉与环境交互。
71.具体而言，ui系统管理和监听模块，基于业务应用层的所述系统交互模块的具体应用实例，生成ui交互对象，并以此为ui系统交互的主要对象。ui系统管理和监听模块可以设置毫秒级定时器，用户不断监听和响应所以已注册的ui事件(ui碰撞、ui交互对象状态改
变等)。ui系统管理和监听模块通过调度碰撞检测管理模块和ui系统状态机管理模块，从而实现三维视觉和环境的交互。
72.根据本技术上述实施例的ui系统架构，通过业务应用层，能够实现各种类型的ui系统的交互应用实例，通过功能管理组件层，能够对ui系统中碰撞进行检测，而且能够检测和控制ui交互对象的状态，通过系统管理层能够对功能管理层中的各个模块进行调度，从而实现三维视觉和环境的交互。由此，提供了ui系统的统一交互模式，能够实现通用和复杂的ui系统交互。
73.根据本发明一些实施例，用于三维视觉与环境交互的系统架构还包括ui功能组件层。所述ui功能组件层包括ui系统套件，用于生成ui交互对象，且定义所述ui交互对象的状态，所述ui系统管理与监听模块通过所述ui系统套件生成所述ui交互对象，所述ui系统管理机状态管理模块通过所述ui系统套件改变所述ui交互对象的状态。
74.其中，ui系统套件中的ui组件可以包括ui计时器、复选框、ui按钮、容器、滑动框、滚屏拖动组件、消息弹窗中的系统套件框架、自定义组件等。每个ui系统组件的生成，都会由ui系统管理和监听模块进行统一的注册，以对ui系统组件的响应和监听。
75.通过ui系统套件能够方便地生成可视化的ui交互对象，便于统一管理和调用。
76.进一步地，系统管理层还包括ui渲染组件和外设管理器模块。ui渲染组件用于渲染所述ui组件。外设管理器模块用于管理外设设备的软件开发工具包和通信协议信号。
77.ui渲染组件能够分层渲染整体的ui系统套件，ui的渲染机制都基于三维世界进行渲染。ui的渲染层次，通过三维世界的相机坐标位置为原点进行发射，从而计算分层层次进行渲染。由此，能够ui渲染组件使得ui系统交互的画面感较好而且使得交互更加顺畅。
78.外设管理器模块能够在三维环境中实例化外设设备的实例对象，并且管理所有外设设备的sdk(软件开发工具包)与通信协议信号，通过外设管理模块与外设设备的信号、位置、交互动作等进行通信，反馈到ui系统管理与监听模块。由此，能够较方便地实现与外设设备的联络，且便于实现复杂的ui系统交互。
79.进一步地，用于三维视觉与环境交互的系统架构还可以包括底层库。底层库包括图形渲染引擎、vr设备驱动及外设驱动。由此，能够提供给其他层的支持，便于其他层的功能的实现。下面，参考附图2对于本技术的利用上述实施例的ui系统架构实现ui交互的方法进行说明。
80.参考说明书附图2，其示出了本发明一个实施例提供的用于三维视觉与环境交互的方法的流程图。
81.如图2所示，根据本技术的ui交互方法，包括如下步骤：
82.步骤s1：ui系统管理与监听模块基于业务应用层的系统交互模块中的应用实例，生成ui交互对象，注册ui发射器、ui发射对象、ui碰撞对象、所述ui发射对象和所述ui碰撞对象的碰撞信息及所述ui交互对象的状态信息。
83.通过注册ui发射器、ui发射对象、ui碰撞对象、所述ui发射对象和所述ui碰撞对象的碰撞信息及所述ui交互对象的状态信息，能够使得整个ui系统能够识别。
84.通过ui系统管理与监听模块生成ui发射对象(ui发射器对象实例，用于主要来进行对外交互的ui发射对象)，比如头显视觉类的ui系统交互，可以通过生成和设置一个射线类型的ui发射对象，并且将其绑定在视觉摄像机位置，随着视线进行旋转和移动；比如人物
类的ui系统交互，可以在人上构建一个矩形框(ui发射对象)，或在其手部位置绑定发射器，从而当人物与环境中可检测的ui碰撞对象进行碰撞和响应交互。
85.例如，针对上述的第一应用实例(基于视觉射线进行系统ui操作滑动框)而言，
86.ui系统管理与监听模块通过ui系统套件生成ui滑动框组件。建立射线发射器发射射线。建立射线碰撞检测单元，使得射线与射线碰撞检测单元能够发生碰撞，射线碰撞检测单元可以设在ui滑动框组件拖动的位置。可以将射线发射器绑定到头显摄像机(虚拟现实头盔显示的摄像机)上，射线的发射方向和视觉的方向保持一致。为了便于操作，可以通过ui渲染组件对射线进行渲染，以使射线可视化。
87.此外，针对上述第二应用实施(以三维环境实体人物对象和外设按键设备协同操作ui碰撞对象)而言，ui系统管理与监听模块通过ui系统套件生成ui消息弹出框。建立矩形发射器发射矩形框。建立矩形框碰撞检测单元，使得矩形框和矩形框碰撞检测单元能够发生碰撞，可以将矩形框碰撞检测单元设置在ui消息弹出框的位置。可以将矩形发射器绑定到三维世界环境中的人物上，矩形框正好覆盖人物。
88.步骤s2：ui系统管理与监听模块监听及调度碰撞检测管理模块和ui系统状态机管理模块，触发ui交互对象的状态响应。
89.例如，在上述第一应用实例中，ui系统管理与监听模块激活射线发射器，射线发射器发射射线(显示可操作射线)，射线的旋转方向与头显摄像机显示方向一致，射线发射器、射线与射线碰撞检测单元的位置信息，都是基于三维世界坐标系同步计算，射线碰撞到射线碰撞检测单元(ui滑动框组件拖动的位置)，碰撞检测管理模块获得碰撞信息，ui系统管理机管理模块获得射线与射线碰撞检测单元的碰撞状态，ui滑动框组件准备状态改变。
90.又例如，在上述第二应用实例中，ui系统管理与监听模块激光矩形发射器，矩形发生器发射矩形框，矩形框跟随人物移动，矩形发射器、矩形框和矩形框碰撞检测单元的位置信息都是基于三维世界坐标系同步计算，矩形框碰撞到矩形框碰撞检测单元(ui消息弹出框的位置)，碰撞检测管理模块获得碰撞信息，ui系统管理机管理模块获得矩形框与矩形框碰撞检测单元的碰撞状态，ui消息弹出框准备状态改变。
91.步骤s3：ui系统管理与监听模块基于用户操作ui发射器，改变所述ui交互对象的状态，从而实现三维视觉与环境交互。
92.在本技术的一个实施例中，ui系统管理与监听模块基于用户操作ui发射器，调度ui系统状态机管理模块和ui系统套件，改变ui交互对象的状态。
93.例如，在上述第一应用实例中，用户向预定方向旋转头衔，射线跟随头衔移动，ui系统管理与监听模块通过ui系统状态机管理模块和ui系统套件使得ui滑动框组件切换为拖动状态，ui滑动框内的内容同步滑动改变。
94.又例如，在上述第二应用实例中，用户按下外设按钮，外设管理器模块获得脉冲信号，并通知ui系统管理与监听模块，ui系统管理与监听模块通过ui系统状态机管理模块和ui系统套件使得ui消息弹出框成为弹出状态，并对其播放显示。
95.以上的用于三维视觉与环境交互的方法，ui系统的各个模块相互配合，能够较好地实现了视觉射线交互实例和基于三维世界物体对象交互实例，通用性强，且能够实现复杂的ui系统交互。
96.根据本发明一些实施例，步骤s2可以包括：
97.步骤s21，ui系统管理与监听模块激活ui发射器，调度碰撞检测管理模块；
98.步骤s22，碰撞检测管理模块检测ui发射对象和ui碰撞对象的碰撞情况，并将所述碰撞情况反馈至ui管理与监听模块；
99.步骤s23，ui系统管理与监听模块在所述碰撞情况满足所述碰撞信息时，触发所述ui交互对象的状态响应。
100.通过ui系统管理与监听模块监听和调度碰撞检测管理模块，使得ui系统的各个模块分工明确，交互效率高且准确性高。
101.进一步地，所述步骤s23包括：
102.步骤s231，ui系统管理与监听模块在碰撞情况满足碰撞信息时，调度ui系统状态机管理模块；
103.步骤s232，ui系统状态机管理模块对碰撞进行计时；
104.步骤2323，ui系统管理与监听模块在计时达到阙值时，进行ui交互对象的状态响应。
105.其中，阙值可以是2秒、3秒等时间，可以根据不同用户的需求进行设置。
106.通过阙值能够较为方便地调节ui交互的灵敏度，从而使得ui系统交互适应不同的用户。而且，也能够避免用户误操作，极短时间的碰撞造成ui交互对象状态改变的情况。
107.进一步地，步骤s3包括：
108.步骤s31，ui系统管理与监听模块基于用户操作，调度ui系统状态机管理模块；
109.步骤s32，ui系统状态机通过ui系统套件改变ui交互对象的状态，从而实现三维视觉与环境交互；
110.步骤s33，ui系统状态机管理模块检测ui交互对象的状态变化的合法性。
111.通过ui系统状态机管理模块检测所述ui交互对象的状态变化的合法性，能够及时准确获知交互状态下，ui交互对象的状态是不是正确，保证ui系统交互过程的稳定性。
112.进一步地，用于三维视觉与环境交互的方法还包括：
113.步骤s4：ui系统管理与监听模块根据ui状态机管理模块反馈操作结束后ui交互对象的状态，结束三维视觉与环境交互。
114.例如，上述第一应用实例中，当射线在指定位置不动，等待阙值(例如2秒)，ui滑动框组件恢复常规状态，ui状态机管理模块将此状态反馈给ui系统管理与监听模块，ui管理管理与监听模块关闭激活射线发射器，结束本次ui系统交互。
115.又例如，上述第二应用实例中，ui消息弹出框播放显示完后，ui消息弹出框恢复常规状态，ui状态机管理模块将此状态反馈给ui系统管理与监听模块，ui管理管理与监听模块关闭激光矩形发射器，结束本次ui系统交互。
116.由此，能够完整实现ui系统交互，增加ui系统交互的全面性。下面，参考附图3进一步详细说明根据本技术的ui系统交互方法。
117.附图3示出了本发明一个实施例提供的ui系统中各个模块协同工作的时序图。
118.如图3所示，首先，用户实例化ui系统，通过ui系统管理和监听模块实例化碰撞检测管理模块、ui系统状态机管理模块、外设管理器模块、ui渲染组件及ui系统套件，即通过ui系统管理和监听模块根据具体应用实例配置各个模块。
119.并且，通过ui系统管理和监听模块生成ui发射器，并通过ui系统套件返回ui发射
器组件，由此激活并启动ui系统。
120.此后，通过ui系统管理与监听模块，生成ui交互对象，并由ui系统套件设置ui交互对象，并返回ui交互对象组件。
121.此后，ui系统管理与监听模块通知碰撞检测管理模块注册ui发射对象和ui碰撞对象，并通知ui状态管理模块注册ui发生器、ui发射对象、所述ui碰撞对象和ui交互对象，且通知ui外设管理器模块监听外设信息，通知ui渲染组件启动渲染。
122.此后，当用户操作ui发射器后，通过碰撞检测管理模块检测ui发射对象和ui碰撞检测单元的碰撞，并反馈ui系统管理和监听模块；ui状态管理模块进行计时并反馈状态信息；ui状态及管理模块监听ui外设管理器模块的外设信息(外设管理器所反馈的信息)。
123.此后，用户操作ui交互对象，通过ui状态机管理模块改变ui系统套件中的ui交互对象的状态，ui系统套件反馈操作结束，ui系统管理和监听模块根据ui状态机管理模块反馈的ui交互对象的状态结束交互，并关闭ui系统激活。通过上述参考时序图的描述可知，根据本技术所提供的ui系统架构，提供了ui系统的统一交互模式，能够实现通用和复杂的ui系统交互。
124.本发明一个实施例还提供了一种电子设备，该电子设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的用于三维视觉与环境交互的方法。
125.存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
126.结合参考说明书附图4，所示为根据本发明一个实施例的电子设备900的框图。电子设备900可以包括一个或多个处理器902，与处理器902中的至少一个连接的系统控制逻辑908，与系统控制逻辑908连接的系统内存904，与系统控制逻辑908连接的非易失性存储器(nvm)906，以及与系统控制逻辑908连接的网络接口910。
127.处理器902可以包括一个或多个单核或多核处理器。处理器902可以包括通用处理器和专用处理器(例如，图形处理器，应用处理器，基带处理器等)的任何组合。在本文的实施例中，处理器902可以被配置为执行根据如图2-图4所示的各种实施例的一个或多个实施例。
128.在一些实施例中，系统控制逻辑908可以包括任意合适的接口控制器，以向处理器902中的至少一个和/或与系统控制逻辑908通信的任意合适的设备或组件提供任意合适的接口。
129.在一些实施例中，系统控制逻辑908可以包括一个或多个存储器控制器，以提供连接到系统内存904的接口。系统内存904可以用于加载以及存储数据和/或指令。在一些实施例中设备900的内存904可以包括任意合适的易失性存储器，例如合适的动态随机存取存储器(dram)。
130.nvm/存储器906可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性
的计算机可读介质。在一些实施例中，nvm/存储器906可以包括闪存等任意合适的非易失性存储器和/或任意合适的非易失性存储设备，例如hdd(hard disk drive，硬盘驱动器)，cd(compact disc，光盘)驱动器，dvd(digital versatile disc，数字通用光盘)驱动器中的至少一个。
131.nvm/存储器906可以包括安装在设备900的装置上的一部分存储资源，或者它可以由设备访问，但不一定是设备的一部分。例如，可以经由网络接口910通过网络访问nvm/存储906。
132.特别地，系统内存904和nvm/存储器906可以分别包括：指令920的暂时副本和永久副本。指令920可以包括：由处理器902中的至少一个执行时导致设备900实施如图2-3所示的ui系统交互方法的指令。在一些实施例中，指令920、硬件、固件和/或其软件组件可另外地/替代地置于系统控制逻辑908，网络接口910和/或处理器902中。
133.网络接口910可以包括收发器，用于为设备900提供无线电接口，进而通过一个或多个网络与任意其他合适的设备(如前端模块，天线等)进行通信。在一些实施例中，网络接口910可以集成于设备900的其他组件。例如，网络接口910可以集成于处理器902的通信模块，系统内存904，nvm/存储器906，和具有指令的固件设备(未示出)中的至少一种，当处理器902中的至少一个执行所述指令时，设备900实现图2-图3所示的各种实施例的一个或多个实施例。
134.网络接口910可以进一步包括任意合适的硬件和/或固件，以提供多输入多输出无线电接口。例如，网络接口910可以是网络适配器，无线网络适配器，电话调制解调器和/或无线调制解调器。
135.在一个实施例中，处理器902中的至少一个可以与用于系统控制逻辑908的一个或多个控制器的逻辑封装在一起，以形成系统封装(sip)。在一个实施例中，处理器902中的至少一个可以与用于系统控制逻辑908的一个或多个控制器的逻辑集成在同一管芯上，以形成片上系统(soc)。
136.设备900可以进一步包括：输入/输出(i/o)设备912。i/o设备912可以包括用户界面，使得用户能够与设备900进行交互；外围组件接口的设计使得外围组件也能够与设备900交互。在一些实施例中，设备900还包括传感器，用于确定与设备900相关的环境条件和位置信息的至少一种。
137.在一些实施例中，用户界面可包括但不限于显示器(例如，液晶显示器，触摸屏显示器等)，扬声器，麦克风，一个或多个相机(例如，静止图像照相机和/或摄像机)，手电筒(例如，发光二极管闪光灯)和键盘。
138.在一些实施例中，外围组件接口可以包括但不限于非易失性存储器端口、音频插孔和电源接口。
139.在一些实施例中，传感器可包括但不限于陀螺仪传感器，加速度计，近程传感器，环境光线传感器和定位单元。定位单元还可以是网络接口910的一部分或与网络接口910交互，以与定位网络的组件(例如，全球定位系统(gps)卫星)进行通信。
140.可以理解的是，本发明实施例示意的结构并不构成对电子设备900的具体限定。在本发明另一些实施例中，电子设备900可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件
的组合实现。
141.本发明一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质可设置于电子设备之中以保存用于实现一种数据处理方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的用于三维视觉与环境交互的方法。
142.可选地，在本发明实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
143.本发明一个实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序/指令，当计算机程序产品在电子设备上运行时，该计算机程序/指令被处理器加载并执行以实现上述各种可选实施例中提供的用于三维视觉与环境交互的方法。
144.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
145.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
146.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
147.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。