一种融合现实互动系统和方法与流程

1.本发明实施例涉及虚拟现实技术，尤其涉及一种融合现实互动系统和方法。


背景技术：

2.随着人类科技的迭代发展，虚拟现实技术已经越来越深入人们的生活。现如今，人们更加渴望将真实世界的用户与虚拟世界之间搭起一个能够交互反馈的信息回路，来增强用户更加真实的体验感。
3.在现有的虚拟现实、增强现实及融合现实的显示互动系统中，需要用户使用穿戴式设备来体验虚拟的世界，或与“实幻交织”的世界进行互动。
4.然而，在用户进行体验的过程中，穿戴式设备进行体验的方式需要与人体接触。用户体验活动与视野会受到限制，并且不能直接观看现实目标。


技术实现要素：

5.本发明实施例提供一种融合现实互动系统和方法，用以解决现有技术中的缺陷，以实现用户在体验过程中活动与视野不受限制，并且能够直接观看到现实目标的目的。
6.第一方面，本发明实施例提供了一种融合现实互动系统，包括：
7.裸眼3d显示设备，用于获取并显示融合现实图像；
8.互动设备，用于采集实体对象的实体图像、和/或所述实体对象的互动输入数据；
9.处理设备，用于分别获取虚拟图像、实体图像、和/或互动输入数据，并根据所述互动输入数据，将调整后的所述虚拟图像和实体图像映射至融合坐标系中，以形成所述融合现实图像，提供给所述裸眼3d显示设备。
10.第二方面，本发明实施例还提供了一种融合现实互动方法，包括：
11.分别获取虚拟图像、实体图像和互动输入数据，并根据所述互动输入数据，将调整后的所述虚拟图像和实体图像映射至融合坐标系中，以形成所述融合现实图像；
12.将所述融合现实图像提供给所述裸眼3d显示设备。
13.本发明实施例通过采用一种裸眼3d显示设备显示融合现实图像的交互系统，解决了用户在体验过程中需穿戴设备而导致活动与视野受限的问题，实现了用户在体验过程中能够直接观看到现实目标效果。
附图说明
14.图1为本发明实施例一中的一种融合现实互动系统的结构示意图；
15.图2是本发明实施例二中的一种融合现实互动系统的结构示意图；
16.图3a是本发明实施例三中的一种融合现实互动方法的流程图；
17.图3b是本发明实施例三中的一种融合现实互动方法示意图；
18.图3c是本发明实施例三中的基于多人远程互动融合现实互动方法示意图。
具体实施方式
19.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
20.实施例一
21.图1为本发明实施例一提供的一种融合现实互动系统的结构示意图。如图1所示，所述融合现实互动系统包括：裸眼3d显示设备110、互动设备120和处理设备130。
22.裸眼3d显示设备110，用于获取并显示融合现实图像。
23.互动设备120，用于采集实体对象的实体图像、和/或所述实体对象的互动输入数据。
24.处理设备130，用于分别获取虚拟图像、实体图像、和/或互动输入数据，并根据所述互动输入数据，将调整后的所述虚拟图像和实体图像映射至融合坐标系中，以形成所述融合现实图像，提供给所述裸眼3d显示设备。
25.其中，所述实体对象可以为用户自身、用户的四肢或一切现实世界的物体，可以通过互动设备120中的摄像头等采集设备获取。所述虚拟图像可以为从任意软件平台或软件引擎中获取到的模型图像数据。所述融合现实图像可以为通过互动设备采集到的现实世界模型图像与已有的虚拟世界模型图像，根据映射关系相结合生成的新世界模型图像。
26.其中，所述裸眼3d显示设备110为通过显示屏本身的分光特性，分别给左右眼投射视差视图形成立体效果的显示器。所述裸眼3d显示设备包括且不限于单屏与多屏，数量可以为一个或多个。分光元件包括且不限于柱透镜、光栅、指向性点光源等。所述裸眼3d显示设备110不需要任何辅助设备(如3d眼镜，头盔等)即可获得具有空间、深度的逼真立体形象。
27.可选的，所述裸眼3d显示设备还用于根据所述处理设备的渲染控制指令，对获取到的所述融合现实图像进行渲染后进行显示。所述渲染控制指令例如可以是利用嵌入裸眼3d显示器中的硬件完成3d内容生成、交织处理等。
28.可选的，所述互动设备120可以为接触式采集设备与非接触式采集设备。例如优选的是，互动设备120采用非接触式采集设备，非接触式采集设备可以为摄像头、红外传感器、麦克风、超声传感器和3d传感器等。
29.所述互动设备120可以用于采集实体对象的实体图像，所述实体图像可以通过互动设备120当中的图像采集装置获取，所述图像采集装置可以为摄像头、3d激光扫描仪或3d视觉图像传感器等，本发明实施例对此不进行限制。所述互动设备120还用于采集所述实体对象的互动输入数据。
30.可选的，所述互动输入数据包括下述至少一项：所述实际对象的整体移动轨迹、所述实际对象的设定部位的移动轨迹、所述实际对象的手势、姿态、表情、所述实际对象的音频、和/或所述实际对象操作输入设备产生的输入事件等。设定部位的移动轨迹例如是眼球移动轨迹或手臂移动轨迹等。
31.其中，所述实际对象的整体移动轨迹可以通过互动设备120当中的人体跟踪传感器获取，所述人体跟踪传感器能够对所述裸眼3d显示设备110的观看范围内的人体进行位置跟踪，所述人体跟踪传感器可以为人体红外传感器等其他能够进行人体跟踪的传感器。
所述实际对象眼球移动轨迹可以通过能够进行人眼追踪类的装置获取，例如可以是智能视觉跟踪仪。所述实际对象的设定部位的移动轨迹，例如可以是所述实际对象的手势、姿态、表情，可以通过姿态传感器等设备来获取。所述实际对象的音频可以通过麦克风等语音识别类设备获取，所述实际对象的操作输入事件可通过输入设备产获取，例如输入设备可以是手柄、手环、手套等，本发明实施例对此不进行限制。
32.具体的，如果互动设备120实时性不能满足对实际对象位置移动或实际对象设定部位移动或实际对象手势、姿态、表情等图像3d模型采集时，可预先将实际对象等图像采集录入到系统中，仅实时追踪其位置即可。
33.所述处理设备130可以为用户端主机，分别与互动设备120与裸眼3d显示设备110通过传输介质连接，传输方式可以为有线通信或无线通信。所述处理设备130可以接收互动设备120采集到的所述实体对象的互动输入数据，并对所述互动输入数据进行处理。
34.可选的，所述处理设备130还用于根据所述互动输入数据调整所述融合现实图像。所述处理设备120可以根据所述互动输入数据当中的实际对象的整体移动轨迹、实际对象的设定部位的移动轨迹以及实际对象的手势、姿态、表情等，对现实位置坐标进行处理，并调整融合现实的坐标以生成新的融合现实图像。
35.可选的，所述处理设备130可以与所述人体跟踪传感器相交互，用于根据人体跟踪位置，调整所述融合现实图像，以使所述融合现实图像在所述人体跟踪位置处呈现3d显示效果。
36.其中，所述处理设备130还可以根据所述互动输入数据当中的实际对象的眼球移动轨迹来调整融合现实世界的对应视图，并通过裸眼3d显示设备110输出对应视图。所述对应视图可以为一个或多个视图，所述多个视图为多人观看的多视图，即至少显示三个及以上数量的视图，且显示位置固定。
37.所述处理设备130可以与裸眼3d显示设备110相连接，输出融合现实世界的对应视图，所述裸眼3d显示设备110可以为一个或多个，可根据需求选择增加屏幕的数量，加强显示效果或增加显示内容。
38.可选的，所述处理设备130分别与各裸眼3d显示设备110相交互，根据所述融合现实图像确定相同或不同的分屏现实图像，分别提供给各所述裸眼3d显示设备110进行显示。
39.本实施例的技术方案，通过采用一种裸眼3d显示设备显示融合现实图像的交互系统，解决了用户在体验过程中需穿戴设备而导致活动与视野受限的问题，达到了用户在体验过程中能够直接观看到现实目标效果。
40.实施例二
41.图2为本发明实施例二中的一种融合现实互动系统的结构示意图，本实施例以上述实施例为基础进行细化。如图2所示，所述融合现实互动系统包括：裸眼3d显示设备110、互动设备120和处理设备130。
42.可选的，所述处理设备130包括：
43.虚拟图像转换单元131，用于获取虚拟图像，并将所述虚拟图像按照虚拟融合转换关系，从虚拟坐标系转换至融合坐标系；
44.实体图像转换单元132，用于获取实体图像，并将所述实体图像按照实体融合转换关系，从实体坐标系转换至融合坐标系；
45.图像融合单元133，用于在所述融合坐标系下，将转换后的虚拟图像和实体图像进行叠加，以形成所述融合现实图像。
46.互动调整单元134，用于根据互动设备采集的互动输入数据和预设的互动策略，确定虚拟图像的调整策略，并根据所述调整策略调整所述虚拟图像，将调整后的虚拟图像提供给所述虚拟图像转换单元。
47.所述处理设备130还可以包括：
48.远程接收单元135，用于接收远程传输的互动输入数据或融合现实图像；
49.远程推送单元136，用于将所述互动设备采集的互动输入数据，或本地产生的所述融合现实图像，基于远程传输方式提供给另一融合现实互动系统的处理设备。
50.其中，所述虚拟图像为虚拟世界3d模型的图像，虚拟坐标系为虚拟世界中3d模型所在的坐标系。所述虚拟图像转换单元131用于确立虚拟世界坐标系与融合世界坐标系的映射关系，并根据该映射关系，对虚拟坐标系进行转换，转换至融合坐标系。
51.其中，所述实体图像为通过交互设备120获取的现实世界3d模型的图像，实体坐标系为现实世界中实际目标物体所在的坐标系，通常以显示设备或人为原点。所述实体图像转换单元132用于确立现实世界坐标系与融合世界坐标系的映射关系，并根据该映射关系，对实体坐标系进行转换，转换至融合坐标系。
52.其中，所述融合坐标系可以为将现实世界目标物体所在的实体坐标系和虚拟世界中3d模型所在的虚拟坐标系，融合在一个世界坐标系中，及融合世界坐标系。融合世界坐标系通过互动设备120采集到的目标物体位置的变化而不断变化。融合现实图像通过互动设备120采集到的目标物体图像的变化而不断实时变化，最终通过裸眼3d显示设备110进行图像显示。
53.其中，所述互动策略可以为，通过任意软件平台或软件引擎对虚拟世界中的虚拟物体模型进行脚本封装，根据具体逻辑赋予其相应的功能，并根据通过互动设备120采集到的互动输入数据做出相应的动作指令。所述调整策略为虚拟图像根据互动策略对包括图像位置、大小、方向等变化进行的相应动态调整。
54.在一个具体例子中，首先，互动设备120实时采集实体对象的互动输入数据，包括实际对象的移动轨迹、所述实际对象的手势、姿态、表情变化等。互动调整单元134根据互动设备120采集到的数据，如手势、姿态、表情变化，以及预设好的互动策略，如虚拟世界物体针对手势、姿态、表情变化提前预设好的一系列动作指令，对虚拟图像进行相应的动态调整，包括目标图像的位置、大小、方向等动态变化。最后将调整后的虚拟图像提供给所述虚拟图像转换单元。
55.其中所述远程传输方式可以为任意无线传输或有线传输方式，可以是光纤传输、双绞线传输、微波传输以及gprs无线数据等任意传输方式，本发明实施例对此不进行限制。
56.在一个具体例子当中，远程推送单元136将其现实中本地对象的实体对象3d模型通过互动设备120采集后录入系统，所述录入方式可以是扫描、拍摄等方式录入。录入完成后将其录入数据推送至远程接收单元135中，并投射到其融合世界通过裸眼3d显示设备110显示投射图像。同时可由远程接收单元136或远程推送单眼135通过互动设备120进行互动操作。如果互动设备120实时性不能满足本地对象的3d模型采集时，可预先将本地对象的3d模型采集录入到系统中，而后在远程互动时，实时追踪其本地对象的位置即可。在远程互动
的方案中，存在远程两端的坐标系变换的问题，具体是两端屏幕的坐标系按照预定的相对关系融合到同一坐标系中。
57.本实施例的技术方案，能够运用在多人观看多视图的场景中，并且能够进行多人远程互动。解决了远程端只能进行观看而不能互动的问题，为想要进行远程互动的用户们提供了便利。
58.实施例三
59.图3a为本发明实施例三提供的一种融合现实互动方法的流程图。本实施例可适用于在虚拟现实、增强现实或融合现实系统中进行交互的场景，该方法可以由本发明实施例中的融合现实互动系统执行，该系统可以由软件和/或硬件来实现。如图3a所示，该方法具体包括如下步骤：
60.步骤310，分别获取虚拟图像、实体图像和互动输入数据，并根据所述互动输入数据，将调整后的所述虚拟图像和实体图像映射至融合坐标系中，以形成所述融合现实图像。
61.实体图像可以通过互动设备获取，虚拟图像可以通过任意软件平台或软件引擎模型图像数据获取，融合现实图像由处理设备进行处理。
62.可选的，获取虚拟图像，根据互动设备采集的互动输入数据和预设的互动策略，确定虚拟图像的调整策略，并根据所述调整策略调整所述虚拟图像，将调整后的所述虚拟图像按照虚拟融合转换关系，从虚拟坐标系转换至融合坐标系。获取实体图像，并将所述实体图像按照实体融合转换关系，从实体坐标系转换至融合坐标系。在所述融合坐标系下，将转换后的虚拟图像和实体图像进行叠加，以形成所述融合现实图像。
63.具体的，通过处理设备获取虚拟世界坐标系，即虚拟坐标系，并确定虚拟坐标系与融合坐标系映射关系为m
vs
，所述融合坐标系为现实世界实体目标物体和虚拟世界3d模型融合在一个世界中的坐标系。互动设备获取现实世界坐标系，即实体坐标系，并确定实体坐标系与融合坐标系映射关系为m
rs
。所述m
vs
为虚拟坐标系到融合坐标系的映射矩阵。所述m
rs
为实体坐标系到融合坐标系的映射矩阵。处理系统获取所需的虚拟世界的3d模型，并将其所有模型按映射关系转换到融合坐标系。即对给定虚拟世界中任一点p
v
，使用以下公式计算得到融合世界的对应点p
sv
：
64.p
sv
[x
sv
,y
sv
,z
sv
]＝[m
vs
]
×
p
v
[x
v
,y
v
,z
v
]
[0065]
其中，x
sv
,y
sv
,z
sv
分别为融合世界坐标在三维空间x、y、z方向对应的向量。x
v
,y
v
,z
v
别为虚拟世界坐标在三维空间x、y、z方向对应的向量。
[0066]
处理系统从互动设备得到的现实世界中对应实体目标的3d模型，并将其所有模型按映射关系转换到融合坐标系。即对给现实世界中任一点p
r
有使用以下公式计算得到融合世界的对应点p
sr
：
[0067]
p
sr
[x
sr
,y
sr
,z
sr
]＝[m
rs
]
×
p
r
[x
r
,y
r
,z
v
]
[0068]
其中，x
sr
,y
sr
,z
sr
分别为融合世界坐标在三维空间x、y、z方向对应的向量。x
r
,y
r
,z
v
分别为现实世界坐标在三维空间x、y、z方向对应的向量。
[0069]
其中，所述互动输入数据至少包括实际对象的整体移动轨迹、实际对象眼球移动轨迹、所述实际对象的设定部位的移动轨迹、所述实际对象的手势、姿态、表情、实际对象的音频等，采集互动输入数据的装置可以是接触式采集设备或非接触式采集设备，例如优选可采用非接触式采集设备。可以通过麦克风采集实际对象音频，3d视觉传感器获取实际对
象的图像数据，人体红外传感器获取实际对象移动轨迹，姿态传感器获取实际对象手势、姿态、表情等，本实施例对获取互动输入数据所使用的装置不进行限制。处理设备获取到由互动设备采集到的互动输入数据，并对该数据进行调整，生成所述融合现实图像。
[0070]
可选的，获取互动设备采集的互动输入数据，根据所述互动输入数据调整所述融合现实图像包括：根据互动设备采集的互动输入数据和预设的互动策略，确定虚拟图像的调整策略，并根据所述调整策略调整所述虚拟图像。
[0071]
其中，互动策略可以为现实世界实际对象与虚拟世界虚拟物体进行交互的行为，例如可以是人的手去触碰虚拟物体。调整策略为虚拟世界虚拟物体根据互动策略做出的一系列行为动作，例如可以是，针对人手势、姿态、表情的变化做出相应的行为动作，如位置变化、物体放大或缩小、方向旋转等一系列行为动作。处理设备根据调整策略调整虚拟世界的虚拟物体图像，并将其作用到融合世界，改变融合世界对应的目标图像变化。
[0072]
步骤320，将所述融合现实图像提供给所述裸眼3d显示设备。
[0073]
其中，裸眼3d显示设备可以为一个或多个，可根据需求增加屏幕数量，加强显示效果或增加显示内容。
[0074]
可选的，将所述融合现实图像提供给所述裸眼3d显示设备之前，还包括：根据采集到的人体跟踪位置，调整所述融合现实图像，以使所述融合现实图像在所述人体跟踪位置处呈现3d显示效果；或根据所述融合现实图像产生多个位置的融合现实图像，以在所述裸眼3d显示设备观看范围内的多个位置分别呈现3d显示效果。
[0075]
可选的，根据所述融合现实图像产生渲染控制指令，发送给所述裸眼3d显示设备，以控制所述裸眼3d显示设备对获取到的所述融合现实图像进行渲染后进行显示。
[0076]
其中，人体跟踪位置可以通过互动设备获取，可以采用深度感测器或人眼追踪类设备来获取三维空间信息，三维空间信息可以包括观看者的位置信息，裸眼3d显示屏幕的位置信息，以及观看者与显示屏的相对位置信息。由处理设备对互动设备获取到的信息进行处理，分析观看者的双眼位置，并且当观看者在三维空间进行移动时，处理设备能够根据该双眼位置的变动来调整左眼影像与右眼影像，并按裸眼3d显示设备需求交织成输出图像，最后输出到裸眼3d显示设备上进行图像显示。
[0077]
其中，处理设备按需求进行交织输出图像到裸眼3d显示器中具体可以是，裸眼3d显示设备的分光元件可以是透镜，透镜可看成是由一些形状相似的棱镜组成。利用棱镜的光折射型分光作用，用作3d显示光栅，可以把屏幕上的左右眼视觉差图像对分离出来。具体实现方式例如可以是采用prism mask结构3d显示技术或lucius棱镜阵列3d显示技术。
[0078]
在该实现方式中，处理设备可以根据观看者双眼的位置而适应性的调整左眼影像与右眼影像，使融合的3d图像位置可随着观看者的位置与角度的变化而变化。随着观察者位置的移动，裸眼3d显示设备显示的对应视图内容将适应性变化，以对应观察者在当前位置应该看到的物体角度的图像。另一种替换的实现方式是：随着观察者位置的移动，裸眼3d显示设备显示的对应视图内容不发生变化，仅通过交织输出图像的位置平移，调整最佳观看位置跟随观察者的最新移动位置。
[0079]
如图3b所示，在一个具体的例子中，互动设备实时采集现实物体的3d模型，当用户与虚拟世界对象进行交互，互动设备获取由互动事件产生的互动输入数据，由处理设备根据互动策略与调整策略对显示的虚拟图像进行相应调整，包括显示虚拟图像位置、大小等
动态变化。融合坐标系随着实体坐标系与虚拟坐标系的变化而不断变化，处理设备将虚拟坐标系和实体坐标系转换至融合坐标系，并将融合图像按照与融合坐标系对应关系输出至裸眼3d显示屏中。
[0080]
其中，在多人观看的多视图场景中，融合现实图像产生多个位置的融合现实图像，裸眼3d显示设备观看范围内的多个位置分别呈现3d显示效果。在该场景中，处理设备对坐标变换与交互事件的处理与上文描述方案相同，区别仅在于处理设备将融合世界中的所有对象投射为对应视图，并进行交织输出的方式不同。具体可以是借助无人眼跟踪的多视图方式进行交织输出。
[0081]
可选的，接收远程传输的互动输入数据或融合现实图像；或将所述互动设备采集的互动输入数据，或本地产生的所述融合现实图像，基于远程传输方式提供给另一融合现实互动系统的处理设备。
[0082]
如图3c所示，在一个具体的例子中，展示者与观看者通过本系统进行远程互动，展示者将其现实中的本地对象的3d模型通过互动设备采集录入系统并推送到观看者的系统中，将该模型投射到观看者的融合世界，同时可由展示者或观看者通过互动设备操作。如果互动设备实时性不能满足本地对象的3d模型采集时，可预先将本地对象的3d模型采集录入到系统中，而后在远程互动时，实时追踪其本地对象的位置即可。在远程互动的方案中，存在远程两端的坐标系变换的问题，具体是两端屏幕的坐标系按照预定的相对关系融合到同一坐标系中。
[0083]
本实施例的技术方案，通过采用一种基于裸眼3d显示设备的融合现实图像的交互系统，解决了用户在体验过程中需穿戴设备而导致活动与视野受限以及远程互动受限的问题，达到了用户在体验过程中能够直接观看到现实目标效果且能够进行远程互动，并且适用于多人观看的多视图显示场景。
[0084]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。