一种基于VR技术的交互系统及方法与流程

一种基于vr技术的交互系统及方法
技术领域
1.本发明涉及vr技术领域技术领域，具体为一种基于vr技术的交互系统及方法。


背景技术：

2.vr是virtual reality的缩写，中文的意思就是虚拟现实，早期译为“灵境技术”，虚拟现实是多媒体技术的终极应用形式，它是计算机软硬件技术、传感技术、机器人技术、人工智能及行为心理学等科学领域飞速发展的结晶，主要依赖于三维实时图形显示、三维定位跟踪、触觉及嗅觉传感技术、人工智能技术、高速计算与并行计算技术以及人的行为学研究等多项关键技术的发展，随着虚拟现实技术的发展，真正地实现虚拟现实，将引起整个人类生活与发展的很大变革，人们戴上立体眼镜、数据手套等特制的传感设备，面对一种三维的模拟现实，似乎置身于一个具有三维的视觉、听觉、触觉甚至嗅觉的感觉世界，并且人与这个环境可以通过人的自然技能和相应的设施进行信息交互，虚拟现实技术受到了越来越多人的认可，用户可以在虚拟现实世界体验到最真实的感受，其模拟环境的真实性与现实世界难辨真假，让人有种身临其境的感觉；同时虚拟现实具有一切人类所拥有的感知功能，比如听觉、视觉、触觉、味觉、嗅觉等感知系统；最后，它具有超强的仿真系统，真正实现了人机交互，使人在操作过程中，可以随意操作并且得到环境最真实的反馈，正是虚拟现实技术的存在性、多感知性、交互性等特征使它受到了许多人的喜爱。
3.但目前现有的vr技术的交互应用中，主要是被动的接收vr视频然后用户基于vr视觉设备进行vr视频的播放与显示，很难根据用户需求以及习惯以及喜好来实现vr视频的生成，因此实用性不佳。


技术实现要素：

4.本发明的目的在于提供一种基于vr技术的交互系统及方法，具备了通过基于智能场景下的用户自主选择来合成的画面，进行编排然后显示成vr画面，以保证运行的稳定性提高了用户的交互体验的效果，解决了上述背景技术中所提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于vr技术的交互系统，包括客户端、vr云服务器和控制处理模块，所述客户端通过无线网与所述vr云服务器进行通讯，所述控制处理模块通过无线传输设备与所述客户端进行数据传输；
6.所述控制处理模块包括相互之间数据传输的数据存储库、语音识别模块、场景选择交互模块、信息采集模块、请求交互模块、确认交互模块、生成与播放模块；
7.所述采集模块，是基于摄像头采集视频场景图像，并将所述视频场景图像信息发送至vr云服务器；所述视频场景图像信息包括摄像头位置信息以及拍摄画面；
8.所述请求交互模块，所述vr云服务器接收到所述视频场景图像信息，生成第一请求指令至客户端；
9.所述确认交互模块，所述客户端根据接收到的第一请求指令控制vr视频画面显示方式，并生成确认指令至vr云服务器；
10.所述生成与播放模块，所述vr云服务器基于确认指令，生成vr视频画面，并将所述vr视频画面发送至客户端；所述客户端播放vr视频画面；
11.所述场景选择交互模块，是用于接收客户端请求，获取视频场景信息，并返回至客户端；所述视频场景信息包括：视频场景描述信息、摄像头id、摄像头位置信息；所述客户端根据视频场景信息选择的对应视频场景下的多个摄像头id，并发送至vr云服务器。
12.可选的，所述信息采集模块包括语音采集存储模块和图像采集模块。
13.可选的，所述客户端具有多种设备形态包括vr眼镜和头戴式vr显示器。
14.可选的，所述语音采集存储模块用于对语音的内容和语气进行检查并进行语音数据的收集和存储。
15.可选的，所述图像采集模块包括多个摄像头和识别传输模块。
16.一种基于vr技术的交互方法，步骤如下：
17.步骤s1：指令接收，接收所述客户端的请求，通过图像采集模块获取视频场景信息和通过语音采集存储模块获取语音识别信息，并返回至客户端；
18.步骤s2：采集准备，所述客户端根据视频场景信息选择对应的视频场景下多个摄像头id，并发送至vr云服务器；
19.步骤s3：采集数据，通过摄像头采集视频场景图像，并将所述视频场景图像信息发送至vr云服务器；
20.步骤s4：生成第一指令，所述vr云服务器接收到所述视频场景图像信息和语音识别信息，生成第一请求指令至客户端；
21.步骤s5：生成确认指令，所述客户端根据接收到的第一请求指令控制vr视频画面显示方式，并生成确认指令至vr云服务器；
22.步骤s6：数据反馈，所述vr云服务器基于确认指令，生成vr视频画面，并将所述vr视频画面发送至客户端。
23.可选的，所述图像采集模块还包括视频场景描述信息、摄像头id和摄像头位置信息。
24.可选的，所述视频场景图像信息包括摄像头位置信息以及拍摄画面。
25.与现有技术相比，本发明的有益效果如下：
26.一、本发明通过基于场景下的用户自主选择合成的画面进行编排显示成vr画面，且保证运行的稳定性以及保证了用户交互体验佳。
27.二、本发明通过信息采集模块采集到语音和图像的数据，最终在生成与播放模块进行质量的交互，基于场景下的用户自主选择合成的画面进行编排显示成vr画面，且保证运行的稳定性以及保证了用户交互体验佳进一步的，所述信息采集模块包括语音采集存储模块和图像采集模块，并配合辅以信息采集模块和语音识别模块，使得通过使用者的语音指令进行辅助的及时交互。
28.三、本发明通过语音采集存储模块的设置，以提高语音采集存储模块的准确性和快速反应性，语音采集存储模块对语音信息进行及时的采集并存储，然后上传到控制处理模块内，由控制处理模块对语音采集存储模块中的语音进行识别、交互由vr云服务器将反馈信息发送至客户端。
附图说明
29.图1为本发明的交互方法流程图；
30.图2为本发明交互系统的结构示意图。
具体实施方式
31.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
32.请参阅图1和图2，本发明提供一种技术方案：一种基于vr技术的交互系统，包括客户端、vr云服务器和控制处理模块，客户端通过无线网与vr云服务器进行通讯，控制处理模块通过无线传输设备与客户端进行数据传输；
33.控制处理模块包括相互之间数据传输的数据存储库、语音识别模块、场景选择交互模块、信息采集模块、请求交互模块、确认交互模块、生成与播放模块；
34.所述采集模块，是基于摄像头采集视频场景图像，并将所述视频场景图像信息发送至vr云服务器；所述视频场景图像信息包括摄像头位置信息以及拍摄画面；
35.所述请求交互模块，所述vr云服务器接收到所述视频场景图像信息，生成第一请求指令至客户端；
36.所述确认交互模块，所述客户端根据接收到的第一请求指令控制vr视频画面显示方式，并生成确认指令至vr云服务器；
37.所述生成与播放模块，所述vr云服务器基于确认指令，生成vr视频画面，并将所述vr视频画面发送至客户端；所述客户端播放vr视频画面；
38.所述场景选择交互模块，是用于接收客户端请求，获取视频场景信息，并返回至客户端；所述视频场景信息包括：视频场景描述信息、摄像头id、摄像头位置信息；所述客户端根据视频场景信息选择的对应视频场景下的多个摄像头id，并发送至vr云服务器，采集模块，是基于摄像头采集视频场景图像和用户的语音指令，并将视频场景图像信息发送至vr云服务器；视频场景图像信息包括摄像头位置信息以及拍摄画面；语音识别模块是对用户的语音指令进行比对分析和处理；请求模块，是vr云服务器接收到视频场景图像信息，生成第一请求指令至客户端；确认模块，是客户端根据接收到的第一请求指令控制vr视频画面显示方式，并生成确认指令至vr云服务器；生成与播放模块是vr云服务器基于确认指令，生成vr视频画面，并将vr视频画面发送至客户端；客户端播放vr视频画面；本实施例通过信息采集模块采集到语音和图像的数据，并在请求交互模块、确认交互模块、数据存储库和语音识别模块中进行数据的传输和指令数据的分析和处理，最终在生成与播放模块进行质量的交互，基于场景下的用户自主选择合成的画面进行编排显示成vr画面，且保证运行的稳定性以及保证了用户交互体验佳进一步的，信息采集模块包括语音采集存储模块和图像采集模块，并配合辅以信息采集模块和语音识别模块，使得通过使用者的语音指令进行辅助的及时交互。
39.进一步的，客户端具有多种设备形态包括vr眼镜和头戴式vr显示器。
40.进一步的，语音采集存储模块用于对语音的内容和语气进行检查并进行语音数据
的收集和存储，以提高语音采集存储模块的准确性和快速反应性，使用者可通过客户端上的控制按键，开始语音输入；语音采集存储模块对语音信息进行及时的采集并存储，然后上传到控制处理模块内，由控制处理模块对语音采集存储模块中的语音进行识别、交互由vr云服务器将反馈信息发送至客户端。
41.进一步的，图像采集模块包括多个摄像头和识别传输模块，以减少采集误差。
42.一种基于vr技术的交互方法，步骤如下：
43.步骤s1：指令接收，接收客户端的请求，通过图像采集模块获取视频场景信息和通过语音采集存储模块获取语音识别信息，并返回至客户端，通过视频场景信息和语音识别信息可及时、快速和准确的反馈出用户的需求并进行智能反馈。
44.步骤s2：采集准备，客户端根据视频场景信息选择对应的视频场景下多个摄像头id，并发送至vr云服务器，通过本发明智能的系统可获取对应的摄像头id，用于后续及时的对信息进行采集。
45.步骤s3：采集数据，通过摄像头采集视频场景图像，并将视频场景图像信息发送至vr云服务器，vr云服务器根据多个摄像头id，可选择视频场景下的对应多个摄像头，并控制摄像头采集视频场景图像，在本实施中例如在一个会场、一个室外环境或一个游戏场景，使用多个摄像头，使用10个摄像头时可拍摄不同角度不同方向的视频，以及可通过多个虚拟摄像机来获取不同渠道来源的视频，在进行vr显示之前，有的视频并不是用户当前状态下想去观看或体验的视频，所以可通过用户根据视频场景信息的视频场景描述信息、摄像头id和摄像头位置信息，来对于不同方位的画面以及不同摄像头id进行vr场景的整合，并由客户端来进行选择，客户端根据视频场景信息的选择，对应视频场景下的多个摄像头id，并发送至vr云服务器，使得vr云服务器可根据需求来执行后续vr视频的生成。
46.步骤s4：生成第一指令，vr云服务器接收到视频场景图像信息和语音识别信息，生成第一请求指令至客户端，第一请求指令包括第一画面编排方式以及摄像头位置信息、拍摄画面和语音指令数据，在本实施例中可对组成vr视频的画面进行自由的组合，通过选择用户感兴趣的场景摄像头之后，并控制摄像头采集视频的场景图像，以获取相应的画面，并反馈至客户端，此时反馈至客户端的画面是按照预设的第一画面编排方式来进行拼接编排的，也可是直接分散的三个画面，其中预设的第一画面编排方式可以是根据摄像头id编号来进行排列。
47.步骤s5：生成确认指令，客户端根据接收到的第一请求指令控制vr视频画面显示方式，并生成确认指令至vr云服务器，客户端根据摄像头位置信息、拍摄画面和语音指令数据，对第一画面编排方式进行更改，并生成第一确认指令至vr云服务器；第一确认指令包括vr任务id、第二画面编排方式；vr云服务器根据第一确认指令，进行多个拍摄画面的重新拼接编排，生成vr视频画面；vr云服务器建立vr任务id、第二画面编排方式以及摄像头id之前的映射关系，并存储，在本实施例中若客户端对vr服务器基于第一请求指令发送至客户端时，发送预设的第一画面编排方式恰好满意，则客户端不用更改编排方式，则可直接发送第二确认指令至vr云服务器，其中第一确认指令与第二确认指令并不相同，第一确认指令包括vr任务id和新的客户端更改过后的第二画面编排方式，而第二确认指令即一确认信令用于控制vr服务器根据预设的编排方式获取视频图像后编排生成vr视频画面。
48.步骤s6：数据反馈，vr云服务器基于确认指令，生成vr视频画面，并将vr视频画面
发送至客户端，客户端播放vr视频画面；客户端基于vr视觉设备，播放vr视频画面。
49.进一步的，图像采集模块还包括视频场景描述信息、摄像头id和摄像头位置信息。
50.进一步的，所述视频场景图像信息包括摄像头位置信息以及拍摄画面。
51.在本发明的系统中：本实施例，不同于传统的vr视频执行的操作，本技术比如一个会场或者一个室外环境或则一个游戏场景，具有多个摄像头，可能是10个，拍摄不同角度不同方向的视频；或者通过多个虚拟摄像机来获取多个不同渠道来源的视频。而在进行vr显示之前，有的视频并不是用户当前状态下想去观看或者体验的视频，因此，可以通过使得用户根据视频场景信息的视频场景描述信息、摄像头id、摄像头位置信息，来对于不同方位的画面不同摄像头id进行vr场景的整合，由客户端来选择，客户端根据视频场景信息选择的对应视频场景下的多个摄像头id，并发送至vr云服务器，使得vr云服务器从而根据需求来执行后续vr视频的生成。
52.本实施例，可以自由对于组成vr视频的画面进行自由组合，通过在用户使能感兴趣的场景摄像头之后，控制摄像头采集视频场景图像，获取相应的画面，并反馈至客户端，此时反馈至客户端的画面可以是按照预设的第一画面编排方式来进行拼接编排的，也可以是直接是分散的三个画面。其中，预设的第一画面编排方式可以是根据摄像头id编号来进行排列。
53.综上在在本发明上述实施例的方案中，所提供的基于vr技术的多人协同互动方法、系统，通过基于摄像头采集视频场景图像，并将所述视频场景图像信息发送至vr云服务器；所述视频场景图像信息包括摄像头位置信息以及拍摄画面；vr云服务器接收到所述视频场景图像信息，生成第一请求指令至客户端；所述客户端根据接收到的第一请求指令控制vr视频画面显示方式，并生成确认指令至vr云服务器；所述vr云服务器基于确认指令，生成vr视频画面，并将所述vr视频画面发送至客户端；所述客户端播放vr视频画面。本实施例通过基于场景下的用户自主选择合成的画面进行编排显示成vr画面，且保证运行的稳定性以及保证了用户交互体验佳。
54.需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。
55.此外，本发明实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上应用于配电房的数据显示与快速处理方法。
56.上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和偏移处理。该类修改、改进和偏移处理在本说明书中被建议，所以该类修改、改进、偏移处理仍属于本说明书示范实施例的精神和范围。
57.此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对它们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件
或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
58.需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
59.最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其它的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例
60.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。