一种元宇宙和现实时空重组元素混编系统的制作方法

文档序号:31210828发布日期:2022-08-20 03:31阅读:69来源:国知局
一种元宇宙和现实时空重组元素混编系统的制作方法

1.本发明涉及元宇宙虚拟现实技术领域,尤其涉及一种元宇宙和现实时空重组元素混编系统。


背景技术:

2.随着元宇宙地爆发,人们认为元宇宙是一个平行于现实世界又独立于现实世界的虚拟环境,是人类世界映射出来的在线虚拟世界。随着人们地现实生活逐渐向虚拟世界迁移,人类也会慢慢成为能够在现实世界和在线虚拟世界中生活的物种。
3.然而在当前众多元宇宙虚拟技术中,虽然能够根据现实环境数据虚拟出类似的全景图和数字孪生,但是虚拟出来的环境大多停留在空间场景的展示和模拟,缺乏实体模拟与用户之间全要素地同频互动,使得虚拟的时空环境缺少真实感和现实的融入感,这样很难让人们沉浸到元宇宙虚拟世界中,也很难让体验者意识到虚拟世界是和现实世界一样的平行世界。


技术实现要素:

4.本发明提供了一种元宇宙和现实时空重组元素混编系统,用以解决现有技术中模拟的时空环境缺少真实感的问题。
5.为解决上述问题,本发明提供了一种元宇宙和现实时空重组元素混编系统,所述系统包括:
6.三维数据交互模块,所述三维数据交互模块包括数据采集子模块和数据编辑混合子模块,所述数据采集子模块用于对现实时空中目标物体的图像数据、音频数据和输入输出数据进行获取,所述数据编辑混合子模块用于将所述数据采集子模块采集的图像数据、音频数据和输入输出数据进行三维建模数据编辑;
7.元宇宙现实混合场景模块,所述元宇宙现实混合场景模块包括场景构建子模块和场景反馈子模块;
8.其中,所述数据编辑混合子模块、所述场景构建子模块和所述场景反馈子模块之间通过通信网络设备进行数据通信连接,所述场景构建子模块能够根据所述数据编辑混合子模块编辑的三维建模数据构建元宇宙和现实时空的混编环境,所述场景反馈子模块用于向访客反馈所述场景构建子模块构建的元宇宙和现实时空的混编环境。
9.在一种可能的实现方式中,优选的,所述数据采集子模块包括数据交互组件、照明复刻组件和双向访客场景反馈组件,所述数据交互组件用于获取目标物体或所处环境的图像数据、音频数据和输入输出数据,同时对三维建模数据进行播放,所述照明复刻组件用于复刻目标物体所处环境的光强度,所述双向访客场景反馈组件用于向访客显示反馈所述场景构建子模块构建的元宇宙和现实时空的混编环境,所述数据编辑混合子模块能够根据图像数据、音频数据和输入输出数据进行三维建模数据的编辑,并与通信网络设备进行数据互通。
10.在一种可能的实现方式中,优选的,所述数据交互组件包括输入器、数字遥控、第一拾音器、第一图像获取元件和激光扫描仪,所述输入器和所述数字遥控用于输入模式数据信息,所述第一拾音器用于获取目标物体所处环境的声音数据,所述第一图像获取元件或激光扫描仪用于获取目标物体或所处环境的图像数据。
11.在一种可能的实现方式中,优选的,所述照明复刻组件包括第一色温数据获取元件,所述第一色温数据获取元件用于获取目标物体或所处环境的光度数据、色度数据、照度数据和亮度数据,所述照明复刻装置以混编环境中的摄像机的光强数据和色温数据作为目标值,复刻到目标物体或目标物体所处环境的强度和色温。
12.在一种可能的实现方式中,优选的,所述数据编辑混合子模块包括计算机、图像加工元件和第一通信元件,所述计算机和所述图像加工元件能够根据获取的图像数据、音频数据、输入输出数据、光强数据和色温数据进行三维建模数据的编辑,所述第一通信元件用于将所述三维建模数据传送到所述通信网络设备上。
13.在一种可能的实现方式中,优选的,所述场景构建子模块包括访客替身数据获取组件、访客替身复刻组件、访客替身标签显示组件、第二通信元件和中央处理器,所述访客替身数据获取组件、所述访客替身复刻组件、所述访客替身标签显示组件和所述第二通信元件均与所述中央处理器电性连接,所述访客替身数据获取组件用于获取元宇宙和现实时空的混编环境中的图像数据、音频数据、输入输出数据,所述访客替身复刻组件采用摄像机当作访客的眼睛,所述访客替身复刻组件采用移动机构复刻访客头部位置动态,访客的头的姿态和方位采用云台复刻到摄像机上,访客的声音在摄像机上进行播放,所述访客替身标签显示组件用于显示访客的视频、头像和标识,所述第二通信元件与通信网络设备通信连接。
14.在一种可能的实现方式中,优选的,所述访客替身数据获取组件包括第二图像获取元件、第二拾音器和第二色温数据获取元件等,所述第二图像获取元件、所述第二拾音器和所述第二色温数据获取元件均用于获取元宇宙和现实时空的混编环境中摄像机视角的图像数据、音频数据、输入输出数据和摄像机上的光强和色温数据。
15.在一种可能的实现方式中,优选的,所述场景反馈子模块包括场景复刻组件和环境反馈组件,所述场景复刻组件与所述环境反馈组件电性连接,所述场景复刻组件用于根据三维建模数据进行元宇宙和现实时空混编环境的复刻,所述环境反馈组件能够对访客进行元宇宙和现实时空混合环境的反馈。
16.在一种可能的实现方式中,优选的,所述场景复刻组件包括控制主机和第三通信元件,所述环境反馈组件包括vr头盔和陀螺仪,所述控制主机能够根据三维建模数据进行元宇宙和现实时空混编环境的复刻,所述vr头盔和所述陀螺仪用于将元宇宙和现实时空的混编环境对访客进行显示反馈。
17.在一种可能的实现方式中,优选的,所述通信网络设备包括数据库、交换机和服务器,所述数据库和所述交换机均与所述服务器电性连接,所述数据库用于对所述数据编辑混合子模块、所述场景构建子模块和所述场景反馈子模块之间传送的数据进行存储,所述交换机用于所述数据编辑混合子模块、所述场景构建子模块和所述场景反馈子模块之间的数据通信连接。
18.本发明的有益效果是:本发明提出一种元宇宙和现实时空重组元素混编系统,该
系统包括三维数据交互模块和元宇宙现实混合场景模块,三维数据交互模块包括数据采集子模块和数据编辑混合子模块,三维数据交互模块用于对现实时空中目标物体所处环境的三维数据进行获取,并且将编辑好的三维建模数据传送到元宇宙现实混合场景模块上进行元宇宙环境的构建和显示反馈,同时在三维数据交互模块上也能够对元宇宙环境进行显示反馈,通过对现实时空中目标物体以及所处环境的三维数据进行获取,并且根据三维数据进行元宇宙环境的构建,进一步的模拟出真实度极高的元宇宙环境,进而能够极大的提升访客在元宇宙环境中的存在感。
附图说明
19.为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
20.图1示出了元宇宙和现实时空重组元素混编系统的结构框架示意图;
21.图2示出了元宇宙和现实时空重组元素混编系统的工作流程示意图。
22.主要元件符号说明:
23.100-三维数据交互模块;110-数据采集子模块;120-数据编辑混合子模块;200-元宇宙现实混合场景模块;210-场景构建子模块;220-场景反馈子模块;300-通信网络设备。
具体实施方式
24.下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
25.在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
26.此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
27.在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
28.在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在
第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
29.请参阅图1,本发明提出一种元宇宙和现实时空重组元素混编系统(以下简称系统),该系统包括三维数据交互模块100和元宇宙现实混合场景模块200,其中,三维数据交互模块100用于对现实时空中目标物体或所处环境的三维数据进行获取,同时三维数据交互模块100还用于进行三维立体图形的构建和播放,元宇宙现实混合场景模块200用于构建三维立体的元宇宙和现实时空的混编环境,同时还能够向所有访客进行三维元宇宙和现实时空的混编环境的反馈。
30.具体的,三维数据交互模块100包括数据采集子模块110和数据编辑混合子模块120,数据采集子模块110用于对现实时空中的三维数据(三维数据包括图像数据、音频数据和输入输出数据等,输入输出数据是指人为输入的数据)进行采集获取,数据编辑混合子模块120能够根据数据采集子模块110采集的三维数据进行三维建模数据的编辑,再经过通信网络设备300传送到元宇宙现实混合场景模块200上进行三维元宇宙和现实时空的混编环境构建。
31.请继续参阅图1,元宇宙现实混合场景模块200包括场景构建子模块210和场景反馈子模块220,场景构建子模块210用于构建三维的元宇宙和现实时空的混编环境,场景反馈子模块220用于将三维的元宇宙和现实时空的混编环境向所有访客进行反馈,其中场景构建子模块210、场景反馈子模块220和数据编辑混合子模块120之间通过网络通信设备300进行信息联通,并且相互之间能够将自身的数据传送到网络通信设备300上进行数据交互。
32.当数据采集子模块110对现实时空中目标物体或所处环境的三维数据进行采集后,数据编辑混合子模块120对数据采集子模块110采集的三维数据进行三维建模数据的编辑,进一步的将编辑好的三维建模数据经过通信网络设备300分别传送给场景构建子模块210和场景反馈子模块220,同时在数据采集子模块110上进行三维元宇宙和现实时空的混编环境构建,进一步的场景构建子模块210根据三维建模数据进行三维元宇宙和现实时空的混编环境构建,进一步的将构建好的三维元宇宙和现实时空的混编环境经过通信网络设备300传送到场景反馈子模块220上进行反馈,同时数据采集子模块110和场景构建子模块210均也能够对构建好的三维元宇宙和现实时空的混编环境进行反馈,进而能够同时在数据采集模块110端、场景构建子模块210端和场景反馈子模块220端对元宇宙和现实时空的混编环境进行反馈。
33.本发明方案通过获取目标物体或所处环境的三维数据后,通过三维建模进行元宇宙和现实时空的混编环境构建,同时在访客端、目标物体端和元宇宙虚拟环境端均能够显示、声音、输入输出反馈构建好元宇宙和现实时空的混编环境,进而让访客、目标物体和环境在不同的地点、不同的时间通过计算机编辑到一个现实空间或元宇宙虚拟环境或二者混合,进而能够有效模拟出一个多点显示、声音、输入输出反馈、高真实度的三维元宇宙和现实时空的混编环境,极大地提升了体验者在虚拟环境中的存在感。高真实度到达可破元宇宙和现实二界,拼接为一界,利用各自全部优点,如所想即所得,时空编辑突破,人类无形活动全移植到元宇宙并和现实时空合体赋能等能力。
34.需要解释的是,本发明所提到的三维数据包括图像数据、音频数据和输入输出数
据等,三维建模数据是根据图像数据、音频数据和输入输出数据等进行编辑后均能够采用设备进行显示、声音、输入输出的反馈,目标物体可以为人体、动植物、其他实体或者数据。
35.请继续参阅图1,在上述方案的基础上,数据采集子模块110包括数据交互组件、照明复刻组件和双向访客场景反馈组件,数据交互组件用于获取目标物体或所处环境的图像数据、音频数据和输入输出数据,同时数据交互组件还用于三维建模数据进行播放,照明复刻组件在场景构建子模块的摄像机(访客的虚拟替身)上的灯效要在目标物体或所处环境复刻,同时保证目标物体的光效采集到的三维建模数据(访客的虚拟替身)在场景构建子模块上符合该光的物理规律(即复刻光的物理状态)。
36.双向访客场景反馈组件,即把元宇宙和现实时空的混编环境显示、声音、输入输出反馈双向访客,数据编辑混合子模块能够根据图像数据、音频数据和输入输出数据进行三维建模数据的编辑,并与通信网络设备进行数据互通。
37.具体的,数据交互组件包括输入器、数字遥控、第一拾音器、第一图像获取元件和激光扫描仪,输入器和数字遥控用于输入模式数据信息(场景切换、场景调节等数据信息,例如办公场景、娱乐场景的切换),第一拾音器用于获取目标物体所处环境的声音数据。同时运用语音识别系统,也可以把语音当作输入器,其中第一图像获取元件或激光扫描仪用于获取目标物体或所处环境的图像数据。优选的,数据交互组件还包括摄像机、显示屏、滑轨和云台等组件。
38.同时,照明复刻组件包括第一色温传感器数据获取元件、照明复刻装置和滑轨及云台。第一色温数据获取元件用于获取目标物体或所处环境的光度、色度、照度、亮度等数据,(第一色温数据获取元件采用光强和色温传感器)照明复刻装置用于根据目标物体所处在场景构建子模块210的摄像机(访客的虚拟替身)的光强和色温数据作为目标值,通过改变照明复刻装置中的灯对目标物体或目标物体所处环境的强度和色温进行复刻,并采用多轴云台调整照射到目标物体的各方位角度,用滑轨调整灯照射的位置,通过pid自控系统,使对当前目标物体的光达到在场景构建子模块210的摄像机(访客的虚拟替身)的光强、色温、位置和角度,达到无限接近在场景构建子模块210的摄像机(访客的虚拟替身)的光强、色温和角度。即在场景构建子模块210的摄像机(访客的虚拟替身)上的灯效要在目标物体或所处环境上复刻,保证目标物体的光效采集成三维建模数据(访客的虚拟替身)在场景构建子模块210上和谐拼接到元宇宙和现实时空的混编环境中,摄像机变成虚拟替身后,虚拟替身的光效和照到摄像机的一致,即达到灯照到混合环境中的每个元素,其光效和符合光的物理规律。
39.为了便于解释说明,提供以下示例:打到摄像机中的影子是45度向左,照度5lx,色度4000k,通过照明复刻组件,把摄像机的光复刻到目标物体。然后目标物体被采集为三维建模数据(访客的虚拟替身),虚拟替身的倒影也是45度向左,照度5lx,色度4000k。并把这个虚拟替身替换掉摄像机,从而摄像机的背景变成了访客虚拟替身的背景,融入到元宇宙和现实时空的混编环境,而且这个替身的光感是立体的和动态实时播放的,即在这个混合环境中一个东边的访客看这个替身和一个西边的访客看这个替身的感觉,是符合现实中的光物理视觉特性的,并且是动态实时播放的,如替身转身也是符合的。
40.如目标物体是人,即为双向访客,参于与其他访客在一个元宇宙和现实时空的混编环境,双向访客场景反馈组件包括显示元件或vr头盔、喇叭,其作用是把元宇宙和现实时
空的混编环境显示、声音、输入输出反馈给采集目标物体(即双向访客)。当vr头盔内的显示屏不方便时,如他是演讲者,不方便带个vr头盔,这时就用显示元件显示大屏幕。
41.请继续参阅图1,数据编辑混合子模块120包括计算机、图像加工元件和第一通信元件,计算机、图像加工元件能够根据图像数据、音频数据和输入输出进行三维建模数据的编辑,第一通信元件用于与通信网络设备进行数据互通。
42.具体的,计算机包括三维建模和vr应用等,图像加工元件包括3d图形和图形加速卡等,第一通信元件优选的采用无线数据通信或有线数据通信。
43.需要解释的是,计算机如何实现三维建模以及vr应用均为成熟的现有技术,同时图像加工元件对3d图像的处理和加速以及第一通信元件如何进行数据交互均为成熟的现有技术。
44.在上述方案中,高逼真的物体三维3d视频流可采用三维激光扫描技术对目标物体的三维数据进行采集,也可以采用多角度或者多自由度视频采集技术,或这2个技术的复用。
45.需要说明的是,在多人开会的会场,为了提高系统的入门普及性和逐步发展的事物客观规律,访客有2类,一类:他看别人,别人不用看他逼真虚拟人体的,叫单向访客,也称初级访客;另一类:他看别人,别人看他,他就是逼真复刻虚拟人体的,叫双向访客,又称主持人。双向访客具备单向访客全部功能;但双向访客必须为采集目标,有众多设备支撑,即这个采集对象或目标物体就是他。
46.现实时空可以用摄像机、相机录制的视频流在显示屏的播放,也可以直接透明眼镜看到;虚拟世界必须由计算机来模拟显示。所以元宇宙和现实时空混编效果,由摄像机录制现实时空到计算机,再由计算机叠加计算机模拟画出来的元素的视频流通过显示屏播放给访客,即vr或mr技术。
47.也可以用透明眼镜看现实,透明眼镜上有个微型显示屏显示计算机模拟画出来的元素,2者叠加而成,即ar技术。
48.混编系统即混合编辑。编辑在计算机语言里就是各种算法,不仅仅删除、复制、黏贴、变形等,更是所想即所得。
49.一、三维激光扫描技术有高精度、高速度、高分辨率、非接触式以及优良的兼容性等优势,甚至称之为测绘领域继gps技术之后的一次具有影响力的技术革命。与传统测量技术进行对比,包括全站仪、近景摄影测量以及航空摄影测量等,具体而言具有以下特点:
50.(1)非接触式。
51.非接触式测量是指不接触被测物体的前提下进行精准测量。其测量精度可以达到μm。非接触式测量仪利用ccd采集变焦镜下样品的影像,再配合xyz轴移动平台及自动变焦镜,运用影像分析原理,通过计算机处理影像信号,对科研生产零件进行精密的几何数据的测量,并可进行cpk数值的分析。
52.(2)数字化程度较高、可扩展性。
53.三维激光扫描技术所获取的数据均为数字信号数据,具有较高的数字程度,处理起来较为简便,可以便利的用于数据的分析、输出以及显示,后处理软件人机友好的用户界面,可以和其它软件及时进行数据共享,能够和外接数码摄像机、gps等设备相互配合使用,从而拓宽了各自的应用范围,因此三维激光扫描技术具有较好的可扩展性。
54.(3)高分辨率。
55.三维激光扫描技术分辨率高,能够方便快捷地采集高质量、高密度的数据,这是高分辨率数据的基础。结合专业的三维软件还可以实现纹理色彩的添加和修改。和现实效果媲美,完全不同于3d游戏的马赛克。
56.二、另一种采用多角度或者多自由度视频采集技术,或者自由角度视点采集技术,当然这些技术均属于成熟的现有技术。
57.请参阅图1,在三维数据交互模块100中,多个摄像机会分布在目标物体的四周,其中每个摄像机均在整体环境中建立坐标系,并用于采集相应拍摄视角的各个第一视频流,并将第一视频流传送到计算机上,进一步的计算机根据第一视频流生成各个坐标及视角下的第二视频流(包括三维建模数据以及二维图形数据和音频数据),进一步的将第二视频流传送到通信网络设备300上,进而能够在元宇宙现实混合场景模块200中构建各角度的三维图像视频。
58.请继续参阅图1,场景构建子模块210包括访客替身数据获取组件、访客替身复刻组件、访客替身标签显示组件、第二通信元件和中央处理器,访客替身数据获取组件、访客替身复刻组件、访客替身标签显示组件、第二通信元件均和中央处理器电性连接,其中访客替身数据获取组件用于对元宇宙和现实时空的混编环境中的摄像机所处点的图像数据、音频数据、输入输出数据进行获取,其中访客替身复刻组件采用摄像机当作访客的眼睛,访客的头的姿态和方位用云台复刻到摄像机上,访客的头位置复刻到移动机构(移动机构优选的采用滑轨或者云台),访客的声音在摄像机边播放;其中访客替身标签显示组件用于显示访客的视频、头像或标识,第二通信元件与通信网络设备300通信连接。
59.具体的,访客替身数据获取组件包括第二图像获取元件、第二拾音器和第二色温数据获取元件(第二色温数据获取元件采用光强和色温传感器)等,第二图像获取元件、第二拾音器和第二光强和色温数据获取元件均用于获取元宇宙和现实时空的混编环境中摄像机视角的图像数据、音频数据、输入输出数据以及摄像机上的光强和色温数据,其获取的图像数据具有坐标系的立体三维图像流。其中访客替身标签显示组件包括第二显示元件和移动机构。第二显示元件用于显示访客的视频、头像或标识,移动机构用于访客的移动到在场景构建子模块访客替身的移动。
60.优选的,访客替身数据获取组件还包括摄像机、喇叭、云台和移动机构等组件,移动机构优选的采用滑轨机构。
61.需要说明的是,这里所说的元宇宙和现实时空的混编环境是与目标物体所处环境不同,例如元宇宙和现实时空的混编环境是会场,目标物体所处环境在演讲者的家里,通过数据采集子模块110和通信网络设备300分别传送到元宇宙和现实时空的混编环境(会场),即场景构建子模块210,把演讲者的三维3d视频数据流叠加到会场环境,复刻逼真到演讲者全息3维立体在会场演讲。当然另一些访客(与会者)也可能没来会场,也在自己的家里,那场景反馈子模块220要把混合(会场)传送到这些访客的vr头盔。还有一些访客是在现实时空的真实会场。访客不带vr头盔,只能看到摄像机上的访客替身标签显示组件即显示他的视频、头像或标识,听到他的声音。而访客带上vr头盔,摄像机就被计算机替换为访客替身的三维3d视频流,复刻逼真到演讲者3维立体在会场演讲。
62.可以理解的是,第二通信元件与通信网络设备300之间进行数据交互,进一步的数
据编辑混合子模块120将编辑好的三维建模数据传送到场景构建子模块110上,场景构建子模块210上的中央处理器再根据接收的三维建模数据对元宇宙和现实时空的混编环境的构建(这里也采用与上述相同三维建模技术),同时访客替身数据获取组件将会获取场景构建子模块210一端的图像数据、音频数据、输入输出数据和摄像机上的光强和色温数据等传送到中央处理器上,进一步的构建出高真实度的元宇宙和现实时空的混编环境。
63.请继续参阅图1,场景反馈子模块220包括场景复刻组件和环境反馈组件,场景复刻组件与环境反馈组件电性连接,场景复刻组件能够根据三维建模数据进行元宇宙和现实时空的混编环境复刻,环境反馈组件能够对访客进行元宇宙和现实时空混合环境的反馈。
64.具体的,场景复刻组件包括控制主机和第三通信元件,环境反馈组件包括vr头盔和陀螺仪,其中第三通信元件与通信网络设备之间进行数据互通,控制主机能够根据三维建模数据进行元宇宙和现实时空的混编环境的复刻,vr头盔和陀螺仪能够将复刻的元宇宙和现实时空的混编环境向访客进行显示反馈,进而能够实现多人同时在元宇宙和现实时空的混编环境中进行交流。
65.为了更好的对本发明方案进行解释,本发明提供以下示例:
66.在本系统中,假设数据采集子模块110的一端有多个体验者(目标物体)穿戴上配备的vr头盔后,同时场景反馈子模块220一端多个访客穿戴上配备的vr头盔,数据采集子模块110将会对体验者及体验者所处环境的数据进行获取,同时通过数据编辑混合子模块120进行编辑后再传送到各模块上进行显示反馈,此时将会构建出一个高真实度的元宇宙和现实时空的混编环境,体验者(目标物体)和多个访客在穿戴上配备的vr头盔后,都能参与到同一个元宇宙和现实时空的混编环境之中,体验者和参与者之间还能够实现动作互动等,有效的提高元宇宙和现实时空的混编环境的真实度,进而极大的提升参与者(体验者和访客)在元宇宙和现实时空的混编环境中的存在感。
67.需要解释的是,在本发明的技术方案中,用于实场景反馈的组件用vr头盔,又叫vr眼镜进行实现,可选的采用ar眼镜、mr头盔等进行实现也属于本技术方案所公开的范围。
68.在上述技术方案中,为了更加清楚完整的公开本发明的技术,以下对各部分技术进行描述:
69.在摄像机进行图像数据进行采集时,以摄像机原点对摄像机建立三维正交坐标系(即xyz坐标轴),以目标物体的正前方向上为y轴(对人体进行采集时,以双目的中心向上为y轴),镜头朝前为x轴,x轴和y轴的垂直方向为z轴,同时摄像机采集端点与目标物体的空间姿态同步对应(摄像机即人体的眼睛)。
70.同时在访客端的vr头盔(或者ar眼镜或者mr头盔)上建立x"y"z"坐标系,并结合vr头盔(或者ar眼镜或者mr头盔)内的摄像机和陀螺仪,通过计算机建立视角范围内的3d模型,并识别数据采集子模块110所采集的特征(可以是图形视觉识别),从而知道数据采集子模块110传送的三维模拟数据是虚拟物或人,同时计算出xyz轴的坐标系,进一步的实现通过改变xyz坐标轴,就能够同步在x"y"z"坐标轴,并且在x"y"z"坐标轴上看到xyz坐标轴的改变。
71.可以理解的是,当摄像机的角度改变,访客端看到的虚拟替身也在变,在对机器人进行采集时,摄像机可以作为机器人的眼睛。
72.在场景反馈子模块220中,访客穿戴上vr头盔(也可以是ar眼镜或者mr头盔)后,通
过控制主机将数据采集子模块110上采集的三维数据经过背景抠掉后叠加在vr头盔上,同时切除访客端环境中的光亮度和其他影响,进而将目标物体的三维数据粘贴到vr头盔上,实现三维数据的反馈。vr头盔的坐标系与摄像机坐标系重合,摄像机坐标系要和元宇宙和现实时空混编环境的三维坐标系在空间关系上计算重合。
73.在ar眼镜上,ar眼镜是透明的,能同时看到现实世界和叠加在上面的虚拟成像,ar的三大技术要点:三维注册(跟踪注册技术)、虚拟现实融合显示、人机交互。其流程是首先通过摄像头和传感器将真实场景进行数据采集,并传入处理器对其进行分析和重构,再通过ar头显或智能移动设备上的摄像头、陀螺仪、传感器等配件实时更新用户在现实环境中的空间位置变化数据,从而得出虚拟场景和真实场景的相对位置,实现坐标系的对齐并进行虚拟场景与现实场景的融合计算,最后将其合成影像呈现给用户。
74.用户可通过ar眼镜或智能移动设备上的交互配件,如话筒、眼动追踪器、红外感应器、摄像头、传感器等设备采集控制信号进行相应的人机交互及信息更新,以增强现实的交互操作。其中,三维注册是ar技术之核心,即以现实场景中二维或三维物体为标识物,将虚拟信息与现实场景信息进行对位匹配,即虚拟物体的位置、大小、运动路径等与现实环境完美匹配,达到虚实相生的地步。
75.ar模式虚拟3d物体放置在桌子上,目前谷歌research团队在网站上发表博客称,为安卓上的motion stills(视频捕捉和观看app)增加了全新的ar模式。在ar模式下,用户只需点击屏幕就可以将有趣的虚拟3d物体放置在静止,或者移动中的水平面上(比如桌子、地板和手上),让这些物体可以无缝的和动态的实时环境进行互动。
76.ar模式由实时动作追踪功能所实现,这是基于ios版motion stills的motion text和youtube上的privacy blur的技术所实现的6自由度追踪,能够精确的追踪静止和移动的物体。谷歌的团队对这一技术进行的完善和提升,使其可以在任何配备了陀螺仪的安卓设备上实现有趣的ar功能。
77.当用户碰触屏幕时,motion stills ar能够将一个3d的虚拟物体“粘贴”到指定的位置,使其看起来就像真实世界的一部分一样。通过假定跟踪表面和地平面是平行的,同时使用设备的加速传感器来提供手机相对于地平面的初始定向,可以追踪摄像头的6自由度(3个平移自由度和3个旋转自由度)。
78.即时运动跟踪技术,即时运动跟踪技术的核心是将摄像机的平移和旋转估计分离,将其视为独立的优化问题。首先,只根据摄像机的视觉信号确定3d摄像机的平移。观察目标区域的明显2d映射和跨帧的相对比例。一个简单的针孔照摄像机模型将图像平面中的盒子的平移和缩放与摄像机的最终3d平移相关联。
79.为了解决这个问题,在现有的跟踪器中添加了比例估计,并在摄像机的视场之外追加了区域跟踪。当摄像机靠近被跟踪的表面时,虚拟内容能够精确地缩放,这与真实世界对象的感知一致。当在目标区域的视场之外平移时,虚拟物体将重新出现在大致相同的位置。
80.在这之后,我们使用手机的内置陀螺仪来获得设备的3d旋转(滚动、俯仰和偏航)。估测的3d对应图像与3d旋转相结合,使我们能够在取景器中正确渲染虚拟内容。而且由于我们分别处置旋转和平移,所以我们的即时运动跟踪方法不需要校准,可以在任何带有陀螺仪的android设备上工作。
81.请继续参阅图1,本系统各模块之间是通过通信网络设备300进行数据互通连接。
82.具体的,通信网络设备300包括括数据库、交换机和服务器,数据库和交换机均与服务器电性连接,数据库用于对数据编辑混合子模块110、场景构建子模块210和场景反馈子模块220之间传送的数据进行存储,交换机用于数据编辑混合子模块120、场景构建子模块110和场景反馈子模块220之间的数据通信连接,可以实现数据采集到编辑到输入输出反馈的连续低延迟流转,即直播功能,随着网络速度提升,从采集到反馈整个过程控制在毫秒级别。如延时过大,会出现2个访客之间互动的延迟而影响体验的真实感。
83.请参阅图2,本发明还提供一种实现逻辑应用于上述的系统,该系统的运行逻辑步骤,具体包括:
84.步骤s100、摄像机或激光扫描仪获取目标物体或所处环境数据(数据包括图像数据及光感度数据),拾音器采集目标物体或所处环境的声音,同时将所获取的数据传送到计算机上;
85.步骤s200、计算机根据所采集的三维数据和音频数据进行三维建模数据的编辑,建立目标物体或所处环境的三维数据和音频数据,进一步的将编辑好的三维建模数据传送到通信网络设备300上进行数据交互;
86.步骤s300、在场景反馈子模块220上判断是否有访客的输入或者输出,如果没有访客的输入或者输出,即当前属于空载模式,整个系统将会执行上述步骤s100,如果有访客输入或者输出,则执行下一步骤;
87.步骤s400、在判断有访客输入后,计算机建立访客端的三维坐标系,计算机建立虚拟替身摄像机的三维坐标系,同时计算机建立元宇宙和现实时空的混编环境的三维坐标系;
88.步骤s500、从数据库中调取目标物体或所处环境的三维建模数据和三维坐标系,将目标物体或所处环境或访客的三维坐标系和虚拟替身摄像机的三维坐标系重合,并把摄像机替换为目标物体或所处环境的三维建模数据;
89.步骤s600、摄像机坐标系要和元宇宙和现实时空混编环境的三维坐标系在空间关系上计算重合,即时运动跟踪技术,并重复回到步骤s100,从而形成实时三维建模数据流,进行同步视频播放。
90.在该运行逻辑步骤中,能够应用上述的元宇宙和现实时空重组元素混编系统进行三维元宇宙和现实时空的混编环境的构建,进而能够模拟出一个高真实度的三维元宇宙和现实时空的混编环境,极大的增加体验者和访客在元宇宙和现实时空的混编环境中的真实感和存在感。
91.在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
92.尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例
性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1