一种元宇宙沉浸式体验方法及系统与流程

本发明涉及智能交互，尤其是一种元宇宙沉浸式体验方法及系统。

背景技术：

1、元宇宙本质上是对现实世界的虚拟化、数字化过程，需要对内容生产、经济系统、用户体验以及实体世界内容等进行大量改造。涉及到虚拟现实、增强现实、人工智能、区块链等多个技术领域的发展，其中，虚拟现实和增强现实为元宇宙提供了实现虚拟场景和真实场景互动的技术基础；人工智能技术则可以提供智能化的虚拟角色、自然语言交互等服务；区块链技术则为元宇宙提供了分布式、去中心化的管理方式，确保元宇宙中数字资产的安全性和不可篡改性。同时，高速网络、大数据、云计算等技术的发展，也为元宇宙的实现提供了必要的基础设施和支持。元宇宙的发展是循序渐进的，是在共享的基础设施、标准及协议的支撑下，由众多工具、平台不断融合、进化而最终成形。基于扩展现实技术提供沉浸式体验，基于数字孪生技术生成现实世界的镜像，基于区块链技术搭建经济体系，将虚拟世界与现实世界在经济系统、社交系统、身份系统上密切融合，并且允许每个用户进行内容生产和世界编辑。但是，传统的元宇宙技术无法很好地处理虚拟世界的音频效果，并且虚拟世界中的环境建模效果特别差，智能化程度不够高，不能使用户有满意的沉浸式元宇宙体验。

技术实现思路

1、基于此，本发明提供一种元宇宙沉浸式体验方法及系统，以解决至少一个上述技术问题为实现上述目的，一种元宇宙沉浸式体验方法，所述方法包括以下步骤：

2、步骤s1：采集物联网平台的非结构化数据，并对非结构化数据进行数据清洗降噪处理，生成真实世界降噪数据，对真实世界降噪数据进行人物特征数据与环境特征数据提取处理，从而生成真实人物特征数据与真实环境特征数据；

3、步骤s2：利用真实人物特征数据进行虚拟世界人物模型构建，从而生成虚拟世界特定人物模型；

4、步骤s3：利用真实环境特征数据进行虚拟世界环境模型构建，从而生成超现实拟态环境模型；

5、步骤s4：对虚拟世界特定人物模型与超现实拟态环境模型进行超现实拟态人物环境交互反馈处理，从而生成超现实拟态人物环境交互反馈信息，将超现实拟态人物环境交互反馈信息反馈给终端。

6、本实施例采集物联网的非结构化数据用于进行虚拟世界的数据建模，通过对非结构化数据进行数据清洗降噪处理使得数据因为冗余数据或噪点数据造成的结果误差降低，使虚拟世界建模的效果更加符合预期效果，并将非结构化数据划分为真实人物特征数据与真实环境特征数据，用于对虚拟人物的建模与虚拟环境的建模，在虚拟人物建模中首先用真实人物特征数据把虚拟人体框架搭建出来，用户可以自定义对虚拟人体框架进行改变，满足用户体验的满意度，并且利用真实人物特征数据中的声音数据作为用户的唯一标识，在元宇宙中不同的用户可以准确地确认自己所对应的虚拟角色，利用真实环境特征数据进行虚拟世界环境模型构建，可以通过真实环境的音频与图像构建出超现实拟态环境模型，使得虚拟世界中的音频与视觉呈现三维效果，满足用户在虚拟世界中体验真实感受，并且将虚拟世界特定人物模型与超现实拟态环境模型进行虚拟世界人物环境交互处理，将用户利用虚拟世界特定人物模型在超现实拟态环境模型中的沉浸式享受进行反馈，得到超现实拟态人物环境交互反馈信息，并将现实拟态人物环境交互反馈信息反馈给终端。因此，元宇宙沉浸式体验方法能够很好的处理虚拟世界的音频效果，并且虚拟世界中的环境建模效果更加真实，智能化程度较高，可以使用户有满意的沉浸式的元宇宙体验。

7、在本说明书的一个实施例中，其中非结构化数据包括真实音频数据以及真实图像数据，步骤s1包括以下步骤：

8、步骤s11：获取音频采集指令集，利用音频采集指令集对物联网平台进行音频数据采集，从而生成真实音频数据；

9、步骤s12：获取图像采集指令集，利用图像采集指令集对物联网平台进行图像数据采集，从而生成真实图像数据；

10、步骤s13：对真实音频数据进行音频数据清洗处理，生成真实清洗音频数据，对真实清洗音频数据进行音频数据降噪处理，将真实清洗音频数据中的音频噪音进行去除，从而生成真实降噪音频数据；

11、步骤s14：对真实图像数据进行图像数据清洗处理，生成真实清洗图像数据，对真实清洗图像数据进行图像数据降噪处理，将真实清洗图像数据中的图像噪点进行去除，从而生成真实降噪图像数据；

12、步骤s15：对真实降噪音频数据与真实降噪图像数据进行真实数据整合处理，从而得到真实世界降噪数据；

13、步骤s16：对真实世界降噪数据进行人物特征数据与环境特征数据提取处理，从而生成真实人物特征数据与真实环境特征数据。

14、本实施例通过获取对物联网平台进行采集的音频采集指令集与图像采集指令集，利用音频采集指令集与图像采集指令集对物联网平台的音频数据与图像数据进行数据采集，为后续处理提供原始数据，对音频数据与图像数据进行数据清洗处理，生成清洗数据，对清洗数据进行数据降噪处理，将清洗数据中的噪点进行去除，从而生成降噪数据，去除真实音频数据中的噪音，提高音频数据的质量，为后续处理提供更准确的音频数据，去除真实图像数据中的噪点，提高图像数据的质量，为后续处理提供更准确的图像数据，将音频数据与图像数据进行整合，获得更丰富的真实数据，并提高数据的准确性和可用性，对真实世界降噪数据中提取出人物特征数据和环境特征数据，为后续的虚拟世界构建提供重要的信息。

15、在本说明书的一个实施例中，步骤s2包括以下步骤：

16、步骤s21：将真实人物特征数据进行人体图像数据与人声数据提取处理，得到真实人体特征数据与真实人声特征数据；

17、步骤s22：利用真实人体特征数据进行虚拟人体框架三维建模，从而生成虚拟人体框架模型；

18、步骤s23：获取自定义脸部特征数据，利用自定义脸部特征数据对虚拟人体框架模型进行虚拟人体脸部自定义构建，从而生成虚拟世界人体数据；

19、步骤s24：通过对真实人声特征数据进行历史音频提取处理，从而生成历史人声音频特征数据；

20、步骤s25：利用历史人声音频特征数据进行音频提取出声纹特征处理，从而生成历史用户声纹特征信息；

21、步骤s26：对历史用户声纹特征信息进行最小代价深度声纹提取，从而构建深度用户声纹信息数据；

22、步骤s27：通过声纹转化标识图像计算公式对深度用户声纹信息数据进行虚拟世界唯一标识图像建立，从而生成用户唯一标识图像数据；

23、步骤s28：利用真实人声特征数据与虚拟世界人体数据进行虚拟世界人物构建，从而生成虚拟世界人物模型；

24、步骤s29：将用户唯一标识图像数据添加至虚拟世界人物模型进行虚拟世界人物唯一标识处理，从而生成虚拟世界特定人物模型。

25、本实施例将真实人物特征数据进行人体图像数据与人声数据提取处理，得到真实人体特征数据与真实人声特征数据，为后续的虚拟人物构建提供了基础数据，利用真实人体特征数据进行虚拟人体框架三维建模，从而生成虚拟人体框架模型，提供了虚拟人物构建的基础框架，获取自定义脸部特征数据，利用自定义脸部特征数据对虚拟人体框架模型进行虚拟人体脸部自定义构建，生成虚拟世界人体数据，使得虚拟人物更加真实可信，并且可以得到用户满意的人脸，提高用户满意度，通过对真实人声特征数据进行历史音频提取处理，得到历史人声音频特征数据，提供了历史人声特征数据的基础，再通过历史人声特征数据进行音频提取出声纹特征处理，从而生成历史用户声纹特征信息，提供了用户身份识别的基础，利用最小代价深度声纹提取处理，能够使得用户身份识别更加准确，通过声纹转化标识图像计算公式对深度用户声纹信息数据进行虚拟世界唯一标识图像建立，生成用户唯一标识图像数据，提供了用户身份识别在虚拟世界中的基础，利用真实人声特征数据与虚拟世界人体数据进行虚拟世界人物构建，生成虚拟世界人物模型，使得虚拟人物更加真实可信，将用户唯一标识图像数据添加至虚拟世界人物模型进行虚拟世界人物唯一标识处理，生成虚拟世界特定人物模型，提供了虚拟世界中用户身份识别的基础。

26、在本说明书的一个实施例中，步骤s27中的声纹转化标识图像计算公式如下所示：

27、

28、其中，ck表示为第k个声纹转化成唯一标识图像指数，n表示为声纹特征信息中的音频数据的最后一帧，αi表示为声纹特征信息中第i帧音频的音频数据，z表示为声纹特征信息中音频数据的平均值，θ表示为声纹特征信息中的历史音频数据的权重信息，ε表示为声纹转化异常指数的调整项。

29、本实施例提供一种声纹转化标识图像计算公式，利用声纹特征信息中音频数据的平均值z对声纹特征信息中第i帧音频的音频数据αi进行音频数据频率进行调整，再利用声纹特征信息中的历史音频数据的权重信息θ对声纹特征信息中第i帧音频的音频数据αi进行标识，得到的将声纹特征信息中音频数据进行频率调整，并将调整后的音频数据进行标记，可以利用这些及数据组成图像块，每一个图像块对应相应的音频数据中的每一帧音频，再利用图像块拼接成唯一标识图像，使得不同的人声可以转化成不同的唯一标识图，并通过声纹转化异常指数的调整项ε进行修正，从而通过声纹特征信息中音频数据的平均值与的历史音频数据的权重信息进行比对计算，更加准确地生成通过声纹得到的唯一标识图像指数。同时，该公式中的权重信息、调整项等参数可以根据实际情况进行调整，从而适应不同的声纹特征信息，提高了算法的灵活性和适用性。

30、在本说明书的一个实施例中，步骤s3包括以下步骤：

31、步骤s31：将真实环境特征数据进行音频数据与图像数据提取处理，得到真实环境音频特征数据与真实环境图像特征数据；

32、步骤s32：对真实环境音频特征数据进行音频调频存储处理，从而生成真实音频调频文件；

33、步骤s33：利用音频模拟三维效果计算公式对真实音频调频文件进行虚拟世界三维环绕音效构建，从而得到虚拟世界环绕音频；

34、步骤s34：利用真实环境图像特征数据进行虚拟环境框架三维建模，从而生成虚拟世界环境框架模型；

35、步骤s35：对真实环境图像特征数据进行图像颜色特征提取，得到环境图像色彩特征数据；

36、步骤s36：利用环境图像色彩特征数据对虚拟环境框架模型进行虚拟环境颜色渲染处理，从而生成虚拟世界环境渲染框架模型；

37、步骤s37：将虚拟世界环绕音频与虚拟世界环境渲染框架模型进行音频模型与环境模型交互式结合处理，从而生成虚拟世界环境模型；

38、步骤s38：获取用户自定义场景数据，通过用户自定义场景数据对虚拟世界环境模型进行虚拟世界场景切换处理，从而生成超现实拟态环境模型。

39、本实施例将真实环境特征数据进行音频数据与图像数据提取处理，获取真实环境的音频和图像信息，将音频数据与图像数据分离后可用针对这些数据的方法进行处理，对真实环境音频特征数据进行音频调频存储处理，生成真实音频调频文件，为后续的虚拟世界音效模拟提供基础数据，利用音频模拟三维效果计算公式对真实音频调频文件进行虚拟世界三维环绕音效构建，提高用户的沉浸感和真实感，使得用户可以更加自然地感受到虚拟环境中的音效，利用真实环境图像特征数据进行虚拟环境框架三维建模，实现对真实环境的真实还原，为后续的虚拟世界场景切换提供基础数据，对真实环境图像特征数据进行图像颜色特征提取，并利用环境图像色彩特征数据对虚拟环境框架模型进行虚拟环境颜色渲染处理，实现对真实环境的色彩还原，增强用户在虚拟环境中的真实感受，利用虚拟世界环绕音频与虚拟世界环境渲染框架模型进行音频模型与环境模型交互式结合处理，实现音频和环境的无缝融合，提高用户的沉浸感和真实感，获取用户自定义场景数据，并通过用户自定义场景数据对虚拟世界环境模型进行虚拟世界场景切换处理，可以实现用户自主选择和控制虚拟环境中的场景，提高用户的参与度和交互体验。

40、在本说明书的一个实施例中，步骤s32包括以下步骤：

41、对真实环境音频特征数据进行音频划分处理，得到环境低频音频信号与环境高频音频信号；

42、对环境音频高频信号进行高频音频调幅处理，从而得到音频载波信号；

43、利用音频载波信号与环境低频音频信号进行音频信号相乘，得到初始环境调频音频信号；

44、对初始环境音频调频信号进行音频频率倍增处理，得到标准环境音频调频信号；

45、将标准环境音频调频信号进行音频信号数据存储，得到真实音频调频文件。

46、本实施例先将真实环境音频特征数据进行音频划分，得到环境低频音频信号与环境高频音频信号，可以具体对环境高频音频信号进行高频音频调幅处理，得到音频载波信号，将音频载波信号与环境低频音频信号相乘可以产生初始环境调频音频信号。这一步骤可以保留环境的低频声音，并将其与高频信号进行合成，从而产生更加真实的环境调频音频信号，通过对初始环境音频调频信号进行频率倍增处理，可以使得音频信号更加清晰明亮，并且更加适合在虚拟环境中使用，最后，将处理后的标准环境音频调频信号存储为音频文件，以便在后续步骤中使用。

47、在本说明书的一个实施例中，步骤s36包括以下步骤：

48、预设虚拟世界环境框架建模标准；

49、利用环境图像色彩特征数据对虚拟环境框架模型进行虚拟环境颜色渲染处理，得到初步虚拟世界环境渲染框架模型；

50、根据虚拟世界环境框架建模标准对初步虚拟世界环境渲染框架模型进行环境模型比对处理，从而得到虚拟世界环境渲染框架模型或不达标虚拟世界环境渲染框架模型；

51、将不达标虚拟世界环境渲染框架模型进行模型删除，并返回步骤s34。

52、本实施例首先预设用于衡量初步虚拟世界环境渲染框架模型是否标准的虚拟世界环境框架建模标准，这可以帮助确保虚拟环境的质量与真实环境无任何区别。然后，利用环境图像色彩特征数据对虚拟环境框架模型进行虚拟环境颜色渲染处理，这可以使虚拟环境更加真实和逼真。接着，根据虚拟世界环境框架建模标准对初步虚拟世界环境渲染框架模型进行环境模型比对处理，以确保虚拟环境与真实环境的一致性和准确性。如果虚拟世界环境渲染框架模型符合预设标准，就可以得到一个高质量的虚拟世界环境渲染框架模型；否则，就需要将不达标的虚拟世界环境渲染框架模型进行删除并返回步骤s34，以重新生成一个符合标准的虚拟世界环境渲染框架模型，可以帮助确保虚拟环境的质量和真实性，从而提高用户的体验和使用效果。

53、在本说明书的一个实施例中，步骤s33中的音频模拟三维效果计算公式如下所示：

54、

55、其中，tn表示为第n个三维音频转化率指数，m表示为真实环境音频特征数据的最后一帧音频数据，bj表示为音频载波信号中的第j帧音频数据，d表示为音频载波信号的权重信息，p表示为真实环境音频特征数据的历史音频数据权重信息，u表示为真实环境音频特征数据的振幅数据权重信息，cj表示为低频音频信号中的第j帧音频数据，ω表示为三维音频转化率异常指数的调整项。

56、本实施例提供一种音频模拟三维效果计算公式，该公式充分考虑音频载波信号中的第j帧音频数据bj，音频载波信号的权重信息d，真实环境音频特征数据的历史音频数据权重信息p，真实环境音频特征数据的振幅数据权重信息u、低频音频信号中的第j帧音频数据cj以及为三维音频转化率异常指数的调整项ω相互之间的作用关系，以形成函数关系实现通过音频载波信号之间的数据与低频音频信号之间的数据进行计算，得到一个调制后的信号，其频率随着音频信号的幅度变化而变化，在调制后，将信号的频率倍增，以扩大音频信号的频谱宽度，再通过计算将普通收集到的音频数据转化为三维音频数据，再通过真实环境音频特征数据的历史音频数据权重信息进行改进，使得音频模拟三维音频效果更加真实，并通过三维音频转化率异常指数的调整项ω进行修正，提高了音频三维效果的准确性与可靠性。同时，该公式中的权重信息、调整项等参数可以根据实际情况进行调整，从而适应不同的音频载波信号与真实环境音频特征数据，提高了算法的灵活性和适用性

57、在本说明书的一个实施例中，步骤s4包括以下步骤：

58、步骤s41：利用虚拟世界特定人物模型与超现实拟态环境模型进行超现实拟态人物环境交互处理，从而得到超现实拟态世界模型；

59、步骤s42：获取操控拟态世界模型指令；

60、步骤s43：利用操控拟态世界模型指令对超现实拟态世界模型进行超现实拟态世界操控处理，得到超现实拟态人物环境交互反馈信息，将超现实拟态人物环境交互反馈信息反馈给终端。

61、本实施例利用虚拟世界特定人物模型与超现实拟态环境模型进行超现实拟态人物环境交互处理，能够创建具有更加丰富的虚拟场景和交互体验的超现实拟态世界模型，获取操控拟态世界模型指令可以使用户更加自由地与虚拟世界进行交互，并且提供了更加灵活的控制方式，利用操控拟态世界模型指令对超现实拟态世界模型进行超现实拟态世界操控处理，可以实现更加自由的场景控制和交互体验，得到超现实拟态人物环境交互反馈信息可以提供实时的用户反馈，增强了用户体验，帮助用户更好地理解和操作虚拟世界场景。

62、在本说明书的一个实施例中一种元宇宙沉浸式体验系统，包括：

63、至少一个处理器；以及，

64、与所述至少一个处理器通信连接的存储器；其中，

65、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上任一项所述的元宇宙沉浸式体验方法。

66、本实施例通过一种元宇宙沉浸式体验系统，该系统能够实现本发明所述任意一种元宇宙沉浸式体验方法，用于联合各个设备之间的操作与数据传输的媒介，通过对物联网设备的数据采集，并将数据进行数据清洗降噪处理以及数据建模得到虚拟世界特定人物模型与超现实拟态环境模型，并且将数据建模得到虚拟世界特定人物模型与超现实拟态环境模型进行交互得到的反馈信息反馈给终端，以完成元宇宙沉浸式体验方法，系统内部结构互相协作，从而完善元宇宙沉浸式体验方法。

67、本技术实施例中，通过收集真实的环境与人物数据建立一个虚拟世界，在建模虚拟的人物中，用户可以对自己虚拟角色的样貌进行任意更改，并且利用真实的人声作为虚拟角色的唯一标识，可以提高用户的满意度并且在虚拟世界中的人物也有标识性，在通过真实的环境信息建造虚拟的环境信息，通过收集的真实的音频数据进行虚拟世界三维音频转换，使用户在虚拟世界中听到的声音跟现实一样，如用户想听音乐会可直接在虚拟世界享受，在对虚拟世界的环境框架进行建模，将建模失败的环境框架重新进行建模，使虚拟世界具备真实性，用户可在虚拟世界沉浸式享受，并反馈在虚拟世界中的体验信息。因此，元宇宙沉浸式体验方法能够很好的处理虚拟世界的音频效果，并且虚拟世界中的环境建模效果更加真实，智能化程度较高，可以使用户有满意的沉浸式的元宇宙体验。