一种基于区块链技术的元宇宙体验交互系统及方法与流程

本发明涉及虚拟现实，尤其涉及一种基于区块链技术的元宇宙体验交互系统以及一种基于区块链技术的元宇宙体验交互方法。

背景技术：

1、随着数字技术的快速发展，元宇宙成为了人们对虚拟世界的新期望。然而，传统的用户界面通常受限于屏幕的尺寸和交互方式，只能将界面中不同的元素，通过最优信息组合与层级堆叠，来承载用户与计算机之间的交流，如同翻译一样让双方彼此理解。

2、但这样固定行为路径的信息结构，对于用户来说需要适应和学习，丧失了一部分自主能动性，同时也限制了用户与系统之间的互动体验。因此，需要一种新型的交互系统，为用户提供更丰富、个性化的元宇宙体验。

技术实现思路

1、针对上述问题，本发明提供了一种基于区块链技术的元宇宙体验交互系统及方法，通过显示交互模块作为对用户数据的实时采集与交互内容的显示接口，所生成的数字虚拟人根据用户的交互动作在所创建的虚拟场景的数字街区中实现同步的交互，为用户提供个性化、安全的数字街区体验，同时能够在数字街区中实现社交互动和数字商品展销交易，此外通过区块链技术为体验交互过程提供高度安全性和可信度的体验基础。

2、为实现上述目的，本发明提供了一种基于区块链技术的元宇宙体验交互系统，包括：显示交互模块、虚拟人模块、交互仿真模块、创作互动平台和区块链模块；

3、所述显示交互模块为触摸显示屏，用于显示交互内容，同时接收触控指令，还用于采集用户人脸数据、姿态动作数据、手势交互数据和语音交互数据；

4、所述虚拟人模块用于根据所述用户人脸数据和所述姿态动作数据，生成与用户表情和动作保持同步动态的数字虚拟人；

5、所述交互仿真模块用于预先创建虚拟场景模型作为元宇宙的数字街区，并与所述数字虚拟人同步实时显示于所述显示交互模块上，还用于根据所述手势交互数据和所述语音交互数据，在所述数字街区中实现同步的交互动作；

6、所述创作互动平台用于为用户提供ai语音助手，以根据所述语音交互数据为用户提供个性化服务，用于根据用户的交互动作为用户提供优化的状态空间和动作空间，并为用户提供用户之间的社交互动功能，为用户提供所述数字街区中的商品展销交易功能；

7、所述区块链模块用于将所述显示交互模块、所述虚拟人模块、所述交互仿真模块和所述创作互动平台所产生的数据记录于区块链上。

8、在上述技术方案中，优选地，所述虚拟人模块包括智能感知子模块、交互控制子模块、数据处理子模块和人物合成子模块；

9、所述智能感知子模块用于根据数字人极速生成技术生成虚拟数字人模型；

10、所述交互控制子模块用于根据用户人脸数据识别得到用户面部表情，并映射生成对应的面部动作序列数据，根据所述姿态动作数据映射生成姿态动作序列数据；

11、所述数据处理子模块用于根据所述面部动作序列数据和所述姿态动作序列数据，通过图形渲染技术生成虚拟人物渲染数据，并根据所述触控指令、所述手势交互数据和所述语音交互数据，生成虚拟人物交互数据；

12、所述人物合成子模块用于根据所述虚拟人物渲染数据和所述虚拟人物交互数据，结合所述虚拟数字人模型，合成相应的虚拟数字人物。

13、在上述技术方案中，优选地，所述交互仿真模块包括渲染技术子模块、智能语音子模块和动作捕捉子模块；

14、所述渲染技术子模块用于创建虚拟几何模型作为虚拟世界的元素，并利用渲染技术对不同元素进行渲染得到虚拟场景模型，将所述虚拟场景模型进行整体布局构建得到元宇宙的数字街区，使得所述数字虚拟人能够于所述数字街区中进行交互；

15、所述智能语音子模块根据所述语音交互数据进行语音识别及语义理解和意图识别，并能够根据系统生成的文本转换为语音进行输出；

16、所述动作捕捉子模块采用vnect姿态估计算法对所述姿态动作数据和所述手势交互数据进行动作捕捉，识别得到人体全身骨架姿态数据并实时驱动至所述数字虚拟人，实现所述数字虚拟人在所述数字街区中的同步动作。

17、在上述技术方案中，优选地，所述创作互动平台包括ai助手子模块、智能推荐子模块、社交通讯子模块和虚拟商店子模块；

18、所述ai助手子模块基于自我监督端到端的神经网络模型，根据所述语音交互数据为用户提供个性化的指引和导航服务；

19、所述智能推荐子模块根据所述数字虚拟人在所述数字街区中的行为数据建立当前用户的行为模式，并根据所述行为模式为用户定义满足需求和偏好的状态空间和动作空间，其中，状态空间用于描述用户在元宇宙中的虚拟环境、社交关系和个人特征，动作空间用于表示采取的特定推荐虚拟场景、商品或社交互动方式；

20、所述社交通讯子模块用于提供所述数字街区中不同数字虚拟人之间的社交互动、沟通和合作功能，并基于websocket实时通信协议实现即时通讯；

21、所述虚拟商店子模块用于构建虚拟商店，并在所述虚拟商店中展示各类虚拟商品，并提供对应虚拟商品的交易方式，在用户基于所述数字虚拟人进行数字货币支付后进行所述虚拟商品的所有权转移。

22、本发明还提出一种基于区块链技术的元宇宙体验交互方法，应用于如上述技术方案中任一项公开的基于区块链技术的元宇宙体验交互系统，包括：

23、采集触摸显示屏的触控指令，采集用户人脸数据、姿态动作数据、手势交互数据和语音交互数据；

24、根据所述用户人脸数据和所述姿态动作数据，生成与用户表情和动作保持同步动态的数字虚拟人；

25、在所述触摸显示屏上同步显示元宇宙的数字街区和所述数字虚拟人，并根据所述手势交互数据和所述语音交互数据，实现所述数字虚拟人在所述数字街区中的同步交互动作；

26、根据所述语音交互数据为用户提供个性化ai语音助手服务，根据用户的交互动作为用户提供优化的状态空间和动作空间，为用户提供用户之间的社交互动功能，为用户提供所述数字街区中的商品展销交易功能；

27、将元宇宙体验交互过程中所产生的数据记录于区块链上。

28、在上述技术方案中，优选地，所述根据所述用户人脸数据和所述姿态动作数据，生成与用户表情和动作保持同步动态的数字虚拟人的具体过程包括：

29、根据数字人极速生成技术生成虚拟数字人模型；

30、根据用户人脸数据识别得到用户面部表情，并映射生成对应的面部动作序列数据，根据所述姿态动作数据映射生成姿态动作序列数据；

31、根据所述面部动作序列数据和所述姿态动作序列数据，通过图形渲染技术生成虚拟人物渲染数据，并根据所述触控指令、所述手势交互数据和所述语音交互数据，生成虚拟人物交互数据；

32、根据所述虚拟人物渲染数据和所述虚拟人物交互数据，结合所述虚拟数字人模型，合成相应的虚拟数字人物。

33、在上述技术方案中，优选地，所述在所述触摸显示屏上同步显示元宇宙的数字街区和所述数字虚拟人，并根据所述手势交互数据和所述语音交互数据，实现所述数字虚拟人在所述数字街区中的同步交互动作，具体过程包括：

34、创建虚拟几何模型作为虚拟世界的元素，并利用渲染技术对不同元素进行渲染得到虚拟场景模型，将所述虚拟场景模型进行整体布局构建得到元宇宙的数字街区，使得所述数字虚拟人能够于所述数字街区中进行交互；

35、根据所述语音交互数据进行语音识别及语义理解和意图识别，并能够根据系统生成的文本转换为语音进行输出；

36、采用vnect姿态估计算法对所述姿态动作数据和所述手势交互数据进行动作捕捉，识别得到人体全身骨架姿态数据并实时驱动至所述数字虚拟人，实现所述数字虚拟人在所述数字街区中的同步动作。

37、在上述技术方案中，优选地，所述采用vnect姿态估计算法对所述姿态动作数据和所述手势交互数据进行动作捕捉，识别得到人体全身骨架姿态数据的具体过程包括：

38、基于计算机视觉，对所述姿态动作数据和所述手势交互数据中进行图像识别，提取人体边界框；

39、对所述人体边界框内的图像进行cnn回归，得到人体关键点热力图；

40、根据所述人体关键点热力图进行时域滤波，得到人体关键点坐标；

41、根据所述人体关键点坐标进行人体骨骼绑定，得到三维姿态估计图像；

42、采用所述vnect姿态估计算法对连续的所述姿态动作数据和所述手势交互数据进行识别，得到连贯的人体全身骨架姿态数据。

43、在上述技术方案中，优选地，根据所述语音交互数据为用户提供个性化ai语音助手服务，根据用户的交互动作为用户提供优化的状态空间和动作空间，为用户提供用户之间的社交互动功能，为用户提供所述数字街区中的商品展销交易功能，具体过程包括：

44、基于自我监督端到端的神经网络模型，根据所述语音交互数据为用户提供个性化的指引和导航服务；

45、根据所述数字虚拟人在所述数字街区中的行为数据建立当前用户的行为模式，并根据所述行为模式为用户定义满足需求和偏好的状态空间和动作空间，其中，状态空间用于描述用户在元宇宙中的虚拟环境、社交关系和个人特征，动作空间用于表示采取的特定推荐虚拟场景、商品或社交互动方式；

46、根据触控指令以及交互动作，实现所述数字街区中不同数字虚拟人之间的社交互动、沟通和合作，并基于websocket实时通信协议实现即时通讯；

47、构建虚拟商店，并在所述虚拟商店中展示各类虚拟商品，并提供对应虚拟商品的交易方式，在用户基于所述数字虚拟人进行数字货币支付后进行所述虚拟商品的所有权转移。

48、在上述技术方案中，优选地，所述创建虚拟几何模型作为虚拟世界的元素，并利用渲染技术对不同元素进行渲染得到虚拟场景模型，将所述虚拟场景模型进行整体布局构建得到元宇宙的数字街区，具体过程包括：

49、创建元宇宙的几何场景，同时导入现有模型资源，对模型进行几何体信息解析、材质信息解析、纹理贴图解析和动画效果解析，得到元宇宙中的元素；

50、将建模完成的元素放置于所述几何场景中，设置各元素的位置、旋转和缩放属性，构建元宇宙的整体布局；

51、为元宇宙中的元素设置材质和纹理，创建渲染器进行渲染，实现所需的外观效果，得到所述数字街区。

52、与现有技术相比，本发明的有益效果为：通过显示交互模块作为对用户数据的实时采集与交互内容的显示接口，所生成的数字虚拟人根据用户的交互动作在所创建的虚拟场景的数字街区中实现同步的交互，为用户提供了个性化、安全的数字街区体验，同时能够在数字街区中实现社交互动和数字商品展销交易，此外通过区块链技术为体验交互过程提供了高度安全性和可信度的体验基础。