虚拟角色结构化传输系统及方法与流程

1.本发明涉及动作捕捉技术领域，具体为虚拟角色结构化传输系统及方法。


背景技术：

2.随着“元宇宙”概念的提出，与虚拟活动有关的相关产业开始收到资本青睐，但是行业内部不论是专注于虚拟人技术的业务，或是聚焦于数据传输交互的业务都面临着高成本、跨平台兼容、带宽不足等现实难题。随着活动的迭代，观众对于互动性与沉浸感的要求逐渐提高，多人实时高维互动的需求也日益增加。传统的线上虚拟活动解决方案为演员在动捕棚内进行动作捕捉录制，将获得的动作数据上传至云服务器进行渲染并输出为视频，之后借助节点将视频推送给不同终端的观众。虚拟活动全程还是保持传统活动的模式，只是表演者由人变成了虚拟人。
3.传统的线上虚拟活动解决方案都会借助云服务器进行渲染打包，输出为视频流后传输至节点，再由节点分发给观众。这样做的问题有三：一是动捕数据的格式并不兼容，活动时演员与动捕室高度绑定；二是视频的数据量极大，现阶段的技术水平难以承载多人实时同台的互动；其三是视频流为固定二维内容，因此互动形式多以弹幕留言为主，互动体验有限。


技术实现要素：

4.本发明的目的是克服上述现有技术的缺点，提供一种构建高压缩、高兼容、大并发、低延迟、多终端的多人异地动捕面捕数据同步的虚拟角色结构化传输系统及方法。
5.本发明是通过以下技术方案来实现的：
6.虚拟角色结构化传输系统，包括输出端、传输端和接收端，所述的输出端用于提取角色模型中的动作表情数据，所述的传输端用于压缩和封装动作表情数据并进行远距离传输，所述的接收端用于接收、解压和解析压缩和封装后的动作表情数据并把动作表情数据重新赋值在角色模型上。
7.作为上述方案的改进，所述的输出端包括动捕sdk模块、数据提取模块；所述的动捕sdk模块可将角色模型输出为cs标准骨骼；所述的数据提取模块用于从角色模型中提取动作表情数据。可以实现兼容多格式动捕数据，并且转化为通用格式。
8.面对市面上不同的动捕设备输出格式，本系统可借助现有算法将不同格式动捕数据解码并输出为用于不同客户端传输的通用格式，从而实现多设备多格式兼容。
9.实现设备兼容就意味着可以实现异地动捕，如不同地域的动捕演员可以不受地域限制，只需要准备动捕设备和配套本系统客户端vtp即可以将动捕数据传输至动捕棚。在大型活动时可以大大缩减前期准备成本。
10.作为上述方案的改进，所述的传输端包括数据封装模块、数据压缩模块、数据传输模块；所述的数据封装模块用于将动作表情数据进行protobuf协议封装；所述的数据压缩模块用于把protobuf协议进行数据压缩；所述的数据传输模块用于把压缩后的数据进行无
线远距离传输并连接云分发平台用于云服务传输转发数据。实现高保真高压缩，借助本系统在不影响画面质量的情况下最高实现95％的压缩率。高保真压缩是多人实时和高维互动的前提。
11.作为上述方案的改进，所述的接收端包括数据接收模块、数据解压模块、数据解析模块、数据应用模块；所述的数据接收模块用于网络通讯和接收压缩后的数据；所述的数据解压模块用于对protobuf数据进行解压缩；所述的数据解析模块用于把protobuf协议封装的数据解析为动作表情数据；所述的数据应用模块用于把动作表情数据赋值在角色模型上。传输的动捕骨骼数据可以适应不同模型规格的渲染，也可以实现三维虚拟空间的互动，而不像过去传统视频形式的二维互动。传输动捕骨骼数据的另一好处是可以实现跨终端的适配，pc端、移动端、vr一体机或云渲染等方案都可以供用户选择，可以适配不同的终端性能与需求。
12.作为上述方案的改进，所述的动作表情数据为cs标准骨骼模型中的骨骼动作的位置和旋转，表情部位的blendshape值。
13.虚拟角色结构化传输方法，包括动捕sdk模块、数据提取模块、数据封装模块、数据压缩模块、数据传输模块、云分发平台、数据接收模块、数据解压模块、数据解析模块、数据应用模块；具体步骤如下：
14.s1.动捕sdk模块从动捕设备中获得动捕数据并应用在角色模型上；
15.s2.数据提取模块从指定的角色模型上进行动作表情数据的提取，即各个骨骼位置和旋转，表情各个部位的blendshape数值；
16.s3.数据封装模块把动作表情数据进行protobuf协议封装；
17.s4.数据压缩模块对封装后的protobuf协议进行数据压缩；
18.s5.数据传输模块把s4压缩后的数据传输到云分发平台，由云分发平台进行转发到终端；
19.s6.终端通过数据接收模块接收压缩后的数据并通过数据解压模块进行解压为protobuf协议所封装的数据；
20.s7.数据解析模块把s6解压后的封装数据解析为动作表情数据并通过数据应用模块把各个关键骨骼位置和旋转数据赋值给角色模型，表情各个部位的blendshape数值赋值给对应的部位进行表现还原。
21.与现有技术相比，本发明具有高压缩、高兼容、高保真、大并发、低延迟的优点，传统的传输方案只能实现少数人的“伪三维”效果，其本质形式还是视频直播。本发明采用高保真压缩与多格式适配的技术取得了多人异地实时高维互动的效果，进一步提高了虚拟活动的沉浸感与体验感，真正实现了在“元宇宙”中借助avatar实现全沉浸虚拟三维交互的目的。
附图说明
22.图1为本发明的虚拟角色结构化传输系统原理图。
具体实施方式
23.实施例1
24.如图1所示，虚拟角色结构化传输系统，包括输出端、传输端和接收端，所述的输出端用于提取角色模型中的动作表情数据，所述的传输端用于压缩和封装动作表情数据并进行远距离传输，所述的接收端用于接收、解压和解析压缩和封装后的动作表情数据并把动作表情数据重新赋值在角色模型上。所述的输出端包括动捕sdk模块、数据提取模块；所述的动捕sdk模块可将角色模型输出为cs标准骨骼；所述的数据提取模块用于从角色模型中提取动作表情数据。可以实现兼容多格式动捕数据，并且转化为通用格式。所述的动作表情数据为cs标准骨骼模型中的骨骼动作的位置和旋转，表情部位的blendshape值。所述的传输端包括数据封装模块、数据压缩模块、数据传输模块；所述的数据封装模块用于将动作表情数据进行protobuf协议封装；所述的数据压缩模块用于把protobuf协议进行数据压缩；所述的数据传输模块用于把压缩后的数据进行无线远距离传输并连接云分发平台用于云服务传输转发数据。所述的接收端包括数据接收模块、数据解压模块、数据解析模块、数据应用模块；所述的数据接收模块用于网络通讯和接收压缩后的数据；所述的数据解压模块用于对protobuf数据进行解压缩；所述的数据解析模块用于把protobuf协议封装的数据解析为动作表情数据；所述的数据应用模块用于把动作表情数据赋值在角色模型上。
25.实施例2
26.虚拟角色结构化传输方法，包括动捕sdk模块、数据提取模块、数据封装模块、数据压缩模块、数据传输模块、云分发平台、数据接收模块、数据解压模块、数据解析模块、数据应用模块；具体步骤如下：
27.s1.动捕sdk模块从动捕设备中获得动捕数据并应用在角色模型上；
28.s2.数据提取模块从指定的角色模型上进行动作表情数据的提取，即各个骨骼位置和旋转，表情各个部位的blendshape数值；
29.s3.数据封装模块把动作表情数据进行protobuf协议封装；
30.s4.数据压缩模块对封装后的protobuf协议进行数据压缩；
31.s5.数据传输模块把s4压缩后的数据传输到云分发平台，由云分发平台进行转发到终端；
32.s6.终端通过数据接收模块接收压缩后的数据并通过数据解压模块进行解压为protobuf协议所封装的数据；
33.s7.数据解析模块把s6解压后的封装数据解析为动作表情数据并通过数据应用模块把各个关键骨骼位置和旋转数据赋值给角色模型，表情各个部位的blendshape数值赋值给对应的部位进行表现还原。
34.上列详细说明是针对本发明可行实施例的具体说明，该实施例并非用以限制本发明的专利范围，凡未脱离本发明所为的等效实施或变更，均应包含于本案的专利范围中。