一种数字人渲染方法、系统、装置、电子设备及存储介质与流程

本申请涉及数据处理，特别是涉及一种数字人渲染方法、系统、装置、电子设备及存储介质。

背景技术：

1、数字人(digital human)技术作为近年来的研究热点，经过不断发展已经日趋成熟，逐渐在相关服务行业得到了一定的推广应用。例如，基于数字人技术可以构建虚拟助理、虚拟客服、虚拟主播等虚拟形象，这些虚拟形象可以被称为数字人。数字人可以针对用户的交互作出各种响应，如，用户可以提出问题，数字人针对用户提出的问题进行回复等。

2、在向用户呈现数字人时，一般由服务器进行数字人渲染，得到数字人的视频流，然后向客户端推送视频流，客户端通过播放视频流的方式将数字人呈现给用户。

3、当前技术中，服务器需要针对数字人逐帧实时进行渲染，而渲染数字人的视频帧往往需要较多的计算资源，对计算资源的需求较高，尤其是用户数量不断增加的情况下，计算资源需求高这一情况更加严重。

技术实现思路

1、本申请实施例的目的在于提供一种数字人渲染方法、系统、装置、电子设备及存储介质，以降低数字人渲染过程中对计算资源的需求。具体技术方案如下：

2、第一方面，本申请实施例提供了一种数字人渲染方法，所述方法包括：

3、在基于数字人的预先渲染的第一视频片段向客户端推送视频流的过程中，响应于数字人的待展现内容变化，从数字人的预先渲染的视频片段中确定第二视频片段；

4、从所述第一视频片段中确定过渡起始帧，并从所述第二视频片段中确定过渡结束帧；

5、获得基于所述过渡起始帧和过渡结束帧分别展现数字人的体态数据渲染得到的过渡视频片段；

6、向所述客户端推送视频流至所述过渡起始帧后，依次基于所述过渡视频片段和第二视频片段向所述客户端推送视频流。

7、第二方面，本申请实施例提供了一种数字人渲染系统，所述系统包括服务器和客户端，其中，

8、所述服务器，用于在基于数字人的预先渲染的第一视频片段向客户端推送视频流的过程中，响应于数字人的待展现内容变化，从数字人的预先渲染的视频片段中确定第二视频片段；从所述第一视频片段中确定过渡起始帧，并从所述第二视频片段中确定过渡结束帧；获得基于所述过渡起始帧和过渡结束帧分别展现数字人的体态数据渲染得到的过渡视频片段；向所述客户端推送视频流至所述过渡起始帧后，依次基于所述过渡视频片段和第二视频片段向所述客户端推送视频流；

9、所述客户端，用于接收所述服务器推送的视频流；播放所接收到的视频流。

10、第三方面，本申请实施例提供了一种数字人渲染装置，所述装置包括：

11、视频片段确定模块，用于在基于数字人的预先渲染的第一视频片段向客户端推送视频流的过程中，响应于数字人的待展现内容变化，从数字人的预先渲染的视频片段中确定第二视频片段；

12、过渡起止帧确定模块，用于从所述第一视频片段中确定过渡起始帧，并从所述第二视频片段中确定过渡结束帧；

13、过渡视频片段获得模块，用于获得基于所述过渡起始帧和过渡结束帧分别展现数字人的体态数据渲染得到的过渡视频片段；

14、视频流推送模块，用于向所述客户端推送视频流至所述过渡起始帧后，依次基于所述过渡视频片段和第二视频片段向所述客户端推送视频流。

15、第四方面，本申请实施例提供了一种电子设备，包括：

16、存储器，用于存放计算机程序；

17、处理器，用于执行存储器上所存放的程序时，实现第一方面所述的方法。

18、第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法。

19、第六方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。

20、由以上可见，应用本申请实施例提供的方案进行数字人渲染时，在基于数字人的预先渲染的第一视频片段向客户端推送视频流的过程中，响应于数字人的待展现内容变化，从数字人的预先渲染的视频片段中确定第二视频片段，从第一视频片段中确定过渡起始帧，并从第二视频片段中确定过渡结束帧，获得基于过渡起始帧和过渡结束帧分别展现数字人的体态数据渲染得到的过渡视频片段，向客户端推送视频流至所述过渡起始帧后，依次基于过渡视频片段和第二视频片段向客户端推送视频流。

21、其中，第一视频片段和第二视频片段均为预先渲染得到的视频片段，仅过渡视频片段是实时渲染得到的视频片段。那么，服务器基于第一视频片段、过渡视频片段以及第二视频片段向客户端推送视频流的过程中，仅有过渡视频片段的视频流需要实时渲染。而现有技术中，服务器需要针对数字人逐帧实时进行渲染得到视频流并向客户端推送，也就是，服务器向客户端推送视频流的过程中，全部视频片段的视频流均需要实时渲染。可见，相较于现有技术，本申请实施例提供的方案无需逐帧实时渲染数字人的视频帧，减少了渲染数字人的视频帧所需消耗的计算资源，也即降低了数字人渲染过程中对计算资源的需求。

22、另外，服务器向客户端推送第一过渡视频片段的视频流至过渡起始帧后，先基于过渡视频片段向客户端推送视频流，然后基于第二视频片段向客户端推送视频流。那么，客户端基于接收到的视频流进行视频播放时，其先播放第一视频片段至过渡起始帧，再播放过渡视频片段，然后播放第二视频片段。这样，客户端在第一视频片段和第二视频片段之间先播放了过渡视频片段，实现了第一视频片段和第二视频片段之间的自然过渡，增强了用户的沉浸感和体验。

23、再者，生成过渡视频片段时，先基于过渡起始帧和过渡结束帧分别展现数字人的体态数据获得了过渡视频帧待展现数字人的体态数据，再基于所生成体态数据，渲染过渡视频帧，得到过渡视频片段。可见，基于过渡视频帧的体态数据渲染过渡视频帧，得到的过渡视频片段与过渡起始帧和过渡结束帧分别展现数字人的体态数据相关联，由于体态数据可以精确的描述数字人的体态，因此，基于体态数据生成的过渡视频片段时可以有效捕捉数字人在不同状态下的微小体态变化，避免了直接对过渡起始帧和过渡结束帧进行像素插值得到过渡视频片段时丧失过多细节，从而能够得到更加平滑、流畅的过渡视频片段。

24、当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

技术特征：

1.一种数字人渲染方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获得基于所述过渡起始帧和过渡结束帧分别展现数字人的体态数据渲染得到的过渡视频片段，包括：

3.根据权利要求2所述的方法，其特征在于，所述体态数据包括：面部数据和骨骼数据，所述过渡起始帧所展现数字人的体态数据中包括第一面部数据和第一骨骼数据，所述过渡结束帧所展现数字人的体态数据中包括第二面部数据和第二骨骼数据；

4.根据权利要求3所述的方法，其特征在于，所述第一过渡起止时刻包括：第一起始时刻和第一终止时刻；所述基于所述第一差异获得面部部位的第一过渡起止时刻和第一过渡时长，包括：

5.根据权利要求3所述的方法，其特征在于，所述基于所述第一面部数据、第二面部数据和第一过渡帧数，生成过渡视频帧待展现数字人的面部过渡数据，包括：

6.根据权利要求3所述的方法，其特征在于，所述第二过渡起止时刻包括：第二起始时刻和第二终止时刻；所述基于所述第二差异获得骨骼部位的第二过渡起止时刻和第二过渡时长，包括：

7.根据权利要求3所述的方法，其特征在于，所述基于所述第一骨骼数据、第二骨骼数据和第二过渡帧数，生成过渡视频帧待展现数字人的骨骼过渡数据，包括：

8.根据权利要求3-7中任一项所述的方法，其特征在于，所述基于所生成体态数据，渲染过渡视频帧，得到过渡视频片段，包括：

9.根据权利要求1-7中任一项所述的方法，其特征在于，通过以下方式中一种触发所述数字人的待展现内容变化：

10.根据权利要求1-7中任一项所述的方法，其特征在于，所述从所述第一视频片段中确定过渡起始帧，并从所述第二视频片段中确定过渡结束帧，包括：

11.一种数字人渲染系统，其特征在于，所述系统包括服务器和客户端，其中，

12.一种数字人渲染装置，其特征在于，所述装置包括：

13.根据权利要求12所述的装置，其特征在于，

14.一种电子设备，其特征在于，包括：

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-10中任一所述的方法。

技术总结
本申请实施例提供了一种数字人渲染方法、系统、装置、电子设备及存储介质，涉及数据处理技术领域，上述方法包括：在基于数字人的预先渲染的第一视频片段向客户端推送视频流的过程中，响应于数字人的待展现内容变化，从数字人的预先渲染的视频片段中确定第二视频片段；从所述第一视频片段中确定过渡起始帧，并从所述第二视频片段中确定过渡结束帧；获得基于所述过渡起始帧和过渡结束帧分别展现数字人的体态数据渲染得到的过渡视频片段；向所述客户端推送视频流至所述过渡起始帧后，依次基于所述过渡视频片段和第二视频片段向所述客户端推送视频流。应用本申请实施例提供的数字人渲染方法能够降低数字人渲染过程中对计算资源的需求。

技术研发人员：孙文冬
受保护的技术使用者：杭州萤石软件有限公司
技术研发日：
技术公布日：2024/2/1