一种基于位姿引导的图像生成方法、装置、介质及设备与流程

本说明书涉及计算机，尤其涉及一种基于位姿引导的图像生成方法、装置、介质及设备。

背景技术：

1、三维人体网格恢复是计算机视觉和图形学领域的一项重要研究方向。随着3d扫描技术、深度学习和计算机图形学等技术的不断发展，三维人体网格恢复被广泛的应用到诸如虚拟现实、医学诊断、人机交互、动画制作等领域。

2、传统的三维人体网格恢复方法主要是基于多视角图像的重建，即在不同角度拍摄的多幅图像中提取人体的特征点，然后根据这些特征点进行三维人体网格恢复，这种方法需要耗费大量的计算资源，对图像传感器的位置和角度要求较为严格，并且存在有大量的噪声，导致生成的三维图像的精度及准确性较低，难以直接应用于后续业务。

3、因此，如何准确的生成用户的三维人体图像，提高图像精度，是一个亟待解决的问题。

技术实现思路

1、本说明书提供一种基于位姿引导的图像生成方法、装置、介质及设备，以部分的解决现有技术存在的上述问题。

2、本说明书采用下述技术方案：

3、接收用户的图像生成请求，并根据所述图像生成请求，获取所述用户的人体点云数据；

4、将所述人体点云数据输入预设的图像生成模型，以通过所述图像生成模型，确定所述人体点云数据在三个相互垂直的投影面上的各平面特征；

5、将所述各平面特征进行融合，得到融合特征，以及，将所述各平面特征中指定投影面对应的平面特征作为目标平面特征，根据所述目标平面特征，确定所述用户各关节对应的位姿特征；

6、根据所述融合特征，构建所述用户的初始三维图像；

7、将所述初始三维图像以及所述位姿特征输入预设的扩散模型，以通过所述扩散模型，对所述初始三维图像添加噪声，得到加噪后图像；

8、基于所述位姿特征，对所述加噪后图像进行还原，得到目标三维图像。

9、可选地，将所述各平面特征进行融合，得到融合特征，具体包括：

10、针对每个平面特征，确定该平面特征对应的平面序列；

11、根据该平面序列中的每个元素以及每个元素对应的注意力权重，对所述平面特征进行更新，得到更新后特征；

12、根据每个投影面对应的更新后特征，确定所述融合特征。

13、可选地，根据所述目标平面特征，确定所述用户各关节对应的位姿特征，具体包括：

14、根据所述目标平面特征，确定所述各关节对应的初始位姿特征；

15、针对每个关节，根据该关节对应初始位姿特征，确定该关节对应的欧拉角；

16、根据该关节对应的欧拉角，确定该关节对应的热力图关节特征；

17、根据每个关节对应热力图关节特征，确定所述各关节对应的位姿特征。

18、可选地，根据每个关节对应的热力图关节特征，确定所述各关节对应的位姿特征，具体包括：

19、针对每个关节，根据该关节与其他各关节之间的关联程度，确定其他各关节相对于该关节的权重；

20、根据所述权重以及其他各关节对应热力图关节特征，确定该关节对应的位姿特征。

21、可选地，基于所述位姿特征，对所述加噪后图像进行还原，得到目标三维图像，具体包括：

22、根据所述位姿特征，预测对所述初始三维图像添加的噪声信息；

23、根据所述噪声信息，对所述加噪后图像进行重构，得到所述目标三维图像。

24、可选地，所述投影面包括：水平投影面、正立投影面以及侧立投影面。

25、可选地，将所述各平面特征中指定投影面对应的平面特征作为目标平面特征，具体包括：

26、在所述各平面特征中确定出所述正立投影面所对应的平面特征，作为所述目标平面特征。

27、本说明书提供了一种基于位姿引导的图像生成装置，包括：

28、获取模块，用于接收针对用户的图像生成请求，并根据所述图像生成请求，获取所述用户的人体点云数据；

29、投影模块，用于将所述人体点云数据输入预设的图像生成模型，以通过所述图像生成模型，确定所述人体点云数据在三个相互垂直的投影面上的各平面特征；

30、融合模块，用于将所述各平面特征进行融合，得到融合特征，以及，在所述各平面特征中确定出指定投影面的平面特征，作为目标平面特征，根据所述目标平面特征，确定所述用户各关节对应的位姿特征；

31、构建模块，用于根据所述融合特征，构建所述用户的初始三维图像；

32、加噪模块，用于将所述初始三维图像以及所述位姿特征输入预设的扩散模型，以通过所述扩散模型，对所述初始三维图像添加噪声，得到加噪后图像；

33、还原模块，用于基于所述位姿特征，对所述加噪后图像进行还原，得到目标三维图像。

34、本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于位姿引导的图像生成方法。

35、本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于位姿引导的图像生成方法。

36、本说明书采用的上述至少一个技术方案能够达到以下有益效果：

37、在本说明书提供的基于位姿引导的图像生成方法中，获取用户的人体点云数据；将人体点云数据输入预设的图像生成模型，确定人体点云数据在三个相互垂直的投影面上的各平面特征；在各平面特征中确定出指定投影面的平面特征，作为目标平面特征；将各平面特征进行融合，得到融合特征，以及，根据目标平面特征，确定用户各关节对应的位姿特征；根据融合特征，构建用户的初始三维图像；将初始三维图像以及位姿特征输入预设的扩散模型，对初始三维图像添加噪声，得到加噪后图像；基于位姿特征，对加噪后图像进行还原，得到目标三维图像。

38、从上述方法可以看出，本方案可以根据人体点云数据提取各投影面的平面特征，进而根据融合平面特征确定出初始三维图像，并不用考虑图像传感器的位置和角度，并且，在确定出平面特征的同时，还会基于目标平面的特征确定出位姿特征，当根据融合平面特征确定出精准度较低的初始三维图像后，可以通过扩散模型对初始三维图像进行加噪，并在位姿特征的引导下最加噪后的图像进行还原，从而得到包含有准确位姿信息和人体机构信息的目标三维图像，充分保证了图像的精度及准确性。

技术特征：

1.一种基于位姿引导的图像生成方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，将所述各平面特征进行融合，得到融合特征，具体包括：

3.如权利要求1所述的方法，其特征在于，根据所述目标平面特征，确定所述用户各关节对应的位姿特征，具体包括：

4.如权利要求3所述的方法，其特征在于，根据每个关节对应的热力图关节特征，确定所述各关节对应的位姿特征，具体包括：

5.如权利要求1所述的方法，其特征在于，基于所述位姿特征，对所述加噪后图像进行还原，得到目标三维图像，具体包括：

6.如权利要求1所述的方法，其特征在于，所述投影面包括：水平投影面、正立投影面以及侧立投影面。

7.如权利要求6所述的方法，其特征在于，将所述各平面特征中指定投影面对应的平面特征作为目标平面特征，具体包括：

8.一种基于位姿引导的图像生成装置，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1~7任一项所述的方法。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1~7任一项所述的方法。

技术总结
本说明书公开了一种基于位姿引导的图像生成方法、装置、介质及设备。所述方法包括：获取用户的人体点云数据；将人体点云数据输入预设的图像生成模型，确定人体点云数据在三个相互垂直的投影面上的各平面特征；将各平面特征进行融合，得到融合特征，以及，将各平面特征中的指定投影面对应的平面特征作为目标平面特征，根据目标平面特征，确定用户各关节对应的位姿特征；根据融合特征，构建用户的初始三维图像；将初始三维图像以及位姿特征输入预设的扩散模型，对初始三维图像添加噪声，得到加噪后图像；基于位姿特征，对加噪后图像进行还原，得到目标三维图像。本方案提高了生成的人体图像的精度和准确性。

技术研发人员：王宏升,林峰
受保护的技术使用者：之江实验室
技术研发日：
技术公布日：2024/3/24