一种用于康复演示的数字人生成方法及装置与流程

本发明涉及计算机，特别是指一种用于康复演示的数字人生成方法及装置。

背景技术：

1、康复演示数字人模型的需求往往与社会对康复和医疗的关注度相关，随着人口老龄化趋势的加剧，对于康复治疗和辅助工具的需求也在增加，这促使了康复演示数字人生成方法的发展。

2、例如公开号：cn113886642a数字人生成方法、装置、设备及介质，通过数字人生成方法包括：从目标图片中提取人物的目标人脸姿态信息；依据所述目标人脸姿态信息和目标音频，确定所述人物的目标嘴巴轮廓线；对所述目标图片进行处理，得到不包含所述人物嘴巴区域的中间图片；依据所述目标嘴巴轮廓线、所述中间图片，生成数字人图片。由此，能够使得生成的数字人的姿态更加自然，提升用户体验。

3、但是现有技术无法实现康复演示数字人的生成，因此需要构建康复演示数字化人物模型，进行康复演示。

技术实现思路

1、为了解决现有技术存在的无法生成康复演示数字人的技术问题，本发明实施例提供了一种用于康复演示的数字人生成方法及装置。所述技术方案如下：

2、一方面，提供了一种用于康复演示的数字人生成方法，该方法由数字人生成设备实现，该方法包括：

3、s1，获取真实人物的康复演示视频和照片，并对其进行预处理和特征提取；

4、s2，基于预处理和特征提取的真实人物康复演示视频和照片，构建康复演示数字化人物模型，采集康复演示数字化人物模型的演示视频；

5、s3，基于真实人物的康复演示视频与康复演示数字化人物模型的演示视频，对康复演示数字化人物模型动作准确性进行测试，采集康复演示数字化人物模型视频差异化数据，估算康复演示数字化人物模型的动作准确性指数；

6、s4，基于康复演示数字化人物模型的演示视频，对康复演示数字化人物模型稳定性进行测试，采集康复演示数字化人物模型稳定性数据，估算康复演示数字化人物模型稳定性指数；

7、s5，基于康复演示数字化人物模型的动作准确性指数和康复演示数字化人物模型稳定性指数，计算康复演示数字化人物模型的综合质量符合系数，基于康复演示数字化人物模型的综合质量符合系数，对康复演示数字化人物模型进行优化；

8、s6，对优化后的康复演示数字化人物模型进行康复演示。

9、进一步地，对获取的真实人物的康复演示视频和照片进行预处理包括：

10、使用图像处理算法的中值滤波去除图像中的噪声，调整演示视频和照片的尺寸，并对演示视频和照片进行归一化处理，将像素值映射到 0到1的范围内；

11、对获取的真实人物的康复演示视频和照片进行特征提取包括：

12、将图像的颜色空间划分为不同的区域，统计每个区域中像素的数量，获取颜色直方图，对照片进行颜色特征提取；

13、使用glcm统计工具，构建灰度共生矩阵，对照片进行纹理特征提取；

14、使用开源计算机视觉库opencv和python检测关节运动位置数据、绘制肢体轨迹，对演示视频进行运动特征提取。

15、进一步地，所述基于预处理和特征提取的真实人物康复演示视频和照片，构建康复演示数字化人物模型包括：

16、基于预处理和特征提取的真实人物康复照片使用blender 3d建模软件构建康复演示数字化初始人物模型，将骨骼及关节点对应到康复演示数字化初始人物模型的相应部位上；

17、基于预处理和特征提取的真实人物康复演示视频，利用循环神经网络rnn深度学习模型来捕捉真实人物康复演示视频中的运动模式和特征，使用序列模型lstm来学习动作的时序，使用生成模型gan生成动作序列，并将深度学习模型、序列模型lstm、生成模型gan所获得的数据导入康复演示数字化初始人物模型中构建康复演示数字化人物模型。

18、进一步地，所述基于真实人物的康复演示视频与康复演示数字化人物模型的演示视频，对康复演示数字化人物模型动作准确性进行测试，采集康复演示数字化人物模型视频差异化数据包括：

19、基于真实人物康复演示视频和康复演示数字化人物模型的演示视频，且具有相同的时间长度和视角，使用计算机视觉技术骨骼追踪，从每个视频中提取关键的运动特征，使用相似性度量方法逐帧比较真实人物和数字化人物模型的动作，识别真实人物的康复演示视频与康复演示数字化人物模型的演示视频的动作差异；其中，所述关键的运动特征包括：肢体的移动方向、速度和加速度、肢体的最大位移和运动周期、身体的重心位置和移动轨迹；

20、记录康复演示数字化人物模型视频差异化数据，其中，康复演示数字化人物模型视频差异化数据包括：动作轨迹偏移距离和动作轨迹延迟时间。

21、进一步地，所述康复演示数字化人物模型的动作准确性指数的计算公式为：

22、；

23、其中，表示康复演示数字化人物模型的动作准确性指数，表示动作轨迹偏移距离，表示动作轨迹延迟时间，表示动作轨迹偏移距离允许的偏差值，表示动作轨迹延迟时间允许的偏差值，表示动作轨迹偏移距离对应康复演示数字化人物模型的动作准确性指数的权重因子，表示动作轨迹延迟时间对应康复演示数字化人物模型的动作准确性指数的权重因子，e表示自然数。

24、进一步地，所述基于康复演示数字化人物模型的演示视频，对康复演示数字化人物模型稳定性进行测试，采集康复演示数字化人物模型稳定性数据包括：

25、基于康复演示数字化人物模型的演示视频，在unreal engine中对康复演示数字化人物模型进行旋转、拉伸、移动，记录每个动作康复演示数字化人物模型的反应时间，并依次编号；

26、使用unreal engine的gpu profiler插件来检测渲染性能，记录每一帧康复演示数字化人物模型的渲染时间和gpu负载，并依次编号。

27、进一步地，所述康复演示数字化人物模型稳定性指数的计算公式为：

28、；

29、其中，表示康复演示数字化人物模型稳定性指数，表示康复演示数字化人物模型的反应时间对应康复演示数字化人物模型稳定性指数的权重因子，表示康复演示数字化人物模型的渲染时间对应康复演示数字化人物模型稳定性指数的权重因子，表示康复演示数字化人物模型的gpu负载对应康复演示数字化人物模型稳定性指数的权重因子，表示每个动作康复演示数字化人物模型的反应时间，表示每一帧康复演示数字化人物模型的渲染时间，表示每一帧康复演示数字化人物模型的gpu负载，e表示自然数。

30、进一步地，所述康复演示数字化人物模型的综合质量符合系数的计算公式为：

31、；

32、其中，表示康复演示数字化人物模型的综合质量符合系数，表示康复演示数字化人物模型的动作准确性指数对应康复演示数字化人物模型的综合质量符合系数的权重因子，表示康复演示数字化人物模型稳定性指数对应康复演示数字化人物模型的综合质量符合系数的权重因子。

33、进一步地，所述基于康复演示数字化人物模型的综合质量符合系数，对康复演示数字化人物模型进行优化包括：

34、将康复演示数字化人物模型的综合质量符合系数与预设的阈值进行比较，若康复演示数字化人物模型的综合质量符合系数小于预设的阈值，则对数据质量进行检查并优化模型；

35、其中，对数据质量进行检查包括：

36、检测康复演示数字化人物模型的输入数据质量，若数据质量不足，则重新执行数据清洗和预处理步骤；

37、优化模型包括：

38、重新训练康复演示数字化人物模型，调整康复演示数字化人物模型的超参数设置，使用交叉验证技术找到最佳的超参数组合，同时提高训练集的样本数量以及训练轮次，其中，超参数包括：学习率、批大小和隐藏层的大小。

39、另一方面，提供了一种用于康复演示的数字人生成装置，该装置应用于用于康复演示的数字人生成方法，该装置包括：

40、数据获取模块，用于获取真实人物的康复演示视频和照片，并对其进行预处理和特征提取；

41、模型构建模块，用于基于预处理和特征提取的真实人物康复演示视频和照片，构建康复演示数字化人物模型，采集康复演示数字化人物模型的演示视频；

42、准确性测试模块，用于基于真实人物的康复演示视频与康复演示数字化人物模型的演示视频，对康复演示数字化人物模型动作准确性进行测试，采集康复演示数字化人物模型视频差异化数据，估算康复演示数字化人物模型的动作准确性指数；

43、稳定性测试模块，用于基于康复演示数字化人物模型的演示视频，对康复演示数字化人物模型稳定性进行测试，采集康复演示数字化人物模型稳定性数据，估算康复演示数字化人物模型稳定性指数；

44、优化模块，用于基于康复演示数字化人物模型的动作准确性指数和康复演示数字化人物模型稳定性指数，计算康复演示数字化人物模型的综合质量符合系数，基于康复演示数字化人物模型的综合质量符合系数，对康复演示数字化人物模型进行优化；

45、演示模块，用于对优化后的康复演示数字化人物模型进行康复演示。

46、另一方面，提供一种数字人生成设备，所述数字人生成设备包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上述用于康复演示的数字人生成方法中的任一项方法。

47、另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述用于康复演示的数字人生成方法中的任一项方法。

48、本发明实施例提供的技术方案带来的有益效果至少包括：

49、本发明实施例提供的用于康复演示的数字人生成方法，通过计算康复演示数字化人物模型的动作准确性指数、康复演示数字化人物模型稳定性指数、康复演示数字化人物模型的综合质量符合系数，对数字化人物模型的动作准确性、稳定性和综合质量进行评估，能够为康复演示的数字人生成方法提供科学的评估体系和优化路径，有助于提高数字化人物模型在康复演示中的质量和实用性。

50、本发明实施例提供的用于康复演示的数字人生成方法的装置，通过构建康复演示数字化人物模型，进行康复演示，可以为康复提供更科学、精准、个性化的训练指导，帮助患者更有效地进行康复训练，提高康复效果，同时为医护人员提供科学的决策支持，帮助他们更好地制定个性化的康复方案，提高康复治疗的精准性和有效性。