基于虚拟现实的视听综合训练方法及系统与流程

本发明涉及数据交互，尤其涉及一种基于虚拟现实的视听综合训练方法及系统。

背景技术：

1、当前，虚拟现实（vr）技术在医学康复、运动训练等领域逐渐展现出强大的应用潜力。然而，传统的虚拟现实训练系统往往仅关注视觉和听觉层面的交互，缺乏对用户手部触觉和生理反馈的全面考虑。这导致了在模拟运动过程中，用户缺乏对真实触感的感知，以及系统无法充分获取用户的生理数据进行实时调整。

2、传统的虚拟现实训练系统往往忽视了用户手部的触觉信息，缺乏对手部模型的精准构建。同时，训练动作生成通常较为静态，缺乏个性化和动态性，无法满足用户多样化的训练需求。此外，对模拟运动任务的场景反馈数据分析往往缺乏对用户运动程度的深入评估，导致反馈信息的普适性和个性化有限。现有系统在实时采集用户生理反馈数据和模拟动画生成方面也存在一定的技术瓶颈，无法实现对用户训练过程的精准监控和调整。因此，亟需一种综合考虑触觉、视听和生理反馈的虚拟现实训练方法，以提高训练的全面性、个性化和实时性。

技术实现思路

1、有鉴于此，本发明实施例提供了一种基于虚拟现实的视听综合训练方法及系统，用于提高基于虚拟现实的视听综合训练的效率及准确率。

2、本发明提供了一种基于虚拟现实的视听综合训练方法，包括：通过预置的训练手套采集目标用户的触觉压力数据，并将所述触觉压力数据传输至三维模型构建算法对所述目标用户进行手部模型构建，得到目标手部模型；对所述目标用户进行用户标识识别，得到所述目标用户的用户标识信息，并通过所述用户标识信息对所述目标用户进行训练动作生成，得到训练动作集合；基于所述训练动作集合生成模拟运动任务，并对所述模拟运动任务进行场景反馈数据分析，得到视觉反馈数据集以及听觉反馈数据集；通过所述训练手套实时采集所述目标用户的手部运动数据，并根据所述手部运动数据对所述目标手部模型进行模拟动画生成，得到模拟动画数据；根据所述模拟动画数据对所述视觉反馈数据集以及所述听觉反馈数据集进行数据筛选，得到目标视觉反馈数据以及目标听觉反馈数据；将所述目标视觉反馈数据以及所述目标听觉反馈数据通过预置的虚拟现实展示终端展示给所述目标用户，并实时采集所述目标用户的手部压力数据；对所述手部压力数据进行压力密度数据分析，得到压力密度数据，并基于所述压力密度数据通过所述训练手套对所述目标用户进行训练辅助控制。

3、在本发明中，所述通过预置的训练手套采集目标用户的触觉压力数据，并将所述触觉压力数据传输至三维模型构建算法对所述目标用户进行手部模型构建，得到目标手部模型步骤，包括：通过所述训练手套采集目标用户的触觉压力数据，并对所述触觉压力数据进行时序信息提取，得到所述触觉压力数据的目标时序信息；对所述触觉压力数据进行压力位置标定，得到多个压力位置数据；基于多个所述压力位置数据对所述触觉压力数据进行空间位置标注，得到标注压力数据；基于所述目标时序信息，对所述标注压力数据进行压力分布分析，得到压力分布数据；基于所述压力分布数据对所述目标用户进行手部弯曲度分析，得到手部弯曲度数据；对所述目标用户进行手部形状数据采集，得到所述目标用户的手部形状数据；基于所述手部弯曲度数据，通过所述手部形状数据对所述目标用户进行手部模型构建，得到所述目标手部模型。

4、在本发明中，所述对所述目标用户进行用户标识识别，得到所述目标用户的用户标识信息，并通过所述用户标识信息对所述目标用户进行训练动作生成，得到训练动作集合步骤，包括：对所述目标用户进行用户标识提取，得到所述目标用户的用户id数据；通过所述用户id数据对所述目标用户进行用户信息采集，得到所述目标用户的历史用户信息；对所述历史用户信息进行关键词提取，得到多个信息关键词；基于多个所述信息关键词对所述目标用户进行用户训练类型匹配，得到目标用户训练类型；基于所述目标用户训练类型对所述目标用户进行用户表示识别，得到所述目标用户的用户标识信息；通过所述用户标识信息对所述目标用户进行训练动作生成，得到所述训练动作集合。

5、在本发明中，所述基于所述训练动作集合生成模拟运动任务，并对所述模拟运动任务进行场景反馈数据分析，得到视觉反馈数据集以及听觉反馈数据集步骤，包括：对所述训练动作集合进行动作类型拆分，得到所述训练动作集合对应的多个动作类型；基于多个所述动作类型，对所述训练动作集合进行关联动作组构建，得到多个关联动作组；分别对每个所述关联动作组进行训练程度分析，得到每个所述关联动作组的训练程度数据；基于每个所述关联动作组的训练程度数据，对多个所述关联动作组进行运动场景匹配，得到目标运动场景，并通过所述目标运动场景生成所述模拟运动任务；对所述模拟运动任务进行场景反馈数据分析，得到视觉反馈数据集以及听觉反馈数据集。

6、在本发明中，所述对所述模拟运动任务进行场景反馈数据分析，得到视觉反馈数据集以及听觉反馈数据集步骤，包括：对所述模拟运动任务进行三维运动关键点标定，得到关键点坐标集合；基于所述关键点坐标集合生成模拟运动数据，并根据所述模拟运动数据对所述目标手部模型进行模拟训练，得到模拟训练参数；对所述模拟训练参数进行手部运动角度分析，得到手部运动角度数据；根据所述手部运动角度数据进行视觉反馈数据分析，得到视觉反馈数据集；对所述视觉反馈数据进行听觉反馈数据匹配，得到所述听觉反馈数据集。

7、在本发明中，所述通过所述训练手套实时采集所述目标用户的手部运动数据，并根据所述手部运动数据对所述目标手部模型进行模拟动画生成，得到模拟动画数据步骤，包括：通过所述训练手套实时采集所述目标用户的手部运动数据，并对所述手部运动数据进行时序拆分，得到多组运动数据；分别对每组所述运动数据进行关键部位形状采集，得到每组所述运动数据对应的关键部位形状；对每组所述运动数据对应的关键部位形状进行运动范围标定，得到多个运动范围数据；基于多个运动范围数据，对所述目标手部模型进行动画元素构建，得到动画元素集合；对所述动画元素集合进行动画渲染，得到所述模拟动画数据。

8、在本发明中，所述对所述手部压力数据进行压力密度数据分析，得到压力密度数据，并基于所述压力密度数据通过所述训练手套对所述目标用户进行训练辅助控制步骤，包括：对所述手部压力数据进行空间变化数据分析，得到空间变化数据；对所述空间变化数据进行变化趋势分析，得到变化趋势数据；根据所述变化趋势数据对所述手部压力数据进行压力密度数据分析，得到所述压力密度数据；根据所述压力密度数据对所述目标用户进行实时训练强度分析，得到实时训练强度；基于所述实时训练强度对所述训练手套进行变化参数分析，得到变化参数集合；基于所述变化参数集合，通过所述训练手套对所述目标用户进行训练辅助控制。

9、本发明还提供了一种基于虚拟现实的视听综合训练系统，包括：

10、采集模块，用于通过预置的训练手套采集目标用户的触觉压力数据，并将所述触觉压力数据传输至三维模型构建算法对所述目标用户进行手部模型构建，得到目标手部模型；

11、识别模块，用于对所述目标用户进行用户标识识别，得到所述目标用户的用户标识信息，并通过所述用户标识信息对所述目标用户进行训练动作生成，得到训练动作集合；

12、分析模块，用于基于所述训练动作集合生成模拟运动任务，并对所述模拟运动任务进行场景反馈数据分析，得到视觉反馈数据集以及听觉反馈数据集；

13、生成模块，用于通过所述训练手套实时采集所述目标用户的手部运动数据，并根据所述手部运动数据对所述目标手部模型进行模拟动画生成，得到模拟动画数据；

14、筛选模块，用于根据所述模拟动画数据对所述视觉反馈数据集以及所述听觉反馈数据集进行数据筛选，得到目标视觉反馈数据以及目标听觉反馈数据；

15、展示模块，用于将所述目标视觉反馈数据以及所述目标听觉反馈数据通过预置的虚拟现实展示终端展示给所述目标用户，并实时采集所述目标用户的手部压力数据；

16、控制模块，用于对所述手部压力数据进行压力密度数据分析，得到压力密度数据，并基于所述压力密度数据通过所述训练手套对所述目标用户进行训练辅助控制。

17、本发明提供的技术方案中，通过训练手套采集目标用户的触觉压力数据，并将触觉压力数据传输至三维模型构建算法对目标用户进行手部模型构建，得到目标手部模型；对目标用户进行用户标识识别，得到目标用户的用户标识信息，通过用户标识信息对目标用户进行训练动作生成，得到训练动作集合；基于训练动作集合生成模拟运动任务，对模拟运动任务进行场景反馈数据分析，得到视觉反馈数据集以及听觉反馈数据集；实时采集目标用户的手部运动数据，并根据手部运动数据对目标手部模型进行模拟动画生成，得到模拟动画数据；根据模拟动画数据对视觉反馈数据集以及听觉反馈数据集进行数据筛选，得到目标视觉反馈数据以及目标听觉反馈数据；将目标视觉反馈数据以及目标听觉反馈数据通过虚拟现实展示终端展示给目标用户，并实时采集目标用户的手部压力数据；对手部压力数据进行压力密度数据分析，得到压力密度数据，并基于压力密度数据通过训练手套对目标用户进行训练辅助控制。在本技术方案中，通过训练手套采集目标用户的触觉压力数据，实现了对用户手部触觉信息的高效获取。将这些触觉压力数据传输至三维模型构建算法，有助于精准构建目标用户的手部模型，进而提供了一个真实而细致的虚拟手部表示。通过用户标识识别，能够根据个体特征对目标用户进行个性化的训练动作生成，形成了一个适应性强且多样化的训练动作集合。基于训练动作集合生成模拟运动任务，不仅能够提供全方位的运动挑战，还能通过场景反馈数据分析得到视觉和听觉反馈数据集，从而优化用户的感知体验。实时采集目标用户的手部运动数据，并以此为基础对目标手部模型进行模拟动画生成，为用户呈现生动、逼真的虚拟手部动作，提供了更具沉浸感的训练体验。通过对模拟动画数据进行筛选，得到了精炼的目标视觉和听觉反馈数据，有效减少了冗余信息，提高了反馈的针对性。将目标视觉反馈数据和听觉反馈数据通过虚拟现实展示终端展示给目标用户，为用户呈现了高度还原真实感的虚拟环境，同时实时采集目标用户的手部压力数据，使能够在用户参与训练的同时获取实时的生理反馈。对手部压力数据进行压力密度数据分析，得到了更深层次的用户生理状态信息，通过训练手套对目标用户进行训练辅助控制，实现了对用户训练过程的实时监控和调整，从而提升了训练的个性化和有效性。