一种基于虚拟现实的人工智能行为分析模型训练系统及其方法与流程

本发明涉及人工智能技术领域，更具体的是，本发明涉及一种基于虚拟现实的人工智能行为分析模型训练系统及其方法。

背景技术：

随着信息化的飞速发展，基于视觉的人工智能技术如人脸识别、图像检索、目标检测与追踪等技术已经覆盖各种场合。行为分析作为更高层次的人工智能技术融合了目标检测与追踪、目标(主要是人)动作捕捉、以及融合环境信息的行为判断将应用再更加广泛的领域。由于现代人工智能主要由数据驱使的，因此获取高质量的数据是训练行为分析算法将成为算法研究、算法优化以及应用落地的重中之重。但特定场合应用存在数据获取难、数据质量差等关键问题。

虚拟现实技术恰好可以作为模拟数据生成器应用于行为分析模型训练与系统设计，随着研究的深入，虚拟现实技术广泛应用于模拟仿真环境，在自动驾驶、工业与医疗领域有着广泛应用。

中国专利文献cn100589148c，公开了一种面向训练的汽车驾驶模拟机实现方法。它借助计算机图形学、虚拟现实等技术，通过计算机产生汽车行驶过程中的虚拟视觉、音响效果和运动仿真，使驾驶学员沉浸到虚拟驾驶环境中，学院根绝虚拟驾驶环境提供的视觉、听觉和触觉感受，构想其驾驶动作，操作模拟驾驶舱中的操纵机构。本发明适应驾驶培训增长的需求，节约场地、汽车、汽油和人力等资源，具有各项考试项目和错误提示功能，使用户在更安全的环境下掌握驾驶的基本技能，在城市场景、山区道路以及高速公路中的练习能达到熟悉交规，完善驾驶技能的效果，各种天气的模拟锻炼用户在恶劣情况下的驾驶技能和对各种突发状况的应变能力，在商业和科研领域都有其重要的应用价值。

中国专利文献cn101667346b，公开了一种基于虚拟现实的截肢上肢康复训练系统，包括肌电信号检测与处理、截肢上肢建模和虚拟现实场景交互几部分。所述的肌电信号检测与处理部分利用肌电测试仪对残肢表面肌电信号进行提取、放大、滤波、a/d转换和多路采集，提取其鲁棒特征并结合在线学习方法实现快速和有效的上肢运动动作识别；所述的截肢上肢建模部分利用健康上肢的照片，采用三维参数化网格模型对截肢上肢进行三维重建，将跟踪得到的上肢运动参数作为模型驱动数据，实现虚拟手的动作模拟；所述的虚拟现实场景交互部分进行真实三维交互场景建模，并通过肌电实现残肢肌肉动作与三维场景的实时交互。该仪器主要用来辅助上肢截肢患者在假肢安装前，进行必要的适应性训练，以帮助患者尽快适应假肢使用。

但是，虚拟现实技目前主要服务对象是人，并非智能体，而且现有的虚拟现实技术大部分应用与各类场景模拟，但并未专注于利用仿真数据进行人工智能训练，而在人工智能模型，特别是行为识别模型的训练过程中，需要针对特定动作或行为提供大量的数据用于训练，如果使用摄像机对现实场景进行采集，数据获取过程复杂，数据质量参差不齐，成本高而效率低下。

而通过虚拟现实技术生成行为动作的图像可以针对特定动作提供数据，充分满足行为识别模型的训练需求，但目前的技术，并未在虚拟环境中进行人工智能模型训练。

技术实现要素：

本发明的目的是设计开发了一种基于虚拟现实的人工智能行为分析模型训练系统，利用虚拟现实技术，构建多种仿真场景环境模拟现实场景，通过控制带有标记点的三维人体、车辆或其他事物模型进行一系列行为动作，快速生成大量有标记的仿真数据，为行为分析模型优化、以及模型部署提供方便简易训练测试环境。

本发明的另一个目的是设计开发了一种基于虚拟现实的人工智能行为分析模型训练方法，能够在虚拟环境中任意切换视角，得到多种虚拟数据，对行为分析网络模型进行训练，这样可以快速验证模型，也可以构建更多真实场景下难以模拟的环境。

本发明提供的技术方案为：

一种基于虚拟现实的人工智能行为分析模型训练系统，包括：

客户端，其为b/s风格，并且所述客户端具有数据接口，用于虚拟环境搭建、虚拟目标插入、虚拟数据获取和行为分析模型搭建；

中心服务器，其与所述客户端进行交互，用于行为分析模型训练、行为分析模型测试、仿真环境渲染和训练结果渲染。

优选的是，所述客户端包括：

虚拟环境搭建模块，其用于搭建仿真环境；

虚拟目标生成模块，其与所述虚拟环境搭建模块相连接，用于设定虚拟目标信息和向所述仿真环境中插入虚拟目标；

可视化操作界面，其与所述虚拟环境搭建模块和虚拟目标生成模块相连接，用于接收仿真环境状态和虚拟目标信息。

优选的是，所述中心服务器包括：

数据产生模块，其与所述客户端相连接，用于对行为分析模型提供训练的虚拟数据；

标签生成模块，其与所述数据产生模块相连接，用于获取虚拟数据。

优选的是，所述数据产生模块包括：

训练集，其对虚拟环境中的行为分析模型进行训练，产生训练的虚拟数据；

测试集，其对仿真环境中的行为分析模型的效果进行监测，产生测试的虚拟数据。

优选的是，还包括：

虚拟现实引擎，其设置在所述虚拟环境搭建模块、虚拟目标生成模块和数据产生模块中，能够提供不同仿真程度和不同环境信息的仿真环境。

优选的是，所述虚拟目标信息包括：虚拟目标的数量、动作和行进速度。

优选的是，所述虚拟环境搭建模块预存有常用仿真环境，所述虚拟目标生成模块预存有虚拟目标。

优选的是，所述虚拟数据包括：3d点云、视频以及对应的序列图像、照相机参数、2d检测框、语义分割、实例分割、全景分割标签、2d人物关键点、3d检测框、3d标签、3d人物关键点、目标对应的视频标签、动作发生空间区域和动作发生的时间区域。

一种基于虚拟现实的人工智能行为分析模型训练方法，使用所述的基于虚拟现实的人工智能行为分析模型训练系统，包括如下步骤：

步骤一、搭建虚拟环境；

步骤二、设定虚拟目标，并将所述虚拟目标插入所述虚拟环境中；

步骤三、选定采集视角；

步骤四、对虚拟目标进行行为分析模型训练及测试，获得虚拟数据。

本发明所述的有益效果：

本发明设计开发的一种基于虚拟现实的人工智能行为分析模型训练系统，能够通过虚拟现实技术，实现定制化的虚拟仿真环境，并获取环境中的虚拟数据，并为开发者提供大量人工智能任务基本模型，能够极大地改善现有的人工智能行为分析任务获取数据难成本大等问题，加快研发效率，减少研发成本。

本发明设计开发的一种基于虚拟现实的人工智能行为分析模型训练系统由中心服务器和客户端两层构成，结构简单，部署容易，成本低，易于升级维护，且一般情况下只要升级中心服务器和客户端的软件即可，升级维护成本低，能够降低复杂场景数据获取难度、时间以及硬件成本，有较强的使用价值和理想的应用前景。

本发明设计开发的一种基于虚拟现实的人工智能行为分析模型训练方法，能够在虚拟环境中任意切换视角，得到多种虚拟数据，对行为分析网络模型进行训练，这样可以快速验证模型，也可以构建更多真实场景下难以模拟的环境。

附图说明

图1为本发明所述的一种针对基于虚拟现实的人工智能行为分析模型训练系统的原理框图。

具体实施方式

下面结合对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

如图1所示，本发明提供的一种基于虚拟现实的人工智能行为分析模型训练系统主要由客户端和中心服务器两层构成，其中，客户端包括：虚拟环境搭建模块、虚拟目标生成模块和可视化操作界面；中心服务器包括：数据(虚拟训练数据和测试数据)产生模块、标签(虚拟训练标签和测试标签)生成模块和存储模块。

虚拟环境搭建模块：通过虚拟现实引擎搭建仿真环境，提供不同仿真程度的仿真环境，用于模拟不同级别的环境抽象，并且在所述虚拟环境搭建模块内预存有常用仿真环境。

用户可以通过虚拟现实引擎进行3d空间建模自行搭建仿真环境，也可以使用预先搭建好的常用仿真环境进行环境搭建，并且用户可以通过3d空间模板切换环境的光线、天气等信息调整仿真环境的真实感。

虚拟目标生成模块：通过在仿真环境中插入虚拟目标来实现，并且在所述虚拟目标生成模块内预存有虚拟目标。

虚拟目标包括：行人、车辆以及无人机，用户可以自定义虚拟目标，也可以使用系统预制的虚拟目标，用户可以同时定义虚拟目标的数量、动作以及行进速度等信息。

通过虚拟现实引擎渲染来实现虚拟环境搭建及目标插入，生成虚拟的图像或视频，虚拟目标的插入是通过将目标文件嵌入到已经搭建好的3d空间中。

虚拟现实引擎，其设置在所述虚拟环境搭建模块、虚拟目标生成模块和数据产生模块中，能够提供不同仿真程度和不同环境信息的仿真环境。

多个采集装置，其设置在所述虚拟环境搭建模块中，用于获取不同视角下的虚拟现实仿真，所述多个采集装置还与所述数据产生模块相连接，用于输出采集数据。

作为优选的是，采集装置为摄像机。通过设定不同的摄像机机位，获取不同视角下的虚拟现实仿真，并且能够输出包括：3d点云、视频以及对应的序列图像。

数据产生模块，用于生成虚拟数据，为用户提供或选择的行为分析模型提供训练数据，所述数据产生模块包括：

训练集，其对虚拟环境中的行为分析模型进行训练，产生训练的虚拟数据；

测试集，其对仿真环境中的行为分析模型的效果进行监测，产生测试的虚拟数据。

用户需要通过虚拟环境搭建模块、虚拟目标生成模块，设定虚拟环境及目标，然后利用数据产生模块产生虚拟训练数据和测试数据。

标签生成模块：产生对应视角下的虚拟数据。

行为分析模型是用户提供的，用于实验的行为分析模型利用虚拟环境及目标，生成训练集和测试集。使用生成的训练集来训练行为分析模型，训练结束后，利用测试集检测模型效果。

所述虚拟数据包括：照相机参数；2d检测框，语义分割、实例分割、全景分割标签，2d人物关键点；3d检测框，3d标签，3d人物关键点；以及对应的视频标签，动作发生空间区域，动作发生的时间区域等。

可视化操作界面是基于web界面的b/s风格客户端，主要用于pc端；提供可视化界面，可编程界面，通用数据输入输出接口，方便用户管理修改仿真环境。

存储模块，其用于存储所有虚拟数据，即为硬盘。

本发明所述的基于虚拟现实的人工智能行为分析模型训练方法为：

用户需要在客户端设定虚拟环境与虚拟目标，并将自定义的目标文件嵌入到虚拟环境中，在建立虚拟环境与目标之后，用户能够在虚拟环境中的任意位置设定摄像机视角，根据摄像机位置，渲染画面，生成图像或视频，选定所需要产生的数据，如：对应视角下的照相机参数；2d检测框，语义分割、实例分割、全景分割标签，2d人物关键点；3d检测框，3d标签，3d人物关键点；以及对应的视频标签，动作发生空间区域，动作发生的时间区域。这些数据将以json格式存在中心服务器中的存储模块中。在云端服务器上部署深度学习网络框架，用户提供的行为分析模型与部署的深度学习网络框架相同，然后利用生成的训练集及标签进行深度学习训练，同时中心服务器将会对虚拟环境进行渲染并返回客户端。用户在系统内可设计编辑行为分析人工智能模型，利用虚拟仿真数据训练验证行为分析人工智能模型。

中心服务器端，将会对虚拟环境进行渲染以及虚拟数据存储，同时获取行为分析模型所需要的数据标签。用户将会将行为分析模型部署到中心服务器。中心服务器将会利用计算资源实现行为分析模型训练。最后将模型测试结果渲染到虚拟数据上，方便可视化理解。

本发明设计开发的基于虚拟现实的人工智能行为分析模型训练系统，利用虚拟现实技术，构建多种仿真场景环境模拟现实场景，通过控制带有标记点的三维人体、车辆或其他事物模型进行一系列行为动作，快速生成大量、足够真实、有标记的仿真数据。为行为分析模型优化、以及模型部署提供方便简易训练测试环境。解决行为分析模型训练过程中数据搜集难、数据质量低、数据标记成本高、训练效率低等问题。

本发明设计开发的一种基于虚拟现实的人工智能行为分析模型训练方法，能够在虚拟环境中任意切换视角，得到多种虚拟数据，对行为分析网络模型进行训练，这样可以快速验证模型，也可以构建更多真实场景下难以模拟的环境。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的实施例。