一种基于目标检测快速构建数字孪生场景的系统及方法与流程

本发明涉及涉及虚拟现实技术、计算机视觉和计算机图形学领域，尤其涉及一种基于目标检测快速构建数字孪生场景的系统及方法。

背景技术：

1、随着计算机技术的发展,虚拟现实、增强现实等技术在各行业中的应用日益广泛。为实现沉浸式的虚拟体验,需要构建高精度的三维虚拟场景。目前,数字孪生场景的构建主要采用手动建模的方式,需要建模者根据场景图片精心制作三维物体模型,同时调整模型的位置、方向等参数,以实现对实际场景的还原。

2、此方法需要大量的前期实地考察和信息收集,同时在建模环节也需要建模者具备丰富的经验进行场景解析、三维模型匹配以及大量重复操作调整参数,导致整个构建过程极为耗时和低效。尤其对于复杂场景中的目标对象种类繁多的情况,手工建模更加无法满足效率需求。另外,手动操作容易引入错误偏差,不同建模者最终获得的场景质量参差不齐,且无法形成标准化方案和数据积累以供复用。

3、总体来说,现有技术通过手动建模构建数字孪生场景的方案存在模型质量不稳定、建模者个体差异大、无法实现方案标准化与模型复用等问题,导致数字孪生场景构建过程效率低下。

技术实现思路

1、本发明所要解决的技术问题是：提出一种基于目标检测快速构建数字孪生场景的系统及方法，提高构建数字孪生场景的效率和质量。

2、本发明解决上述技术问题采用的技术方案是：

3、一方面，本发明提供了一种基于目标检测快速构建数字孪生场景的系统，包括：

4、图像数据采集模块，用于采集现实环境的图像数据并进行图像预处理；

5、数字场景生成模块，用于根据预处理后的现实环境的图像数据，通过目标检测模型生成数字场景；

6、传感数据采集模块，用于对现实环境中需要监测的实体进行数据采集，获得实体属性；

7、数据融合模块，用于将数字场景中的对象和相应的实体属性进行绑定；

8、可视化模块，用于对绑定了实体属性的数字场景进行可视化展现。

9、进一步的，该系统还包括：

10、数据存储分析模块，用于存储系统运行过程中产生的数据并进行分析，推送分析结果。

11、进一步的，所述图像预处理包括但不限于：对原始图片进行裁剪，移除不相关区域、调整分辨率、进行图像增强、提升对比度、清晰度等适应目标检测模型的预处理方案。

12、进一步的，所述目标检测模型采用基于人工设计特征的目标检测算法或者基于深度学习的目标检测算法搭建。

13、进一步的，所述数字场景生成模块还用于，在根据目标检测模型识别出场景中的目标对象类别后，根据需要选择在互联网或者其它模型库中检索目标对象的模型，来替换数字场景中的相应目标对象模型。

14、另一方面，本发明还提供了一种基于目标检测快速构建数字孪生场景的方法，包括以下步骤：

15、s1、采集现实环境的图像数据并进行图像预处理；并通过对现实环境中需要监测的实体进行数据采集，获得实体属性；

16、s2、根据预处理后的现实环境的图像数据，通过目标检测模型生成数字场景；

17、s3、将数字场景中的对象和相应的实体属性进行绑定；

18、s4、对绑定了实体属性的数字场景进行可视化展现。

19、进一步的，该方法还包括步骤：

20、s5、存储系统运行过程中产生的数据并进行分析，推送分析结果。

21、进一步的，步骤s1中，所述对现实环境中需要监测的实体进行数据采集，包括：

22、通过传感器和网络接口获取需要监测的实体的属性值，其中传感器负责采集设备的振动信号、温度信号、电压信号和电流信号等需要采集的数据，网络接口负责与设备控制器通信，读取设备运行时间和工作产量数据。

23、进一步的，步骤s2中，所述目标检测模型采用基于人工设计特征的目标检测算法或者基于深度学习的目标检测算法搭建，通过制作训练数据集对搭建的模型进行训练，在模型收敛到预期精度时部署模型。

24、进一步的，步骤s2还包括：在根据目标检测模型识别出场景中的目标对象类别后，根据需要选择在互联网或者其它模型库中检索目标对象的模型，来替换数字场景中的相应目标对象模型。

25、本发明的有益效果是：

26、本发明使用计算机视觉的目标检测技术自动实时的对现实场景输出数字场景，接着对数字场景中关注的属性实时赋值，最后对数字场景进行可视化。相比现有技术中的人工构建数字孪生场景的方案，本发明可以自动实时的输出粗粒度的数字场景，效率高，避免了手动操作容易引入错误偏差,不同建模者最终获得的场景质量参差不齐的情况,因此可以形成标准化的方案，并且通过对系统运行过程产生的数据进行存储和分析，使得数据可以积累以供复用，逐步提升输出数字场景的准确性。

27、此外，本发明中基于目标检测快速构建数字孪生场景的系统的各个模块的功能分解清晰，系统解耦性好，可以选择不同的目标检测模型来提高数字场景的生成效果，可通过添加传感器和数据接口扩展多种数据源，具有良好的系统扩展性。

技术特征：

1.一种基于目标检测快速构建数字孪生场景的系统，其特征在于，包括：

2.如权利要求1所述的一种基于目标检测快速构建数字孪生场景的系统，其特征在于，

3.如权利要求1或2所述的一种基于目标检测快速构建数字孪生场景的系统，其特征在于，所述图像预处理包括：对原始图片进行裁剪，移除不相关区域、调整分辨率、进行图像增强、提升对比度、清晰度这些适应目标检测模型的预处理方案。

4.如权利要求1或2所述的一种基于目标检测快速构建数字孪生场景的系统，其特征在于，所述目标检测模型采用基于人工设计特征的目标检测算法或者基于深度学习的目标检测算法搭建。

5.如权利要求1或2所述的一种基于目标检测快速构建数字孪生场景的系统，其特征在于，所述数字场景生成模块还用于，在根据目标检测模型识别出场景中的目标对象类别后，根据需要选择在互联网或者其它模型库中检索目标对象的模型，来替换数字场景中的相应目标对象模型。

6.一种基于目标检测快速构建数字孪生场景的方法，其特征在于，包括以下步骤：

7.如权利要求6所述的一种基于目标检测快速构建数字孪生场景的方法，其特征在于，

8.如权利要求6或7所述的一种基于目标检测快速构建数字孪生场景的方法，其特征在于，步骤s1中，所述对现实环境中需要监测的实体进行数据采集，包括：

9.如权利要求6或7所述的一种基于目标检测快速构建数字孪生场景的方法，其特征在于，步骤s2中，所述目标检测模型采用基于人工设计特征的目标检测算法或者基于深度学习的目标检测算法搭建，通过制作训练数据集对搭建的模型进行训练，在模型收敛到预期精度时部署模型。

10.如权利要求6或7所述的一种基于目标检测快速构建数字孪生场景的方法，其特征在于，步骤s2还包括：在根据目标检测模型识别出场景中的目标对象类别后，根据需要选择在互联网或者其它模型库中检索目标对象的模型，来替换数字场景中的相应目标对象模型。

技术总结
本发明涉及涉及虚拟现实技术、计算机视觉和计算机图形学领域，其公开了一种基于目标检测快速构建数字孪生场景的系统及方法，提高构建数字孪生场景的效率和质量。本发明提供的基于目标检测快速构建数字孪生场景的系统包括：图像数据采集模块，用于采集现实环境的图像数据并进行图像预处理；数字场景生成模块，用于根据预处理后的现实环境的图像数据，通过目标检测模型生成数字场景；传感数据采集模块，用于对现实环境中需要监测的实体进行数据采集，获得实体属性；数据融合模块，用于将数字场景中的对象和相应的实体属性进行绑定；可视化模块，用于对绑定了实体属性的数字场景进行可视化展现。本发明应用于各类虚拟仿真的场景生成。

技术研发人员：秦昌辉
受保护的技术使用者：四川启睿克科技有限公司
技术研发日：
技术公布日：2024/2/8