固定空间内三维虚拟实景生成方法及系统与流程

本发明涉及图像处理，尤其是涉及一种固定空间内三维虚拟实景生成方法及系统。

背景技术：

1、视频智能监控被大规模应用于城市管理和智能交通行业，一般采用摄像头对被监控区域进行连续的图像采集，并采用人工肉眼观察方式或采用人工智能算法对采集到的图像进行智能识别，以实现目标(如人员、车辆等)的检测、追踪、异常情况报警等。

2、对于一些固定空间的场景(如车站、小区、商场、超市、楼宇、道路等)，一般都安排有监控室，监控室内安装监控屏幕，可切换到任意单一的摄像头，由监控人员进行人眼观察和监视，所有摄像头的视频文件都可以保存在监控数据库中，便于后期的调用和回放查看。基于二维视频人工监控的缺点主要是：由于相机是通过焦点的透视成像，遵守针孔成像原理，成像后会造成二维图像中物体三维真实尺寸和空间位置的丢失，存在近大远小的问题，从单幅二维图像上无法判断和测量物体的大小和远近，无法给物体进行空间位置定位。

3、对于一些固定空间的场景，现有的技术还包括基于各类智能图像识别算法对摄像头采集的二维图像进行识别(如人脸识别、步态识别等)，以发现异常情况并追踪可疑人员，这些算法可通过为视频流打标记的方式抓取特定的图像或一小段视频并单独进行保存、报警提示等，从而避免由于人员监控疏忽导致不能及时处理异常情况，减省监控所需人工资源，提高监控效率。基于二维图像智能识别目前存在的主要问题是：由于不同摄像头面对的环境及识别的对象千差万别，在工程应用中普遍存在着识别准确率不高、识别所需要采集现场图像量大、人工标注工作量大、智能图像识别算法所需设备成本高、智能图像识别算法可解释性差等问题。

4、目前，固定场景中以二维摄像头为主要视觉感知硬件的视频监控系统存在的另一个问题是：不同摄像头之间无法实现联动和视频整体呈现，每个摄像头的视频文件和画面都是独立的，占用独立的监控画面进行查看，当移动目标(如车辆、人员、其他物体等)从一个摄像头路过进入另一个摄像头时，无法使这两个摄像头所采集的画面很好的关联，无法很好的实现移动目标的轨迹追踪以及整体场景全景画面的动态呈现。

5、为了解决固定空间范围内视频监控的整体场景全景画面呈现问题，目前的数字孪生或虚拟实景技术也获得了一些应用，其基本方式是预先采用三维建模手段对固定空间范围进行三维建模，然后再将固定空间范围的三维模型与固定空间位置的摄像头进行关联，通过三维模型和二维图像的结合实现整体场景全景画面呈现的效果。这种方式存在的主要问题是：三维建模是一次性整体建模，建立的三维模型无法根据实际场景所发生的变化进行动态更新，移动目标的变化无法在三维模型中进行呈现，全景画面只能提供整体场景的空间位置结构而无法与现实发生状况关联，移动目标的具体实时状态只能依靠独立摄像头进行视频监控和智能识别来完成。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种固定空间内三维虚拟实景生成方法及系统，以缓解固定场景中视频监控系统无法很好的实现移动目标的轨迹追踪以及整体场景全景画面的动态呈现的问题。

2、第一方面，本发明实施例提供了一种固定空间内三维虚拟实景生成方法，包括：在固定空间内不存在移动对象时，通过设置在固定空间内不同位置的多个二维成像设备采集得到每个二维成像设备所对应视场范围内的二维背景图像，同时获取各二维成像设备所对应视场范围内的三维建模数据；其中，得到的三维建模数据包括固定空间内各固定对象所对应的标注类别和三维点，每个三维点各自具有固定空间所对应三维模型空间坐标系下的第一坐标，所述固定对象包括固定物体和/或固定背景；基于得到的三维建模数据和已设置在固定空间内的二维成像设备的光学参数以及预先建立的每个二维成像设备所对应视场范围的三维坐标系与相应三维建模数据所在坐标系之间的第一映射关系，为每个二维背景图像生成相应的虚拟二维图像；其中，每个虚拟二维图像各自具有相应三维坐标系下的第二坐标；通过每个二维成像设备对其实时采集到的二维实时图像进行移动对象识别，以在识别到移动对象时得到每个移动对象的分类和边缘轮廓；其中，所述移动对象包括人和/或移动物体；基于得到的三维建模数据进行三维建模以得到固定空间的整体三维模型，并基于整体三维模型和识别出的移动对象所对应的虚拟二维图像以及得到的分类和边缘轮廓，生成固定空间的三维虚拟实景，之后对所述三维虚拟实景进行显示。

3、第二方面，本发明实施例还提供一种固定空间内三维虚拟实景生成系统，包括：获取模块，用于在固定空间内不存在移动对象时，通过设置在固定空间内不同位置的多个二维成像设备采集得到每个二维成像设备所对应视场范围内的二维背景图像，同时获取各二维成像设备所对应视场范围内的三维建模数据；其中，得到的三维建模数据包括固定空间内各固定对象所对应的标注类别和三维点，每个三维点各自具有固定空间所对应三维模型空间坐标系下的第一坐标，所述固定对象包括固定物体和/或固定背景；生成模块，用于基于得到的三维建模数据和已设置在固定空间内的二维成像设备的光学参数以及预先建立的每个二维成像设备所对应视场范围的三维坐标系与相应三维建模数据所在坐标系之间的第一映射关系，为每个二维背景图像生成相应的虚拟二维图像；其中，每个虚拟二维图像各自具有相应三维坐标系下的第二坐标；识别模块，用于通过每个二维成像设备对其实时采集到的二维实时图像进行移动对象识别，以在识别到移动对象时得到每个移动对象的分类和边缘轮廓；其中，所述移动对象包括人和/或移动物体；实景模块，用于基于得到的三维建模数据进行三维建模以得到固定空间的整体三维模型，并基于整体三维模型和识别出的移动对象所对应的虚拟二维图像以及得到的分类和边缘轮廓，生成固定空间的三维虚拟实景，之后对所述三维虚拟实景进行显示。

4、本发明实施例提供的一种固定空间内三维虚拟实景生成方法及系统，在通过多个二维成像设备采集到每个二维成像设备所对应视场范围内的二维背景图像并得到各二维成像设备所对应视场范围内的三维建模数据后，可利用预先建立的映射关系和已有二维成像设备的光学参数以及得到的三维建模数据为每个二维背景图像生成相应的虚拟二维图像，并建立固定空间的整体三维模型，当二维成像设备识别到移动对象时，可基于整体三维模型以及移动对象所对应的虚拟二维图像和识别结果(包括分类和边缘轮廓)生成并显示固定空间的三维虚拟实景，以通过三维虚拟实景来展示移动对象在固定空间内的具体实时状态，从而更好地实现移动对象在固定空间内的轨迹追踪以及固定空间整体场景全景画面的动态呈现。

5、本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

6、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种固定空间内三维虚拟实景生成方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，基于整体三维模型和识别出的移动对象所对应的虚拟二维图像以及得到的分类和边缘轮廓，生成固定空间的三维虚拟实景，包括：

3.根据权利要求2所述的方法，其特征在于，基于整体三维模型和得到的全部分类以及识别出的移动对象对应的第一坐标和三维尺寸，生成所述三维虚拟实景，包括：

4.根据权利要求3所述的方法，其特征在于，获取各二维成像设备所对应视场范围内的三维建模数据，包括：

5.根据权利要求4所述的方法，其特征在于，基于得到的三维建模数据和已设置在固定空间内的二维成像设备的光学参数以及预先建立的每个二维成像设备所对应视场范围的三维坐标系与相应三维建模数据所在坐标系之间的第一映射关系，为每个二维背景图像生成相应的虚拟二维图像，包括：

6.根据权利要求5所述的方法，其特征在于，每个二维成像设备所在位置与其所对应目标位置之间的距离小于预设距离，三维成像设备在每个目标位置的采集范围与相应二维成像设备的采集范围之间的重叠率大于预设重叠率；所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

8.根据权利要求3所述的方法，其特征在于，基于整体三维模型以及识别出的移动对象对应的第一坐标和三维对象模型，生成所述三维虚拟实景，包括：

9.根据权利要求4-7任一项所述的方法，其特征在于，所述三维数据采集设备为三维矩阵相机，所述三维矩阵相机包括呈矩阵式排列在同一平面上的四个图像传感器。

10.一种固定空间内三维虚拟实景生成装置，其特征在于，包括：

技术总结
本发明提供了一种固定空间内三维虚拟实景生成方法及系统，在通过多个二维成像设备采集到每个二维成像设备所对应视场范围内的二维背景图像并得到各二维成像设备所对应视场范围内的三维建模数据后，可利用预先建立的映射关系和已有二维成像设备的光学参数以及得到的三维建模数据为每个二维背景图像生成相应的虚拟二维图像，并建立固定空间的整体三维模型，当二维成像设备识别到移动对象时，可基于整体三维模型以及移动对象所对应的虚拟二维图像和识别结果生成并显示固定空间的三维虚拟实景，可以缓解固定场景中视频监控系统无法很好的实现移动目标的轨迹追踪以及整体场景全景画面的动态呈现的问题。

技术研发人员：周之琪,郑清志,唐步杰,曹亮,王文科
受保护的技术使用者：北京清影机器视觉技术有限公司
技术研发日：
技术公布日：2024/5/16