一种标签双向同步方法、装置、电子设备及存储介质与流程

本申请实施例涉及图像处理，尤其涉及一种标签双向同步方法、装置、电子设备及存储介质。

背景技术：

1、视频画面、三维场景标签双向同步技术是利用三维引擎能力，与三维模型相结合，视频画面添加的标签可以同步到三维场景，三维场景添加的标签也可以同步到视频画面，同时监控视频位置变化时也能同步更新标签位置。将无人机视频标签与三维场景标签进行同步的目的是为了提供更全面、准确的图像信息和场景理解。主要原因包括：1)提供更精确的定位和导航：利用无人机的定位能力，将无人机视频与三维场景标签进行同步。三维场景标签可以提供地图布局、建筑物位置和地形等信息，从而帮助无人机更准确地确定自身位置和飞行路径。2)增强环境感知能力：无人机的摄像头可以捕捉到周围环境的视频，通过与三维场景标签进行同步，可以实现对摄像头画面的更详细解读和理解。例如，通过三维场景标签的信息，可以识别出摄像头视野中的物体类型。例如建筑物、道路、人等，进一步提升对环境的感知能力。3)实现对目标识别和跟踪的优化：无人机视频标签是对视频内容进行识别和分类的标签，与三维场景标签进行同步可以提供更准确的目标识别和跟踪。通过三维场景标签，可以将目标在空间中进行定位，进而实现对目标的更精确跟踪。4)提高地图标注的准确性：通过将无人机视频标签与三维场景标签进行同步，可以提高地图标注的准确性。通过对无人机视频进行目标识别和分类，并结合三维场景标签的信息，可以更准确地将目标位置或属性标注在地图中，提供更可靠的地图数据。因此，无人机视频标签与三维场景标签的同步可以提供更全面、准确的图像信息和环境理解，从而增强无人机的定位、导航、环境感知能力和目标识别等方面的性能。

2、传统的标签同步方案基于固定位置安装的枪机、球机，需要通过人工测量相机的位置、姿态和视场角参数，使得相机在三维场景里投影与物理世界一致，需要花费大量时间做测量标定工作，同时基于固定位置安装的枪机、球机存在视野有限无法覆盖完整场景的问题。

技术实现思路

1、本申请提供一种标签双向同步方法、装置、电子设备及存储介质，能够实现视频标签与三维场景标签的双向同步，不仅可以规避大量的标定工作，同时还可以扩大监控视野，满足大场景范围的应用需求，提升用户的使用体验。

2、第一方面，本申请实施例提供了一种标签双向同步方法，应用于客户端设备，所述方法包括：

3、接收移动端设备通过标签通讯服务器发送的无人机在当前时刻上的状态信息，并接收所述移动端设备通过流媒体服务器发送的视频画面；

4、根据所述无人机在当前时刻上的状态信息计算所述无人机中的相机的水平视场角和垂直视场角，并根据所述无人机在当前时刻上的状态信息确定所述视频画面在站心地平直角坐标系中的位置；其中，所述站心地平直角坐标系以所述相机的位置为原点，以所述相机的位置到所述视频画面的像片中点的位置的距离为半径；

5、在所述视频画面和预先构建的三维场景模型中分别获取视频标签的位置和三维场景标签的位置；

6、根据所述视频标签的位置、所述相机的水平视场角和垂直视场角以及所述视频画面在所述站心地平直角坐标系中的位置，将所述视频标签同步到所述三维场景模型中，并根据所述三维场景标签的位置、所述相机的水平视场角和垂直视场角以及所述视频画面在所述站心地平直角坐标系中的位置，将所述三维场景标签同步到所述视频画面中。

7、第二方面，本申请实施例还提供了一种标签双向同步装置，所述装置包括：接收模块、计算模块、获取模块和同步模块；其中，

8、所述接收模块，用于接收移动端设备通过标签通讯服务器发送的无人机在当前时刻上的状态信息，并接收所述移动端设备通过流媒体服务器发送的视频画面；

9、所述计算模块，用于根据所述无人机在当前时刻上的状态信息计算所述无人机中的相机的水平视场角和垂直视场角，并根据所述无人机在当前时刻上的状态信息确定所述视频画面在站心地平直角坐标系中的位置；其中，所述站心地平直角坐标系以所述相机的位置为原点，以所述相机的位置到所述视频画面的像片中点的位置的距离为半径；

10、所述获取模块，用于在所述视频画面和预先构建的三维场景模型中分别获取视频标签的位置和三维场景标签的位置；

11、所述同步模块，用于根据所述视频标签的位置、所述相机的水平视场角和垂直视场角以及所述视频画面在所述站心地平直角坐标系中的位置，将所述视频标签同步到所述三维场景模型中，并根据所述三维场景标签的位置、所述相机的水平视场角和垂直视场角以及所述视频画面在所述站心地平直角坐标系中的位置，将所述三维场景标签同步到所述视频画面中。

12、第三方面，本申请实施例提供了一种电子设备，包括：

13、一个或多个处理器；

14、存储器，用于存储一个或多个程序，

15、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请任意实施例所述的标签双向同步方法。

16、第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请任意实施例所述的标签双向同步方法。

17、本申请实施例提出了一种标签双向同步方法、装置、电子设备及存储介质，客户端设备可以接收移动端设备通过标签通讯服务器发送的无人机在当前时刻上的状态信息，并接收移动端设备通过流媒体服务器发送的视频画面；然后根据无人机在当前时刻上的状态信息计算无人机中的相机的水平视场角和垂直视场角，并根据无人机在当前时刻上的状态信息确定视频画面在站心地平直角坐标系中的位置；接着在视频画面和预先构建的三维场景模型中分别获取视频标签的位置和三维场景标签的位置；再根据视频标签的位置、相机的水平视场角和垂直视场角以及视频画面在站心地平直角坐标系中的位置，将视频标签同步到三维场景模型中，并根据三维场景标签的位置、相机的水平视场角和垂直视场角以及视频画面在站心地平直角坐标系中的位置，将三维场景标签同步到视频画面中。也就是说，在本申请的技术方案中，基于无人机在飞行时获取到的实时状态信息，可以自动地将视频标签同步到三维场景模型中，也可以将三维场景标签同步到视频画面中。而在现有技术中，传统的标签同步方案基于固定位置安装的枪机、球机，需要通过人工测量相机的位置、姿态和视场角参数，使得相机在三维场景里投影与物理世界一致，需要花费大量时间做测量标定工作，同时基于固定位置安装的枪机、球机存在视野有限无法覆盖完整场景的问题。因此，和现有技术相比，本申请实施例提出的标签双向同步方法、装置、电子设备及存储介质，能够实现视频标签与三维场景标签的双向同步，不仅可以规避大量的标定工作，同时还可以扩大监控视野，满足大场景范围的应用需求，提升用户的使用体验；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。

技术特征：

1.一种标签双向同步方法，其特征在于，应用于客户端设备，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述无人机在当前时刻上的状态信息包括：所述无人机的位置、所述相机的姿态以及所述相机的变焦；所述无人机的位置包括：所述无人机的经度、纬度和海拔；所述相机的姿态包括：所述相机的偏航角、俯仰角、翻滚角；所述相机的变焦包括：所述相机的变焦焦距和变焦步长。

3.根据权利要求2所述的方法，其特征在于，根据所述视频标签的位置、所述相机的水平视场角和垂直视场角以及所述视频画面在所述站心地平直角坐标系中的位置，将所述视频标签同步到所述三维场景模型中，包括：

4.根据权利要求3所述的方法，其特征在于，根据所述视频标签的位置、所述像片中点的水平旋转角度和垂直旋转角度、所述相机的水平视场角和垂直视场角以及预先确定的所述相机的规格参数，将所述视频标签同步到所述三维场景模型中，包括：

5.根据权利要求4所述的方法，其特征在于，根据所述视频标签的位置、所述像片中点的水平旋转角度和垂直旋转角度、所述相机的水平视场角和垂直视场角以及预先确定的所述相机的规格参数，计算所述视频标签的水平旋转角度和垂直旋转角度，包括：

6.根据权利要求1所述的方法，其特征在于，根据所述三维场景标签的位置、所述相机的水平视场角和垂直视场角以及所述视频画面在所述站心地平直角坐标系中的位置，将所述三维场景标签同步到所述视频画面中，包括：

7.根据权利要求6所述的方法，其特征在于，根据所述三维场景标签的水平旋转角度和垂直旋转角度、所述视频画面在所述站心地平直角坐标系中的位置以及所述相机的水平视场角和垂直视场角，计算所述三维场景标签在所述视频画面中与所述像片中点在水平方向上的偏移比例和在垂直方向上的偏移比例，包括：

8.根据权利要求7所述的方法，其特征在于，根据所述第一参数、所述第二参数、所述第三参数以及所述像片中点的水平旋转角度和垂直旋转角度，计算所述三维场景标签在投影平面水平方向上的偏移和在投影平面垂直方向上的偏移，包括：

9.一种标签双向同步装置，其特征在于，所述装置包括：接收模块、计算模块、获取模块和同步模块；其中，

10.一种电子设备，其特征在于，包括：

11.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至8中任一项所述的标签双向同步方法。

技术总结
本申请公开了一种标签双向同步方法、装置、电子设备及存储介质；该方法包括：接收标签通讯服务器发送的无人机在当前时刻上的状态信息和流媒体服务器发送的视频画面；根据该状态信息计算相机的水平视场角和垂直视场角并确定视频画面在站心地平直角坐标系中的位置；在视频画面和三维场景模型中获取视频标签的位置和三维场景标签的位置；根据视频标签的位置、三维场景标签的位置、相机的水平视场角和垂直视场角以及视频画面的位置，将视频标签同步到三维场景模型中，将三维场景标签同步到视频画面中。本申请能够实现视频标签与三维场景标签的双向同步，规避大量的标定工作，还可以扩大监控视野，满足大场景范围的应用需求，提升用户的使用体验。

技术研发人员：郑宏明,洪敏新,郑伟钿,陈进
受保护的技术使用者：佳都科技集团股份有限公司
技术研发日：
技术公布日：2024/3/27