相机AR实景标注的方法及系统与流程

相机ar实景标注的方法及系统
技术领域
1.本发明涉及视频监控技术领域，尤其涉及相机ar实景标注的方法及系统。


背景技术：

2.近年来，经过平安城市、天眼工程、智慧城市等的建设，城市治理得到很大提升，但随着智能化要求日益增多，对城市管理提出了新的要求。如何将现实中的建筑、消防栓、火灾点等实景位置投影标注到视频监控画面中，以达到在监控画面内查看实景信息的效果。这要求标注的实景位置与视频中的图像位置相对应，实景信息以标签（图标+标题）的形式展现在视频画面中，为此需要一种相机ar实景增强显示系统。
3.现有的解决方案，一种是人工对应位置关系，人工记录实景gps点对应的相机的图像的坐标，这种方法耗时耗力，当相机数量和实景对象很多时，工程量极大，人工记录变的不可接受。另一种是利用计算机通过特定算法计算出坐标，例如专利申请公布号为cn111275766a提出的图像坐标系与gps坐标系的标定方法、装置及摄像机，以及专利申请公布号为cn111914049 a提出的经纬度坐标与图像坐标映射方法，但这些已有的解决方案多为单应矩阵算法，需要至少标定4个点且不能共线；或者其他算法对相机内置参数、外置参数要求较高。


技术实现要素：

4.本发明的目的是提供相机ar实景标注的方法及系统，只需至少2个标定点及相机位置参数就能对相机进行标定计算和目标点坐标计算，同时能对目标点以标签的方式标注到视频中。
5.为了实现上述目的，本发明采用了如下技术方案：相机ar实景标注的方法，包括如下步骤：s100、对相机进行标定：对监控设备拍摄的视频画面进行截图，得到待标定的投影图像，对投影图像的图像中心点和除图像中心点外任一点进行标定，利用标定点gps坐标、相机光学中心的gps坐标、相机高度计算出一组标定结果参数，所述标定结果参数包括相机水平偏移角fp、相机垂直偏移角ft、相机水平视场角hfa、相机垂直视场角vfa；s200、根据业务场景选取实景对象作为目标点，找到离目标点最近的标定点，利用最近标定点的标定结果参数将目标点的gps坐标换算成像素坐标；s300、根据所述像素坐标对实景对象设置目标点标签，在视频画面进行标注显示。
6.s100进一步包括如下步骤：s101、人工读取图像中心点的原始像素坐标（x0,y0），并获取图像中心点的gps坐标（α0,β0），以及选取除图像中心点外的任一实景对象作为标定点n，获取标定点n的gps坐标（αn,βn）；s102、获取相机（即相机光学中心）的gps坐标（α1,β1），利用图像中心点计算相机的垂直偏移角度：ft = arctan(h0/l1)，其中，h0为相机高度，l1为相机与图像中心点的距离；s103、利用标定的图像中心点计算相机的水平偏移角：fp = arccos(m1/m2)，其中，
m1、m2为辅助距离参数；s104、计算相机光轴与标定点n的水平夹角：gx=arccos（k
1 / k2）
‑ꢀ
fp，k1、k2均为辅助距离参数；s105、计算相机与标定点n的垂直夹角：gy=arctan（h0/k2）；s106、计算相机的垂直视场角vfa、水平视场角hfa。
7.步骤s200进一步包括如下步骤：s201、确定离目标点最近的标定点，然后取最近标定点对应的标定结果参数，确定最近标定点的具体过程为：遍历各标定点，用目标点的经纬度依次与各标定点的经纬度进行距离计算，取最小距离的标定点；s202、计算目标点与相机光轴的水平夹角gx
´
、目标点与相机光轴的垂直夹角gy
´
；s203、取最近标定点的相应标定参数计算相机光学中心到图像的距离r：r = (w/ 2 ) / tan( hfa/ 2)，其中，hfa为步骤s201中的hfa值，w为图像宽度总像素；s204、计算目标点的像素坐标（x
´
、y
´
）：）：；转换为目标点的原始像素坐标：y
´
= y
´
* (hfa / vfa)x
´
= x
´
所述目标点的原始像素坐标即作为该实景对象对应标签的像素坐标。
8.步骤s300进一步包括如下步骤：s311、根据实景对象类型，将实景对象做成不同的标签，并根据窗口大小自适应调整；s312、进行标签聚合处理；s313、进行动态聚合标签样式处理。
9.进一步设置为：所述标签聚合处理包括如下步骤：1）初始化标签集合，把所有标签数据放入集合中；2）取集合中第一个标签，加入到新聚合标签中，并把该标签的像素坐标作为该聚合标签的像素坐标，最后把标签从集合中删除；3）遍历集合中其他标签，如果与第一个标签距离小于距离阈值，那么就归为同一个聚合标签，并从集合中删除；4）重复第2步、第3步，直到集合为空，所有标签都进行了聚合处理，得到多个聚合标签，每个聚合标签都有一个像素坐标；5）根据像素坐标把聚合标签标注到视频画面中。
10.进一步设置为：所述动态聚合标签样式处理包括如下步骤：1) 如果聚合的是同一种标签，那聚合后的图标跟聚合前的图标一致，标题显示聚合的标签数量；2) 如果聚合了多种标签，把每种标签图标横向并排组成一个新的动态聚合图标，每种标签的标题显示该标签聚合的数量，图标的排列可以按聚合数量排序，数量大的排在
前，形成标签列表；3) 点击该动态聚合图标时，显示聚合前的标签列表，点击列表中的某一标签可以展示该标签的详细信息。
11.相机ar实景标注的系统，包括相机标定模块、点位计算模块和标签显示模块；所述相机标定模块：对相机进行标定，用于对视频画面的图像中心点和任意另外一点进行标定，利用标定点gps坐标、标定点像素坐标、相机光学中心的gps坐标、相机高度计算出一组标定结果参数；所述点位计算模块：和所述相机标定模块相连接，用于将任一目标点的gps坐标计算转换为相机图像对应的像素坐标；所述标签显示模块：和所述点位计算模块相连接，用于通过点位计算模块输出的像素坐标将标签标注到监控视频对应的位置进行显示。
12.进一步设置为：所述标签显示模块包括标签聚合处理子模块和与之相连接的动态聚合标签样式处理子模块，所述标签聚合处理子模块用于对所有标签数据进行聚合处理，所述动态聚合标签样式处理子模块用于对聚合标签进行动态显示的样式处理。
13.相比于现有技术，本发明的有益技术效果为：1、标定时采用实景位置进行标定而非标定板，可以直接对视频图像进行标定，不需要去现场标定，同时也避免了有些相机已安装在高空的情况下不能使用标定板的限制。
14.2、本方法不需要相机提供过多的内置参数（比如相机的视场角、相机畸变数组）、外置参数（比如相机安装时镜头朝向），通过至少2个标定点和相机的位置，即可计算出相机状态参数，再通过模型公式计算出任意目标点像素坐标。
15.3、标签显示时可以根据播放器的宽高比例，进行自适应位置调整；标签重合时进行自动聚合处理；聚合标签支持动态组合样式。
16.本系统除了适用于单镜头的固定视角相机，也适用于多镜头拼接成的全景相机，将全景相机每个单镜头单独做标定计算处理即可，原理一致。
附图说明
17.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明提供的相机ar实景标注的方法流程图；图2为本发明的相机成像模型示意图；图3为计算相机垂直偏移角的示意图；图4为计算相机的水平偏移角示意图；图5为计算相机光轴与标定点的水平夹角示意图；图6为计算相机光轴与标定点的垂直夹角示意图；图7为对相机成像模型添加辅助线和点并做视角转换后的示意图一；图8为对相机成像模型添加辅助线和点并做视角转换后的示意图二；图9为计算相机水平视场角的示意图；
图10为将标签聚合显示处理的流程图；图11为本发明提供的相机ar实景标注的系统的结构框图；图12为本发明提供的一种电子设备的结构框图。
19.附图标记：401、相机标定模块；402、点位计算模块；403、标签显示模块；501、处理器；502、存储器；503、i/o接口；504、外部设备；505、显示器；506、网络适配器。
具体实施方式
20.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
22.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
23.下面首先对本技术涉及到的技术术语进行解释：投影图像：现实世界中被相机、摄像机等监控设备拍摄到的画面，可以是视频截图得到的图像。
24.gps坐标：现实世界中建筑、消防栓、火灾点等物体的地理位置，用经度和纬度表示。
25.原始像素坐标：现实世界中建筑、消防栓、火灾点等物体投影到投影图像上的位置，原始像素坐标可以直接通过投影图像读取。
26.标定像素坐标：经过标定计算后得到的像素坐标。
27.实施例1参照图1，为本发明公开的相机ar实景标注的方法，包括如下步骤：s100、对相机进行标定：对监控设备拍摄的视频画面进行截图，得到待标定的投影图像，对投影图像的图像中心点和除图像中心点外任一点进行标定，即选取图像中心点作为其中一个标定点，其他标定点至少选取1个，为了方便描述，其他标定点我们命名为标定点n，利用标定点gps坐标、相机光学中心的gps坐标、相机高度计算出一组标定结果参数。标定结果参数包括相机水平偏移角fp、相机垂直偏移角ft、相机水平视场角hfa、相机垂直视场角vfa。
28.s101、人工读取图像中心点的原始像素坐标（x0,y0），并获取图像中心点的gps坐标（α0,β0），以及选取除图像中心点外的任一实景对象作为标定点n，获取标定点n的gps坐标（αn,βn）。
29.为了方便理解，参照图2，为相机成像模型示意图。例如图像整体像素自定义为256*256（这里可以根据需要进行定义，只要整个计算体系遵循一种定义即可），那图像中心点的原始像素坐标（x
0，
y0）即（128,128），各标定点对应的gps坐标可以通过百度地图获取。
30.s102、参照图3，获取相机（即相机光学中心）的gps坐标（α1,β1），利用图像中心点计算相机的垂直偏移角度：ft = arctan(h0/l1)，其中，h0为相机高度，l1为相机与图像中心点的距离。值得一提的是，为了便于描述，下文所说的相机各项参数均指的是相机光学中心的参数。
31.l1通过相机和图像中心点两点的gps坐标计算得出，可以采用球面距离公式：，其中，r为地球的平均半径。
32.这是计算相机镜头朝向的过程，相机安装时镜头有一个固定的朝向，垂直方向上的朝向角度即指垂直偏移角度，相机垂直偏移角也就是相机光轴与水平面的垂直夹角。
33.s103、参照图4，利用图像中心点计算相机的水平偏移角：fp = arccos(m1/m2)，其中，m1、m2为辅助距离参数，通过相机和图像中心点的gps坐标计算得出，具体计算公式可参考球面距离公式。
34.s104、参照图5，计算相机光轴与标定点n的水平夹角gx。
35.gx=β-fp，β=arccos(k1/k2)，其中，β为辅助角，k1、k2均为辅助距离参数，通过相机和标定点n的gps坐标计算得出，具体计算公式可参考球面距离公式。
36.整合后，得到gx=arccos（k
1 / k2）
‑ꢀ
fp。
37.s105、参照图6，计算相机光轴与标定点n的垂直夹角gy。
38.gy=arctan（h0/k2）其中，h0为相机高度，具体计算公式可参考球面距离公式。
39.s106、计算相机的垂直视场角、水平视场角1）参照图7，相机成像模型添加辅助线和点如图7(a)所示，对pp
´´
c区域进行视角转换后如图7(b)所示。
40.辅助点说明见下表：b为标定点投影到图像上的位置c为相机光学中心p为b点的平行位移点，与图像的y轴相交p
´
为p点与相机光学中心所在平面的垂直交点o图像中心点o
´
是图像中心点与相机光学中心所在平面的垂直交点p
´´
为p点与m线（图像与相机光学中心所在平面交线）的垂直交点图中各参数说明见下表：x标定像素x坐标y标定像素y坐标gx相机与标定点的水平夹角ft相机的垂直偏移角rc点到投影图像的距离e2o
´
到p
´
的距离
e3p
´
到c的距离e1o
´
到c的距离可以得知以下基础公式：x= tan(gx) * n
ꢀꢀ
（公式1）e3= e
1-e2ꢀꢀꢀꢀꢀ
（公式2）k = r * cos(ft)
ꢀꢀ
（公式3）m = y* sin(ft)
ꢀꢀ
（公式4）将公式2、3、4带入公式1得出标定像素x坐标的计算公式： （公式5）b.接着，对成像模型进行另一维度的计算：2）参照图8，相机成像模型添加辅助线和点如图8(a)所示，对pp
´´
c区域进行视角转换后如图8(b)所示。
41.辅助点说明如下表：b为标定点投影到图像上的位置b
´
为b点与相机光学中心所在平面的垂直交点b
´´
为b点与m线（图像与相机光学中心所在平面交线）的垂直交点c为相机光学中心p为b点的平行位移点，与图像的y轴相交p
´
为p点与相机光学中心所在平面的垂直交点p
´´
为p点与m线（图像与相机光学中心所在平面交线）的垂直交点o图像中心点图中参数说明见下表：x标定像素x坐标y标定像素y坐标gx相机与标定点的水平夹角gy相机与标定点的垂直夹角ft相机的垂直偏移角r相机光学中心到投影图像的距离j相机光学中心到辅助点p的距离
ꢀꢀ
e4辅助点b到相机光学中心的距离l3辅助点p到p的距离l4辅助点b到b的距离可以得知以下基础公式：l3= sin(ft) * (y+ j)
ꢀꢀ
（公式6）l
4 = tan(gy) * e4ꢀꢀꢀꢀꢀ
（公式7）j = tan(ft) * r
ꢀꢀꢀꢀꢀꢀꢀ
（公式8）k = x/cos(gx)
ꢀꢀꢀꢀꢀꢀ
（公式9）
l3和l
4 是平行位移关系，l3=l
4 ，所以有：sin(ft) * (y+ j) = tan(gy) * e4ꢀꢀ
（公式10）将公式8、9、5带入公式10得出：sin(ft)* (y+ tan(ft)*r) = tan(gy) * tan(gx) * (r* cos(ft)
ꢀ‑ꢀ
y* sin(ft)) / cos(gx)
ꢀꢀꢀ
（公式11）对公式11进行y值提取，最终得出标定点像素y坐标的计算公式：（公式12）3）计算相机光学中心到图像的距离r，将公式5、公式12进行合并，得到公式13（公式13）4）计算相机水平视场角（hfa）参照图9，图中参数说明见下表：hfa相机水平视场角r相机光学中心到投影图像的距离w图像宽度总像素，前面定义的是256hfa = 2 * arctan((w / 2 ) / r)
ꢀꢀ
（公式14）5）计算相机垂直视场角（vfa）计算相机垂直视场角时，需要注意，不能通过r与屏幕高度总像素进行计算，因为之前定义的整个画面像素是256*256，而实际的屏幕可能是宽屏，不是正方形。计算相机水平视场角时已经用x作为基准，后面用y时需要根据屏幕实际宽高比进行等比例缩放，所以有以下公式：y/y = hfa/ vfa因此，可得：vfa = hfa * y / y
ꢀꢀ
（公式15）hfa相机水平视场角vfa相机垂直视场角y原始像素y坐标，为已知值，通过投影图像获取y等比例转换前的y坐标（即标定像素y坐标），通过公式12计算得出由前面描述可知，通过标定点可以计算出基于该点的相机参数（fp、ft、hfa、vfa），因为有些相机对畸变的处理不是很理想，为了提高精度，可以对图像选取多个点进行标定，得到一组标定结果参数。
42.标定结果参数样例： 标定点经度标定点纬度水平偏移fp垂直偏移ft水平视场角hfa垂直视场角vfa标定点1117.13473839.10462710.73.9356.5331.61标定点2117.13360439.10627310.73.9353.1430.31标定点3117.13557239.10461410.73.9357.1534.21标定点4117.13413739.10562510.73.9356.8833.57
s200、根据业务场景选取实景对象作为目标点，找到离目标点最近的标定点，利用最近标定点的标定结果参数将目标点的gps坐标换算成像素坐标。
43.s201、找到离目标点最近的标定点，然后取最近标定点对应的标定结果参数（ft、fp、hfa、vfa）。目标点指的是需要在实景地图上标记的那个实景对象，例如需要在地图上标记的建筑、消防栓、火灾点等物体。
44.确定最近标定点的具体过程为：遍历各标定点，用目标点的经纬度依次与各标定点的经纬度进行距离计算，取最小距离的标定点。例如采用球面距离计算公式进行距离计算，。
45.其中，s为任意一个标定点到目标点的距离，β1为标定点的纬度角，α1为标定点的经度角；β2为目标点的纬度角，α2为目标点的经度角，r为地球的平均半径。
46.s202、计算目标点与相机光轴的水平夹角gx
´
、目标点与相机光轴的垂直夹角gy
´
。
47.计算公式可以参照相机标定过程求解gx、gy的公式：gx
´
=arccos(k1´
/k2´
)-fp，gy
´
=arctan(h0/k2´
)，其中，k1´
、k2´
均为辅助距离参数，通过相机和目标点的gps坐标计算得出，求解原理同步骤s104，具体计算公式可参考球面距离公式。
48.s203、取最近标定点的相应标定参数计算相机光学中心到图像的距离r，计算公式可以参照相机标定过程求解hfa的公式14：r = (w/ 2 ) / tan( hfa/ 2)hfa为步骤s201中的hfa值；w为图像宽度总像素，前面定义的是256。
49.s204、计算目标点的像素坐标（x
´
、y
´
）：）：转换为目标点的原始像素坐标：y
´ꢀ
= y
´
* (hfa / vfa)x
´ꢀ
= x
´
通过对相机视频图像进行标定，建立实景gps点与像素坐标点的关系模型，计算出基于标定点的相机状态参数。利用模型公式和相机状态参数，可以计算出任意实景目标点的像素坐标，再转换为目标点的原始像素坐标。目标点的原始像素坐标即作为该实景对象对应标签的像素坐标。
50.s300、对实景对象设置目标点标签，在视频画面进行标注显示。
51.s311、根据实景对象类型，将实景对象做成不同的标签，并根据窗口大小自适应调整。
52.以火情业务场景为例，实景对象有居民楼、监控立杆、消防栓、火灾点、消防局等（不同的业务场景对应的实景对象是不同的）。根据实景对象类型，将实景做成不同的标签（图标+标题+详情）。比如火灾点标签样式，图标是一个红色火焰，标题显示火灾地点，标题位置在图标的上方，点击图标时，会弹出火灾的详情信息。
53.根据播放器窗口的大小自适应调整。由于视频的播放器大小是可以调整的，而输出的目标点像素坐标是按照256*256计算的，所以需要标签的像素坐标（x
´
、y
´
值）需要根据播放器窗口的大小做自适应调整。
54.定义视频播放器的宽和高为w、h，相机标定图像的像素为256*256（与前面的定义保持一致，整个系统遵循一种定义），转换前的像素坐标为x
´
、y
´
，转换后的像素坐标为x
´´
、y
´´
。
55.x
ꢀ´´
=（w * x
´
）/256，y
´´ꢀ
=（h * y
´
）/256。
56.s312、进行标签聚合处理。
57.参照图10，当一个位置有多个标签时，会出现标签堆叠在一起的情况，需要做聚合显示处理，把临近的标签整合成一个聚合标签，聚合标签可以做成不同的显示样式，便于与普通标签区分。具体的处理流程如下步骤：1）初始化标签集合，把所有标签数据放入集合中。
58.2）取集合中第一个标签，加入到新聚合标签中，并把该标签的像素坐标作为该聚合标签的像素坐标，最后把标签从集合中删除。
59.3）遍历集合中其他标签，如果与第一个标签距离小于距离阈值d（d可以根据标签密集度进行调整），那么就归为同一个聚合标签，并从集合中删除。
60.4）重复第2步、第3步，直到集合为空，所有标签都进行了聚合处理，得到多个聚合标签，每个聚合标签都有一个像素坐标。
61.5）根据像素坐标把聚合标签标注到视频画面中。
62.利用像素坐标将实景以标签的形式标注到视频画面中，标签位置能自适应窗口大小的调整，能对重合的标签做自动化聚合处理，最终达到相机ar实景增强显示的效果。
63.s313、进行动态聚合标签样式处理。
64.1) 如果聚合的是同一种标签，那聚合后的图标跟聚合前的图标一致，标题显示聚合的标签数量。
65.2) 如果聚合了多种标签，把每种标签图标横向并排组成一个新的动态聚合图标，每种标签的标题显示该标签聚合的数量，图标的排列可以按聚合数量排序，数量大的排在前，形成标签列表。
66.3) 点击该动态聚合图标时，显示聚合前的标签列表，点击列表中的某一标签可以展示该标签的详细信息。
67.通过上述动态聚合标签样式处理，可以帮助城市管理者快速、直观地浏览实景对象，查看实景详细信息。
68.参照图11，为本发明公开的相机ar实景标注的系统，包括相机标定模块401、点位计算模块402和标签显示模块403；所述相机标定模块401：对相机进行标定，用于对视频画面的图像中心点和任意另外一点进行标定，利用标定点gps坐标、标定点像素坐标、相机光学中心的gps坐标、相机高度计算出一组标定结果参数；所述点位计算模块402：和所述相机标定模块401相连接，用于将任一目标点的gps坐标计算转换为相机图像对应的像素坐标；
所述标签显示模块403：和所述点位计算模块402相连接，用于通过点位计算模块输出的像素坐标将标签标注到监控视频对应的位置进行显示。
69.其中，所述标签显示模块403包括标签聚合处理子模块和与之相连接的动态聚合标签样式处理子模块，所述标签聚合处理子模块用于对所有标签数据进行聚合处理，所述动态聚合标签样式处理子模块用于对聚合标签进行动态显示的样式处理。本系统的工作原理和具体实施过程参见前述方法实施例，此处不再赘述。
70.本系统除了适用于单镜头的固定视角相机，也适用于多镜头拼接成的全景相机，将全景相机每个单镜头单独做标定计算处理即可，原理一致。
71.参照图12，本发明还提供了一种电子设备，该电子设备包括：一个或多个处理器501，以及用于存储处理器501的可执行指令的存储器502，存储器502和处理器501电性连接。
72.其中，处理器501配置为经由执行所述可执行指令来执行前述方法实施例对应的方法，其具体实施过程可以参见前述方法实施例，此处不再赘述。
73.可选的，该电子设备还可以包括：通信接口503，该电子设备通过通信接口503可以与一个或多个外部设备504（例如键盘、指向设备、显示器505等）通信连接。
74.可选的，该电子设备还可以包括：网络适配器506，该电子设备可通过网络适配器506与一个或多个网络（例如局域网（lan），广域网（wan）和/或公共网络，例如因特网）通信。
75.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器501执行时实现前述方法实施例中对应的方法，其具体实施过程可以参见前述方法实施例，此处不再赘述。
76.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。