一种视频注册方法及装置与流程

本申请涉及视频注册技术领域，特别涉及一种视频注册方法及装置。

背景技术：

将真实相机拍摄的视频影像注册到虚拟三维场景中以增强虚拟三维场景的真实感,被称为视频注册。视频注册时，要在虚拟三维场景中添加一个与真实相机相对应的虚拟相机，需要获得该真实相机的内方位元素和外方位元素等相机参数，求解这些用于进行视频注册的相机参数的过程，在计算机视觉和摄影测量学领域被称为相机标定。

在计算机视觉和摄影测量学领域，进行相机标定时，理论上通常用到的相机的线性模型是针孔模型，它是一种理想的成像模型，它遵循的是小孔成像原理，即假设物体表面的反射光都经过一个针孔投射到相机平面上。在线性模型下，相机参数可以通过求解线性方程的方式得到，因此，基于线性模型的相机标定方法具有计算简单、实时性强的优点。

但是，由于透镜加工和安装等多方面因素的影响，空间物点在相机成像平面上实际所成的像点与理想成像之间存在有透镜畸变等非线性的光学畸变，实际的光学系统并不能精确的遵循理想化的小孔成像原理，因此相机的线性模型并不能准确地描述相机的成像几何关系，导致基于线性模型的相机标定的精度比较低，进而导致视频注册的精度也比较低。

技术实现要素：

针对上述问题，本发明提供一种视频注册方法及装置，以提升相机标定的精度，进而提升视频注册的精度。

基于上述目的，本申请提供的技术方案如下：

一种视频注册方法，包括：

基于线性模型对相机进行标定，求解相机的内方位元素估计值和外方位元素估计值；

基于非线性模型对所述内方位元素估计值和所述外方位元素估计值进行迭代优化，获取用于进行视频注册的内方位元素参数和外方位元素参数。

优选地，所述基于线性模型对相机进行标定，求解相机的内方位元素估计值和外方位元素估计值，包括：

确定相机的二维视频图像中的二维控制点集合，并确定三维虚拟场景中的三维控制点集合；所述二维控制点集合中包括多个二维特征点，所述三维控制点集合中包括每个所述二维特征点在所述三维虚拟场景中的投影点；

根据所述二维控制点集合和所述三维控制点集合，线性求解所述相机的透视投影矩阵；

对所述透视投影矩阵进行qr分解，获取所述内方位元素估计值和所述外方位元素估计值。

优选地，所述根据所述二维控制点集合和所述三维控制点集合，线性求解所述相机的透视投影矩阵，包括：

确定每个所述二维特征点在所述二维视频图像中的二维坐标，并确定每个所述投影点在所述三维虚拟场景中的三维坐标；

根据每个所述二维特征点的所述二维坐标构建二维控制点矩阵，并根据每个所述投影点的所述三维坐标构建三维控制点矩阵；

利用所述二维控制点矩阵、所述三维控制点矩阵以及所述二维控制点集合和三维控制点集合之间的透视投影关系，线性求解所述相机的所述透视投影矩阵。

优选地，所述基于非线性模型对所述内方位元素估计值和所述外方位元素估计值进行迭代优化，获取用于进行视频注册的内方位元素参数和外方位元素参数，包括：

根据所述透视投影矩阵，将每个所述投影点重投影到所述二维视频图像上，得到重投影二维特征点，并确定所述重投影二维特征点的二维坐标；

将与每个所述投影点对应的所述重投影二维特征点的二维坐标和二维特征点的二维坐标进行比较，计算重投影误差；

根据非线性模型的最小化目标函数对所述重投影误差进行迭代优化，获取用于进行视频注册的所述内方位元素参数和所述外方位元素参数。

优选地，还包括：

根据获取的所述内方位元素参数和所述外方位元素参数，计算所述相机在所述三维虚拟场景中的透视投影矩阵和观察矩阵，并将所述相机注册到所述三维虚拟场景中。

一种视频注册装置，包括：

标定模块，用于基于线性模型对相机进行标定，求解相机的内方位元素估计值和外方位元素估计值；

优化模块，用于基于非线性模型对所述内方位元素估计值和所述外方位元素估计值进行迭代优化，获取用于进行视频注册的内方位元素参数和外方位元素参数。

优选地，所述标定模块，包括：

确定单元，用于确定相机的二维视频图像中的二维控制点集合，并确定三维虚拟场景中的三维控制点集合；所述二维控制点集合中包括多个二维特征点，所述三维控制点集合中包括每个所述二维特征点在所述三维虚拟场景中的投影点；

求解单元，用于根据所述二维控制点集合和所述三维控制点集合，线性求解所述相机的透视投影矩阵；

分解单元，用于对所述透视投影矩阵进行qr分解，获取所述内方位元素估计值和所述外方位元素估计值。

优选地，所述求解单元，包括：

坐标确定子单元，用于确定每个所述二维特征点在所述二维视频图像中的二维坐标，并确定每个所述投影点在所述三维虚拟场景中的三维坐标；

矩阵构建子单元，用于根据每个所述二维特征点的所述二维坐标构建二维控制点矩阵，并根据每个所述投影点的所述三维坐标构建三维控制点矩阵；

线性求解子单元，用于利用所述二维控制点矩阵、所述三维控制点矩阵以及所述二维控制点集合和三维控制点集合之间的透视投影关系，线性求解所述相机的所述透视投影矩阵。

优选地，所述优化模块，包括：

重投影单元，用于根据所述透视投影矩阵，将每个所述投影点重投影到所述二维视频图像上，得到重投影二维特征点，并确定所述重投影二维特征点的二维坐标；

比较单元，用于将与每个所述投影点对应的所述重投影二维特征点的二维坐标和二维特征点的二维坐标进行比较，计算重投影误差；

优化单元，用于根据非线性模型的最小化目标函数对所述重投影误差进行迭代优化，获取用于进行视频注册的所述内方位元素参数和所述外方位元素参数。

优选地，还包括：

注册模块，用于根据获取的所述内方位元素参数和所述外方位元素参数，计算所述相机在所述三维虚拟场景中的透视投影矩阵和观察矩阵，并将所述相机注册到所述三维虚拟场景中。

应用上述技术方案，本申请提供的一种视频注册方法及装置，基于线性模型对相机进行标定，求解相机的内方位元素估计值和外方位元素估计值；基于非线性模型对内方位元素估计值和外方位元素估计值进行迭代优化，获取用于进行视频注册的内方位元素参数和外方位元素参数。本申请提供的视频注册方法及装置，基于线性模型对相机进行标定，结合非线性模型对相机标定得到的相机参数进行迭代优化，在进行视频注册时采用迭代优化后的内方位元素参数和外方位元素参数，可以减小由于光学畸变造成的相机标定误差，从而可以提升相机标定以及视频注册的精度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的一种视频注册方法的流程示意图；

图2为本申请提供的另一种视频注册方法的流程示意图；

图3为本申请提供的又一种视频注册方法的流程示意图；

图4为本申请提供的一种视频注册装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面，将通过具体实施例对本申请的方案做具体阐述：

图1为本申请提供的一种视频注册方法的流程示意图。

请参照图1所示，本申请实施例提供的一种视频注册方法，包括：

s100：基于线性模型对相机进行标定，求解相机的内方位元素估计值和外方位元素估计值；

参照说明书附图2所示，在本申请实施例中，基于线性模型对相机进行标定，求解相机的内方位元素估计值和外方位元素估计值的方法，可以包括：

s101：确定相机的二维视频图像中的二维控制点集合，并确定三维虚拟场景中的三维控制点集合；二维控制点集合中包括多个二维特征点，三维控制点集合中包括每个二维特征点在三维虚拟场景中的投影点；

在本申请实施例中，二维特征点可以通过接收二维视频图像中的点选操作来确定，二维特征点在三维虚拟场景中的投影点也可以被称为三维特征点。

具体的，二维特征点和相应的投影点都可以设置为多个，优选设置为6个或6个以上，相应的投影点也优选设置为6个或6个以上。

s102：根据二维控制点集合和三维控制点集合，线性求解相机的透视投影矩阵；

在根据二维控制点集合和三维控制点集合，线性求解相机的透视投影矩阵时，首先确定每个二维特征点在二维视频图像中的二维坐标，并确定每个投影点在三维虚拟场景中的三维坐标；

具体的，在相机的二维视频图像上选取二维控制点集合a，根据鼠标在屏幕上的位置，利用opencv计算函数库计算鼠标点对应在二维视频上的坐标，并依次得到二维控制点集合。

然后，根据鼠标在三维虚拟场景中的位置坐标，利用屏幕交互和osgearth碰撞检测函数选取与各个二维特征点相对应的投影点及其坐标，作为对应的三维控制点集合b。

在基于碰撞检测函数计算投影点的三维坐标时，可以在osgearth中通过选取一个二维特征点s(x,y)，分别设置其深度z为近平面深度z1和远平面深度z2，得到带有深度信息的点a(x,y,z1)、b(x,y,z2)，利用投影矩阵坐标转换得到对应三维坐标a(x1,y1,z1)和b(x2,y2,z2)，判断线段ab与三维场景的第一个交点s为屏幕点s对应的投影点的三维坐标。

根据每个二维特征点的二维坐标构建二维控制点矩阵，并根据每个投影点的三维坐标构建三维控制点矩阵；

利用二维控制点矩阵、三维控制点矩阵以及二维控制点集合和三维控制点集合之间的透视投影关系，线性求解相机的透视投影矩阵。

具体的，根据相机的线性模型，求解相机的透视投影矩阵，是根据获得的二、三维控制点集合，利用相机矩阵p＝mc(p为二维控制点矩阵，m为透视投影矩阵，c为三维控制点矩阵)，在给定6对以上投影点的三维坐标及其对应的二维特征点的二维坐标的对应后，便可以线性求解相机的透视投影矩阵m。

s103：对透视投影矩阵进行qr分解，获取内方位元素估计值和外方位元素估计值。

具体的，在线性代数理论中，一个非奇异矩阵a能够表示为正交矩阵q与上三角矩阵r的积，即称a＝qr是a的qr分解。令相机参数矩阵为k，外参数矩阵为(r,t),由于此时相机矩阵m是欧氏的，所以可写成下述形式：

m＝αk(r，t)；

将m表示成m＝(h，p4)，则有h＝αkr，ρ4＝αt；

对h做qr分解：h＝k′r′，其中k′是对角元均为正数的上三角矩阵，r′为正交矩阵，这种分解是唯一的。上三角矩阵k′与相机参数矩阵k相差一个正常数倍。对于平移参数t，可通过下式来确定：

这样就分解出了相机的内外参数矩阵，进一步分解得到相机内方位元素估计值fx、fy、u0、v0和外方位元素估计值t、α、β、γ。

s200：基于非线性模型对内方位元素估计值和外方位元素估计值进行迭代优化，获取用于进行视频注册的内方位元素参数和外方位元素参数。

参照说明书附图3，在本申请实施例中，基于非线性模型对内方位元素估计值和外方位元素估计值进行迭代优化，获取用于进行视频注册的内方位元素参数和外方位元素参数，包括：

s201：根据透视投影矩阵，将每个投影点重投影到二维视频图像上，得到重投影二维特征点，并确定重投影二维特征点的二维坐标；

在本申请实施例中，除重投影到二维视频图像上，得到重投影二维特征点之外，还可以对每个投影点的三维坐标进行透视投影坐标变换，得到与每个投影点的三维坐标相对应的图像点像素坐标；

s202：将与每个投影点对应的重投影二维特征点的二维坐标和二维特征点的二维坐标进行比较，计算重投影误差；

如果是对每个投影点的三维坐标进行透视投影坐标变换，得到与每个投影点的三维坐标相对应的图像点像素坐标之后，可以将每个投影点在二维视频图像中对应的二维特征点的二维坐标与每个投影点相对应的图像点像素坐标相比较，计算重投影误差；

s203：根据非线性模型的最小化目标函数对重投影误差进行迭代优化，获取用于进行视频注册的内方位元素参数和外方位元素参数。

具体的，由于要求精度不需要达到测量任务级别，一阶径向畸变参数k1足够模拟非线性畸变，加上相机内参数fx、fy、u0、v0和外参数t、α、β、γ为优化参数变量，最小化目标函数可以表示为：

其中，udi、vdi表示第i个点对的三维坐标重投影二维特征点的二维坐标，ui、vi表示第i个点对的实际的二维特征点的二维坐标。上式的精确求解可通过levenberg-marquardt算法(lm算法)迭代优化得到。

进一步的，在迭代优化得到用于进行视频注册的内方位元素参数和外方位元素参数之后，本申请实施例就可以根据获取的内方位元素参数和外方位元素参数，计算相机在三维虚拟场景中的透视投影矩阵和观察矩阵，并将相机注册到三维虚拟场景中。

综上，本申请可以在无需额外人工标志物的情况下，利用三维场景的碰撞检测获取屏幕鼠标选点的三维坐标，然后利用相机线性模型标定方法得到相机内、外方位元素的估计值，再结合相机非线性模型标定方法，通过最小化特征点的预测图像位置与实际图像位置的重投影误差，得到精度比较高的相机内、外方位元素参数。

本申请实施例提供的一种视频注册方法，基于线性模型对相机进行标定，求解相机的内方位元素估计值和外方位元素估计值；基于非线性模型对内方位元素估计值和外方位元素估计值进行迭代优化，获取用于进行视频注册的内方位元素参数和外方位元素参数。本申请提供的视频注册方法及装置，基于线性模型对相机进行标定，结合非线性模型对相机标定得到的相机参数进行迭代优化，在进行视频注册时采用迭代优化后的内方位元素参数和外方位元素参数，可以减小由于光学畸变造成的相机标定误差，从而可以提升相机标定以及视频注册的精度。

图4为本申请提供的一种视频注册装置的结构示意图。

请参照图4所示，本申请实施例提供的一种视频注册装置，包括：

标定模块1，用于基于线性模型对相机进行标定，求解相机的内方位元素估计值和外方位元素估计值；

其中，标定模块1，可以包括：

确定单元，用于确定相机的二维视频图像中的二维控制点集合，并确定三维虚拟场景中的三维控制点集合；二维控制点集合中包括多个二维特征点，三维控制点集合中包括每个二维特征点在三维虚拟场景中的投影点；

求解单元，用于根据二维控制点集合和三维控制点集合，线性求解相机的透视投影矩阵；

优选地，求解单元，可以包括：

坐标确定子单元，用于确定每个二维特征点在二维视频图像中的二维坐标，并确定每个投影点在三维虚拟场景中的三维坐标；

矩阵构建子单元，用于根据每个二维特征点的二维坐标构建二维控制点矩阵，并根据每个投影点的三维坐标构建三维控制点矩阵；

线性求解子单元，用于利用二维控制点矩阵、三维控制点矩阵以及二维控制点集合和三维控制点集合之间的透视投影关系，线性求解相机的透视投影矩阵。

分解单元，用于对透视投影矩阵进行qr分解，获取内方位元素估计值和外方位元素估计值。

优化模块2，用于基于非线性模型对内方位元素估计值和外方位元素估计值进行迭代优化，获取用于进行视频注册的内方位元素参数和外方位元素参数。

其中，优化模块，可以包括：

重投影单元，用于根据透视投影矩阵，将每个投影点重投影到二维视频图像上，得到重投影二维特征点，并确定重投影二维特征点的二维坐标；

比较单元，用于将与每个投影点对应的重投影二维特征点的二维坐标和二维特征点的二维坐标进行比较，计算重投影误差；

优化单元，用于根据非线性模型的最小化目标函数对重投影误差进行迭代优化，获取用于进行视频注册的内方位元素参数和外方位元素参数。

进一步的，视频注册装置还可以包括：

注册模块，用于根据获取的内方位元素参数和外方位元素参数，计算相机在三维虚拟场景中的透视投影矩阵和观察矩阵，并将相机注册到三维虚拟场景中。

综上，本申请可以在无需额外人工标志物的情况下，利用三维场景的碰撞检测获取屏幕鼠标选点的三维坐标，然后利用相机线性模型标定方法得到相机内、外方位元素的估计值，再结合相机非线性模型标定方法，通过最小化特征点的预测图像位置与实际图像位置的重投影误差，得到精度比较高的相机内、外方位元素参数。

本申请实施例提供的一种视频注册装置，基于线性模型对相机进行标定，求解相机的内方位元素估计值和外方位元素估计值；基于非线性模型对内方位元素估计值和外方位元素估计值进行迭代优化，获取用于进行视频注册的内方位元素参数和外方位元素参数。本申请提供的视频注册方法及装置，基于线性模型对相机进行标定，结合非线性模型对相机标定得到的相机参数进行迭代优化，在进行视频注册时采用迭代优化后的内方位元素参数和外方位元素参数，可以减小由于光学畸变造成的相机标定误差，从而可以提升相机标定以及视频注册的精度。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种视频注册方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。