多相机的位姿计算方法、装置、设备及存储介质与流程

本公开一般涉及图像处理领域和视觉测量技术领域，尤其涉及多相机的位姿计算方法、装置、设备及存储介质。

背景技术：

机场布置有无死角摄像机监控系统，通过该监控系统调用查看机场各位置视频流，还可以回溯一定时间范围内的录像。而系统只能记录，并不理解这些场景发生的内容，理解或者分析工作通常由人工参与。场景的理解首先需要对场景中的物体进行定位，以确定物体是否合适的出现在该出现的位置，是否出现在不该出现的位置，并给予相应的实时警报。

机场场景范围非常大，直接导致相机分布广、分布稀疏，并且每个相机具有一定的差异性。针对稀疏分布的多相机或者稀疏相机阵列，需要将所有相机统一到一个坐标系中，其中，如何求解其相互之间的位置和姿态是一个非常关键的技术问题。

技术实现要素：

鉴于现有技术中的上述缺陷或不足，期望提供一种能够用于稀疏分布的多相机的位姿计算方法、装置、设备及存储介质。

第一方面，提供一种多相机的位姿计算方法，方法包括：

确定各相机的特征信息，特征信息包括各相机的坐标信息、视角信息、棋盘格信息；

根据特征信息，计算各相邻相机的重叠拍摄区域，将重叠拍摄区域大于指定区域的相机进行关联，直到关联所包含的n个相机；

根据接力法，通过前n-1个相机的特征信息，计算第一相机与第n个相机之间的位姿关系。

第二方面，提供一种多相机的位姿计算装置，装置包括：

特征单元，配置用于确定各相机的特征信息，特征信息包括各相机的坐标信息、视角信息、棋盘格信息；

预处理单元，配置用于根据特征信息，计算各相邻相机的重叠拍摄区域，将重叠拍摄区域大于指定区域的相机进行关联，直到关联所包含的n个相机；

计算单元，配置用于根据接力法，通过前n-1个相机的特征信息，计算第一相机与第n个相机之间的位姿关系。

第三方面，提供一种设备，设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行本发明中各实施例所提供的多相机的位姿计算方法。

第四方面、提供一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现本发明中各实施例所提供的多相机的位姿计算方法。

根据本申请实施例提供的技术方案，通过计算各相邻相机的重叠拍摄区域，将重叠拍摄区域大于指定区域的相机进行关联，直到关联所包含的n个相机，以此能够解决稀疏分布的多相机中任意两个的位姿关系的计算问题。进一步的，根据本申请的某些实施例，通过增加球形相机，还能解决所计算的相邻相机的重叠拍摄区域小于指定区域的相机的关联问题。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了根据本申请实施例的多相机的位姿计算方法的示例性流程图；

图2示出了根据本申请实施例的计算重叠拍摄区域示例性示意图；

图3示出了根据本申请实施例的步骤s20的示例性流程图；

图4示出了根据本申请实施例的借助球形相机增加重叠拍摄区域的示例性示意图；

图5示出了根据本申请实施例的步骤s30的示例性流程图；

图6示出了根据本申请实施例的计算两个相机的位姿关系的示例性示意图；

图7示出了根据本申请实施例的多相机的位姿计算装置的示例性结构框图；

图8示出了根据本申请实施例的一种设备的示例性结构框图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

请参考图1，示出了根据本申请实施例的多相机的位姿计算方法的示例性流程图。如图所示，该方法包括：

步骤s10：确定各相机的特征信息，特征信息包括各相机的坐标信息、视角信息、棋盘格信息；

步骤s20：根据特征信息，计算各相邻相机的重叠拍摄区域，将重叠拍摄区域大于指定区域的相机进行关联，直到关联所包含的n个相机；

步骤s30：根据接力法，通过前n-1个相机的特征信息，计算第一相机与第n个相机之间的位姿关系。

为了更好的说明本发明，将机场作为应用场景。在机场稀疏地布置了n个相机，各相机之间的距离、各相机离地面的距离都不尽相同。为了将所有相机统一到一个坐标系中，需要确定各相机之间的位置和姿态，该位姿可通过相机之间的旋转矩阵和平移矩阵体现。

在步骤s10，确定已布置相机的坐标，即定义世界坐标点在各相机坐标系的坐标，还包括视角信息、与棋盘格所在平面的距离信息。如图2所示，图中包括相邻的相机cam1和相机cam2，其视角分别为α1和α2。其中各相机与棋盘格所在的λ平面之间的距离分别为h1和h2。

在步骤s20，根据视角信息和距离信息计算相机cam1和相机cam2之间的重叠区域l，其计算公式如下：

重叠区域l与指定区域lk比较，重叠拍摄区域大于指定区域时相机cam1和相机cam2进行关联，指定区域lk为k×wboard,其中wboard为棋盘格的长度，系数k可根据情况而定，通常为保证整个棋盘格位于重叠拍摄区域内，k的取值大于1，例如k＝1.2棋盘格的形状为矩形时取宽度和长度中的较大值。根据上述方法将机场中所布置的n个相机都进行关联，即第一相机关联第二相机、第二相机关联第三相机、第三相机关联第四相机…第n-1相机关联第n相机。。

在步骤s30，该接力法，是指根据关联关系依次计算各相机之间的位姿关系。例如计算第一相机和第二相机的位姿关系；接着将第三相机加入计算，计算第一相机和第三相机的位姿关系；再把第四相机加入计算，并计算第一相机和第四相机的位姿关系；依次计算第一相机和第n相机的位姿关系。

请参考图3，示出了根据本申请实施例的步骤s20的示例性流程图。在步骤s20，重叠拍摄区域小于指定区域的而相机无法进行关联时，采用如下方法增加重叠拍摄区域：

步骤s21，利用球形相机补偿重叠拍摄区域，使得重叠拍摄区域的视角大于指定视角，球形相机位于重叠拍摄区域小于指定区域的第i相机与第i+1相机之间，其中1≤i≤n；

步骤s22计算第一相机与第n个相机之间的位姿关系转换为计算第一相机与第n+1个相机之间的位姿关系。

请参考图4，示出了根据本申请实施例的借助球形相机增加重叠拍摄区域的示例性示意图。当相邻的相机cam1与相机cam3之间的重叠拍摄区域l小于指定区域lk时，借助球形相机cam2以增加重叠拍摄区域。可以理解的是相机cam1、相机cam3可以为相机1至相机n中的任意一对相邻相机。如图所示，相机cam1与球形相机cam2之间的重叠拍摄区域为l1，球形相机cam2与相机cam3之间的重叠拍摄区域为l2，满足重叠拍摄区域l大于指定区域lk的条件。与图2的区别在于，因引入球形相机的缘故，两个相机的姿态关系变成三个相机的姿态关系，进而，当存在n个相机时，每增加一个球形相机参与计算的相机将增加一个。

接着，请参考图5，示出了根据本申请实施例的步骤s30的示例性流程图。如图所示，步骤s30包括：

步骤s31：根据第一相机和第二相机特征信息，计算第一相机和第二相机的位姿关系；

步骤s32：根据接力法，将第三个相机加入到计算中，计算第二相机和第三相机的位姿关系；

步骤s33：通过第一相机和第二相机的位姿关系、第二相机和第三相机的位姿关系，计算第一相机与第三相机的位姿关系，依次类推，计算第一相机与第n个相机之间的位姿关系。

请参考图6，示出了根据本申请实施例的计算两个相机的位姿关系的示例性示意图。其中，第一相机的坐标为x1＝[xclyclzcl]^t，第二相机的坐标为x2＝[xcrycrzcr]^t，棋盘格的坐标为xc＝[xccycczcc]^t。棋盘格位于第一相机与第二相机的重叠拍摄区间，此时，通过pnp法可分别计算第一相机、第二相机相对于同一棋盘格的外部矩阵r1、t1、r2、t2，其中r1、r2为3×3的旋转矩阵，t1、t2为的平移矩阵。第一相机、第二相机与棋盘格之间存在如下关系：

x1＝r1xc+t1(2)

x2＝r2xc+t2(3)

x2＝r12x1+t12(4)

其中公式1的矩阵表示为：

其他公式的矩阵表示这里不再赘述。

其中，xc为已知量，通过公式2、3、4求解。从公式1可将xc表

示为：

并将该结果代入至公式3获得如下结果：

得出第一相机与第二相机之间的位姿即旋转矩阵r12及平移矩阵t12，

同理，可以计算出第二相机与第三相机之间的旋转矩阵r23及平移矩阵t23，此时，棋盘格位于第二相机与第三相机的重叠拍摄区域。

接着加入第三个相机，此时存在如下关系式：

x1＝r12x2+t12(5)

x2＝r23x3+t23(6)

将公式6代入公式5得出x1＝r12r23x3+r12t23+t12

进而获得第一个相机与第三个相机之间的关系：

r13＝r12r23

t13＝r12t23+t12

依次类推，当有多个相机时，存在如下关系式：

x1＝r12x2+t12(5)

将下面的公式依次代入到公式5获得：

其中ri(i+1)为相机i和相机i+1之间的外参旋转矩阵，ti(i+1)为相机i和相机i+1之间的外参平移矩阵。x1为世界坐标系下的点在相机1坐标系下的坐标，xn为世界坐标系下的点在相机n坐标系下的坐标。

从而推导出第1个相机和第n个相机之间的外参旋转矩阵r1n和平移矩阵t1n为：

本申请还提供一种多相机的位姿计算装置。

图7示出了根据本申请实施例的多相机的位姿计算装置300的示例性结构框图。如图所示，装置包括：

特征单元310，配置用于确定各相机的特征信息，特征信息包括各相机的坐标信息、视角信息、棋盘格信息；

预处理单元320，配置用于根据特征信息，计算各相邻相机的重叠拍摄区域，将重叠拍摄区域大于指定区域的相机进行关联，直到关联所包含的n个相机；

计算单元330，配置用于根据接力法，通过前n-1个相机的特征信息，计算第一相机与第n个相机之间的位姿关系。

在一些实施例中，所计算的相邻相机的重叠拍摄区域小于指定区域的相机时，预处理单元320包括：

补偿单元321，配置用于利用球形相机补偿重叠拍摄区域，使得重叠拍摄区域的视角大于指定视角，球形相机位于重叠拍摄区域小于指定区域的第i相机与第i+1相机之间；

转换单元322，配置用于计算第一相机与第n个相机之间的位姿关系转换为计算第一相机与第n+1个相机之间的位姿关系。

在一些实施例中，计算单元330包括：

第一计算单元331，配置用于根据第一相机和第二相机特征信息，计算第一相机和第二相机的位姿关系；

第二计算单元332，配置用于根据接力法，将第三个相机加入到计算中，计算第二相机和第三相机的位姿关系；

计算单元，还配置用于通过第一相机和第二相机的位姿关系、第二相机和第三相机的位姿关系，计算第一相机与第三相机的位姿关系，依次类推，计算第一相机与第n个相机之间的位姿关系。

在一些实施例中，第一计算单元331包括：

第一计算子单元335，配置用于利用棋盘格的特征点，通过pnp法分别计算第一相机与第二相机相对于同一棋盘格的外部参数r1、t1、r2、t2，棋盘格位于第一相机与第二相机的重叠拍摄区域；

第一计算单元，还配置用于基于外部参数r1、t1、r2、t2，计算第一相机与第二相机之间的位姿即旋转矩阵r12及平移矩阵t12：

在一些实施例中，计算单元330还包括：

第三计算单元333，配置用于基于第一相机与第二相机之间的位姿关系r12、t12，和与第二相机相邻的第三相机与第二相机之间的位姿关系r23、t23，确定第一相机与第三相机之间的位姿关系即旋转矩阵r13及平移矩阵t13：

r13＝r12r23

t13＝r12t23+t12；

计算单元，还配置用于确定任意两个相机之间的位姿关系：

下面参考图8，其示出了根据本申请实施例的一种设备的示例性结构框图。

如图8所示，作为另一方面，本申请还提供了一种设备400，包括一个或多个中央处理单元(cpu)401，其可以根据存储在只读存储器(rom)402中的程序或者从存储部分408加载到随机访问存储器(ram)403中的程序而执行各种适当的动作和处理。在ram403中，还存储有系统400操作所需的各种程序和数据。cpu401、rom402以及ram403通过总线404彼此相连。输入/输出(i/o)接口405也连接至总线404。

以下部件连接至i/o接口1005：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至i/o接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。

特别地，根据本公开的实施例，上文参考图1描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行多相机的位姿计算方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

作为又一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的多相机的位姿计算方法。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以通过执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以通过专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，各所述单元可以是设置在计算机或移动智能设备中的软件程序，也可以是单独配置的硬件装置。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。