本申请总体上涉及计算机图形学领域，更特别地，涉及一种摄像机外参标定方法、摄像机外参标定装置、以及相关的电子设备。
背景技术
在计算机视觉和图形学领域，对于安防监控、互动体感游戏、自动驾驶、环境3d建模等应用场景，都需要对摄像机(包括摄像头)进行外参标定，从而实现真实物理空间与摄像机视野的位置关系映射。在去除摄像机畸变后，该位置关系映射由摄像机内参fx、fy、cx、cy和摄像机外参r、t控制。摄像机内参fx、fy、cx和cy表示镜片折射以及光轴与成像传感器平面不垂直而引起的畸变，其一般在摄像机的生产制造期间进行标定。摄像机外参r表示旋转矩阵，t表示平移矩阵，其表示摄像机的位置和姿态等参数，因此需要在完成摄像机安装之后再进行标定。
为了对旋转矩阵r和平移矩阵t进行标定，需要在物理空间和摄像机图像空间中分别标定n个点p1、p2、...、pn和q1、q2、...、qn，其中点pi和qi彼此对应，然后利用这些点的坐标值来估算外参r和t。所使用的标定点对(pi,qi)的数量越多，对外参的估算越准确。物理空间中的坐标系常称为世界坐标系，其具有三个维度(x,y,z)，为了便于标定，现有方法通常固定其中一个维度，例如将所有标定点设置在地面上，则对于所有标定点，总有z＝0。在选定一个参考坐标原点和坐标轴方向后，就可以获得任意一个物理空间位置点的坐标(x,y,0)。图像空间中的坐标系一般称为图像坐标系，其具有两个维度(u,v)，每个图像点的坐标值表示为该点距离原点的距离，原点一般可以设置为例如图像的左上角。标定过程一般包括：在物理空间中选取若干在摄像机视野中可见的点，在其上设置显眼的标志物，例如特定图案的纸板或建筑物特征点(墙角、柱角等)，并测量这些标志物在物理空间中的坐标位置；然后使用摄像机截取一帧带有标志物的图像，并使用测量工具测量每个标志物在图像中的坐标位置。这些点的坐标位置被用于计算摄像机的外参r和t。
然而，上述标定方案存在许多缺陷。首先，该标定方案需要设置标志物，如果摄像机视野中缺少明显的可以设置标志物的位置，例如没有固定的墙角或柱角，或没有可以露出地面的位置，则会很难以进行标定。而且，上述标定方案涉及到对标志物在物理空间与摄像机图像中的两次测量。由于测量总会引入误差，因此两次测量会引入更多的标定误差，影响标定的准确度。此外，标定人员需要自行维护物理空间中的点与摄像机图像中的点的一一对应关系。当标定点数目较多时，容易产生对应关系的错误。如果现场不具备对摄像机图像中的点进行测量的条件，需要离场后进行测量，则更容易产生这种对应关系的错乱。
因此，仍需要一种方法，其能够简单、准确地标定摄像机的外参。
技术实现要素：
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种摄像机外参标定方法、装置和电子设备，其能够实现摄像机外参的简单、快速、准确标定。
根据本申请的一个方面，提供了一种摄像机外参标定方法，包括：接收由摄像机拍摄的图像；渲染所述图像以在所述图像上标记多个图像点；确定与所述多个图像点中的至少四个图像点对应的物理空间中的至少四个物理点在世界坐标系中的坐标；以及基于所述至少四个图像点在图像坐标系中的坐标和所述至少四个物理点在世界坐标系中的坐标来计算所述摄像机的外参。
在一些实施例中，渲染所述图像以在所述图像上标记多个图像点包括：在所述图像上生成多个标志，所述标志用于标记对应的图像点；在所述标志附近显示对应的图像点的编号；以及确定所述图像点在图像坐标系中的坐标。
在一些实施例中，渲染所述图像以在所述图像上标记多个图像点包括：在所述图像上生成网格；将网格交点选定为图像点；在所选定的图像点附近显示该图像点的编号；以及确定每个图像点在图像坐标系中的坐标。
在一些实施例中，确定所述至少四个物理点在世界坐标系中的坐标包括：在物理空间中标记与所述至少四个图像点对应的至少四个物理点；以及测量所标记的至少四个物理点在世界坐标系中的坐标。
在一些实施例中，标记与所述至少四个图像点对应的至少四个物理点的步骤是在所述摄像机连续输出多帧图像的辅助下进行的。
在一些实施例中，计算所述摄像机的外参包括通过如下公式来计算所述摄像机的外参：
(x,y,z)t＝r·(x,y,z)t+t
其中，旋转矩阵r和平移矩阵t是要计算的外参，(x,y,z)t是摄像机坐标系中的坐标值，(x,y,z)t是世界坐标系中的坐标值，u和v是图像坐标系中的坐标值，fx、fy、cx和cy是所述摄像机的内参。
根据本申请的另一方面，提供了一种摄像机外参标定装置，包括：图像接收单元，配置为接收由摄像机拍摄的图像；渲染单元，配置为渲染所述图像以在所述图像上标记多个图像点；坐标接收单元，配置为接收与所述多个图像点中的至少四个图像点对应的物理空间中的至少四个物理点在世界坐标系中的坐标；以及计算单元，配置为基于所述至少四个图像点在图像坐标系中的坐标和所述至少四个物理点在世界坐标系中的坐标来计算所述摄像机的外参。
在一些实施例中，所述渲染单元还配置为在所标记的图像点附近显示该图像点的编号，以及确定该图像点在图像坐标系中的坐标，所述坐标接收单元还配置为接收所述至少四个物理点对应的编号。
根据本申请的另一方面，提供了一种电子设备，包括：处理器；以及存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行上述方法。
根据本申请的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述方法。
与现有技术相比，采用根据本申请实施例的摄像机外参标定方法、摄像机装置和电子设备，可以不需要设置任何标志物。标定人员通过实时预览渲染了网格的摄像机视野，即可找到任意一个网格点在真实物理空间中对应的点，然后对该点进行实时测量记录。本申请的技术方案不需要对摄像机视野中的点进行测量，只需要记录对应网格点的标号，即可自动获得准确的坐标位置，避免两次测量引入的误差。而且，通过采用本申请的技术方案，对物理空间中的位置测量与摄像机视野中的标号记录均可在现场完成，避免了维护点与点之间对应关系的困难。因此，本申请的技术方案能够实现摄像机外参的简单、快速、准确标定。
附图说明
通过结合附图对本申请的示例性实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请的示例性实施例的进一步理解，并且构成说明书的一部分，与本申请的示例性实施例一起用于说明本申请的原理，但是并不构成对本申请的任何限制。在附图中，相同或相似的参考标号通常代表相同或相似的部件或步骤。
图1示出根据本申请一实施例的摄像机外参标定方法的流程图。
图2示意性示出根据本申请一实施例的摄像机外参标定方法中生成的渲染图像的示例。
图3示意性示出根据本申请另一实施例的渲染图像中的渲染网格的示例。
图4示意性示出根据本申请另一实施例的渲染图像中的渲染图像点的示例。
图5示出根据本申请一实施例的摄像机外参标定装置的功能框图。
图6示出根据本申请一实施例的电子设备的结构框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例性实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例性实施例的任何限制。
申请概述
如上所述，目前摄像机外参的标定涉及物理标志物的使用、物理空间和摄像机图像空间中的点的两次测量、以及点的对应关系的维护，因此标定过程复杂，而且容易产生测量误差和对应关系错乱等问题。
针对这些问题，本申请的基本构思是提出一种摄像机外参标定方法、装置和电子设备，其可以通过对摄像机图像的渲染处理来选定图像中的某些点作为测量点，从而省略了标志物的使用以及图像侧的测量，即可准确获得图像中的点在图像坐标系中的坐标值，并且还可以自动地给这些点分配一编号。此外，本申请通过在摄像机视野的辅助下，确定与图像点对应的物理世界中的物理点，能够在不使用标志物的情况下，准确地定位对应的物理点，从而实现其坐标位置的准确测量，提高标定的效率和准确性。此外，由于渲染过程自动地为每个图像点生成了一编号，因此本申请的技术方案能够减少或避免图像点和物理点的对应关系错误，确保标定的准确性。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性方法
图1示出根据本申请一实施例的摄像机外参标定方法的流程图。如图1所示，根据本申请一实施例的摄像机外参标定方法100可始于步骤s110，接收由摄像机拍摄的图像。这里，摄像机也包括通常所说的摄像头，其可以是应用于各种行业、领域和场景的摄像机，例如但不限于用于安防监控、互动体感游戏、自动驾驶、环境3d建模等的摄像机，例如汽车上的环视系统或自动驾驶系统的摄像机、家用扫地机器人上安装的摄像机、超市或商场中安装的监控摄像机等。这样的摄像机可以是单目摄像机，也可以是双目或更多目摄像机，其统称为多目摄像机。当摄像机是多目摄像机时，可以理解，本发明的原理可以例如单独应用于其包括的每目摄像机。另一方面，从摄像机接收的图像可以是单幅图像，也可以是包括多帧图像的视频图像，其中视频图像是优选的，因为如后面描述的那样，摄像机的视频图像可用于辅助确定物理空间中的对应物理点的位置，从而使标定过程容易进行，并且提高标定精度。
接下来在步骤s120中，可以对从摄像机接收到的图像进行渲染，以在所述图像上标记多个图像点。图2示意性示出根据本申请一实施例的摄像机外参标定方法中生成的渲染图像的示例。如图2所示，可以在摄像机图像上渲染生成网格，图2中示例的网格为矩形图案，并且将网格的交点选定为用于标定的图像点。可以为每个图像点赋予一编号，图2中为编号1-64，并且将编号显示在相应的图像点旁边。在该过程中，还可以确定每个图像点在图像坐标系中的坐标位置(u,v)。该过程可以直接通过图像处理程序来自动进行，因此十分方便快捷，不需要标定人员的任何操作。
渲染步骤s120所产生的渲染图像和所选定的图像点不限于图2的示例。例如，图3示出了渲染图像中的渲染网格的另一示例，其中省略了摄像机图像，而仅示出了渲染网格，并且图3的示例中的网格为平行四边形，所包括的图像点数也不同，为25个。虽然未示出，但是网格还可以为其他形状，例如菱形等。可以理解，本发明不限于所生成的网格的任何图案，只要便于将网格交点选定为图像点即可。在渲染过程中，所选定的图像点数可以至少为4个，例如图2中为64个，图3中为25个。应理解，可以使用渲染所选定的图像点中的全部或者仅使用其一部分来用于后面的标定过程。
在另一些实施例中，甚至在渲染步骤s120中可以不生成网格，而是直接渲染并且标示某些图像点。例如在图4的示例中，示出了渲染步骤s120在摄像机图像上直接标记了多个图像点1-16，这些点可以按阵列排布，也可以是毫无规律的随机选定的点，如图4所示，其中仅示出了图像边界和其上渲染的图像点，而省略了摄像机图像本身。同样，渲染步骤s120为每个点赋予一编号，并且确定每个点在图像坐标系中的坐标。
接下来，在步骤s130中，可以确定与图像点对应的物理空间中的物理点的坐标。前面的渲染步骤确定的图像点的坐标(u,v)为图像坐标系中的坐标，这里要确定的物理空间中的对应物理点的坐标则是在一般称为世界坐标系的物理空间坐标系中测量得到的。在步骤s130中，用户可以首先选定渲染图像中的一个图像点，例如选定图像点可以改变颜色和/或大小以表明其处于激活状态，一次可以仅激活一个图像点。然后，用户可以在摄像机视频图像的辅助下，在物理空间中标记对应的物理点，并且测量其在世界坐标系中的坐标值。用户可以将所测量的坐标值输入到标定系统(例如计算机系统)中，然后选定另一个图像点，并且重复上面的步骤。用户也可以先临时记录其测量的世界坐标系，例如记录为<i(x,y,z)>，其中i是当前点的编号，(x,y,z)是该编号对应的物理点在世界坐标系中的坐标值。在测量获得足够多的物理点的坐标之后，再将多个物理点的坐标值批量输入到标定系统中，批量输入可以符合预定的格式，例如<i1(x1,y1,z1)><i2(x2,y2,z2)>，或者其他预定格式。理论上，为了标定摄像机的外参，在步骤s130中至少需要确定四个物理点的坐标值。当然，如果步骤s130中标定的物理点越多，则后面计算的摄像机外参越精确。
在获得足够多例如四个以上物理点的坐标值之后，在步骤s140中，可以使用这至少四个物理点的坐标值和对应的至少四个图像点的坐标值来计算摄像机的外参。可以基于如下公式来计算摄像机的外参：
(x,y,z)t＝r·(x,y,z)t+t
其中，旋转矩阵r和平移矩阵t是要计算的外参，(x,y,z)t是摄像机坐标系中的坐标值，(x,y,z)t是世界坐标系中的坐标值，u和v是图像坐标系中的坐标值，fx、fy、cx和cy是摄像机的内参。
如果认为步骤s140中计算的摄像机外参不准确或者不够精确，还可以返回到步骤s130以标定更多的物理点，或者对前面标定的物理点重新进行标定，即重新测量其在世界坐标系中的坐标值，然后再重新计算摄像机外参，直到获得满意的结果为止。
示例性装置
图5示出根据本申请一实施例的摄像机外参标定装置的功能框图。
如图5所示，根据本申请一实施例的摄像机外参标定装置200包括：图像接收单元210、渲染单元220、坐标接收单元230和计算单元240。
图像接收单元210可用于从摄像机接收其所拍摄的图像，例如为单幅图像，或者为包括多帧图像的视频图像。
渲染单元220可用于对所接收的图像进行渲染，例如如前面描述的那样，在图像上标记多个图像点，在每个图像点附近显示其编号，并且确定每个图像点在图像坐标系中的坐标。
坐标接收单元230可接收用户测量的对应物理点在世界坐标系中的坐标值。如前所述，用户可以在摄像机视频的辅助下，确定与图像点对应的物理点的位置，并且测量其坐标值。这里，用户需要至少测量四个物理点的坐标值，以用于计算外参。当然，测量的点越多，计算的外参越准确。
最后，计算单元240可以基于所接收到的物理点的坐标值以及对应的图像点的坐标值来计算摄像机的外参。
虽然未示出，但是在一些实施例中，摄像机外参标定装置200还可以包括结果输出单元以输出所计算得到的摄像机外参。
由于摄像机外参标定装置200中的各个单元和模块的具体功能和操作已经在上面参照图1至图4描述的标定方法中得到了详细说明，因此这里仅简要介绍，以避免重复描述。
示例性电子设备
图6示出根据本申请一实施例的电子设备300的结构框图。如图6所示，电子设备300可包括处理器310和存储器320。
处理器310可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备300中的其他组件以执行期望的功能。
存储器320可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器310可以运行所述程序指令，以实现上文所述的本申请的各个实施例的摄像机外参标定方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如各个摄像机的相关信息和驱动程序等。
在一个示例中，电子设备300还可以包括接口330、输入装置340和输出装置350，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
接口330可用于连接到需要进行外参标定的摄像机。例如，接口330可以是摄像头常用的usb接口，当然也可以是其他接口例如type-c接口等。电子设备300可包括一个或多个接口330，以连接到相应的摄像机，并且从摄像机接收其所拍摄的图像以用于执行上面描述的外参标定过程。
输入装置340可用于接收外界输入，例如接收用户输入的物理点坐标值等。在一些实施例中，输入装置340可以是例如键盘、鼠标、手写板、触摸屏等。
输出装置350可以输出所计算的摄像机外参。例如，输出装置350可以包括显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等。在一些实施例中，输入装置340和输出装置350可以是集成一体的触摸显示屏。
为了简化，图6中仅示出了电子设备300中与本申请有关的一些组件，而省略了一些相关外围或辅助组件。除此之外，根据具体应用情况，电子设备300还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的摄像机外参标定方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的摄像机外参标定方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。