用于多摄相机系统的装设校准方法及相关装置与流程

本发明涉及一种用于多摄相机系统的方法，尤指一种用于多摄相机系统的装设校准方法及相关装置。

背景技术：

多摄相机系统相较于单一摄相机，能取得户外场景或获得更宽的视野(fieldofview，fov)。此外，相较于鱼眼相机，结合两个或两个以上具有普通镜头的摄相机(即多摄相机系统)能捕获高分辨率的图像。然而，多摄相机系统需要经过装配校准操作，使摄相机之间能相互协调工作，以获得覆盖整个感兴趣区域(regionofinterest，roi)的全景图像。

现有的图像校正方法包含有透过多个相机在不同的时间/子帧(frame)捕获图像，以在每个时间/子帧取得校正参数，接着根据取得的校正参数，逐步的校准图像。然而，这种传统的图像校正方法需要多次的校准，以达到精确相机配置。因此，申请人认为有必要提出一种改善多摄相机系统的校准方法，能够一次自动校准多台摄相机的装设。

技术实现要素：

因此，本发明的主要目的即在于提供一种用于多摄相机系统的装设校准方法，以解决上述问题。

本发明揭露一种用于多摄相机系统的装设校准方法，该装设校准方法包含有：从至少两台摄相机接收在不同视角撷取的至少两张图像；在该两张图像的重迭区域上进行图像运动估测，以取得用来表示该两张图像之间的对应关系的复数个运动向量，其中该复数个运动向量用来指示该两张图像之间的几何关系；根据该复数个运动向量，进行主要向量计算，以取得在该重迭区域中感兴趣区域的主要运动向量；以及根据该主要运动向量，计算校准参数，用来作为装设该至少两台摄相机的依据。

本发明另揭露一种用于多摄相机系统中的电子装置，用来进行装设校准，该电子装置包含有：图像接收模组，用来从至少两台摄相机接收在不同视角撷取的至少两张图像；对应匹配模组，连接该图像接收模组，用来取得表示该两张图像之间的对应关系的复数个运动向量，其中该复数个运动向量用来指示该两张图像在重迭区域的几何关系；主要向量计算模组，连接该对应匹配模组，用来使用该复数个运动向量，取得在该重迭区域中感兴趣区域的主要运动向量；以及校正模组，连接该主要向量计算模组，用来使用该主要运动向量，计算校准参数，用来作为装设该至少两台摄相机的依据。

本发明另揭露一种多摄相机系统，用来进行装设校准，该多摄相机系统包含有：至少两台摄相机，用来在不同视角撷取至少两张图像；以及电子装置，连接该至少两台摄相机，用来进行装设校准操作；其中，该电子装置包含有：处理单元，用来执行程序代码；以及储存单元，耦接于该处理单元，用来储存该程序代码，其中该程序代码指示该处理单元执行以下步骤：从至少两台摄相机接收在不同视角撷取的至少两张图像；在该两张图像的重迭区域上进行图像运动估测，以取得用来表示该两张图像之间的对应关系的复数个运动向量，其中该复数个运动向量用来指示该两张图像之间的几何关系；根据该复数个运动向量，进行主要向量计算，以取得在该重迭区域中感兴趣区域的主要运动向量；以及根据该主要运动向量，计算校准参数，用来作为装设该至少两台摄相机的依据。

附图说明

图1为本发明一实施例多摄相机系统的示意图。

图2～3为本发明一实施例电子装置的示意图。

图4为本发明一实施例流程的示意图。

图5～7为本发明一实施例装设校准操作的示意图。

附图标号说明

20、30电子装置

201图像接收模组

202图像转换模组

203对应匹配模组

204主要向量计算模组

205校准模组

206校正模组

300处理单元

310储存单元

320通讯接口单元

314程序代码

40流程

410～460步骤

c1～c3摄相机

a1～a2、i1～i2图像

o1～o2重迭区域

具体实施方式

请参考图1，其为本发明一实施例多摄相机系统的示意图。多摄相机系统包含多个摄相机c1～c3，用来对感兴趣的区域，撷取相关的图像。值得注意的是，图1仅用来说明多摄相机系统的架构，其中摄相机的数量及摄相机的镜头类型(如鱼眼镜头、广角镜头或普通镜头)并不限于此。摄相机c1～c3可配置在不同的视角，但是需相互协调以捕获图像的重迭区域。此外，多摄相机系统中的摄像机c1～c3之间的几何关系或相对位置应在使用前进行校准，以便在正确的视野中获取图像。换句话说，装设校准操作能够提高多摄相机配置的精确度。

请参考图2，其为本发明一实施例电子装置的示意图。电子装置20用来实现装设校准操作，其包含有图像接收模组201、图像转换模组202、对应匹配模组203、主要向量计算模组204、校准模组205及校正模组206。简单来说，图像接收模组201用来接收来自摄相机c1～c3的多个图像。图像转换模组202用来对接收图像进行像素对齐运算。对应匹配模组203用来取得接收图像在重迭区域中的对应关系。主要向量计算模组204用来取得接收图像在重迭区域中的感兴趣区域的主要运动向量。校准模组205用来根据主要运动向量，计算出校准参数，用来作为多摄相机系统的配置依据。校正模组206用来根据校准参数，修正全景图像。

请参考图3，图3为本发明一实施例电子装置30的示意图。电子装置30包含处理单元300、储存单元310以及通讯接口单元320。处理单元300可为微处理器或特殊应用集成电路(application-specificintegratedcircuit，asic)。储存单元310可为任一数据储存装置，用来储存程序代码314，并透过处理单元300读取及执行程序代码314。举例来说，储存单元310可为用户识别模组(subscriberidentitymodule，sim)、只读式内存(read-onlymemory，rom)、随机存取内存(random-accessmemory，ram)、光盘只读存储器(cd-roms)、磁带(magnetictapes)、软盘(floppydisks)、光学数据储存装置(opticaldatastoragedevices)等等，而不限于此。通讯接口单元320可为图2所示的图像接收模组201，并可透过有线或无线通信方式，用来与图1所示的摄相机c1～c3交换讯号/数据。

请参考图4，其为本发明一实施例流程40的示意图。电子装置30的装设校准操作可归类为流程40，并可编译为程序代码314(储存于储存单元310中)，其包含有以下步骤：

步骤410：从至少两台摄相机接收在不同视角撷取的至少两张图像。

步骤420：对接收到的两张图像，进行图像转换，用来对齐两张图像(选择性步骤)。

步骤430：在该两张图像的重迭区域上进行图像运动估测，以取得用来表示该两张图像之间的对应关系的复数个运动向量，其中该复数个运动向量用来指示该两张图像之间的几何关系。

步骤440：根据该复数个运动向量，进行主要向量计算，以取得在该重迭区域中感兴趣区域的主要运动向量。

步骤450：根据该主要运动向量，计算校准参数，用来作为装设该至少两台摄相机的依据，其中校准参数包含去扭曲参数、缩放参数，以及旋转及平移参数的至少其中之一。

步骤460：根据校准参数，进行图像校正，以获得覆盖整个感兴趣区域的全景图像。

根据流程40，多摄相机系统中的摄相机c1～c2进行图像撷取，以获得具有相互重迭区域的多张图像(在此实施例中为两张图像)，并传送撷取到的多张图像至电子装置20，藉以取得用来设置多摄相机系统的校准参数。另外，电子装置20可选择性的在两张图像的重迭区域，进行图像对齐或图像转换，接着再于重迭区域(如摄相机c1～c2撷取到的两张图像的重迭区域，预摄相机c2～c撷取到的两张图像的重迭区域)，进行图像运动估测，以获得运动向量(如水平或垂直平移参数)。然后，电子装置20根据获得的运动向量，进行主要向量计算，藉以获得重迭区域中感兴趣区域的主要运动向量，进而增加两张图像之间的对应关系的可靠度。最后，电子装置20根据透过主要运动向量计算出的校准参数，校正两台摄相机之间的相对位置/角度，进而实现多摄相机系统的配置设定。

请参见图5～7，其为本发明一实施例装设校准操作的示意图。在一实施例中，电子装置20可选择性的进行图像对齐或图像转换，用来将从摄相机c1～c2接收到的图像对齐。换句话说，电子装置20对接收到的图像，进行镜头失真校正操作、去扭曲操作或几何转换操作，以重新排列两张图像的像素位置，使图像能相互对齐。如图5所示，图像i1～i2经由去扭曲操作，以实现旋转校正、平移校正、缩放校正，并输出相互对齐的图像a1～a2。值得注意的是，电子装置20可根据摄相机的镜头选择及多摄相机系统的架构，来决定是否执行图像对齐或图像转换操作。

此外，请参见图6，图像a1～a2的重迭区域o1～o2被裁剪以套用于图像运动估测。图像运动估测可为内容对应匹配操作、光流操作、基于图像区块的匹配操作或基于图像特征的匹配操作。在一实施例中，图像运动估测采用光流操作。值得注意的是，光流操作不适用于图像a1～a2的特定特征点，而是适用于图像a1～a2的重迭区域o1～o2的所有像素，以获得重迭区域o1～o2中的每个像素的光流向量，并藉由此信息(即光流向量)来计算校准参数。

在获得光流向量之后，如图7所示，电子装置20在重迭区域o1～o2中的感兴趣区域，进行主要向量计算，以从获得的光流向量中提取最主要的光流向量。主要光流向量具有高可靠性，因此可用于计算校准参数，用来作为装设校准的依据。举例来说，校准参数可为去扭曲参数、缩放参数，以及旋转及平移参数的至少其中之一，但不限于此。例如，如图7所示，电子设备20获得指示旋转3°和偏移20个像素的校准参数，用来得知摄相机之间的组装差异。因此，多个摄相机之间的自动装设校准可透过图像内容分析来实现，而无需人为干预。

上述所有步骤，包含所建议的步骤，可透过硬件、韧体(即硬件装置与计算机指令的组合，硬件装置中的数据为只读软件数据)或电子系统等方式实现。举例来说，硬件可包含模拟、数字及混合电路(即微电路、微芯片或硅芯片)。电子系统可包含系统单芯片(systemonchip，soc)、系统封装(systeminpackage，sip)、计算机模组(computeronmodule，com)及电子装置20。

综上所述，本发明提供一种装设校准操作，能够自动校正多摄相机系统的设置，而不需人为干预。具体地，利用本发明的自动校准方法，用于多摄像机设置的校准参数是根据主要运动向量获得，因而能避免组装错误。此外，无论多摄相机系统中有多少摄相机或是不同类型的相机，本发明的方法皆可应用于任何多摄相机组合。

以上所述仅为本发明的较佳实施例，凡依本发明权利要求范围所做的均等变化与修饰，皆应属本发明的涵盖范围。