一种基于多镜头多传感器的全景相机标定装置的制造方法
【专利摘要】本实用新型公开了一种基于多镜头多传感器的全景相机标定装置，涉及全景摄像领域，包括全景摄像模块、电机驱动模块、图像处理模块和图像显示模块，全景摄像模块包括支架、设置在支架上的多个镜头组和与多个传感器组，每个镜头组对应一个传感器组，镜头组中的每个镜头对应传感器组中的一个传感器，并且与该传感器相连；每个镜头组包括n个镜头，1≤n≤100，其中各个镜头组中镜头的位置排列相同，位于各个镜头组中同一个位置的镜头组成一个成像组，在每个成像组中，任意两个相邻的镜头在成像时有重叠区域。本实用新型可以克服目前全景相机标定对场景有较高要求的缺点，可以在较小的场景中对相机进行标定，并且可以借助标定靶，保证找到足够的特征点的同时，大大降低匹配算法的复杂度。
【专利说明】
一种基于多镜头多传感器的全景相机标定装置
技术领域
[0001]本实用新型公开了一种全景相机标定装置，特别是一种基于多镜头多传感器的全景相机标定装置。
【背景技术】
[0002]采用全景拼接方式构建的拼接式全景摄像机，可以对场景同时实现大视场和高分辨率的拍摄。但是全景摄像机在投入使用之前需要进行标定，以估计摄像机内参、外参，确定各镜头间、以及空间物体表面某点在图像上的位置相互关系。公开号CN103533266的专利公开了一种名为垂直方向宽视域的360度拼接式全景摄像机的技术方案，它包括若干个相同的竖直排列的图像传感器，传感器的型号、数量和相对位置根据全景拼接应用对视场大小的需求确定。它还提供了基于所述全景摄像机的标定方法和拼接方法，通过进行标定，将各路图像投影在同一平面上;再利用动态规划方法和梯度域融合方法完成全景图像的拼接。使用该专利的全景摄像机进行标定时，对标定场景有较高要求，首先标定区域要求空间比较充裕，其次要求标定场景拥有足够的特征点，再次对匹配算法的优越性也有较高要求。目前常用的标定装置，一般要求标定区域是以最小标定距离为半径的圆，通常最小标定距离大于10米，本实用新型公开的全景相机标定装置降低了对标定区域大小的要求，且保证能够找到足够的特征点，并减轻了算法的复杂度。
【发明内容】
[0003]本实用新型公开了一种基于多镜头多传感器的全景相机标定装置，可以克服目前全景相机标定对场景有较高要求的缺点，可以在较小的场景中对相机进行标定，并且可以借助标定靶，保证找到足够的特征点的同时，大大降低匹配算法的复杂度。
[0004]本实用新型公开了一种基于多镜头多传感器的全景相机标定装置，包括全景摄像模块、电机驱动模块、图像处理模块和图像显示模块，全景摄像模块包括支架、设置在支架上的多个镜头组和与多个传感器组，每个镜头组对应一个传感器组，镜头组中的每个镜头对应传感器组中的一个传感器，并且与该传感器相连；
[0005]每个镜头组包括η个镜头，I100，其中各镜头组中镜头位置的排列方向、距离相同，位于每个镜头组中同一位置的镜头组成一个成像组，在每个成像组中，任意两个相邻的镜头在成像时有重叠区域，同一个成像组的各个镜头参数相同；
[0006]全景摄像组连接电机驱动模块，图像处理模块连接全景摄像模块，图像显示模块连接图像处理模块，电机驱动模块驱动支架平移和旋转，可以调整镜头方向，保证获取足够的特征点，减小标定所需要的区域大小。
[0007]优选的，全景摄像机模块设置为球面状态，支架为球面支架，每个镜头都设置在球面支架的外侧面，沿球面半径方向朝向球面的外侧，球面支架的球心和镜头中心点的连线与镜头光轴所成角度小于等于5°。设置为球面状态的全景摄像机模块，适用于720°的全景拍摄，可以取到所有角度的图像。
[0008]优选的，全景摄像机模块设置为柱面状态，支架为圆柱面支架，每个镜头都设置在圆柱面支架的侧面，沿圆柱侧面半径方向朝向圆柱面的外侧，且处于同一柱面高度，位于该高度的圆柱面支架横截面圆心和镜头中心点的连线与镜头光轴所成角度小于等于5°。设置为柱面状态的全景摄像模块，适用于360°的全景拍摄，可以取到全景相机四周的图像。
[0009]优选的，全景摄像机组设置为矩阵形态，支架为平面支架，每个都设于平面镜头架的一侧，镜头方向朝向平面的同一侧。设置为矩阵形态的全景摄像机模块，适用于面对一个方向的全景拍摄。
[0010]优选的，每组镜头包括两个镜头，组成两个成像组，分别模拟人体左眼和右眼成像，经过图像处理模块的处理，形成3D立体图像。
[0011]优选的，每组镜头包括多个镜头，组成多个成像组，每个成像组独立成像，经过图像处理模块的处理，可以将每个成像组形成的图像进行叠加，根据每个成像组镜头的设置，进而获得3D图像或热成像图像等。
[0012]优选的，成像组中，至少一组全部由普通光学镜头组成，保证标定可以顺利进行。
[0013]优选的，成像组包括两个分别模拟人体左眼和右眼的成像的成像组，将图像叠加后获得3D立体图。
[0014]优选的，镜头与支架转动连接，可以根据需要独立调整每个镜头在当前位置的角度。
[0015]优选的，图像处理模块为芯片或计算机;芯片安装在全景摄像模块的支架处，与传感器连接，进一步减小整个装置的体积，处理后将图像输出到外部图像显示模块。当使用计算机作为图像处理模块时，使用计算机软件进行处理，计算机外接于传感器。
[0016]优选的，全景相机标定装置还包括标定靶，标定靶的图案设置为黑白相间的棋盘格，棋盘格上设有定位标志。使用标定靶，可以保证标定时能够找到足够数量的、分布均匀的、足够精度且基本处于同一景深的特征点，而不受标定所处现实场景的影响。
[0017]优选的，全景相机标定装置包括多块标定靶，多块标定靶图案可以不完全一致，设置多块标定革G，可以进一步提尚标定的成功率，并减少标定装置转动幅度。
[0018]本实用新型的有益效果是:大大减少标定场景空间，将最小标定距离减小到I?2米之间，并且能确保每组相邻图像的重叠区域都能找到足够数量的、分布均匀的、足够精度的、基本处于同一景深的特征点，而不受标定所处现实场景的影响。另外，由于标定靶的存在，不需很复杂的特征点匹配算法就可以基本保证全部特征点匹配正确。标定过程应是全自动的，无须人工干预。
【附图说明】
[0019]图1为本装置标定状态的示意图；
[0020]图2为柱面状态全景摄像机模块的示意图；
[0021 ]图3为球面状态全景摄像机模块的示意图；
[0022]图4为矩阵状态全景摄像机模块的示意图；
[0023]图5为本发明第一种标定靶的示意图；
[0024]图6为本发明第二种标定靶的示意图。
【具体实施方式】
[0025]下面结合附图对本发明的【具体实施方式】作进一步说明:
[0026]本实用新型公开了一种基于多镜头多传感器的全景相机标定装置，可以克服目前全景相机标定对场景有较高要求的缺点，可以在较小的场景中对相机进行标定，并且可以借助标定靶，保证找到足够的特征点的同时，大大降低匹配算法的复杂度。
[0027]如图1所示，本实用新型公开了一种基于多镜头多传感器的全景相机标定装置，包括全景摄像模块1、电机驱动模块2、图像显示模块3，图像处理模块4和标定靶5。全景摄像模块I包括支架11、设置在支架上的多个镜头组12和与多个传感器组13，每个镜头组12对应一个传感器组13，镜头组中的每个镜头对应传感器组中的一个传感器，并且与该传感器相连；
[0028]如图1和图2所示，每个镜头组包括两个镜头，每个摄像头对应一个传感器，如图2中第一个镜头组包括121a和121b两个镜头，分别对应传感器131a和131b，第二个镜头组包括122a和122b两个镜头，分别对应传感器132a和132b。每个镜头组中镜头的位置排列相同，每个镜头组中位于同一个位置的镜头组成一个成像组，即121a与122a属于一个成像组，121b与122b属于一个成像组。在每个成像组中，每两个相邻的镜头在成像时有重叠区域，SP121a与122a成像区域有重叠，121b与122b成像区域有重叠。
[0029]全景摄像组I连接电机驱动模块2，图像处理模块4连接全景摄像模块I，图像显示模块3连接图像处理模块4，电机驱动模块驱动支架11平移和旋转。
[0030]进行标定时，第一步，电机驱动模块驱动全景摄像模块支架调整位置和角度，使每个镜头都基本正对标定靶进行一次拍摄，根据每次转动后全景摄像模块的姿态角，即每次采集到的图像，完成畸变校正图像采集工作;第二步，调整全景摄像机模块支架，进行两两相邻镜头对靶工作，使每两个相邻镜头的角平分线基本正对标定靶，且标定靶上的定位点处于两个镜头可视范围的重叠区域，根据每次采集的图像及全景摄像模块的姿态角，完成全局调整优化。
[0031]如图2所示，在本发明的一个实施例中，全景摄像机模块设置为柱面状态，柱面形态指支架11设置为圆柱面，每个镜头都设置在所述圆柱面支架的侧面，沿圆柱侧面半径方向朝向球面的外侧，且处于同一柱面高度，镜头光轴与圆柱侧面半径所成角度小于等于5°，设置为柱面状态的全景摄像机模块，适用于360°的全景拍摄，可以取到全景相机四周的图像。
[0032]如图3所示，在本发明的一个实施例中，全景摄像机模块设置为球面状态，球面形态指支架11设置为球面，每个镜头组12都设置在所述球面支架的外侧面，沿球面半径方向朝向球面的外侧，镜头光轴与球面半径所成角度小于等于5°，设置为球面状态的全景摄像机模块，适用于720°的全景拍摄，可以取到所有角度的图像，每个镜头组12对应一个传感器组13。
[0033]如图4所示，在本发明的一个实施例中，全景摄像机组设置为矩阵形态，矩阵形态指支架11设置为平面，每个镜头组12都设于平面镜头架的一侧，镜头方向朝向平面的同一侧，设置为矩阵形态的全景摄像机模块，适用于面对一个方向的全景拍摄，每个镜头组12对应一个传感器组13。
[0034]在本实用新型的一个实施例中，每组镜头包括一个镜头，全景摄像模块形成一个成像组。
[0035]在本实用新型的一个实施例中，每组镜头包括两个镜头，分别模拟形成人体左眼和右眼视场，经过图像处理模块的处理，将两个镜头采集的图像叠加，获得3D立体图像。
[0036]在本实用新型的一个实施例中，全景摄像模块还包括一个由红外热传感镜头组成的成像组，经过图像处理模块的处理，获得热成像图像。
[0037]在本实用新型的一个实施例中，每组镜头包括多个镜头，每组镜头中镜头的位置排列相同，每组镜头中位于同一个位置的镜头组成一个成像组，在成像组中，每两个相邻的镜头在成像时有重叠区域；当每组镜头包括多个镜头时，镜头包括普通成像镜头和红外热成像镜头，分别形成普通成像组和红外成像组，每个成像组独立成像，经过图像处理模块的处理，可以将每个成像组形成的图像进行叠加，获得热成像图像。
[0038]在本实用新型设置的一个或多个成像组中，至少一组全部由普通成像镜头组成，保证标定可以顺利进行。
[0039]在本实用新型的一个实施例中，镜头与支架转动连接，可以根据需要独立调整每个镜头在当前位置的角度。
[0040]在本实用新型的一个实施例中，图像处理模块为芯片或计算机;芯片安装在全景摄像模块的支架处，与图像采集模块和电机驱动模块连接，进一步减小整个装置的体积，处理后将图像输出到外部图像显示模块。当使用计算机作为图像处理模块时，使用计算机软件进行处理，计算机外接于图像采集模块。
[0041]如图1所示，在本实用新型的一个实施例中，全景相机标定装置还包括标定靶5，标定靶5的图案设置为黑白相间的棋盘格，棋盘格上设有定位标志51。使用标定靶，可以保证标定时能够找到足够数量的、分布均匀的、足够精度且基本处于同一景深的特征点，而不受标定所处现实场景的影响。
[0042]如图5和图6所示，在本实用新型的一个实施例中，全景相机标定装置包括多块标定靶，多块标定靶图案可以不完全一致，但是都包括一个定位标志51，设置多块标定靶，可以进一步提尚标定的成功率，并减少标定装置转动幅度。
[0043]根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的【具体实施方式】，对发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本实用新型构成任何限制。
【主权项】
1.一种基于多镜头多传感器的全景相机标定装置，包括全景摄像模块、驱动模块、图像处理模块和图像显示模块，其特征在于:所述全景摄像模块包括支架、设置在支架上的多个镜头组和与多个传感器组，每个镜头组对应一个传感器组，镜头组中的每个镜头对应传感器组中的一个传感器，并且与该传感器相连； 每个镜头组包括η个镜头，I < n < 100，其中各镜头组中镜头位置的排列方向、距离相同，位于每个镜头组中同一位置的镜头组成一个成像组，在每个成像组中，任意两个相邻的镜头在成像时有重叠区域，同一个成像组的各个镜头参数相同； 所述图像处理模块连接全景摄像模块，图像显示模块连接图像处理模块，驱动模块连接支架，并驱动支架平移和旋转。2.根据权利要求1所述的基于多镜头多传感器的全景相机标定装置，其特征在于:所述全景摄像机模块设置为球面状态，所述支架为球面支架，每个镜头都设置在所述球面支架的外侧面，沿球面半径方向朝向球面的外侧，球面支架的球心和镜头中心点的连线与镜头光轴所成角度小于等于5°。3.根据权利要求1所述的基于多镜头多传感器的全景相机标定装置，其特征在于:所述全景摄像机模块设置为柱面状态，支架为圆柱面支架，每个镜头都设置在所述圆柱面支架的侧面，沿圆柱侧面半径方向朝向圆柱面的外侧，且处于同一柱面高度，位于该高度的圆柱面支架横截面圆心和镜头中心点的连线与镜头光轴所成角度小于等于5°。4.根据权利要求1所述的基于多镜头多传感器的全景相机标定装置，其特征在于:所述全景摄像机组设置为矩阵形态，支架为平面支架，每个都设于平面镜头架的一侧，镜头方向朝向平面的同一侧。5.根据权利要求1-4任一项所述的基于多镜头多传感器的全景相机标定装置，其特征在于:所述镜头组，每个镜头组包括两个镜头，分别模拟人体左眼和右眼成像。6.根据权利要求1-4任一项所述的基于多镜头多传感器的全景相机标定装置，其特征在于:所述成像组中，至少一组全部由普通光学镜头组成。7.根据权利要求1-4任一项所述的基于多镜头多传感器的全景相机标定装置，其特征在于:所述镜头与支架转动连接。8.根据权利要求1-4任一项所述的基于多镜头多传感器的全景相机标定装置，其特征在于:所述图像处理模块为芯片或计算机;芯片安装在所述全景摄像模块的支架处，与传感器连接，计算机外接于传感器。9.根据权利要求1-4任一项所述的基于多镜头多传感器的全景相机标定装置，其特征在于:还包括一块或多块独立配置的标定靶，标定靶的图案设置为黑白相间的棋盘格，棋盘格上设有定位标志。
【文档编号】G06T7/00GK205563716SQ201620261397
【公开日】2016年9月7日
【申请日】2016年3月30日
【发明人】于燕斌, 张燕生, 黄权兴
【申请人】广州市盛光微电子有限公司