一种宽间距双摄模组AA方法及系统与流程

本发明涉及双摄模组组装工艺技术领域，尤其涉及一种宽间距双摄模组aa方法及系统。

背景技术：

随着客户对双摄模组的光轴精度、tilt精度、光心精度等要求越来越高，普通双摄组装工艺已经无法满足光轴、tilt等高精度的调整需求，尤其是宽间距的双摄模组，其两个模组的间距在120mm-200mm左右，采集图像重合程度少，甚至没有重合，若还是通过拍摄平面类标板图像，获取两个图像成像参数，通过成像参数重合情况来计算两者之间的位置关系用于指导光轴、tilt等精度调整，势必会出现较大的误差，因此为了能更好的满足客户的需求，增强企业竞争力，开发高精度双摄模组aa方案势在必行。

所谓aa，即activealignment，解释为中文即主动对准，是一项确定零配件装配过程中相对位置的技术。目前现有技术的双摄模组aa制程中的aa难点在于两个摄像模组相对位置的调整，一般地，制程方案中先抓取两个摄像模组到aa设备中，然后通过两个摄像模组各自拍摄一张图片，以其中一个摄像模组的光轴建立关系坐标轴，通过算法得出两个摄像模组之间的偏移的角度，然后固定以自身光轴建立关系坐标轴的摄像模组，根据偏移的角度，调整另一个摄像模组绕着创建的坐标轴的三个坐标轴进行旋转，最终调整到位得到高精度双摄模组；

如公开号为cn106060399a的专利文献“一种双摄像头自动aa的方法及装置”，就是采用双摄像头拍摄一张图片，其中拍摄的图片为表格图，所述表格图可以有利于选取目标点及确定所述目标点在所述表格图上的坐标，方便后续算法的进行。通过双摄像头拍摄的图片，结合建立的坐标轴，通过算法可以得出所述主摄像头与所述副摄像头偏移的角度，之后固定所述主摄像头，根据算出的角度，使所述副摄像头分别绕着创建的坐标轴的三个坐标轴进行旋转，就可以得到光轴平行的双摄像头。但运用到宽间距双摄中，则会存在误差，影响成像质量。

技术实现要素：

本发明要解决的技术问题是针对上述现有技术的不足，提供一种能够满足宽间距双摄模组aa高精度控制，提升宽间距双摄模组成像质量和制程能力宽间距双摄模组aa方法及系统。

为了实现上述目的，本发明采用的技术方案为：

一种宽间距双摄模组aa方法，所述双摄模组包括第一模组和第二模组，所述方法包括：

s10：获取所述第一模组和所述第二模组拍摄的同一立体棋盘格标板的图像；

s20：根据预设计算模型计算所述第一模组和所述第二模组之间的单应性矩阵；所述预设计算模型利用摄像机标定原理形成；

s30：根据所述单应性矩阵，利用六轴平台移动所述第二模组以调整所述第二模组相对所述第一模组的空间位置。

上述方案中，主要通过摄像机标定的原理，通过基本坐标系之间的关系转换计算第一模组和第二模组之间的相对空间位置，然后保持一个模组不动，移动另一个模组的六轴参数来实现位置校准。方法简单易操作，有利于提高制程效率；具体地，第一模组和第二模组拍摄的图像均为同一个立体棋盘格标板的图像，立体棋盘格标板相比于现有技术中的平面标板，它的运用于能够帮助宽间距的双摄模组充分地获取棋盘格标板的特征点的立体坐标参数，得到充足的数据用于单应性矩阵的计算，减少单应性矩阵计算误差，最终依据计算出的单应性矩阵有利于准确快速的引导六轴平台调整出两个模组之间的相对空间位置，综上，实现了宽间距双摄模组aa的高精度控制，有利于提升宽间距双摄模组成像质量和产线制程能力。

进一步地，所述步骤s20包括以下步骤：

s21：分别检测两张所述图像中棋盘格的角点以获取角点坐标，并排序所述角点；

s22：转换所述角点坐标至三维空间坐标以获取角点相机坐标；

s23：利用所述角点相机坐标和预存角点标板坐标建立角点单应性关系，所述角点标板坐标为所述角点在立体棋盘格标板上的坐标；

s24：根据所述第一模组的角点单应性关系和所述第二模组的角点单应性关系，计算所述第一模组和所述第二模组之间的单应性矩阵。

上述方法利用双摄标定的原理，通过检测图像中棋盘格的角点作为特征点，用于坐标系的关系转换，然后通过两个摄像模组与同一标板之间的单应性关系来获取单应性矩阵，根据上述方法建立起的计算模型能够较为准确的重建三维场景，获取精准度高的单应性矩阵来表征双摄模组的两个摄像模组之间的相对位置关系。

进一步地，所述步骤s30包括以下步骤：

s31a：拆分所述单应性矩阵为一个平移矩阵和三个欧拉角；

s32a：根据所述平移矩阵，利用六轴平台调整所述第二模组相对所述第一模组的shift参数，根据三个所述欧拉角利用六轴平台调整所述第二模组相对所述第一模组的tilt和rotation参数。

单应性矩阵根据转换公式可拆分为一个平移矩阵和三个欧拉角，而依据上述的参量即可帮助实现双摄模组的shift、tilt以及rotation参数的把控，方法简单，实用性好。

进一步地，所述步骤s30包括以下步骤：

s31b：最小化所述单应性矩阵的重影误差以获取优化单应性矩阵；

s32b：拆分所述优化单应性矩阵为一个平移矩阵和三个欧拉角；

s33b：根据所述平移矩阵，利用六轴平台调整所述第二模组相对所述第一模组的shift参数，根据三个所述欧拉角利用六轴平台调整所述第二模组相对所述第一模组的tilt和rotation参数。

上述方法中引入了误差减少的步骤，对单应性矩阵进行参数优化，使用重投影误差迭代优化的方式，不仅能改善单应性矩阵的计算误差，还能改善图像点（即角点）的测量误差，所以其结果的精度会更高。

进一步地，所述步骤s31b包括利用梯度下降法和gauss-newton法迭代优化重影误差值，直至所述重影误差值小于等于预设标准值。

进一步地，所述步骤s10之前包括以下步骤：

抓取固定有所述第一模组的双摄模组支架放置于立体棋盘格标板的几何中心处；

抓取所述第二模组放入所述双摄模组支架的通孔中，所述第二模组的底部与一六轴平台抵接；

控制所述第一模组和所述第二模组拍摄所述立体棋盘格标板的图像。

上述方案中强调第一模组的位置始终固定，有利于避免放置或移动第二模组带来的抖动影响了标定的参数获取。

一种宽间距双摄模组aa系统，所述系统包括：

获取模块，用于获取所述第一模组和所述第二模组拍摄的同一立体棋盘格标板的图像；

计算模块，用于根据预设计算模型计算所述第一模组和所述第二模组之间的单应性矩阵；所述预设计算模型利用摄像机标定原理形成；

调整模块，用于根据所述单应性矩阵，利用六轴平台移动所述第二模组以调整所述第二模组相对所述第一模组的空间位置。

进一步地，所述计算模块包括：

检测排序单元，用于分别检测两张所述图像中棋盘格的角点以获取角点坐标，并排序所述角点；

转换单元，用于转换所述角点坐标至三维空间坐标以获取角点相机坐标；

关系建立单元，用于利用所述角点相机坐标和预存角点标板坐标建立角点单应性关系，所述角点标板坐标为所述角点在立体棋盘格标板上的坐标；

矩阵计算单元，用于根据所述第一模组的角点单应性关系和所述第二模组的角点单应性关系，计算所述第一模组和所述第二模组之间的单应性矩阵。

进一步地，所述调整模块包括：

拆分单元，用于拆分所述单应性矩阵为一个平移矩阵和三个欧拉角；

调整单元，用于根据所述平移矩阵，利用六轴平台调整所述第二模组相对所述第一模组的shift参数，根据三个所述欧拉角利用六轴平台调整所述第二模组相对所述第一模组的tilt和rotation参数。

进一步地，所述调整模块包括：

优化单元，用于最小化所述单应性矩阵的重影误差以获取优化单应性矩阵；

拆分单元，用于拆分所述优化单应性矩阵为一个平移矩阵和三个欧拉角；

调整单元，用于根据所述平移矩阵，利用六轴平台调整所述第二模组相对所述第一模组的shift参数，根据三个所述欧拉角利用六轴平台调整所述第二模组相对所述第一模组的tilt和rotation参数。

采用上述技术方案后，本发明的有益效果是：通过设置标板为立体棋盘格标板，有利于充分地帮助第一模组和第二模组获取标定参考图像数据，减少畸变误差，保障参考数据的充足性和准确性；通过利用摄像机标定的原理来计算获得单应性矩阵来表征第一模组和第二模组之间的相对空间位置关系，并对所述单应性矩阵的重影误差进行最小化优化处理，有利于进一步保障数据的准确性；利用优化的单应性矩阵作为移动依据，通过仅移动第二模组来调整第二模组相对第一模组的空间位置，有利于减少组装时的不确定因素干扰，保障组装精度、成像质量的同时提高组装效率，提升了制程的能力，增强了企业竞争力。

附图说明

为了更清楚地说明本发明实施例或现有技术的技术方案，附图如下：

图1为本发明实施例1提供的一种宽间距双摄模组aa方法流程图；

图2为本发明实施例2提供的一种宽间距双摄模组aa方法流程图；

图3为本发明实施例3提供的优选步骤s30方法流程图；

图4为本发明实施例4提供的优选一种宽间距双摄模组aa系统框图。

具体实施方式

本发明解决现有技术中无法实现宽间距双摄模组高精度aa控制的问题，提供了一种宽间距双摄模组aa方法及系统，利用双摄标定的原理，设置立体棋盘格标板，来帮助两个摄像模组相对空间位置的计算，然后通过固定一个摄像头的位置，即先让该摄像头在模组支架上经过画胶、曝光、测试等一系列单个模组固定时所用的过程，然后移动另一个摄像头的位置来校准，最终完成两个模组相对位置的标定后固定另一个摄像头完成双模产品的aa。

以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

实施例1

如图1所示，本实施例提供一种宽间距双摄模组aa方法，所述双摄模组包括第一模组和第二模组，所述方法包括：

s10：获取所述第一模组和所述第二模组拍摄的同一立体棋盘格标板的图像；

具体地，第一模组和第二模组拍摄立体棋盘格标板的图像时，它们的摆放位置优选设置在立体棋盘格标板的几何中心，即第一模组和第二模组两者组成的双摄模组的几何中心与立体棋盘格标板的几何中心重合，其中立体棋盘格标板可以为立体的环形的标板也可以为矩形分布的多片式平面标板，立体棋盘格标板设置时需为黑白对比度分明的图案；立体棋盘格标板的运用有利于第一模组和第二模组获取充分的图像参数用于两者相对位置关系的计算；

aa制程时，第一模组和第二模组受到控制信号后就会执行图像拍摄，而本步骤的设置就是为了获取第一模组和第二模组拍摄的两张图像；

s20：根据预设计算模型计算所述第一模组和所述第二模组之间的单应性矩阵；所述预设计算模型利用摄像机标定原理形成；预设计算模型中设有图像的参数的处理过程；一般地，要获取所述第一模组和所述第二模组之间的单应性矩阵，则先要获取第一模组相对标板的单应性关系以及第二模组相对标板的单应性关系，从而根据第一模组和第二模组跟同一标板的上述关系计算出第一模组和第二模组的单应性矩阵，而第一模组以及第二模组相对标板的单应性关系的获取就需要利用到摄像机标定原理中，图像特征点在成像平面坐标系的坐标与图像特征点在相机坐标系中的坐标之间的转换。

s30：根据所述单应性矩阵，利用六轴平台移动所述第二模组以调整所述第二模组相对所述第一模组的空间位置。

步骤s30中根据之前步骤得到的单应性矩阵就能表征出两个模组之间的相对空间位置，与数据库中预存的理论上要求两个模组之间达到的精度（如rotation、tilt、光心、光轴精度等）比对计算后，即可进一步获得第二模组的六轴调整参数(x、y、z、tx、ty、tz)，依据六轴调整参数移动所述第二模组的位置变化最终就可获得双摄模组理想的间距，实现宽间距双摄模组aa的高精度把控。

综上，本实施例实现了宽间距双摄模组aa的高精度控制，有利于提升宽间距双摄模组成像质量和产线制程能力。具体地，主要通过摄像机标定的原理，通过基本坐标系之间的关系转换计算第一模组和第二模组之间的相对空间位置，然后保持一个模组不动，移动另一个模组的六轴参数来实现位置校准。方法简单易操作，有利于提高制程效率；具体地，第一模组和第二模组拍摄的图像均为同一个立体棋盘格标板的图像，立体棋盘格标板相比于现有技术中的平面标板，它的运用于能够帮助宽间距的双摄模组充分地获取棋盘格标板的特征点的立体坐标参数，得到充足的数据用于单应性矩阵的计算，减少畸变误差，减少单应性矩阵计算误差，最终依据计算出的单应性矩阵有利于准确快速的引导六轴平台调整出两个模组之间的符合要求的相对空间位置。

实施例2

如图2所示，本实施例进一步优化实施例1的方案，简易方法步骤和提高计算精度，所述步骤s20包括以下步骤：

s21：分别检测两张所述图像中棋盘格的角点以获取角点坐标，并排序所述角点；所述角点坐标为角点在成像平面坐标系中的坐标，检测角点的方法可参阅现有技术中基于直线检测算法（lsd）来进行角点的自动提取，具体地，算法主要包括交叉直线的检测、直线长度和角度伪排序与分析、伪直线去除、近邻直线端点合并与坐标优化、棋盘格结构复原与角点排序这些部分。有利于准确抓取角点的坐标并正确排序。

s22：转换所述角点坐标至三维空间坐标以获取角点相机坐标；利用光学成像的原理，将角点坐标转换为相机坐标系下的三维空间坐标以获取角点相机坐标，这是一个二维点到三维点的转换过程，运用到摄像模组的内参数据，具体参见现有技术中的摄像头标定原理。

s23：利用所述角点相机坐标和预存角点标板坐标建立角点单应性关系，所述角点标板坐标为所述角点在立体棋盘格标板上的坐标，也就是世界坐标系下的坐标；上述关系的建立即为建立角点在相机坐标系下坐标和角点在世界坐标系下坐标之间的投影映射关系；角点单应性关系h1可通过如下公式获得：

其中，x为角点相机坐标，xp为预存角点标板坐标。

s24：根据所述第一模组的角点单应性关系和所述第二模组的角点单应性关系，计算所述第一模组和所述第二模组之间的单应性矩阵。由于标板是同一个，因此根据第一模组和第二模组各自的角点单应性关系就可方便的得到第一模组和第二模组之间的单应性矩阵，单应性矩阵为3*3的矩阵，表征着第一模组和第二模组之间在世界坐标轴中xyz三轴上的坐标关系。

上述方法利用双摄标定的原理，通过检测图像中棋盘格的角点作为特征点，用于坐标系的关系转换，然后通过两个摄像模组与同一标板之间的单应性关系来获取单应性矩阵，根据上述方法建立起的计算模型能够较为准确的重建三维场景，获取精准度高的单应性矩阵来表征双摄模组的两个摄像模组之间的相对位置关系。

所述步骤s30包括以下步骤：

s31a：拆分所述单应性矩阵为一个平移矩阵和三个欧拉角；单应性矩阵根据转换公式（罗德里格斯公式）可拆分为一个平移矩阵和三个欧拉角，其中，平移矩阵表征第二模组相对所述第一模组的shift参数，三个欧拉角则为分别表征绕xyz三个轴旋转的旋转参量即所述第二模组相对所述第一模组的tilt和rotation参数。具体转换过程如下：

利用表达单应性矩阵以获取和t，其中（n=1,2,3）为列向量，t为平移向量；其中平移矩阵根据t获取；

利用，以及r=r(yaw)r(pitch)r(roll)来获取三个欧拉角（yaw,pictch,roll）。

有了上述的参量作为依据，再结合预存的oc（光学中心）、光轴、tilt、rotation等精度，即可轻松方便的帮助实现双摄模组的shift、tilt以及rotation参数的把控，如下文步骤s32a所述；

s32a：根据所述平移矩阵和数据库预存的精度参数，获得平移参数，利用六轴平台依据平移参数移动所述第二模组调整所述第二模组相对所述第一模组的shift参数，根据三个所述欧拉角和数据库预存的精度参数，获得旋转参数，利用六轴平台依据旋转参数移动所述第二模组调整所述第二模组相对所述第一模组的tilt和rotation参数。

综上，本实施例计算方法简单，实用性好，可用于双摄模组中两个模组的shift、tilt以及rotation三个位置关系参数的精准度高的把控。

实施例3

如图3所示，本实施例与之前实施例的区别在于，本实施例中为了减小计算误差和图像测量误差带来的精度影响，对单应性矩阵进行了优化，具体如下：

所述步骤s30包括以下步骤：

s31b：最小化所述单应性矩阵的重影误差以获取优化单应性矩阵；

s32b：拆分所述优化单应性矩阵为一个平移矩阵和三个欧拉角；

s33b：根据所述平移矩阵，利用六轴平台调整所述第二模组相对所述第一模组的shift参数，根据三个所述欧拉角利用六轴平台调整所述第二模组相对所述第一模组的tilt和rotation参数。

上述方法中引入了误差减少的步骤s31b，对单应性矩阵进行参数优化，使用重投影误差迭代优化的方式，不仅能改善单应性矩阵的计算误差，还能改善图像点（即角点）的测量误差，所以其结果的精度会更高。

优选地，所述步骤s31b包括利用梯度下降法和gauss-newton法迭代优化重影误差值，直至所述重影误差值小于等于预设标准值。具体地，梯度下降法保证了每次迭代函数都是下降的，且在初始点离最优点很远的时候刚开始下降的速度非常快，但收敛非常慢，而gauss-newton法的结合运用就是保障了收敛速度。

所述步骤s10之前包括以下步骤：

抓取固定有所述第一模组的双摄模组支架放置于立体棋盘格标板的几何中心处；即第一模组在第一模组和第二模组进行相对位置aa步骤前就已经是固定状态。

抓取所述第二模组放入所述双摄模组支架的通孔中，所述第二模组的底部与一六轴平台抵接用于方便六轴平台移动第二模组变换位置；

控制所述第一模组和所述第二模组拍摄所述立体棋盘格标板的图像。

上述步骤设计中强调第一模组的位置始终固定，仅调整第二模组完成校准过程，可避免放置或移动第二模组带来的抖动影响了标定的参数准确获取，减少了干扰项，保障了参数获取、理论计算与实际情况的高度匹配。

本实施例能够使单应性矩阵得到较好的优化，使得依据该单应性矩阵得到的六轴调整参数更加的精确。

实施例4

如图4所示，本实施例提供一种宽间距双摄模组aa系统，所述系统包括：

获取模块100，用于获取所述第一模组和所述第二模组拍摄的同一立体棋盘格标板的图像；

计算模块200，用于根据预设计算模型计算所述第一模组和所述第二模组之间的单应性矩阵；所述预设计算模型利用摄像机标定原理形成；

调整模块300，用于根据所述单应性矩阵，利用六轴平台移动所述第二模组以调整所述第二模组相对所述第一模组的空间位置。

优选地，所述计算模块200包括：

检测排序单元210，用于分别检测两张所述图像中棋盘格的角点以获取角点坐标，并排序所述角点；检测排序单元210分别对第一模组和第二模组拍摄的两张图像进行角点检测并对角点准确排序，角点检测过程就是准确获取角点坐标的过程，所用算法可参考实施例2所述。

转换单元220，用于转换所述角点坐标至三维空间坐标以获取角点相机坐标；角点相机坐标就是相机坐标系下的坐标，第一模组相机坐标系中，第一模组中心点为相机坐标系中心点，第一模组主轴为相机坐标系z轴，第一模组同理。

关系建立单元230，用于利用所述角点相机坐标和预存角点标板坐标建立角点单应性关系，所述角点标板坐标为所述角点在立体棋盘格标板上的坐标；

矩阵计算单元240，用于根据所述第一模组的角点单应性关系和所述第二模组的角点单应性关系，计算所述第一模组和所述第二模组之间的单应性矩阵。

可选地，所述调整模块300包括：

拆分单元310，用于拆分所述单应性矩阵为一个平移矩阵和三个欧拉角；

调整单元320，用于根据所述平移矩阵，利用六轴平台调整所述第二模组相对所述第一模组的shift参数，根据三个所述欧拉角利用六轴平台调整所述第二模组相对所述第一模组的tilt和rotation参数。

可选地，所述调整模块300包括：

优化单元330：用于最小化所述单应性矩阵的重影误差以获取优化单应性矩阵；最小化所有计算方法可参考实施例3所述，但不仅限于此。

拆分单元310，用于拆分所述优化单应性矩阵为一个平移矩阵和三个欧拉角；

调整单元320，用于根据所述平移矩阵，利用六轴平台调整所述第二模组相对所述第一模组的shift参数，根据三个所述欧拉角利用六轴平台调整所述第二模组相对所述第一模组的tilt和rotation参数。

综上，本发明通过设置标板为立体棋盘格标板，有利于充分地帮助第一模组和第二模组获取标定参考图像数据，减少畸变误差，保障参考数据的充足性和准确性；通过利用摄像机标定的原理来计算获得单应性矩阵来表征第一模组和第二模组之间的相对空间位置关系，并对所述单应性矩阵的重影误差进行最小化优化处理，有利于进一步保障数据的准确性；利用优化的单应性矩阵作为移动依据，通过仅移动第二模组来调整第二模组相对第一模组的空间位置，有利于减少组装时的不确定因素干扰，保障组装精度、成像质量的同时提高组装效率，提升了制程的能力，增强了企业竞争力。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。