一种手机摄像头模组的多轴主动对准方法与流程

本发明涉及自动化制造领域，特别是一种手机摄像头模组的多轴主动对准方法。
背景技术：
：随着智能手机的日益普及，智能手机的市场已逐渐由新机市场转变为换机市场，换机需求将是未来维系智能手机市场发展的主要驱动力，对高端智能手机的需求将会不断增加。作为高端智能手机主要部件，高端手机摄像头存在着巨大的市场需求。中低端手机摄像头模组封装时一般只校正镜头与图像传感器平面之间的距离，而镜头的中心偏移和倾斜则在成品时进行检测，不符合性能指标的模组看作次品处理。高端手机摄像头模组由于成本高，对成像质量和成品率具有较高的要求，因此需要在封装的过程中先对镜头相对于图像传感平面的中心、距离与倾斜进行三维的对准和校正，然后再进行固化等处理。校准镜头相对于图像传感平面中心位置、距离与平行的过程通常称为多轴主动对准(Multi-axisactivealignment)。目前高端手机摄像头模组的多轴主动对准主要依靠人工来进行，人工对准存在以下缺点：(1)对准主要依靠人眼来观察手机摄像头模组成像的效果，受工人的经验、工作状态等因素影响较大，不够准确，稳定性低；(2)人眼观察速度慢，效率低；(3)人工对准要求工人注意力集中，容易疲劳，长时间工作会降低准确率和工作效率。目前在手机摄像头模组封装方面，对于一维的调焦已有较多的技术，例如中国发明专利CN201210457418.6、CN201210435895.2、实用新型专利CN201220526430.3、CN201020186781.5、CN200720196777.5等，但这些技术无法处理镜头中心偏移和倾斜的情况。中国发明专利CN201310751376.1提供了一种镜头模组测试设备倾斜度评价系统及评价方法，但也未能解决摄像头模组封装时的多轴主动对准问题。技术实现要素：针对现有技术的不足，本发明提供了一种手机摄像头模组的多轴主动对准方法，该方法通过建立手机摄像头模组成像图片中预设图像局部测量区域的图像质量指标最佳值和位置与控制电机移动步数的映射来校正镜头的中心偏移和倾斜，对准结果准确稳定，效率高，适用于各种机械硬件结构，可以广泛用于各种高端手机摄像头模组的生产。本发明提供的手机摄像头模组多轴主动对准方法，具体包含以下步骤：步骤1：将图像传感器底板放置在固定位置，将镜头放置在初始位置，建立未对准的成像系统，其中图像传感器底板的固定位置位于X-Y平面中心，镜头初始位置位于Z轴。步骤2：沿Z轴方向改变镜头的位置，记录下每次改变后镜头的位置及成像系统在该位置对图像检测板拍摄的照片。步骤3：计算步骤2中得到的所有照片中预设图像局部测量区域的图像质量指标。步骤4：根据所有预设图像局部测量区域所测得的最佳图像质量指标数值，计算镜头中心与图像传感器底板中心在X-Y方向的偏差。步骤5：根据步骤4中得到的镜头中心偏差，计算将镜头中心X、Y坐标移至与图像传感器底板中心X、Y坐标重合所需的控制镜头X-Y方向移动的电机的步数，并移动电机对镜头中心位置进行校正。步骤6：沿Z轴方向改变镜头的位置，记录下每次改变后镜头的位置及成像系统在该位置对图像检测板拍摄的照片。步骤7：计算步骤6中得到的所有照片中预设图像局部测量区域的图像质量指标最佳时对应的镜头位置，并计算它们与图像中心位置取得最佳图像质量指标时镜头位置之间的差值。步骤8：根据上述距离差值，计算将镜头平面调整到与X-Y平面平行时所需的控制镜头旋转的电机的步数，移动电机对镜头的倾斜进行校正。上述步骤4中，采用以下方法计算镜头中心与图像传感器底板中心在X-Y方向的偏差：步骤4.1：找出每一预设图像局部测量区域所测得的最佳图像质量指标，构造离散点集{(xj,yj,qmax(xj,yj))|j＝0～J-1}，其中xj和yj分别为第j个预设图像局部测量区域中心在图像平面上的坐标，J为预设图像局部测量区域的总数，qmax(xj,yj)为所有拍摄照片中的第j个预设图像局部测量区域图像质量指标的最佳值。步骤4.2：使用连续函数q(x,y)对qmax(xj,yj)进行拟合，其中0≤j≤J。步骤4.3：计算令q(x,y)取极值的点(xmax,ymax)，则(xmax,ymax)与图像传感器底板中心坐标的差值为镜头中心相对图像传感器中心的偏差。上述连续函数q(x,y)为二元多项式。上述步骤5中，镜头中心位置校正分为准备阶段和运行阶段，其中准备阶段包含以下步骤：步骤5.1：使用人工的方式对镜头的中心和倾斜进行校正并对图像测试板拍照，记录此时图像测试板照片中定标图形的位置。步骤5.2：改变镜头与图像传感器底板在X-Y方向的相对位置并拍照，记录下当前控制镜头X-Y方向移动的电机所走步数0≤k≤K，其中K为电机移动的总次数。步骤5.3：识别步骤5.2所得的照片中定标图形的位置，计算该定标图形位置与步骤5.1中定标图形位置的偏移量步骤5.4：重复5.2～5.3，得到K组相对应的电机步数和定标图形位置偏移量其中0≤k≤K。步骤5.5：使用连续函数sx(dx,dy)和sy(dx,dy)拟合离散函数和其中0≤k≤K。运行阶段，根据步骤4得到的镜头中心偏差(xmax,ymax)，计算sx(-xmax,-ymax)和sy(-xmax,-ymax)，控制镜头X方向和Y方向的电机分别移动sx(-xmax,-ymax)步和sy(-xmax,-ymax)，即完成镜头中心偏差校正。上述连续函数sx(dx,dy)和sy(dx,dy)为二元多项式。上述步骤8中，镜头倾斜的校正分为准备阶段和运行阶段，其中准备阶段包含以下步骤：步骤8.1：使用人工的方式对镜头的中心和倾斜进行校正。步骤8.2：控制镜头X和Y方向旋转的电机移动(rlx,rly)步，其中0≤l≤L，L为旋转镜头的总次数。步骤8.3：沿Z轴方向改变镜头的位置，记录下每次改变后镜头的位置及成像系统在该位置对图像检测板拍摄的照片。步骤8.4：计算每个预设图像局部测量区域图像质量最佳时对应的镜头位置，并计算它们与图像中心位置取得最佳图像质量指标时镜头位置之间的差值其中J为预设图像局部测量区域个数。步骤8.5：重复8.2～8.4，得到L组相对应的电机旋转步数和差值其中l＝0～L-1。步骤8.6：指定镜头旋转拟合模型，以为输入，(rlx,rly)为输出，计算模型的参数。运行阶段，将步骤7计算得到的距离差值输入到镜头旋转拟合模型，得到输出将控制镜头X和Y方向旋转的电机移动步，即完成镜头倾斜角度的校正。上述镜头旋转拟合模型为神经网络模型。与现有技术相比，本发明具有以下有益之处：1、本发明可以实现手机摄像头模组的多轴主动对准，包括镜头的中心偏移和倾斜的校正，可以有效地保证高端手机摄像头的成品率。2、本发明可以实现手机摄像头模组的自动对准，与人工对准相比，准确性更高，稳定性更好，并且效率高，速度快。3、本发明采用数据拟合和训练的方法来确定镜头中心偏移、镜头倾斜角度与控制电机步数之间的映射关系，可以适应各种硬件结构，能应用到不同型号的主动校准设备。附图说明图1为本发明实施例中多轴主动对准系统的结构示意图。图2为本发明实施例中多轴主动对准方法的主流程图。图3为本发明实施例中局部图像检测区域位置示意图。图4为本发明实施例中计算镜头中心与图像传感器底板中心在X-Y方向偏差的流程图。图5为本发明实施例中镜头中心位置校正的流程图。图6为本发明实施例中镜头倾斜的校正的流程图。具体实施方式下面结合附图和实施例对本发明的具体实施步骤作进一步的说明，但本发明的实施方式不限于此，以下若有未特别详细说明之处，均是本领域技术人员可参照现有技术实现的。本发明实施例中，手机摄像头模组的多轴主动对准系统由X-Y工作台、图像传感器底板座1、镜头夹具2、控制镜头夹具平移和旋转的电机系统3、图像检测板4、计算机5共同构成，其结构如图1所示，其中X-Y工作台位于水平位置，图像传感器底板座位于X-Y工作台上，用于固定图像传感器底板，并通过探针和线缆将图像传感器底板与计算机连接，使计算机能通过能图像传感器底板座控制图像传感器底板拍摄照片并获取所拍摄照片的图像数据。多轴主动对准系统以图像传感器底板座中心为原点、其所在的平面为X-Y平面建立三维坐标系。镜头夹具用于夹住镜头，控制镜头平移和旋转的电机系统包含5个步进电机，分别控制镜头夹具的X方向平移、Y方向平移、X方向旋转、Y方向旋转和Z方向平移，5个步进电机均与计算机连接。图像检测板与X-Y工作台平行，与镜头夹具在Z轴的方向相同，其中心离原点的距离大于镜头夹具中心离原点的距离，为摄像头成像系统提供拍摄的标注图像，上述实施例中，图像检测板采用国际标注条形标板，并在工作中采用均匀LED光源照射。计算机与图像传感器底板座和控制镜头平移和旋转的电机系统连接，通过图像传感器底板座控制图像传感器底板拍摄照片和获取照片的图像数据，并控制电机实现镜头的X、Y、Z方向的平移和X、Y方向的旋转。上述实施例中，采用以下方法对手机摄像头模组进行三维主动对准，其流程如图2所示：步骤1：将图像传感器底板放置在固定位置，将镜头放置在初始位置，建立未对准的成像系统，其中图像传感器底板的固定位置位于X-Y平面中心，镜头初始位置位于Z轴。上述实施例中，进料系统首先将手机摄像头模组的图像传感器底板放置在图像传感器底板座中，即X-Y平面中心，然后通过镜头夹具夹取镜头并将其移动至位于Z轴正方向的初始位置，该初始位置在系统运行前采用人工的方法确定，能保证各机械部件在工作前位于安全位置。步骤2：沿Z轴方向改变镜头的位置，记录下每次改变后镜头的位置及成像系统在该位置对图像检测板拍摄的照片。上述实施例中，图像检测板与图像传感器底板分别位于镜头的两侧，相互平行，采用以下方法来实现镜头位置的改变及照片的拍摄：步骤2.1：设定镜头沿Z轴移动的区间及步长，将镜头移动到区间的顶端。实施例中，镜头在拍照过程中固定沿Z轴负方向移动，设置镜头沿Z轴移动的步长为Δz，则移动区间为[z0,z0-IΔz]，其中z0为区间的起点，I为镜头沿Z轴负方向移动时所需拍摄的照片张数，区间的设置满足0≤j≤J-1，其中J为拍摄图像检测板的照片中局部测量区域的个数，为镜头沿Z轴移动时第j个局部测量区域取得最佳图像质量时镜头在Z轴的位置。上述实施例中，图像局部测量区域设置如图3所示，以拍摄照片中均匀分布的25个点为中心、w为宽度的25个正方形区域，即J＝25，第j个图像局部测量区域的中心记为(xj,yj)。设置完成后，计算机控制Z轴平移电机将镜头从初始位置移动至z0。步骤2.2：计算机控制电机系统中的X方向平移、Y方向平移、X方向旋转、Y方向旋转电机不动，Z轴平移电机沿Z轴负方向移动Δz后停止，计算机通过图像传感器底板座控制图像传感器底板，用图像传感器底板和镜头构成的成像系统对平行于X-Y平面的图像检测板进行拍照，并通过图像传感器底板座获得拍摄照片的图像数据并保存。步骤2.3：计算机检查镜头是否达到区间底部，即是否移动了I次，如果是，则将镜头移动至初始位置，否则转步骤2.2。步骤3：计算步骤2中得到的所有照片中预设图像局部测量区域的图像质量指标。上述实施例中，对第i张拍摄的图像，分别计算每个图像局部测量区域的MTF函数值，作为该区域的图像质量指标，记为qi(xj,yj)，0≤j≤J-1。步骤4：根据所有预设图像局部测量区域所测得的最佳图像质量指标数值，计算镜头中心与图像传感器底板中心在X-Y方向的偏差。上述实施例中，采用以下方法计算镜头中心与图像传感器底板中心的偏差，其流程如图4所示：步骤4.1：找出每一预设图像局部测量区域所测得的最佳图像质量指标，构造离散点集{(xj,yj,qmax(xj,yj))|j＝0～J-1}，其中xj和yj分别为第j个预设图像局部测量区域中心在图像平面上的坐标，J为预设图像局部测量区域的总数，qmax(xj,yj)为所有拍摄照片中的第j个预设图像局部测量区域图像质量指标的最佳值。上述实施例中，步骤4.2：使用连续函数q(x,y)对qmax(xj,yj)进行拟合，其中0≤j≤J。上述实施例中，q(x,y)为连续的二元二次多项式，q(x,y)＝a0x2+a1y2+a2x+a3y+a4xy+a5。在其他一些实施例中，q(x,y)可以为连续的二元三次或更高次多项式，或其他连续的线性或非线性函数。实施例中，采用最小二乘法估计q(x,y)的系数，即求令下式取最小值的q(x,y)系数：ϵ2=Σj=0J-1(q(xj,yj)-qmax(xj,yj))2=Σj=0J-1(a0xj2+a1xj2+a2xj+a3yj+a4xjyj+a5-qmax(xj,yj))2]]>令0≤m≤5，并联立方程组，即可求得系数am。步骤4.3：计算令q(x,y)取极值的点(xmax,ymax)，则(xmax,ymax)与图像传感器底板中心坐标的差值为镜头中心相对图像传感器中心的偏差。上述实施例中，采用下式求出q(x,y)的极值点：xmax=(a3a4-2a1a2)/(4a0a1-a42)]]>ymax=(a2a4-2a0a3)/(4a0a1-a42)]]>由于图像传感器中心的坐标为(0，0)，因此(xmax,ymax)即为镜头中心相对图像传感器中心偏差的估计值。步骤5：根据步骤4中得到的镜头中心偏差，计算将镜头中心X、Y坐标移至与图像传感器底板中心X、Y坐标重合所需的控制镜头X-Y方向移动的电机的步数，并移动电机对镜头中心位置进行校正。上述实施例中，镜头中心位置校正分为准备阶段和运行阶段，其流程如图5所示，其中准备阶段包含以下步骤：步骤5.1：使用人工的方式对镜头的中心和倾斜进行校正并对图像测试板拍照，记录此时图像测试板照片中定标图形的位置。上述实施例中，定标图形为图像检测板上的一个特殊图案，在镜头的中心和倾斜校正完成后，使用者用人工的方式在所拍摄的图像中标注出来。步骤5.2：改变镜头与图像传感器底板在X-Y方向的相对位置并拍照，记录下当前控制镜头X-Y方向移动的电机所走步数0≤k≤K，其中K为电机移动的总次数。上述实施例中，以控制镜头X-Y方向移动的电机初始位置为电机移动步数的坐标原点，为均匀分布在以坐标原点为中心、长为L、宽为T的矩形区域中的25个点，即K＝25，其中L和T满足当电机移动(-L,-T)、(L,-T)、(-L,T)或(L,T)步时拍摄的图像测试板照片中包含定标图形。步骤5.3：识别步骤5.2所得的照片中定标图形的位置，计算该定标图形位置与步骤5.1中定标图形位置的偏移量上述实施例中，采用模板匹配的方法在步骤5.2所得的照片中识别定标图形并定位，然后与步骤5.1中标注的定标图形位置进行比较，计算其偏移量步骤5.4：重复5.2～5.3，得到K组相对应的电机步数和定标图形位置偏移量其中0≤k≤K。上述实施例中，计算得到25组对应的和步骤5.5：使用连续函数sx(dx,dy)和sy(dx,dy)拟合离散函数和其中0≤k≤K。上述实施例中，sx(dx,dy)和sy(dx,dy)为连续的二元二次多项式，采用与步骤4.2相同的最小二乘法估计sx(dx,dy)和sy(dx,dy)的系数。运行阶段，根据步骤4得到的镜头中心偏差(xmax,ymax)，计算sx(-xmax,-ymax)和sy(-xmax,-ymax)，控制镜头X方向和Y方向的电机分别移动sx(-xmax,-ymax)步和sy(-xmax,-ymax)，即完成镜头中心偏差校正。步骤6：沿Z轴方向改变镜头的位置，记录下每次改变后镜头的位置及成像系统在该位置对图像检测板拍摄的照片。上述实施例中，采用与步骤2相同的方法控制镜头移动并拍照。步骤7：计算步骤6中得到的所有照片中预设图像局部测量区域的图像质量指标最佳时对应的镜头位置，并计算它们与图像中心位置取得最佳图像质量指标时镜头位置之间的差值。上述实施例中，对第i张拍摄的图像，计算第j个图像局部测量区域的MTF函数值，记为qi(xj,yj)。找出qi(xj,yj)的最大值记录下此时镜头在Z轴的坐标zmax,j，找出图像中心位置图像质量指标的最大值其中(x′,y′)为图像中心位置的坐标，q′i(x′,y′)为第i张拍摄图像中心位置的图像质量指标数值，记录下此时镜头在Z轴的坐标z′max，求出zmax,j和z′max之间的差值步骤8：根据上述距离差值，计算将镜头平面调整到与X-Y平面平行时所需的控制镜头旋转的电机的步数，移动电机对镜头的倾斜进行校正。上述实施例中，镜头倾斜的校正分为准备阶段和运行阶段，其流程如图6所示，其中准备阶段包含以下步骤：步骤8.1：使用人工的方式对镜头的中心和倾斜进行校正。步骤8.2：控制镜头X和Y方向旋转的电机移动(rlx,rly)步，其中0≤l≤L，L为旋转镜头的总次数。上述实施例中，以控制镜头X和Y方向旋转电机的初始位置为电机移动步数的坐标原点，(rlx,rly)为均匀分布在以坐标原点为中心、长为P、宽为T的矩形区域中81个点，即L＝81，其中P和T的设置满足在实际应用中校正镜头倾斜所需控制镜头X和Y方向旋转电机的移动步数在长为L、宽为T的矩形区域内。步骤8.3：沿Z轴方向改变镜头的位置，记录下每次改变后镜头的位置及成像系统在该位置对图像检测板拍摄的照片。上述实施例中，采用与步骤2相同的方法控制镜头移动并拍照。步骤8.4：计算每个预设图像局部测量区域图像质量最佳时对应的镜头位置，并计算它们与图像中心位置取得最佳图像质量指标时镜头位置之间的差值J为预设图像局部测量区域个数。上述实施例中，采用与步骤7相同的方法来计算步骤8.5：重复8.2～8.4，得到L组相对应的电机旋转步数(rlx,rly)和差值其中l＝0～L-1。上述实施例中，L＝81，计算得到81组对应的(rlx,rly)和步骤8.6：指定镜头旋转拟合模型，以为输入，(rlx,rly)为输出，计算模型的参数。上述实施例中，采用BP神经网络作为镜头旋转拟合模型，并以为输入，(rlx,rly)为输出，训练BP神经网络的权重系数。运行阶段，将步骤7计算得到的距离差值输入到镜头旋转拟合模型，得到输出将控制镜头X和Y方向旋转的电机移动步，即完成镜头倾斜角度的校正。上述实施例中，将步骤7计算得到的距离差值输入到训练好的BP神经网络中，可求得当前第1页1 2 3