镜头倾斜矫正方法及装置与流程

本发明涉及镜头动态倾斜补偿的技术领域，具体涉及一种镜头倾斜矫正方法及装置。

背景技术：

随着摄像装置的技术不断提升,摄像装置的自动调焦功能早已经成为标准配置，而且解析度越来越高。用户对摄像装置所获图像的画质不断提出更高要求，使得生产商对镜头的光学精度日益严格。目前，一般的摄像装置中，镜头使用一个马达来实现近远焦的转换,对镜头的控制只是局限在光轴上对图像传感器的单维操作，对于镜头本身的倾斜而引起的光轴偏离是无法进行补偿的。基于在制作过程中种种的因素,镜头在光轴上移动的时候,难以做到零偏离。在业界中，一般统称这种光轴偏离为马达的af(automaticfocus自动调焦，简称af)方向动态倾斜。镜头的倾斜是由于在马达的生产过程中,支撑镜头座的弹簧片有轻微不对称所引致,而这种情况是永固的。动态倾斜越小,拍摄的画面质素就越高。随着图像传感器像素的提高，对af马达本身的要求也一直在提高。能够支持高像素的af马达要有非常好的动态倾斜抑制或补偿,才能够确保af过程中画质不会下降。另外，除了图像传感器的像素不断提高，镜头的光圈也一直在增大。原因是增大光圈能够增加镜头的进光量，从而提升整体的画质。这个趋势更加提高了对af马达的技术要求，具体来讲，即从设计和生产工艺上尽量降低af马达的动态倾斜。但是，大光圈镜头加上大像素的图像传感器所产生的对af马达的技术要求,已经远远超过设计与生产工艺能够满足的要求，市场上需要有一些突破性的技术来克服目前所遇见的问题。

技术实现要素：

有鉴于此，本发明实施例提供了一种镜头倾斜矫正方法及装置，以解决现有技术中马达在调焦过程中引起的镜头倾斜的问题。

第一方面，本发明实施例提供了一种镜头倾斜矫正方法，包括：判断调焦是否结束；当调焦已经结束时，获取所述镜头的移动行程；根据所述移动行程获取所述镜头的倾斜角度；根据所述镜头的倾斜角度对所述镜头进行倾斜矫正。

本发明实施例提供的镜头倾斜矫正方法，根据镜头的移动行程估计对应的镜头倾斜角度，并对镜头倾斜进行矫正，由于响应迅速，能够在短时间内完成镜头倾斜矫正，适用于各种摄像装置的马达自动对焦过程，解决了现有技术中马达在调焦过程中引起的镜头倾斜的问题。

结合第一方面，在第一方面第一实施方式中，所述根据所述移动行程获取所述镜头的倾斜角度，包括：通过预设的移动行程以及所述镜头的主光轴与图像传感器的交点相对于所述图像传感器的中心位置的偏移距离之间的对应关系，来根据所述移动行程获取所述镜头的倾斜角度。

本发明实施例提供的镜头倾斜矫正方法，通过构建镜头的移动行程与镜头倾斜所造成的在图像传感器上的偏移距离之间的对应关系，将镜头的移动与镜头的倾斜关联起来，以实现通过镜头的移动行程获取镜头倾斜角度的目的，进而实现对镜头倾斜的矫正。

结合第一方面第一实施方式，在第一方面第二实施方式中，获取所述预设的移动行程以及所述镜头的主光轴与图像传感器的交点相对于所述图像传感器的中心位置的偏移距离之间的对应关系的步骤包括：控制所述镜头沿通过所述镜头与所述图像传感器的中心的轴线移动；采集所述镜头的移动行程与通过所述镜头反射/折射的光线在所述图像传感器上的成像位置相对于所述图像传感器的中心位置的偏移距离；根据所采集的移动行程和偏移距离，获取所述移动行程以及所述镜头的主光轴与图像传感器的交点相对于所述图像传感器的中心位置的偏移距离之间的对应关系的拟合曲线。

本发明实施例提供的镜头倾斜矫正方法，利用有限数量的离散数据构建拟合曲线，进而通过拟合曲线表征镜头的移动行程与镜头倾斜所造成的在图像传感器上的偏移距离之间的对应关系，将镜头的移动与镜头的倾斜关联起来，实现了对任意的镜头移动行程所对应的镜头倾斜的估计。

结合第一方面第二实施方式，在第一方面第三实施方式中，所述拟合曲线由以下公式获取：

其中，表示所述偏移距离的拟合曲线的估计输出值；ci表示所述镜头到所述图像传感器的垂直距离；di表示所述镜头反射/折射的光线在所述图像传感器上的成像位置相对于所述图像传感器的中心位置的实际的偏移距离；和分别表示ci和di对应的平均值；m表示调焦最大步数。

本发明实施例提供的镜头倾斜矫正方法，利用一阶线性模型构建用于表征镜头的移动行程与镜头倾斜所造成的在图像传感器上的偏移距离之间的拟合曲线，具有计算量小的特点，能够利用有限数量的离散数据快速完成拟合曲线的构建。

结合第一方面第二实施方式，在第一方面第四实施方式中，所述镜头的倾斜角度由以下公式获取：

其中，表示所述偏移距离的拟合曲线的估计输出值；θi表示所述镜头的倾斜角度；ci表示所述镜头到图像传感器的垂直距离；c表示一个常数。

本发明实施例提供的镜头倾斜矫正方法，利用三角函数和水平集计算镜头的倾斜角度，具有计算公式简单和计算迅速的特点，能够满足实时镜头倾斜矫正的需要。

结合第一方面第一实施方式，在第一方面第五实施方式中，所述预设的移动行程以及所述镜头的主光轴与图像传感器的交点相对于所述图像传感器的中心位置的偏移距离之间的对应关系是定期更新的。

本发明实施例提供的镜头倾斜矫正方法，充分考虑到由零件老化所造成的镜头倾斜改变的情况，通过定期更新镜头移动行程与镜头倾斜之间的对应关系，避免由于使用不适宜的对应关系所造成的对镜头倾斜角度估计的失误，进而提高对镜头倾斜矫正的准确度。

第二方面，本发明实施例提供了一种摄像装置，包括：判断模块，用于判断调焦是否结束；移动行程获取模块，当调焦已经结束时，用于获取所述镜头的移动行程；倾斜角度获取模块，用于根据所述移动行程获取所述镜头的倾斜角度；倾斜矫正模块，用于根据所述镜头的倾斜角度对所述镜头进行倾斜矫正。

第三方面，本发明实施例提供了一种摄像装置，包括：镜头、马达、致动器、存储器和处理器，所述马达用于调整所述镜头的行程，所述致动器用于对所述镜头进行倾斜矫正，所述马达、所述致动器、所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面实施例所述的镜头倾斜矫正方法。

第四方面，本发明实施例提供了一种镜头倾斜检测装置，包括：马达、图像传感器、存储器和处理器，所述马达用于调整镜头的行程，所述图像传感器用于获取所述镜头的主光轴与图像传感器的交点位置，所述马达、所述图像传感器、所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面实施例所述的镜头倾斜矫正方法。

第五方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行第一方面实施例所述的镜头倾斜矫正方法。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1示出了本发明实施例中的镜头倾斜矫正方法的一个具体示例的流程图；

图2示出了本发明实施例中的获取预设的移动行程以及镜头的主光轴与图像传感器的交点相对于图像传感器的中心位置的偏移距离之间的对应关系的一个具体示例的流程图；

图3示出了本发明实施例中的一个光路图；

图4示出了本发明实施例中的一种摄像装置的一个具体示例的原理框图；

图5示出了本发明实施例中的另一种摄像装置的一个具体示例的原理框图；

图6示出了本发明实施例中的一种镜头倾斜检测装置的一个具体示例的原理框图；

图7示出了本发明实施例中的另一种镜头倾斜检测装置的一个具体示例的原理框图；

图8示出了本发明实施例中的另一种镜头倾斜检测装置的一个具体示例的原理框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明一实施例中的镜头倾斜矫正方法的流程图，该方法可以包括：

s101.判断调焦是否结束；

s102.当调焦已经结束时，获取镜头的移动行程；

s103.根据移动行程获取镜头的倾斜角度；

s104.根据镜头的倾斜角度对镜头进行倾斜矫正。

在图1步骤s101中，可以通过多次采集图像并利用图像的清晰度判断调焦是否结束，清晰度最高的图像对应的镜头的移动行程即调焦结束时镜头的移动行程。在一具体实施方式中，为实现图1步骤s104对镜头进行倾斜矫正，可以选用一个三轴可控马达，该三轴可控马达包括af方向(z方向)制动以及两个垂直于af方向(x方向和y方向)的倾斜制动，每个制动方向由一个或一组致动器独立控制。当该三轴可控马达接收到镜头的倾斜角度时，可以通过控制两个垂直于af方向的致动器实现对镜头的倾斜矫正。

本发明实施例提供的镜头倾斜矫正方法，根据镜头的移动行程估计对应的镜头倾斜角度，并对镜头倾斜进行矫正，由于响应迅速，能够在短时间内完成镜头倾斜矫正，适用于各种摄像装置的马达自动对焦过程，解决了现有技术中马达在调焦过程中引起的镜头倾斜的问题。

在一具体实施方式中，图1中步骤s103根据移动行程获取镜头的倾斜角度，可以通过构建移动行程与镜头倾斜之间的对应关系，来实现获取镜头的倾斜角度。具体的，移动行程与镜头倾斜之间的对应关系指的是：预设的移动行程以及镜头的主光轴与图像传感器的交点相对于图像传感器的中心位置的偏移距离之间的对应关系。

由于调焦过程中，镜头出现倾斜，使得镜头的主光轴不再垂直于图像传感器并指向图像传感器的中心位置，导致镜头的主光轴与图像传感器的交点相对于图像传感器的中心位置出现偏移距离，该偏移距离能够表征镜头的倾斜，镜头的倾斜越严重，对应的偏移距离越大。镜头在调焦过程中的倾斜是随机的，倾斜角度及对应的偏移距离也是随机的。镜头在每次调焦过程中的移动行程是根据拍摄对象的实际情况确定的，因此，镜头的移动行程数据是无限的，实际应用中难以找到所有的移动行程与镜头倾斜的对应关系。在另一具体实施方式中，通过构建有限数量的预设的移动行程数据及对应的偏移距离数据的拟合曲线，可以解决上述问题。图2示出了获取预设的移动行程以及镜头的主光轴与图像传感器的交点相对于图像传感器的中心位置的偏移距离之间的对应关系的方法的流程图，该方法可以包括：

s201.控制镜头沿通过镜头与图像传感器的中心的轴线移动；

s202.采集镜头的移动行程与通过镜头反射/折射的光线在图像传感器上的成像位置相对于图像传感器的中心位置的偏移距离；

s203.根据所采集的移动行程和偏移距离，获取移动行程以及镜头的主光轴与图像传感器的交点相对于图像传感器的中心位置的偏移距离之间的对应关系的拟合曲线。

在图2步骤s201中，可以控制镜头以一固定步长沿通过镜头与图像传感器的中心的轴线移动，共计移动m步。在图2步骤s202中，采集镜头以一固定步长移动过程中，每一步对应的镜头的移动行程与通过镜头反射/折射的光线在图像传感器上的成像位置相对于图像传感器的中心位置的偏移距离，可采集得到m组数据，可以使用矩阵的方式表示上述m组数据。在图2步骤s203中，利用上述m组数据可以对移动行程和偏移距离之间的对应关系进行拟合，以获取拟合曲线。在一具体实施方式中，可以使用一阶线性模型对移动行程和偏移距离之间的对应关系进行拟合。由于调焦过程中，镜头的主光轴与图像传感器的交点相对于图像传感器的中心位置的偏移距离是随机的，使得移动行程和偏移距离之间的对应关系也是随机而复杂的，因此，除一阶线性模型外，其他的非线性曲线也可用于移动行程和偏移距离之间的对应关系的拟合。

当使用一阶线性模型对移动行程和偏移距离之间的对应关系进行拟合时，所获拟合曲线如公式(1)所示：

其中，表示偏移距离的拟合曲线的估计输出值；ci表示镜头到图像传感器的垂直距离，对应镜头的移动行程；b0和b1均为拟合参数；i＝1，2，…，m，m表示调焦最大步数。拟合曲线的估计误差为di表示偏移距离的实际输出值。

使用标准回归分析中的最小平方法,可以得出拟合指数q，如公式(2)和公式(3)所示：

计算拟合指数q相对于b0和b1偏导数，能够求解出拟合曲线的最佳拟合参数。由于对图2步骤s202中所获的由m组数据构成的矩阵进行求导的难度较大，在一具体实施方式中，定义了一个水平集以实现求导。

定义f为n个实数变量的实值函数,k是常数，则l是水平集。水平集l表示一个具有给定的常数值的数学函数集，如公式(4)所示：

lc(f)＝{(x1，…，xn)|f(x1，…，xn)＝c}(4)

当公式(4)所示的水平集l中，变量的数量n＝2时，水平集l一般为曲线，称为水平曲线，表示在c的高度值上的轮廓线或等高线。

在一具体实施方式中，令f为一个距离函数，d：x×x→[0，∞)表示一个非负值实数,而所有向量p，q∈x,可以使用公式(5)表示该距离函数f：

其中，pi定义为从图像传感器光轴中心到镜头初始反射点/折射点的初始向量,qi定义为从图像传感器光轴中心到由于调焦导致的镜头动态倾斜造成的反射点/折射点的最终向量。公式(5)所示的距离函数f可以用于表示调焦过程中镜头的主光轴与图像传感器的交点相对于图像传感器的中心位置的偏移距离。

将公式(5)所示的距离函数f代入公式(3)所示的拟合指数q中，能够简化对拟合指数q的求导。分别求解拟合指数q相对于b0和b1偏导数，并设置可以得出拟合曲线的最佳拟合参数，如公式(6)和公式(7)所示：

其中，ci表示镜头到图像传感器的垂直距离，对应镜头的移动行程；di表示偏移距离的实际输出值，对应镜头反射/折射的光线在图像传感器上的成像位置相对于图像传感器的中心位置的实际的偏移距离；和分别表示ci和di对应的平均值；m表示调焦最大步数。

在获取移动行程和偏移距离之间的对应关系的拟合曲线之后，如在获取拟合曲线之后，可以利用该拟合曲线并结合调焦结束时镜头的移动行程计算镜头的倾斜角度。如图3示出的光路图中，由镜头23反射的光线与通过镜头和图像传感器的中心的轴线构成了一个直角三角形。如图3所示，ci表示镜头23到图像传感器6的垂直距离，对应镜头的移动行程；di表示偏移距离，对应镜头23反射/折射的光线在图像传感器6上的成像位置相对于图像传感器6的中心位置的实际的偏移距离；θi表示镜头23的倾斜角度。由图3可以推论出当θi→0时，tanθi＝θi，因此，定义一个如公式(8)所示的新的水平集：

将表征移动行程和偏移距离之间的对应关系的拟合曲线代入公式(8)，如将拟合曲线代入公式(8)，可以得到优化后的水平集，如公式(9)所示：

公式(9)所示的水平集可以用于镜头的倾斜角度的计算。

由于镜头的倾斜会随着时间和使用次数的增加而发生改变，这主要是由于器件老化引起的，本发明实施例提供的镜头倾斜矫正方法，对预设的移动行程以及镜头的主光轴与图像传感器的交点相对于图像传感器的中心位置的偏移距离之间的对应关系会进行定期更新。例如，按照图2所示步骤s201至步骤s203定期更新移动行程以及镜头的主光轴与图像传感器的交点相对于图像传感器的中心位置的偏移距离之间的对应关系的拟合曲线。

图4示出了本发明实施例给出的一种摄像装置，该摄像装置包括判断模块401、移动行程获取模块402、倾斜角度获取模块403和倾斜矫正模块404。其中，判断模块401用于判断调焦是否结束；移动行程获取模块402用于在调焦已经结束时获取镜头的移动行程；倾斜角度获取模块403用于根据移动行程获取镜头的倾斜角度；倾斜矫正模块404用于根据镜头的倾斜角度对镜头进行倾斜矫正。图4所示的摄像装置中，各个模块的工作方法可参考图1—图3所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

图5示出了本发明实施例给出的一种摄像装置，该摄像装置可以包括镜头23、马达2、致动器501、存储器502和处理器503。马达2用于调整镜头23的行程，致动器501用于对镜头23进行倾斜矫正，马达2、致动器501、存储器502和处理器503之间互相通信连接，其中，处理器503和存储器502可以通过总线或者其他方式连接，图5中以通过总线连接为例。

处理器503可以为中央处理器(centralprocessingunit，cpu)。处理器503还可以为其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器502作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的镜头倾斜矫正方法对应的程序指令/模块(例如，图4所示的判断模块401、移动行程获取模块402、倾斜角度获取模块403和倾斜矫正模块404)。处理器503通过运行存储在存储器502中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的镜头倾斜矫正方法。

存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器503所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器502可选包括相对于处理器503远程设置的存储器，这些远程存储器可以通过网络连接至处理器503。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器502中，当被所述处理器503执行时，执行如图1-3所示实施例中的镜头倾斜矫正方法。

上述摄像装置具体细节可以对应参阅图1至图3所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)、随机存储记忆体(randomaccessmemory，ram)、快闪存储器(flashmemory)、硬盘(harddiskdrive，缩写：hdd)或固态硬盘(solid-statedrive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。

图6示出了本发明实施例给出的一种镜头倾斜检测装置，该镜头倾斜检测装置可以包括图像传感器7、存储器601和处理器602。在使用时，可以将图6所示的镜头倾斜检测装置应用于马达2和马达2所装载的镜头的倾斜检测。马达2用于调整镜头的行程，图像传感器7用于获取镜头的主光轴与图像传感器7的交点位置，马达2、图像传感器7、存储器601和处理器602之间互相通信连接，其中，存储器601和处理器602具体细节可以对应参阅图5所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。使用图6所示的镜头倾斜检测装置能过获取图2所示的实施例中对应的拟合曲线。

在一具体实施方式中，镜头倾斜检测装置与马达2相连接，马达2用于装载镜头23并控制镜头23沿通过镜头和图像传感器的中心的轴线移动以调焦，马达2内设有带动镜头23移动的镜筒22。如图7所示，该镜头倾斜检测装置包括：用于放置马达2的支架1、图像传感器7、激光光源3、分光镜4以及与激光光源3和分光镜4水平设置的反射镜5和光闸6。激光光源3发出的激光穿过分光镜4形成第一路光线，激光光源3发出的激光经分光镜4反射形成第二路光线。其中，第一路光线经光闸6入射反射镜5，经反射镜5和分光镜4反射后沿通过镜头和图像传感器的中心的轴线入射图像传感器7的中心位置。第二路光线沿通过镜头和图像传感器的中心的轴线入射镜头23，经镜头23反射后沿通过镜头和图像传感器的中心的轴线入射光学传感器7的中心位置。第一路光线与第二路光线配合使用，可以用于在镜头倾斜检测前，使镜头23与图像传感器7的中心位置准直。调焦时，关闭光闸6以切断第一路光线，并执行如图1-3所示实施例中的镜头倾斜矫正方法，以获取表征移动行程以及镜头的主光轴与图像传感器的交点相对于图像传感器的中心位置的偏移距离之间的对应关系的拟合曲线，并对镜头23进行倾斜矫正。在图7所示的镜头倾斜检测装置中，镜头23可以使用一反光镜代替，使用反光镜反射的光线以模拟镜头折射进入图像传感器的光线。

在另一具体实施方式中，镜头倾斜检测装置与相机模块相连接，相机模块包括图像传感器7、镜头23和马达2，马达2内设有带动镜头23沿通过镜头和图像传感器的中心的轴线移动的镜筒22。如图8所示，该镜头倾斜检测装置包括照明模块8和准直器9。在镜头倾斜检测前，使用准直器9可以使镜头23与图像传感器7的中心位置准直。调焦时，照明模块8发出的光线经准直器9沿通过镜头和图像传感器的中心的轴线入射镜头23，通过执行如图1-3所示实施例中的镜头倾斜矫正方法，能够获取表征移动行程以及镜头的主光轴与图像传感器的交点相对于图像传感器的中心位置的偏移距离之间的对应关系的拟合曲线，并对镜头23进行倾斜矫正。

需要说明的是，本发明实施例中图像传感器可以使用光学位置传感器等其他的光学传感器代替。此外，图3所示的光路图及其所示的实施例中对应的相关描述还可用于镜头准直，应用于摄像装置。通过(ci表示初始的镜头到图像传感器的垂直距离；di表示镜头反射/折射的光线在图像传感器上的成像位置相对于图像传感器的中心位置的初始的偏移距离)可以对镜头初始的倾斜角度θi进行计算，进而对镜头初始的倾斜进行矫正，以使得镜头对图像传感器准直。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。