一种图像校正方法、电子设备及计算机可读存储介质与流程

本申请涉及信息技术领域，特别是涉及一种图像校正方法、电子设备及计算机可读存储介质。

背景技术

光学图像稳定(opticalimagestabilization，ois)作为提升在低光照下拍照质量的重要手段，也越来越多的在手机上应用。ois的工作原理是通过镜头的移动来补偿抖动以达到图像的稳定。然而，当摄像头ois功能开启后，会在拍照或实时预览过程中产生图像的偏移，现有技术中无法解决由拍照或预览过程中摄像头中ois带来的图像偏移问题。

技术实现要素：

本申请实施例提供一种图像校正方法、电子设备和计算机可读存储介质，可以解决现有技术中拍照或预览时ois功能引起的图像偏移问题。

本申请实施例提供一种图像校正方法，应用于带有摄像头的电子设备，该方法包括：

获取电子设备的至少一个镜头偏移量；

同步获取所述电子设备在ois模式下采集的图像，根据预设的ois标定函数及同步获取的所述镜头偏移量，计算出所述至少一个镜头偏移量对应的图像偏移量；

利用所述图像偏移量对所述采集的图像进行分块校正。

本申请实施例还提供一种图像校正装置，所述装置包括：

获取单元，用于获取电子设备的至少一个镜头偏移量；

计算单元，用于同步获取所述电子设备在ois模式下采集的图像，根据预设的ois标定函数及同步获取的所述镜头偏移量，计算出所述至少一个镜头偏移量对应的图像偏移量；

校正单元，用于利用所述图像偏移量对所述采集的图像进行分块校正。

本申请实施例还提供一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述的图像校正方法的步骤。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像校正方法的步骤。

上述提供的场景计算方法、电子设备和计算机可读存储介质，通过镜头偏移量与图像偏移量的标定关系，实现了在图像拍摄或实时预览过程中对图像偏移进行校正，从而可消除对景深计算带来的影响，提升了在ois开启下背景虚化的效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像校正方法流程图；

图2为一个实施例中对采集图像分块校正的流程图；

图3为一个实施例中镜头偏移前后图像变化示意图；

图4为一个实施例中电子设备结构示意图；

图5为一个实施例中电子设备的内部结构示意图；

图6为一个实施例中电子设备相关的移动终端的部分结构的框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。

实施例一

本申请实施例提供了一种图像校正方法，如图1所示，该方法包括：

s101、获取电子设备的至少一个镜头偏移量；

在本申请实施例中，可通过电子设备来实施本申请实施例的步骤。电子设备可以是具备单摄像头或双摄像头的设备，包括但不限于照相机、摄像机、移动终端(如智能手机)、平板电脑(pad)、个人数字助理(personaldigitalassistant,pda)、便携设备(例如，便携式计算机)、可穿戴设备等，本发明实施例对此不做具体限定。其中，若电子设备包含双摄像头，则第一摄像头及第二摄像头可并列设置在所述电子设备机身上。

针对电子设备包含双摄像头的情况，在本申请实施例中，双摄像头模拟人类双目视觉原理感知距离，即从两个点观察一个物体，获取在不同视角下的图像，根据图像之间像素的匹配关系，通过三角测量原理计算出像素之间的偏移来获取物体的场景深度。当双摄像头中的一个或者两个带有ois系统后，由于ois引起镜头偏移，导致双摄像头标定参数发生变化，导致视差问题，进而造成场景深度计算不准确，因此，需要通过后续的标定函数进行目标场景深度的计算修正或补偿。

在ois模式中，霍尔传感器可用于实时测量ois偏移时的霍尔位置信息，可根据霍尔位置信息与镜头移动量(偏移量)的对应关系，计算出当前时刻的镜头移动量大小及方向。其中，该移动可以是第一摄像头或第二摄像头在x和/或y方向上的移动。其中，霍尔位置信息与镜头偏移量存在对应关系，包括但不限于：霍尔位置信息与镜头偏移量相等，或，霍尔位置信息与镜头偏移量存在线性关系，或，霍尔位置信息与镜头偏移量存在着非线性关系。因此，本申请实施例中，在获取镜头偏移量之前，还包括：获取所述电子设备的霍尔位置信息，所述霍尔位置信息与所述镜头偏移量对应；根据所述霍尔位置信息获取所述镜头偏移量。例如，霍尔位置信息与镜头偏移量可存在线性的标定关系，满足函数f(x)＝ay+b，x和y分别表示霍尔位置信息和镜头偏移量，例如，当a＝1,b＝0时，霍尔位置信息与镜头偏移量相等，通过获取到该霍尔位置信息也即获取到镜头偏移量；也可以存在诸如一元二次方程、二元二次方程等非线性关系。在本申请实施例中，已知霍尔位置信息的大小，即可唯一确定出当前时刻该镜头偏移量的大小。在ois系统中，该镜头偏移量数量级在微米级别。

s102、同步获取所述电子设备在ois模式下采集的图像，根据预设的ois标定函数及同步获取的所述镜头偏移量，计算出所述至少一个镜头偏移量对应的图像偏移量；

需要说明的是，ois标定函数的获取方式如下：

在不同时刻对同一目标参照物进行拍摄，获取每一时刻的镜头偏移量对应的图像，所述图像中包含至少一个特征点；

对所述图像中至少一个特征点进行检测，并根据不同图像中所述特征点的位置，计算不同图像相对于初始时刻图像的图像偏移量；

构建所述不同时刻的镜头偏移量与图像偏移量的标定关系表，并根据所述标定关系表，拟合出所述镜头偏移量与所述图像偏移量的标定关系。在本申请实施例中，拟合出所述镜头偏移量与所述图像偏移量的标定关系，可以为通过设置标定函数模型，确定出镜头偏移量与图像偏移量满足的标定函数，通过计算机几何技术，在二维坐标系中绘制拟合曲线，从而确定当前镜头偏移量与图像偏移量满足的标定函数。

在一个实施例中，根据所述标定关系表，拟合出所述镜头偏移量与所述图像偏移量的标定关系可以为：

根据所述标定关系表，拟合所述镜头偏移量与所述图像偏移量的ois标定函数；

将所述不同时刻的镜头偏移量与图像偏移量作为输入参数代入标定函数模型，计算出所述ois标定函数的一般表达式。

例如，该ois标定函数可以是线性的一元一次方程，也可以是非线性的一元二次方程或二元二次方程等，本申请实施例对此不作限制。以二元二次方程f(δx,δy)＝ax²+by²+cxy+dx+ey+f为例，δx,δy为图像偏移量，单位为像素，x和y为x轴及y轴的镜头偏移量，a,b,c,d,e和f为参数，在本发明中，需要拟合镜头偏移量与图像偏移量的对应关系，就必须要确定a,b,c,d,e和f这6个参数的具体值，在本申请实施例中，需要测量出6个参数的大小，则需要6个方程式，即，在δx,δy和x，y可测量得出的情况下，选取不同的δx,δy和x，y带入该方程式，即可求出该6个参数的大小。即，在不同时刻，按照既定的不同镜头偏移量对同一目标物进行拍摄，通过该拍摄图像中特征点(目标点)的位移，确定出δx和δy。例如，在t0时刻ois处于初始化开启状态，此时摄像头位置处于o点，在t1-t6六个时刻时，ois分别移动至a(x1,y1),b(x2,y2),c(x3,y3),d(x4,y4),e(x5,y5),f(x6,y6)6个点,拍摄6张图像，通过对某一特征点或某几个特征点/特征块的测量，可得到每张图像中该特征点/特征块相对于0点的特征点/特征块偏移量(δx1,δy1),(δx2,δy2),(δx3,δy3),(δx4,δy4),(δx5,δy5),(δx6,δy6)，将该δx,δy和x，y数据带入方程式中，即可求出a,b,c,d,e和f这6个参数的具体值，从而确定f(δx,δy)的具体值。

s103、利用所述图像偏移量对所述采集的图像进行分块校正。

此外，s102和s103具体还可以为：

同步获取陀螺仪的角速度信息；其中，角速度信息与镜头偏移量在时序上对应；

即，所述角速度信息与所述霍尔位置信息在时序上对应；在ois系统中，陀螺仪用于识别该电子设备在不同方向上的移动情况或倾斜量，ois马达将根据陀螺仪给出的不同时刻的数据作不同程度的反向等值偏移，从而保证手抖时该机身或镜头造成的抖动量被抵消，此时，获取到的霍尔位置信息与陀螺仪数据在时序上同步。

选择至少一个所述角速度信息，获取至少一个所述角速度信息在时序上对应的镜头偏移量；

根据预设的ois标定函数及获取的所述镜头偏移量，计算出所述至少一个镜头偏移量对应的图像偏移量；

例如，可在多个角速度值当中，选取其中至少一个角速度值对应的霍尔值，获取与该霍尔值对应的至少一个镜头偏移量，计算得到与该镜头偏移量对应的图像偏移量，并利用该图像偏移量对图像进行补偿。

其中，从多个角速度值(角速度信息)选取至少一个角速度值，可根据不同方式进行选取。例如，按照多个角速度值加权值从大到小，或由小到大进行排列，选取前n个值(n为正整数)，也可以按照多个角速度的均方值由大到小，或由小到大进行排列，选取前n个值。

利用所述图像偏移量对所述图像进行分块校正。

其中，如图2所示，利用所述图像偏移量对所述图像进行分块校正是指：

s1031、将所述图像的所有像素按行进行分块，每一像素块包括多个像素行；

s1032、依次为所述图像的每一像素块分配不同的图像偏移量；

s1033、利用分配的所述图像偏移量对所述图像的每一像素块进行逐一校正。

例如，若该图像具备1000行像素，则可将该图像分为20块，每50行为一块，则选择20个图像偏移量，分别对应于所有的20个像素块进行逐一校正。如，图像偏移量1为向x轴正向偏移1个像素，图像偏移量2为向x轴负向偏移1个像素，则分块1整体向右移动1个像素，分块2整体向右移动1个像素，以此类推，不同的像素块通过不同的图像偏移量进行图像校正，相比于逐行校正的方式，保证了图像校正的速度，可应用在实时预览和拍照过程中；相比于一个图像用一个图像偏移量进行校正的方式，可提高图像校正的精度，有效地保证了图像校正的质量，减小了后续的景深计算带来的偏差，保证了背景虚化效果。

图3为镜头偏移前后成像变化的示意图。如图3所示，以ois马达推动一个摄像头的镜头为例，镜头移动前，摄像头标定参数为：焦距f1，主点为u1。在ois启动后带动镜头的偏移，镜头移动后，主点变更为u2，则镜头偏移量则为δu＝u2-u1，单位为微米(实际过程中，δu根据霍尔值与镜头偏移量的对应关系推算得出)，则利用镜头偏移量与图像偏移量的ois标定函数，可以推算出与镜头偏移量δu对应的图像偏移量(δx,δy)，利用(δx,δy)进行图像校正，并利用三角法计算景深。其中，三角法为计算景深的常规算法，本申请实施例不再累述。

实施例二

本申请实施例提供一种图像校正装置20，如图4所示，该图像校正装置20包括：

获取单元21，用于获取单元，用于获取电子设备的至少一个镜头偏移量；

其中，在获取电子设备的至少一个镜头偏移量之前，

所述获取单元，还用于获取所述电子设备的霍尔位置信息，所述霍尔位置信息与所述镜头偏移量对应；

根据所述霍尔位置信息获取所述镜头偏移量。

计算单元22，用于同步获取所述电子设备在ois模式下采集的图像，根据预设的ois标定函数及同步获取的所述镜头偏移量，计算出所述至少一个镜头偏移量对应的图像偏移量；

ois模式通过设置在第一摄像头和/或第二摄像头的ois系统210来实现。

其中ois系统210可以包括：

ois控制器211、陀螺仪211、霍尔传感器212、马达213和摄像头214。

摄像头214包括第一摄像头和/或第二摄像头，其中，第一摄像头和/或第二摄像头可以并列位于电子设备的前面，也可以位于电子设备的背面，排布方式可以为水平排布也可以为竖直排布，第一摄像头和/或第二摄像头带有ois系统，第一摄像头和第二摄像头分别具有镜头。

霍尔传感器212是基于霍尔效应进行位移检测的磁场传感器，用于获取霍尔位置信息，并通过霍尔位置信息与镜头偏移量的对应关系，获取该带有ois系统的摄像头的镜头偏移量，即第一摄像头和/或第二摄像头的镜头偏移量。

陀螺仪211是基于电子设备在自由空间方位移动的定位系统，用于获取电子设备抖动时的角速度信息，需要说明的是，角速度信息与霍尔位置信息在时序上对应，即同一时刻的一个角度数值对应一个霍尔位置信息。

ois控制器211从陀螺仪211获取角速度信息，并将角速度信息转换为电子设备的抖动幅度，并将该抖动幅度作为参考信号发送给马达213.

马达213可以为ois马达，用于根据抖动幅度，推动带有ois系统的摄像头的镜头移动，以保证图像的清晰度。

ois控制器211，可以是本申请实施例中的获取单元21，从第一摄像头和第二摄像头获取同一时刻采集目标场景分别得到第一图像和第二图像。同时，ois控制器211还在同一时刻获取到霍尔传感器212采集的霍尔位置信息以及陀螺仪211采集的角速度信息，并将该信息输出至计算单元。

在本申请实施例中，计算单元22可以是通用处理器cpu，也可以是图像处理器gpu，还可以是图像处理器(imagesignalprocessor,isp)。

校正单元23，用于利用所述图像偏移量对所述采集的图像进行分块校正。

其中，

所述获取单元，还用于同步获取陀螺仪的角速度信息；

所述获取单元，还用于选择至少一个所述角速度信息，获取至少一个所述角速度信息对应的镜头偏移量；

所述计算单元，还用于根据预设的ois标定函数及获取的所述镜头偏移量，计算出所述至少一个镜头偏移量对应的图像偏移量；

所述校正单元，还用于利用所述图像偏移量对所述图像进行分块校正。

其中，所述校正单元利用所述图像偏移量对所述图像进行分块校正，具体可以为：

将所述图像的像素行进行分块操作，每一像素块包括多个像素行；

依次为所述图像的每一像素块分配不同的图像偏移量；

利用分配的图像偏移量对所述图像的每一像素块做逐一校正。在获取电子设备的至少一个镜头偏移量之前，

所述获取单元，还用于获取所述电子设备的霍尔位置信息，所述霍尔位置信息与所述镜头偏移量对应；

根据所述霍尔位置信息获取所述镜头偏移量。

具体地，霍尔位置信息、镜头偏移量与图像偏移量的标定关系、分块校正的方案及示例可参见前述实施例的相关部分，这里不再累述。

图4为一个实施例中电子设备的内部结构示意图。如图4所示，该终端包括通过系统总线连接的处理器、存储器和网络接口。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器用于存储数据、程序等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于电子设备的无线网络通信方法。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种场景深度计算的方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等，用于与外部的电子设备进行通信。该电子设备可以是移动终端、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像校正方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像校正的方法。

本申请实施例还提供了一种电子设备。如图5所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该电子设备可以为包括移动终端、平板电脑、pda(personaldigitalassistant，个人数字助理)、pos(pointofsales，销售终端)、车载电脑、穿戴式设备等任意终端设备，以电子设备为移动终端为例：

图6为与本申请实施例提供的电子设备相关的移动终端的部分结构的框图。参考图6，移动终端包括：射频(radiofrequency，rf)电路610、存储器620、输入单元630、显示单元640、传感器650、音频电路660、无线保真(wirelessfidelity，wifi)模块670、处理器680、以及电源690等部件。本领域技术人员可以理解，图6所示的移动终端结构并不构成对移动终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中，rf电路610可用于收发信息或通话过程中，信号的接收和发送，可将基站的下行信息接收后，给处理器680处理；也可以将上行的数据发送给基站。通常，rf电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(lownoiseamplifier，lna)、双工器等。此外，rf电路610还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(globalsystemofmobilecommunication，gsm)、通用分组无线服务(generalpacketradioservice，gprs)、码分多址(codedivisionmultipleaccess，cdma)、宽带码分多址(widebandcodedivisionmultipleaccess，wcdma)、长期演进(longtermevolution，lte))、电子邮件、短消息服务(shortmessagingservice，sms)等。

存储器620可用于存储软件程序以及模块，处理器680通过运行存储在存储器620的软件程序以及模块，从而执行移动终端的各种功能应用以及数据处理。存储器620可主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能的应用程序、图像播放功能的应用程序等)等；数据存储区可存储根据移动终端的使用所创建的数据(比如音频数据、通讯录等)等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元630可用于接收输入的数字或字符信息，以及产生与移动终端600的用户设置以及功能控制有关的键信号输入。具体地，输入单元630可包括触控面板631以及其他输入设备632。触控面板631，也可称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板631上或在触控面板631附近的操作)，并根据预先设定的程式驱动相应的连接装置。在一个实施例中，触控面板631可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器680，并能接收处理器680发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板631。除了触控面板631，输入单元630还可以包括其他输入设备632。具体地，其他输入设备632可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)等中的一种或多种。

显示单元640可用于显示由用户输入的信息或提供给用户的信息以及移动终端的各种菜单。显示单元640可包括显示面板641。在一个实施例中，可以采用液晶显示器(liquidcrystaldisplay，lcd)、有机发光二极管(organiclight-emittingdiode,oled)等形式来配置显示面板641。在一个实施例中，触控面板631可覆盖显示面板641，当触控面板631检测到在其上或附近的触摸操作后，传送给处理器680以确定触摸事件的类型，随后处理器680根据触摸事件的类型在显示面板641上提供相应的视觉输出。虽然在图6中，触控面板631与显示面板641是作为两个独立的部件来实现移动终端的输入和输入功能，但是在某些实施例中，可以将触控面板631与显示面板641集成而实现移动终端的输入和输出功能。

移动终端600还可包括至少一种传感器650，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板641的亮度，接近传感器可在移动终端移动到耳边时，关闭显示面板641和/或背光。运动传感器可包括加速度传感器，通过加速度传感器可检测各个方向上加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换)、振动识别相关功能(比如计步器、敲击)等；此外，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器等。

音频电路660、扬声器661和传声器662可提供用户与移动终端之间的音频接口。音频电路660可将接收到的音频数据转换后的电信号，传输到扬声器661，由扬声器661转换为声音信号输出；另一方面，传声器662将收集的声音信号转换为电信号，由音频电路660接收后转换为音频数据，再将音频数据输出处理器680处理后，经rf电路610可以发送给另一移动终端，或者将音频数据输出至存储器620以便后续处理。

wifi属于短距离无线传输技术，移动终端通过wifi模块670可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图6示出了wifi模块670，但是可以理解的是，其并不属于移动终端600的必须构成，可以根据需要而省略。

处理器680是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器620内的软件程序和/或模块，以及调用存储在存储器620内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。在一个实施例中，处理器680可包括一个或多个处理单元。在一个实施例中，处理器680可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等；调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器680中。

移动终端600还包括给各个部件供电的电源690(比如电池)，优选的，电源可以通过电源管理系统与处理器680逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

在一个实施例中，移动终端600还可以包括摄像头、蓝牙模块等。

在本申请实施例中，该电子设备所包括的处理器680执行存储在存储器上的计算机程序时实现图像校正的方法的步骤。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)，它用作外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。