一种图像处理方法、控制终端及存储介质与流程

本发明实施例涉及计算机技术领域，尤其涉及一种图像处理方法、控制终端及存储介质。

背景技术：

镜头畸变对照片质量有较大影响，并在精密照片应用中会引起较大偏差，造成建图错误。由于镜头中透镜的固有特性，目前镜头畸变不可完全消除，镜头畸变的校正效果有限。

技术实现要素：

本发明实施例提供了一种图像处理方法、控制终端及存储介质，可有效改善镜头畸变对拍摄图像的影响。

本发明实施例的第一方面是提供的一种图像处理方法，包括：

确定图像采集设备的校正参数，所述校正参数包括相机参数和/或畸变参数；

获取所述图像采集设备采集的图像；

将所述校正参数和所述图像进行关联存储。

本发明实施例的第二方面是提供的一种控制终端，包括存储器、处理器和图像采集设备；

所述存储器用于存储程序代码；

所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：

确定图像采集设备的校正参数，所述校正参数包括相机参数和/或畸变参数；

获取所述图像采集设备采集的图像；

将所述校正参数和所述图像进行关联存储。

本发明实施例的第三方面是提供的一种控制终端，其特征在于，包括：

机身；

动力系统，安装在所述机身，用于为所述控制终端提供动力；

图像采集设备，安装在机身，用于采集图像；

以及第二方面所述的处理器。

在本发明实施例中，控制终端在确定所述图像采集设备的校正参数，即相机参数和/或畸变参数后，可通过所述图像采集设备采集图像，并将所述校正参数和所述图像进行关联存储，以使得在后续对所述图像进行畸变校正时，可根据与所述图像关联存储的校正参数对所述图像进行畸变校正，从而得到精准的校正后图像。由于将所述校正参数和所述图像进行关联存储，可有效避免校正参数和图像的分离。也就是说，即使图像经过转移或剪裁等处理，控制终端或者其他外部设备对所述图像进行图像重建的过程中，可基于该关联存储关系，在获取到图像的同时，获取与该图像关联存储的校正参数，从而实现对该图像的畸变校正。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本发明实施例提供的一种没有畸变图像的示意图；

图1b是本发明实施例提供的一种基于图1a图像产生径向畸变的示意图；

图1c是本发明实施例提供的一种基于图1a图像产生切向畸变的示意图；

图2是本发明实施例提供的一种图像处理方法的示意流程图；

图3a是本发明实施例提供的一种标定板的示意图；

图3b是本发明实施例提供的一种标定板的标定板拍摄图像的示意图；

图4是本发明另一实施例提供的一种图像处理方法的示意流程图；

图5a是本发明实施例提供的一种图像处于剪裁前后的示意图；

图5b是本发明实施例提供的一种处于剪裁前后的图像以影像中心为坐标原点的示意图；

图5c是本发明实施例提供的一种处于剪裁前后的图像以影像左上角顶点为坐标原点的示意图；

图6是本发明实施例提供的一种控制终端的示意图。

具体实施方式

透镜由于制造精度以及组装工艺的偏差，在制作图像采集设备时会引入畸变，导致原始图像的失真，这种失真在摄影测量中被称为镜头畸变，其中，镜头畸变包括径向畸变和切向畸变。其中，径向畸变是沿着透镜半径方向分布的畸变，主要包括桶形畸变和枕形畸变两种，切向畸变是由于透镜本身与成像平面或图像平面不平行而产生的。如果没有镜头畸变的图像如图1a所示，以该图像为基准产生径向畸变的图像可参见图1b，产生切向畸变的图像可参见图1c。

当前为了消除透镜的畸变，可利用镜片组的优化设计、选用高质量的光学玻璃来制造镜片，但是这种方法会造成生产成本的提高，并且对镜头畸变的改善有限。

现有的图像畸变的校正方法多是根据相机内置的光学设计畸变参数，通过设置距离相等的若干点阵的方式进行畸变校正的，对于点阵上对应的点，采用光学设计畸变参数进行校正，对于点阵之间的像素，通过内插进行校正，采用上述校正方式对图像畸变的校正效果欠佳。其中，由于现有的图像畸变校正方法中采用的光学设计畸变参数是预先设置好的，也就是说，同一生产批次或者同一生产厂商所设置的光学设计畸变参数是相同的，但是由于镜头制造及组装工艺的差异，即使是处于同一生产批次或者由同一生产厂商制造的相机镜头的畸变程度是不完全相同的，因此，如果由相同的光学设计畸变参数对图像进行畸变校正，不能得到较好的畸变校正效果。

基于此，本发明实施例提出了一种图像处理方法，该方法用于对拍摄图像进行畸变校正，该方法主要是在生产图像采集设备时，使用标定板对每个图像采集设备的镜头进行相机参数和畸变参数的标定，并将标定后的相机参数和畸变参数存储在相机的预设存储器中，从而可在图像采集设备采集图像的过程中将相机参数和畸变参数写入每张照片的xmp字段中。

在后处理的过程中，通过直接提取照片中xmp字段中的相机参数和畸变参数，即可对照片进行逐个像素的畸变校正。采用本发明实施例提供的图像处理方法，可以有效提高畸变校正精度，同时降低生产成本。通过在图像中记录相机参数和/或畸变参数，也无需担心校正参数和图像分离的问题。也就是说，即使图像经过转移或剪裁等处理，也可直接通过获取与图像关联存储的校正参数对图像进行畸变校正。

请参见图2，是本发明实施例提出的一种图像处理方法的示意流程图，如图2所示，该方法可包括：

s201，确定图像采集设备的校正参数。

其中，所述图像采集设备可以是相机、摄像机以及具有摄像功能的设备，可选的，所述图像采集设备可安装于控制终端，控制终端可以为可移动平台，所述可移动平台例如可以是配置有图像采集设备的无人机、汽车等。

控制终端的图像采集设备出厂时，可通过预设算法，如张氏标定法确定所述图像采集设备的校正参数。在通过张氏标定法确定所述图像采集设备的校正参数时，可通过预设的标定板确定出所述校正参数，所述校正参数包括相机参数和/或畸变参数，所述畸变参数包括径向畸变参数和切向畸变参数中的至少一种，所述相机参数包括像主点坐标和焦距中的至少一种。

在一个实施例中，所述标定板如图3a所示，包括棋盘格图样。进一步地，可通过图像采集设备采集所述标定板的标定板拍摄图像，在一个实施例中，所述标定板拍摄图像为所述图像采集设备基于所述标定板进行多个角度拍摄得到的，所述标定板拍摄图像可包括一张或多张，其中，图3b为所述标定板拍摄图像中的一个示例，由图3a和图3b可以看出，标定板拍摄图像相对于标定板产生了畸变。

在一个实施例中，在采用预设算法(如张氏标定法)根据所述标定板拍摄图像确定所述图像采集设备的校正参数时，可先提取出标定板拍摄图像中的角点坐标，根据针孔成像原理计算出畸变前所述角点的坐标位置，以确定所述图像采集设备的校正参数。可选的，所述标定板的长边和宽边所包含的棋盘格个数不同，所述棋盘格图样为非对称形式，从而有利于角点的提取。

具体地，假设像素点畸变前坐标为(x,y)，畸变后坐标为(x1，y1)，因此，基于未知变量畸变参数(包括径向畸变参数ki和切向畸变参数pi)可建立数学模型，求解得到所述畸变参数。

在一个实施例中，根据所述径向畸变参数ki、像素点畸变前坐标(x,y)以及畸变后坐标(x1，y1)，可建立径向畸变模型：

再一个实施例中，根据所述切向畸变参数pi、像素点畸变前坐标(x,y)以及畸变后坐标(x1，y1)，可建立切向畸变模型：

其中，r为畸变前像素点到像主点的距离，其中，r²＝x²+y²。

求解上述径向畸变模型和切向畸变模型，确定所述畸变参数{k1，k2，k3，p1，p2}，

在一个实施例中，控制终端在根据所述标定板拍摄图像确定所述图像采集设备的相机参数时，可根据所述标定板中的某一点在地理空间中的坐标位置，以及其在标定板拍摄图像中对应像素点的坐标位置，确定所述图像采集设备的相机参数，即是可根据所述图像采集设备的成像约束关系，确定所述图像采集设备的相机参数。

具体地，如果x、y、z为标定板中任一点在像空间坐标系下的坐标位置，fx、fy是以所述像素点为单位的焦距，cx、cy是以像素为单位的像主点坐标，x，y，z为像素坐标系下的齐次坐标，当z＝1时，x，y为像素点在以图像左上角顶点为原点的像素坐标。

基于所述图像采集设备的成像约束关系，可建立如下公式：

根据公式1.3可得到所述图像采集设备的相机参数fx、fy、cx以及cy。

在得到校正参数包括的相机参数和/或畸变参数后，可先将所述校正参数存储在控制终端预设的存储器中，所述预设的存储器例如可以是固态存储器flash。基于公式1.3得到的相机参数以图像左上角顶点为坐标原点。可选的，将所述校正参数和所述图像进行关联存储之前，将相机参数的参考点转换为所述标定板拍摄图像的影像中心。

s202，获取所述图像采集设备采集的图像。

可选的，获取所述图像采集设备采集的图像后，可从预设的存储器中获取所述校正参数，并执行步骤s203。

s203，将所述校正参数和所述图像进行关联存储。

控制终端在通过图像采集设备采集到图像，并从所述图像采集设备的预设存储器中获取到校正参数后，在将所述校正参数和所述采集的图像进行关联存储时，可先将所述校正参数写入所述图像的原始数据中，例如可将所述校正参数写入所述图像的预设字段中，其中，所述预设字段例如可以是xmp字段。

在将所述校正参数写入所述图像的xmp字段时，可采用“calibrate_data，fx,fx,cx,cy,k1,k2,p1,p2,k3”的格式写入。其中，calibrate_data为校正参数的标定日期，fx,fy是以像素为单位的焦距，cx,cy是以像素为单位的像主点坐标，k1，k2，k3为径向畸变参数，p1，p2为切向畸变参数。可以理解的，本领域技术人员可根据实际需求，设定所述校正参数在预设字段中存储的形式和顺序，或增加其他相关信息。可选的，所述其他相关信息包括，是否已经进行了畸变校正，通过读取该信息，可以有效的避免重复畸变校正导致图像的失真。

当控制终端将所述校正参数和所述图像进行关联存储后，可基于所述校正参数对所述采集的图像进行校正，具体地，可先获取所述图像每个像素点的坐标，并根据所述每个像素点的坐标和所述校正参数对所述图像进行逐像素的畸变校正。在一个实施例中，在对所述图像进行畸变校正时，可由所述控制终端进行校正，也可由与所述控制终端建立通信连接的外部设备(如具有处理能力的终端或者服务器等)进行校正。

在一个实施例中，如果由所述控制终端对图像进行畸变校正，控制终端可先自动读取与所述图像关联存储的校正参数，或者也可接收人工输入的所述图像采集设备的校正参数，在所述控制终端确定所述校正参数后，基于所述校正参数，可逐像素地对所述图像进行校正，从而可得到精准的校正后图像，所述校正后图像即为改善镜头畸变影响的所述图像。

再一个实施例中，为了减轻所述控制终端的数据处理压力，也可由外部设备对图像进行畸变校正。在由所述外部设备进行畸变校正时，所述控制终端可先将所述图像以及与所述图像关联存储的校正参数一同传输到外部设备(即接收端)中，再由所述外部设备对所述图像进行畸变校正。可选的，在所述外部设备对所述图像进行畸变校正时，也是根据读取的与所述图像关联存储的校正参数，逐像素地对所述图像进行校正的，从而可实现对所述图像的畸变校正，改善镜头畸变对图像的影响。

在一个实施例中，基于所述图像与所述校正参数之间的关联存储关系，在所述控制终端将图像传输到所述外部设备的过程中，所述控制终端会在传输所述图像的同时一并将所述校正参数传输到外部设备中，以便于所述外部设备根据所述校正参数对所述图像进行校正。其中，所述控制终端可通过无线传输的方式将所述图像传输到所述外部设备中，也可通过有线传输的方式进行传输，在本实施例中不做限定。

需要说明的是，所述外部设备在根据所述控制终端传输的图像对所述图像进行校正时，所述外部设备与所述控制终端之间的连接状态可以是保持连接的状态，也可以是断开连接的状态。

在所述外部设备完成图像的畸变校正后，可基于所述外部设备与所述控制终端之间的通信连接，将畸变校正后的图像回传到所述控制终端中，以使得所述控制终端可在显示界面中显示畸变校正后的图像；或者，当所述控制终端没有对所述畸变校正后的图像的使用需求(如前述的显示需求)时，也可不回传所述畸变校正后的图像到所述控制终端。

在所述控制终端或者所述外部设备对所述图像进行畸变校正时，由于该图像为畸变图像，可确定该图像任一点的坐标为畸变后的坐标，根据校正参数以及式1.1、1.2和1.3通过迭代的方式可确定所述图像畸变前每个像素点的坐标，从而可根据该坐标确定该图像对应的畸变前图像，实现对所述图像的畸变校正。

在本发明实施例中，控制终端在确定所述图像采集设备的校正参数，即相机参数和/或畸变参数后，可通过所述图像采集设备采集图像，并将所述校正参数和所述图像进行关联存储，以使得在后续对所述图像进行畸变校正时，可根据与所述图像关联存储的校正参数对所述图像进行畸变校正，从而得到精准的校正后图像，由于将所述校正参数和所述图像进行关联存储，可有效避免校正参数和图像的分离。也就是说，即使图像经过转移或剪裁等处理，控制终端或者其他外部设备对所述图像进行图像重建的过程中，可基于该关联存储关系，在获取到图像时同时获取与该图像关联存储的校正参数，从而实现对该图像的畸变校正。

请参见图4，是本发明实施例提出的一种图像处理方法的示意流程图，如图4所示，该方法可包括：

s401，获取所述图像采集设备对标定板进行拍摄得到的标定板拍摄图像。

s402，根据所述标定板拍摄图像，确定校正参数。

在一个实施例中，步骤s401-步骤s402是对上述实施例中步骤s201的具体细化，该标定板可如图3a所示，对应的，图像采集设备对标定板进行拍摄得到的标定板拍摄图像可如图3b所示。在所述控制终端获取所述图像采集设备对标定板进行拍摄得到的标定板拍摄图像之前，所述控制终端还可先确定所述标定板对应的标定图像，从而可根据所述标定图像和所述标定板拍摄图像确定所述校正参数。在另一实施例中，所述控制终端还可获取所述标定板对应的网络点阵，从而可根据所述网络点阵和所述标定板拍摄图像确定校正参数。

在一个实施例中，可按照预设算法生成所述标定板对应的标定图像，或者生成所述标定板对应的网络点阵，生成的所述标定图像或者所述网络点阵是没有产生畸变的。

s403，将相机参数的参考点转换为所述标定板拍摄图像的影像中心。

s404，将所述校正参数存储到预设的存储器中。

s405，获取所述图像采集设备采集的图像。

s406，从所述预设的存储器中获取所述校正参数。

s407，将所述校正参数和所述图像进行关联存储。

在一个实施例中，在步骤s403-步骤s407中，在所述控制终端将所述校正参数存储到预设的存储器之前，可先将所述相机参数的参考点转换为所述标定板拍摄图像的影像中心，以便于对所述图像进行修改(如剪裁)后，仍可按照所述相机参数逐像素点地对所述图像进行畸变校正，进一步地，可将所述校正参数预先存储到预设的存储器中，如上述的flash存储器中。

在检测到所述图像采集设备采集图像时，可在获取采集的图像后，从预设的存储器中获取所述校正参数，并将所述校正参数和所述图像进行关联存储，以便于在进行图像校正时，通过获取图像，可根据所述关联存储关系，一并获取到所述校正参数，避免了所述校正参数和所述图像的脱离，提高了对所述图像进行畸变校正的准确度。其中，在将所述图像和所述校正参数进行关联存储时，可先将所述校正参数写入所述图像的原始数据中，所述原始数据可以是所述图像的预设字段，如xmp字段，然后再执行步骤s408。

s408，根据所述校正参数对所述图像进行畸变校正。

基于所述图像和所述校正参数之间的关联存储关系，当所述控制终端获取到图像时，也可一并获取到关联存储的校正参数，从而可基于所述校正参数对所述图像进行逐像素点的校正，从而改善由于镜头畸变对图像产生的畸变影响。在基于所述校正参数对所述图像进行畸变校正时，可根据所述图像中各像素点的坐标、校正参数和上述式1.1、式1.2和式1.3确定所述图像中各像素点畸变前的坐标，从而实现对所述图像的畸变校正。

在本发明实施例中，控制终端可根据对标定板进行拍摄得到的标定板拍摄图像，确定校正参数，将所述校正参数包括的相机参数的参考点转换为该标定拍摄图像的影像中心，并将所述校正参数存储到预设的存储器中。在所述控制终端获取图像采集设备采集的图像后，可从所述预设的存储器中获取所述校正参数，并将所述校正参数和所述图像的关联存储，以便基于所述校正参数对所述图像进行畸变校正，改善镜头畸变对图像的影响。

在一个实施例中，根据所述标定板拍摄图像确定相机参数时，基于上述公式1.3计算得到的相机参数是以标定板拍摄图像的左上角顶点为坐标原点计算得到的，在将所述校正参数和所述图像进行关联存储之前，还包括：将相机参数的参考点转换为所述标定板拍摄图像的影像中心。以使得求得的校正参数能适应于剪裁不同比例的照片。

在一个实施例中，如图5a所示，原图像为黑色方框所示区域图像501，剪裁后的图像区域502用灰色区域标识，黑色圆点p为所述图像像主点。若以如图5b所示的坐标系计算所述像主点在所述原图像501和剪裁后图像502中的位置，可知，由于所述坐标系坐标原点为影像中心，因此所述像主点在所述原图像501和剪裁后图像502中的坐标相同。因此，在基于校正参数对所述图像进行畸变校正时，即使对所述图像进行剪裁，像主点对应的坐标位置也不会发生改变。

在另一实施例中，若以如图5c所示的坐标系，即以图像中左上角顶点为坐标系原点，计算所述像主点p在所述原图像501和剪裁后图像502中的位置，可知，由于剪裁前后坐标系原点的位置发生了变化，因此所述像主点p在所述原图像501和剪裁后图像502中的坐标不同，由此，如果需要对剪裁后的图像进行畸变校正，需要根据该像主点p在原图像中的坐标以及剪裁宽度和/或长度计算图像剪裁后像主点p对应的坐标，也就是说，不能根据该像主点p在原图像中的坐标直接得出该像主点p在剪裁后图像中的坐标。采用影像中心作为参考点(即坐标原点)可将上述校正参数应用于不同比例剪裁的图像。对于经过裁剪的影像，用户能直接解算出像主点的坐标而不需要查找图像的变更历史，计算剪裁宽度和/或长度。

本发明实施例提供一种控制终端，图6是本发明实施例提供的控制终端的结构图，如图6所示，控制终端600包括存储器601、处理器602和图像采集设备603，其中，存储器602中存储有程序代码，处理器602调用存储器中的程序代码，当程序代码被执行时，处理器602执行如下操作：

确定图像采集设备603的校正参数，所述校正参数包括相机参数和/或畸变参数；

获取所述图像采集设备603采集的图像；

将所述校正参数和所述图像进行关联存储。

在一个实施例中，所述相机参数包括焦距和像主点坐标中的至少一种，所述畸变参数包括径向畸变参数和切向畸变参数中的至少一种。

在一个实施例中，所述处理器602还用于执行：根据所述校正参数对所述图像进行畸变校正。

在一个实施例中，所述处理器602在根据所述校正参数对所述图像进行畸变校正时，执行如下操作：

获取所述图像每个像素点的坐标；

根据所述每个像素点的坐标和所述校正参数对所述图像进行逐像素的畸变校正。

在一个实施例中，所述处理器602在确定图像采集设备603的校正参数时，执行如下操作：

获取所述图像采集设备603对所述标定板进行拍摄得到的标定板拍摄图像；

根据所述标定板拍摄图像，确定校正参数。

在一个实施例中，所述处理器602在标定板包括棋盘格图样，所述图像采集设备603对所述标定板进行拍摄时，执行如下操作：

对所述标定板进行多个角度地拍摄，以得到不同角度的所述标定板拍摄图像。

在一个实施例中，所述处理器602在根据所述标定板拍摄图像，确定校正参数时，执行如下操作：

通过预设的算法对所述标定板拍摄图像进行处理，得到校正参数，其中，所述预设的算法包括张氏标定法。

在一个实施例中，所述处理器602在将所述校正参数和所述图像进行关联存储之前，还执行如下操作：

将相机参数的参考点转换为所述标定板拍摄图像的影像中心。

在一个实施例中，所述处理器602在获取所述图像采集设备603采集的图像之前，还执行如下操作：

将所述校正参数存储到预设的存储器中。

在一个实施例中，所述处理器602在将所述校正参数和所述图像进行关联存储时，执行如下操作：

从所述预设的存储器中获取所述校正参数；

将所述校正参数和所述图像进行关联存储。

在一个实施例中，所述处理器602在将所述校正参数和所述图像进行关联存储时，执行如下操作：

将所述校正参数写入所述图像的原始数据中。

在一个实施例中，所述处理器602在将所述校正参数写入所述图像的原始数据中时，执行如下操作：

将所述校正参数写入所述图像的预设字段中。

在一个实施例中，所述处理器602当通过无线传输的方式发送所述图像时，所述校正参数随图像一同传输至接收端。

本实施例提供的控制终端能够执行前述实施例提供的如图2所示的图像处理方法，其执行方式和有益效果类似，在这里不再赘述。

本发明实施例提供一种控制终端，包括：

机身；

动力系统，安装在所述机身，用于为所述控制终端提供动力；

图像采集设备，安装在机身，用于采集图像；

以及如图6所示的处理器。

在一个实施例中，所述控制终端还包括：

通信设备，安装在所述机身，用于与外部设备进行信息交互。

在一个实施例中，所述控制终端至少包括如下的一种：无人机、汽车。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。