图像处理方法以及装置与流程

本发明实施例涉及图像处理技术领域，具体地，涉及一种图像处理方法以及一种图像处理装置。

背景技术：

现有技术中在拍摄多人自拍时，例如利用智能电话的前置摄像头拍摄两个人以上的自拍时，通常使用广角镜头。然而，在实施现有技术的上述拍摄过程中，发明人发现使用广角镜头会产生非线性畸变，使拍摄的图片产生扭曲。这种畸变的存在虽然不会影响到图像的清晰度，但在一些定量分析或图像测量上会降低图像中物体的位置精度，使其在高精度测量方面失去价值，例如双摄像头在做图像效果叠加时就会由于畸变产生计算精度误差。

而对于上述现有技术存的问题，如果利用光学方法校正畸变的光学系统不仅成像复杂且设计难度大，对镜头的制造工艺也比较困难，成本也较高。即本申请发明人在实现本发明实施例的过程中发现，现有技术的上述光学方案具有校正过程复杂、难度大、成本高等的缺陷。

技术实现要素：

针对现有技术存在的拍摄图像的光学校正过程复杂、难度大、成本高等的缺陷，本发明实施例提供一种图像处理方法，该方法包括：提取待校正图像的像素区域中每个像素的实际像素坐标；以及对所提取的每个实际像素坐标利用图像校正模型计算校正后的校正像素坐标，以得到校正后的所述图像的像素区域。

优选地，所述图像校正模型根据以下步骤建立：

提取图像的像素区域中的多个像素的实际像素坐标以及校正像素坐标作为训练集样本；以及

将训练集样本的多个像素的实际像素坐标以及校正像素坐标代入以下公式确定畸变系数：

其中，(x_d,y_d)为像素的校正像素坐标；(x,y)为像素的实际像素坐标；为非线性畸变值；K₁，K₂，P₁，P₂，S₁，S₂为畸变系数。

优选地，该方法还包括：在利用图像校正模型计算校正后的校正像素坐标为非整数值的情况下，进一步利用像素插值法确定该校正像素坐标的整数值。

优选地，利用像素插值法确定该校正像素坐标的值包括：将距离所述校正像素坐标最近的相邻像素坐标的整数值确定为该校正像素坐标的整数值。

优选地，根据以下公式将距离所述校正像素坐标最近的相邻像素坐标的整数值确定为该校正像素坐标的值：

假设非整数校正像素坐标(x_d,y_d)＝(i+u,j+v)，其中i，j为正整数；(u,v)∈(0,1)，则校正像素坐标的整数值(x_d',y'_d)为：

相应地，本发明实施例还提供了一种图像处理装置，该装置包括：提取模块，用于提取待校正图像中每个像素的像素区域的实际像素坐标；以及校正模块，用于对所提取的每个实际像素坐标利用图像校正模型计算校正后的校正像素坐标以得到校正后的所述图像的像素区域。

优选地，该校正模块包括所述图像校正模型，以及所述图像校正模型根据以下步骤建立：

提取图像的像素区域中的多个像素的实际像素坐标以及校正像素坐标作为训练集样本；以及

将训练集样本的多个像素的实际像素坐标以及校正像素坐标代入以下公式确定畸变系数：

其中，(x_d,y_d)为像素的校正像素坐标，(x,y)为像素的实际像素坐标，为非线性畸变值；K₁，K₂，P₁，P₂，S₁，S₂为畸变系数。

优选地，所述校正模块还用于：在利用图像校正模型计算校正后的校正像素坐标为非整数值的情况下，进一步利用像素插值法确定该校正像素坐标的整数值。

优选地，所述校正模块还用于：将距离所述校正像素坐标最近的相邻像素坐标的整数值确定为该校正像素坐标的整数值。

优选地，所述校正模块还用于：根据以下公式将距离所述校正像素坐标最近的相邻像素坐标的整数值确定为该校正像素坐标的值：

假设非整数校正像素坐标(x_d,y_d)＝(i+u,j+v)，其中i，j为正整数；(u,v)∈(0,1)，则校正像素坐标的整数值(x_d',y'_d)为：

通过本发明实施例的上述技术方案，对于待校正的图像仅需要首先提取待校正图像的像素区域中每个像素的实际像素坐标，以及之后对所提取的每个实际像素坐标利用图像校正模型计算校正后的校正像素坐标，就可以得到校正后的图像，实现采用数字图像处理方法对拍摄到的图像进行畸变校正，使得摄像头(尤其是广角镜头)拍摄到的图像不产生变形，避免了光学校正的复杂成像过程、复杂的设计、以及较高的成本。

更为优选地，采用本发明实施例提供的上述优选的技术方案，能够实现更为理想的畸变校正，达到最佳校正效果。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1是根据本发明实施例的一种图像处理装置的结构示意图；

图2是根据本发明实施例的一种图像处理装置所执行的方法的流程图；

图3A-B是根据本发明实施例的一种图像处理装置处理前后的示例图像；

图4是根据本发明实施例的一种图像处理装置所执行的方法的流程图；

图5是根据本发明实施例的一种图像处理装置所执行的方法的流程图；以及

图6是根据本发明实施例的一种图像处理方法的示例流程图。

附图标记说明

10 提取模块 20 校正模块

100 图像处理装置。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

为了实现对图像的畸变校正，本发明实施例考虑了多种实施例，下面将一一进行详细地说明：

实施例1

图1是根据本发明实施例的一种实施例的图像处理装置100的结构示意图，如图1所示，该装置可以包括：提取模块10，用于提取待校正图像中每个像素的像素区域的实际像素坐标；以及校正模块20，用于对所提取的每个实际像素坐标利用图像校正模型计算校正后的校正像素坐标以得到校正后的所述图像的像素区域。

采用这样的实施例，对于待校正的图像可以实现采用数字图像处理方法对拍摄到的图像进行畸变校正，使得摄像头(尤其是广角镜头)拍摄到的图像不产生变形，避免了光学校正的复杂成像过程、复杂的设计、以及较高的成本。还应当理解的是，上述图像处理装置100可以根据实际需要以硬件或软件形式安装在具有拍摄图像功能的设备(例如智能电话、智能穿戴设备、平板电脑、笔记本电脑、计算机等)上，例如可以将其作为硬件组件安装在这些设备上使用，或者可以将其作为软件(例如应用程序，app)安装在这些设备上实现相应功能。

具体地，图像处理装置100的提取模块10可以提取待校正图像中每个像素的像素区域的实际像素坐标。例如用户通过智能电话等具有照相功能的设备拍摄了一张合照(例如三个人的自拍合影)，提取模块10可以自动或通过用户选择后提取该合照(即待校正图像)中每个像素的像素区域的实际像素坐标。之后，校正模块20可以对所提取的每个实际像素坐标利用图像校正模型计算校正后的校正像素坐标以得到校正后的所述图像的像素区域(即得到校正后的合照)。

作为上述畸变校正的关键，需要首先建立图像校正模型，图2是根据本发明实施例的一种实施例的图像处理装置所执行的方法的流程图，如图2所示，该校正模块20可以包括所述图像校正模型，所述图像校正模型可以根据以下步骤建立：

步骤1，提取图像的像素区域中的多个像素的实际像素坐标以及校正像素坐标作为训练集样本。该步骤可以对应于动作1，即提取训练集样本的至少三个像素的实际像素坐标和对应的校正像素坐标(该训练集样本的相应坐标可以根据试验等方式获得)，其中至少三个像素对主要考虑到畸变系数的个数；

之后，步骤2，将训练集样本的多个像素的实际像素坐标以及校正像素坐标代入以下公式确定畸变系数：

其中，(x_d,y_d)为像素的校正像素坐标，(x,y)为像素的实际像素坐标，为非线性畸变值；K₁，K₂，P₁，P₂，S₁，S₂为畸变系数。

相应地，对应于步骤2的动作2位将三个像素的实际像素坐标和对应的校正像素坐标代入公式(1)-(2)中，联立方程即可以求得畸变系数K₁，K₂，P₁，P₂，S₁，S₂的具体数值，本发明实施例对于这些具体数值并不限定，这些求解出的畸变系数K₁，K₂，P₁，P₂，S₁，S₂将作为已知量以计算待校正图像的校正像素坐标。

步骤3，建立图像校正模型，该步骤对应于动作3，即将求解出的畸变系数K₁，K₂，P₁，P₂，S₁，S₂的具体数值代回公式(2)并保存。

采用这样的实施例1，对于用户通过智能电话等具有照相功能的设备拍摄了一张照片(例如三个人的自拍合影)(即待校正图像)，校正模块20可以对所提取的每个实际像素坐标(x,y)利用图像校正模型计算校正后的校正像素坐标(x_d,y_d)以得到校正后的所述图像的像素区域(即得到校正后的合照)。图3A-B是根据本发明实施例的一种实施例的图像处理装置处理前后的示例图像，其中图3A中示出了待校正的图像，可见图像明显发生了变形，图3B示出了通过实施例1的校正后的图像，可见校正效果较好，没有变形。此外，对于不同的图像精度要求，可以调整样本数据、公式、算法等以调整建立的模型。

实施例2

图4是根据本发明实施例的一种实施例的图像处理装置所执行的方法的流程图，如图4所示，该实施例2与实施例1不同之处在于图像校正模型建立的步骤2，其中考虑了求解出多个畸变系数的情况。对于这种情况可以根据智能算法或加权平均等算法来确定多个畸变系数中的最优解(即动作3)，例如可以将多个畸变系数加权平均后的值确定为最优解，或者采用遗传算法、粒子群等等的智能算法去求解多个像素坐标样本的最优解。本领域技术人员可以根据实际情况(例如精确度要求、成本等)选择适当的算法进行求解。采用这样的实施例2，由于考虑了尽可能多的像素的实际像素坐标和校正像素坐标，因此计算出的畸变系数K₁，K₂，P₁，P₂，S₁，S₂的具体数值更加精确，以此为基础所建立的图像校正模型也更加精确，校正效果更佳。其他动作1、2、4与实施例1中的动作1、2、3相似，在此不再赘述。

实施例3

图5是根据本发明实施例的一种实施例的图像处理装置所执行的方法的流程图，如图5所示，该实施例3与实施例1-2不同之处在于，其中考虑到了利用图像校正模型计算校正后的校正像素坐标为非整数值的情况。对于这种情况，校正模块20可以被配置成进一步利用像素插值法确定该校正像素坐标的整数值。

具体地，在这种情况中，所述校正模块20可以执行以下步骤：

步骤S11，提取待校正图像的像素区域中每个像素的实际像素坐标；

步骤S12，对所提取的每个实际像素坐标利用图像校正模型计算校正后的校正像素坐标；

步骤S13，判断所述校正后的校正像素坐标是否为非整数值；

步骤S14，在所述校正后的校正像素坐标为非整数值的情况下，将距离所述校正像素坐标最近的相邻像素坐标的整数值确定为该校正像素坐标的整数值；反之，即在所述校正后的校正像素坐标为整数值的情况下，执行步骤S15，输出该校正像素坐标。

在该实施例3中，在步骤S14，所述校正模20可以根据以下公式将距离所述校正像素坐标最近的相邻像素坐标的整数值确定为该校正像素坐标的值：

假设非整数校正像素坐标(x_d,y_d)＝(i+u,j+v)，其中i，j为正整数；(u,v)∈(0,1)，则校正像素坐标的整数值(x_d',y'_d)为：

采用这样的实施例3，由于考虑了计算的校正像素坐标的非整数值情况，因此利用像素插值法得到的校正像素坐标的整数值更为接近理想状态，精确度更高，校正效果更佳。其他步骤和功能与实施例1-2相似，在此不再赘述。

图6是根据本发明实施例的一种实施例的图像处理方法的示例流程图，如图6所示，该方法可以包括以下步骤：

步骤S21，提取待校正图像的像素区域中每个像素的实际像素坐标；以及

步骤S22，对所提取的每个实际像素坐标利用图像校正模型计算校正后的校正像素坐标，以得到校正后的所述图像的像素区域。

优选地，所述图像校正模型根据以下步骤建立：

提取图像的像素区域中的多个像素的实际像素坐标以及校正像素坐标作为训练集样本；以及

将训练集样本的多个像素的实际像素坐标以及校正像素坐标代入以下公式确定畸变系数：

其中，(x_d,y_d)为像素的校正像素坐标；(x,y)为像素的实际像素坐标；为非线性畸变值；K₁，K₂，P₁，P₂，S₁，S₂为畸变系数。

优选地，该方法还包括：在利用图像校正模型计算校正后的校正像素坐标为非整数值的情况下，进一步利用像素插值法确定该校正像素坐标的整数值。

优选地，利用像素插值法确定该校正像素坐标的值包括：将距离所述校正像素坐标最近的相邻像素坐标的整数值确定为该校正像素坐标的整数值。

优选地，根据以下公式将距离所述校正像素坐标最近的相邻像素坐标的整数值确定为该校正像素坐标的值：

假设非整数校正像素坐标(x_d,y_d)＝(i+u,j+v)，其中i，j为正整数；(u,v)∈(0,1)，则校正像素坐标的整数值(x_d',y'_d)为：

应当理解的是，上述图像处理方法的各个具体实施例，均已在示例图像处理装置的实施例中做了详细地说明(如上所述)，在此不再赘述。并且，本领域技术人员可以根据本发明实施例的公开选择上述各种实施例中的任一者，或者选择上述各种实施例的组合来配置图像处理装置，并且其他的替换实施例也落入本发明实施例的保护范围。

采用本发明实施例的上述技术方案，能够实现采用数字图像处理方法对拍摄到的图像进行畸变校正，使得摄像头(尤其是广角镜头)拍摄到的图像不产生变形，避免了光学校正的复杂成像过程、复杂的设计、以及较高的成本。

更为优选地，采用本发明实施例提供的上述优选的技术方案，能够实现更为理想的畸变校正，达到最佳校正效果。

以上结合附图详细描述了本发明实施例的优选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。