图像畸变纠正方法、图像的还原方法以及对位方法与流程

本发明涉及图像数据处理技术领域，具体的涉及一种采用点阵图纠正图像畸变的方法，并将上述方法应用于对物体表面特征图案识别，用于矫正两个物体之间相对位置。

背景技术：

在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数，这个求解参数的过程就称之为相机标定。

为确定物理尺寸和像素间的换算关系，需要建立相机成像的几何模型。通过相机拍摄带有固定间距图案阵列平板、经过标定算法的计算，可以得出相机的几何模型，从而得到高精度的测量和重建结果。而带有固定间距图案阵列的平板就是标定模板。

对标定模板拍照获取的图像越清晰越有利于成像的几何模型准确性，也越有利于参数的求解。显然的对于近似于二维形状的物体的拍照，仅仅需要提高拍照相机的精度就可以很准确的建立起符合要求的几何模型。但是，对明显的三维结构物体，如罐体这样的具有弧度结构物体拍照所成图像就会产生明显畸变效果，体现在罐体图案在图像中的位移，如枕形畸变(pincushiondistortion)、桶形畸变(barreldistortion)等。上述图像畸变效果虽不可避免，但是可以通过图像纠正还原成为二维的平面图案。

现有技术中广泛存在对具有弧形过渡结构的物体进行相机标定建立几何模型的技术方案。如公开号为cn108765494名称为一种基于圆柱体标定物的多相机标定方法中已经充分公开了采用相机标定技术对圆柱体侧表面所成图像进行图像纠正以及还原的方法。具体的在该专利文献中记载，采用一个具有棋盘格和编码的图案作为标定模板，依据多相机多次对圆柱体拍照所获取的多幅照片利用相机标定技术对图像数据进行采集。值得注意的是依据说明书第【003】段记载“本方法采用表面为棋盘格图案加一组编码图案的标准圆柱体为标定物，利用基于线性的圆柱标定方法得到相机的内外参数”由于该专利中是基于线性的圆柱标定方法因此其所使用的相机为线阵相机。与线阵相机相对的是面阵相机。两者相比，线阵相机成像宽幅窄区域近似为一条直线拍摄精度高但效率低而面阵相机则成像区域宽精度相对较低但成像效率高。故此在该专利文献内需要使用多台线性相机以提升工作效率。

申请人欲提供一种采用单台面阵相机即可对具有三维结构特征的物体特别是柱体或者罐体结构应用相机标定技术实现图像数据处理的方法，并将上述方法应用到实际的生产应用中，比如解决罐体和盖体精准对位的技术问题中。

技术实现要素：

为解决上述技术问题，本发明提供了一种图像纠正方法，其应用点阵图案作为标定模板，利用面阵相机对标定模板上的点阵图案成像并采用图像软件处理纠正图像上的畸变，其目的是，将上述图像纠正方法应用于罐体侧表面的图案图像识别与纠正，将环形图案还原成为二维平面图像，实现对盖体上某一固定特征的识别测算出任意引入的盖体上的对位特征和罐体上对位特征的相对位置关系，而后调整两者之间的位置实现精准对位。

一种图像畸变纠正方法，其包括由面阵相机和光源组成的成像装置以及图像处理软件，其特征在于，通过以下步骤实现对待测物体表面所成图像的畸变纠正，

步骤一，在待测物体的表面设置有由若干个点位按照横向间隔一致以及竖向间隔一致排列获取的点阵图案；

步骤二，面阵相机对待测物体拍照获取畸变点阵图案图像，使得所成图像能够清晰显示出设置于待测物体表面的点阵图案；

步骤三，截取步骤二所获取的畸变点阵图案图像的部分区域图样；

步骤四，调整部分区域图样的像素位置获取畸变纠正后图样，调整方法为使得畸变纠正后图样上每个点位图样的像素位置之间横向间隔一致以及竖向间隔一致。

上述方法中采用面阵相机作为对待测物体表面的点阵图案进行拍照。由于面阵相机成像的区域大，因此可以采用单台相机对待测物体进行较少次的拍照即可完成图案的覆盖拍照。利用点阵图案中点位的数量密集的特点，在图像处理时图像上有若干个能够被识别的点状图案。点阵图案中点位按照横向间隔一致以及竖向间隔一致排列的，对应于成像还原后的二维平面图像上每个点位的像素位置之间横向间隔与竖向间隔也应当一致。图像处理软件利用点位在图案中的像素位置间隔应当是一致的原理对畸变图像进行纠正。

进一步的，应用上述方法实现图像纠正的待测物体为柱体或者罐体。柱体或者罐体的侧表面是连续的平滑的圆弧过渡，在截取步骤二所获取的畸变点阵图案图像的部分区域图样过程中，需要截取每一横行具有相同数量的点位图案，每一竖行具有相同数量的点位图案，保证截取的区域图样为矩形点阵阵图样。如果截取的面域内出现了一横行或者一竖行中的点位与其他横竖行点位数量不同，则该横行或者竖行被剔除。

一种图像的还原方法，上述图像畸变纠正方法将畸变图像还原成为平面图像，通过以下步骤对待测物体的表面图案图像进行还原，

通过以下步骤对待测物体的表面图案图像进行还原，

步骤h1，取标准待测物体，在所述的标准待测物体表面上设置有由若干个点位按照横向间隔一致以及竖向间隔一致排列获取点阵图案；

步骤h2,面阵相机对标准待测物体拍照获取畸变点阵图案图像，使得所成图像能够清晰显示出设置于标准待测物体表面的点阵图案；

步骤h3，截取步骤h2所获取的畸变点阵图案图像的部分区域图样；

步骤h4，调整部分区域图样的像素位置获取畸变纠正后图样，调整方法为使得畸变纠正后图样上每个点位图样的像素位置之间横向间隔一致以及竖向间隔一致，并获取纠正参数；

步骤h5，引入待测物体，多次拍照成像获取待测物体表面图案图像并依据纠正参数还原为图案平面图像。

所述的图像还原方法，是对标准待测物体表面点阵图案经过若干次拍照、图像纠正后拼接成一副平面图像模型。根据相机标定技术建立起标准待测物体表面点阵图案中点位的空间几何位置与平面图像模型中点位图像的像素位置的参数关系。在相机的位置固定不变的前提下，引入与标准待测物体，所述的待测物体是指与标准待测物体形状、尺寸相同但具有不同图案特征的物体。将待测物体引入相同的面阵相机拍摄场景下(所谓的相同拍摄场景是指面阵相机和待测物体的相对位置与面阵相机和标准待测物体相对位置一致)，经过若干次拍照后，图像处理软件就会依据参数关系将待测物体的图案还原成为一副较完整的二维平面图案。应当指出的是图像数据处理技术中利用模型参数，纠正另一幅图像的图像数据是现有技术，本申请中不在赘述。

优选的，所述的点阵图案可以是通过标签黏贴于标准待测物体表面。

一种对位方法，应用权利要求1或者2所述的一种图像畸变纠正方法调整待盖合的盖体与待盖合的罐体之间相对位置，其特征在于，通过以下步骤对位，

步骤n1，引入模板盖体，并拍摄盖体图像，选取模板盖体图像上的某一图样特征固定为盖体对位特征；

步骤n2，引入模板罐体，在模板罐体表面设置有由若干个点位按照横向间隔一致以及竖向间隔一致排列获取的点阵图案，而后面阵相机对模板罐体拍照获取畸变点阵图案图像，使得所成图像能够清晰显示出设置于模板罐体表面的点阵图案，截取所获取的畸变点阵图案图像的部分区域图样，而后调整部分区域图样的像素位置获取畸变纠正后图样，调整方法为使得畸变纠正后图样上每个点位图样的像素位置之间横向间隔一致以及竖向间隔一致，并获取纠正参数；

步骤n3，引入图案罐体，多次拍照成像获取图案罐体表面图案图像并依据纠正参数还原为图案平面图像，选取图案罐体上的某一特征记录为罐体对位特征；

步骤n4，引入待盖合的盖体，拍照获取待盖合的盖体的图像并识别待盖合的盖体图像上的盖体对位特征，以及所述的待盖合的盖体对位特征在待盖合的盖体的图像上的位置，获取参数一；引入待盖合的罐体，拍照成像、畸变纠正、还原图像，并识别出待盖合的罐体图像上的罐体对位特征，以及所述的待盖合的罐体图像上的罐体对位特征在所述的待盖合的罐体图像上的位置，获取参数二；依据参数一以及参数二，调整待盖合的盖体与待盖合的罐体之间的姿态，使得待盖合的盖体与待盖合的罐体满足设定的相对位置关系。

对位方法，是本申请将图像纠正方法应用于工业生产中的解决盖体和罐体之间精准对位的问题。所谓的盖体和罐体之间的精准对位，就是预设好盖体上的固定识别特征和罐体上固定识别特征的相对角度关系，且保证在同批次下的盖体和罐体的自动盖合中均有上述特征之间的相对角度关系的动作。由于同批盖体的结构特征和罐体侧表面上的图案特征是相同的，申请人想到利用相机标定技术建立盖体和罐体图案上的空间几何位置与图像上的像素位置的参数关系，利用这种关系确定盖体上的某个固定的识别特征和罐体上的固定识别特征的在空间位置上的相对位置关系，并利用自动化的装置调整罐体的姿态(一般为旋转罐体)，满足精准对位的要求，如奶粉罐的logo与奶粉盖的启封位置对应于一条竖向直线上。

所述的对位方法中，所述的参数一是指依据模板盖体图像中盖体对位特征在模板盖体图像中的位置为盖体基准，测算出待盖合的盖体的盖体对位特征在待盖合的盖体的图像上的位置相对于盖体基准偏离的转动角度；所述的参数二是指，依据模板罐体图像中罐体对位特征在模板罐体图像中的位置为罐体基准，测算出待盖合的罐体的罐体对位特征在待盖合的罐体的图像上的位置相对于罐体基准偏离的转动角度。

相机在对盖体和罐体的多次拍摄过程中位置是固定的，因此参照相机这个基准，依据对模板盖体的对位特征和模板罐体的对位特征在还原图像中所在位置设定出转动系。参照这个转动系提供出对位特征在图像的位置与对位特征转动几何角度之间换算关系。当不同姿态进入同一个拍照场景下的盖体或者罐体，利用所述的转换关系，依据对位特征在还原图像上的位置，换算出相应的盖体或者罐体对位特征相对于模板盖体的对位特征或者模板罐体的对位特征转动的角度。

进一步的，根据参数一的转动角度和参数二的转动角度进行累加获取待盖合的罐体相对于待盖合的盖体的相对转动角度，依据相对转动角度转动待盖合的罐体，使得待盖合的盖体与待盖合的罐体满足设定的相对位置关系。

优选的，所述的点阵图案通过标签黏贴于标准待测物体表面。

进一步的，步骤n1中的成像装置设置于模板盖体的上方或者下方；步骤n2中的面阵相机设置于罐体的一侧。

进一步的，所述的步骤n2中所获取的畸变点阵图案图像的部分区域图样内每一横行具有相同数量的点位图案，每一竖行具有相同数量的点位图案。

本发明提供的一种图像畸变纠正方法以及利用图像畸变纠正方法对位的方法，其有益效果在于，本发明与现有技术相比采用面阵相机作为成像拍照装置，点阵图案作为标定模板，使得所获取的图像中具有密集排列的点状识别特征，提高了识别效率。将图像纠正方法应用于工业生产中的解决盖体和罐体之间精准对位的问题。所谓的盖体和罐体之间的精准对位，就是预设好盖体上的固定识别特征和罐体上固定识别特征的相对角度关系，且保证在同批次下的盖体和罐体的自动盖合中均有上述特征之间的相对角度关系的动作。由于同批盖体的结构特征和罐体侧表面上的图案特征是相同的，申请人想到利用相机标定技术建立其盖体和罐体图案上的空间几何位置与图像上的像素位置的参数关系，利用这种关系确定盖体上的某个固定的识别特征和罐体上的固定识别特征的在空间位置上的相对位置关系，并利用自动化的装置调整罐体的姿态(一般为旋转罐体)，满足精准对位的要求，如奶粉罐的logo与奶粉盖的启封位置对应于一条竖向直线上。本发通过明简单操作，就可快速将圆柱体或者罐体表面的图像展开为平面图像，成本低，效率高，稳定性好。简化普通对位场景中的判别步骤，通过图像采集，预先做好处理，大大缩短了实施时间，提升了生产效率，降低了生产成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

附图1为本发明中点阵图案的示意图；

附图2为本发明中将具有点阵图案的标签黏贴于待测物表面的示意图；

附图3为本发明中采用面阵相机对成像后的示意图；

附图4为本发明中成像后对所成图像截取矩形图样添加数字标识后的待纠正图像；

附图5为本发明经过图像处理软件进行图像纠正后的示意图。

附图6为本发明中对奶粉罐体表面的图案进行部分还原的示意图；

附图7为本发明中对奶粉罐体表面图案还原成为二维平面图的示意图；

附图8为本发明中对盖体和对罐体进行拍照的成像装置示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

一种图像畸变纠正方法，使用图1中所示的点阵图案作为标定模板。所示的标定模板中相邻的两个点之间的横向间距是一致的，竖向间距是一致的。将上述标定模板打印来，粘附于罐体的侧表面如图2所述。架设好面阵相机与光源，调整好光源与罐体之间的位置以及相机与罐体的位置，使得相机能够清晰成像如图3所示，在后续的成像过程中不发生位置变化。成像以后，控制调整图像，使大部分的点阵图向清晰均匀的显现出来。然后截取中间亮度均匀的矩形区域，尽量使镜头拍摄到的区域亮度均匀，矩形框能框住大部分的图像，作为图像处理的部分，进行标定相关计算。处理软件将对截取的图像中的点位图像自动进行识别，并且添加数字标识对每个点位图像进行区别，如图4所示。图4所示的畸变图像中部分位点之间的横向间距以及纵向间距并不一致，这就采用图像处理算法将各个点位图像位移或变形还原成为横向间距以及纵向间距一致以达到图像畸变纠正之目的，纠正后的图像如图5所示。

进一步的利用上述的图像畸变纠正方法将整个罐体上覆盖的图案还原成平面的方法。取一个罐体环绕其侧表面黏贴具有点阵图案的标定模板，截取标定模板的部分图像利用图像畸变纠正方法纠正或者畸变纠正后的图像以及纠正参数。在对标定模板图像截取矩形区域图样时，符合以下要求：每行为相同数量的点，每列为相同数量的点。若有某行或某列的点数出现多余或缺少的情况，可以借助工具手动添加或删除目标点，进入下一步之前确保点的个数为矩阵方阵的行数与倍数的乘积，且每行每列无标记的点多余或缺失，使得畸变点阵图案图像的部分区域图样内每一横行具有相同数量的点位图案，每一竖行具有相同数量的点位图案。注意的是，在每一幅图中的每一个点位图像都对应一个唯一的数字标识，实现对该点位的追溯。图像数据算法会对每一个位点在图像中的纠正前的位置像素信息和纠正后的像素信息进行记载，时间上就获得了在同一个拍照场景下(相机位置与待测罐体相对位置不变)，每一个进入该场景的罐体上的几何位点和纠正后像素位点的数据模型(注意这里的几何位点是指在这个拍照场景下的空间几何位点，而不是指的罐体上的物理位点)。而后引入具有图案的罐体，进入同一个拍照场景下(相机位置与罐体相对位置不变)，经过若干次拍照，获取罐体上图案的若干张照片，同时图像处理软件对照片依据纠正参数进行自动纠正获取若干张图案的平面图，将若干张平面图拼接在一起就还原成为了一张完整的罐体图案平面图。如图6所示，就是将奶粉罐体上的部分图案还原成为二维平面图的示意图。如图7所示，就是将若干张部分图案拼接后的还原图。

进一步的利用上述图像数据处理方法，建立空间几何位点与图像上像素位点之间的数据模型，实现对盖体某一个特征与罐体上某一特征的精准对位，对位是指两个关联特征的相对位置关系。

一种对位方法，用于将盖体和罐体实现对位，如图8所示为相机成像的示意图，至少包括两个成像相机，其中一台为面阵相机用于对罐体侧表面图案的拍摄。其中面阵相机3和光源2设置于罐体1的一侧，普通相机5设置于盖体4的上方或者下方。

采用普通相机对盖体进行拍照，目的是获取盖体上的某一特征的识别图像，并识别出该图像上的某一个盖体特征作为后续图像处理以及对位的盖体对位特征，不再改变。采用面阵相机对具有点阵标签图案的罐体拍照，获取一张图像后畸变纠正获取纠正参数利用该纠正参数对其他图像进行纠正，将若干张纠正后的图像拼接成为完整的二维平面图。注意的是，完成后无论是普通相机的位置还是面阵相机的位置不再改动，普通相机、面阵相机组成了一个拍照场景，形成了分别相对于进入普通相机成像区域的几何位点空间，和相对于进入面阵相机成像区域的几何位点空间。进入上述空间的物的物理点在同一个几何位点的成像变化规律是不变的，应用同一纠正参数就可以直接将畸变图像拼接还原成为二维图案图像。

再有，当面阵相机和普通相机的位置一旦固定，那么基于镜头的几何空间坐标体系就确定了，进入几何空间坐标体系的物成像后的像素坐标体系同时确定。故此进入该几何空间坐标体系的物所成的图像的二维坐标系也是相同的，在二维坐标系下的同一个位点像素坐标所对应的几何空间坐标是一一对应的，基于此可以换算出对位特征在图像上的位置对应于在几何空间中的位置。

本实施例中利用处理后的完整罐体表面图像，再结合拍摄的局部区域图像，识别罐体的角度，从而实现罐体间的精准对位。具体方案如下：

使用点阵图案为标定模板，将标定图案打印出来，水平粘贴到待标定的罐体侧面(或印刷到待标定的罐体上)。然后将面阵相机调试到合适的位置，获取清晰图像。成像以后，控制调整图像，使大部分的点阵图清晰均匀的显现出来。然后截取中间亮度均匀的矩形区域，尽量使镜头拍摄到的区域亮度均匀，矩形框能框住大部分的图像，作为图像处理的部分，进行标定相关计算。通过算法捕捉矩形区域内的点阵图，确保生成的点阵图符合以下要求：每行为相同数量的点，每列为相同数量的点。若有某行或某列的点数出现多余或缺少的情况，可以借助工具手动添加或删除目标点。进入下一步之前确保点的个数为矩阵方阵的行数与倍数的乘积，且每行每列无标记的点多余或缺失。算法处理图片，将产生畸变的罐体点阵区域展开为平面点阵图。将罐体表面粘贴的点阵图撕去，保持之前相同的成像条件，此时即可拍摄罐体侧面图案，然后算法直接处理还原展开为区域内平面图像。待还原侧面图的罐体，通过绕中心轴旋转(可外接固定旋转平台控制旋转)，罐体的剩下角度的侧面部分同样通过算法直接还原为畸变纠正过的平面图像。在本实施例中环绕罐体拍摄9次，每次正对罐体的180°的角度范围进行成像拍摄，而后择取正对罐体的90°区域范围内的图像采用纠正参数进行纠正。每次获取的图像的两侧区域范围与相邻的图像的区域范围重合拼接，获得图片拼接完整的侧面展开平面图。计算出罐体和盖体参照各自标准角度的角度偏差，再利用两项值计算出罐体和对位物之间的相对角度(以标准对合时为零角度)，从而控制一方进行相应角度旋转，实现罐体与盖体之间确定角度的对位。

当面阵相机和普通相机的位置一旦固定，那么基于镜头的几何空间坐标体系就确定了，进入几何空间坐标体系的物成像后的像素坐标体系同时确定。那么只要具有与上述罐体图案一致的相同尺寸的其他罐体进入空间中也可以利用相同方法实现与盖体的对位。

本实施例中是以盖体与罐体作为对位的物的，但实际上与罐体相似的柱体，筒体均能够作为其替代物。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。