专利名称：影像处理方法及用于该影像处理方法的装置的制作方法
技术领域：
本发明涉及影像处理方法及用于该影像处理方法的装置，更详细地讲，涉及利用镜头畸变修正的影像处理方法及用于该影像处理方法的装置。
背景技术：
随着大容量存储器芯片的开发及计算机处理速度的迅速提高，利用计算机的影像处理技术在整个工业上均被使用。尤其是在工厂自动化生产线中的检查测定部分或实时网络监控系统中，成为不可缺少的技术。若使用如鱼眼镜头那样的广角镜头，则具有在相同的视场(FOV Field Of View)内能够获得更广范围的图像的优点，另一方面,越远离影像中心则畸变程度越严重，为此需要进行几何修正。关于输入影像的修正，目前有许多研究者发表了照相机或VCR等的畸变影像修正技术。Rahul为了进行由广角镜头带来的畸变修正，对综合了径向畸变(Radial Distortion)和偏心畸变(Decentering Distortion)的照相机修正方法进行了研究，Weng 则对通过照相机输入的影像进行修正的算法进行了研究。Tsai发表了利用一次快速傅里叶变换(FFT Fast Fourier Transform)的修正式,且为了修正影像中心点，使用刚体(Rigid Body)变换、针对针孔(Pin Hole)照相机的远近方程式以及用二次项表示的径向畸变公式进行修正。大部分的研究者对于广角不是很大的照相机等，使用针对在对角线方向等上出现的畸变的修正模型的一般式，使用极小化法(Minimizing Method)分别求出系数来进行修正，并且由于修正模型的一般式的复杂性，忽略高次项，其适用仅限于特定视觉环境和畸变类型。作为决定光学系统性能的重要因子，可以列举像差(Aberration)。这是因具有一定的曲率和折射率的镜头的属性而发生的现象，是指成像时像不能正常会聚而看起来模糊或歪斜的现象。镜头像差通常可以分为球面(Spherical)像差、彗形(Coma)像差、散光 (Astigmatism)像差、场曲(Field Curvation)像差和畸变(Distortion)像差等五种类型, 统称为塞德耳像差(Seidel Aberration)。球面像差是指在成像时，从与经过镜头中心的垂直轴即光轴(On Axis)远的位置入射的光线相比从与光轴近的位置入射的光线更大地折射，并且就成像位置而言，也成像在与镜头近的位置的现象。散光像差因镜头抛光不良、镜头材料不良及温差等而产生。场曲像差现象是指，越是从与光轴远的地方入射的光，越在与镜头近的位置成像， 并且，焦点形成在非平面的球面上而形成弯曲的像。畸变像差是指被摄体的直线部分弯曲而成像的现象。对色像差而言，由于光通过镜头时因波长的不同而产生折射差异，因此折射结果， 波长短的光被更严重地折射，从而产生分别不同的成像，结果，看起来物体按各个颜色呈
4现。放射状的畸变在带有廉价镜头的照相机中容易出现，在用于特殊功能的鱼眼镜头或移轴镜头中尤为突出。这样的镜头畸变现象是在利用镜头的所有影像装置中发生的问题，在未掌握这样的镜头畸变的中心点的情况下，不能进行镜头畸变修正，或者即使进行修正，修正后也会发生新的畸变。影像畸变问题对于数字成像系统制造者及核心构成要素供给者来说非常重要。为了减少镜头畸变现象，可以采用在镜头中使用特殊的材料、或者将多个镜头结合在一起进行制作的方法。然而，这些方法导致镜头的价格上升，因此存在在不能更换镜头的小型照相机中不能适用的问题。此外，在使用多个镜头的情况下，会产生畸变中心扭曲的问题。因为这样的问题，开发出多种通过影像处理对这种畸变进行修正的方法。目前的畸变修正技术，主要使用利用拍摄时的照相机设置或拍摄了指定测试图案而得到的影像的方法。正逐渐开展不用附带信息而仅使用影像信息来修正镜头畸变的自动修正方法的研究。目前的大量技术大部分着重于容易进行分析和修正的放射状镜头畸变修正技术。 特别地，为了进行小型照相机中的镜头畸变修正，对基于影像处理技术的镜头畸变修正技术进行研究。主要着重于放射状镜头畸变，研究出了以畸变的中心点为基准，掌握畸变程度，并对镜头畸变进行修正的技术。通过优化，使说明曲线组、直线组与曲线组之间的像差的等式组得以求解，从而能够计算出从畸变图像到修正后影像的整体畸变程度。
发明内容
要解决的问题用于解决上述问题的本发明的第一目的在于，提供一种利用镜头畸变修正的影像
处理装置。用于解决上述问题的本发明的第二目的在于，提供一种利用镜头畸变修正的影像处理方法。解决问题的手段用于实现上述的本发明第一目的的本发明一实施例中的影像处理装置，包括检测部，在接收到的影像的边缘部分，将像素信息组合成一组并检测线段，利用检测到的所述线段生成多个曲线；优化部，在基于所生成的所述多个曲线的费用函数中按照相对于影像中心的距离适用加权值，从而仅定义外点及内点，去除所述外点，并推测畸变程度参数；以及修正部，利用所述畸变程度参数，用修正值对将像素的位置进行修正。用于实现本发明第二目的的本发明一实施例中的影像处理方法，包括如下步骤 在接收到的影像的边缘部分，将像素信息组合成一组并检测线段，利用检测到的所述线段生成多个曲线；对基于生成的所述多个曲线的费用函数，按相对于影像中心的距离适用加权值，将具有比临界值小的长度的曲线定义为外点，将具有比临界值大的长度的曲线定义为内点；去除所述外点，仅利用所述内点推测使费用函数最小的畸变程度参数；以及利用所述畸变程度参数，用修正值对像素的位置进行修正。发明效果
在使用如上所述的本发明中的利用镜头畸变修正的影像处理方法及用于该影像处理方法的装置的情况下，即使在不是直接拍摄到的影像的情况下，也能够对镜头畸变进行修正，并且能够对通过非特定照相机及拍摄装置的所有利用镜头的设备生成的影像进行修正，能够区分使镜头畸变的修正性能提高的影像内容和恶化的内容，因此修正性能比其他技术突出。
图I是概略地表示本发明一实施例中的影像处理装置的内部结构的图。图2是表示适用于本发明一实施例中的影像处理装置的镜头畸变模型的结构的图。图3是基于适用于本发明一实施例中的影像处理装置的镜头畸变模型而未发生镜头畸变的影像的例示图。图4及图5是基于适用于本发明一实施例中的影像处理装置的镜头畸变模型而发生镜头畸变的影像的例示图。图6是用于说明本发明一实施例中的影像处理装置的检测部102对曲线进行检测的过程的例示图。图7是表示本发明一实施例中的影像处理装置的优化部103未适用由检测部102 生成的曲线的加权值的、费用函数中的镜头畸变修正参数下的误差像素的比率的曲线图。图8是表示本发明一实施例中的影像处理装置中的优化部103适用由检测部102 生成的曲线的加权值的、费用函数中的镜头畸变修正参数下的误差像素的比率的曲线图。图9是用于说明本发明一实施例中的影像处理装置中的优化部103利用由检测部 102生成的曲线和从镜头畸变的中心到曲线的距离，来将加权值适用于费用函数，以将曲线区分为外点和内点的情况的例示图。图10是用于说明本发明一实施例中的影像处理过程的流程图。图11及图12是用于说明利用本发明一实施例中的影像处理装置执行镜头畸变修正前后的例示图。
具体实施例方式本发明可以进行多种变更，并且可以具有多种实施例，这里对特定实施例进行图示并进行详细说明。然而，应当理解为本发明并不限定于特定的实施方式，包括包含于本发明的技术思想及技术范围中的所有变更、等效物及替代物。对图的说明中相似的构成要素使用相似的参考符号。第一、第二、A、B等用语可用于说明多种构成要素，但所述构成要素并不限定于所述用语。使用所述用语的目的仅在于将一个构成要素与其它构成要素区分。例如，在不脱离本发明的范围的情况下，第一构成要素也可以被命名为第二构成要素，类似地，第二构成要素也可以被命名为第一构成要素。用语“和/或”包括多个相关记载项的组合或多个相关记载项中的某项。当提及某构成要素与其他构成要素“连接”或“连结”时，应理解为既可以与其它构成要素直接连接或连结，也可以为在中间存在其它构成要素。相反，当提及某构成要素与其他构成要素“直接连接”或“直接连结”时，应理解为中间不存在其它构成要素。本申请中使用的用语仅用于说明特定的实施例，并不是为了对本发明进行限定。 单数的表现只要在文章中没有特别说明，则包括多个的表现。在本申请中，“包含”或“具备” 等用语应理解为用于指定说明书中记载的特征、数字、步骤、动作、构成要素、部件或它们的组合的存在，而非预先排除一个或一个以上的其它特征或数字、步骤、动作、构成要素、部件或它们的组合的存在或附加的可能性。如果不是另有定义，则包括技术上或科学上的用语在内的在此处使用的全部用语具有与本发明所属技术领域的普通技术人员在通常情况下的理解相同的意思。与通常使用的词典中定义相同的用语应被解释为，具有相关技术的文章中所具有的意义相同的意义， 只要在本申请中未明确定义，则不应被解释为异常或过分形式化的意义。以下，参照附图对本发明中优选的实施例进行详细说明。图I是概略地表示本发明一实施例中的影像处理装置的内部结构的图。参照图I，影像处理装置包括接收部101、检测部102、优化部103以及修正部104。检测部102在从接收部101接收到的镜头畸变发生影像的边缘部分，将像素信息组合成一组，并检测线段。此外，检测部102将检测到的线段中短于临界值的线段连接而形成曲线，并且将线段间距离和角度偏离的线连接而形成曲线。优化部103对于基于由检测部102生成的曲线的费用函数，按照距影像中心的距离来适用加权值，将具有小于临界值的长度的曲线定义为外点，将具有大于临界值的长度的曲线定义为内点，去除外点及内点中的外点，推测费用函数成为最小的畸变程度参数。根据本发明的一实施例，优化部103基于Ransac方法，从M个线段中随机选择一个线段，利用 Levenberg-mar quardt方法推测对所选择的线段的畸变程度影响最大的畸变程度参数K3 下的费用函数成为最小的畸变参数，并利用推测出的畸变参数，用下述数学式I将M个全部线段进行直线化，之后求出针对构成检测出的曲线的全部像素的误差，对该误差的绝对值超过指定临界值的像素的个数进行计数，在该个数在曲线的像素个数中所占的比率为指定比率以上的情况下，将该曲线推测为外点并将其去除。优化部103在利用Ransac方法时，用直线化的曲线与原曲线之间的像素之间的距离表示了费用函数，且为了找出费用函数成为最小的参数，使用了如下述数学式3的二次项，但应理解为，本发明的范围并不限定于如数学式3的费用函数，而能够适用于可最小化的所有模型。修正部104利用由优化部103推测出的畸变程度参数，对像素的位置进行修正。此时，修正值是在修正到像素坐标值周围区域的像素值之间通过插补来设定的值。以下参照图2对本发明一实施例中的影像处理装置中适用的镜头畸变模型的结构进行具体说明。图2是表示本发明一实施例中的影像处理装置中适用的镜头畸变模型的结构的图。参照图2，Pu = (xu, yu)是未发生镜头畸变的影像的坐标，Pd = (xd, yd)是发生镜头畸变影像的坐标。放射型镜头畸变由如下函数建立模型，该函数为从与发生镜头畸变影像的坐标相应的像素到影像中心O 201的距离的函数。镜头畸变模型如数学式I所记载。(数学式I)
权利要求
1.一种影像处理装置，其特征在于，包括检测部，在接收到的影像的边缘部分，将像素信息组合成一组并检测线段，利用检测到的所述线段生成多个曲线；优化部，在基于所生成的所述多个曲线的费用函数中按照相对于影像中心的距离适用加权值，从而仅定义外点及内点，去除所述外点，并推测畸变程度参数；以及修正部，利用所述畸变程度参数，用修正值对将像素的位置进行修正。
2.根据权利要求I所述的影像处理装置，其特征在于，所述优化部利用生成的所述多个曲线，生成直线化线段，并计算针对生成的直线化线段的误差。
3.根据权利要求I所述的影像处理装置，其特征在于，在所述误差的绝对值大于临界值、并且相应像素的个数在曲线的像素个数中所占的比率为预先设定的比率以上的情况下，所述优化部将相应线段定义为外点。
4.根据权利要求I所述的影像处理装置，其特征在于，所述优化部从生成的所述多个曲线中选择任意一个曲线，并利用所选择的一个曲线， 推测畸变程度参数下的费用函数成为最小的畸变程度参数。
5.根据权利要求I所述的影像处理装置，其特征在于，所述检测部连接检测到的所述线段而生成多个曲线。
6.根据权利要求I所述的影像处理装置，其特征在于，在修正到所述像素坐标值周围区域的像素值之间，通过插补来设定所述修正值。
7.一种影像处理方法，其特征在于，包括如下步骤在接收到的影像的边缘部分，将像素信息组合成一组并检测线段，利用检测到的所述线段生成多个曲线；对基于生成的所述多个曲线的费用函数，按相对于影像中心的距离适用加权值，将具有比临界值小的长度的曲线定义为外点，将具有比临界值大的长度的曲线定义为内点；去除所述外点，仅利用所述内点推测费用函数成为最小的畸变程度参数；以及利用所述畸变程度参数，用修正值对像素的位置进行修正。
8.根据权利要求7所述的影像处理方法，其特征在于，在推测所述畸变程度参数的步骤中，利用生成的所述多个曲线，生成直线化线段，并计算针对所生成的直线化线段的误差。
9.根据权利要求8所述的影像处理方法，其特征在于，在推测所述畸变程度参数的步骤中，在计算出的所述误差的绝对值大于临界值、并且相应像素的个数在曲线的像素个数中所占的比率为预先设定的比率以上的情况下，将相应线段推测为外点并去除。
10.根据权利要求7所述的影像处理方法，其特征在于，在推测所述畸变程度参数的步骤中，从生成的所述多个曲线中选择任意一个曲线，利用所选择的一个曲线，推测畸变程度参数下的费用函数成为最小的畸变程度参数。
11.根据权利要求7所述的影像处理方法，其特征在于，在生成所述曲线的步骤中，连接检测到的所述线段而生成多个曲线。
12.根据权利要求7所述的影像处理方法，其特征在于，在修正到所述像素坐标值周围区域的像素值之间，利用线性插补来设定所述修正值。
全文摘要
本发明提供一种利用镜头畸变修正的影像处理方法及用于该影像处理方法的装置。包括检测部，在接收到的影像的边缘部分，将像素信息组合成一组并检测线段，利用检测到的所述线段生成多个曲线；优化部，在基于所生成的所述多个曲线的费用函数中按照相对于影像中心的距离适用加权值，从而仅定义外点及内点，去除所述外点，并推测畸变程度参数；以及修正部，利用所述畸变程度参数，用修正值对像素的位置进行修正。并且，在不是直接拍摄而得到的影像的情况下，也能够对镜头畸变进行修正，能够对通过非指定照相机及拍摄装置的所有利用镜头的设备生成的影像进行修正。
文档编号G06T5/00GK102592264SQ20111022508
公开日2012年7月18日 申请日期2011年5月23日 优先权日2011年1月4日
发明者宋宇镇, 宋纹圭, 曹现雄, 金秉光 申请人:浦项工科大学校产学协力团