畸变图像校正方法及其定位方法与流程

1.本发明涉及摄影摄像领域的图像校正技术，更详而言之涉及一畸变图像校正方法及其定位方法。


背景技术：

2.摄影、摄像在现代人的日常生活和工作中占据非常重要的地位，已成为人们生活工作、生活中不可或缺的一部分。
3.人们已经习惯利用具有摄影、摄像功能的电子设备记录生活中的点点滴滴。人们喜欢并需要这样的一种工具来记录孩子的成长、亲朋好友的相聚以及美好的风景等生活中值得纪念的一些瞬间、一段时光、一处景致。
4.随着人们对摄影摄像技术的需求日益多样化，各种各样的摄影摄像镜头被人们使用并喜爱。例如，为使摄影摄像设备能够具有更广阔的视野空间，“畸变图像”应运而生。畸变图像具有焦距短、视场大的特点，在全方位视觉系统有广泛的市场需求。
5.畸变图像能够达到接近或者大于180
°
的超大视角，所以利用畸变图像能够扑捉更大范围的景象，因此，畸变图像具有巨大的潜在应用价值。例如，将畸变图像应用于一些公共场合的视频监控系统，采用吸顶的安装方式，则可以使整个区域的景象被记录。这样人们就不需要在不同的区域安装多个监控摄像头，以节约空间、资源及使用成本。又例如人们在日常生活中总会遇到这种情况，明明感觉眼前的景致很美，却怎么也不能用手中的摄影摄像设备将其记录下来，这很大一部分原因是摄影摄像设备的视角能力不能达到人眼所能看到的范围。
6.虽然畸变图像具有视场大的优点，能够达到甚至超出人眼所能看到的范围，但是畸变图像的这种超大的视角是通过牺牲被拍摄物以其原有形态呈现来达到的。也就是说，利用畸变图像所拍摄的图像发生了畸变。鱼眼图像轮廓呈现为圆形结构。畸变图像在接近被摄物拍摄时能造成非常强烈的透视效果，强调被摄物近大远小的对比，使所摄画面具有一种震撼人心的感染力，因此而备受摄像爱好者的喜爱。但是，这种畸变的图像除了能增强艺术感染力之外，多是不被人们所需要的。例如，现今生活中随处可见的监控摄像头在一些必要的场所设置，能够帮助人们约束日常行为。一些监控记录甚至有可能成为事实认定的有效证据。但是这种变形的画面往往会影响一些细节的认定。
7.即便畸变的图像能够给人以艺术感染力，许多消费者还是希望这些畸变的图像能够被还原为其原本的面目。无论是用来纪念还是用来与畸变图像进行对比，都具有非常重要的意义是应用价值。因此，畸变图像的校正技术深受研发人员的关注。
8.鱼眼图像校正的前提就是鱼眼图像的轮廓提取。目前常用的鱼眼图像轮廓提取方法有面积统计法、扫描线逼近法、区域生长法。这几种方法各有优劣，但也都存在着一些缺点，不能完全准确定位鱼眼图像的圆心坐标和半径，适用范围也有局限性。
9.在鱼眼图像的畸变校正上，目前的方法主要可以归纳为3d校正和2d校正。该领域主要的方法包括基于球面透视投影模型校正方法、基于二次曲面透视模型校正方法、基于
圆分割的鱼眼图像畸变校正方法、基于几何性质的鱼眼图像平面校正方法等等。上述的这些方法，都各有优缺点，在计算复杂度和校正效果上，都没有完全符合高清视频的实时校正要求，在现实应用上都还存在着一定的距离。
10.鱼眼图像的实时校正对于消费者及时获得校正图像具有重要的意义。尤其是对于鱼眼视频图像的校正具有重要的意义。当前迫切需要一种实时高效的高清鱼眼视频的校正方法。


技术实现要素：

11.本发明的主要目的在于提供一畸变图像校正方法及其定位方法，其中该定位方法能够准确定位鱼眼图像的圆心和半径。
12.本发明的另一目的在于提供一畸变图像校正方法，其中该方法具有校正速度快、校正效果好的特点。
13.本发明的另一目的在于提供一畸变图像校正方法，其中该方法能够被用于对鱼眼图像进行校正。
14.本发明的另一目的在于提供一畸变图像校正方法，其中该方法适合被用于对鱼眼图像进行实时校正。
15.本发明的另一目的在于提供一畸变图像校正方法，其中该方法能够被用于对多路鱼眼图像进行校正。
16.本发明的另一目的在于提供一畸变图像校正方法，其中该方法充分考虑了鱼眼图像轮廓所呈现出圆形结构的特点并充分利用了多路鱼眼视频图像之间的相关性，适合在嵌入式上实现多路高清鱼眼图像的实时校正。
17.通过下面的描述，本发明的其它优势和特征将会变得显而易见，并可以通过权利要求书中特别指出的手段和组合得到实现。
18.依照本发明的一方面，本发明提供一畸变图像校正方法，以用于鱼眼图像的校正，其中所述畸变图像校正方法包括：以下步骤：
19.(1)确定校正参数；和
20.(2)根据所述校正参数，确定校正算法；
21.其中步骤(1)包括以下步骤：
22.(11)确定多路畸变图像的位置和轮廓；和
23.(12)确定所述畸变图像的校正因子；
24.其中步骤(11)采用四点定位法对所述畸变图像的位置和轮廓进行准确定位，以保证所述畸变图像校正方法的准确、有效。
25.根据一个实施例，所述步骤(11)包括如下步骤：
26.(113)叠加所述畸变图像，以得到一叠加图像；
27.(114)线性压缩所述叠加图像，以得到一归一化图像；和
28.(115)根据该归一化图像在各个位置的像素值，确定所述畸变图像的位置和轮廓。
29.根据一个实施例，在步骤(113)之前，所述步骤(11)包括如下步骤：
30.(112)过滤所述畸变图像，以滤除所述畸变图像的噪声。
31.根据一个实施例，步骤(114)包括以下步骤：
32.(1141)获取所述叠加图像的最大像素值p
max
和最小像素值p
min
；和
33.(1142)根据所述叠加图像的最大像素值p
max
和最小像素值p
min
对所述叠加图像is进行线性压缩；
34.其中线性压缩采用以下公式进行：
[0035][0036]
其中，p
x,y
为线性压缩以后的所述归一化图像在坐标点(x,y)处的像素值， p
x,y
为叠加图像上坐标点(x,y)处的像素值。
[0037]
根据一个实施例，步骤(114)包括以下步骤：
[0038]
(1141)获取所述叠加图像的最大像素值p
max
和最小像素值p
min
；和
[0039]
(1142)根据所述叠加图像的最大像素值p
max
和最小像素值p
min
对所述叠加图像is进行线性压缩；
[0040]
其中线性压缩采用以下公式进行：
[0041][0042]
其中，p
x,y
为线性压缩以后的所述归一化图像在坐标点(x,y)处的像素值， p
x,y
为叠加图像上坐标点(x,y)处的像素值。
[0043]
根据一个实施例，步骤(115)包括以下步骤：
[0044]
(1151)设定阈值th；
[0045]
(1152)记录所述归一化图像上像素大于或者等于该阈值th的点；
[0046]
(1153)根据步骤(1152)中所确定的所述归一化图像上像素大于或者等于该阈值的点确定所述畸变图像的位置和轮廓。
[0047]
根据一个实施例，步骤(115)包括以下步骤：
[0048]
(1151)设定阈值th；
[0049]
(1152)记录所述归一化图像上像素大于或者等于该阈值th的点；
[0050]
(1153)根据步骤(1152)中所确定的所述归一化图像上像素大于或者等于该阈值的点确定所述畸变图像的位置和轮廓。
[0051]
根据一个实施例，所述阈值th能够通过以下公式获得：
[0052][0053]
其中p
x,y
为所述归一化图像在坐标点(x,y)处的像素值，w为所述归一化图像的图像宽度，h为所述归一化图像的图像高度。
[0054]
根据一个实施例，所述阈值th能够通过以下公式获得：
[0055][0056]
其中p
x,y
为所述归一化图像在坐标点(x,y)处的像素值，w为所述归一化图像的图像宽度，h为所述归一化图像的图像高度。
[0057]
根据一个实施例，步骤(1152)包括以下步骤：
[0058]
(11521)从四个方向上对所述归一化图像进行扫描；和
[0059]
(11522)分别记录在上述四个方向扫描过程中遇到的第一个大于或者等于所述阈值th的点。
[0060]
根据一个实施例，步骤(1152)包括以下步骤：
[0061]
(11521)从四个方向上对所述归一化图像进行扫描；和
[0062]
(11522)分别记录在上述四个方向扫描过程中遇到的第一个大于或者等于所述阈值th的点。
[0063]
根据一个实施例，步骤(1)还包括一步骤：
[0064]
(13)建立一平面直角坐标系；
[0065]
其中步骤(1152)还包括以下步骤：
[0066]
(11523)根据步骤(11522)中在所述四个方向扫描过程中遇到的第一个大于或者等于所述阈值th的点在所述平面直角坐标系中的坐标值精确定位所述畸变图像的圆心位置及成像半径；
[0067]
其中所述四个方向包括逐行从上到下、逐行从下到上、逐列从左到右、逐列从右到左，其中在分别逐行从上到下、逐行从下到上、逐列从左到右、逐列从右到左扫描过程中遇到的第一个大于或者等于所述阈值th的点分别被标记为
[0068]
其中步骤(1152)还包括以下步骤：
[0069]
(11524)分别计算两组对应坐标的垂直距离和水平距离，其中计算方式如下所示：
[0070]
d1＝|y
1-y2|
[0071]
d2＝|x
3-x4|
[0072]
(11525)确定所述畸变图像的成像直径d3为d1和d2中较大的数值，从而所述畸变图像的成像半径r＝d3/2；和
[0073]
(11536)确定所述畸变图像的圆心位置，其中所述圆心坐标为(xc,yc)，其中，
[0074][0075][0076]
根据一个实施例，步骤(1)还包括以下步骤：
[0077]
(14)确定所述畸变图像的轮廓点在所述平面直角坐标系中的坐标点 (x
il
,yi)；和
[0078]
(15)确定所述畸变图像的轮廓点距离图像中心的水平距离l
ik
；
[0079]
其中
[0080]
其中x
il
为第i路畸变图像的轮廓点的水平坐标，yi为第i路畸变图像的轮廓点的垂直坐标，其中l
ik
为第i路畸变图像垂直坐标为yk的轮廓点距离图像中心的水平距离。
[0081]
根据一个实施例，步骤(12)包括如下步骤：
[0082]
(121)检测多路所述畸变图像的角点；
[0083]
(122)检测叠加图像的角点；和
[0084]
(123)根据每一路所述畸变图像的角点以及所述叠加图像的角点，确定各路图像的所述校正因子αi。
[0085]
其中，步骤(121)中检测到的多路所述畸变图像的角点在所述平面直角坐标系中的坐标标记为(x
ik
,y
ik
)，其中i代表第几路视频，k代表视频当中的角点编号。
[0086]
根据一个实施例，步骤(123)包括以下步骤：
[0087]
(1231)分别累加各路畸变图像的角点在所述平面直角坐标系中的横坐标值，以得到各路所述畸变图像的角点横坐标累加值xi；
[0088]
(1232)累加所述叠加图像的角点在所述平面直角坐标系中的横坐标，以得到所述叠加图像的角点横坐标累加值xm；
[0089]
(1233)设定所述叠加图像的校正因子αm；和
[0090]
(1234)计算各路畸变图像的校正因子αi，其中αi＝αm·
xi/xm。
[0091]
根据一个实施例，所述叠加图像的校正因子αm的数值范围在0.7和1.3之间。
[0092]
根据一个实施例，步骤(2)进一步包括以下步骤：
[0093]
(21)根据步骤(1)中得到的校正参数，确定畸变校正公式如下：
[0094][0095]
根据一个实施例，在步骤(112)之前，所述步骤(11)还包括如下步骤：
[0096]
(111)采集多路镜头的棋盘格畸变图像。
[0097]
根据一个实施例，所述畸变图像校正方法还包括以下步骤：
[0098]
(3)根据所述校正算法对多路畸变图像进行校正。
[0099]
根据一个实施例，步骤(3)进一步包括以下步骤：
[0100]
(31)根据步骤(21)中的畸变校正公式，生成畸变校正表格。
[0101]
根据一个实施例，步骤(3)进一步包括以下步骤：
[0102]
(32)将所述校正表格应用于嵌入式系统下多路高清畸变图像，以实现对所述畸变图像的实时校正。
[0103]
根据本发明的另外一方面，本发明还提供一畸变图像定位方法，以用于鱼眼图像的定位，其中该畸变图像定位方法包括以下步骤：
[0104]
(113)叠加多路畸变图像，以得到一叠加图像；
[0105]
(114)线性压缩所述叠加图像，以得到一归一化图像；和
[0106]
(115)根据该归一化图像在各个位置的像素值，确定所述畸变图像的位置和轮廓。
[0107]
根据一个实施例，在步骤(113)之前，所述畸变图像定位方法还包括如下步骤：
[0108]
(112)过滤所述畸变图像，以滤除所述畸变图像的噪声。
[0109]
根据一个实施例，步骤(114)包括以下步骤：
[0110]
(1141)获取所述叠加图像的最大像素值p
max
和最小像素值p
min
；和
[0111]
(1142)根据所述叠加图像的最大像素值p
max
和最小像素值p
min
对所述叠加图像is进行线性压缩；
[0112]
其中线性压缩采用以下公式进行：
[0113][0114]
其中，p
x,y
为线性压缩以后的所述归一化图像在坐标点(x,y)处的像素值， p
x,y
为
叠加图像上坐标点(x,y)处的像素值。
[0115]
根据一个实施例，步骤(114)包括以下步骤：
[0116]
(1141)获取所述叠加图像的最大像素值p
max
和最小像素值p
min
；和
[0117]
(1142)根据所述叠加图像的最大像素值p
max
和最小像素值p
min
对所述叠加图像is进行线性压缩；
[0118]
其中线性压缩采用以下公式进行：
[0119][0120]
其中，p
x,y
为线性压缩以后的所述归一化图像在坐标点(x,y)处的像素值， p
x,y
为叠加图像上坐标点(x,y)处的像素值。
[0121]
根据一个实施例，步骤(115)包括以下步骤：
[0122]
(1151)设定阈值th；
[0123]
(1152)记录所述归一化图像上像素大于或者等于该阈值th的点；
[0124]
(1153)根据步骤(1152)中所确定的所述归一化图像上像素大于或者等于该阈值的点确定所述畸变图像的位置和轮廓。
[0125]
根据一个实施例，步骤(115)包括以下步骤：
[0126]
(1151)设定阈值th；
[0127]
(1152)记录所述归一化图像上像素大于或者等于该阈值th的点；
[0128]
(1153)根据步骤(1152)中所确定的所述归一化图像上像素大于或者等于该阈值的点确定所述畸变图像的位置和轮廓。
[0129]
根据一个实施例，所述阈值th能够通过以下公式获得：
[0130][0131]
其中p
x,y
为所述归一化图像在坐标点(x,y)处的像素值，w为所述归一化图像的图像宽度，h为所述归一化图像的图像高度。
[0132]
根据一个实施例，所述阈值th能够通过以下公式获得：
[0133][0134]
其中p
x,y
为所述归一化图像在坐标点(x,y)处的像素值，w为所述归一化图像的图像宽度，h为所述归一化图像的图像高度。
[0135]
根据一个实施例，步骤(1152)包括以下步骤：
[0136]
(11521)从四个方向上对所述归一化图像进行扫描；和
[0137]
(11522)分别记录在上述四个方向扫描过程中遇到的第一个大于或者等于所述阈值th的点。
[0138]
根据一个实施例，步骤(1152)包括以下步骤：
[0139]
(11521)从四个方向上对所述归一化图像进行扫描；和
[0140]
(11522)分别记录在上述四个方向扫描过程中遇到的第一个大于或者等于所述阈值th的点。
[0141]
根据一个实施例，所述畸变图像定位方法还包括一步骤：
[0142]
(13)建立一平面直角坐标系；
[0143]
其中步骤(1152)还包括以下步骤：
[0144]
(11523)根据步骤(11522)中在所述四个方向扫描过程中遇到的第一个大于或者等于所述阈值th的点在所述平面直角坐标系中的坐标值精确定位所述畸变图像的圆心位置及成像半径；
[0145]
其中所述四个方向包括逐行从上到下、逐行从下到上、逐列从左到右、逐列从右到左，其中在分别逐行从上到下、逐行从下到上、逐列从左到右、逐列从右到左扫描过程中遇到的第一个大于或者等于所述阈值th的点分别被标记为
[0146]
其中步骤(1152)还包括以下步骤：
[0147]
(11524)分别计算两组对应坐标的垂直距离和水平距离，其中计算方式如下所示：
[0148]
d1＝|y
1-y2|
[0149]
d2＝|x
3-x4|
[0150]
(11525)确定所述畸变图像的成像直径d3为d1和d2中较大的数值，从而所述畸变图像的成像半径r＝d3/2；和
[0151]
(11536)确定所述畸变图像的圆心位置，其中所述圆心坐标为(xc,yc)，其中，
[0152][0153][0154]
根据一个实施例，所述畸变图像定位方法还包括以下步骤：
[0155]
(14)确定所述畸变图像的轮廓点在所述平面直角坐标系中的坐标点 (x
il
,yi)；和
[0156]
(15)确定所述畸变图像的轮廓点距离图像中心的水平距离l
ik
；
[0157]
其中
[0158]
其中x
il
为第i路畸变图像的轮廓点的水平坐标，yi为第i路畸变图像的轮廓点的垂直坐标，其中l
ik
为第i路畸变图像垂直坐标为yk的轮廓点距离图像中心的水平距离。
[0159]
根据一个实施例，在步骤(112)之前，所述畸变图像定位方法还包括如下步骤：
[0160]
(111)采集多路镜头的棋盘格畸变图像。
[0161]
通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。
[0162]
本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。
附图说明
[0163]
图1是根据本发明的一个优选实施例的一畸变图像校正方法中所使用的滤波模板示意图。
[0164]
图2是根据本发明的上述优选实施例的该畸变图像校正方法示意图。
[0165]
图3阐释了根据本发明的上述优选实施例的畸变图像校正方法的一确定畸变图像轮廓的步骤。
[0166]
图4阐释了根据本发明的上述优选实施例的畸变图像校正方法的一确定校正因子的步骤。
[0167]
图5阐释了依据本发明的上述优选实施例的畸变图像校正方法示意图。
具体实施方式
[0168]
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
[0169]
附图之图1至图4阐释了依据本发明的一个优选实施例的畸变图像校正方法。该畸变图像校正方法能够被应用于鱼眼图像的畸变校正，但不局限于鱼眼图像的畸变校正。本领域技术人员应该能够理解，任何符合鱼眼图像轮廓呈圆形畸变的畸变图像的校正都适用该畸变图像校正方法。本优选实施例以多路畸变图像的畸变图像校正为例对本发明的畸变图像校正方法进行详细介绍。
[0170]
如附图之图2所示，该畸变图像校正方法包括以下步骤：
[0171]
(1)确定校正参数；
[0172]
(2)根据所述校正参数，确定校正算法；和
[0173]
(3)根据所述校正算法对多路畸变图像进行实时校正。
[0174]
其中步骤(1)中所述校正参数是根据所述畸变图像进行确定的。具体地，该步骤(1)包括如下步骤：
[0175]
(11)确定每一路所述畸变图像的轮廓；和
[0176]
(12)确定每一路所述畸变图像的校正因子αi。
[0177]
更具体地，该步骤(11)包括如下步骤：
[0178]
(111)采集多路镜头的棋盘格畸变图像；
[0179]
(112)过滤所述畸变图像，以滤除所述各路畸变图像上的噪声，从而防止所述噪声对该畸变图像的校正造成影响；
[0180]
(113)叠加经该步骤(112)过滤的所述畸变图像，以得到一叠加图像is；
[0181]
(114)线性压缩所述叠加图像is，以得到一归一化图像im；和
[0182]
(115)根据该归一化图像im在各个位置的像素值p
x,y
，精确定位所述畸变图像的位置和轮廓。
[0183]
其中通过步骤(111)所采集的所述畸变图像由于受到一些因素的影响而存在一些噪声，会对所述畸变图像轮廓的确定产生干扰，所以需要对所述畸变图像进行过滤，以减少所述噪声对所述畸变图像轮廓确定的影响。其中所采用的滤波模板如图1所示。
[0184]
本领域技术人员应该能够理解，对于没有噪声或者噪声小至不足以对畸变图像的校正产生影响的畸变图像，则无需进行校正。也就是说，如果通过步骤(111) 所采集的所述畸变图像没有噪声或者噪声小至不足以对畸变图形的校正产生影响，则步骤(112)不是必须的。这样，在步骤(113)中可直接对所述畸变图像进行叠加。也就是说，步骤(113)变为叠加所述畸变图像，以得到一叠加图像is。
[0185]
为了更准确地对各路所述畸变图像进行定位，该步骤(113)中对所述畸变图像进
行了叠加，以抵消确定各路畸变图像位置的误差。换一种方式来讲，如果对各路所述畸变图像进行分别定位，不可避免会产生各种环境因素或者人为因素造成的误差，其中这些误差不仅会导致所述畸变图像定位不够准确，而且会导致各路畸变图像之间有可能因为各自的误差不同而错位，从而进一步导致校正后的图像质量无法得到保障。所以，通过图像叠加方法对各路畸变图像进行统一定位，有利于保障图像被校正后的质量。
[0186]
其中步骤(114)包括以下步骤：
[0187]
(1141)获取所述叠加图像is的最大像素值p
max
和最小像素值p
min
；和
[0188]
(1142)根据所述叠加图像is的最大像素值p
max
和最小像素值p
min
对所述叠加图像is进行线性压缩；
[0189]
其中线性压缩采用公式1进行：
[0190][0191]
其中，p
x,y
为线性压缩以后的所述归一化图像im在坐标点(x,y)处的像素值， p
x,y
为叠加图像is上坐标点(x,y)处的像素值。
[0192]
另外，值得一提的是，本优选实施例利用畸变图像拍摄图像中间部分不变形以及周围轮廓呈圆形弯曲畸变的特点，首先对圆畸变图像周围轮廓所在圆的圆心进行定位，进而对鱼眼图像轮廓进行精确定位。这种圆心定位法既方便又准确，使该畸变图像校正方法具有简单、高效的特点。
[0193]
具体地，该步骤(115)包括以下步骤：
[0194]
(1151)设定阈值th；
[0195]
(1152)记录所述归一化图像im上像素大于或者等于该阈值th的点；
[0196]
(1153)根据步骤(1152)中所确定的所述归一化图像im上像素大于或者等于该阈值th的点确定所述畸变图像的位置和轮廓。
[0197]
进一步，该步骤(115)用于确定所述畸变图像位置和轮廓的方法为四点定位法。具体地，该步骤(1152)包括以下步骤：
[0198]
(11521)从四个方向上对所述归一化图像im进行扫描；和
[0199]
(11522)分别记录在上述四个方向扫描过程中遇到的第一个大于或者等于所述阈值th的点。
[0200]
更具体地，所述四个方向分别是逐行从上到下、逐行从下到上、逐列从左到右和逐列从右到左。
[0201]
其中所述阈值th通过以下公式2获得：
[0202][0203]
其中p
x,y
为所述归一化图像im在坐标点(x,y)处的像素值，w为所述归一化图像的图像宽度，h为所述归一化图像的图像高度。
[0204]
为使该畸变图像校正方法更加快速、准确、有效，该畸变图像校正方法的该步骤(1)还包括一步骤：
[0205]
(13)建立一平面直角坐标系。
[0206]
值得一提的是，该步骤(11)、该步骤(12)和该步骤(13)之间并没有先后顺序的区
别，三者之间的先后顺序可以互换且不受限制。
[0207]
步骤(13)中所建立的平面直角坐标系使该畸变图像校正方法中图像上的每一点都能够用具体的坐标值予以确定，进而帮助确定该坐标系中与该畸变图像校正方法相关的相对位置关系。
[0208]
另一方面，由于该平面直角坐标系中的每一点都可以通过具体的数值进行标定，所以方便利用几何图形的具体数学关系对几何图形进行精确确定。在本发明的该优选实施例中，由于鱼眼图像轮廓呈现为圆形结构，本优选实施例利用圆的数学关系对鱼眼图像轮廓进行精确定位，从而使该畸变图像校正更为准确。另一方面，方便进行数学计算。
[0209]
如图2所示，在该叠加图像is所在的平面内建立该平面直角坐标系，其中该平面直角坐标系由相互垂直的一x轴和一y轴构成，其中该x轴和该y轴相交于一原点o，其中该坐标系内的坐标点的坐标被标示为(x，y)。
[0210]
值得一提的是，该平面直角坐标系为了计算和标定的方便而建立，对本发明并没有实质的限制作用。也就是说，无论该坐标系被建立在该叠加图像is所在的平面内的何处，都不影响该畸变图像校正方法对畸变图像的校正效果。也就是说，各个坐标点(x，y)只是起到相对的标示作用，其中x和y的具体数值并不存在绝对的意义。
[0211]
相应的，该步骤(1152)包括以下步骤：
[0212]
(11523)根据步骤(11522)中在所述四个方向扫描过程中遇到的第一个大于或者等于所述阈值th的点在所述平面直角坐标系中的坐标值精确定位所述畸变图像的圆心位置及成像半径。
[0213]
具体地，逐行从上到下、逐行从下到上、逐列从左到右、逐列从右到左扫描过程中找到满足要求的像素点分别标记为
[0214]
分别计算两组对应坐标的垂直距离和水平距离，其计算方式如公式3、公式 4所示：
[0215]
d1＝|y
1-y2|
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式3
[0216]
d2＝|x
3-x4|
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式4
[0217]
选择d1和d2中较大的数值作为畸变图像的成像直径d3，则得到畸变图像的成像半径r，圆心坐标为(xc,yc)。r、xc、yc分别通过公式5、公式6、公式7计算得到：
[0218]
r＝d3/2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式5
[0219][0220][0221]
该步骤(1)还包括步骤：
[0222]
(14)确定所述畸变图像的轮廓点在所述平面直角坐标系中的坐标点 (x
il
,yi)；和
[0223]
(15)确定所述畸变图像的轮廓点距离图像中心的水平距离l
ik
。
[0224]
其中所述畸变图像的轮廓是指所述畸变图像的周围轮廓。其中步骤(14)中所述畸变图像的轮廓点在所述平面直角坐标系中的坐标点的坐标值通过以下公式予以确定：
[0225]
[0226]
其中x
il
为第i路畸变图像的轮廓点的水平坐标，yi为第i路畸变图像的轮廓点的垂直坐标。
[0227]
步骤(15)中所述畸变图像的轮廓点距离图像中心的水平距离l
ik
通过以下公式予以确定：
[0228][0229]
其中l
ik
为第i路畸变图像垂直坐标为yk的轮廓点距离图像中心的水平距离。
[0230]
值得一提的是，依据本发明的该优选实施例的该畸变图像校正方法，步骤 (15)中所述畸变图像的轮廓点距离图像中心的水平距离l
ik
借助所述平面直角坐标系，并利用了几何图像轮廓既有的数学关系公式进行计算，使得l
ik
的数值精准，从而保证了该畸变图像校正方法的精确性和准确性。但是本领域技术人员应该能够理解，这仅仅是对本发明的示例，而非限制。
[0231]
该步骤(12)包括如下步骤：
[0232]
(121)检测多路所述畸变图像的角点；
[0233]
(122)检测叠加图像is的角点；和
[0234]
(123)根据每一路所述畸变图像的角点以及所述叠加图像is的角点，确定各路图像的所述校正因子αi。
[0235]
具体地，步骤(121)中检测到的多路所述畸变图像的角点在所述平面直角坐标系中的坐标标记为(x
ik
,y
ik
)，其中i代表第几路视频，k代表视频当中的角点编号。
[0236]
步骤(123)包括以下步骤：
[0237]
(1231)分别累加各路畸变图像的角点在所述平面直角坐标系中的横坐标值，以得到各路所述畸变图像的角点横坐标累加值xi；
[0238]
(1232)累加所述叠加图像is的角点在所述平面直角坐标系中的横坐标，以得到所述叠加图像is的角点横坐标累加值xm；
[0239]
(1233)设定所述叠加图像is的校正因子αm(范围在0.7与1.3之间)；和
[0240]
(1234)根据xi、xm和αm计算各路畸变图像的校正因子αi，其中αi＝αm·
xi/xm。
[0241]
其中，步骤(1231)中用于累加各路畸变图像的角点在所述平面直角坐标系中的横坐标值的公式如公式10所示：
[0242][0243]
其中，x
ik
代表第i路棋盘格畸变图像下第k个角点的横坐标大小，k代表每一路所述畸变图像总共的角点数目。
[0244]
值得一提的是，该步骤(121)和(122)之间没有先后顺序的区分，两者之间先后顺序可以互换。本领域技术人员应该能够理解，该步骤(121)和(122) 也可以同时进行。也就是说，依据本发明的该优选实施例，该步骤(121)和(122) 没有任何先后顺序上的区别。
[0245]
步骤(2)进一步包括以下步骤：
[0246]
(21)根据步骤(1)中得到的校正参数，确定畸变校正公式：
[0247]
[0248]
其中，ai是第i路鱼眼视频图像长轴的半径；bi＝1，2，3，
…
，z；z是畸变图像宽的半径，x
il
为第i路畸变图像的轮廓的水平坐标，xc为所述畸变图像的中心的水平坐标，li为第i路畸变图像的轮廓的水平坐标到所述畸变图像的中心的水平坐标的距离，αi为第i路畸变图像的校正因子，反映了校正幅度的大小。
[0249]
步骤(3)进一步包括以下步骤：
[0250]
(31)根据公式11，生成畸变校正表格；和
[0251]
(32)将所述校正表格应用于嵌入式系统下多路高清畸变图像，以实现对所述畸变图像的实时校正。
[0252]
值得一提的是，本发明中该畸变图像校正方法的步骤中所用的编号中所使用的1、2、3、4、5等阿拉伯数字仅仅是起到标示作用，并不区分先后次序的作用。本领域技术人员应该能够理解，在不违反各个步骤本身逻辑次序的情况下，该畸变图像校正方法中的步骤是没有先后次序区分的。当然，本领域技术人员应该能够理解，在一些后续步骤需要以前面的步骤为前提的情况下，这些步骤是具有先后顺序的区分的。而对于那些不互为前提的步骤，只要能够实现本发明的目的，其顺序是可以相互交换的。
[0253]
为了更详细描述本发明，下面以鱼眼视频图像的校正为例，对该畸变图像校正方法进行进一步详细描述。
[0254]
该畸变图像校正方法采集多路畸变图像的棋盘格图像，对这些棋盘格图像进行低通滤波操作，滤除图像上的高频噪声，消除相关的影响。所采用的滤波模板如图1所示。
[0255]
对预处理后的多路鱼眼图像进行叠加，得到叠加图像is。遍历叠加图像is，得到最大值p
max
和最小值p
min
。通过p
max
和p
min
，将叠加图像is进行线性压缩，得到归一化图像im，im图像的像素值范围在0到255之间。线性压缩采用公式 1进行。
[0256]
设定阈值th为叠加图像的均值，其计算方式如公式2所示。
[0257]
对归一化图像im进行四个方向的逐像素的扫描，每个方向扫描时候，记录第一个大于或者等于阈值th的像素点的坐标位置。四个扫描方向分别是逐行从上到下、逐行从下到上、逐列从左到右、逐列从右到左。扫描过程中找到满足要求的像素点分别标记为
[0258]
分别计算两组对应坐标的垂直距离和水平距离，其计算方式如公式3、公式 4所示。
[0259]
选择d1和d2中较大的数值作为鱼眼图像的成像直径d3，则得到鱼眼图像的成像半径r，圆心坐标为(xc,yc)。r、xc、yc分别通过公式5、公式6、公式7计算得到。
[0260]
通过公式8得到各路鱼眼视频图像的轮廓点的坐标(x
il
,yi)。
[0261]
通过公式9得到各路鱼眼视频图像的轮廓点距离图像中心的水平距离l
ik
。
[0262]
通过角点检测算法，检测到各路棋盘格图像当中的角点(x
ik
,y
ik
)，其中i代表第几路视频，k代表视频当中的角点编号。
[0263]
对各路鱼眼视频角点的横坐标进行累加，得到各路鱼眼视频的角点横坐标累加值。
[0264]
检测叠加图像is的角点，并累加所有角点的横坐标，得到xm。
[0265]
设定叠加图像的校正因子αm(范围在07与13之间),则可以得到其他各路视频的校正因子αi＝αm·
xi/xm。
[0266]
通过之前所得到的各种参数，综合得到各路鱼眼视频的畸变校正公式11。
[0267]
利用公式11，则可以针对各路鱼眼视频，生成与像素一一对应的畸变校正表格，满足嵌入式系统下多路高清鱼眼视频的实时校正需求。
[0268]
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。