一种基于线段特征的超广角镜头相片畸变校正方法与流程

1.本发明属于图像处理技术领域，具体涉及一种基于线段特征的超广角镜头相片畸变校正方法。


背景技术：

2.随着智能手机的迅速发展，手机摄影逐渐进入大众生活，且已成为日常应用中主要的拍照方式，极大程度地提升了大众摄影的便捷性，降低了拍照成本。近些年，超广角镜头逐渐被应用于智能手机中，可以为手机照片带来更大的视角和宽阔的视野，同时具备大景深拍照，可容纳下更多的近景和远景。
3.当前，很多手机的超广角相机最大视角超过100度，更有达到150度。虽然超广角镜头可以拍摄更大的场景，但其获得的照片会存在较大畸变，尤其是在接近边缘部分。大部分手机出厂时均会对超广角镜头进行固定参数校准，由于目标在视场中远近差异，仍然会存在一定程度的畸变，尤其在拍摄直线特征明显的目标。当超广角相片中存在直线特征明显的目标时，可以考虑直接依据直线特征对图像进行校正。因此，如何利用超广角镜头相片的直线特征对图像进行校正成为亟待解决的问题。


技术实现要素：

4.本发明的目的在于提供一种基于线段特征的超广角镜头相片畸变校正方法，其充分利用图像中目标的直线特征，并结合图像重采样方法完成图像校正，有效降低手机超广角镜头在具有直线目标场景下的畸变。
5.本发明采用的技术方案为：
6.一种基于线段特征的超广角镜头相片畸变校正方法，包括以下步骤：
7.步骤1，采用lsd算法对超广角镜头图像im提取线段，得到线段集合l
set
；
8.步骤2，将整个超广角镜头图像im划分为4*4个区域，第i行第j列的区域记为z
ij
；
9.步骤3，分别定义图像的上下左右边缘区域e
top
、e
bot
、e
lef
和e
rig
，仅校正该区域内的直线畸变；
10.步骤4，通过位置关系分别获取位于各边缘区域中的线段集合le；
11.步骤5，以边缘区域线段集合le中线段的倾角θ为依据，按间隔dθ将le等间距分为多个线段子集
12.步骤6，依据线段的倾角和距离约束，在线段子集中寻找线段对，构成匹配线段集合
13.步骤7，基于获取的匹配线段集合生成线段特征校正点集p
line
；
14.步骤8，在超广角镜头图像im的每个子区域z
ij
内均匀选择点，形成全域校正匹配点集p
adj
；
15.步骤9，依据全域校正匹配点集p
adj
建立二次多项式校正模型，通过最小二乘法校
正超广角镜头图像im，得到校正后图像im
adj
。
16.进一步地，步骤4中，根据如下条件判断l
set
中的线段l是否隶属于相应的线段集合le：
[0017][0018]
e∈{e
top
,e
bot
,e
lef
,e
rig
}
[0019]
式中，n()表示线段的像素数目，δ表示比例阈值。
[0020]
进一步地，步骤5中线段子集的计算方式如下：
[0021][0022][0023]
式中，int()为向上取整，θ
l
表示线段l的倾角，θ
min
和θ
max
分别为线段子集中线段倾角的最小值和最大值。
[0024]
进一步地，步骤6中，若线段子集中的两条线段li和lj满足以下条件，则认为由其构成的线段对(li,lj)属于匹配线段集合
[0025][0026]
其中，|*|表示求绝对值，θ
thr
表示线段倾角差的阈值，||*||代表线段的长度，dis()表示求两点之间的距离，pm表示相应线段的中点，λ表示线段位置约束阈值。
[0027]
进一步地，步骤7的具体方式为：
[0028]
对于匹配线段集合中的线段对(li,lj)，将距离所在边缘区域e边界更近的线段作为待校正线段la，设la的起点和终点分别为和则待校正线段终点的计算方式如下：
[0029][0030][0031][0032]
式中，la表示由线段对(li,lj)产生的待校正线段，||la||表示la的线段长度，表示求倾角差的绝对值；
[0033]
存在c个线段特征校正点的集合p
line
表示为：
[0034]
[0035]
式中，表示由线段产生的校正点对，为校正前点的位置，为校正后点的位置。
[0036]
进一步地，步骤8中，全域校正匹配点集p
adj
由非线段区域点集p
noline
和线段特征校正点集p
line
组成：
[0037]
p
adj
＝p
noline
+p
line
[0038][0039][0040]
式中，为区域zm的中点，zm是指与边缘线段集合le不相交的区域，由部分边缘区域和中心区域组成。
[0041]
本发明具有如下有益效果：
[0042]
(1)本发明提出了一种基于线段特征的超广角镜头相片畸变校正方法，可有效校正边缘存在直线的超广角相机图像，减少图像中心区域的畸变。
[0043]
(2)应用本发明方法可以有效提取直线特征，并自动寻找待校正的匹配点，为图像自动校正提供技术支撑。
附图说明
[0044]
图1为图像区域划分示意图；
[0045]
图2为超广角相机图像校正方法的原理示意图。
具体实施方式
[0046]
下面结合附图及具体实施方式对本发明做进一步详细的说明。
[0047]
如图2所示，一种基于线段特征的超广角镜头相片畸变校正方法，包括以下步骤：
[0048]
步骤1，采用lsd算法对超广角镜头图像im提取线段得到线段集合l
set
。当有n条线段时可表示为：
[0049]
l
set
＝{l1,l2,l3...ln}
[0050]
步骤2，将整个图像划分为4*4个区域，每个区域记为z
ij
。本例中将整幅图分为16区域，各区域位置及编号见图1所示，z
ij
可表示为：
[0051]zij
＝{z
11
,z
12
,...,z
44
}
[0052]
步骤3，分别定义图像的上下左右边缘区域e
top
、e
bot
、e
lef
和e
rig
，仅校正该区域内的直线畸变，定义的边缘区域e具体表示如下：
[0053]etop
＝{z
11
,z
12
,z
13
,z
14
}
[0054]ebot
＝{z
41
,z
42
,z
43
,z
44
}
[0055]elef
＝{z
11
,z
21
,z
31
,z
41
}
[0056]erig
＝{z
14
,z
24
,z
34
,z
44
}
[0057]
步骤4，通过位置关系分别获取位于各边缘区域中的线段集合le。仅计算位于边缘区域内的线段，判断l
set
中的线段l隶属于边缘区域e的条件如下：
[0058][0059]
e∈{e
top
,e
bot
,e
lef
,e
rig
}
[0060]
式中，n()表示线段的像素数目，δ表示比例阈值。
[0061]
步骤5，以边缘区域线段集合le中线段的倾角θ为依据，按间隔dθ等间距分为多个线段子集线段l划分到线段子集的条件如下：
[0062][0063][0064]
式中，int()为向上取整，θ
l
表示线段l的倾角，θ
min
和θ
max
分别为线段子集中线段倾角的最小值和最大值。
[0065]
步骤6，依据线段的倾角和距离约束，在线段子集中寻找线段对，构成匹配线段集合线段子集中的两条线段li和lj若满足以下条件，则可认为由其构成的线段对(li,lj)属于匹配线段集合约束条件如下：
[0066][0067]
其中，|*|表示求绝对值，θ
thr
表示线段倾角差的阈值，||*||代表线段的长度，dis()表示求两点之间的距离，p
lm
表示线段l的中点，λ表示线段位置约束阈值。
[0068]
步骤7，基于获取的匹配线段集合生成线段特征校正点集p
line
。对于匹配的线段对(li,lj)，距离所在边缘区域e边界更近的线段为待校正线段la，设la的起点和终点分别为和则待校正线段终点对应的校正后点位置的计算方式如下：
[0069][0070][0071][0072]
式中，la表示由线段对(li,lj)产生的待校正线段，||la||表示la的线段长度，表示求倾角差的绝对值。
[0073]
因此，当存在c个线段校正点的集合p
line
可表示为：
[0074][0075]
式中，表示由线段产生的校正点对，为校正前点的位置，为校正后点的位置。
[0076]
步骤8，在图像的每个子区域z内均匀选择点，形成全域校正匹配点集p
adj
。p
adj
由非线段区域点集p
noline
和线段特征校正点集p
line
组成：
[0077]
p
adj
＝p
noline
+p
line
[0078][0079][0080]
式中，为区域zm的中点，zm是指与边缘线段集合le不相交的区域，主要是由部分边缘区域和中心区域组成。
[0081]
步骤9，依据全域校正匹配点集p
adj
建立二次多项式校正模型，通过最小二乘法校正超广角镜头图像，得到校正后的图像im
adj
。当全域校正匹配点集p
adj
由r个点构成时，可表示为：
[0082]
p
adj
＝{[(μ1,v1),(x1,y1)],...,[(μr,vr),(xr,yr)]}
[0083]
其中，(μr,vr)和(xr,yr)分别第r对匹配点中校正前位置及校正后位置。
[0084]
则利用校正匹配点集p
adj
所构建的二次多项式表达式如下：
[0085][0086]
式中，b
00
,b
01
,b
02
,b
11
,b
12
,b
22
和e
00
,e
01
,e
02
,e
11
,e
12
,e
22
分别为模型系数，通过上述多项式可进行求解。
[0087]
最终构建的模型可表示为：
[0088][0089]
式中，(x,y)表示超广角镜头校正后图像im
adj
的点，(μ,v)表示待校正的超广角镜头图像im中的点。
[0090]
总之，本发明提出的超广角畸变图像校正算法，面向图像边缘存在直线且会发生较大畸变情况，通过线段特征判别出待校正线段，并自动提取匹配点，无需人工干预识别，为便捷、快速和高效的超广角镜头图像后处理提供重要的技术支撑。