基于多摄像头自标定的全景车辆安全系统的图像处理方法
【技术领域】
[0001] 本发明涉及汽车电子技术领域，尤其涉及的是一种基于多摄像头自标定的全景车 辆安全系统的图像处理方法。
【背景技术】
[0002] 随着电子信息产业的发展和技术进步，能够获取、记录视频信息的设备日益普及， 但与人眼的视场范围相比，普通摄像机的视场要小得多，如何有效的利用计算机扩大摄像 机拍摄图像和视频的视场范围，引起了研宄者的广泛注意。图像拼接技术可以解决由于摄 像机等成像仪器的视角和大小的限制。所谓图像拼接是通过对齐一系列空间重叠的图像， 构造一个无缝的、高清晰的宽视角图像或者360度视角的全景技术。目前传统的图像拼接 方式是图像配准和图像融合，但是其图像拼接的过程中会极易出现图像的光强度不连续或 者运动物体的重复性，难以形成完整的无缝大视场图像。
[0003] 专利申请文件CN201210042180中采用张正友方法进行各个摄像头的畸变矫正， 此方法需标定的参数较多，对于一般的处理器迭代计算任务耗时过久。故本专利采用较简 单有效的畸变模型。且其仿射变换中，需要代入摄像头安装时的俯仰角，高度等信息，过程 繁琐。
[0004] 专利申请文件CN201310276688只提出了一种新的拼接方法未做出一个用户体验 系统，其使用的黑白网格拼接法与本专利不同。且接缝处采用权重拼接的方法，此方法在图 像拼接本身就不准确的情况下，无法做到无缝拼接，只是弱化缝隙，不能做到无盲区。
【发明内容】
[0005] 本发明的目的在于克服现有技术的不足，提供了一种基于多摄像头自标定的全景 车辆安全系统的图像处理方法。
[0006] 本发明是通过以下技术方案实现的：基于多摄像头自标定的全景车辆安全系统的 图像处理方法，其特征在于：
[0007] S1、在车辆的四周安装至少四个视场角不小于185度的185度广角鱼眼摄像头，采 集车辆四周的图像；
[0008] S2、自动识别：自动连接步骤Sl中的一个摄像头采集图像，并对采集的图像进行 标定布识别，自动提取采集的图像的棋盘格标定布上的边缘角点的位置信息；
[0009] S3、自动矫正：对步骤S2边缘检测后的图像进行畸变矫正，根据采集图像中的角 点位置，迭代畸变参数，完成鱼眼镜头图像的校正，得到畸变矫正图；
[0010] S4、自动转化视角：对畸变矫正图进行仿射变换，根据实际中编码点相隔位置以及 图像中编码点位置像素位置，确定仿射变换矩阵，通过仿射变换矩阵转换原图像，得到转换 视角后的图像；
[0011] S5、判断是否采集所有摄像头拍摄图像，若是，进入步骤S6 ;若否，返回步骤S2 ;
[0012] S6、自动转化拼接图像：对多个摄像头采集的图像经步骤S2-S4变换处理后，确定 图像的关键点，并采用编码点标记，将转换视角后的图像中的编码点与程序预存编码点顺 序对比，对多个摄像头采集的图像进行拼接整合。
[0013] 作为上述方案的进一步优化，所述步骤S2具体为：
[0014] S21、对图像进行灰度化处理并进行高斯滤波，把彩色图像变为灰度图像并过滤噪 音，取3*3像素的滤波模板；
[0015] S22、对步骤S31高斯滤波处理后的图像，进行局部非极大值抑制，取3*3像素窗口 进行抑制运算；
[0016] S23、对步骤S32非极大值抑制运算处理后的图像，采用双阀值算法检测和连接边 缘，设置阀值为thl、th2,且thl = t*th2, t的取值范围在0. 2-0. 6之间，设梯度值小于thl 的像素的灰度值为〇,得到图像A，在把梯度值小于th2的像素的灰度值为0,得到图像B，以 图像B为基础，以图像A为补充连接图像边缘。
[0017] 作为上述方案的进一步优化，所述步骤S3具体为：
[0018] S31、以图像左上定点为原点的图像坐标系，确定新观测视角的每一点 的像素点坐标（us，vs)与原图像中每一点的像素点坐标（u d，vd)的对应关系为：
【主权项】
1. 基于多摄像头自标定的全景车辆安全系统的图像处理方法，其特征在于： 51、 在车辆的四周安装至少四个视场角不小于185度的广角鱼眼摄像头，采集车辆四 周的图像；基于多摄像头自标定的全景车辆安全系统的图像处理方法 52、 自动识别：自动连接步骤Sl中的一个摄像头采集图像，并对采集的图像进行标定 布识别，自动提取采集的图像的棋盘格标定布上的边缘角点的位置信息； 53、 自动矫正：对步骤S2边缘检测后的图像进行畸变矫正，根据采集图像中的角点位 置，建立畸变模型，迭代畸变参数，完成鱼眼镜头图像的校正，得到畸变矫正图； 54、 自动转化视角：对畸变矫正图进行仿射变换，根据实际中编码点相隔位置以及图像 中编码点位置像素位置，确定仿射变换矩阵，通过仿射变换矩阵转换原图像，得到转换视角 后的图像； 55、 判断是否采集所有摄像头拍摄图像，若是，进入步骤S6 ;若否，返回步骤S2 ; 56、 自动转化拼接图像：对多个摄像头采集的图像经步骤S2-S4变换处理后，确定图像 的关键点，并采用编码点标记，将转换视角后的图像中的编码点与程序预存编码点顺序对 比，对多个摄像头采集的图像进行拼接整合。
2. 根据权利要求1所述的基于多摄像头自标定的全景车辆安全系统的图像处理方法， 其特征在于：所述步骤S2具体为： 521、 对图像进行灰度化处理并进行高斯滤波，把彩色图像变为灰度图像并过滤噪音， 取3*3像素的滤波模板； 522、 对步骤S31高斯滤波处理后的图像，进行局部非极大值抑制，取3*3像素窗口进行 抑制运算； 523、 对步骤S32非极大值抑制运算处理后的图像，采用双阀值算法检测和连接边缘， 设置阀值为thl、th2,且thl = 0. 4th2,设梯度值小于thl的像素的灰度值为0,得到图像 A,在把梯度值小于th2的像素的灰度值为0,得到图像B，以图像B为基础，以图像A为补充 连接图像边缘。
3. 根据权利要求1所述的基于多摄像头自标定的全景车辆安全系统的图像处理方法， 其特征在于：所述步骤S3具体为： 531、 以图像左上定点为原点的图像坐标系，确定新观测视角的每一点的 像素点坐标（us，vs)与原图像中每一点的像素点坐标（u。，v d)的对应关系为： u,-u . V1-V .. Us-Uc =^l V ⑴，Vj -Vc = " ； (2) \ + krj l + krj ~2=(士-~)2+(4-1)2 (3)，其中，图像畸变中心坐标为常数（hv。)』为畸变系数； 532、 结合步骤S2的标定布识别，自动识别到的标定布边缘由i条直线组成，每条直线 上取j个像素点，来进行计算，利用识别的标定布的直线约束关系得到第i条直线方程： (^i-Mr)+ ^.(vs7.-vc)+ C1=O (3) 其中，（?)为矫正后的图像上第i条直线上第j个角点坐标，h、(^为常数； 533、 把（1)、（2)式代入（3)，并化简得： (K ~K) + bi(vi -νΓ) + ?.(1+1<α^ -M(.)2+k(v^ -Vc)2)=0 取目标函数： F(x)=i 力("卜)+c,..(1+M^^ ?=ι J=I
4.根据权利要求3所述的基于多摄像头自标定的全景车辆安全系统的图像处理方法， 其特征在于：所述步骤S3得到的目标函数使用L-M法迭代之，当F(X)最小时，得到了最优 解，具体步骤为： (41) 初始化：k = 0, V = 2, X = X。，A = J (X) 1J (X)，g = J (X) Tf (X)，μ = max {aj，其 中，v，μ为迭代参数， /⑴=(4 -vc) + c,(l+k(4 -wc)2+k(vi. -Vc )2)=0 ， J(X)为f(x)的雅克比行列式，为J(X)矩阵的对角线元素，迭代初始值 x〇 - tb 1〇 C10 b2〇 C20.....bn〇 cn〇 uc vc k]； (42) 迭代循环：e = e+1，其中，e为迭代次数； (43) 判断当前迭代次数是否满足：e < emax，其中，emax为最大迭代次数，若e < emax，导 出最优解；若当前迭代次数不满足e < emax，进入步骤（44)， (44) 令（A+ μ I)hlm= -g，得到 h lm，其中 I 为单位矩阵，I |hlm| I ?、I I g| I ?表示 hlm、g 的 行和范数，且L(0)-L(hto)= i其中 g = F'（X) = J(x)Tf (X); (44) 判断是否满足I I hlm K ε 2 (I I X I I + ε 2)，若满足，进入步骤（47);若不满足，进 入步骤（45); (45) 令 Xnew= x+hlm, P = (F(x)-F (xnew))/(L (O)-L (hlm))，判断 P 是否满足 P >0,若 满足，迭代循环：μ = μ*ν，V = 2*v，并返回步骤（42);若不满足，进入步骤（46); (46) 令 X = xnew，A = J(X)1J(X), g = J(x)Tf (X)，判断是否满足 I I g| I " 彡 ε i，若满足 进入步骤（47)，若不满足，迭代循环：^ p maxgj-(2ρ-Ι?，ν' = 2，并返回步骤（42) (47) 迭代结束，得最优解。
【专利摘要】本发明公开了一种基于多摄像头自标定的全景车辆安全系统的图像处理方法，包括自动识别、自动矫正、自动转化视角和自动转化拼接图像。对采集的图像进行标定布识别，自动提取采集的图像的棋盘格标定布上的边缘角点的位置信息。建立畸变模型，迭代畸变参数，得到畸变矫正图。对畸变矫正图进行仿射变换，得到转换视角后的图像。对多个摄像头采集的图像并采用编码点标记，对多个摄像头采集的图像进行拼接整合。本发明相比现有技术具有以下优点：本发明的一种基于多摄像头自标定的全景车辆安全系统的图像处理方法，支持任意多摄像头的拼接，且拼接方便快捷，用户只需要输入摄像头数目，配合使用标定布，全自动拼接全景图像。
【IPC分类】G06T7-00, G06T3-40, G06T5-50
【公开号】CN104732542
【申请号】CN201510142613
【发明人】薛远, 高杰, 程腾, 陈燮民
【申请人】安徽省道一电子科技有限公司
【公开日】2015年6月24日
【申请日】2015年3月27日