一种基于单目摄像头的全景成像系统及其成像方法与流程

文档序号:13767834阅读:来源:国知局
技术特征:1.一种基于单目摄像头的全景成像系统,其特征在于,包括:图像获取装置,安装在车辆后方用于获取车辆后方的图像;图像转换装置,用于将图像获取装置获取的鱼眼图像转换为鸟瞰图像,并传输给图像处理装置;图像处理装置,将存储装置中的全局图像与获取的当前帧的鸟瞰图像进行合成,对全局图像进行更新,更新后的全局图像视野范围包括当前帧图像获取视野范围和未更新的全局图像视野范围;图像存储装置,用于存储全局图像信息;图像显示装置,用于显示全景图像、倒车图像;车辆状态检测装置,用于检测当前车辆的行驶状态;所述图像获取装置与图像转换装置相连,所述图像转换装置与图像处理装置相连,所述图像处理装置与图像显示装置相连,所述图像存储装置与图像处理装置相连,所述车辆检测装置与图像处理装置相连。2.根据权利要求1所述的一种基于单目摄像头的全景成像系统,其特征在于,初始状态时,所述图像存储装置内存储的全局图像为空的图像,所述图像处理装置将图像转换装置转换的首次帧图像作为图像存储装置内的初始全局图像,正常状态时,所述图像处理装置利用图像转换装置获取的当前帧图像对存储装置内全局图像进行合成更新,从而得到当前帧的全景图像,并将该全景图像显示在图像显示装置上。3.根据权利要求1所述的一种基于单目摄像头的全景成像系统,其特征在于,所述图像处理装置依据特征信息融合当前帧鸟瞰图像和全局图像,运用当前帧图像补充并更新全局图像中的信息,所述图像处理装置还根据实际\t车辆外观数据建立半透明车辆立体成像单元,并将该单元按照实际位置叠加在输出的全局图像上。4.根据权利要求1所述的一种基于单目摄像头的全景成像系统,其特征在于,所述图像存储装置存储全局图像、与全局图像相对应的特征信息以及该特征信息对应图像获取时间。5.根据权利要求1所述的一种基于单目摄像头的全景成像系统,其特征在于,所述车辆状态检测装置检测当前车辆运行状态,根据车辆状态启动、关闭全景图像和倒车系统。6.根据权利要求1所述的一种基于单目摄像头的全景成像系统,其特征在于,所述图像获取装置还可获取车辆底部图像信息。7.一种基于单目摄像头的全景成像方法,其采用的全景成像系统包括:图像获取装置,安装在车辆后方用于获取车辆后方的图像;图像转换装置,用于将图像获取装置获取的鱼眼图像转换为鸟瞰图像,并传输给图像处理装置;图像处理装置,将图像存储装置中的全局图像与获取的当前帧的鸟瞰图像进行合成,对全局图像进行更新,更新后的全局图像视野范围包括当前帧图像获取视野范围和未更新的全局图像视野范围;图像存储装置,用于存储全局图像信息;图像显示装置,用于显示全景图像、倒车图像;车辆状态检测装置,用于检测当前车辆的行驶状态;所述图像获取装置与图像转换装置相连,所述图像转换装置与图像处理装置相连,所述图像处理装置与图像显示装置相连,所述图像存储装置与图像处理装置相连,所述车辆检测装置与图像处理装置相连,其特征在于,成\t像方法包括以下步骤:1)图像采集:图像获取装置通过鱼眼摄像头采集车辆尾部的鱼眼图像,并将鱼眼图像发送给图像转换装置;2)图像转换:车辆状态检测装置检测到车辆运行状态改变或系统被手动开启,车辆状态检测装置发送信息给图像转换装置,图像转换装置将采集到的鱼眼图像转换成反投影鸟瞰图像;3)图像处理:图像处理装置获取图像转换装置中的鸟瞰图像,并将当前帧的图像与图像存储装置中的全局图像进行融合,并发送给图像显示装置进行显示。8.根据权利要求7所述的一种成像方法,其特征在于,步骤2)中图像转换的具体方法为:图像转换装置离线标定获取鱼眼摄像头内参f’x、u’0、v’0、k1、k2、k3、k4,其中f’x为归一化焦距,u’0和v’0为摄像机光心,k1、k2、k3、k4为权重参数,以上参数通过标定程序计算得出,则鱼眼图像和鸟瞰图像之间像素点的关系可以表示为:其中F是一个非线性变换,公式(1)可转化成运算公式(2):m′=fx′0u0′0fy′v0′001*(x′′,y′′,1)T---(2)]]>其中是虚拟摄像机坐标,n为地面摄像机坐标,θ=arctan(r),为虚拟摄像机内参数,其中R和t分别是虚拟摄像机在原摄像机坐标系下的旋转矩阵和平移向量,x”,y”,z”为获取图像和地平线交点。9.根据权利要求7所述的一种成像方法,其特征在于,步骤3)中图像处理的具体步骤如下:S1图像处理装置获取图像转换装置中的当前帧鸟瞰图像,并利用SIFT算法提取该图像的特征信息,将该特征信息和时间信息进行关联;S2读取存储装置中的全局信息,该全局信息包括时间信息、特征信息以及图像信息;S3-1若存储装置中不存在全局信息,则将当前帧鸟瞰图像输出到图像显示装置并将该鸟瞰图像的图像信息、时间信息以及与时间相关的特征信息存储到存储装置中;S3-2若存储装置中存在全局信息,采用RANSAC算法将该全局信息中的特征信息与当前鸟瞰图像的特征信息进行特征匹配并进行合并,对应的图像信息也进行合并得到更新后的全局图像,最后将更新后的全局信息显示在图像显示装置上;图像信息合并的具体方法为:使用变换矩阵计算两幅图像之间的重叠区域,所述变换矩阵由RANSAC算法可以获得,其公式如下:x′=a1+a2x+a3x(x′-x)y′=a4+a5y+a6y(y′-y)---(3)]]>其中,(x,y)为全局图像内坐标,(x',y')为当前图像内和全局图像匹配像素坐标,为仿射变换矩阵;计算后如果存在重叠区域,则对两幅图像采取加权平均的图像融合方法,假设当前图像为ft,需要更新的存储设备中的全局图像为Fn-1,则融合后的图像可以表示为:Fn(x,y)=(ω1(x,y)ft(x,y)+ω2(x,y)Fn-1(x,y))/(ω1(x,y)+ω2(x,y))(4)其中ft为当前帧图像,Fn-1为之前的全局图像,ω1和ω2为融合权重,Fn为更新后的全局图像,(x,y)为全局图像内坐标,(x',y')为当前图像内和全局图像匹配像素坐标;S4经过更新后的将图像保存到图像存储设备,并将其显示在图像显示装\t置上。10.根据权利要求9所述的一种成像方法,其特征在于,全局信息的更新包括:图像信息更新:a)时间更新:检测更新后的全局图像在特征点对应时间,若该图像区域获取时间t和当前时间T,存在T-t>σ关系,则删除区域图像;b)区域更新:全局图像存在一个固定的大小,且该全局图的中心点为车辆尾部摄像头,当存储的全局图像大小超出设定的区域,就删除该区域的图像和特征值;特征信息更新:更新后的特征信息为:其中,Δt=T-t为时间差,σ为设定的时间阈值,X,Y为设定区域边缘坐标,(x,y)为特征点坐标。当前第2页1 2 3 
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1