基于背景建模和双目视觉的车辆限高方法及系统与流程

文档序号:15348718发布日期:2018-09-04 23:04阅读:306来源:国知局

本发明属于计算机视觉技术领域,尤其涉及基于背景建模和双目视觉的车辆限高方法及系统。



背景技术:

随着现代城市交通的蓬勃发展,超高大货车的卡桥、撞桥、侧翻等事故的发生率也逐年递增。交通管理部门多数采用增设限高标志和限高杆等措施进行防范,但此类交通事故还是时有发生,事故会对车辆及限高装置本身造成损伤,甚至造成人员伤亡。目前,已有基于超声波、激光和红外线的非接触式车辆限高仪,但多有价格昂贵、适应性差、调试困难、误报率高等缺点。因此,寻求一种新的车辆限高方法显得十分有意义。

背景建模是目标检测的一种重要技术,用来从视频序列图像中将运动目标从背景图像中分割提取出来,从而得到目标前景物体的轮廓信息[1]。背景建模的难点在于环境光照的变化、背景的多模态性、以及运动物体的阴影等。在众多基于背景建模的目标检测算法中,vibe算法因其具有占用内存少、初始化快、性能优良、抗噪能力好、软硬件兼容性好等优点而被广泛使用[2]。基于背景建模的车体前景分割可以很好地将车体轮廓信息从视频序列图像中提取出来,进而可以运用双目立体视觉技术对车体轮廓进行测量。

双目立体视觉技术是机器视觉中的一种重要技术,它是模仿人眼的视觉特点,利用两台不同位置的摄像机模拟人眼。双目立体视觉技术主要运用视差原理,从不同的成像设备中获取图像信息,进而获取物体的三维几何信息。双目视觉三维测量技术具有非接触、系统结构简单、成本低、速度快、精度较高等优点,因而被广泛应用在三维测量领域[3]

因此,考虑到背景建模和双目视觉技术的结合在目标检测和测量方面的优势,同时针对目前车辆限高方法的局限,提出一种基于背景建模和双目视觉的车辆限高方法,显得十分有意义。

文中涉及如下参考文献:

[1]kim,h..adaptiveselectionofmodelhistogramsinblock-basedbackgroundsubtraction[j].electronicsletters,2012,(8):434-435.

[2]barnich,o.,vandroogenbroeck,m..vibe:auniversalbackgroundsubtractionalgorithmforvideosequences[j].ieeetransactionsonimageprocessing,2011,(6):1709-1724.

[3]刘浩然,张文明,刘彬.基于双目立体视觉实现物体三维测量的研究[j].光子学报,2009,(7):1830-1834.



技术实现要素:

本发明的目的是提供基于背景建模和双目视觉的车辆限高方法及系统,本发明车辆限高方法具有非接触性、速度快、操作简单且适应性强的特点。

本发明提供的基于背景建模和双目视觉的车辆限高方法,包括:

步骤一,对采集的双目视觉图像进行双目校正,使左视图和右视图水平对准;

步骤二,任选双目视觉图像中一视图作为基准图像,另一视图作为待匹配图像,对基准图像建立并更新背景模型,并从基准图像中提取车体运动前景;

步骤三,对车体运动前景的图像依次进行阴影检测并消除阴影、以及形态学消噪处理,获得车体前景轮廓;

步骤四,提取车体轮廓,获得车体的最高像素点和最低像素点的位置信息,其中,位置信息指最高像素点和最低像素点在基准图像的图像像素坐标系下的坐标;

步骤五,在步骤一双目校正后的双目视觉图像中进行特征点匹配,从而获得最高像素点和其在待匹配图像中的匹配点、以及最低像素点和其在待匹配图像中的匹配点的视差信息;

步骤六,根据最高像素点和最低像素点的位置信息以及视差信息,基于双目视觉几何原理,计算车体高度;

步骤七,当车体高度大于高度上限阈值时,发出警报。

进一步的,双目视觉图像利用双目视觉三维测量装置采集,所述的双目视觉三维测量装置包括水平设置的双目摄像头,且双目摄像头的相机坐标系y轴垂直水平面。

进一步的,步骤一中,所述的对采集的双目视觉图像进行双目校正,进一步包括:

子步骤110,对双目摄像头分别进行单目标定,获得各单目摄像头的内参数矩阵、外参数矩阵和畸变系数;

子步骤120,利用外参数矩阵对双目摄像头进行立体标定和立体校正,并获得反映双目摄像头间位置关系的结构参数;

子步骤130,利用内参数矩阵、外参数矩阵、畸变系数和结构参数,基于单目摄像头间的几何位置关系,对双目视觉图像进行矫正,使左视图和右视图水平对准。

进一步的,步骤二中,采用vibe法对基准图像建立并更新背景模型,进一步包括:

子步骤210,对基准图像中每个像素点x均建立一背景样本集;

子步骤220,初始化像素点x的背景样本集,具体为:第一帧基准图像中随机选取像素点x的若干邻居像素点,以邻居像素点在rgb颜色空间的像素值初始化像素点x的背景样本集;

子步骤230,根据像素点x的像素值与其当前背景样本集中各背景样本的距离,判断像素点x为背景点还是运动前景点;

所述的判断像素点x为背景点还是运动前景点,具体为:

将距离与门限距离r比较,若与像素点x像素值的距离不大于r的背景样本数达到门限值#min,则像素点x视为背景点,否则视为运动前景点;门限距离r和门限值#min均通过多次重复试验确定;

子步骤240,当像素点x被判断为背景点时,更新像素点x的当前背景样本集以及像素点x的一随机邻居像素点的当前背景样本集;

子步骤250,当像素点x被判断为运动前景点,则进行计数;一旦像素点x在连续n帧基准图像中均被判断为运动前景点,则更新像素点x的当前背景样本集;n值根据试验确定;

子步骤260,对每一帧基准图像逐帧执行子步骤230~250,以实现背景模型的实时更新。

进一步的,子步骤240以及子步骤250中,所述的更新像素点x的当前背景样本集,具体为:

像素点x的当前背景样本集有1/φ的概率被更新;更新时,采用像素点x的像素值随机替换像素点x的当前背景样本集中一背景样本;

同时,子步骤240,所述的更新像素点x的一随机邻居像素点的当前背景样本集,具体为:

随机选择像素点x的一邻居像素点,该邻居像素点的当前背景样本集有1/φ的概率被更新;更新时,采用像素点x的像素值随机替换该邻居像素点的当前背景样本集中一背景样本;

参数φ根据经验、试验以及实际需求人为设定。

进一步的,步骤三中,对车体运动前景的图像进行阴影检测并消除阴影,具体为:

子步骤310,遍历车体运动前景的图像中所有像素点;

子步骤320,对当前像素点x,在rgb颜色空间构造两个向量点b表示当前像素点x的背景样本集中任一点,点f表示当前像素点x对应在rgb颜色空间的点,点o为表示rgb颜色空间中三维正交坐标系的原点;

子步骤330,当向量的夹角不小于90度时,将当前像素点x判为阴影点并去除之;当向量的夹角小于90度时,对下一像素点执行子步骤320~330。

进一步的,步骤五进一步包括:

子步骤510,利用surf特征匹配法,对步骤一双目校正后的基准图像和待匹配图像进行特征点匹配;

子步骤520,利用匹配的特征点对,获得步骤四所得最高像素点和最低像素点在待匹配图像中的匹配点;

子步骤530,根据最高像素点、最低像素点以及最高像素点、最低像素点的匹配点在各自的图像像素坐标系下的坐标,获得最高像素点和其匹配点、以及最低像素点和其匹配点的视差信息。

进一步的,步骤六进一步包括:

子步骤610,根据最高像素点和最低像素点在基准图像的图像像素坐标系下的坐标,计算最高像素点和最低像素点在基准图像所对应摄像头的相机坐标系下的三维坐标;

子步骤620,根据最高像素点和最低像素点的三维坐标,计算车体高度。

本发明提供的基于背景建模和双目视觉的车辆限高系统,包括:

第一模块,用来对采集的双目视觉图像进行双目校正,使左视图和右视图水平对准;

第二模块,用来任选双目视觉图像中一视图作为基准图像,另一视图作为待匹配图像,对基准图像建立并更新背景模型,并从基准图像中提取车体运动前景;

第三模块,用来对车体运动前景的图像依次进行阴影检测并消除阴影、以及形态学消噪处理,获得车体前景轮廓;

第四模块,用来提取车体轮廓,获得车体的最高像素点和最低像素点的位置信息,其中,位置信息指最高像素点和最低像素点在基准图像的图像像素坐标系下的坐标;

第五模块,用来在双目校正后的双目视觉图像中进行特征点匹配,从而获得最高像素点和其在待匹配图像中的匹配点、以及最低像素点和其在待匹配图像中的匹配点的视差信息;

第六模块,用来根据最高像素点和最低像素点的位置信息以及视差信息,基于双目视觉几何原理,计算车体高度;

第七模块,用来当车体高度大于高度上限阈值时,发出警报。

与现有技术相比,本发明具有如下的有益效果:

(1)操作简单:只需要被测车辆进入双目摄像机的双目成像区域,即可实现实时测量,无需任何复杂的操作。

(2)速度快:车辆进入双目成像区域后,可立即测量目标车辆真实高度,无需等待时间。

(3)适应性强:采用vibe法对当前测量环境背景进行背景建模,可适应相对较为复杂的测量环境,对测量环境的要求不高。

附图说明

图1是本发明实施例的整体流程图;

图2是利用双目视觉几何原理计算车体高度的原理图,图中,1-左视图,2-右视图。

具体实施方式

为了更清楚地说明本发明和/或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。

参见图1,基于背景建模和双目视觉的车辆限高方法的具体实施过程,包括:

s100采集双目成像区域的双目视觉图像,所述双目视觉图像包括左视图和右视图。

本具体实施方式中,利用双目视觉三维测量装置采集双目视觉图像。为建立一水平的双目立体视觉系统,利用微距架将双目摄像头水平固定于摄影三脚架上,利用水平仪调整双目摄像头使双目摄像头竖直,以保证左摄像头的相机坐标系的y轴垂直水平面,建立以左摄像头的相机坐标系为世界坐标系的三维空间。为了便于后续图像处理,调整双目摄像头的焦距、rgb增益、对比度、曝光参数、白平衡参数一致,使得左视图和右视图无明显差异。

s200对采集的双目视觉图像进行双目校正,使左视图和右视图水平对准。

本步骤进一步包括:

s210对双目摄像头分别进行单目标定,获得各单目摄像头的内参数矩阵、外参数矩阵和畸变系数。

更具体的,可采用常规的张正友标定法对双目摄像头分别进行单目标定,所述的张正友标定法,包括:以一黑白棋盘格作为标定参照物,调整黑白棋盘格的角度,得到不同角度下黑白棋盘格的角点信息;基于角点信息,利用极大似然估计法求解各单目摄像头的内参数矩阵、外参数矩阵和畸变系数。

本发明中,所述的内参数矩阵包括左右摄像头各自的焦距和成像原点坐标;所述的外参数矩阵包括左右摄像头各自的旋转矩阵和平移向量。

s220利用外参数矩阵对双目摄像头进行立体标定和立体校正。

更具体的,可采用bouguet法对双目摄像头进行立体标定和立体校正。所述的立体标定和立体校正,包括:基于外参数矩阵,获得反映双目摄像头间位置关系的结构参数;利用结构参数对双目摄像头进行极线校正,使双目摄像头的光轴平行,从而前向水平对准。

本发明中,所述的结构参数包括双目摄像头间的旋转矩阵r和平移向量t。

s230利用内参数矩阵、外参数矩阵、畸变系数和结构参数,基于单目摄像头间的几何位置关系,对双目视觉图像进行矫正,使左视图和右视图水平对准。

s300任选双目视觉图像中一视图作为基准图像,另一视图作为待匹配图像,对基准图像建立背景模型,并从基准图像中提取车体运动前景。

本具体实施方式中,按照惯例,选择左视图为基准图像,选择右视图为待匹配图像。

本步骤中,背景模型的建立可采用高斯混合模型法、平均背景模型法、codebook法、vibe法等常规方法。其中,由于vibe法具有占用内存少、初始化快、抗噪能力好等优点,特别适合本发明的应用场景。

下面将以vibe法为例,提供建立背景模型的详细过程:

s310对基准图像中每个像素点x均建立一背景样本集m(x),记为:

m(x)={v1,v2,...,vn}(1)

式(1)中,vi表示背景样本集m(x)中第i个背景样本,也即rgb颜色空间的一个点;i=1,2,...,n。

一帧基准图像所有像素点的背景样本集构成该帧基准图像的背景模型。

s320设第一帧基准图像对应时刻t=0,ng(x)表示第一帧基准图像中像素点x的邻居像素点集,利用第一帧基准图像对像素点x的背景样本集m(x)进行初始化,更具体的,随机选取ng(x)中的n个邻居像素点,以n个邻居像素点在rgb颜色空间的像素值初始化背景样本集m(x)。

初始化后的背景样本集m0(x)记为:

m0(x)={v0(y|y∈ng(x))}(2)

式(2)中,y表示ng(x)中的随机邻居像素点;v0(y|y∈ng(x))表示y在rgb颜色空间的像素值。

s330对每个像素点x,分别计算像素点x像素值与其当前背景样本集中n个背景样本的距离,并判断像素点x为背景点还是运动前景点。

距离公式见式(3):

di=|v(x)-vi|(3)

式(3)中,v(x)表示像素点x的像素值,vi表示像素点x的当前背景样本集中第i个背景样本,di表示像素点x与第i个背景样本的距离。

将di与门限距离r比较,若与像素点x的距离不大于门限距离r的背景样本数达到门限值#min,则像素点x视为背景点,否则视为运动前景点。门限距离r和门限值#min均通过多次重复试验确定,其中,门限值#min取值范围为1~20。

s340当像素点x被视为背景点时,更新像素点x的当前背景样本集以及像素点x的随机邻居像素点的当前背景样本集。

更新像素点x的当前背景样本集,具体为:

当像素点x被视为背景点时,则像素点x的当前背景样本集有1/φ的概率被更新;更新时,采用v(x)随机替换像素点x的当前背景样本集中一背景样本。参数φ根据经验、重复试验以及实际需求人为设定,一般来说,φ取较大值,难以快速适应背景样本集的更新;而φ取较小值,则背景样本集的更新易受噪声影响。本实施例中,背景样本集的更新φ取16。

更新像素点x的随机邻居像素点的当前背景样本集,具体为:

当像素点x被视为背景点时,随机选择像素点x的一邻居像素点,对该邻居像素点的当前背景样本集进行更新;同样的,该邻居像素点的当前背景样本集有1/φ的概率被更新;更新时,采用v(x)随机替换该邻居像素点的当前背景样本集中一背景样本。参数φ的取值同更新像素点x的当前背景样本集时的φ值。

s350当像素点x被视为运动前景点,则计数。当像素点x在连续n帧基准图像中均被视为运动前景点,则像素点x的当前背景样本集有1/φ的概率被更新,更新时,采用v(x)随机替换像素点x的当前背景样本集中一背景样本。n值由摄像头每秒帧数决定,一般,摄像头每秒帧数越多,则n取较大值;反之,n取较小值;n具体可通过试验获得最佳值。

s360对下一帧基准图像,重复步骤s330~s350,以实时更新背景模型,以适应环境的变化。

s400对步骤s300提取的车体运动前景的图像依次进行阴影检测并消除阴影、以及形态学消噪处理。

所述的检测阴影并消除阴影,具体为:

遍历车体运动前景的图像中所有像素点,对当前像素点x,在rgb颜色空间,以r、g、b三个像素值分别为坐标轴,建立三维正交坐标系,点o为原点。构造两个向量点b为当前像素点x的背景样本集中任一点,点f为当前像素点x的像素值v(x)对应在rgb颜色空间的点,将向量的夹角记为有:

阴影点的判断法则为:

式(5)中,m(x)表示当前像素点x的阴影点属性;shadow表示该点为阴影点;foreground表示该点为前景点。根据值,即可获得阴影点和前景点,并去除车体运动前景的图像中阴影点。

所述的形态学消噪处理,包括:对消除阴影后的车体运动前景图像依次进行开运算和闭运算,以对图像去噪;同时,利用连通域法获得前景部分,并删除轮廓面积小于预设面积阈值的前景部分,保留的轮廓即车体前景轮廓。

s500提取车体轮廓,并获得车体的最高像素点和最低像素点的位置信息。

更具体的,获得车体的最高像素点和最低像素点的位置信息,包括:遍历车体轮廓上像素点,从而获得所有像素点的位置信息,经比较,获得最高像素点和最低像素点的位置信息。本具体实施方式中,位置信息利用基准图像的图像像素坐标系下坐标表示,将最高像素点和最低像素点的坐标分别记为(x_high,y_high)、(x_low,y_low)。

s600对步骤s200进行双目校正后的基准图像和待匹配图像进行特征点匹配,获得最高像素点和最低像素点在基准图像和待匹配图像中的视差信息。

本步骤具体包括:

s610利用surf特征匹配法,对基准图像和待匹配图像中车体运动前景进行匹配,获得初始的匹配特征点对;利用欧式距离筛选初始的匹配特征点对。特征点对中两像素点的欧式距离越小,则匹配效果越好;

s620利用筛选后的匹配特征点对,获得最高像素点和最低像素点在待匹配图像中的匹配点,最高像素点和其在待匹配图像中的匹配点统称为最高点的匹配特征点对;同样的,最低像素点和其在待匹配图像中的匹配点统称为最低点的匹配特征点对。

s630由于左摄像头和右摄像头均前向水平对准,则最高点的匹配特征点对以及最低点的匹配特征点对在各自的图像像素坐标系下的横坐标之差,即视差值。

s700根据双目摄像机的内参数矩阵、外参数矩阵、最高像素点和最低像素点的位置、以及视差信息,利用双目视觉几何原理,计算车体高度。

本步骤具体包括:

s710根据最高像素点和最低像素点在基准图像的图像像素坐标系下的坐标,计算最高像素点和最低像素点在基准图像所对应摄像头的相机坐标系下的三维坐标,见公式(6)~(7)。

s720根据最高像素点和最低像素点的三维坐标,计算车体高度,见公式(8)。

公式(6)~(8)如下:

car_height=y_high-y_low(8)

式(6)~(8),y_high和y_low分别为最高像素点和最低像素点在相机坐标系下的y坐标;tx表示双目摄像头间的基线长度;cy为成像原点纵坐标;d_high和d_low分别为最高点的匹配特征点对和最低点的匹配特征点对的视差值;car_height为车体高度。

利用双目视觉几何原理计算车体高度的原理图参见图2,图中,p1、p2分别表示车体上的最高点和最低点,点p1左和点p1右为最高点的匹配特征点对,点p2左和点p2右为最低点的匹配特征点对;u1o1v1表示左视图的图像像素坐标系,u2o2v2表示右视图的图像像素坐标系,ocl-xclyclzcl表示左摄像头的相机坐标系,ocr-xcrycrzcr表示右摄像头的相机坐标系。

s800判断车体高度是否大于高度上限阈值h_max,若是,则发出警报;否则,不做任何处理,继续进行车体高度检测。

上述实施例所述是用以具体说明本发明,文中虽通过特定的术语进行说明,但不能以此限定本发明的保护范围,熟悉此技术领域的人士可在了解本发明的精神与原则后对其进行变更或修改而达到等效目的,而此等效变更和修改,皆应涵盖于权利要求范围所界定范畴内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1