一种基于单目摄像头三维估计的车型分类方法与流程

本发明属于智能交通监控视频
技术领域：
，涉及一种基于单目摄像头三维估计的车型分类方法。
背景技术：
：车型识别系统作为智能交通系统应用领域中重要的分支，也是目前相对薄弱的技术环节。基于视频的车型识别系统中，现阶段对车牌、轮廓、车标、及特征匹配方面研究较多，这类方法在特定场景下，识别效果较好，但普遍适用性不强，效果不稳定。利用车辆三维尺寸进行类型识别的研究较少，如能获得车辆实际三维状态特征，如车辆实际长、宽、高，车鼻高，车尾高以及其最小外界立方体填充度等等，这些特征是不随时间、场景变化而变化的。而且不同车型的三维状态特征具有良好的可分性。虽然双目摄像头三维重建算法成熟，但现有监控系统中已经安装了大量的摄像头，如果每一项监控指标都增加2～3个摄像头，那么整个监控系统就会变得庞大且拥堵，也不易维护。技术实现要素：本发明的目的是提供一种基于单目摄像头三维估计的车型分类方法，解决现有技术中对车辆进行分类时，应用二维特征分类识别方法普适性不强且效果不稳定；而采用三维状态特征作为分类标准，双目三维重建方法时间滞后且成本高昂的问题。本发明所采用的技术方案是，一种基于单目摄像头三维估计的车型分类方法，按照以下步骤实施：步骤1、获取背景帧，提取车辆目标的外接矩形框设采用混合高斯背景建模方法得到大小为h行、w列的背景帧[b(i,j)]h×w，设当前帧为[f(i,j)]h×w，对当前帧进行背景差分计算，得到的目标二值图像设为[e(i,j)]h×w，对[e(i,j)]h×w中的每个连通域，用外接矩形框描述，获得初提取的车辆目标的外接矩形框集合，设为其中，是第t个车辆的外接矩形框左上角坐标，是第t个车辆的外接矩形框右下角坐标，n是当前帧中出现的车辆个数；步骤2、提取车辆目标采用背景区域生长法去除步骤1所获得的车辆目标可能有的阴影干扰，实现对车辆目标区域的提取；步骤3、对车辆目标区域进行填充和贴标签3.1)目标边缘提取，利用canny算法对二值图进行边缘提取，再进行闭运算处理；3.2)断裂轮廓闭合，将二值图与闭运算处理的图叠加，叠加的方法是，对该两个图中所有对应相同位置上的像素点，至少在该两个图中，有一个是白色的点，则结果图相应位置上的点也为白色，使得原本车辆轮廓断裂部分能够闭合；3.3)运动目标区域填充，对闭合轮廓区域的空洞进行填充；3.4)贴标签，对经过区域填充后的所有连通域进行贴标签处理；步骤4、计算车辆的最小外接立方体以贴标签图像中车头向左前方倾斜、车头向左后方倾斜、以及车头朝向正前方分别进行处理；步骤5、对车辆类型进行分类。本发明的有益效果是，在车辆管理系统、公路收费系统、公安侦查系统中自动识别车辆类型，步骤简单，便于实施，计算量小，结果准确性高，给出的结果能够正确对行驶车辆进行分类。附图说明图1是本发明方法中的背景差分图获得的运动目标，其中，(a)是原始视频帧，(b)是运动车辆目标及其外接矩形框；图2是本发明方法中的单个车辆的外接矩形框内的目标区域；图3是本发明方法中的单个车辆的外接矩形框内的灰度图；图4是本发明方法中的车辆目标提取结果；图5是本发明方法中的目标区域填充，其中，(a)是目标轮廓的提取结果，(b)是轮廓线与图4的叠加结果，(c)是连通域填充结果；图6是本发明方法中的贴标签处理结果；图7是本发明方法中的车辆连通域的最小外接立方体；图8是本发明方法中车头向左前方倾斜的车辆4最小外接立方体计算示意图；图9是本发明方法中车头向左后方倾斜的车辆6最小外接立方体计算示意图；图10是本发明方法中车头朝向正前方的车辆7最小外接立方体计算示意图；图11是本发明方法中同一尺寸不同类型车辆立方体填充度示意图，其中，(a)卡车，(b)公交车。具体实施方式下面结合附图和具体实施方式对本发明进行详细说明。本发明基于单目摄像头三维估计的车型分类方法，按照以下步骤实施：步骤1、获取背景帧，提取车辆目标的外接矩形框根据目标运动、背景静止的原理，采用背景差分法来提取出运动目标。设采用混合高斯背景建模方法(该背景建模方法为现有技术)得到大小为h行、w列的背景帧[b(i,j)]h×w，设当前帧为[f(i,j)]h×w，对当前帧进行背景差分计算，得到的目标二值图像设为[e(i,j)]h×w，对[e(i,j)]h×w中的每个连通域，用外接矩形框描述，获得初提取的车辆目标的外接矩形框集合，设为其中，是第t个车辆的外接矩形框左上角坐标，是第t个车辆的外接矩形框右下角坐标，n是当前帧中出现的车辆个数。例如，对图1(a)的视频原图进行背景差分后，得到目标二值图像如图1(b)所示，保存所有被外接矩形框框住的车辆目标区域，例如图2是图1(b)中一个车辆的外接矩形框区域，其中的白色点(像素值为255)是车辆目标点，黑色点(像素值为0)是背景点。以下以图2所示的车辆局部区域为例，对车辆目标提取的后续步骤进行说明。步骤2、提取车辆目标考虑到车辆目标外接矩形框内背景的单一性以及与前景的相似性，采用背景区域生长法去除步骤1所获得的车辆目标可能有的阴影干扰，实现对车辆目标区域的提取。首先获取(图2)车辆目标所对应的灰度图如图3所示，再进行背景区域生长(背景区域生长法为现有技术)，具体过程如下：2.1)令图3所示的灰度图最左上点为中心，构造一个3×3的领域，中心点为种子点，对其8邻域的像素进行区域生长；2.2)判断是否满足生长条件：判断步骤2.1)的中心点的8邻域像素域中心点相比，像素值的差异满足容差条件，容差优选为3～5，则(图2)相应位置上的值令其为0；2.3)按照从左到右，从上到下的顺序，选出步骤2.2)的8邻域中一个满足容差条件的点，为下一次种子点，转回步骤2.2)重新执行，直到8邻域中没有符合容差条件的点，则生长结束。整幅图像中车辆目标提取的结果如图4所示。步骤3、对车辆目标区域进行填充和贴标签对步骤2得到的车辆目标区域的空缺部分进行填充，具体步骤如下：3.1)目标边缘提取，利用canny算法对图4的二值图进行边缘提取，得到结果再进行闭运算处理，闭运算处理结果如图5(a)所示；3.2)断裂轮廓闭合，将图4的二值图与图5(a)闭运算处理的图叠加，叠加的方法是，对所有图4和图5(a)对应相同位置上的像素点，至少在图4或者图5(a)中，有一个是白色的点，则结果图相应位置上的点也为白色，使得原本车辆轮廓断裂部分能够闭合，效果如图5(b)所示；3.3)运动目标区域填充，对闭合轮廓区域的空洞进行填充，填充后如图5(c)所示。3.4)贴标签，对经过区域填充后的所有连通域进行贴标签处理(贴标签处理方法为现有技术)，例如对图5进行贴标签处理之后得到如图6所示的贴标签图像。步骤4、计算车辆的最小外接立方体分别以图6所示贴标签图像中车头向左前方倾斜的车辆4，车头向左后方倾斜的车辆6以及车头朝向正前方的车辆7为例(该三个姿态是最具有代表性的)，对求取车辆最小外接立方体的步骤分别进行说明，示意图如图7所示。4.1)对车头向左前方倾斜的车辆(以图7中的车辆4为例)最小外接立方体按照如下步骤进行求取，效果图如图8所示，坐标系的方向见图8：4.1.1)对车辆目标连通域做水平方向投影，能够得到投影值大于零的起始坐标ymin与终止坐标ymax，考虑到消除噪声的影响，给出上方水平直线表达式为yup＝ymin+0.1·(ymax-ymin)，下方水平直线表达式为ydown＝ymax-0.1·(ymax-ymin)；4.1.2)同理，对车辆目标连通域做垂直方向的投影，能够得到投影值大于零的起始坐标xmin与xmax，则左侧的垂直直线表达式为xleft＝xmin+0.1·(xmax-xmin)，右侧的垂直直线表达式为xright＝xmax-0.1·(xmax-xmin)；4.1.3)上方的水平直线yup和右侧的垂直直线xright的交点为①，得到坐标为(x1,y1)，x1＝xright，y1＝yup，即确定了水平直线①④的右侧端点、以及垂直直线①⑤的上方端点；同理，下方水平直线ydown和左侧垂直直线xleft的交点为⑦，坐标为(x7,y7)，x7＝xleft，y7＝ydown，由此确定了水平直线⑥⑦的左侧端点、以及垂直直线③⑦的下方端点；4.1.4)根据以上得到的顶点⑦，向其右侧延伸至下方水平直线ydown上最右侧的白点处，即为x6的坐标值，获得顶点⑥，坐标为(x6,y6)，y6＝ydown，得到立方体的一条边长为l＝x6-x7；4.1.5)根据以上得到的顶点①，向其上方延伸至左侧垂直直线xleft上连续线段的最上方白点处，即为y3的坐标值，获得顶点③，坐标为(x3,y3)，x3＝xleft得到立方体的另一条边长为h＝y7-y3；4.1.6)依据立方体中，线段⑥⑦与线段②③、线段①④长度相等，且三条线平行的原则，由顶点③水平向右延伸长度l后得到顶点②，其坐标为(x2,y2)，x2＝x3+l，y2＝y3；由顶点①水平向左延伸长度l后得到顶点④，其坐标为(x4,y4)，x4＝x1-l，y4＝y1；4.1.7)依据立方体中，线段③⑦与线段②⑥、线段①⑤长度相等，且三条线平行的原则，由顶点①垂直向下延伸长度h后得到顶点⑤，其坐标为(x5,y5)，其中，x5＝x1，y5＝y1+h；4.1.8)至此，顶点①②③④⑤⑥⑦分别确定，连接端点①②，①④，①⑤，②③，②⑥，③④，③⑦，⑤⑥，⑥⑦，便得到了该车辆目标的最小外接立方体。4.2)对车头向左后方倾斜的车辆(以图7中的车辆6为例)最小外接立方体按照以下步骤进行求取，效果图如图9所示，坐标系的方向见图9：4.2.1)同步骤4.1.1)，对车辆目标连通域做水平方向投影，能够得到投影值大于零的起始坐标ymin与终止坐标ymax，则上方的水平直线表达式为yup＝ymin+0.1·(ymax-ymin)，下方的水平直线表达式为ydown＝ymax-0.1·(ymax-ymin)；4.2.2)同步骤4.1.2)，对车辆目标连通域做垂直方向的投影，能够得到投影值大于零的起始坐标xmin与xmax，则左侧的垂直直线表达式为xleft＝xmin+0.1·(xmax-xmin)，右侧的垂直直线表达式为xright＝xmax-0.1·(xmax-xmin)；4.2.3)上方水平直线yup和左侧垂直直线xleft的交点为①，坐标为(x1,y1)，x1＝xleft，y1＝yup，由此确定了水平直线①④的左侧端点、以及垂直直线①⑤的上方端点；同理，下方水平直线ydown和右侧垂直直线xright的交点为⑦，坐标为(x7,y7)，其中，x7＝xright，y7＝ydown，由此确定了水平直线⑥⑦的右侧端点、以及垂直直线③⑦的下方端点；4.2.4)根据以上得到的顶点⑦，向其右侧延伸至直线ydown上最左侧的白点处，即为x6的坐标值，获得顶点⑥，坐标为(x6,y6)，y6＝ydown，得到立方体的一条边长为l＝x6-x7；4.2.5)根据以上得到的顶点⑦，向其上方延伸至直线xright上连续线段的最上方白点处，即为y3的坐标值，获得顶点③，坐标为(x3,y3)，x3＝x7,得到立方体的另一条边长为h＝y7-y3；4.2.6)依据立方体中，线段⑥⑦与线段②③、线段①④长度相等，且三条线平行的原则，由顶点③水平向左延伸长度l后得到顶点②，其坐标为(x2,y2)，x2＝x3-l，y2＝y3；由顶点①水平向右延伸长度l后得到顶点④，其坐标为(x4,y4)，x4＝x1+l，y4＝y1；4.2.7)依据立方体中，线段③⑦与线段②⑥、线段①⑤长度相等，且三条线平行的原则，由顶点①垂直向下延伸长度h后得到顶点⑤，其坐标为(x5,y5)，x5＝x1，y5＝y1+h；4.2.8)至此，顶点①②③④⑤⑥⑦分别确定，连接端点①②，①④，①⑤，②③，②⑥，③④，③⑦，⑤⑥，⑥⑦，便得到了该车辆目标的最小外接立方体；4.3)对车头正向的车辆(以图7中的车辆7为例)最小外接立方体按照如下步骤进行求取，效果图如图10所示，坐标系的方向见图10：4.3.1)同步骤4.1.1)，对车辆目标连通域做水平方向投影，能够得到投影值大于零的起始坐标ymin与终止坐标ymax，则上方水平直线表达式为yup＝ymin+0.1·(ymax-ymin)，下方水平直线表达式为ydown＝ymax-0.1·(ymax-ymin)；4.3.2)同步骤4.1.2)，对车辆目标连通域做垂直方向的投影，能够得到投影值大于零的起始坐标xmin与xmax，则左侧的垂直直线表达式为xleft＝xmin+0.1·(xmax-xmin)，右侧垂直直线表达式为xright＝xmax-0.1·(xmax-xmin)；4.3.3)下方水平直线ydown和左侧垂直直线xleft的交点为⑤，坐标为(x5,y5)，x5＝xleft，y5＝ydown，由此确定了水平直线⑤⑥的左侧端点、以及垂直直线④⑤的下方端点；同时，下方水平直线ydown和右侧垂直直线xright的交点为⑥，坐标为(x6,y6)，x6＝xright，y6＝ydown，由此确定了水平直线⑤⑥的右侧端点、以及垂直直线③⑥的下方端点；4.3.4)依据以上得到的顶点⑤，向其上方延伸至直线xleft上连续线段的最上方白点处，即为y4的坐标值，获得顶点④，坐标为(x4,y4)，x4＝x5得到立方体的一条边长为h＝y5-y4；4.3.5)依据线段④⑤和线段③⑥平行且长度相同的准则，由以上得到的顶点⑥，沿着xright向上方延伸长度h，获得顶点③，坐标为(x3,y3)，x3＝x6，y3＝y6-h；4.3.6)沿着上方水平直线yup在x∈[xleft,xright]范围内搜索最左端的白点和最右边的白点，最左端的白点处为x1的坐标值，即为直线的左端点①，坐标为(x1，y1)，x1∈(xleft,xright)，y1＝yup，最右端的白点处为x2的坐标值，右端点②，坐标为(x2,y2)，x2∈(xleft,xright)，x2>x1，y2＝yup；4.3.7)至此，顶点①②③④⑤⑥分别确定，连接端点①②，①③，①④，④⑤，③⑥，便得到了该车辆目标的最小外接立方体。步骤5、对车辆类型进行分类将分类的车辆类型划分为六类：即小型客车(包括小汽车与小型面包车)、小型卡车、中型客车(包括公交车与中型大巴车)、中型卡车、大型客车、大型卡车；再按照车辆尺寸大小划分为三类：即小型车(小型客车与小型卡车)、中型车(中型客车与中型卡车)、大型车(大型客车与大型卡车)。根据上述步骤4求得车辆最小外接立方体尺寸后，按照下表的标准确定属于哪一类：车型小型车中型车大型车体积(长×宽×高)(单位：m3)15～4040～9090～120同一尺寸类型的车辆中，卡车与客车的二维投影面积s与其最小外界立方体二维投影面积sv的比值fd称为该目标车辆的立方体填充度，fd＝s/sv，该比值fd作为分类的最后标准，设阈值t∈[0.75～0.85]，当fd>t时，车辆类型即判定为客车，反之则为卡车，判定结果如图11所示，其中的图11(a)为卡车，图11(b)为公交车；至此，完成车辆目标所属的车型分类。当前第1页12