本发明属于智能交通领域，具体涉及一种基于RGB-D相机的车辆长宽高尺寸的测量方法。
背景技术：
车辆长宽高尺寸的自动识别技术是ITS(Intelligence Transportation System，智能交通系统)领域中的关键技术之一，主要通过采集车辆原始视频，通过图像处理技术和图像相关算法，实现车辆外廓尺寸的测量。车辆外廓的三维尺寸能够有效帮助实现车辆的准确识别，从而促进智能交通系统(ITS)的发展和完善。
车辆的超长、超宽和超高是交通场景中不安全事故的重要隐患之一，而目前车管所安检线、综检线和超限监测站基本都是通过人工测量的方法测量车辆外形的长度、宽度和高度，劳动强度大，而且存在着人情因素引起的不公正与作弊等问题。
技术实现要素：
为了解决了现有技术中存在的问题，本发明提供了一种基于RGB-D相机的车辆长宽高尺寸自动测量方法，能够提取出被检测车辆的三维结构信息及真实尺寸数据，可以很准确的确定车辆外廓尺寸信息。
为了实现上述目的，本发明采用的技术方案是，一种基于RGB-D相机的车辆长宽高尺寸的测量方法，包括以下步骤：
步骤1，结合交通应用场景，对相机采用基于消失点的标定方法进行标定，得出相机模型内外参数；
步骤2，通过采用RGB-D相机深度图像方案，实现车辆目标在世界坐标系下的三维点云转化，然后根据重构的车辆三维点云测量其长度、宽度和高度信息，从而获取车辆外表面三维坐标信息；
步骤201，采用RGB-D相机对含有模拟车辆的场景进行拍摄，获取模拟车辆的深度信息；
步骤202，进行深度信息图像向相机坐标系的三维点云转化，得到一一对应于相机坐标系中的一个三维点；
步骤203，将步骤202中转化到RGB-D相机坐标系下的车辆三位点云转换到世界坐标系中；
步骤204，将左右相机得到的车辆三维点云数据统一到世界坐标系下，完成车辆完整图像的三维点云，以左相机的世界坐标系为准，然后转化右相机的世界坐标系；
步骤3，对于车辆长度在相机视野中不能被全部容纳的大中型车辆，根据车辆运动过程中的序列图像，采用光流法进行配准，得到车辆在图像序列间的位移量；再对车辆特征点进行匹配和筛选，从图像序列中获得车辆图像的对应关系，最后实现车辆侧面投影图像的完整拼接；
步骤4，根据步骤3确定的车辆俯视图完成车辆外形的测量，通过对车辆俯视图的边界检测，确定车辆的长度和宽度，利用车辆俯视图的像素值统计图，确定车辆的高度。
步骤1中，采用基于消失点的方法对相机标定，先求出相机内参数矩阵阵K和相机外参数中的旋转矩阵R，再确定世界坐标系的正方向，然后确定新的世界坐标原点，在交通场景中，将道路平面默认为Z＝0平面，将相机在路平面的垂心作为世界坐标系原点，最终求出相机模型的内外参数。
步骤201中，所述车辆场景的深度信息包含场景中点的彩色RGB信息以及场景中点到相机平面的距离值。
步骤202中，根据实际场景中的点到相机所在的垂直平面的距离为深度图像上的成像点位置上的深度值，得到深度信息图像到相机坐标系向三维点云转化表达式。
步骤203中，以地平面为Z＝0平面，以垂直地面向上为Z轴的正方向；在地面上取三个不共线的点，通过所述三个点的坐标计算地平面在相机坐标系下的单位法向量，依据针孔相机模型，使该单位法向量与地面世界坐标系下的单位法向量同方向，然后绕Z轴旋转使当前三维点云的X轴方向和世界坐标系中的X轴方向重合，将当前三维点云平移到世界坐标系下，最后完成相机坐标系到世界坐标系的转化。
步骤204中，设左右相机共同视场内的一组对应点在各自世界坐标系的坐标为则它的对应关系为：
其中，xt，yt分别为右相机世界坐标系转化到左相机世界坐标系在X轴和Y轴的平移量。
步骤3中采用光流法完成车辆图形配准时，设光流的微小运动及亮度均一致，某一像素点局部领域内亮度是恒定的，进而得到像素的运动向量，再采用基于强角点的光流场计算方法，然后在第k帧图像中提取强角点，通过光流法寻找强角点在第k+1帧图像上的对应关系。
步骤3中采用基于刚体运动位移一致性的约束方法对采用光流法配准图像的结果进行性筛选，在采用刚体运动位移一致性之前，通过先验知识剔除明显错误的匹配结果，之后在车身上且满足刚体一致性的特征点紧密的聚合在一起，即统计实验图中频数尖峰位置对应位移的特征点。
步骤3中，先验知识具体为：一是车辆是运动的，能删除背景上的特征点；二是车辆运动过程中只存在X方向上的平移运动，理论上设车身上的特征点的图像纵向位移为零，统计出车辆图像特征点的位移量，然后保留位移量一致性最强的匹配点，实现错误匹配的剔除。
步骤3中进行车辆侧面投影图像拼接的方法为：设车辆沿X轴正方向行驶，车辆的特征点集的每个元素仅包含特征点的X轴位置，得到车辆在第k帧到第k+n帧的实际位移和特征点集在X方向上的平均位置；车辆侧面逆投影图像的高度为H，宽度为W，则取得第k帧图像u:xk→W，v:0→H的区域作为车辆侧面逆投影图像的前半部分，取第k+n帧图像u:xk+Δx→W，v:0→H的区域作为后半部分，通过步骤202和203得出特征点的三维坐标，进而实现车辆的俯视图拼接。
与现有技术相比，本发明至少具有以下有益效果：提出了基于RGB-D相机的深度图像的实现方案，采用相机近距离安装的方式获取清晰的车辆图像，然后利用先验知识和图像处理方法获得车辆外表面的三维坐标，再根据车辆运动过程中的序列图形，通过图像配准的方法拼接出完整的车辆图像，最后实现车辆外形的三维测量；
基于消失点的标定方法有效的利用了交通场景中的信息，如道路上的标识线、车辆等，为消失点的确定提供良好的标定条件，从而实现相机参数的求解，避免了传统方法设备要求高和操作繁琐的缺点，同时具有较高的标定精度；
通过图像序列间车辆同一位置对应点的匹配关系来计算车辆的位移，采用L-K光流法确定所述匹配关系，即在当前车辆图像中提取特征点，再搜索这些特征点在后续车辆图像中的位置，然后统计各个特征点的位移，综合分析车辆的实际位移，这种跟踪的车辆图像配准方法在配准的精度较高的同时真正解决实时性的应用问题；
基于刚体运动位移一致性的约束方法，有效剔除了匹配错误的特征点，实现车辆侧面的准确拼接，降低车辆长度的测量误差，改善了车辆侧面拼接的准确性。
附图说明
图1是模拟实验场景效果图；
图2是含有X、Y及Z方向的平行线场景示意图；
图3是深度图像示意图；
图4是针孔相机模型示意图；
图5(a)是相机坐标系下的点云示意图，图5(b)是世界坐标系下的点云示意图；
图6(a)是左右相机统一世界坐标系图；图6(b)是统一世界坐标系的三维点云；
图7(a)、(b)、(c)、(d)依次是车辆侧面逆投影的拼接过程示意图；
图8模拟车辆模型；
图9拼接完整的车辆俯视图；
图10是车辆俯视图的边界检测；
图11是像素信息的高度统计直方图。
具体实施方式
下面结合附图和具体实施方式对本发明的方案做进一步详细地解释和说明。
一种基于RGB-D相机的车辆长宽高尺寸的测量方法，包括以下步骤：
步骤1：结合交通应用场景，对相机采用基于消失点的标定方法进行标定，得出相机模型内外参数；图1为本发明所述测量场景模拟效果图。
步骤101，选取某一处试验场景，参见图1，将相机架设在被测环境一侧，根据车辆的高度，将相机架设高度定为2.75米，图像分辨率为320*240，场景的地平面大小约为350*400cm；
步骤102，在步骤101试验场景中标出X、Y及Z方向的平行线，参见图2，场景中3个正交方向的消失点反映了世界坐标和图像坐标之间的映射关系，通过它们的位置约束，求解得相机的内外参数；
步骤103，采用基于消失点的方法对相机进行标定，设(ux,vx)，(uy,vy),(uz,vz)分别为实际场景中的X方向、Y方向和Z方向在成像平面上形成的消失点，假设在消失点位置上，该方向上的实际坐标值为∞，另两个与成像平面正交方向上的坐标值为0，以X方向的消失点(ux,vx)为例，归一化实际坐标为：
其中，λx表示X方向消失点的世界坐标的归一化因子，同理可得：
使用上式可以求得内参数矩阵K，同时可以求得相机外参数中的旋转矩阵R，即：
R＝K-1(KR) (3)
当确定旋转矩阵后，世界坐标系的正方向就确定下来，而原点则为相机所在的空间位置；确定新的世界坐标原点，再将相机平移到该点，如果用P点表示当前相机的坐标位置，坐标为(0,0,0)，P,为新的世界坐标系原点，坐标为(Xcam,Ycam,Zcam)，则该过程可表示为：
P’＝R(P-T) (4)
在交通场景中，将道路平面默认为Z＝0平面，将相机在路平面的垂心作为世界坐标系原点，因此
其中，为相机相对路平面的高度，获得相机模型的内外参数。
步骤2：采用相机深度图像方案，实现车辆目标在世界坐标系下的三维点云转化，然后根据重构的车辆三维点云测量其长度、宽度和高度信息，从而获取车辆外表面三维坐标信息；
步骤201，采用RGB-D相机对含有模拟车辆的场景进行拍摄，获取模拟车辆的深度信息，其深度信息包含场景中点的彩色RGB信息和场景中点到相机平面的距离值。
步骤202，实现深度信息图像向相机坐标系的三维点云转化，参见图3，实际场景中的点P，在深度图像上的成像点为p，从点P到相机所在的垂直平面(即XcYc平面)的距离为图像点p位置上的深度值；其中，相机的三维坐标系是以相机中心为坐标原点，相机平面的垂直朝向方向为Zc轴，相机平面的横向和纵向分别为Xc轴和Yc轴，假设实际场景中的点P在相机坐标系中的坐标为(Xc,Yc,Zc)，该点在成像平面的投影点p的坐标为(u,v)，深度值为D(u,v)，则深度图像到相机坐标系点云转化为：
其中，u0,v0是深度图像的中心坐标，f为相机焦距，根据上式，深度图像上的每个点，都一一对应于相机坐标系中的一个三维点，在道路上对车辆进行测量时，一般将道路平面作为零平面，以垂直地面向上为高度方向。
步骤203，将相机坐标系下的车辆三位点云转换到上文中自定义的世界坐标系中，即以地平面为Z＝0平面，以垂直地面向上为Z轴的正方向，首先，在地面上取三个不共线的点，他们在相机坐标系下的坐标分别为Pc1(Xc1,Yc1,Zc1)、Pc2(Xc2,Yc2,Zc2)和Pc3(Xc3,Yc3,Zc3)，计算地平面在相机坐标系下的单位法向量则：
依据针孔相机模型，参见图4，使得该单位法向量与地面世界坐标系下的单位法向量同方向，然后绕Z轴旋转使当前三维点云的X轴方向和步骤1中定义的X轴方向重合，最后只需将当前三维点云平移世界坐标系下，从而完成了相机坐标系到世界坐标系的转化，转换结果如图5(a)和图5(b)所示；
步骤204，将左右RGB-D相机得到的车辆三维点云数据统一到世界坐标系下，完成车辆完整图像的三维点云，以左相机的世界坐标系为准，然后转化右相机的世界坐标系，其中，根据步骤1中对世界坐标系的定义，左右相机坐标系的坐标轴使共线的，即对应坐标轴不是同方向就是反方向，假设左右相机共同视场内的一组对应点在各自世界坐标系的坐标为则它的对应关系为：
其中，xt，yt分别为右相机世界坐标系转化到左相机世界坐标系在X轴和Y轴的平移量，具体转化如图6(a)和图6(b)所示；
步骤3：根据车辆运动过程中的序列图像，确定长度较长的大中型车辆图像的配准方法，实现车辆图像的完整拼接，
步骤301，采用光流法完成车辆图形配准，在光流的微小运动及亮度较为一致前提下，可以得出：
I(x,y,t)＝I(x+dx,y+dy,t+dt) (9)
其中t为时间，将该式的一阶的泰勒级数展开可以得到：
即可得：Ixdx+Iydy+Itdt＝0，令则有：
Ixu+Iyv＝-It (11)
如果假设像素点(u,v)的局部领域内亮度使恒定的，则可得：
即：而光流的计算目的就是使得：最小，从而得到像素的运动向量：
在实际应用中，已有It(x,y)和It+1(x,y)两张图片，要计算It中某一像素点到It+1中的运动，首先，在It对应位置周围寻找像素一致的点，通过上述计算并采用基于强角点的光流场计算方法(L-K方法)，然后在第k帧图像中提取Harrs角点，通过光流法寻找这些角点在第k+1帧图像上的对应关系。
步骤302，对于步骤301中部分匹配误差，采用基于刚体运动位移一致性的约束方法予以解决，在采用刚体运动位移一致性之前，通过先验知识删除明显错误的匹配结果，所述先验知识为：一是车辆是运动的，可删除背景上的特征点；二是车辆运动过程中只存在X方向上的平移运动，即理论上车身上的特征点的图像纵向位移为零；之后在车身上且满足刚体一致性的特征点紧密的聚合在一起，即统计实验图中频数尖峰位置对应位移的特征点。
步骤303，通过步骤302中对车辆特征点的匹配及筛选，完成了从图像序列中获得车辆图像的对应关系，进而实现车辆图像的完整拼接。车辆沿X轴正方向形式，设第k帧和第k+n帧图像上匹配的特征点集分别为pk和pk+n，其中pk＝{pk(i)|i＝1,2,…m}，pk+n＝{pk+n(i)|i＝1,2,...m}。因为车辆沿着X轴正方向行驶，所以特征点集的每个元素仅包含特征点的X位置，则车辆在第k帧到第k+n帧的实际位移为：
则在第k帧图像上，特征点集在X方向上的平均位置为：
假设设计的车辆侧面逆投影图像的高度为H，宽度为W，则取得第k帧图像u:xk→W，v:0→H的区域作为车辆侧面逆投影图像的前半部分，取第k+n帧图像u:xk+Δx→W，v:0→H的区域作为后半部分，直接拼起来即可，完整的车辆侧面逆投影的拼接过程参见图7(a)、7(b)、7(c)和7(d)；通过步骤2得出特征点的三维坐标，从而实现车辆的俯视图拼接，参见图9(图8为模拟车辆)。
步骤4，基于车辆俯视图完成车辆外形测量，显然，车辆俯视图的边界直接反应了车辆所在空间位置的外形轮廓，而其像素值则反应了车辆的高度信息。从而，可以通过对车辆俯视图的边界检测，确定车辆的长度和宽度，利用车辆俯视图的像素值统计图，确定车辆的高度。车辆俯视图的边界检测参见图10，高度统计直方图参见图11，已知车辆模型的三维尺寸：长*宽*高＝310cm*240cm*189cm，在10次重复实验中，实际测量的均值为：306.9cm*243.4cm*190.8cm具有较好的测量精度。