一种基于运动视觉的车祸过程重现方法
【专利摘要】一种基于运动视觉的车祸过程重现方法，基于运动视觉采用几何图形分割和基于运动动力学的目标跟踪技术实现车辆目标的重建与跟踪。采用分解图像关联矩阵的算法实现图像的匹配，有效的实现了图像匹配，降低算法的计算量。基于运动动力学的目标跟踪算法减少了跟踪目标丢失问题。该技术通过处理交通监控得到的录像资料可以有效重现车辆碰撞的全过程，可对整个过程进行定性和定量的分析。通过运动视觉重建出整体车辆的3D模型，通过目标跟踪技术实现相撞车辆的识别，得到车辆的运动轨迹，能精确、完整的记录事故信息，并重现事故场景。
【专利说明】一种基于运动视觉的车祸过程重现方法
【技术领域】
[0001] 本发明涉及视频图像处理领域，尤其是一种基于运动视觉的道路车祸过程的重复 再现的方法。
【背景技术】
[0002] 随着汽车保有量的增长，道路交通事故已成为世界性的问题，汽车被动安全性也 成为汽车最首要的性能。目前，我国对交通事故的处理与认定也是采用传统方法仅限于对 目击者的现场调查，对现场进行拍照记录一些零散的信息，对车辆的刹车轨迹进行简单的 测量来进行事故的责任认定。这种方法效率低下、耗费人力，责任认定也存在较大的主观 性，同时对车祸过程的记录也不够详细、不够直观。另外一种采用电测量的方法对碰撞现场 进行模拟能够得到较精确的数据，但是它的造价太高，得到的数据也不够直观，也只是得到 部分的实验结果不能应用到越来越多的交通事故认定中。这样事故报告中没有完整而详细 的事故信息记录，则给事故再现分析带来困难。
【发明内容】
[0003] 本发明目的是提供一种基于运动视觉的车祸过程重现方法，采用几何图形分割和 基于运动动力学的目标跟踪技术实现车辆目标的重建与跟踪，通过运动视觉重建出整体车 辆的3D模型，利用目标跟踪技术实现相撞车辆的识别，得到车辆的运动轨迹，便于完整地 记录事故信息和重现事故过程。
[0004] 为实现上述目的，采用了以下技术方案：本发明所述重现方法的步骤如下：
[0005] (1)从路况监控视频中提取图像序列一一按固定帧数为步长间隔将道路监控视频 的帧提取出来，转换成图片格式，为后续的图像处理做准备。
[0006] (2)目标车辆与背景分割一一利用布尔图像的图像分割算法BMS，布尔图像是指对 图片的每个颜色通道设置一个阀值来得到二值化的图像，通过这种方法能够有效的将目标 车辆与背景分割开来，将汽车的轮廓从背景中提取出来。
[0007] (3)特征点的提取一一对汽车轮廓图像建立尺度空间，基于尺度空间不变性的 SIFT算子，将图像中感兴趣的可以更有效描述图像内容及结构的特征找出来，例如图像中 的边缘、角点、兴趣点等；在尺度空间中寻找可有效描述图像内容及结构特征的极值点，并 提取出极值点的位置、尺度、旋转不变量；尺度空间不变性是指在不同的尺度空间下仍然能 够匹配特征点。
[0008] (4)图像匹配一一采用因式分解图像关联矩阵的算法，根据所选择特征的值，建立 特征点间的对应关系，将同一空间物理点在不同图像中的成像点对应起来，由此得到相应 的视差图像。
[0009] 其中，关联矩阵是待匹配图像之间的关键点组成的矩阵；因式分解是将复杂的关 联矩阵转换成简单的较小的克罗内克积矩阵，这种算法避免费时去计算成对的关联矩阵， 降低计算难度。另外使用因式分解分解关联矩阵的算法得到了一种新的关于原始问题的近 似方法，这使得本发明有效的改善了现有的图形匹配计算算法。
[0010] (5)摄像机的标定和校准一一采用基于标定物的摄像机标定方法，使用结构已知 的标定参照物，通过建立标定参照物上三维坐标已知的点与其图像点的对应约束关系， 通过计算来确定摄像机模型的内、外参数。
[0011] 摄像机的外参数是摄像机坐标系与世界坐标系之间进行变换时所需要的一个 3X3的旋转矩阵R和一个3X1的平移矢量T。
[0012] 摄像机的内参数是有效焦距f、像面中心坐标Vtl)、径向畸变修正系数、切向畸 变修正系数、仿射畸变和非正交畸变修正系数。
[0013] (6)车辆外形轮廓几何模型重建一一采用表面空间分割方法将汽车表面的不同 几何形状从汽车整体上提取出来，将汽车表面整体分割成多个不同几何形的小部分；再利 用几何学的分层量化方法将汽车表面分割出来的每一个小部分量化为各种不同的参数，例 如：位置、位置方向和几何图形的尺寸。最后将每个量化后的几何图形再重新映射到车辆的 每一部分得到几何图形描述的车辆的3D模型。
[0014] (7)多目标碰撞车辆跟踪一一基于运动动力学的目标跟踪算法实现对目标车辆的 跟踪；对车辆的运动建立运动动力学模型，应用该模型估计车辆的运动状态，对目标车辆进 行跟踪。
[0015] (8)事故现场周围场景重建一一因为交通事故的外围环境不是一个刚体结构，不 能采用基于结构的重建算法，所以采用一种基于SIFT算子的特征点的提取与匹配算法实 现周围场景的点云重建。
[0016] 与现有技术相比，本发明具有如下优点：
[0017] 1、应用布尔图像分割方法，很好的将目标车辆从背景中分割出来，并凸显出车辆 外形；
[0018] 2、应用运动动力学的目标车辆跟踪技术，对目标车辆进行高精度的识别与跟踪， 能够很好地得到相撞车辆的运动轨迹，为交通事故认定提供依据；
[0019] 3、采用分解图像关联矩阵的算法实现图像匹配，有效降低算法的计算量；
[0020] 4、有效解决多个目标车辆外形相似、追踪时目标轨迹交叉、相机移动等问题，还可 避免由于目标移动超出视野或者被其他目标遮挡而引起的数据丢失问题。
【专利附图】
【附图说明】
[0021] 图1是本发明方法的系统框图。
[0022] 图2是本发明方法步骤2的流程图。
[0023] 图3是本发明方法步骤3的流程图。
[0024] 图4是本发明方法步骤6的流程图。
[0025] 图5是本发明方法步骤7的流程图。
[0026] 图6是本发明方法的摄像机模型示意图。
[0027] 图7是本发明方法中目标车辆与背景分割的实验结果图。
[0028] 图8是本发明方法中几何学的3D模型重建的实验结果图。
[0029] 图9是本发明方法中车辆的点云重建结果图。
[0030] 图10是本发明方法中车辆跟踪实验结果图。
【具体实施方式】
[0031] 下面结合附图对本发明做进一步说明：
[0032] 如图1、2、3、4、5、6所示，本发明所述方法步骤如下：
[0033] (1)从路况监控视频中提取图像序列一一按固定帧数为步长间隔将道路监控视频 的帧提取出来，转换成图片格式，为后续的图像处理做准备。
[0034] (2)目标车辆与背景分割一一利用布尔图像的图像分割算法，将目标车辆与背景 分割开来，将汽车的轮廓从背景中提取出来；目标车辆与背景分割是指进行车祸过程的三 维重建时，首先要将目标车辆从背景中提取出来，具体实现步骤如下：
[0035] 1)以δ为步长在〇?255之间取不同的Θ作为图片每个颜色通道的阈值，得到 多个均匀分布的二值化的布尔图像；
[0036] 2)将得到的二值化图像中的封闭区域内部赋值为1，其余部分赋值为0,得到凸显 目标车辆的关注图像；
[0037] 3)对多个关注图像取线性平均值得到整体的平均关注图像；
[0038] 4)进行高斯模糊得到最后的凸显图像；
[0039] 所述的布尔图形的获得公式如下：
[0040] Bi= THRESH(Φ (I), Θ )
[0041] 其中，THRESHC，Θ )函数表示对输入图像I进行二值化；Θ表示二值化的阀值； 通过布尔图像得到凸显目标车辆的关注图像公式如下：
【权利要求】
1. 一种基于运动视觉的车祸过程重现方法，其特征在于，所述方法步骤如下： (1) 从路况监控视频中提取图像序列一一按固定帧数为步长间隔将道路监控视频的帧 提取出来，转换成图片格式； (2) 目标车辆与背景分割一一利用布尔图像的图像分割算法，将目标车辆与背景分割 开来，将汽车的轮廓从背景中提取出来； (3) 特征点的提取一一对汽车轮廓图像建立尺度空间，基于尺度空间不变性的SIFT算 子在尺度空间中寻找可有效描述图像内容及结构特征的极值点，并提取出极值点的位置、 尺度、旋转不变量； (4) 图像匹配一一采用因式分解图像关联矩阵的算法，根据所选择特征的值，建立特征 点间的对应关系，将同一空间物理点在不同图像中的成像点对应起来，由此得到相应的视 差图像； 其中，关联矩阵是待匹配图像之间的关键点组成的矩阵；因式分解是将复杂的关联矩 阵转换成简单的较小的克罗内克积矩阵； (5) 摄像机的标定和校准一一采用基于标定物的摄像机标定方法，使用结构已知的标 定参照物，通过建立标定参照物上三维坐标已知的点与其图像点的对应约束关系，通过计 算来确定摄像机模型的内、外参数； 摄像机的外参数是摄像机坐标系与世界坐标系之间进行变换时所需要的一个3X3的 旋转矩阵R和一个3X1的平移矢量T; 摄像机的内参数是有效焦距f、像面中心坐标（Utl,Vtl)、径向畸变修正系数、切向畸变 修正系数、仿射畸变和非正交畸变修正系数； (6) 车辆外形轮廓几何模型重建一一采用表面空间分割方法将汽车表面的不同几何形 状从汽车整体上提取出来，将汽车表面整体分割成多个不同几何形的小部分；再利用几何 学的分层量化方法将汽车表面分割出来的每一个小部分量化为各种不同的参数，最后将每 个量化后的几何图形再重新映射到车辆的每一部分得到几何图形描述的车辆的3D模型； (7) 多目标碰撞车辆跟踪一一基于运动动力学的目标跟踪算法实现对目标车辆的跟 踪；对车辆的运动建立运动动力学模型，应用该模型估计车辆的运动状态，对目标车辆进行 跟踪； (8) 事故现场周围场景重建一一采用基于SIFT算子的特征点的提取与匹配算法实现 周围场景的点云重建。
2. 根据权利要求1所述的一种基于运动视觉的车祸过程重现方法，其特征在于，所述 步骤（2)中，目标车辆与背景分割是指进行车祸过程的三维重建时，首先要将目标车辆从 背景中提取出来，具体实现步骤如下： 1) 以S为步长在O?255之间取不同的Θ作为图片每个颜色通道的阈值，得到多个 均匀分布的二值化的布尔图像； 2) 将得到的二值化图像中的封闭区域内部赋值为1，其余部分赋值为0,得到凸显目标 车辆的关注图像； 3) 对多个关注图像取线性平均值得到整体的平均关注图像； 4) 进行高斯模糊得到最后的凸显图像； 所述的布尔图形的获得公式如下： Bi=THRESH(Φ(I),θ) 其中，THRESHC，θ)函数表示对输入图像I进行二值化；Θ表示二值化的阀值；通过 布尔图像得到凸显目标车辆的关注图像公式如下：
其中，2表示得到的目标车辆的封闭图形；A(B)表示提取出布尔图形B的封闭区间；Ρ(Β|Ι)表示基于布尔图像B的最优广义函数。
3. 根据权利要求1所述的一种基于运动视觉的车祸过程重现方法，其特征在于，所述 步骤（3)中，SIFT算子描述子提取公式如下：
Θ(X，y)=tarT1((L(X，y+1)-L(X，y-1))(L(χ+1，y)-L(χ-1，y))) 其中，m(x，y)和Θ(x，y)分别代表点（x，y)处的梯度和方向；L(x，y)表示（x，y)点处 的灰度值。
4. 根据权利要求1所述的一种基于运动视觉的车祸过程重现方法，其特征在于，所述 步骤（4)中，判断图像节点匹配与否的算法公式如下：
其中，X表示待匹配图像的对应矩阵；Kp表示节点关联矩阵；Kq表示边界关 联矩阵；K表示整体关联矩阵； K矩阵分解公式如下：
其中，//, ；"2 =b2，/,,:H〇，iF-Gi表示第i幅图像的关联 矩阵
5. 根据权利要求1所述的一种基于运动视觉的车祸过程重现方法，其特征在于，所 述步骤（5)中，所述摄像机外参数包括旋转矩阵R和平移矢量T，为了能够利用图像坐标 Pi(Xi,yd表达空间任意一点Xwi=(Xwi，ywi，zwi)必须先将其空间坐标变换为摄像机坐标Xcii =(xei，yei，ZcJ，该变换的矩阵表达式： Xci= RXwi+t 其中，R是一个3X3的旋转矩阵；t是一个3X1的平移矢量； 所述摄像机内参数包括有效焦距f、像面中心坐标（Utl,Vtl)、径向畸变修正系数、切向畸 变修正系数、仿射畸变和非正交畸变修正系数；用来描述摄像机的内部几何结构及镜头的 光学特性； 所建立的摄像机内参数模型如下：
其中，（χ/，y/ )表示像平面上的理想透视投影点；（SXi，δyi)表示总的畸变的修正系 数；建立空间点和像平面点的共线性方程求解摄像机内参数如下：
其中，（Ui,Vi)表示空间点对应的像点坐标；f表示摄像机焦距；4和dy表示单个像素 在X轴和y轴上的物理尺寸；（sUi,δVi)表示利用像素坐标表示的畸变因素。
6. 根据权利要求1所述的一种基于运动视觉的车祸过程重现方法，其特征在于，所述 步骤（6)中，所述车辆3D模型的重建步骤如下： 1) 图像分解一一将汽车的每一个小部分分解，每个角度图片中目标车辆的分割公式如 下：
其中，P(I,wIΤ)表不分割方式；q(I，w)表不参考分割方式； 2) 目标量化一一得到每一个小部分的目标位置、方向、尺寸；对表面分割结果的评价公 式如下：
其中，IG(S)表示评价得分；Snmk表示第m个图片的第η个分割部分的第k个有效几何 图形； 3) 重新组合一一采用AND-OR树最优搜索算法将每个量化后的几何图形再重新映射到 车辆的每一部分得到几何图形描述的车辆的3D模型；AND-OR树最优搜索算法公式如下：
其中，ch⑴函数返回节点i的索引号。
7. 根据权利要求1所述的一种基于运动视觉的车祸过程重现方法，其特征在于，所述 步骤（7)中，目标跟踪算法的实现步骤如下： 1)采用广义线性赋值方法建立模型：
2) 线性回归的方法对跟踪小片段做近似：
其中，Cii表示跟踪小片段； 3) 两个跟踪小片段之间相似点检测Pij:
其中，汉/,α」表示用皮修补了Qi和α』之间的间隔； 4) 连接相邻的两个跟踪小片段得到跟踪目标的运动轨迹； 通过上述过程得到目标车辆在每一个图像中的位置，将所得的车辆3D模型定位到每 一个图片的位置得到动态的3D车辆运动场景。
8. 根据权利要求1所述的一种基于运动视觉的车祸过程重现方法，其特征在于：所述 尺度空间不变性是在不同的尺度空间下仍然能够匹配特征点的特性。
9. 根据权利要求1所述的一种基于运动视觉的车祸过程重现方法，其特征在于：尺度 空间是指在图像处理中引入一个被视为尺度的参数通过连续变换尺度参数获得不同尺度 下的图像处理信息。
【文档编号】G06T7/00GK104463842SQ201410571218
【公开日】2015年3月25日 申请日期:2014年10月23日 优先权日:2014年10月23日
【发明者】张立国, 崔利洋, 杨芳梅, 金梅 申请人:燕山大学