基于动态称重和多视频信息融合的全桥面移动荷载空间分布监测系统的制作方法

本发明涉及桥梁健康监测领域，特别涉及一种基于动态称重和多视频信息融合的全桥面移动荷载空间分布监测系统及其监测方法。

背景技术：

车辆荷载是公路桥梁所承受的主要可变荷载。随着交通产业的快速发展，在交通流量快速增长的同时超载车辆数量也明显增加。车辆超载和交通荷载的反复作用已成为影响桥梁运行安全和缩短桥梁服务寿命的主要原因。因此，准确识别桥面移动荷载的大小和位置变得非常重要。

对于移动车辆荷载的识别，目前主要手段有两种。第一种是利用动态称重系统获取车辆的车重、轴重和车速等数据进行直接识别，这种方法仅仅能够获得桥梁单个截面的荷载分布；另一种以梁为基本力学模型，通过第一解析法(imi)、第二解析法(imii)、时域法(tdm)和频时域法(ftdm)等间接手段识别，这些方法在理想情况下，或者说在结构足够简单情况下可以有效识别荷载的大小。然而，这两类方法均无法实现荷载在桥面空间分布的识别。

目前，动态称重系统和视频监控系统广泛应用于桥梁的交通管理和安全监控中，特别是对于大跨度桥梁，顺桥向常常布置多个摄像机进行监控。由于单个摄像头的监控范围有限，所以必须设置多个摄像机以完成全桥面的连续监控。然而，目前的多摄像机监控手段仍然属于多个单摄像机监控的组合，摄像机之间并没有建立有效的联系。

目前，尚未有一种融合动态称重系统和多摄像机监控信息的方法，基于以上所述背景，需要发明一种融合动态称重系统和多摄像头监控信息的监测系统，实现全桥面车辆荷载实时分布的有效监控。

技术实现要素：

本发明所要解决的技术问题是要提供一种识别精度高的基于动态称重和多视频信息融合的全桥面移动荷载空间分布监测系统。

为了解决以上的技术问题，本发明提供了一种基于动态称重和多视频信息融合的全桥面移动荷载空间分布监测系统，在桥面起始位置布设动态称重系统获取移动荷载的车重信息，沿桥布置多个摄像头获取覆盖全桥面的交通流视频信息，相邻两个摄像头的视野存在重叠区域，现场布置信息采集和网络通讯系统，并在云端部署信息处理分析总控系统，结合卡尔曼滤波技术和视野分界线法对视界内车辆轨迹和位置进行跟踪，并按照车辆跨越动态称重系统压电传感器所在线槽的时间将动态称重与监控多视频信息进行融合，实现对全桥面范围内的移动荷载的大小和位置地准确实时识别。

本发明还提供了一种基于动态称重和多视频信息融合的全桥面移动荷载空间分布监测系统的监测方法，包括如下的步骤：

步骤1：根据车辆通过动态称重系统的时间将首个相机监控视频与动态称重系统测量信息进行融合；

步骤2：建立图像坐标和桥面坐标进行转换；

步骤3：单个摄像机移动目标的检测；

步骤4：根据卡尔曼滤波技术实现单摄像机目标的跟踪；

步骤5：根据视野分界线实现不同视野中相同目标的匹配；

步骤6：计算视野分界线。

所述信息处理分析总控系统包括初始化模块、单摄像头位置识别与跟踪模块、多摄像头信息融合对接模块和后处理模块。

所述初始化模块中，动态称重系统wim获得的车重信息用于全桥的车辆跟踪，每个车重信息被强制依附于首个摄像头监测视频中检测出的移动目标轨迹，这种依附关系是基于车辆跨越桥面指定横线的时间建立的，确保了匹配关系的正确性，步骤如下：

step1：对于通过的每一辆车辆，利用动态称重系统wim获取车重信息，如净重、轴重、速度和通过时间；

step2：在同一时刻，用首个摄像头检测同一车辆是否通过桥面动态称重系统wim压电传感器埋设的沟槽线；若是，利用时间线索将首个摄像头监控视频与动态称重系统得到的车重信息关联。

所述单摄像头位置识别与跟踪模块中，附带的车重信息和前一帧识别得到的移动目标位置信息被传递到当前图像帧的识别中，通过卡尔曼滤波器，得到当前图像帧的移动车辆位置，并根据图像目标匹配关系，将各目标位置坐标正确匹配，串接形成车辆的运动轨迹。这种传递动作不仅在第一个摄像头内进行，而且还会依次被传递到其余摄像头的识别得到的轨迹中，直到车辆移出桥面监控范围，从而形成全桥的移动荷载识别和跟踪。步骤如下：

step1：提取摄像机获取的当前帧图像，由不少于四个的系列参考点图像坐标和桥面坐标估计投影变换矩阵；

step2:通过卡尔曼滤波器对当前图像帧中的车辆位置进行识别；

step3:利用投影变换矩阵将跟踪所得的车辆位置转换成到桥面坐标中。

所述步骤中，提取摄像机获取的当前帧图像，选取不少于四个图像坐标，利用针孔模型建立坐标转换方程，建立转换方程中系数zci函数表达式并通过优化算法求解式中各参数。

所述多摄像头信息融合对接模块，除了进行各帧目标位置识别和轨迹形成外，还需要同步进行相邻摄像头得到的图像帧的目标交接工作。运动目标的交接工作被限定在指定的范围内——相邻摄像头视界的重合交接区。步骤如下：

step1：依据视频中车辆的图像坐标及其在各视野中的可见性计算视野分界线；

step2：通过视野分界线法确定目标对应关系；

step3：利用新进入车辆图像坐标和可见性更新视野分界线。

上述步骤中，视频中的每个像素点，其值在图像序列中的变化看作是不断产生像素值的随机过程，对于每个新产生的像素点，将其像素值与已有多个高斯模型比较，判断该像素点是否属于前景。

上述步骤中，用状态向量xk描述车辆在k时刻的运动行为，用移动车辆的重心(u^k,v^k)代替荷载的位置，利用卡尔曼滤波器估计下一帧画面的车辆位置；用第k帧图像中的第i辆车与第k+1帧图像里的第j辆车质心的距离衡量匹配程度，距离值越小则相邻帧两辆车的匹配程度越高；当找到距离函数的最小值时，用第k+1帧的车辆运动特征更新卡尔曼状态模型，并作为输入用于下一帧；按以上步骤更新模型，直到车辆消失。

上述步骤中，当车辆通过一视野分界线时，或的值发生变化，此时计算相邻视野中所有车辆到此视野分界线的距离，对所有的距离值进行排序，距离最小的即为对应车辆；限定目标交接只在视野重叠区域进行。

上述步骤中，视野中有多辆车辆驶过视野边界线时，若车辆在第l帧时在cⁱ⁺¹中不可见，在第l+1帧时进入视野在cⁱ⁺¹可见，认为车辆在第l帧和第l+1帧的质心连线的中点位于视野分界线上，视野分割线由多个这样的点拟合获得。

所述后处理模块是判别监控目标是否移出桥面监测边界。若出界，则删除监控中的移动目标，确保内存不溢出，保持运算的连续性。

本发明的优越功效在于：

1)本发明解决动态称重系统和单视频监控系统信息融合问题；解决多摄像机监控视频中同一车辆的目标交接问题；解决全桥面移动荷载分布实时监控问题；

2)本发明计算速度快，识别精度高，适用于各类桥梁桥面或路面移动车辆荷载在指定区域的全覆盖监测。

附图说明

构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明全桥面移动荷载空间分布监测系统的结构示意图；

图2为本发明全桥面移动荷载空间分布监测系统信息处理过程示意图；

图3为本发明全桥面移动荷载空间分布监测系统信息处理算法流程图；

图4为本发明应用于上海市同济路桥实测数据计算结果；

图5为本发明动画模拟横向坐标识别误差(以四辆车为例)；

图6为本发明动画模拟纵向坐标识别误差(以四辆车为例)。

具体实施方式

以下结合附图对本发明的实施例进行详细说明。

图1示出了本发明实施例的全桥面移动荷载空间分布监测系统的结构示意图；图2示出了本发明全桥面移动荷载空间分布监测系统信息处理过程示意图；图3示出了本发明全桥面移动荷载空间分布监测系统信息处理算法流程图。如图1所示，本发明提供了一种基于动态称重和多视频信息融合的全桥面移动荷载空间分布监测系统，在桥面起始位置布设动态称重系统获取移动荷载的车重信息，沿桥布置多个摄像头获取覆盖全桥面的交通流视频信息，相邻两个摄像头的视野存在重叠区域，现场布置信息采集和4g网络通讯设备，并在云端部署信息处理分析总控系统，结合卡尔曼滤波技术和视野分界线法对视界内车辆轨迹和位置进行跟踪，并按照车辆跨越动态称重系统压电传感器所在线槽的时间将动态称重与监控多视频信息进行融合，实现对全桥面范围内的移动荷载的大小和位置地准确实时识别。

如图2和图3所示，本发明还提供了一种基于动态称重和多视频信息融合的全桥面移动荷载空间分布监测系统的监测方法，包括如下的步骤：

步骤1：根据车辆通过动态称重系统的时间将首个相机监控视频与动态称重系统测量信息进行融合；

步骤2：建立图像坐标和桥面坐标进行转换；

其中，建立坐标转换方程：

通过视频流计算得到的车辆坐标为图像坐标，要根据图像坐标确定车辆在桥面的位置，必须建立图像坐标系与桥面坐标系间的投影变换矩阵。令车辆目标在图像中坐标为(u,v)，在桥面的坐标为(xw,yw)。则根据摄影测量学的基本原理,两者间存在以下关系：

其中m为3×4矩阵，f为相机焦距，dx,dy为单个像素宽和高(mm)，(u0,v0)为相机光轴与图像平面交点的图像坐标，(xc,yc,zc)为目标在摄像机坐标系中的坐标。当相机的参数未知时，需根据参考点的图像坐标和世界坐标计算矩阵m。将(1)式改写为：

其中，(xwi,ywi,zwi)为空间第i个点的坐标，本发明中指桥面坐标；(ui,vi)为第i个点图像坐标；mij为矩阵m第i行第j列元素。将(2)式展开并化简可得

对于n个参考点，由(3)式可得到2n个线性方程，方程中独立的未知变量个数为11个，因此至少6对参考点坐标即可确定转换矩阵m。就桥面而言，摄像机视野范围内桥面的高程不发生显著的变化，故不妨考虑zwi为常数，且zwi＝0。此时需至少4对参考点坐标即可。

然而，求得m矩阵后不能直接实现图像坐标到桥面坐标的转换，坐标换算时系数zc不可忽略。本发明是将已知图像坐标转至桥面坐标，其中桥面所在平面由参考点唯一地确定。因此，图像上的点与车辆所在位置一一对应，即可令

根据已求得的矩阵m和参考点坐标，不难确定各参考点对应的zci。然后，运用最小二乘法优化求解式(4)中各参数。优化计算结果并非最精确，如果增加参考点的数目，可得到更精确的结果，参考点数目根据实际情况选取。

步骤3：单个摄像机移动目标的检测；

车辆检测是车辆跟踪的基础。对于视频中的每个像素点，其值在图像序列中的变化看作是不断产生像素值的随机过程。在任意时间t，对于特定的像素点(x0,y0)，它的观测数据集记为：

{g1,g2,...,gt}＝{i(x0,y0,i)|1≤i≤t}(5)

其中，gt表示像素点在r、g、b个通道的像素值，i指图像序列；

对于观测数据集中每一个随机变量gt均服从混合高斯分布密度函数：

其中j为分布模式数量(一般取3到5)，ωi,t为t时刻第i个高斯分布的权重，μi,t为其均值向量，τi,t为其协方差矩阵，η为高斯概率分布函数：

此外，为了减少矩阵求逆运算，假设像素点在r、g、b三色通道相互独立并具有相同的方差，协方差矩阵表达为：

其中，σi为第i个高斯分布的标准差向量，e是三维单位矩阵；

对于每一个新的像素值gt，将其于已有的j个分布按下式进行验证，直到找到匹配的分布。如果验证匹配该像素点属于背景，否则属于前景。

|gt-μi,t-1|≤2.5σi,t-1(9)

步骤4：根据卡尔曼滤波技术实现单摄像机目标的跟踪；

在卡尔曼滤波中，本发明考虑了车辆的跟踪，即用状态向量xk描述车辆在k时刻的运动行为，分以下三个步骤描述利用卡尔曼kalman滤波实现车辆跟踪：

1)状态估计模型

假设有线性离散系统的过程模型和离散模型如下：

其中a为过程矩阵(transitionmatrix)，h为测量矩阵(measurementmatrix)；gk-1为过程噪声，wk为测量噪声，它们都满足高斯分布，概率密度记为：

其中，qk,rk为协方差矩阵；

在(10)式中，由于ck不能直接测量到，因此必须根据测量所得的zk信息确定。先验状态估计和协方差误差可由下式确定：

后验状态估计可由先验状态估计和新的测量状态zk线性组合得到。如下列表达式所示：

由上式计算的kk为卡尔曼增益；

本发明的重点是获得移动荷载的分布，只需通过车辆跟踪获得车辆的实时位置。考虑用移动车辆的重心(如轨迹图像坐标u^k和v^k)代替荷载的位置，卡尔曼跟踪器在k时刻的状态向量和测量向量可表达为：

本发明中，过程矩阵和测量矩阵为：

当车辆运动的状态方程和测量方程确定后，卡尔曼滤波器就能用来估计下一帧画面车辆的位置，并能进一步获得车辆运动的轨迹。

2)特征匹配

在视频流中，每一辆车的运动都由其质心的图像坐标描述，记第i辆车在第k帧图像中的质心坐标为在第k帧图像中的第i辆车与第k+1帧图像里的第j辆车质心的距离函数定义为：

距离函数的值越小，说明相邻帧两辆车的匹配程度越高。

3)更新模型

当找到距离函数的最小值时，用第k+1帧的车辆运动特征更新卡尔曼状态模型，并作为输入用于下一帧。重复以上步骤更新模型，直到车辆消失在视野中。

步骤5：根据视野分界线实现不同视野中相同目标的匹配；

步骤6：计算视野分界线。

单个摄像机监控的视野范围有限，无法完成桥面的全覆盖监控，设置多个摄像头可以有效克服这个不足。本发明通过视野分割线法实现目标交接，假设桥面设置的所有摄像头的时间戳通过校准的，并且相邻摄像头的监控视野区域有重叠。

记第i个摄像头拍摄的图像(视野)为cⁱ，桥面为细长条带，记第i个摄像头沿桥方向的两个横向边界为和因为视野有重叠，第i个摄像头的视野分界线在第i+1个摄像头的视野中可见，而第i+1个摄像头的视野分界线在第i个摄像头的视野中可见。此外，记视野cⁱ中可见的第m辆车为记视野cⁱ⁺¹中可见的第n辆车为以车辆的质心坐标和表示车辆和在视野中坐标。关键就是确定形如的等价关系。如果视野分界线已知，给出如下规定：当视野cⁱ中车辆未通过视野分界线时，车辆在视野cⁱ⁺¹中还不可见，此时规定当视野cⁱ中车辆通过视野分界线时，车辆在视野cⁱ⁺¹中可见，此时规定

当车辆通过一视野分界线的时，或的值会发生变化，此时计算相邻视野中所有车辆到此视野分界线的距离，对所有的距离值进行排序，距离最小的即为对应车辆。此方法表达数学公式为：

其中，l为视野中车辆标记，d(l,o)返回指定视野中车辆质心o到视野分界线l的距离。为避免不必要的计算，本发明只在重叠视野区域进行目标交接，故在式中对i加以了约束。

p为视野c^j中车辆标记，d(l,o)返回车辆质心o到直线l的距离。

此方法可以有效解决任意相邻两个摄像头间车辆标记的匹配问题，避免了当摄像机相距较远难以完成特征匹配的问题。特别地，当i＝0,j＝1时，获得的就是动态称重系统处摄像头与下一个摄像头车辆的对应关系。

视野中有多辆车辆驶过视野边界线时，若车辆在第l帧时在cⁱ⁺¹中不可见，在第l+1帧时进入视野在cⁱ⁺¹可见，因为通常视频(25fps以上)的一帧时间内车辆位置改变非常小，可以认为车辆在第l帧和第l+1帧的质心连线的中点位于视野分界线上，视野分割线由多个这样的点拟合获得。

所述信息处理分析总控系统包括初始化模块、单摄像头位置识别与跟踪模块、多摄像头信息融合对接模块和后处理模块。

所述初始化模块中，动态称重系统wim获得的车重信息用于全桥的车辆跟踪，每个车重信息被强制依附于首个摄像头监测视频中检测出的移动目标轨迹，这种依附关系是基于车辆跨越桥面指定横线的时间建立的，确保了匹配关系的正确性，步骤如下：

step1：对于通过的每一辆车辆，利用动态称重系统wim获取车重信息，如净重、轴重、速度和通过时间；

step2：在同一时刻，用首个摄像头检测同一车辆是否通过桥面动态称重系统wim压电传感器埋设的沟槽线；若是，利用时间线索将首个摄像头监控视频与动态称重系统得到的车重信息关联。

所述单摄像头位置识别与跟踪模块中，附带的车重信息和前一帧识别得到的移动目标位置信息被传递到当前图像帧的识别中，通过卡尔曼滤波器，得到当前图像帧的移动车辆位置，并根据图像目标匹配关系，将各目标位置坐标正确匹配，串接形成车辆的运动轨迹。这种传递动作不仅在第一个摄像头内进行，而且还会依次被传递到其余摄像头的识别得到的轨迹中，直到车辆移出桥面监控范围，从而形成全桥的移动荷载识别和跟踪。步骤如下：

step1：提取摄像机获取的当前帧图像，由不少于四个的系列参考点图像坐标和桥面坐标估计投影变换矩阵；

step2:通过卡尔曼滤波器对当前图像帧中的车辆位置进行识别；

step3:利用投影变换矩阵将跟踪所得的车辆位置转换成到桥面坐标中。

所述步骤中，提取摄像机获取的当前帧图像，选取不少于四个图像坐标，利用针孔模型建立坐标转换方程，建立转换方程中系数zci函数表达式并通过优化算法求解式中各参数。

所述多摄像头信息融合对接模块，除了进行各帧目标位置识别和轨迹形成外，还需要同步进行相邻摄像头得到的图像帧的目标交接工作。运动目标的交接工作被限定在指定的范围内——相邻摄像头视界的重合交接区。步骤如下：

step1：依据视频中车辆的图像坐标及其在各视野中的可见性计算视野分界线；

step2：通过视野分界线法确定目标对应关系；

step3：利用新进入车辆图像坐标和可见性更新视野分界线。

上述步骤中，视频中的每个像素点，其值在图像序列中的变化看作是不断产生像素值的随机过程，对于每个新产生的像素点，将其像素值与已有多个高斯模型比较，判断该像素点是否属于前景。

上述步骤中，用状态向量xk描述车辆在k时刻的运动行为，用移动车辆的重心(u^k,v^k)代替荷载的位置，利用卡尔曼滤波器估计下一帧画面的车辆位置；用第k帧图像中的第i辆车与第k+1帧图像里的第j辆车质心的距离衡量匹配程度，距离值越小则相邻帧两辆车的匹配程度越高；当找到距离函数的最小值时，用第k+1帧的车辆运动特征更新卡尔曼状态模型，并作为输入用于下一帧；按以上步骤更新模型，直到车辆消失。

上述步骤中，当车辆通过一视野分界线时，或的值发生变化，此时计算相邻视野中所有车辆到此视野分界线的距离，对所有的距离值进行排序，距离最小的即为对应车辆；限定目标交接只在视野重叠区域进行。

所述后处理模块是判别监控目标是否移出桥面监测边界。若出界，则删除监控中的移动目标，确保内存不溢出，保持运算的连续性。

本发明实际应用于上海市同济路匝道桥现场，对实测数据进行计算，本发明对移动荷载位置和大小的识别和跟踪效果满足工程要求，如图4为2018年1月14日下午3点至4点的共3个时刻桥面车辆荷载分布。

根据多视角三维模拟动画数据，分析本发明计算的准确性，结果表明，识别车辆位置的横向最大平均误差为0.212米(宽7.8米)，最大纵向平均误差为3.580米(长100米)，满足工程应用(如图5和图6)。

以上所述仅为本发明的优先实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。