一种基于虚拟成像的发动机监控系统及监控方法与流程

本发明涉及工业监控领域，尤其涉及基于虚拟成像的发动机监控系统及监控方法。

背景技术：

发动机主要为机器设备提供动力，在汽车各行各业中广泛应用。为了确保发动机的正常健康运行，对发动机的运行状态进行远程实时监控管理变得非常重要，如发动机的转速，滑油压力，排气温度，蓄电池电压等。发动机实时监控，不仅可以减少财产损失和保障生命安全，为交通安全提供有力的支持和保障，而且当发生事故或突发事件时，使得救援抢险更及时，从而实现应急指挥中心对突发事件现场情况的及时掌控和调度指挥。因此，当下对发动机远程实时监测技术的普及应用显得至关重要。现有技术中对发动机的实时监测往往借助各类传感器进行数据记录，而不能实时直观的反映发动机故障具体位置以及各零件实时的相互运动关系，且对于故障车辆也往往只是进行问题报告而缺乏及时的救助。

技术实现要素：

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于虚拟成像的发动机监控系统及监控系统，解决现有技术中对发动机监控安装复杂，且反映不直观、救助不方便的问题。

为实现上述目的，本发明提供了一种基于虚拟成像的发动机监控系统，包括以网络进行通信连接的控制平台、汽车服务终端和维修点终端；所述控制平台包括分别与控制模块相连的显示模块、第一通信模块、中心数据库；所述中心数据库中有汽车信息、维修点信息和地图信息；所述汽车信息包括车牌号、发动机编号；所述维修点信息包括维修点编号、维修点电话、维修点地址；所述汽车服务终端包括分别与集成了汽车交互模块服务终端处理器相连的扫描模块、汽车交互模块、第二通信模块、成像模块、定位及导航模块、显示屏，所述扫描模块位于发动机盖内表面；所述维修点终端包括与集成维修点交互模块的维修点处理器相连的第三通信模块、定位及导航模块、维修数据库；所述第一通信模块、所述第二通信模块、所述第三通信模块通过网络进行信息交互。

本发明的有益效果为：实现了车辆行进过程中对发动机的实时可视化监控，能直观的反映发动机现有情况，且与维修点之间有直接通信，利用导航模块为故障车辆和维修点建立连接，便于及时救助。

一种优选实施方式为，所述扫描模块为两个红外热成像仪对称放置。

通过红外热成像仪，一方面可以直观得出发动机运行的热动态图像，另一方面可以进行发动机零件的实时监控，而不必需要摄像头和传感器协作完成，且通过对称放置，是利用了基于人类利用双眼进行距离感知的原理，通过计算图像对应点的位置偏差，来获取每一个像素点更准确的三维几何信息。

另一优选实施方式为，车辆发动机盖内表面上有轨道，所述扫描模块和电机相连，所述电机与所述服务终端处理器相连，在工作时，所述所述扫描模块通过所述服务终端处理器控制所述电机带动沿所述轨道进行移动。

通过增加活动轨道，可以让扫描模块对发动机各零部件的成像数据获取更准确，减少了盲区。

进一步的，还包括同步电路，所述同步电路分别与所述电机和所述服务终端处理器相连，在一个时钟周期结束时所述服务器终端处理器校准所述电机坐标是否回到初始位置，如果回到初始位置则开始下一个时钟周期，若不是则通知服务器终端处理器进行位置校正，并且时钟休眠直到所述服务器终端处理器重新发起运行指令。

用同步电路进行校正保证了扫描模块的工作是周期性运动，减少了因为故障不运行可能带来的误差。

另一优选实施方式还包括与所述服务终端处理器相连的光电开关和报警模块，所述报警模块包括蜂鸣器/led灯和第一三极管，所述蜂鸣器/led灯的电源正极与供电系统的输出端相连，所述蜂鸣器/led灯的电源负极通过第二电阻r2与第一三极管的集电极相连，第一三极管的发射极接地，第一三极管的基极通过第三电阻r3与光电开关的输出端相连，若发动机出现故障则所述服务终端处理器向光电开关输出低电平，蜂鸣器发出警报声或led灯亮。

当发动机出现故障，进行实时报警提示驾驶员，减少了事故发生的概率。

本发明还公布了一种基于虚拟成像的发动机监控系统的发动机监控方法，其包括以下步骤之一或组合：

s1、控制平台主动发起检测，具体为：s11、控制平台终端控制模块选择根据汽车信息确定需要展示发动机情况的车辆，通过网络向该汽车服务终端处理器发送查询指令，所述车辆信息包括车牌号、发动机编号；s12、汽车服务终端处理器通过扫描模块实时获取发动机机体三维空间实体复合参数传送到成像模块；s13、成像模块进行运动补偿并建立三维空间模型对三维空间模型进行图像分割，去掉背景部分，得到目标三维模型；s14、汽车服务终端处理器将目标三维模型图像以及三维空间实体复合参数压缩编码后通过由第二通信模块网络传输至控制平台终端的第一通信模块；s15、所述第一通信模块将所述三维模型图像传输至所述控制模块，经所述控制模块解码后通过显示模块展现。

s2、汽车发动机系统有异常情况，则主动向平台发送发动机信息，所述异常情况包括发动机部件温度超过设定阈值，具体为：s21、汽车在启动后，汽车服务终端处理器通过扫描模块获取发动机内部三维空间实体复合参数，成像模块进行运动补偿并建立三维空间模型；s22、当发动机系统产生异常，则汽车服务终端处理器通过第二通信模块向控制平台发起连接请求，同时定位及导航模块通过网络向控制平台发送车辆实时位置信息，若控制平台选择连接则获取汽车信息和车辆实时位置信息并进入步骤s23，若选择拒绝则向汽车服务终端处理器发起拒绝指令；s23、成像模块对三维空间模型进行图像分割，去掉背景部分，得到目标三维模型；s24、汽车服务终端处理器将目标三维目标模型压缩编码后通过网络传输至控制平台终端，控制平台终端解码后通过显示模块展现目标三维目标模型；s25、控制平台终端控制模块在中心数据库中查询维修点信息，根据获取的车辆实施位置信息和中心数据库中地图信息将离汽车最近的维修点信息发送至汽车服务终端交互模块待确认；s26、操作人员在所述交互模块确认后，确认指令通过第二通信模块网络反馈至控制平台第一通信模块，再由第一通信模块传输至控制模块，所述控制模块将车辆信息和请求帮助指令发送至维修点终端第三通信模块，维修点交互模块若同意则汽车服务终端的定位及导航模块输出导航信息至第三通信模块，并通过网络为汽车导航至目的地，流程结束；若操作人员在所述交互模块拒绝该维修点，或维修点交互模块拒绝接收车辆信息和请求帮助指令，则控制平台计算除该维修点之外，离汽车最近的维修点并重新进入s25。

该方法的有益效果为：通过监控平台可以主动监控车辆信息，而车辆发动机出现问题也可以主动向监控平台进行通知，并实时直观反映发动机状态，且可以及时获取援助，减少了事故发生概率。

一种优选实施方式为：步骤s12或步骤s22中，当扫描模块为红外热像仪时，汽车服务终端处理器通过扫描模块获取发动机内部三维空间实体复合参数并建立三维空间模型的具体方法为：a1、由两个红外热像仪即红外热像仪a和红外热像仪b组成双目红外视觉测量系统；a2、在所述红外双目视觉系统中确定坐标系，其中所述热像仪a和所述热像仪b的热像仪坐标系分别为oaxayaza和obxbybzb，像平面坐标系分别为xaoaya和xbobyb；像素点坐标系分别为uao1ava和uao1bva；a3、对空间物体表面任意一点p，若热像仪a和热像仪b同时观察p点，确定p点在热像仪a坐标系和热像仪b坐标系下为空间同一点p的图像点，则计算出p点在三维空间坐标系下的坐标；a4、将所有像素点进行进行三维坐标定位后实现三维空间重建；a5、红外热像仪a和红外热像仪b分别对同一像素点测试的温度为t1和t2，通过取平均值即t＝(t1+t2)/2得到该像素点的表面温度，若t大于设定阈值，在步骤s22中则汽车服务终端处理器通过第二通信模块向控制平台发起连接请求。

通过利用了基于人类利用双眼进行距离感知的原理，通过计算图像对应点的位置偏差，来获取每一个像素点更准确的三维几何信息。且利用红外热成像仪直观展现了各零部件的表面温度，实现了发动机零部件表面温度的实时监控。

另一优选实施方式中，成像模块进行运动补偿具体方式为：

在对图像进行采样过程中,对样本几每幅重建的图进行中值滤波以降低锯齿效应,再采用高斯滤波平滑边缘,然后进行运动估值.通过估值参数控制三维模型的运动,并在新的位置上对模型进行渲染得到运动补偿的图像，其中在运动估值处理过程中采用通过mad(平均绝对差算法)准则确定pmcat(基于门限的像素匹配分类算法)的最佳归类门限的方法，其具体操作步骤如下:

1)在块匹配搜索区内,用mad准则寻求最佳匹配块madmin并记录区内所有mad值接近于madmin的周围匹配块的位移矢量；

2)求出madmin块对应的预测残差的均值μ0和方差σ0。若σ0小于估值精度要求,则视该块为最佳匹配块,(i,j)为该块的位移矢量,转5)；否则,令topt＝[madmin+cσ](c取值1～3之间的整数)；

3)以topt为归类门限,用pmcat准则对1)中的各块(包括madmin块)计算其对应的二维数组变量count(i,j)，(i∈|-w,w|,j∈|-w,w|)),w为水平方向和垂直方向上的像素最大位移，srb为搜索区sr的任一子块，当|mcb(i,j)-srb(x+i,y+j)|≤topt(x∈[0,m-1],y∈[0,n-1])时，count(i,j)＝count(i,j)+1；

4)求count(i,j)＝max{count(i,j)},得出(i,j)；

5)位移矢量(i,j)为最佳匹配块的运动矢量。

通过运动补偿减少了帧序列的冗余信息的同时，利用中值滤波降低了锯齿效应，利用高斯滤波平滑边缘。

另一优选实施方式中，成像模块进行图像分割为使用连续视频序列中的相邻两帧或多帧图像来进行帧差然后对目标图像进行检测和分割，去除不相干的背景部分，得到三维目标模型具体为：

各帧相对于第一帧的运动模型分别为mi(i＝1,2,3……)，相邻两帧i，j之间的运动模型为mij(i＝1,2,3……；j＝i+1)则

mi＝e(1)

mj＝mij*mi,(i＝1,2,3……；j＝i+1)(2)

公式(1)中的e为单位矩阵，公式(2)中mj为第j帧相对于第一帧的运动模型。对于拍摄图像序列的每一帧，通过运动参数方程mi找到其在全景图中的位置，比较对应像素点的rgb值，如果差值小于系统阈值，则该位置未背景；如果差值大于系统阈值，则表明该位置是前景物体。

提供了发动机目标提取的具体实现方式。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明基于虚拟成像的发动机监控系统连接图；

图2是本发明基于虚拟成像的发动机监控系统由控制中心发起的工作流程图；

图3是本发明基于虚拟成像的发动机监控系统由故障车辆发起的工作流程图；

图4是本发明一种优选实施方式中报警模块的电路连接图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明实施例一种提供了一种基于虚拟成像的发动机监控系统，如图1所示，其包括以网络进行通信连接的控制平台、汽车服务终端和维修点终端；所述控制平台包括分别与控制模块相连的成像模块、第一通信模块、中心数据库；所述中心数据库中有汽车信息、维修点信息和地图信息；所述汽车信息包括车牌号、发动机编号；所述维修点信息包括维修点编号、维修点电话、维修点地址；所述汽车服务终端包括分别与集成了汽车交互模块服务终端处理器相连的扫描模块、第二通信模块、成像模块、定位及导航模块、显示屏，所述扫描模块位于发动机盖内表面；所述维修点终端包括第三通信模块、维修点交互模块、定位及导航模块、维修数据库；所述第一通信模块、所述第二通信模块、所述第三通信模块通过网络进行信息交互。在本实施例中扫描模块为两个红外热成像仪对称放置，本实施例中集成了汽车交互模块服务终端处理器和集成维修点交互模块的控制模块选用常规的基于手势操作的触摸屏，也集成了系统中本身需要的显示屏，本实施例一种的定位及导航模块为常见的北斗导航系统。具体工作流程包括以下步骤之一或组合：如图2所示，s1、控制平台主动发起检测，具体为：s11、控制平台终端控制模块选择根据汽车信息确定需要展示发动机情况的车辆，通过网络向该汽车服务终端处理器发送查询指令，所述车辆信息包括车牌号、发动机编号；s12、汽车服务终端处理器通过扫描模块实时获取发动机机体三维空间实体复合参数传送到成像模块；s13、成像模块进行运动补偿并建立三维空间模型对三维空间模型进行图像分割，去掉背景部分，得到目标三维模型；s14、汽车服务终端处理器将目标三维模型图像以及三维空间实体复合参数压缩编码后通过由第二通信模块网络传输至控制平台终端的第一通信模块；s15、所述第一通信模块将所述三维模型图像传输至所述控制模块，经所述控制模块解码后通过显示模块展现。s2、如图3所示，汽车发动机系统有异常情况，则主动向平台发送发动机信息，所述异常情况包括发动机部件温度超过设定阈值，具体为：s21、汽车在启动后，汽车服务终端处理器通过扫描模块获取发动机内部三维空间实体复合参数，成像模块进行运动补偿并建立三维空间模型；s22、当发动机系统产生异常，则汽车服务终端处理器通过第二通信模块向控制平台发起连接请求，同时定位及导航模块通过网络向控制平台发送车辆实时位置信息，若控制平台选择连接则获取汽车信息和车辆实时位置信息并进入步骤s23，若选择拒绝则向汽车服务终端处理器发起拒绝指令；s23、成像模块对三维空间模型进行图像分割，去掉背景部分，得到目标三维模型；s24、汽车服务终端处理器将目标三维目标模型压缩编码后通过网络传输至控制平台终端，控制平台终端解码后通过显示模块展现目标三维目标模型；s25、控制平台终端控制模块在中心数据库中查询维修点信息，根据获取的车辆实施位置信息和中心数据库中地图信息将离汽车最近的维修点信息发送至汽车服务终端交互模块待确认；s26、操作人员在所述交互模块确认后，确认指令通过第二通信模块网络反馈至控制平台第一通信模块，再由第一通信模块传输至控制模块，所述控制模块将车辆信息和请求帮助指令发送至维修点终端第三通信模块，维修点交互模块若同意则汽车服务终端的定位及导航模块输出导航信息至第三通信模块，并通过网络为汽车导航至目的地，流程结束；若操作人员在所述交互模块拒绝该维修点，或维修点交互模块拒绝接收车辆信息和请求帮助指令，则控制平台计算除该维修点之外，离汽车最近的维修点并重新进入s25。

其中在本实施例中步骤s21建立三维空间模型的具体方法为：a1、由两个红外热像仪即红外热像仪a和红外热像仪b组成双目红外视觉测量系统，所述三维空间实体复合参数包括各像素与红外摄像仪a和红外摄像仪b的相对位置坐标、该像素点的rgb色彩；a2、在所述红外双目视觉系统中确定坐标系，其中所述热像仪a和所述热像仪b的热像仪坐标系分别为oaxayaza和obxbybzb，像平面坐标系分别为xaoaya和xbobyb；像素点坐标系分别为uao1ava和uao1bva；a3、对空间物体表面任意一点p，若热像仪a和热像仪b同时观察p点，确定p点在热像仪a坐标系和热像仪b坐标系下为空间同一点p的图像点，则计算出p点在三维空间坐标系下的坐标；a4、将所有像素点进行进行三维坐标定位后实现三维空间重建；a5、红外热像仪a和红外热像仪b分别对同一像素点测试的温度为t1和t2，通过取平均值即t＝(t1+t2)/2得到该像素点的表面温度，若t大于设定阈值，在步骤s22中则汽车服务终端处理器通过第二通信模块向控制平台发起连接请求。

进一步的，成像模块进行运动补偿具体方式为：在对图像进行采集过程中,对样本每幅重建的图进行中值滤波以降低锯齿效应,即把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点。再采用高斯滤波抑制服从正态分布的噪声,然后进行运动估值.通过估值参数控制三维模型的运动,并在新的位置上对模型进行渲染得到运动补偿的图像。在运动估值处理过程中采用通过mad(平均绝对差算法)准则确定pmcat(基于门限的像素匹配分类算法)的最佳归类门限的方法，其具体操作步骤归纳如下:

1)在块匹配搜索区内,用mad准则寻求“最佳匹配块”madmin并记录区内所有mad值接近于madmin的周围匹配块的位移矢量；

2)求出madmin块对应的预测残差的均值μ0和方差σ0。若σ0小于估值精度要求,则视该块为最佳匹配块,(i,j)为该块的位移矢量,转5)；否则,令topt＝[madmin+cσ](c取值1～3之间的整数)；

3)以topt为归类门限,用pmcat准则对1)中的各块(包括madmin块)计算其对应的二维数组变量count(i,j)，(i∈|-w,w|,j∈|-w,w|)),w为水平方向和垂直方向上的像素最大位移，srb为搜索区sr的任一子块，当|mcb(i,j)-srb(x+i,y+j)|≤topt(x∈[0,m-1],y∈[0,n-1])时，count(i,j)＝count(i,j)+1；

4)求count(i,j)＝max{count(i,j)},得出(i,j)；

5)位移矢量(i,j)为最佳匹配块的运动矢量。pmcat+mad算法中最佳归类门限的选取是自适应的,该算法克服了mad准则估值精度的不足,又保持了mad准则算法的简单性。

进一步的，使用连续视频序列中的相邻两帧或多帧图像来进行帧差然后对目标图像进行分割，去除不相干的背景部分，得到三维目标模型。具体为：

各帧相对于第一帧的运动模型分别为mi(i＝1,2,3……)，相邻两帧i，j之间的运动模型为mij(i＝1,2,3……；j＝i+1)则

mi＝e(1)

mj＝mij*mi,(i＝1,2,3……；j＝i+1)(2)

公式(1)中的e为单位矩阵，公式(2)中mj为第j帧相对于第一帧的运动模型。对于拍摄图像序列的每一帧，通过运动参数方程mi找到其在全景图中的位置，比较对应像素点的rgb值，如果差值小于系统阈值，则该位置未背景；如果差值大于系统阈值，则表明该位置是前景物体。

实施例二中，基于上一实施例的基础上，车辆发动机盖内表面上有轨道，所述扫描模块和电机相连，所述电机与所述服务终端处理器相连，在工作时，所述所述扫描模块通过所述服务终端处理器控制所述电机带动沿所述轨道进行移动。具体的，所述轨道可以横向或者纵向布置。

进一步的，还包括同步电路，所述同步电路分别与所述电机和所述服务终端处理器相连，在一个时钟周期结束时所述服务器终端处理器校准所述电机坐标是否回到初始位置，如果是则开始下一个时钟周期，所述同步电路如常规的时钟控制器，型号为sx102t。

进一步的，还包括与所述服务终端处理器相连的报警模块，如图3所示，所述报警模块包括蜂鸣器/led灯和第一三极管，所述蜂鸣器/led灯的电源正极与供电系统的输出端相连，所述蜂鸣器/led灯的电源负极通过第二电阻r2与第一三极管的集电极相连，第一三极管的发射极接地，第一三极管的基极通过第三电阻r3与光电开关的输出端相连，当光电开关输出低电平时，蜂鸣器发出警报声或led灯亮。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。