一种非结构化场景下溢煤监测及输煤车辆定位系统

1.本发明涉及信息传输系统与图像检测技术领域，尤其是涉及一种非结构化场景下溢煤监测及输煤车辆定位系统。


背景技术：

2.非结构化环境指的是：表面(地面、墙面、障碍物表面)材质性能(表面材料、粗糙度、刚度、强度、颜色、反光、温度等)不均，结构及尺寸变化不规律且不稳定，环境信息(障碍物、采光、声音、气体、辐射、风力、干扰等)非固定、不可知、不可描述。
3.例如电厂等非结构化环境的生产中，现场输煤车间共有两条输煤传送带传输煤料，并配置有两辆输煤车，在生产工作中，输煤车采用滑轮定位，待输煤车移动至正确位置时，定位滑轮会刚好停留在轨道侧方平台上，然而这种定位方式的定位技术精度有待提升，并且缺乏相关监管手段，当输煤车定位出现偏差时有可能导致生产安全事故。在输煤车传输煤料与电厂传送带输煤运行时可能出现煤渣泄漏问题，缺乏有效的监控手段不仅会造成生产环境的污染，还可能在温度较高或者遇到明火时引燃煤渣，从而带来消防隐患。与此同时，一般电厂生产中安装的摄像头会因环境而产生移位，这样会使得监控的图像造成偏差从而影响监控效率。


技术实现要素：

4.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种非结构化场景下溢煤监测及输煤车辆定位系统。
5.本发明的目的可以通过以下技术方案来实现：
6.一种非结构化场景下溢煤监测及输煤车辆定位系统，包括：
7.图像获取模块，通过设置网络摄像头采集在非结构化场景下的输煤传送带对应的进煤口处的视频数据及输煤车辆输煤过程中的视频数据；所述图像获取模块包括分别设置在非结构化场景下的输煤传送带对应的进煤口处、输煤车上层进煤口、输煤车下层出煤口以及输煤车定位轨道的网络摄像头；
8.图像信息传输模块，与网络摄像头连接，通过网络接收网络摄像头传输的数字视频码流，并进行存储、管理；
9.服务器端，对图像信息传输模块接收的视频画面进行处理，实现各输煤过程的溢煤状况的监测，并对输煤车辆进行定位；
10.无线传输模块，为图像信息传输模块与服务器端之间提供无线连接通道。
11.进一步地，所述服务器端包括：
12.服务器内网，服务器内网接收网络视频录像机通过无线传输模块发送的视频数据；
13.服务器端中央监测模块，对各网络摄像头捕获的视频数据进行在线监测，并对服务器内网接收到的视频数据进行溢煤监测及输煤车辆的定位。
14.进一步地，所述图像信息传输模块采用网络视频录像机，所述无线传输模块采用5g路由器网络。
15.进一步地，非结构化场景下的输煤车辆的轨道处的启停位置设有用以识别的带有颜色的字符。所述服务器端中央监测模块采用神经网络检测模型识别输煤车辆的轨道处的启停位置，进而实现输煤车辆的定位。具体内容为：
16.读取车辆启停点的视频流，对视频流前、后连续两帧做差法，设置连续两帧之差的阈值并判断做差后两帧之差是否小于阈值，若连续五帧图像两两之差小于阈值，则判断车辆停止，反之则为运动状态；
17.当判断车辆停止时，继续判断车辆停止位置是否符合要求，提取车辆轨道上启停位置的字符颜色区域，计算字符颜色区域面积；若计算的面积结果大于预设阈值，则判断车辆位于字符位置，此时利用神经网络检测模型识别字符并获取字符中心坐标；
18.基于拟合的位置，对该位置点的位基准图的数字中心坐标和识别到的字符中心坐标做差，输出定位误差，若误差属于合理范围，则车辆停止位置正确。
19.进一步地，服务器端采用视觉监测算法对溢煤状况进行监测。服务器端采用视觉监测算法对溢煤状况进行的监测包括输煤车上层进煤口的溢煤情况监测、输煤车下层出煤口的煤渣泄露监测以及输煤传送带对应的进煤口处的溢煤情况监测。
20.服务器端采用视觉监测算法对溢煤状况进行监测的具体内容为：
21.对待监测的图像画面提取感兴趣区域，对感兴趣区域采用积分帧差法，取前15帧图像均值与当前帧相减后进行二值化处理，二值化处理后计算感兴趣区域具有灰度值为255的像素点的个数，判断其是否大于阈值，若大于，则判断发生溢煤或发生煤渣泄露。
22.进一步地，在对输煤车辆进行定位或对溢煤状况进行监测时，采用视觉自校正算法对因网络摄像头位置移动导致的图像区域选择变化进行校正。
23.本发明提供的非结构化场景下溢煤监测及输煤车辆定位系统，相较于现有技术至少包括如下有益效果：
24.1)本发明通过在输煤车的轨道处启停位置标记字符，并采用神经网络算法对字符进行识别从而定位，可避免现有技术中当输煤车定位出现偏差时有可能导致的生产安全事故，定位更加安全、准确；
25.2)本发明的服务器端应用神经网络算法和视觉监测算法对经由工作流程传输过来的视频画面(包含输煤车上层进煤口、输煤车下层出煤口、输煤传送带对应的进煤口)进行溢煤判断，并且对输煤车的轨道字符标志的视频画面进行实时识别，具有识别准确、监测实时性好的优点；同时采用视觉自校正算法可以防止因摄像头移动造成图像采集误差，进一步提高监测效率。
附图说明
26.图1为实施例中非结构化场景下溢煤监测及输煤车辆定位系统的结构原理框图；
27.图2为实施例中非结构化场景下溢煤监测及输煤车辆定位系统中服务器端运行的算法示意图。
具体实施方式
28.下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
29.实施例
30.本发明涉及一种非结构化场景下溢煤监测及输煤车辆定位系统，如图1所示，该系统包括依次连接的图像获取模块、图像信息传输模块、无线传输模块和服务器端。
31.图像获取模块用于通过网络摄像头捕捉非结构化场景下输煤情况的视频画面。具体地，图像获取模块包括分别设置在输煤传送带对应的进煤口处的网络摄像头，以及设置在输煤车上层进煤口、输煤车下层出煤口、输煤车定位轨道的网络摄像头。
32.图像信息传输模块采用网络视频录像机(nvr)，网络视频录像机(nvr)分别与各个网络摄像头连接。网络视频录像机的功能是通过网络接收网络摄像头传输的数字视频码流，并进行存储、管理，从而实现网络化带来的分布式架构优势。网络视频录像机通过无线传输模块与服务器端连接。
33.服务器端用于对接收的视频画面进行处理，并对输煤传送带、输煤车的输煤状况进行实时监测。服务器端设有服务器内网，服务器内网接收网络视频录像机通过无线传输模块发送的视频数据；服务器端设有服务器端中央监测模块，服务器端中央监测模块与各网络摄像头分别通过网络视频录像机、无线传输模块无线连接，对各网络摄像头捕获的视频数据进行在线监测，并对服务器内网接收到的视频数据进行输煤车定位及溢煤监测。
34.在本实施例中，如图2所示，服务器端的服务器端中央监测模块存储的处理算法包括神经网络检测算法、视觉监测算法和视觉自校正算法，用于对溢煤情况及输煤车定位的视频图像数据集进行训练，以保证神经网络算法正确高效地利用。其中，神经网络检测算法对传输的图像视频信息进行训练后得到训练模型，训练模型即为检测算法模型，可应用于后续检测识别工作。具体地，应用神经网络算法和视觉监测算法对经由工作流程传输过来的视频画面(包含输煤车上层进煤口、输煤车下层出煤口、输煤传送带对应的进煤口)进行溢煤判断，并且对输煤车的轨道数字标志的视频画面进行实时识别，采用视觉自校正算法防止因网络摄像头位置移动导致的图像区域选择变化，以提高监测效率。
35.在本实施例中，无线传输模块采用5g路由器网络，用于接收内网信号并转为wifi输出供nvr接收部分，作为优选方案，可采用5g cpe。服务器端为windows台式机。
36.进一步地，在本实施例中，服务端还设有报警模块，用于对监测到的溢煤情况进行警报。
37.依据上述设计，本发明系统的工作原理在于：安装网络摄像头在在电厂的现场输煤车间中可能出现溢煤处的对应位置，包括输煤车辆的进煤口、出煤口处以及其他用于输送煤的输煤传送带对应的进煤口处，在本发明中，首先使用网络摄像头分别对四种场景(输煤车上层进煤口、输煤车下层出煤口、输煤车运行轨道以及其他输煤传送带对应的进煤口)进行实时拍摄、录像，视频画面信息随即传输至网络视频录像机(nvr)进行存储或者转发，由nvr通过wifi连接至5g cpe部分。而5g cpe部分主要功能在于对接收的服务器内网信号进行二次中继，它把接收到的内网信号，变成wi-fi信号，提供给nvr使用。视频画面信息经由5g cpe进入服务器内网被获取后，服务器端中央监测模块采用神经网络检测算法与视觉
监测算法判断输煤车定位与溢煤监测。
38.在电厂的现场输煤车间中，输煤车在轨道上行驶，输煤车轨道两侧设置有地面皮带，输煤车行驶过程中，位于输煤车上层的煤通过下层出煤口输出给地下。对于监测输煤传送带的网络摄像头，安装在可拍摄到输煤传送带及与其关联的进煤口情况的位置处。对于监测输煤车上层进煤口的网络摄像头安装在输煤车的车体顶部可捕获到输煤车上层进煤口的位置处。对于监测输煤车下层出煤口的网络摄像头，安装在输煤车车体上，且位于车体下层出煤口的上方，用于监测地面皮带与输煤车下层出煤口对应的两侧角落是否出现溢出的煤。
39.进一步地，在实施例中，针对输煤车的定位问题，本发明预先在输煤车的轨道处的启停位置标记有字符，字符用于表示轨道处的启停位置，字符可优先采用数字标记。本发明通过检测定位点的数字标记，实现准确检测输煤车定位偏差的目的。优选地，对于输煤轨道的字符识别，本实施例采用的神经网络算法为ocr字符识别算法。首先算法判断小车运行与停止：读取车辆启停点的视频流，算法对视频流前、后连续两帧做差法，设置连续两帧之差的阈值并判断做差后两帧之差是否小于阈值，若连续五帧图像两两之差小于阈值则判断车辆停止，反之则为运动状态。
40.车辆停止情况下，针对神经网络检测结果进行二次利用。算法继续判断车辆停止位置是否符合要求，提取车辆轨道上启停位置的字符特定颜色区域，计算字符特定颜色区域面积。若计算的面积结果大于预设阈值，则算法判断车辆位于字符位置，此时利用神经网络检测模型识别字符并获取字符中心坐标。最后根据拟合的位置误差获取车辆的定位关系，具体地，将理论规范要求的停车对应点位基准图的数字中心坐标和识别到的数字中心坐标做差，输出定位误差，若误差属于合理范围，例如实际停留位置与理论精准的那一点的距离范围要求在5～8cm以内，则车辆停止位置正确。
41.针对输煤车上层进煤口溢煤情况，本发明通过识别煤料进入输煤车传送口时传送口边界以外的检测边框区域是否被黑煤覆盖以判断上层进煤口溢煤情况。具体地，算法根据输煤车上层进煤口的网络摄像头采集的视频，先确定进煤口的感兴趣区域，即对图像画面提取输煤口和皮带左右区域共三个矩形框，对感兴趣区域用积分帧差法，取前15帧图像均值与当前帧相减后进行二值化处理，二值化处理后计算感兴趣区域灰度值为255的像素点的个数，判断其若大于正常传输状态的阈值，则进煤口产生溢煤，随即传送报警命令。
42.针对输煤车下层出煤口的煤渣泄漏问题，本发明通过监测卸煤轨道与周围地面的颜色区别以判断下层出煤口的溢煤情况。具体地，算法根据输煤车下层出煤口的网络摄像头采集的视频确定出煤口的感兴趣区域，即对监测画面提取在出煤口前后两端制作的矩形框，对感兴趣区域使用积分帧差法，取前15帧图像均值与当前帧相减后进行二值化处理，计算感兴趣区域灰度值为255的像素点的个数，判断其若大于正常传输状态的阈值，则出煤口产生溢煤，随即传送报警命令。
43.对于其他输煤传送皮带检测点，本发明通过检测煤料传输至普通固定进煤口时固定进煤口边框与输煤传送带左右区域是否被黑煤覆盖以判断普通传送带的溢煤情况。具体地，算法确定固定进煤口感兴趣区域，即提取固定进煤口和传送皮带左右区域共三个矩形框，对感兴趣区域用积分差法，取前15帧图像均值与当前帧相减后进行二值化处理，计算感兴趣区域灰度值为255的像素点的个数，判断其若大于正常传输状态的阈值，则固定进煤口
产生溢煤，随即传送报警命令。
44.针对可能由于网络摄像头移动而产生图像提取的目标区域变化从而造成监测算法判断失误的情况，本发明设计了视觉自校正算法。具体地，视觉自校正算法对可能产生的由于网络摄像头位置移动或者旋转等外界因素引起的图像目标监测变化进行判断，对目标监测图像的变化设定阈值，若网络摄像头造成的目标区域偏差大于阈值，则立即对图像进行校正使得roi坐标恢复，并且发出报警提醒以方便后续维修。
45.进一步地，本发明还需要对于非结构化场景下的传输皮带输煤口烟雾、喷水与过曝光等工况进行监测，此步骤在监测输煤传送带前进行判断。在本发明中，采用神经网络检测算法判断输煤口区域是否出现烟雾、灰尘、喷水和过曝光等恶劣环境状况，同样对每种情况设定阈值，若监测出的环境情况大于设定的阈值，则监测算法暂停对此处传送带和进煤口的监测以节约能耗，并且立即报警，提醒此处环境被外界因素影响过大，以方便后续的场景维修。作为优选方案，使用siamese判断输煤口区域是否出现烟雾、喷水、过曝光，若连续三帧或以上帧出现烟雾空中灰尘或喷水等情况，则该溢煤口不进行溢煤监测。
46.本发明可以实时进行非结构化场景下输煤车定位与溢煤监测，不仅可以用于电煤厂的施工作业工程，还可以用于类似的作业工程，如钢铁厂的工业流程、燃煤厂的工业流程等。该系统进一步加强了电煤厂的工业生产安全性，可以作为监控的一部分进行应用，符合智慧电厂的发展方向。
47.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。