道路监控方法及道路监控装置与流程

本发明涉及道路监控技术，特别涉及一种道路监控方法及道路监控装置。

背景技术：

目前的道路监测手段一般仅能获取监控录像，却不能对道路上车辆可能发生的火情进行识别判断，不利于尽快了解交通状况和及时对火情进行处理。而通过人工查看监控图像，不仅耗时耗力，且判断的准确度及实时性很难保证。

技术实现要素：

本发明的实施方式旨在至少解决现有技术中存在的技术问题之一。为此，本发明的实施方式需要提供一种及道路监控方法及道路监控装置。

本发明提供一种道路监控方法，所述道路监控方法采用信息层级结构模型实现，所述信息层级结构模型包括环境感知层、对象层、特征层、语义层及决策层，所述道路监控方法包括：

获取监控图像及拍摄地点并存储于所述环境感知层；

根据监控图像判断是否有车辆存在异常反光情况；

若有车辆存在异常反光，从监控图像提取存在异常反光的车辆区域图像并存储于所述对象层；

应用现场相机中的神经网络处理单元处理车辆区域图像以识别是否存在火情，若存在，则获取火情参数图像及涉及车辆的信息并存储于特征层；

根据火情参数判断火情类别或级别并存储于语义层；

根据拍摄地点及火情类别或级别产生预警或建议信息并存储于决策层。

在本发明实施方式中，通过对监控图像进行处理及识别，可分析车辆是否发生火情，并产生预警或建议信息，从而有利于相关人员尽快了解火情及尽快对情况进行处理。可解决现有技术某些问题。

在某些实施方式中，所述根据拍摄地点及火情类别或级别产生预警或建议信息并存储于决策层的步骤在交通监测端产生所述预警或建议信息。

在某些实施方式中，所述道路监控方法包括：

在交通监测端产生提示信息并存储于所述语义层；所述提示信息包括火情类别或级别、所述拍摄地点及/或拍摄时间，所述拍摄时间为存在火情的所述车辆区域图像对应的所述监控图像的拍摄时间。

在某些实施方式中，所述道路监控方法包括：

处理所述车辆区域图像以获取所述车辆的身份信息；所述提示信息包括所述身份信息。

在某些实施方式中，所述道路监控方法包括：

处理所述车辆区域图像以获取所述车辆的运动参数；所述提示信息还包括所述运动参数。

在某些实施方式中，所述道路监控方法还包括：

发送所述预警或建议信息至所述身份信息对应的所述车辆。

在某些实施方式中，所述应用现场相机中的神经网络处理单元处理车辆区域图像以识别是否存在火情的步骤通过检测所述车辆区域图像中是否存在火光或烟雾判断是否存在火情。

本发明还提供一种道路监控装置，所述道路监控装置采用信息层级结构模型实现，所述信息层级结构模型包括环境感知层、对象层、特征层、语义层及决策层，所述道路监控装置包括：

图像获取模块，用于获取监控图像及拍摄地点并存储于所述环境感知层；

图像判断模块，用于根据监控图像判断是否有车辆存在异常反光情况；

提取模块，用于在有车辆存在异常反光时从监控图像提取存在异常反光的车辆区域图像并存储于所述对象层；

第一处理模块，用于应用现场相机中的神经网络处理单元处理车辆区域图像以识别是否存在火情并在判断存在时获取火情参数图像及涉及车辆的信息并存储于特征层；

参数判断模块，用于根据火情参数判断火情类别或级别并存储于语义层；及

决策模块，根据拍摄地点及火情类别或级别产生预警或建议信息并存储于决策层。

在某些实施方式中，所述决策模块用于在交通监测端产生所述预警或建议信息。

在某些实施方式中，所述道路监控装置包括：

提示模块，用于在交通监测端产生提示信息并存储于所述语义层；所述提示信息包括火情类别或级别、所述拍摄地点及/或拍摄时间，所述拍摄时间为存在火情的所述车辆区域图像对应的所述监控图像的拍摄时间。

在某些实施方式中，所述道路监控装置包括：

第二处理模块，用于处理所述车辆区域图像以获取所述车辆的身份信息；所述提示信息还包括所述身份信息。

在某些实施方式中，所述道路监控装置包括：

第三处理模块，用于处理所述车辆区域图像以获取所述车辆的运动参数；所述提示信息还包括所述运动参数。

本发明的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施方式的实践了解到。

附图说明

本发明的实施方式的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本发明某些实施方式的道路监控方法的流程示意图。

图2是本发明某些实施方式的道路监控装置的功能模块示意图。

图3是本发明某些实施方式的监控图像及车辆区域图像的示意图。

图4是本发明某些实施方式的道路监控方法或道路监控装置采用的智能道路监测信息结构示意图。

图5是本发明某些实施方式的道路监控方法或道路监控装置的原理示意图。

图6是本发明某些实施方式的道路监控方法的流程示意图。

图7是本发明某些实施方式的道路监控装置的功能模块示意图。

图8是本发明某些实施方式的道路监控方法的流程示意图。

图9是本发明某些实施方式的道路监控装置的功能模块示意图。

图10是本发明某些实施方式的道路监控方法的流程示意图。

图11是本发明某些实施方式的道路监控装置的功能模块示意图。

具体实施方式

下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅可用于解释本发明的实施方式，而不能理解为对本发明的实施方式的限制。

请参阅图1-5，本发明实施方式的道路监控方法，道路监控方法采用信息层级结构模型实现，信息层级结构模型可包括环境感知层、对象层、特征层、语义层及决策层，道路监控方法可包括：

S1，获取监控图像300及拍摄地点并存储于环境感知层；

S2，根据监控图像300判断是否有车辆存在异常反光情况；

S3，若有车辆存在异常反光，从监控图像300提取存在异常反光的车辆区域图像310并存储于对象层；

S4，应用现场相机中的神经网络处理单元处理车辆区域图像310以识别是否存在火情，若存在，则获取火情参数图像及涉及车辆的信息并存储于特征层；

S5，根据火情参数判断火情类别或级别并存储于语义层；

S6，根据拍摄地点及火情类别或级别产生预警或建议信息并存储于决策层。

请参阅图2，本发明实施方式的道路监控装置100可包括图像获取模块110、图像判断模块120、提取模块130、第一处理模块140、参数判断模块150及决策模块160，可分别可用于实现S1、S2、S3、S4、S5及S6。也就是说，图像获取模块110可用于获取监控图像300及拍摄地点并存储于环境感知层；图像判断模块120可用于根据监控图像300判断是否有车辆存在异常反光情况；提取模块130可用于在有车辆存在异常反光时从监控图像300提取存在异常反光的车辆区域图像310并存储于对象层；第一处理模块140可用于应用现场相机中的神经网络处理单元处理车辆区域图像310以识别是否存在火情并在判断存在时获取火情参数图像并存储于特征层；参数判断模块150可用于根据火情参数判断火情类别或级别并存储于语义层；决策模块160根据拍摄地点及火情类别或级别产生预警或建议信息并存储于决策层。

其中图像获取模块110可包括图像采集装置111，例如监控摄像头，可用于获取监控图像300。拍摄地点即获取监控图像300的地点，例如图像采集装置111所在的地点。车辆区域图像310可包括车辆及火情的区域。涉及车辆的信息可包括车辆的身份信息或运动参数信息等。

目前的道路监测手段一般仅能获取监控录像，却不能对道路上车辆可能发生的火情进行识别判断，不利于尽快了解交通状况和及时对火情进行处理。通过人工查看监控图像300，不仅耗时耗力，且判断的准确度及实时性很难保证。在本发明实施方式中，通过对监控图像300进行处理及识别，可分析车辆是否发生火情，并产生预警或建议信息，从而有利于相关人员尽快了解火情及尽快对情况进行处理。

其中，请结合参阅图3，在某些实施方式中，S4可通过检测车辆区域图像310中是否存在火光或烟雾判断是否存在火情。某些实施方式的第一处理模块140可用于检测车辆区域图像310中是否存在火光或烟雾判断是否存在火情。火光或烟雾是可用来判断是否为火情的显著特点，且呈现在监控图像300中为较明显的特征，采用现有图像处理手段较易识别。

请参阅图3，现有的图像处理技术可实现车辆及火情区域的识别及分割提取，因此可在监控图像300中提取车辆区域图像310，车辆区域图像310可仅可包括车辆及火情区域(如烟雾或火光区域)，以方便后续识别处理。提取车辆区域图像310可方便进一步的识别分析。请结合参阅图4，车辆区域图像310可存储在对象层，即由环境感知层的监控图像300提取车辆区域图像310到对象层。

请参阅图4，在本发明某些实施方式中，道路监控方法或道路监控装置100采用信息层级结构模型实现，该结构是一种智能监控信息层级结构模型，可包括环境感知层、地理标志层、对象层、特征层、语义层及决策层等。各层级分别可用于存储信息处理不同阶段的信息，层级与层级之间有机联结，从上一层中调用信息进行处理，处理结果可存储于下一层级。其中，地理标志层并未在本发明实施方式中应用。

智能监控信息层级结构模型各层级的联结方式及信息传递顺序可参阅图3。其中，环境感知层是基础的层级。前端采集设备，如设置于道路的监控摄像头，可用于获取监控图像300及各帧监控图像300对应的时间、地点，可将这些基础信息存储于环境感知层并作为后续信息处理的基础。监控图像300对应的地点可以是摄像头所在的地点。

若在监控图像300中检测到有车辆存在火情，可从环境感知层的监控图像300中提取出仅包含车辆的车辆区域图像310并存储于对象层。车辆区域图像310可作为后续分析火情、车辆运动信息及车辆身份信息的基础。

从对象层调取车辆区域图像310并做分析可获取火情参数图像、车辆运动信息及车辆身份信息相关的图像，并存储于特征层，并作为后续分析的基础。火情参数可以是火光或烟雾的面积大小、颜色深浅等具体参数。火情参数图像可以是截取的火光、烟雾的图像，可用于后续处理分析以获得火情参数。类似地，对车辆运动信息及车辆身份信息相关的图像进行处理分析，可获得运动信息及身份信息并存储于语义层。运动信息及身份信息便于有关人员了解存在火情的车辆的具体情况，例如车牌号、车型、行驶方向及速度等，从而做出妥善处理。

对火情参数并处理分析，可获得火情分析结果，例如火情的类别或级别等，可体现火情的严重程度或紧急程度。

从语义层调取火情类别或级别，可根据火情类别或级别产生预警或建议信息。可呈现在交通监测端100a，以使相关管理人员知晓火情及应对方案。

可根据后期的分析结果决定各层级存储的信息是保留还是删除。例如，通过对车辆区域图像310的各层分析，发现并无火情，可删除各层级存储的相关信息，或者仅保留环境感知层的基础信息。若确认车辆出现火情，可保留各层级的相关信息，以方便处理状况后有关人员可后期调取查验以调查火警原因、火情责任等。如此，可保留有效信息，减少冗余信息。

请参阅图5，道路监控装置100的图像获取模块110可包括设置于道路的图像采集装置111，如摄像头等，可用于实时获取道监控图像300，如道路监控录像。道路监控装置100还可包括交通监测端100a的相关设备。交通监测端100a可以是交通管理部门的监控中心，配备有相关的监控人员，可用于实时监控道路状况。在某些实施方式中，S6在交通监测端100a产生预警或建议信息，以方便监控人员及时了解火情及周边交通的状况。某些实施方式的决策模块160可用于在交通监测端100a产生预警或建议信息。建议信息可通过语音或文字提示等方式呈现。

此外，为方便交通监测端100a全面了解火情，可分析获得更多的信息并呈现在交通监测端100a。

例如，请参阅图6-7，在某些实施方式中，道路监控方法可包括：S8，在交通监测端100a产生提示信息并存储于语义层；提示信息可包括火情类别或级别、拍摄地点及/或拍摄时间，拍摄时间为存在火情的车辆区域图像310对应的监控图像300的拍摄时间。S8可由某些实施方式的道路监控装置100的提示模块180实现，即提示模块180可用于在交通监测端100a产生提示信息并存储于语义层。

建议信息可通过语音或文字提示等方式呈现。例如，提示“在T时间、S路段，出现中度级别火警，伴随较大量浓烟，无火光”。从而帮助有关监控人员了解火情。

监控图像300每帧都对应有拍摄时间，因此存储火警状况的车辆区域图像310对应的帧的监控图像300的拍摄时间，为较精确的火警状况发生时间。通过将时间、地点、火情类别及级别等信息呈现在交通监测端100a，可方便相关监控人员全面了解信息，以做出更有效的处理决策，从而预防更大事故的发生或减少事故的损失。

进一步地，呈现在交通监测端100a的提示信息还可包括车辆的身份信息。

例如，请参阅图8-9，在某些实施方式中，道路监控方法可包括：S4a，处理车辆区域图像310以获取车辆的身份信息；提示信息可包括身份信息。S4a可由某些实施方式的监控装置的第二处理模块140a实现，即第二处理模块140a可用于处理车辆区域图像310以获取车辆的身份信息。

其中身份信息可以是车辆的车牌号、品牌、车型等。建议信息可通过语音或文字提示等方式呈现。例如，提示“在T时间、S路段，一辆车牌号为123456、YY品牌的小型货车出现中度级别火警，伴随较大量浓烟，无火光”。从而帮助有关监控人员了解火情及出现火情的具体车辆，以尽快对有关车辆采取有效处理措施。

可首先从车辆区域图像310中获取身份信息有关的图像，例如车牌、车标的图像等并存储于特征层，再对这些图像进行处理以获得车牌号、品牌、车型等身份信息并存储于语义层。

进一步地，呈现在交通监测端100a的提示信息还可包括车辆的运动信息。例如，请参阅图10-11，在某些实施方式中，道路监控方法可包括：S4b，处理车辆区域图像310以获取车辆的运动参数；提示信息可包括运动参数。S4b可由某些实施方式的道路监控装置100的第三处理模块140b实现，即第三处理模块140b可用于处理车辆区域图像310以获取车辆的运动参数。

其中运动参数可包括车辆的运动方向、运动速度等。建议信息可通过语音或文字提示等方式呈现。例如，提示“在T时间、S路段，一辆车牌号为123456，YY品牌的小型货车出现中度级别火警，伴随较大量浓烟，无火光，该车辆正以AA的车速朝ZZ方向行驶”。从而帮助有关监控人员了解火情、出现火情的具体车辆及车辆的运动状态，以尽快对有关车辆采取有效处理措施。

可首先从车辆区域图像310中获取运动参数有关的图像，例如预定时间间隔的多张包含该车辆的图像并存储于特征层，再对这些图像进行处理以获得该车辆的行驶速度及方向等运动参数并存储于语义层。

在某些可包括S4a的实施方式中，道路监控方法还可包括：S9，发送预警或建议信息至身份信息对应的车辆。其中身份信息可以是车辆的车牌号等。

可建立车辆与道路监控装置100或交通监测端100a的联网系统，在检测到出现火情时，发送预警或建议信息至身份信息对应的车辆以提醒该车辆的司机。如此，可帮助司机了解火情并采取有效措施，以避免更重大事故的发生，防止或减少人员及财产的损失。

综上，本发明实施方式可对道路上的火情进行分析，并将相关重要信息以信息层级的结构进行存储，并将必要信息或预警信息呈现给有关人员。可帮助相关人员全面了解火情，以便做出恰当处理。也可帮助有关人员后期调取信息进行查验，以探求事故原因或找寻相关车辆或人员的事故责任。

本发明实施方式的道路监控方法及装置可应可用于道路，例如高速公路，尤其宜应用在易出现火警危险的路段。

在本发明的实施方式的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明的实施方式和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的实施方式的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明的实施方式的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明的实施方式中的具体含义。

在本发明的实施方式中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。

下文的公开提供了许多不同的实施方式或例子用来实现本发明的实施方式的不同结构。为了简化本发明的实施方式的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明的实施方式可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明的实施方式提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明的各个实施例中的各功能单元可以集成在一个处理器中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。