一种道路监测的方法、装置、电子设备及存储介质与流程

本申请涉及计算机视觉领域，尤其涉及道路监测的方法、装置、电子设备及存储介质。

背景技术：

现有技术中，对于道路情况的变化依赖于人工识别。例如依赖于施工单位的道路施工报告确定出道路的增加或阻断，或者基于视频监控确认的道路的行驶属性发生改变等。

依赖于人工识别，会导致识别效率低且成本较高。

技术实现要素：

本申请实施例提供一种道路监测的方法、装置、电子设备及存储介质，以解决现有技术中的一个或多个技术问题。

第一方面，本申请提供一种道路监测的方法，包括：

确定获取的第一视频图像中的道路的信息，道路的信息包括道路的标志线及道路的位置信息中的至少一项；

计算第一视频图像中的道路的信息与道路的参考信息的差异度；

在差异度达到预定条件的情况下，确定道路发生变化。

通过上述方案，可以根据道路的信息和道路的参考信息的比较结果，确定道路是否发生变化。例如，在出现道路封闭或者新修建道路等道路的物理变化时，可以根据道路在世界坐标系下的位置信息进行确认。在出现增加了待转区等道路的行驶属性变化时，可以根据道路上的标志线进行确认。由此可以实现准确、快速的确定道路变化情况。

在一种实施方式中，道路的确定方式，包括：

在第一视频图像中，确定包含目标车辆的各帧静态图像；

分别确定目标车辆在各帧静态图像中的位置；

根据各位置确定目标车辆的行驶轨迹；

根据行驶轨迹确定道路。

通过上述方案，利用车辆识别和跟踪技术，可以自动确定出目标车辆的行驶轨迹。

在一种实施方式中，道路的标志线的确定方式，包括：

根据行驶轨迹，确定在行驶过程中出现停车的各第一目标车辆；

获取前向预定范围内不存在其他车辆的第一目标车辆的停止位置；

根据各停止位置，得到道路上的停止线，将停止线确定为道路的标志线。

通过上述方案，可以利用预定数量的第一目标车辆的停止位置挖掘出路口停止线的位置。将停止线作为图像中的标志线，可以实现自动识别出图像中的标志线。

在一种实施方式中，根据行驶轨迹确定道路，包括：

根据目标车辆的类型确定道路宽度阈值；

利用道路宽度阈值对行驶轨迹进行宽度扩展，根据宽度扩展的结果确定道路。

通过上述方案，可以根据目标车辆的类型对应得到不同道路。可以提高确定出的道路的准确性。

在一种实施方式中，该方法还包括：

在差异度未达到预定条件的情况下，利用第一视频图像中的道路的信息对道路的参考信息进行调整。

通过上述方案，在道路样本的数量足够多的情况下，对道路的参考信息进行调整的结果可以接近道路的信息的真值。

第二方面，本申请提供一种道路的监测装置，包括：

道路的信息确定模块，用于确定获取的第一视频图像中的道路的信息，道路的信息包括道路的标志线及道路的位置信息中的至少一项；

差异度计算模块，用于计算第一视频图像中的道路的信息与道路的参考信息的差异度；

道路变化确定模块，用于在差异度达到预定条件的情况下，确定道路发生变化。

在一种实施方式中，道路的信息确定模块，包括：

目标车辆查询子模块，在第一视频图像中，确定包含目标车辆的各帧静态图像；

目标车辆位置确定子模块，用于分别确定目标车辆在各帧静态图像中的位置；

行驶轨迹确定子模块，用于根据各位置确定目标车辆的行驶轨迹；

道路确定子模块，用于根据行驶轨迹确定道路。

在一种实施方式中，道路的信息确定模块，包括：

第一目标车辆确定子模块，用于根据行驶轨迹，确定在行驶过程中出现停车的各第一目标车辆；

第一目标车辆停止位置确定子模块，用于获取前向预定范围内不存在其他车辆的第一目标车辆的停止位置；

道路的标志线确定子模块，用于根据各停止位置，得到道路上的停止线，将停止线确定为道路的标志线。

在一种实施方式中，道路确定子模块，包括：

道路宽度阈值确定单元，用于根据目标车辆的类型确定道路宽度阈值；

道路确定执行单元，用于利用道路宽度阈值对行驶轨迹进行宽度扩展，根据宽度扩展的结果确定道路。

在一种实施方式中，该装置还包括：

道路的参考信息调整模块，用于在差异度未达到预定条件的情况下，利用第一视频图像中的道路的信息对道路的参考信息进行调整。

第三方面，本申请实施例提供一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本申请任意一项实施例所提供的方法。

第四方面，本申请实施例提供一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，计算机指令用于使计算机执行本申请任意一项实施例所提供的方法。

上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请道路监测的方法的流程图；

图2是根据本申请道路的确定方式的流程图；

图3是根据本申请道路的标志线的确定方式的流程图；

图4是根据本申请根据行驶轨迹确定道路的流程图；

图5是根据本申请道路的监测装置的示意图；

图6是根据本申请道路的信息确定模块的示意图；

图7是根据本申请道路的信息确定模块的示意图；

图8是根据本申请道路确定子模块的示意图；

图9是用来实现本申请实施例的道路监测的方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

如图1所示，在一种实施方式中，提供一种道路监测的方法，包括：

s101：确定获取的第一视频图像中的道路的信息，道路的信息包括道路的标志线及道路的位置信息中的至少一项。

s102：计算第一视频图像中的道路的信息与道路的参考信息的差异度。

s103：在差异度达到预定条件的情况下，确定道路发生变化。

本申请可以通过服务器或云处理器等数据处理设备实现上述步骤。数据处理设备接收设置在目标区域的所有图像采集设备所上传的信息。根据对上传信息的分析，可以对道路是否出现变化的情况进行监测。

第一视频图像可以是连续多帧静态图像。例如一小时内的连续多帧静态图像、一天内的连续多帧静态图像等。不难理解，第一视频图像也可以是非连续的多帧图像。由于图像采集设备的架设位置是固定不变的，因此采集到的多帧静态图像中的显示区域是相同的。基于此，可以对各帧静态图像中的道路的信息进行识别，例如确定道路上的标志线(的位置)、道路(在世界坐标系下)的位置信息等。

首先，对于道路的确定方式，可以采用预先训练好的道路识别模型确定，或者利用车辆行驶轨迹确定。

以利用车辆行驶轨迹确定为例，可以对第一视频图像的多帧静态图像中的所有车辆进行识别。识别方式可以包括车牌号识别、车身颜色识别、车身图案识别或车辆类型识别中的一种或多种等。

通过对车辆识别，可以对不同车辆分配标识(id，identitydocument)以进行区分。在识别出的各车辆中，可以根据目标车辆的行驶轨迹确定出标志线。确定过程可以包括：根据各车辆的行驶轨迹，确定在行驶过程中出现停止的车辆。在各停止的车辆中筛选出停止在首排的车辆作为目标车辆，即前向不存在其他车辆的目标车辆。例如，可以设置距离阈值，在距离阈值内，前向不存在其他车辆的情况下，即可确定为目标车辆。

一般来说，由于红灯在路口或待转区停止的车辆，其车头会压在停止线上。基于此，可以根据预定数量的目标车辆的停止位置得到停止线。停止线可以作为第一视频图像中的标志线。

另外，在获取到各车辆的行驶轨迹的情况下，还可以根据行驶轨迹生成车道线。例如，可以预先在视频图像样本中确定车道的宽度。根据车道的宽度，将行驶轨迹的宽度进行扩展，从而得到与行驶轨迹匹配的车道。在车道的两侧分别标注出车道线。车道线同样可以作为第一视频图像中的标志线。

道路在世界坐标系下的位置信息的获取方式可以包括：利用图像采集设备的内参数可将道路对应的像素点坐标转换至图像采集设备的坐标系下。进一步利用标定好的图像采集设备的外参数，可将图像采集设备的坐标系下的坐标转换至世界坐标系下，从而获得道路在世界坐标系下的坐标。坐标可以包括二维坐标或三维坐标。

另外，道路的信息还可以包括道路的长度、道路的形状等。

其中，道路的长度可以是在第一视频图像中以像素点表示出来的长度。例如，第一视频图像的分辨率为1024*768，道路可以包括从第一视频图像下边缘至上边缘的直线道路，则该道路的长度可以表示为768。

道路的形状可以是直线型道路、弧线型(左转、右转或待转区)道路、u型(掉头)道路等。道路形状的表现方式可以是函数表达式。

计算第一视频图像中的道路的信息与道路的参考信息的差异度，根据差异度是否达到预定条件以确定道路是否发生变化。

道路的参考信息可以采用与在第一视频图像中的道路的信息相同的确定方式。例如，可以在图像采集设备安装完成的第一天或第一个月，对对应时间的多帧静态图像进行识别，根据识别结果得到道路的参考信息。另外，差异度可以是重合程度，也可以是区别程度等。预定条件可以是重合程度低于预定值，或者区别程度高于预定值等。

以标志线为停止线为例，预定条件为区别程度高于30％。通过对比确定，在第一视频图像中，多出一条停止线。即该停止线与道路的参考信息(道路的原各停止线)的区别程度为100％。结合车辆行驶轨迹可以确定，该停止线为左转待转区域对应的停止线。基于此可以确定，在第一视频图像中，道路发生变化，新增加一条左转待转区。

又例如，预定条件可以包括重合程度低于70％。在第一视频图像中包括两条道路，第一道路和第二道路。其中，第一道路与道路的参考信息中的世界坐标系下的位置信息的重合程度为100％，可以确定第一道路无变化。第二道路与道路的参考信息中的世界坐标系下的位置信息的重合度为60％，结合行驶轨迹可以确定，在第一视频图像中的第二道路出现道路封闭情况。

通过上述方案，可以根据道路的信息和道路的参考信息的比较结果，确定道路是否发生变化。例如，在出现道路封闭或者新修建道路等道路的物理变化时，可以根据道路在世界坐标系下的位置信息进行确认。在出现增加了待转区等道路的行驶属性变化时，可以根据道路上的标志线进行确认。由此可以实现准确、快速的确定道路变化情况。

如图2所示，在一种实施方式中，道路的确定方式，包括：

s201：在第一视频图像中，确定包含目标车辆的各帧静态图像。

s202：分别确定目标车辆在各帧静态图像中的位置。

s203：根据各位置确定目标车辆的行驶轨迹。

s204：根据行驶轨迹确定道路。

对于在第一视频图像中识别出的任意目标车辆，可以根据该目标车辆在第一视频图像的各帧静态图像中的位置，得到该目标车辆的行驶轨迹。

例如，在第n帧静态图像中第一次检测到标识为id1的目标车辆，则可以在第n帧静态图像之后的包含标识为id1的目标车辆的其他帧静态图像中，分别确定出标识为id1的车辆的位置。

每一个确定出的位置可以抽象为一个像素点或像素块，对确定出的各个位置进行拟合，可以得到标识为id1的目标车辆的行驶轨迹。

通过上述方案，利用车辆识别和跟踪技术，可以自动确定出目标车辆的行驶轨迹。

如图3所示，在一种实施方式中，道路的标志线的确定方式，包括：

s301：根据行驶轨迹，确定在行驶过程中出现停车的各第一目标车辆。

s302：获取前向预定范围内不存在其他车辆的第一目标车辆的停止位置。

s303：根据各停止位置，得到道路上的停止线，将停止线确定为道路的标志线。

仍以标识为id1的目标车辆为例进行说明。根据行驶轨迹，可以确定出标识为id1的目标车辆是否在行驶过程中出现停车。在出现停车的情况下，可以将标识为id1的目标车辆确定为第一目标车辆。

对于停车情况的确认，可以采用以下方式：例如，在第n帧静态图像中第一次检测到标识为id1的目标车辆，则从第n+1帧图像起，逐一对各帧静态图像进行遍历，筛选出包含标识为id1的目标车辆的各帧静态图像。

在筛选出的各帧静态图像中确定标识为id1的目标车辆的位置。该位置可以是在静态图像中的坐标位置，也可以是根据在静态图像中的坐标位置换算出的在世界坐标系下的位置。在标识为id1的目标车辆在连续多帧静态图像中的位置变化量低于阈值的情况下，可以确定标识为id1的目标车辆在行驶过程中出现停车情况。连续多帧可以是连续10帧，连续20帧等。另外，也可以是标识为id1的目标车辆在多帧非连续的静态图像中的位置变化量低于阈值的情况下，可以确定标识为id1的目标车辆在行驶过程中出现停车情况。

对于标识为id1的目标车辆在连续多帧静态图像中的位置变化量，可以直接从静态图像中确定。例如，在静态图像中，对于标识为id1的目标车辆的识别结果可以是一个检测框，在检测框中标记车辆的标识。可以以检测框的中心点作为该车辆的位置。根据标识为id1的目标车辆的检测框中心点在各帧静态图像中的坐标，可以计算出标识为id1的目标车辆的位置变化量。

进一步的，还需判断标识为id1的目标车辆在停止时，其前向预定范围内是否存在其他车辆。在不存在其他车辆的情况下，确认标识为id1的目标车辆为第一目标车辆，记录该第一目标车辆的停止位置。

一般来说，在红灯情况下，目标车辆在行驶过程中会停车。通过上述判断过程，可以筛选出停在第一排的第一目标车辆。利用筛选出的多个第一目标车辆的停止位置，即可确定出停止线的位置。

通过上述方案，可以利用预定数量的第一目标车辆的停止位置挖掘出路口停止线的位置。将停止线作为图像中的标志线，可以实现自动识别出图像中的标志线。

如图4所示，在一种方式中，步骤s204，包括：

s2041：根据目标车辆的类型确定道路宽度阈值。

s2042：利用道路宽度阈值对行驶轨迹进行宽度扩展，根据宽度扩展的结果确定道路。

目标车辆可以包括机动车和非机动车。进一步的，机动车可以划分为公交车和非公交车，非机动车可以划分为自行车或摩托车等。可以通过预先训练好的目标车辆识别模型区分出不同的目标车辆。

对于不同目标车辆，可以选择不同的道路宽度阈值。利用道路宽度阈值对行驶轨迹进行宽度扩展，即可得到道路。

例如，根据对目标车辆的识别可以确定目标车辆为自行车。在第一视频图像中出现多个自行车的行驶轨迹，经过统计计算可以将多个自行车的行驶轨迹聚合为一条行驶轨迹。则在生成道路时，可以根据自行车道的宽度阈值，对自行车的行驶轨迹进行宽度扩展，得到一条自行车道。

通过上述方案，可以根据目标车辆的类型对应得到不同道路。可以提高确定出的道路的准确性。

在一种实施方式中，道路监测的方法还包括：

在差异度未达到预定条件的情况下，利用第一视频图像中的道路的信息对道路的参考信息进行调整。

在第一视频图像中的道路信息与道路的参考信息的差异度未达到预定条件的情况下，可以确定道路并未发生变化。基于此，可以将第一视频图像中的道路的信息和道路的参考信息均作为样本。将样本进行统计，用统计结果替换道路的参考信息。例如，在道路的标志线是以像素点表示的情况下，可以统计各标志线的交集像素点，或者并集像素点等作为统计结果。或者，可以计算各标志线的中间线作为统计结果。

通过上述方案，在道路样本的数量足够多的情况下，对道路的参考信息进行调整的结果可以接近道路的信息的真值。

如图5所示，本申请提供一种道路的监测装置，包括：

道路的信息确定模块501，用于确定获取的第一视频图像中的道路的信息，道路的信息包括道路的标志线及道路的位置信息中的至少一项。

差异度计算模块502，用于计算第一视频图像中的道路的信息与道路的参考信息的差异度。

道路变化确定模块503，用于在差异度达到预定条件的情况下，确定道路发生变化。

如图6所示，在一种实施方式中，道路的信息确定模块501，包括：

目标车辆查询子模块5011，在第一视频图像中，确定包含目标车辆的各帧静态图像。

目标车辆位置确定子模块5012，用于分别确定目标车辆在各帧静态图像中的位置。

行驶轨迹确定子模块5013，用于根据各位置确定目标车辆的行驶轨迹。

道路确定子模块5014，用于根据行驶轨迹确定道路。

如图7所示，在一种实施方式中，道路的信息确定模块501，包括：

第一目标车辆确定子模块5015，用于根据行驶轨迹，确定在行驶过程中出现停车的各第一目标车辆。

第一目标车辆停止位置确定子模块5016，用于获取前向预定范围内不存在其他车辆的第一目标车辆的停止位置。

道路的标志线确定子模块5017，用于根据各停止位置，得到道路上的停止线，将停止线确定为道路的标志线。

如图8所示，在一种实施方式中，道路确定子模块5014，包括：

道路宽度阈值确定单元50141，用于根据目标车辆的类型确定道路宽度阈值；

道路确定执行单元50142，用于利用道路宽度阈值对行驶轨迹进行宽度扩展，根据宽度扩展的结果确定道路。

在一种实施方式中，道路的监测装置还包括：

道路的参考信息调整模块，用于在差异度未达到预定条件的情况下，利用第一视频图像中的道路的信息对道路的参考信息进行调整。

本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图9所示，是根据本申请实施例的道路监测的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图9所示，该电子设备包括：一个或多个处理器910、存储器920，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面(graphicaluserinterface，gui)的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器910为例。

存储器920即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的道路监测的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的道路监测的方法。

存储器920作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的道路监测的方法对应的程序指令/模块(例如，附图5所示的道路的信息确定模块501、差异度计算模块502和道路变化确定模块503)。处理器910通过运行存储在存储器920中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的道路监测的方法。

存储器920可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据道路监测的方法的电子设备的使用所创建的数据等。此外，存储器920可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器920可选包括相对于处理器910远程设置的存储器，这些远程存储器可以通过网络连接至上述电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

上述电子设备还可以包括：输入装置930和输出装置940。处理器910、存储器920、输入装置930和输出装置940可以通过总线或者其他方式连接，图9中以通过总线连接为例。

输入装置930可接收输入的数字或字符信息，以及产生与上述电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置940可以包括显示设备、辅助照明装置(例如，led)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(liquidcrystaldisplay，lcd)、发光二极管(lightemittingdiode，led)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用集成电路(applicationspecificintegratedcircuits，asic)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(programmablelogicdevice，pld))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(cathoderaytube，阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(localareanetwork，lan)、广域网(wideareanetwork，wan)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。