一种道路抛洒物检测方法、电子设备及存储介质与流程

1.本技术涉及车路协同技术领域，尤其涉及一种道路抛洒物检测方法、电子设备及存储介质。


背景技术：

2.道路抛洒物是引发道路交通事故的重要原因之一。比如，道路抛洒物容易导致车辆通行速度减缓，从而引发交通事故。针对于此，道路抛洒行为作为一种影响行驶安全的交通事件，需要及时地进行检测。
3.现阶段，通常采用人工巡检的方式或基于视频检测算法的检测方式来实现针对道路抛洒物的检测，但是，人工巡检的方式需要消耗大量的人力、物力，且无法对道路抛洒行为进行实时监测；且基于视频检测算法的检测方式存在检测精度低、检测距离短等缺陷。
4.综上，目前亟需一种道路抛洒物检测方法，用以实现针对全路段的道路抛洒物检测。


技术实现要素：

5.本技术示例性的实施方式中提供了一种道路抛洒物检测方法、电子设备及存储介质，用以实现针对全路段的道路抛洒物检测。
6.第一方面，本技术示例性的实施方式中提供了一种道路抛洒物检测方法，包括：
7.对道路监控区域内的视频图像采集设备采集的道路区域图像进行目标识别，确定在所述视频图像采集设备的视域范围内的第一道路抛洒物状况；
8.基于所述道路监控区域内各车辆的运动属性数据，确定在所述视频图像采集设备的视域范围外的第二道路抛洒物状况；所述第一道路抛洒物状况和所述第二道路抛洒物状况用于指示所述道路监控区域内的道路抛洒物状况；所述各车辆的运动属性数据是由车辆上报或者由设置在所述道路监控区域内的雷达设备采集的。
9.上述技术方案中，本技术中的技术方案通过充分融合视频图像采集设备以及通过车辆上报或道路监控区域内的雷达设备采集的各车辆的运动属性数据，其中，通过车辆自己所安装的感知设备(各种传感器等)能够实时采集车辆的运动属性数据并上报，不会受天气、光照等环境因素的影响，或者基于道路监控区域内设置的雷达设备通过发射电磁波等进行目标(比如车辆)定位，不会受天气、光照等环境因素的影响，可针对距离远的目标进行跟踪监控，如此即可打破视频图像采集设备的检测范围限制(视频图像采集设备的检测范围较小)，从而能够实现针对全路段的道路抛洒物检测。具体来说，针对任一道路监控区域，通过对该道路监控区域内的视频图像采集设备采集的道路区域图像进行目标识别，也即是针对采集的道路区域图像进行检测识别，以此判断道路区域图像中是否存在道路抛洒物，从而即可得到在视频图像采集设备的视域范围内的第一道路抛洒物状况。但是，由于视频图像采集设备的检测范围有限，因此针对在视频图像采集设备的检测范围外(即视域范围外)的区域是否存在道路抛洒物，可以通过对所获取的道路监控区域内各车辆的运动属性
数据进行分析处理，即可得到在视频图像采集设备的视域范围外的第二道路抛洒物状况。如此，该方案通过将针对视频图像采集设备采集的道路区域图像进行目标识别以及针对道路监控区域内各车辆的运动属性数据进行分析处理相融合，以此可以突破视频图像采集设备的检测限制，即可实现针对道路监控区域所在全路段的道路抛洒物检测，从而可以为确保车辆的行驶安全提供有效地支持。
10.在一些示例性的实施方式中，所述对道路监控区域内的视频图像采集设备采集的道路区域图像进行目标识别，确定在所述视频图像采集设备的视域范围内的第一道路抛洒物状况，包括：
11.从所述道路区域图像中划分出道路抛洒物待检测区域；
12.对所述道路抛洒物待检测区域进行前景目标检测，从所述道路抛洒物待检测区域中确定出至少一个第一候选对象；
13.对所述道路抛洒物待检测区域进行目标特征提取处理，从所述道路抛洒物待检测区域中确定至少一个第二候选对象；每个第二候选对象标记有抛洒物属性或非抛洒物属性；
14.基于所述至少一个第一候选对象和所述至少一个第二候选对象，确定在所述视频图像采集设备的视域范围内的第一道路抛洒物状况。
15.上述技术方案中，通过将针对道路抛洒物待检测区域进行前景目标检测所检测出的候选对象与针对道路抛洒物待检测区域进行目标特征提取处理所确定出的候选对象进行叠加融合，初步筛选出疑似道路抛洒物的对象，以此排除一些非抛洒物对象(比如人、车、非机动车等)，并针对疑似道路抛洒物的对象进行进一步确认，即可准确地确定疑似道路抛洒物的对象是否实际上属于道路抛洒物，以此可以有效地排除光线阴影导致的检测误报。
16.在一些示例性的实施方式中，所述对所述道路抛洒物待检测区域进行前景目标检测，从所述道路抛洒物待检测区域中确定出至少一个第一候选对象，包括：
17.将所述道路抛洒物待检测区域，通过混合高斯模型，确定出至少一个前景目标；每个前景目标为一个第一候选对象；
18.所述对所述道路抛洒物待检测区域进行目标特征提取处理，从所述道路抛洒物待检测区域中确定至少一个第二候选对象，包括：
19.将所述道路抛洒物待检测区域，通过目标检测模型，确定出所述至少一个第二候选对象；所述目标检测模型用于识别抛洒物目标及非抛洒物目标的属性和坐标位置。
20.上述技术方案中，通过混合高斯模型针对道路抛洒物待检测区域进行检测，即可比较全面地识别出道路抛洒物待检测区域中所存在的多个前景目标，而通过目标检测模型针对道路抛洒物待检测区域进行检测，能够比较准确地检测出道路抛洒物待检测区域中所存在的抛洒物目标及非抛洒物目标的属性和坐标位置。其中，混合高斯模型从道路抛洒物待检测区域中所检测出的目标数量是大于目标检测模型从道路抛洒物待检测区域中所检测出的目标数量，且目标检测模型的检测准确性高于混合高斯模型的检测准确性。如此，通过混合高斯模型和目标检测模型相结合，能够有效地提高道路抛洒物检测的召回率。
21.在一些示例性的实施方式中，所述基于所述至少一个第一候选对象和所述至少一个第二候选对象，确定在所述视频图像采集设备的视域范围内的第一道路抛洒物状况，包括：
22.基于所述至少一个第一候选对象和所述至少一个第二候选对象进行去重处理，将交并比大于等于第一设定阈值的第一候选对象和第二候选对象，确定为同一候选对象；
23.将去重处理后标记为抛洒物属性的候选对象或无标记的候选对象，通过目标分类模型，确定标记为抛洒物属性的候选对象或无标记的候选对象是否属于抛洒物目标，从而得到在所述视频图像采集设备的视域范围内的第一道路抛洒物状况。
24.上述技术方案中，通过将至少一个第一候选对象和至少一个第二候选对象进行去重处理，也即是将至少一个第一候选对象和至少一个第二候选对象进行叠加融合处理，并通过结合目标检测模型所检测出的非抛洒物目标，即可初步筛选出标记为抛洒物属性的候选对象或无标记的候选对象，也即是排除道路区域图像中的非抛洒物目标。再通过目标分类模型针对标记为抛洒物属性的候选对象或无标记的候选对象进行进一步确认，即可确定该标记为抛洒物属性的候选对象或无标记的候选对象是否实际上真的属于道路抛洒物，从而可以有效地排除光线阴影所导致的检测误报，以此能够提高道路抛洒物的检测准确性。
25.在一些示例性的实施方式中，所述基于所述道路监控区域内各车辆的运动属性数据，确定在所述视频图像采集设备的视域范围外的第二道路抛洒物状况，包括：
26.获取在所述视频图像采集设备的视域范围外采集时间属于预设时段内的各车辆的运动属性数据；
27.针对任一路面位置，基于在所述预设时段内所述路面位置对应的各车辆的运动属性数据，确定在所述预设时段内经所述路面位置的各车辆的第一数量及经所述路面位置且具有异常行为的各车辆的第二数量；所述异常行为包括减速、刹车或变道中的任一种；
28.基于所述第一数量和所述第二数量，确定所述路面位置的第二道路抛洒物状况。
29.上述技术方案中，针对视频图像采集设备的视域范围外是否存在道路抛洒物的检测，在获取采集时间属于预设时段内的各车辆的运动属性数据后，即可通过在预设时段内某一路面位置对应的各车辆具有的减速、刹车或变道等异常行为来实现针对视域范围外该路面位置是否存在道路抛洒物的检测。
30.在一些示例性的实施方式中，通过如下方式确定具有异常行为的各车辆的第二数量，包括：
31.针对具有异常行为的车辆，基于所述车辆在属于所述预设时段内各采集时间的运动属性数据确定所述车辆在所述路面位置是否存在超车或紧急避让前车情况；若存在，则所述第二数量减1。
32.上述技术方案中，为了排除车辆前向碰撞、车辆超车等导致的刹车、减速、变道行为，因此会针对具有异常行为的各车辆的运动属性数据进行筛除，以此来确保统计出的第二数量的准确性，从而可以有效地减少道路抛洒物检测的误报率。
33.在一些示例性的实施方式中，所述基于所述第一数量和所述第二数量，确定所述路面位置的第二道路抛洒物状况，包括：
34.若所述路面位置不处于岔口处，则在所述第二数量与所述第一数量的比值大于等于第二设定阈值时，确定所述第二道路抛洒物状况为所述路面位置存在道路抛洒物；或者，在所述第二数量与所述第一数量的比值小于所述第二设定阈值时，确定所述第二道路抛洒物状况为所述路面位置不存在道路抛洒物；
35.若所述路面位置处于岔口处，在所述第二数量与所述第一数量的比值位于所述第
二设定阈值与第三设定阈值之间时，确定所述第二道路抛洒物状况为所述路面位置不存在道路抛洒物；在所述第二数量与所述第一数量的比值大于等于所述第三设定阈值时，确定所述第二道路抛洒物状况为所述路面位置存在道路抛洒物；所述第三设定阈值大于所述第二设定阈值。
36.上述技术方案中，为了排除道路岔口(比如道路匝道出口)导致的车辆刹车、减速或变道行为，因此会在针对某一路面位置的道路抛洒物状况进行确定时，判断路面位置是否处于岔口处，如果路面位置不在岔口处区域，则在第二数量与第一数量的比值大于等于第二设定阈值时，即可确定该路面位置区域存在道路抛洒物，或者，在第二数量与第一数量的比值小于第二设定阈值时，确定该路面位置区域不存在道路抛洒物。或者，如果路面位置在岔口处区域，那么第二数量与第一数量的比值大于等于第三设定阈值时，才确定该路面位置区域存在道路抛洒物，或者，在第二数量与第一数量的比值位于第二设定阈值与第三设定阈值之间时，确定该路面位置区域不存在道路抛洒物。如此，该方案可以有效地减少道路抛洒物检测的误报率。
37.在一些示例性的实施方式中，还包括：
38.将所述第一道路抛洒物状况以及所述第二道路抛洒物状况通过设置在所述道路监控区域所在道路上的至少一个路侧设备进行广播，以使行驶在所述道路监控区域所在道路上的各车辆针对道路抛洒物进行避让。
39.上述技术方案中，在确定出某一道路监控区域内(比如某一交通路段)的道路抛洒物状况(比如抛洒物检测时间、道路抛洒物所在车道信息以及道路抛洒物位置信息等)后，即可将该道路监控区域内的道路抛洒物状况通过该道路监控区域内的至少一个路侧设备进行广播，以便该至少一个路侧设备所在监控范围内的各车辆能够及时地接收到该道路监控区域内的道路抛洒物状况，并针对道路抛洒物提前进行减速或变道避让，从而有效地确保车辆的行驶安全。
40.第二方面，本技术示例性的实施方式中提供了一种电子设备，包括处理器和存储器，所述处理器和所述存储器相连，所述存储器存储有计算机程序，当所述存储器中存储的所述计算机程序被所述处理器执行时，使得所述电子设备执行：对道路监控区域内的视频图像采集设备采集的道路区域图像进行目标识别，确定在所述视频图像采集设备的视域范围内的第一道路抛洒物状况；基于所述道路监控区域内各车辆的运动属性数据，确定在所述视频图像采集设备的视域范围外的第二道路抛洒物状况；所述第一道路抛洒物状况和所述第二道路抛洒物状况用于指示所述道路监控区域内的道路抛洒物状况；所述各车辆的运动属性数据是由车辆上报或者由设置在所述道路监控区域内的雷达设备采集的。
41.在一些示例性的实施方式中，所述电子设备具体用于执行：
42.从所述道路区域图像中划分出道路抛洒物待检测区域；
43.对所述道路抛洒物待检测区域进行前景目标检测，从所述道路抛洒物待检测区域中确定出至少一个第一候选对象；
44.对所述道路抛洒物待检测区域进行目标特征提取处理，从所述道路抛洒物待检测区域中确定至少一个第二候选对象；每个第二候选对象标记有抛洒物属性或非抛洒物属性；
45.基于所述至少一个第一候选对象和所述至少一个第二候选对象，确定在所述视频
图像采集设备的视域范围内的第一道路抛洒物状况。
46.在一些示例性的实施方式中，所述电子设备具体用于执行：
47.将所述道路抛洒物待检测区域，通过混合高斯模型，确定出至少一个前景目标；每个前景目标为一个第一候选对象；
48.所述电子设备具体用于执行：
49.将所述道路抛洒物待检测区域，通过目标检测模型，确定出所述至少一个第二候选对象；所述目标检测模型用于识别抛洒物目标及非抛洒物目标的属性和坐标位置。
50.在一些示例性的实施方式中，所述电子设备具体用于执行：
51.基于所述至少一个第一候选对象和所述至少一个第二候选对象进行去重处理，将交并比大于等于第一设定阈值的第一候选对象和第二候选对象，确定为同一候选对象；
52.将去重处理后标记为抛洒物属性的候选对象或无标记的候选对象，通过目标分类模型，确定标记为抛洒物属性的候选对象或无标记的候选对象是否属于抛洒物目标，从而得到在所述视频图像采集设备的视域范围内的第一道路抛洒物状况。
53.在一些示例性的实施方式中，所述电子设备具体用于执行：
54.获取在所述视频图像采集设备的视域范围外采集时间属于预设时段内的各车辆的运动属性数据；
55.针对任一路面位置，基于在所述预设时段内所述路面位置对应的各车辆的运动属性数据，确定在所述预设时段内经所述路面位置的各车辆的第一数量及经所述路面位置且具有异常行为的各车辆的第二数量；所述异常行为包括减速、刹车或变道中的任一种；
56.基于所述第一数量和所述第二数量，确定所述路面位置的第二道路抛洒物状况。
57.在一些示例性的实施方式中，所述电子设备具体用于执行：
58.针对具有异常行为的车辆，基于所述车辆在属于所述预设时段内各采集时间的运动属性数据确定所述车辆在所述路面位置是否存在超车或紧急避让前车情况；若存在，则所述第二数量减1。
59.在一些示例性的实施方式中，所述电子设备具体用于执行：
60.若所述路面位置不处于岔口处，则在所述第二数量与所述第一数量的比值大于等于第二设定阈值时，确定所述第二道路抛洒物状况为所述路面位置存在道路抛洒物；或者，在所述第二数量与所述第一数量的比值小于所述第二设定阈值时，确定所述第二道路抛洒物状况为所述路面位置不存在道路抛洒物；
61.若所述路面位置处于岔口处，在所述第二数量与所述第一数量的比值位于所述第二设定阈值与第三设定阈值之间时，确定所述第二道路抛洒物状况为所述路面位置不存在道路抛洒物；在所述第二数量与所述第一数量的比值大于等于所述第三设定阈值时，确定所述第二道路抛洒物状况为所述路面位置存在道路抛洒物；所述第三设定阈值大于所述第二设定阈值。
62.在一些示例性的实施方式中，所述电子设备还用于执行：
63.将所述第一道路抛洒物状况以及所述第二道路抛洒物状况通过设置在所述道路监控区域所在道路上的至少一个路侧设备进行广播，以使行驶在所述道路监控区域所在道路上的各车辆针对道路抛洒物进行避让。
64.第三方面，本技术实施例提供一种计算机可读存储介质，其存储有可由电子设备
执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行上述第一方面任意所述的道路抛洒物检测方法。
附图说明
65.为了更清楚地说明本技术的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
66.图1为本技术一些实施例提供的一种道路抛洒物检测方法的流程示意图；
67.图2为本技术一些实施例提供的一种在视频图像采集设备的视域范围内的道路抛洒物检测示意图；
68.图3为本技术一些实施例提供的一种在视频图像采集设备的视域范围外的道路抛洒物检测示意图；
69.图4为本技术一些实施例提供的一种电子设备的结构示意图。
具体实施方式
70.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，显然，所描述的实施例仅仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
71.图1示例性的示出了本技术实施例提供的一种道路抛洒物检测方法的流程，该流程可以由电子设备执行。其中，电子设备可以是服务器或者也可以是能够支持服务器实现该方法所需的功能的部件(比如芯片或集成电路)等，当然也可以是其它具有实现该方法所需的功能的设备，比如交通控制平台。
72.如图1所示，该流程具体包括：
73.步骤101，对道路监控区域内的视频图像采集设备采集的道路区域图像进行目标识别，确定在所述视频图像采集设备的视域范围内的第一道路抛洒物状况。
74.本技术实施例中，在高速公路或城市道路上通常都会设置有视频图像采集设备(比如视频监控摄像头)以及雷达设备(比如毫米波雷达)，比如在某一道路监控区域，该道路监控区域会设置有视频监控摄像头，或者设置有毫米波雷达，或者同时设置有视频监控摄像头和毫米波雷达。或者可以借助道路上行驶车辆中所配置的传感器等进行采集车辆的运动属性数据，并在采集好车辆运动属性数据通过车辆安装的车载设备进行上报给路侧设备。但是考虑到视频图像采集设备的检测范围有限，比如视频图像采集设备的最佳检测距离为50～70米，那么视频图像采集设备只能采集视域范围内的视频图像，而在外部环境质量差(比如大雾、暴雨等天气)的情况下，可能只能采集更小距离范围内的视频图像。然而，雷达设备是通过发射电磁波信号来采集车辆的运动属性数据，因此不会受到外部环境质量的影响，检测距离范围比较大，比如为100米或100米以上等，相对视频图像采集设备来说，能够采集更远距离范围的车辆的运动属性数据，比如雷达设备为毫米波雷达，毫米波雷达是工作频段在毫米波频段的雷达。毫米波雷达可主动发射电磁波信号，并接收回波，根据发射接收电磁波信号的时间差，获得车辆目标的相对距离、相对速度和相对方向。比如，以交
通控制平台作为执行本技术实施例的技术方案的执行主体为例进行描述，交通控制平台实时获取某一道路监控区域内视频监控摄像头采集的视频图像，以及毫米波雷达采集的各车辆的运动属性数据，并针对视频监控摄像头采集的视频图像进行目标识别，即可确定在视频图像采集设备的视域范围内的第一道路抛洒物状况，以及针对毫米波雷达采集的各车辆的运动属性数据进行分析处理，即可确定在视频图像采集设备的视域范围外的第二道路抛洒物状况，从而可更加全面地确定道路监控区域内的道路抛洒物状况。
75.具体地，针对某一道路监控区域，在获取到该道路监控区域内视频图像采集设备采集的道路区域图像后，即可针对该道路区域图像进行检测，从该道路区域图像中划分出道路抛洒物待检测区域。再针对道路抛洒物待检测区域进行前景目标检测，即可从道路抛洒物待检测区域中确定出至少一个候选对象，并针对道路抛洒物待检测区域进行目标特征提取处理，即可从道路抛洒物待检测区域中确定出至少一个第二候选对象，其中，每个第二候选对象标记有抛洒物属性或非抛洒物属性。然后，通过基于至少一个第一候选对象以及至少一个第二候选对象，即可确定出在视频图像采集设备的视域范围内的第一道路抛洒物状况。
76.其中，在划分道路抛洒物待检测区域时，针对道路区域图像进行车道线检测，识别出道路区域图像中各车道线的位置，并通过各车道线的位置，即可从道路区域图像中划分出道路抛洒物待检测区域。示例性地，通过深度学习算法(比如车道线检测算法)针对道路区域图像中的车道线目标进行检测，从而通过各车道线的坐标位置从道路区域图像中划分出道路抛洒物待检测区域。其中，车道线检测算法通常分为两种类型：一种是基于视觉特征来做语义分割或者实例分割，例如lanenet和scnn(spatial convolutional neural networks)；另一种是通过视觉特征来预测车道线所在位置的点，例如ultra-fast-lane-detection。本技术实施例是通过采用ultra-fast-lane-detection算法来完成针对道路区域图像中的车道线检测。其中，ultra-fast-lane-detection模型结构分为三个部分，即backbone(骨干网络)部分、auxiliary(辅助)部分和group classification(组分类)部分。backbone部分采用了较小的resnet18网络对图像特征进行提取，auxiliary部分对三层浅层特征进行了concat和上采样，增强视觉特征的提取能力，group classification部分在全局特征上进行行索引计算候选点，完成车道线候选点的选择。如此，本技术实施例通过ultra-fast-lane-detection算法所检测到的道路区域图像中的车道线坐标位置即可完成车道内道路抛洒物待检测区域的划分。或者，本技术实施例在车路协同场景下，可以通过高精度地图信息，获取车道的坐标位置、车道宽度，从而也能够完成车道内道路抛洒物待检测区域的划分。
77.再者，本技术实施例通过基于混合高斯模型(比如混合高斯背景建模算法)对道路抛洒物待检测区域中的前景目标进行检测，同时基于目标检测算法对道路抛洒物待检测区域中的目标进行检测，通过将两算法所检测出的目标进行叠加融合，即可完成针对道路抛洒物疑似区域的初步筛选，并可以排除道路区域图像中的人、车、非机动车等非抛洒物目标。也即是，将道路抛洒物待检测区域，通过混合高斯模型，即可确定出至少一个前景目标；其中，每个前景目标为一个第一候选对象。并将道路抛洒物待检测区域，通过目标检测模型，即可确定出至少一个第二候选对象；其中，目标检测模型用于识别抛洒物目标及非抛洒物目标的属性和坐标位置。如此，通过混合高斯模型针对道路抛洒物待检测区域进行检测，
即可比较全面地识别出道路抛洒物待检测区域中所存在的多个前景目标，而通过目标检测模型针对道路抛洒物待检测区域进行检测，能够比较准确地检测出道路抛洒物待检测区域中所存在的抛洒物目标及非抛洒物目标。其中，混合高斯模型从道路抛洒物待检测区域中所检测出的目标数量是大于目标检测模型从道路抛洒物待检测区域中所检测出的目标数量，且目标检测模型的检测准确性高于混合高斯模型的检测准确性。因此，通过混合高斯模型和目标检测模型相结合，能够有效地提高道路抛洒物检测的召回率。示例性地，针对道路抛洒物待检测区域进行前景目标检测，也即是找出道路抛洒物待检测区域中不属于背景的像素点集合，在本技术实施例中，“背景”就是指高速公路的路面。因此在进行前景目标检测之前，需要确定背景的像素值，也即是对背景建立模型。本技术实施例基于混合高斯背景建模算法对道路抛洒物待检测区域内的前景目标进行检测。其中，混合高斯建模本质上是根据一段时间内视频像素值的变化，用某种形式来描述背景像素的范围。首先为视频图像中每个像素点分配k个高斯分布当成背景模型，每个高斯模型都包含像素均值、方差和权值。其中，每个像素点的背景模型为：
[0078][0079]
其中，x
j,t
表示视频图像(即道路抛洒物待检测区域作为一个视频图像)中第j个像素点在t时刻的像素值，本技术实施例中进行背景建模的图像为彩色图像含有多个通道，则x
j,t
表示一个向量，p(x
j,t
)表示该像素点的背景分布情况，也即是第j个像素点在t时刻的背景模型。表示混合高斯背景模型中第i个高斯分布在t时刻的权值，即第i个高斯分布在混合高斯模型中的比重。表示在时刻t，第j个像素点的第i个高斯分布中的均值，表示在时刻t，第j个像素点的第i个高斯分布中的协方差，δ表示高斯分布的概率密度函数。
[0080]
将t+1时刻视频图像中像素点的值与混合高斯模型的均值进行比较，如果在方差范围内，则认为是背景，否则认为是前景。由此可以实现对视频图像中的像素点进行前景、背景的二分类。即：
[0081]
|x
i,t+1-μ
i,t
|≤d
×
σ
i,t
[0082]
其中，x
i,t+1
表示t+1时刻的像素值，μ
i,t
表示第i个高斯分布在t时刻的均值，σ
i,t
表示第i个高斯分布在t时刻的方差，d为常数，在本技术实施例中可以取3，如果像素点x
i,t+1
满足上述公式，则认为该像素点是背景点，否则为前景点。
[0083]
如此，混合高斯模型通过设置学习率，并根据混合高斯模型的匹配结果，不断更新背景模型，实现对背景的动态建模。比如，假设背景模型公式中的k取4，则每个像素点在每一个时刻(也即是每一帧)都用4个高斯分布表示该像素点的背景模型。其中，最初时刻的4个高斯分布的均值和方差是随机设定的，假设第一个高斯分布的均值是10，第二个高斯分布的均值为19，第三个均值为30，第四个均值是40。假设上述的四个高斯分布的方差均为2，每个高斯分布的权值ω都是0.25。如果某一时刻的像素值为20，像素值在第二个高斯分布的方差范围内，即|x
i,t+1-μ
i,t
|≤d
×
σ
i,t
，则该像素点是背景像素点，利用该像素值20更新第二个高斯分布的方差、均值和权重值，第一个、第三个、第四个高斯分布不更新。这样的作用是使得最接近像素值的高斯分布的权重值不断变大，p(x
j,t
)逐渐接近该像素点的真实背景
值。如果某一时刻的像素值为80，像素值不在高斯分布的方差范围内，即|x
i,t+1-μ
i,t
|》d
×
σ
i,t
，则该像素点是前景像素点，将第一个、第二个、第三个、第四个高斯分布中权重值最小的进行删除，新建立一个均值为80的高斯分布，代替上述被删除的高斯分布，这样就能动态实时的建立像素的背景模型。如此，通过混合高斯模型可以获取视频图像中的前景像素点，通过对像素点进行去噪处理，即可得到视频图像中的前景目标区域，即为道路抛洒物的疑似区域。
[0084]
同时，本技术实施例通过基于目标检测算法对道路抛洒物待检测区域中的目标进行检测。目标检测算法与混合高斯背景建模算法不同，是通过提取图像特征进行目标检测和定位。也即是，将道路抛洒物待检测区域，通过目标检测模型，即可确定出至少一个第二候选对象；其中，目标检测模型用于识别抛洒物目标及非抛洒物目标的属性和坐标位置。示例性地，本技术实施例以目标检测算法为yolov5(you only look once version 5)算法为例进行描述，也即是通过yolov5算法完成在视频图像采集设备视域范围内抛洒物的检测、定位。其中，yolov5算法的结构主要由三大部分组成，即backbone(骨干网络)、neck(颈层)以及head(检测头)。yolov5算法的backbone为cspdarknet53，该网络能从输入图像中提取丰富的信息特征。neck是一系列混合和组合图像特征的网络层，并将图像特征传递到预测层。yolov5算法的neck层是panet，能够完成特征金字塔从下到上、从上到下的特征提取，是一种骨干网络不同训练阶段聚集参数的方法，可以提高抛洒物目标特征的提取能力。head是检测头，用于对图像特征进行预测，生成抛洒物检测边界框。例如，以高速公路为例，高速公路上的道路抛洒物类型多种多样，通过基于高速公路上的视频图像采集设备所采集的监控视频图像，对常见的纸箱、包裹、轮胎、铁块、石头、水瓶、交通圆锥等抛洒物以及行人、机动车、非机动车等非抛洒物进行标注，构建抛洒物检测训练数据集，基于该抛洒物检测训练数据集完成针对yolov5算法的迭代训练。在yolov5算法推理过程中，将待检测的视频图像(即道路抛洒物待检测区域作为一个视频图像)输入到yolov5算法中，可以直接返回该视频图像中检测到的抛洒物目标的属性(或称为类型)、抛洒物目标的坐标位置、非抛洒物目标的属性(或称为类型)以及非抛洒物目标的坐标位置。
[0085]
以图2为例说明，图2中2-a为某一待检测视频图像，该待检测视频图像中存在4辆轿车car1、car2、car3、car4，2辆卡车trunk1、trunk2，2个抛洒物object1、object2。采用混合高斯背景建模算法针对该待检测视频图像进行检测，在视域范围内，可以检测出该待检测视频图像中的前景目标有如图2中2-b所示的点划线包围的car2、car3、car4、trunk2、object1、object2、树影。其中，混合高斯背景建模算法易受光照、阴影等环境因素的影响，此时在图2中2-b所示的树木倒影被误检成前景目标。采用目标检测算法针对该待检测视频图像进行检测，在视域范围内，可以检测出该待检测视频图像中的目标有如图2中2-c所示的点线包围的标记有非抛洒物属性的car2、car3、car4、trunk2以及标记有抛洒物属性的object2。
[0086]
此外，通过将至少一个第一候选对象和至少一个第二候选对象进行去重处理，也即是将至少一个第一候选对象和至少一个第二候选对象进行叠加融合处理，将交并比大于等于第一设定阈值的第一候选对象和第二候选对象，确定为同一候选对象。其中，第一设定阈值可以根据本领域技术人员的经验或可以根据多次实验所得结果或可以根据实际应用场景进行设置，本技术实施例对此并不作限定。然后，将去重处理后标记为抛洒物属性的候
选对象或无标记的候选对象，通过目标分类模型，确定标记为抛洒物属性的候选对象或无标记的候选对象是否属于抛洒物目标，从而得到在视频图像采集设备的视域范围内的第一道路抛洒物状况，也即是通过结合目标检测模型所检测出的非抛洒物目标，即可初步筛选出标记为抛洒物属性的候选对象或无标记的候选对象，从而可以排除道路区域图像中的非抛洒物目标。例如，通过将混合高斯背景建模算法和目标检测算法检出的各目标进行融合，并通过计算两个算法所检出的目标框的iou(intersection over union，交并比)，判断两算法检出的目标是否为同一目标。当iou大于融合阈值时，则视为同一目标，反之则为不同目标。再根据目标检测算法检出的人、车、非机动车等非抛洒物目标及各非抛洒物目标的坐标位置，即可剔除上述融合目标中的非抛洒物目标，剩余的即为如图2中2-d所示的点线包围的道路抛洒物疑似区域。然而，由于混合高斯背景建模算法极易受光线变化的影响，因此道路抛洒疑似区域中可能会存在误检的情况，本技术实施例基于目标分类算法对道路抛洒物疑似区域进行二次确认，以此排除光线阴影导致的检测误报。具体地，本技术实施例基于resnet50(残差网络residual network)完成对道路抛洒物疑似区域的二次验证。resnet50网络有两个基本的块，分别为conv block和identity block，其中，conv block的输入维度和输出维度不同，用于改变网络的维度；identity block的输入维度和输出维度相同，多个identity block串联用于加深网络。深度残差网络能够克服由于网络深度加深而产生的学习效率变低与准确率无法有效提升的问题，能够达到更好的特征提取效果。其中，本技术实施例基于高速公路上的视频图像采集设备所采集的监控视频图像，截取其中的抛洒物图像以及非抛洒物图像，并针对上述截取的抛洒物和非抛洒物进行类型标注，以此构建目标分类训练数据集，基于该目标分类训练数据集完成针对resnet50网络的迭代训练。再将道路抛洒疑似区域中的目标图像(即标记为抛洒物属性的抛洒物以及无标记的目标对象)截取出来，并resize(缩放)成固定的大小。然后，将缩放后的待检测目标图像输入到目标分类模型中，进行算法推理，可以直接返回该缩放后的待检测目标图像属于不同抛洒物及不同非抛洒物的概率，以此可以排除树木阴影导致的检测误报，也即是能够减少道路抛洒物检测的误报率，从而能够完成针对道路抛洒物的准确检测。
[0087]
步骤102，基于所述道路监控区域内各车辆的运动属性数据，确定在所述视频图像采集设备的视域范围外的第二道路抛洒物状况。
[0088]
本技术实施例中，由于视频图像采集设备的视域范围有限，在视频图像采集设备的视域范围外，针对视频图像检测所采用的检测算法存在较大的误差，检测算法无法有效地检测出道路抛洒物。因此，为了确保全路段的道路抛洒物实时检测，需要针对视频图像采集设备的视域范围外是否存在道路抛洒物进行检测，也即是，通过基于c-v2x(cellular vehicle-to-everything，蜂窝车联网)技术，获取车辆目标的速度、航向角、车道等运动状态信息，在一段时间内，通过多个车辆的刹车、减速、变道等异常驾驶行为实现视域范围外的抛洒物预测。并通过相邻车辆目标的运动状态信息，排除前向碰撞、车辆超车等导致的刹车、减速、变道行为，从而能够减少道路抛洒物检测的误报率。以及通过结合高精度地图信息，可以排除高速公路匝道出口导致的车辆刹车、减速、变道行为，从而能够减少道路抛洒物检测的误报率。具体地，首先获取在视频图像采集设备的视域范围外采集时间属于预设时段内的各车辆的运动属性数据，并针对任一路面位置，通过基于在预设时段内该路面位置对应的各车辆的运动属性数据，即可确定出在预设时段内经该路面位置的各车辆的第一
数量及经该路面位置且具有异常行为的各车辆的第二数量。其中，异常行为包括减速、刹车或变道中的任一种。然后，基于第一数量和第二数量，确定该路面位置的第二道路抛洒物状况。
[0089]
示例性地，针对道路抛洒事件进行分析时，可以发现，如果发生道路抛洒事件，则车辆驾车员在发现前方道路存在抛洒物时，通常会进行刹车、减速、变道等异常驾驶行为。比如，以图3为例说明，图3中3-a所示的车辆car2在时刻t位于左数第三个车道，在发现前方存在道路抛洒物object1时，车辆car2发生刹车、减速等行为，在时刻t+1，车辆car2踩踏刹车踏板，较t时刻，车速减小。在t+2时刻，车辆car2变道到左数第二个车道。较t时刻，车辆car2所处车道发生变化。
[0090]
比如图3中3-a所示的车辆car1、car2、car3、trunk1、trunk2均为智能网联车辆，智能网联车辆将自身的车速、高精度定位、刹车踏板踩踏情况等实时状态封装成车辆基本安全消息(basic safety message，bsm)，并将该基本安全消息对外进行广播，实时告知周围车辆及路侧设备rsu(road side unit)。假设在某一段时间time0内，路侧设备共接收到数量为num1个车辆的实时状态信息，其中，数量为num0个车辆在某一坐标位置(longitude1，latitude1)发生减速、刹车或变道行为，当num0/num1大于等于某一设定阈值时，即可判定道路中发生道路抛洒事件。需要说明的是，如果车辆为非智能网联车辆，此时路侧设备rsu无法通过c-v2x技术获取非智能网联车辆的运动状态信息，那么在路侧部署的边缘计算终端(multi-acess edge computing，mec)可以通过毫米波雷达、激光雷达等传感器的检测信息，来获取到非智能网联车辆的车速、高精度定位等信息，并将相关信息传输给路侧设备rsu，从而可以保证道路抛洒事件的实时检测。
[0091]
其中，为了排除车辆前向碰撞、车辆超车等导致的刹车、减速、变道行为，因此会针对具有异常行为的各车辆的运动属性数据进行筛除，以此来确保统计出的第二数量的准确性。因此，在确定具有异常行为的各车辆的第二数量时，会针对每个具有异常行为的车辆，通过基于该车辆在属于预设时段内各采集时间的运动属性数据，即可确定该车辆在该路面位置是否存在超车或紧急避让前车情况，如果存在，则第二数量会减去1。示例性地，图3中3-b所示的车辆car3在时刻t处于左数第二个车道，在时刻t+1处于左数第一个车道，且车辆car3的相对速度超过车辆car2，在时刻t+2车辆car3的相对位置超过车辆car2，则可以判定此时车辆car3的变道行为是超车导致的，此条变道数据不做统计。或者，路侧设备rsu接收车辆car2、car3的实时状态信息，当发现在时刻t，车辆car3发生刹车、减速等行为，同时分析车辆car2与车辆car3的相对距离，当发现时刻t车辆car2与车辆car3的相对距离，较时刻t-1，相对距离减小时，则可以判定此时车辆car3的刹车行为，是紧急避让前车car2导致的，此条刹车数据不做统计。
[0092]
此外，为了排除道路岔口(比如道路匝道出口)导致的车辆刹车、减速或变道行为，因此会在针对某一路面位置的道路抛洒物状况进行确定时，判断路面位置是否处于岔口处，如果路面位置不处于岔口处，则在第二数量与第一数量的比值大于等于第二设定阈值时，即可确定该路面位置的第二道路抛洒物状况为该路面位置存在道路抛洒物，或者，在第二数量与第一数量的比值小于第二设定阈值时，即可确定该路面位置的第二道路抛洒物状况为该路面位置不存在道路抛洒物。或者，如果路面位置处于岔口处，那么第二数量与第一数量的比值大于等于第三设定阈值时，才确定该路面位置的第二道路抛洒物状况为该路面
位置存在道路抛洒物，或者，在第二数量与第一数量的比值位于第二设定阈值与第三设定阈值之间时，可以确定该路面位置的第二道路抛洒物状况为该路面位置不存在道路抛洒物。如此，该方案可以有效地减少道路抛洒物检测的误报率。其中，第三设定阈值大于第二设定阈值；第二设定阈值、第三设定阈值可以根据本领域技术人员的经验或可以根据多次实验所得结果或可以根据实际应用场景进行设置，本技术实施例对此并不作限定。
[0093]
例如，图3中3-c所示的车辆car3在时刻t，处于右数第二个车道，在时刻t+1变道至右数第一个车道，较时刻t，车辆car3所处车道发生变化。路侧设备rsu接收车辆car3的实时状态信息，假设在某一段时间time0内，路侧设备共接收到数量为num1个车辆位于右数第二个车道的实时状态信息，其中，数量为num0个车辆最终变道到右数第一个车道，并根据高精度地图信息，路侧设备rsu检测到当前车辆处于高速匝道区域，那么在num0/num1的比值始终处于正常数值范围内(第二设定阈值与第三设定阈值之间)时，判定车辆的变道行为属于正常行为，因为车辆需要正常变道至右数第一个车道，以便从匝道口驶离当前道路，以此可以确定右数第二个车道未发生道路抛洒事件。如果num0/num1的比值不在正常数值范围内(即大于第三设定阈值)，则可以确定右数第二个车道发生道路抛洒事件。
[0094]
最后，在确定出某一道路监控区域内(比如某一交通路段)的道路抛洒物状况(包括第一道路抛洒物状况和第二道路抛洒物状况，比如抛洒物检测时间、道路抛洒物所在车道信息以及道路抛洒物位置信息等)后，即可将该道路监控区域内的道路抛洒物状况通过该道路监控区域内的至少一个路侧设备进行广播，以便该至少一个路侧设备所在监控范围内的各车辆通过自己安装的obu(on board unit，车载设备)能够及时地接收到该道路监控区域内的道路抛洒物状况，并针对道路抛洒物提前进行减速或变道避让，从而有效地确保车辆的行驶安全。同时，路侧设备rsu可以将检测到的道路抛洒物信息上传至道路监管平台，以便巡检人员能够及时地获知道路抛洒物信息，并针对道路抛洒物信息进行相应地处理。
[0095]
上述实施例表明，本技术中的技术方案通过充分利用视频图像采集设备以及通过车辆上报或道路监控区域内的雷达设备采集的各车辆的运动属性数据，其中，通过车辆自己所安装的感知设备(各种传感器等)能够实时采集车辆的运动属性数据并上报，不会受天气、光照等环境因素的影响，或者基于道路监控区域内设置的雷达设备通过发射电磁波等进行目标(比如车辆)定位，不会受天气、光照等环境因素的影响，可针对距离远的目标进行跟踪监控，如此即可打破视频图像采集设备的检测范围限制(视频图像采集设备的检测范围较小)，从而能够实现针对全路段的道路抛洒物检测。具体来说，针对任一道路监控区域，通过对该道路监控区域内的视频图像采集设备采集的道路区域图像进行目标识别，也即是针对采集的道路区域图像进行检测识别，以此判断道路区域图像中是否存在道路抛洒物，从而即可得到在视频图像采集设备的视域范围内的第一道路抛洒物状况。但是，由于视频图像采集设备的检测范围有限，因此针对在视频图像采集设备的检测范围外(即视域范围外)的区域是否存在道路抛洒物，可以通过对所获取的道路监控区域内各车辆的运动属性数据进行分析处理，即可得到在视频图像采集设备的视域范围外的第二道路抛洒物状况。如此，该方案通过将针对视频图像采集设备采集的道路区域图像进行目标识别以及针对道路监控区域内各车辆的运动属性数据进行分析处理相融合，也即是通过充分融合视频监控摄像头、毫米波雷达、边缘计算终端、c-v2x技术等车路协同技术设备的优势，不受天气、光
照、背景像素等环境因素的影响，能够突破视频监控摄像头的检测范围，即可实现针对道路抛洒物的自动检测，以此可以有效地减少人力成本、物力成本，以此可以突破视频图像采集设备的检测限制，从而实现针对道路监控区域所在全路段的道路抛洒物检测，进而可以为确保车辆的行驶安全提供有效地支持。
[0096]
基于相同的技术构思，图4示例性的示出了本技术实施例提供的一种电子设备，该电子设备可以执行道路抛洒物检测方法的流程。其中，电子设备可以是服务器或者也可以是能够支持服务器实现该方法所需的功能的部件(比如芯片或集成电路)等，当然也可以是其它具有实现该方法所需的功能的设备，比如交通控制平台。
[0097]
如图4所示，该电子设备包括处理器401和存储器402。本技术实施例中不限定处理器401与存储器402之间的具体连接介质，以图4中处理器401和存储器402之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。所述存储器402存储有计算机程序，当所述存储器402中存储的所述计算机程序被所述处理器401执行时，使得所述电子设备执行：对道路监控区域内的视频图像采集设备采集的道路区域图像进行目标识别，确定在所述视频图像采集设备的视域范围内的第一道路抛洒物状况；基于所述道路监控区域内各车辆的运动属性数据，确定在所述视频图像采集设备的视域范围外的第二道路抛洒物状况；所述第一道路抛洒物状况和所述第二道路抛洒物状况用于指示所述道路监控区域内的道路抛洒物状况；所述各车辆的运动属性数据是由车辆上报或者由设置在所述道路监控区域内的雷达设备采集的。
[0098]
在一些示例性的实施方式中，所述电子设备具体用于执行：
[0099]
从所述道路区域图像中划分出道路抛洒物待检测区域；
[0100]
对所述道路抛洒物待检测区域进行前景目标检测，从所述道路抛洒物待检测区域中确定出至少一个第一候选对象；
[0101]
对所述道路抛洒物待检测区域进行目标特征提取处理，从所述道路抛洒物待检测区域中确定至少一个第二候选对象；每个第二候选对象标记有抛洒物属性或非抛洒物属性；
[0102]
基于所述至少一个第一候选对象和所述至少一个第二候选对象，确定在所述视频图像采集设备的视域范围内的第一道路抛洒物状况。
[0103]
在一些示例性的实施方式中，所述电子设备具体用于执行：
[0104]
将所述道路抛洒物待检测区域，通过混合高斯模型，确定出至少一个前景目标；每个前景目标为一个第一候选对象；
[0105]
所述电子设备具体用于执行：
[0106]
将所述道路抛洒物待检测区域，通过目标检测模型，确定出所述至少一个第二候选对象；所述目标检测模型用于识别抛洒物目标及非抛洒物目标的属性和坐标位置。
[0107]
在一些示例性的实施方式中，所述电子设备具体用于执行：
[0108]
基于所述至少一个第一候选对象和所述至少一个第二候选对象进行去重处理，将交并比大于等于第一设定阈值的第一候选对象和第二候选对象，确定为同一候选对象；
[0109]
将去重处理后标记为抛洒物属性的候选对象或无标记的候选对象，通过目标分类模型，确定标记为抛洒物属性的候选对象或无标记的候选对象是否属于抛洒物目标，从而得到在所述视频图像采集设备的视域范围内的第一道路抛洒物状况。
[0110]
在一些示例性的实施方式中，所述电子设备具体用于执行：
[0111]
获取在所述视频图像采集设备的视域范围外采集时间属于预设时段内的各车辆的运动属性数据；
[0112]
针对任一路面位置，基于在所述预设时段内所述路面位置对应的各车辆的运动属性数据，确定在所述预设时段内经所述路面位置的各车辆的第一数量及经所述路面位置且具有异常行为的各车辆的第二数量；所述异常行为包括减速、刹车或变道中的任一种；
[0113]
基于所述第一数量和所述第二数量，确定所述路面位置的第二道路抛洒物状况。
[0114]
在一些示例性的实施方式中，所述电子设备具体用于执行：
[0115]
针对具有异常行为的车辆，基于所述车辆在属于所述预设时段内各采集时间的运动属性数据确定所述车辆在所述路面位置是否存在超车或紧急避让前车情况；若存在，则所述第二数量减1。
[0116]
在一些示例性的实施方式中，所述电子设备具体用于执行：
[0117]
若所述路面位置不处于岔口处，则在所述第二数量与所述第一数量的比值大于等于第二设定阈值时，确定所述第二道路抛洒物状况为所述路面位置存在道路抛洒物；或者，在所述第二数量与所述第一数量的比值小于所述第二设定阈值时，确定所述第二道路抛洒物状况为所述路面位置不存在道路抛洒物；
[0118]
若所述路面位置处于岔口处，在所述第二数量与所述第一数量的比值位于所述第二设定阈值与第三设定阈值之间时，确定所述第二道路抛洒物状况为所述路面位置不存在道路抛洒物；在所述第二数量与所述第一数量的比值大于等于所述第三设定阈值时，确定所述第二道路抛洒物状况为所述路面位置存在道路抛洒物；所述第三设定阈值大于所述第二设定阈值。
[0119]
在一些示例性的实施方式中，所述电子设备还用于执行：
[0120]
将所述第一道路抛洒物状况以及所述第二道路抛洒物状况通过设置在所述道路监控区域所在道路上的至少一个路侧设备进行广播，以使行驶在所述道路监控区域所在道路上的各车辆针对道路抛洒物进行避让。
[0121]
在本技术实施例中，存储器402存储有可被至少一个处理器401执行的指令，至少一个处理器401通过执行存储器402存储的指令，可以执行前述的道路抛洒物检测方法中所包括的步骤。
[0122]
其中，处理器401是电子设备的控制中心，可以利用各种接口和线路连接电子设备的各个部分，通过运行或执行存储在存储器402内的指令以及调用存储在存储器402内的数据，从而实现数据处理。可选的，处理器401可包括一个或多个处理单元，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理下发指令。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。在一些实施例中，处理器401和存储器402可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
[0123]
处理器401可以是通用处理器，例如中央处理器(cpu)、数字信号处理器、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器
等。结合道路抛洒物检测方法实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
[0124]
存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器402可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(random access memory，ram)、静态随机访问存储器(static random access memory，sram)、可编程只读存储器(programmable read only memory，prom)、只读存储器(read only memory，rom)、带电可擦除可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、磁性存储器、磁盘、光盘等等。存储器402是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本技术实施例中的存储器402还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
[0125]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0126]
本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0127]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0128]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0129]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0130]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。