智能城市清扫车作业监视方法和装置与流程
本发明涉及智能作业监视技术领域，尤其涉及一种智能城市清扫车作业监视方法和装置。
背景技术：
当前，随着城市的快速发展，城市道路环卫的任务也愈加繁重，其中道路清扫车对城市道路环卫的作用尤为突出。但是，在实际使用和运行当中，环卫作业车辆不在规定路线行驶、调度滞后、不按规定作业的情况时有发生，常常给车辆归属单位或管理部门造成了各种损失，而过去采取的各种紧急措施往往只能做到事后补救，难以满足实时监控和及时管理的迫切需求。
环卫作业车辆(包括清扫车、洒水车、垃圾运输车等)外出运行路线、作业时间、作业次数都有明确规定和作业标准，由于作业区域广、面积大、车辆是否按规定进行作业，监管起来难度非常大，无法实时调度。
因此，如何对城市清扫车是否在规定时间出现在指定的道路作业进行监控，仍然是本领域技术人员亟待解决的问题。
技术实现要素：
本发明实施例提供一种智能城市清扫车作业监视方法和装置，用以解决现有技术中的无法对城市清扫车是否在规定时间出现在指定道路作业进行监控的问题。
第一方面，本发明实施例提供一种智能城市清扫车作业监视方法，包括：
基于gps模块获取的清扫车位置信息，判断清扫车是否处于指定工作区域；
若所述清扫车未处于指定工作区域，则提醒驾驶员驾驶清扫车进入所述指定工作区域；
所述清扫车进入所述指定工作区域后，采集主要工作部件图像，基于所述主要工作部件图像检测主要工作部件的工作状态。
优选地，所述基于所述主要工作部件图像检测主要工作部件的工作状态，之后还包括：
若检测到所述主要工作部件处于未工作状态，则采集路面图像，基于所述路面图像检测所述清扫车所在道路上是否有垃圾；
若检测到道路上有垃圾，则发出道路有垃圾的告警。
优选地，所述基于所述主要工作部件图像检测主要工作部件的工作状态，具体包括：
通过fcos目标检测算法对所述主要工作部件图像进行检测，确定所述主要工作部件的工作状态；
所述基于所述路面图像检测所述清扫车所在道路上是否有垃圾，具体包括：
通过fcos目标检测算法对所述路面图像进行检测，判断所述清扫车所在道路上是否有垃圾。
优选地，所述通过fcos目标检测算法对所述主要工作部件图像进行检测，具体包括：
执行fcos目标检测算法时采用整数运算代替浮点运算；
所述通过fcos目标检测算法对所述路面图像进行检测，具体包括：
执行fcos目标检测算法时采用整数运算代替浮点运算。
优选地，所述主要工作部件包括扫刷、洒水喷头和吸尘装置中的至少一种；
对应地，所述基于所述主要工作部件图像检测主要工作部件的工作状态，具体包括：
基于所述扫刷对应的图像检测所述扫刷的工作臂是伸出状态还是收缩状态，基于所述洒水喷头对应的图像检测所述洒水喷头是出水喷洒还是不出水喷洒，以及基于所述吸尘装置对应的图像检测所述吸尘装置是伸出吸尘还是处于悬挂位置中的至少一种。
优选地，所述提醒驾驶员驾驶清扫车进入所述指定工作区域，具体包括：通过语音提醒驾驶员驾驶清扫车进入所述指定工作区域；
所述发出道路有垃圾的告警，具体包括：
通过语音发出道路有垃圾的告警并在车载设备显示屏上显示垃圾位置。
第二方面，本发明实施例提供一种智能城市清扫车作业监视装置，包括:
判断单元，用于基于gps模块获取的清扫车位置信息，判断清扫车是否处于指定工作区域；
提醒单元，用于若所述清扫车未处于指定工作区域，则提醒驾驶员驾驶清扫车进入所述指定工作区域；
部件工作检测单元，用于所述清扫车进入所述指定工作区域后，采集主要工作部件图像，基于所述主要工作部件图像检测主要工作部件的工作状态。
优选地，所述智能城市清扫车作业监视装置，还包括：
垃圾检测单元，用于若检测到所述主要工作部件处于未工作状态，则采集路面图像，基于所述路面图像检测所述清扫车所在道路上是否有垃圾；
告警单元，用于若检测到道路上有垃圾，则发出道路有垃圾的告警。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如第一方面所提供的智能城市清扫车作业监视方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如第一方面所提供的智能城市清扫车作业监视方法的步骤。
本发明实施例提供的一种智能城市清扫车作业监视方法和装置，通过获取的清扫车的位置信息判断出当前清扫车是否处于指定工作区域，可以实时地监督清扫车在规定时刻处于规定位置，再在清扫车处于指定工作区域后，监视主要工作部件的工作状态，可以实时监控清扫车是否在作业。。如此，可以克服由于作业区域广、面积大带来的监管难度大的问题，实现清扫车的实时调度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的智能城市清扫车作业监视方法的流程示意图；
图2为本发明实施例提供的另一智能城市清扫车作业监视方法的流程示意图；
图3为本发明实施例提供的智能城市清扫车作业监视装置的结构示意图；
图4为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
环卫作业车辆外出运行路线、作业时间、作业次数都有明确规定和作业标准，由于作业区域广、面积大，车辆是否按照规定进行作业，监管起来难度非常大，无法实时调度。对此，本发明实施例提供了一种智能城市清扫车作业监视方法。图1为本发明实施例提供的智能城市清扫车作业监视方法的流程示意图，如图1所示，该方法包括：
步骤110，基于gps模块获取的清扫车位置信息，判断清扫车是否处于指定工作区域。
具体地，位于清扫车上的gps模块采集清扫车的实时位置信息，上传至后天监视服务器，后台监视服务器根据接收到的清扫车的位置信息，根据存储的该清扫车的全天行驶路线判断当前清扫车是否处于指定的道路上。
步骤120，若所述清扫车未处于指定工作区域，则提醒驾驶员驾驶清扫车进入所述指定工作区域。
具体地，若后台监视服务器判断结果是清扫车未处于指定工作区域，则后台监视服务器发出提醒驾驶员驾驶清扫车进入指定的道路的指令给清扫车以提醒驶员驾驶清扫车进入所述指定工作区域。
步骤130，所述清扫车进入所述指定工作区域后，采集主要工作部件图像，基于所述主要工作部件图像检测主要工作部件的工作状态。
具体地，当清扫车进入指定工作区域后，车载摄像头采集主要工作部件图像，例如扫刷、洒水喷头或者吸尘装置等，此处不做具体限定，基于主要工作部件图像判断主要工作部件是否处于工作状态，通过图像检测判断主要工作部件是处于工作状态还是非工作状态的图像检测算法有很多，例如fcos图像检测算法、fast-scnn图像检测算法等。
本发明实施例提供的方法，基于gps模块获取的清扫车位置信息，判断所述清扫车是否处于指定工作区域，若所述清扫车未处于指定工作区域，则提醒驾驶员驾驶清扫车进入所述指定工作区域，所述清扫车进入所述指定工作区域后，采集主要工作部件图像，基于所述主要工作部件图像检测主要工作部件的工作状态。如此，就可以监视城市清扫车是否在规定时间处于指定道路，当清洁车进入指定道路后，还要检测主要工作部件是否处于工作状态，从而实现监视城市清扫车作业情况。
基于上述实施例，该方法中，所述基于所述主要工作部件图像检测主要工作部件的工作状态，之后还包括：
若检测到所述主要工作部件处于未工作状态，则采集路面图像，基于所述路面图像检测所述清扫车所在道路上是否有垃圾；
若检测到道路上有垃圾，则发出道路有垃圾的告警。
具体地，当检测到主要工作部件处于未工作状态后，车载摄像头就会采集路面图像，并基于路面图像检测清扫车所在道路上是否有垃圾，通过图像检测的方法判断路面图像上是否存在垃圾的算法有很多，例如fcos图像检测算法、fast-scnn图像检测算法等，此处不作具体限定。若检测到道路上存在有垃圾，则通常通过车载显示屏突出显示出垃圾的位置，例如通过带颜色的矩形框框住垃圾，或者在垃圾周围采用图像进行标记，同时发出有垃圾的告警，如语音形式的告警或者是显示屏上的闪动告警，此处不作具体限定。
图2为本发明实施例提供的另一智能城市清扫车作业监视方法的流程示意图。如图2所示，首先，基于gps模块采集的清扫车位置信息判定清扫车是否处于指定工作区域，当清扫车未处于指定工作区域时，提示驾驶员驾驶员进入指定工作区域，之后，再检测主要工作部件是否处于工作状态，若检测出主要工作部件处于未工作状态，则开始检测前方道路上是否有垃圾，如果存在垃圾，则发出道路有垃圾的告警。
本发明实施例提供的方法，通过在清扫车的主要工作部件处于未工作状态时，检测道路是否存在垃圾，当检测到道路上有垃圾，提醒驾驶员垃圾的存在。如此，可以在道路检测到垃圾时才启用清扫部件，避免清扫车上的清扫部件在没有道路垃圾的情况下一直空转，减少了能耗。
基于上述任一实施例，该方法中，所述基于所述主要工作部件图像检测主要工作部件的工作状态，具体包括：
通过fcos目标检测算法对所述主要工作部件图像进行检测，确定所述主要工作部件的工作状态；
所述基于所述路面图像检测所述清扫车所在道路上是否有垃圾，具体包括：
通过fcos目标检测算法对所述路面图像进行检测，判断所述清扫车所在道路上是否有垃圾。
具体地，通过fcos(fullyconvolutionalonestage，全卷积一阶段)目标检测算法对主要工作部件图像进行检测和对路面图像进行检测，它以对每个像素进行预测的方式来解决目标检测的问题，相比依赖于预定义的候选框的目标检测网络，fcos通过消除对预定义候选框的依赖，完全避免了与候选框相关的复杂计算，降低了计算量，提高了检测的实时性。
fcos目标检测算法的整体框架包括：主干网络为fpn(featurepyramidnetworks)特征金字塔和三分支的头检测网络。
fpn特征金字塔在提出之后，已经得到了广泛的使用，在多个领域中都可以看到它的身影，如语义分割、细粒度分类等等，它的主要思路是结合网络的浅层特征和深层特征，然后在多个分支同时输出不同大小的目标，充分使用了网络的浅层特征和深层特征；其中，浅层特征更关注一些细节信息，适合用来定位，深层特征更关注于语义信息，适合用来分类等。
fcos目标检测算法的实现步骤如下所示：
(1)对输入的图片进行预处理操作；
(2)搭建如图所示的网络架构，将输入数据送入主干网络中获取的输入数据的特征图，在特征图的每一点上面进行回归操作，并进行网络训练获取网络模型；
(3)将预训练的网络模型应用到测试图片中，从特征金字塔的多个头(head)中获得预测的结果；
(4)使用nms(非极大值抑制)等后处理操作获得最终的结果。
(5)fcos(fullyconvolutionalonestage)目标检测网络详述如下：
设fi∈rh×w×c，其中，fi代表特征图，r是实数集，h、w、c分别是图像的高度、宽度、通道数。骨干cnn(卷积神经网络)的第i层特征图，s是该层之前的总行间距，输入图像的gtbox(真值框)定义为{bi}，其中，bi＝(x0(i),y0(i),x1(i),y1(i),c(i)∈r4×{1,2,…,c})，其中，(x0(i),y0(i))和(x1(i),y1(i))表示边界框的左上角和右下角的坐标。c(i)是边界框中的对象所属的类，c是类的数量。
对于特征图fi上的每个位置(x,y)，我们可以将其映射回输入图像的坐标
具体而言，如果特征图上的位置(x,y)落入到任何真值框内部，那么就将其视为正样本，并且该位置的类标签c*就是bi的类标签。否则它就是负样本并且c*＝0(类背景)。除了用于分类的标签之外，fcos还有一个4d的实数向量t*＝(l*,t*,r*,b*)，该向量是每个样本的回归目标，其中，l*、t*、r*、b*是从位置(x，y)在原图上的映射到预测阶段的检测框四条边的距离。如果某个位置属于多个边界框，则会将其视为模糊样本。现在，我们只选择具有最小面积的边界框作为其回归目标(最简单的策略)。网络通过多级预测，可以显著减少模糊样本的数量。形式上，如果位置(x,y)与边界框bi相关联，则该位置的训练回归目标可以表示为：
fcos可以利用尽可能多的前景样本来训练回归量，真值框内的每个像素点都是正样本，它与基于锚点的探测器不同，基于锚点的探测器仅仅将与真值框具有足够交并比的锚点框作为正样本，这也是fcos优于基于锚点网络的原因之一。
在网络输出部分，对应于训练目标，fcos网络的最后一层会预测用于分类的向量p和检测框坐标4d向量t＝(l,t,r,b)，其中，l、t、r、b是指网络最后一层输出的特征图上的位置在原图上的映射到预测阶段的检测框四条边的距离。跟随r-cnn(基于候选区域的卷积神经网络)的做法，fcos不是训练多分类器，而是训练多个二元分类器。与r-cnn类似，在骨干网络的特征图之后分别为分类和回归分支添加四个卷积层。此外，由于回归目标总是正的，我们使用exp(x)(指数运算)将任意的实数都映射到回归分支顶部的(0，∞)。值得注意的是，fcos的网络输出变量为常用的基于锚点的探测器的9分之一，其中每个位置有9个锚点框。损失函数如下：
式中，lcls是focalloss(一种经典损失函数)，lreg是iouloss(交并比损失函数)，npos代表正样本的数量，λ在这里为1。
基于上述任一实施例，该方法中，所述通过fcos目标检测算法对所述主要工作部件图像进行检测，具体包括：
执行fcos目标检测算法时采用整数运算代替浮点运算；
所述通过fcos目标检测算法对所述路面图像进行检测，具体包括：
执行fcos目标检测算法时采用整数运算代替浮点运算。
具体地，对fcos目标检测算法采用整数运算代替浮点运算，即对fcos目标检测算法将基于float类型的推理计算改为基于int8量化的推理计算，由于车载嵌入式平台的计算能力有限，处理float类型数据的速度相对较慢，改为int8量化的推理计算后，提高对每一帧图像前向推理的速度。
基于上述任一实施例，该方法中，所述主要工作部件包括扫刷、洒水喷头和吸尘装置中的至少一种；
对应地，所述基于所述主要工作部件图像检测主要工作部件的工作状态，具体包括：
基于所述扫刷对应的图像检测所述扫刷的工作臂是伸出状态还是收缩状态，基于所述洒水喷头对应的图像检测所述洒水喷头是出水喷洒还是不出水喷洒，以及基于所述吸尘装置对应的图像检测所述吸尘装置是伸出吸尘还是处于悬挂位置中的至少一种。
具体地，通常清扫车都有扫刷、洒水喷头和吸尘装置，故此处将其中至少一种作为清扫车的主要工作部件。对扫刷是否处于工作状态的判断其实就是通过图像检测算法判断采集的扫刷的图像中扫刷的工作臂是伸出状态还是收缩状态，对洒水喷头是否处于工作状态的判断其实就是通过图像检测算法判断采集的洒水喷头的图像中洒水喷头是出水喷洒还是不出水喷洒，对吸尘装置是否处于工作状态的判断其实就是通过图像检测算法判断采集的吸尘装置的图像中吸尘装置是伸出吸尘状态还是处于悬挂位置，上述方式都是通过图像检测算法实现对工作部件的状态进行二分类的判断实现。
基于上述任一实施例，该方法中，所述提醒驾驶员驾驶清扫车进入所述指定工作区域，具体包括：通过语音提醒驾驶员驾驶清扫车进入所述指定工作区域；
所述发出道路有垃圾的告警，具体包括：
通过语音发出道路有垃圾的告警并在车载设备显示屏上显示垃圾位置。
具体地，在清扫车收到后台监视服务器的提醒驾驶员驾驶清洁车进入指定工作区域的指令后，清扫车通过语音播报的方式直接对驾驶员发出进入指定工作区域的指令；发出道路上有垃圾的告警也是清扫车通过语音播放的方式对驾驶员发出前方道路上有垃圾的告警并在车载设备的显示屏上突出显示垃圾的位置，例如通过带颜色的矩形框标出垃圾或者在垃圾旁边显示几何图像以示提醒，对于如何显示垃圾位置此处不作具体限定。
基于上述任一实施例，图3为本发明实施例提供的智能城市清扫车作业监视装置的结构示意图。如图3所示，所述智能城市清扫车作业监视装置包括判断单元310、提醒单元320和部件工作检测单元330，其中，
所述判断单元310，用于基于gps模块获取的清扫车位置信息，判断清扫车是否处于指定工作区域；
所述提醒单元320，用于若所述清扫车未处于指定工作区域，则提醒驾驶员驾驶清扫车进入所述指定工作区域；
所述部件工作检测单元330，用于所述清扫车进入所述指定工作区域后，采集主要工作部件图像，基于所述主要工作部件图像检测主要工作部件的工作状态。
本发明实施例提供的装置，基于gps模块获取的清扫车位置信息，判断所述清扫车是否处于指定工作区域，若所述清扫车未处于指定工作区域，则提醒驾驶员驾驶清扫车进入所述指定工作区域，所述清扫车进入所述指定工作区域后，采集主要工作部件图像，基于所述主要工作部件图像检测主要工作部件的工作状态。如此，就可以监视城市清扫车是否在规定时间处于指定道路，当清洁车进入指定道路后，还要检测主要工作部件是否处于工作状态，从而实现监视城市清扫车作业情况。
基于上述任一实施例，所述智能城市清扫车作业监视装置，还包括：
垃圾检测单元，用于若检测到所述主要工作部件处于未工作状态，则采集路面图像，基于所述路面图像检测所述清扫车所在道路上是否有垃圾；
告警单元，用于若检测到道路上有垃圾，则发出道路有垃圾的告警。
基于上述任一实施例，所述智能城市清扫作业监视装置中，所述基于所述主要工作部件图像检测主要工作部件的工作状态，具体包括：
通过fcos目标检测算法对所述主要工作部件图像进行检测，确定所述主要工作部件的工作状态；
所述基于所述路面图像检测所述清扫车所在道路上是否有垃圾，具体包括：
通过fcos目标检测算法对所述路面图像进行检测，判断所述清扫车所在道路上是否有垃圾。
基于上述任一实施例，所述智能城市清扫作业监视装置中，所述通过fcos目标检测算法对所述主要工作部件图像进行检测，具体包括：
执行fcos目标检测算法时采用整数运算代替浮点运算；
所述通过fcos目标检测算法对所述路面图像进行检测，具体包括：
执行fcos目标检测算法时采用整数运算代替浮点运算。
基于上述任一实施例，所述智能城市清扫作业监视装置中，所述主要工作部件包括扫刷、洒水喷头和吸尘装置中的至少一种；
对应地，所述基于所述主要工作部件图像检测主要工作部件的工作状态，具体包括：
基于所述扫刷对应的图像检测所述扫刷的工作臂是伸出状态还是收缩状态，基于所述洒水喷头对应的图像检测所述洒水喷头是出水喷洒还是不出水喷洒，以及基于所述吸尘装置对应的图像检测所述吸尘装置是伸出吸尘还是处于悬挂位置中的至少一种。
基于上述任一实施例，所述智能城市清扫作业监视装置中，所述提醒驾驶员驾驶清扫车进入所述指定工作区域，具体包括：通过语音提醒提醒驾驶员驾驶清扫车进入所述指定工作区域；
所述发出道路有垃圾的告警，具体包括：
通过语音发出道路有垃圾的告警并在车载设备显示屏上显示垃圾位置。
图4为本发明实施例提供的电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)401、通信接口(communicationsinterface)402、存储器(memory)403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储在存储器403上并可在处理器401上运行的计算机程序，以执行上述各实施例提供的智能城市清扫车作业监视方法，例如包括：基于gps模块获取的清扫车位置信息，判断清扫车是否处于指定工作区域；若所述清扫车未处于指定工作区域，则提醒驾驶员驾驶清扫车进入所述指定工作区域；所述清扫车进入所述指定工作区域后，采集主要工作部件图像，基于所述主要工作部件图像检测主要工作部件的工作状态。
此外，上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的智能城市清扫车作业监视方法，例如包括：基于gps模块获取的清扫车位置信息，判断清扫车是否处于指定工作区域；若所述清扫车未处于指定工作区域，则提醒驾驶员驾驶清扫车进入所述指定工作区域；所述清扫车进入所述指定工作区域后，采集主要工作部件图像，基于所述主要工作部件图像检测主要工作部件的工作状态。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
- 还没有人留言评论。精彩留言会获得点赞！