智慧城市街道管理方法、物联网系统、装置和存储介质与流程

1.本说明书涉及智慧城市领域，特别涉及一种智慧城市街道管理方法、物联网系统、装置和存储介质。


背景技术：

2.随着碳中和目标的全面推广，城市内树木（尤其是街道两侧的行道树）的密集程度也逐步提高。而在每年的落叶季，大片的落叶散落在街道路面，影响了城市的市容市貌，也影响车辆或市民的正常通行。
3.由此，如何规划落叶的清扫路线，提高路面的清洁效率是本领域亟待解决的技术问题。


技术实现要素：

4.本说明书一个或多个实施例提供一种智慧城市街道管理方法。基于智慧城市街道管理物联网系统实现，所述智慧城市街道管理物联网系统包括管理平台、传感网络平台以及对象平台。所述方法由所述管理平台执行，所述方法包括：通过所述传感网络平台基于所述对象平台获取目标区域的街道监控信息；根据所述街道监控信息确定街道落叶分布情况，所述落叶分布情况包括落叶总量以及落叶堆的数量；基于所述落叶分布情况确定所述目标区域中各个街道的清洁难度；基于所述落叶总量以及所述清洁难度，从所述目标区域中确定至少一个待清洁街道；以及基于所述至少一个待清洁街道，确定所述目标区域的落叶清洁路线。
5.在一些实施例中，所述智慧城市街道管理物联网系统还包括用户平台以及服务平台，所述管理平台包括至少一个管理分平台，所述传感网络平台包括至少一个传感网络分平台；至少一个传感网络分平台中的一个对应一个所述目标区域；至少一个管理分平台中的一个对应一个所述传感网络分平台；所述目标区域的街道监控信息基于所述对象平台获取，并基于所述目标区域对应的所述传感网络分平台传递至对应的所述管理分平台；所述方法还包括：通过所述服务平台将所述落叶清洁路线发送至所述用户平台。
6.本说明书一个或多个实施例提供一种智慧城市街道管理物联网系统，所述智慧城市街道管理物联网系统包括管理平台、传感网络平台以及对象平台，所述管理平台用于：通过所述传感网络平台基于所述对象平台获取目标区域的街道监控信息；根据所述街道监控信息确定街道落叶分布情况，所述落叶分布情况包括落叶总量以及落叶堆的数量；基于所述落叶分布情况确定所述目标区域中各个街道的清洁难度；基于所述落叶总量以及所述清洁难度，从所述目标区域中确定至少一个待清洁街道；以及基于所述至少一个待清洁街道，确定所述目标区域的落叶清洁路线。
7.本说明书一个或多个实施例提供一种智慧城市街道管理装置，所述装置包括处理器以及存储器；所述存储器用于存储指令，所述指令被所述处理器执行时，导致所述装置实现所述智慧城市街道管理方法。
8.本说明书一个或多个实施例提供一种计算机可读存储介质，其特征在于，所述存储介质存储计算机指令，当所述计算机指令被处理器执行时实现所述智慧城市街道管理方法。
9.本说明书一些实施例提供的智慧城市街道管理方法、物联网系统、装置和存储介质，能分析各个街道的落叶分布情况，并确定适合清洁车清洁的待清洁街道并生成落叶清洁路线，避免了因未及时人工清扫导致的清洁车无法清洁的技术问题，提高了清洁车清洁时的自动化程度。
附图说明
10.本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：图1是根据本说明书一些实施例所示的智慧城市街道管理物联网系统的示意图；图2是根据本说明书一些实施例所示的智慧城市街道管理方法的示例性流程图；图3是根据本说明书一些实施例所示的清洁难度确定方法的示例性流程图；图4是根据本说明书一些实施例所示的落叶清洁路线确定过程的示意图；图5是根据本说明书一些实施例所示的评估函数的示意图。
具体实施方式
11.为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
12.应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
13.本说明书中，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
14.本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
15.图1是根据本说明书一些实施例所示的智慧城市街道管理物联网系统的示意图。
16.在一些实施例中，智慧城市街道管理物联网系统100可以应用于目标区域的市容管理系统，并用于执行智慧城市街道管理方法。其中，目标区域可以是智慧城市街道管理物联网系统100的执行对象，智慧城市街道管理物联网系统100可以根据目标区域内各个街道
的监控信息确定目标区域内的落叶清洁路线，从而实现对目标区域内落叶的及时清理。
17.如图1所示，智慧城市街道管理物联网系统100可以包括：依次交互的用户平台110、服务平台120、管理平台130、传感网络平台140和对象平台150。
18.用户平台110是以用户为主导的平台。在一些实施例中，用户平台110被配置为终端设备（如移动电话、平板电脑等），可以将目标区域的落叶清洁路线及其相关信息反馈给用户。
19.在一些实施例中，用户平台110可以向下与服务平台120进行交互。例如，用户平台110下发落叶清洁路线查询指令至服务平台120，接收服务平台120上传的落叶清洁路线信息。其中，落叶清洁路线查询指令用于查看目标区域内的具体清洁路线或其他相关信息（如各街道的落叶情况、待清洁街道等），可以指相关工作人员（如清洁车驾驶员等）下发或按时自动下发的指令。
20.服务平台120是指为用户提供城市各区域的落叶清洁路线查询服务的平台。在一些实施例中，服务平台采用集中式布置。其中，集中式布置是指数据或/和信息的接收、处理和发送均由平台统一进行。
21.在一些实施例中，服务平台120可以向下与管理平台130进行交互。例如，下发目标区域和/或其各子区域的落叶清洁路线查询指令至管理平台130，接收管理平台130上传的落叶清洁路线。
22.在一些实施例中，服务平台120可以向上与用户平台110进行交互。例如，接收用户平台110下发的落叶清洁路线查询指令，上传落叶清洁路线及其相关信息至用户平台110等。
23.管理平台130是用于执行智慧城市限行方案确定方法的平台。在一些实施例中，管理平台130还可以用于响应用户的查询需求，对传感网络平台上传的城市各区域的相关监控数据进行处理，确定目标区域的落叶清洁路线。
24.在一些实施例中，管理平台130可以采用独立式布置。即如图1所示，管理平台130可以包括多个管理分平台（如管理分平台1301、1302、
……
、1303）。其中，每个管理分平台独立运行，用于管理对应地区的信息。
25.在一些实施例中，管理分平台可以与目标区域一一对应。在一些实施例中，管理分平台与目标区域的对应关系可以根据实际关系确定。例如，各个管理分平台可以与各个城市对应。示例性地，管理平台130可以包括管理分平台a与管理分平台b。其中，管理分平台a与城市a对应，则管理分平台a可以处理城市a的街道监控信息，从而确定城市a的落叶清洁路线。管理分平台b与城市b对应，则管理分平台b可以处理城市b的街道监控信息，从而确定城市b的落叶清洁路线。
26.在一些实施例中，考虑到管理分平台与各个目标区域一一对应，则设置在目标区域内的部分传感网络评分可以与对应的管理分平台通讯连接，并将设置在目标区域内的对象平台采集到的街道监控信息发送到对应的管理分平台。
27.在一些实施例中，管理平台130可以向下与传感网络平台140进行交互。管理平台130或各个管理分平台可以接收对应的传感网络分平台上传的对应目标区域的相关数据（如街道监控信息）。管理平台130或各个管理分平台还可以下发获取相关数据指令至各传感网络分平台。在一些实施例中，管理平台130或各个管理分平台还可以通过对应的传感网
络分平台将落叶清理路线发送到对象平台中的各个清洁车辆中。
28.在一些实施例中，管理平台130可以向上与服务平台120进行交互。管理平台或各个管理分平台可以接收服务平台120下发的落叶清扫路线查询指令；管理平台130或各个管理分平台可以上传落叶清扫路线及其相关信息（如街道的落叶情况、清扫结果等）至服务平台120。
29.在一些实施例中，智慧城市街道管理物联网系统100还包括传感网络平台140。传感网络平台140是用于获取城市各区域的相关监控数据的平台。在一些实施例中，传感网络平台140可以被配置为通信网络和网关。
30.在一些实施例中，传感网络平台140可以采用独立式布置。即如图1所示，传感网络平台140可以包括多个传感分网络平台（如传感分网络平台1401、1402、
……
、1403）。其中，每个传感分网络分平台独立运行，并与管理分平台一一对应，用于实现对应管理分平台与对应目标区域中的对象平台的通信。
31.在一些实施例中，传感网络平台140可以向下与对象平台150进行交互。例如，接收对象平台上传的落叶相关数据；下发获取落叶相关数据的指令至对象平台。
32.在一些实施例中，传感网络平台140还可以向上与管理平台130进行交互。例如，接收管理平台130下发的获取落叶相关数据的指令；上传传感网络平台或传感网络分平台的落叶相关数据至对应的管理平台130或管理分平台。
33.在一些实施例中，智慧城市街道管理物联网系统100还包括对象平台150。对象平台150可以是用于获取目标区域的相关监控数据的平台，可以部署在不同的目标区域。在一些实施例中，对象平台被配置为各个目标区域的监控设备、清洁车及其相关设备。
34.在一些实施例中，对象平台150可以根据平台内各个智能对象的设置情况（如设置位置）划分为多个对象分平台（如对象分平台1501、1502、
……
、1503）。在一些实施例中，对象分平台的划分方法可以与目标区域一致，即对于各个目标区域，可以将设置该目标区域的智能对象视为与该目标区域对应的对象分平台。在工作中，对象分平台可以用于获取目标区域的落叶相关信息并通过对应的传感网络分平台发送到对应的管理分平台。
35.在一些实施例中，对象平台150可以向上与传感网络平台140进行交互：接收传感网络分平台下发的获取落叶相关数据指令；上传落叶相关数据至相应的传感网络分平台。
36.在一些实施例中，管理平台130可以用于执行智慧城市街道管理方法，智慧城市街道管理方法包括：通过传感网络平台基于对象平台获取目标区域的街道监控信息；根据街道监控信息确定街道落叶分布情况，落叶分布情况包括落叶总量以及落叶堆的数量；基于落叶分布情况确定目标区域中各个街道的清洁难度；基于落叶总量以及清洁难度，从目标区域中确定至少一个待清洁街道；以及基于至少一个待清洁街道，确定目标区域的落叶清洁路线。关于智慧城市限行方案确定方法的更多内容可以参见图2及其相关描述。
37.本说明书的一些实施例还提供一种计算机可读存储介质，存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行智慧城市街道管理方法。
38.需要注意的是，以上对于智慧城市街道管理物联网系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。在一些实施例中，图1中披露的用户平台110、服务平
台120、管理平台130、传感网络平台140和对象平台150可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。
39.图2是根据本说明书一些实施例所示的智慧城市街道管理方法的示例性流程图。在一些实施例中，流程200可以由管理平台130执行。
40.如图2所示，流程200包括下述步骤。
41.步骤s210，通过传感网络平台基于对象平台获取目标区域的街道监控信息。
42.在一些实施例中，本说明书提供的智慧城市街道管理方法可以应用于目标区域。即本说明书提供的智慧城市街道管理物联网系统可以布置在目标区域内，实现对目标区域内的落叶清洁路线的管理。目标区域的设置情况可以根据实际需要设置。例如，目标区域可以是城市的各个城区。再例如，目标区域也可以是其他存在路面清洁需求的区域（如公园）。
43.街道监控信息可以指对目标区域内各个街道的监控数据。例如，街道监控信息可以包括各个街道的监控图像。在一些实施例中，街道监控信息可以反映目标区域内的落叶情况。例如，街道监控信息可以包括落叶期间，路面存在落叶的街道的监控图像。
44.在一些实施例中，街道监控信息可以通过对象平台的传感器（如摄像装置）获取。对象平台的传感器可以与其设置的街道一一对应，当传感器上传监控图像时，可以根据接收该监控图像的端口确定该监控图像的实际监控范围。
45.在一些实施例中，对象平台检测到的街道监控信息可以根据需要周期性地通过传感网络平台发送到管理平台。例如，在行道树（即道路两旁种植的树木）的落叶季节（如秋季、冬季），对象平台可以自动检测街道监控信息并通过传感网络平台周期性上传。
46.步骤s220，根据街道监控信息确定街道落叶分布情况。
47.落叶分布情况可以反映落叶在街道路面的分布。其中，落叶分布情况至少可以包括落叶总量以及落叶堆的数量。落叶总量可以指各个街道中落在街道路面的总落叶量。落叶堆的数量可以指街道内落叶堆的总数。
48.落叶堆可以指街道内落叶自然或人工形成的落叶聚落。例如，落叶堆可以包括由环卫工人清扫出的落叶堆。再例如，落叶堆还可以包括环绕树木的自然落叶堆。在一些实施例中，落叶堆可以表征为距离小于预设距离阈值（如5cm）的落叶的集合。例如，监控图像中某一落叶与其他落叶的距离均大于预设距离阈值（如5cm），则该落叶也可以视为一个孤立的落叶堆。
49.在一些实施例中，落叶分布情况可以通过图像识别模型确定。即可以通过对象识别模型处理街道监控信息（如监控图像），确定落叶分布情况。其中，对象识别模型为机器学习模型或相关算法。例如，对象识别模型可以是训练好的卷积神经网络（convolutional neural network，简称cnn）。再例如，对象识别模型可以是设置好参数的目标检测算法（如yolo算法）。
50.在一些实施例中，对象识别模型可以通过标注有落叶堆的训练数据进行训练，从而识别监控图像中的落叶堆，进而确定落叶分布情况。即对象识别模型的训练数据可以包括训练样本与样本标签。其中，训练样本可以是含有地面落叶的历史监控图像，样本标签可以为图像中手工标注的落叶堆（如在监控图像中手工标注出落叶堆的框体）。
51.在一些实施例中，对象识别模型还可以通过标注有各个落叶的训练数据进行训练，进而确定监控图像中的落叶。再基于聚类算法确定落叶堆，进而确定落叶分布情况。
52.步骤s230，基于落叶分布情况确定目标区域中各个街道的清洁难度。
53.清洁难度可以反映清洁工具对各个街道路面的落叶进行清洁的难度。其中，清洁难度与清洁车的实际清洁要求有关。例如，当采用清洁车对路面落叶在进行清洁时，若路面落叶经人工分堆后，清洁车更容易清扫路面落叶；若落叶不成堆、较为分散地分布在路面上，清洁车不容易清扫路面落叶。
54.在一些实施例中，清洁难度可以根据落叶分布情况中的各个参数与清洁难度的相关关系确定。其中，落叶堆数量与清洁难度正相关，落叶总量与清洁难度正相关。例如，落叶堆数量较多、落叶较为分散，则清洁难度较高。落叶堆数量较少、落叶较为集中，则清洁难度较低。
55.在一些实施例中，清洁难度还与风力强度正相关，即风力越强，落叶越容易随风移动，从而使落叶分散，同时也更容易生成落叶，进而提高清洁难度。
56.在一些实施例中，还可以根据落叶分布情况确定落叶离散度定量分析落叶的分布情况，从而确定清洁难度。关于落叶离散度的更多内容可以参见图3及其相关描述。
57.需要说明的是，本说明书中的落叶清洁路线主要为清洁车的清扫路线，则对应的清洁难度为清洁车对路面落叶进行清扫的难度。当需要计算其他清洁工具或人员的清洁路线时，可以根据实际情况调节确定清洁难度的相关参数。
58.步骤s240，基于落叶总量以及清洁难度，从目标区域中确定至少一个待清洁街道。
59.待清洁街道可以指路面落叶需要清洁的街道。例如，待清洁街道可以是落叶总量和清洁难度满足预设清洁条件的待清洁街道。示例性地，待清洁街道可以是落叶总量较大、但落叶经过初步分堆容易由清洁车清扫的街道。
60.在一些实施例中，预设清洁条件可以包括落叶总量阈值以及清洁难度阈值。其中，当落叶总量高于落叶总量阈值、清洁难度低于清洁难度阈值时，可以将对应的街道作为待清洁街道。
61.步骤s250，基于至少一个待清洁街道，确定目标区域的落叶清洁路线。
62.落叶清洁路线可以是清洁车在各个待清洁街道的清洁顺序。其中，落叶清洁路线可以包括各个待清洁街道。
63.在一些实施例中，可以基于各个待清洁街道在空间上的关系，确定落叶清洁路线。例如，可以基于路径规划算法（如模拟退火算法、人工势场法、模糊逻辑算法等），确定落叶清洁路线。
64.在一些实施例中，考虑到各个待清洁街道本身属性不一致（如各个待清洁街道的清洁难度不同），可以基于强化学习算法（如马尔科夫决策过程）确定落叶清洁路线。关于强化学习算法的更多内容可以参见图4及其相关描述。
65.在一些实施例中，考虑到本说明书提供的智慧城市街道管理方法可以同时应用于多个目标区域。则管理平台可以包括多个对目标区域对应的管理分平台，上述流程200也可以由与各个目标区域对应的管理分平台执行。其中，管理平台包括至少一个管理分平台，传感网络平台包括至少一个传感网络分平台；则至少一个传感网络分平台中的一个对应一个目标区域；至少一个管理分平台中的一个对应一个传感网络分平台。
66.当管理分平台执行流程200时，目标区域的街道监控信息基于设置在目标区域的部分对象平台（也可以称为对象分平台）获取，并基于目标区域对应的传感网络分平台传递至对应的管理分平台，由管理分平台处理该目标区域的街道监控信息，进而确定该目标区域的落叶清洁路线。
67.在一些实施例中，当确定目标区域的落叶清洁路线后，可以将该落叶清洁路线呈现给用户（如清洁车司机、相关工作人员等）。如图2所示，流程200还可以包括如下步骤：步骤s260，通过服务平台将落叶清洁路线发送至用户平台。
68.在一些实施例中，管理平台或管理分平台确定的各个目标区域的落叶清洁路线及其相关信息可以储存在服务平台，当用户通过用户平台查询用户所在的目标区域的落叶清洁路线和/或其他相关信息时，服务平台可以根据用户所在目标区域调用对应的落叶清洁路线和/或其他相关信息。当服务平台未记录该数据时（即尚未执行该目标区域的街道管理方法，尚未确定该目标区域的落叶清洁路线时），可以向对应的管理分平台发送指令，以使对应的管理分平台生成对应目标区域的落叶清洁路线及其他相关信息。
69.本说明书一些实施例提供的智慧城市街道管理方法，能分析各个街道的落叶分布情况，并确定适合清洁车清洁的待清洁街道并生成落叶清洁路线，避免了因未及时人工清扫导致的清洁车无法清洁的技术问题，提高了清洁车清洁时的自动化程度。
70.图3是根据本说明书一些实施例所示的清洁难度确定方法的示例性流程图。
71.如图3所示，流程300可以包括如下步骤：步骤s310，根据至少一个落叶堆确定至少一个质点。
72.在一些实施例中，为分析街道路面的落叶情况，可以根据街道路面落叶建立质心系。其中，质心系由多个质点构成，每个质点可以表征路面的一个落叶堆。即街道路面上的各个落叶堆与质心系中的每个质点一一对应。
73.在一些实施例中，质点可以通过质量与位置表征，其中，质点的位置为对应的落叶堆的位置，质点的质量与对应的落叶堆的大小有关。例如，质点的质量可以根据落叶堆（如落叶堆的最长半径）的范围确定。再例如，质量的质量可以根据落叶堆中落叶数量确定。示例性地，单个落叶而形成的落叶堆对应的质点质量为1，其他落叶堆的质点质量为该落叶堆的落叶数量。
74.在一些实施例中，可以基于街道的实际地理情况构建街道的映射空间，根据空间之间的映射关系以及街道路面的落叶堆在映射空间内对应的质点，以构成质心系。
75.步骤s320，根据至少一个质点的位置确定至少一个质点的中心位置，并作为至少一个质点的质心。
76.质心可以指质心系的中点。例如，质心可以是映射空间中到质心系中各个质点位置的距离和最小的点。再例如，质心可以是质心系的几何中心。
77.在一些实施例中，当质心是映射空间中到质心系中各个质点位置的距离和最小的点，在确定质心时，可以以质心的坐标作为变量，构建表征质心到各个质点的距离之和的函数，以距离之和最小为函数优化目标，确定变量最优解，并作为质心的坐标。在一些实施例中，当质心是质心系的几何中心，在确定质心时，还可以根据各个质点的坐标计算坐标平均值，并作为质心的坐标。
78.步骤s330，根据至少一个质点中每个质点到质心的距离，确定落叶离散度。
79.落叶离散度表征街道路面上落叶的离散程度。其中，质心系中质点的离散程度可以表征为质心系的离散度。即质心系中各个质点越分散、数量越多、每个质点的质量越小，则说明质心系内质点越分散、质心系的离散度越高。考虑到质心系与街道表面落叶的对应关系，可以将质心系的离散度作为落叶离散度。
80.在一些实施例中，可以先计算质心系中每个质点到质心的距离，再基于统计学算法对各个距离进行处理确定质心系的离散程度。其中，统计学算法可以包括计算方差、平均值、累加和等一种或多种。例如，可以计算每个质点到质心的距离的方差，并将方差作为质心系的离散程度。
81.在一些实施例中，在计算落叶离散程度时，可以给各个落叶堆赋予权重并进行加权处理。即可以先根据至少一个质点的质量确定至少一个质点中每个质点的权重；再根据至少一个质点中每个质点的权重对每个质点到质心的距离进行加权处理，确定落叶离散度。其中，质点的质量的更多描述可以参见步骤s310的相关内容。
82.在一些实施例中，权重与质点质量的关系可以根据实际需要确定。例如，权重可以与质点质量负相关，进而提高单落叶或较少落叶形成的落叶堆的权重，在街道存在较多单落叶或较少落叶形成的落叶堆时，提高街道的落叶离散度。再例如，权重可以与质点质量正相关，由此确定的落叶离散度可以反映各个大型落叶堆的离散程度。
83.步骤s340，根据落叶离散度确定目标区域中各个街道的清洁难度。
84.在一些实施例中，落叶离散程度与清洁难度成正相关。则可以根据落叶离散程度直接确定清洁难度。在一些实施例中，考虑到其他因素对清洁难度的影响，则落叶离散程度可以与其他因素（如风力强度、自然落叶速度等）进行综合分析，从而确定清洁难度。例如，对于各个影响清洁难度的因素，可以计算各个因素造成的清洁难度（如落叶离散度的清洁难度、风力导致的清洁难度以及自然落叶导致的清洁难度），再基于各个因素造成的清洁难度进行加权处理确定清洁街道路面落叶的清洁难度。
85.基于本说明书一些实施例的清洁难度确定方法，可以通过质心系对街道路面落叶进行建模，定量分析街道落叶的离散程度，进而分析街道的清洁难度。提高了清洁难度本身的表征能力，使其能更准确地描述清洁车在清洁落叶时的困难程度。此外，还可以引入其他因素（如风力强度、自然落叶速度等）提高了清洁难度的表征能力以及准确性。
86.在一些实施例中，可以基于强化学习策略确定落叶清洁路线。在强化学习策略中，可以以目标区域内能智能清洁任务的各个清洁车作为智能体、以清洁车的当前位置以及清洁轨迹作为状态、以清洁车在待清洁街道之间的移动的作为动作。其中，智能体的状态可以随智能体的动作而改变。例如，当智能体执行前往街道a进行清扫的任务时，其中，智能体的位置变为街道a、其清洁轨迹中新增街道a。
87.在强化学习过程中，可以通过奖惩函数对各个动作进行评价，确定动作的回报值，并将奖励值之和（记作回报值）最高的动作序列作为落叶清洁路线。基于回报值确定落叶清洁路线的具体过程可以参见图4。
88.图4是根据本说明书一些实施例所示的落叶清洁路线确定过程的示意图。如图4所示，流程400可以包括如下步骤：步骤s410，基于至少一个待清洁街道确定至少一个连续动作序列。
89.连续动作序列可以包括对各个待清洁街道的清洁动作。其中，连续动作序列可以
覆盖所有的待清洁街道。即执行完连续动作序列后，智能体（清洁车）可以完成所有的待清洁街道的清洁任务。连续动作序列可以包括各个清洁动作的执行顺序。例如，连续动作序列可以以序列/向量形式呈现，每个元素的位置可以表征对应清洁动作在连续动作序列中的顺序，各个元素值可以反映具体清洁动作对应的待清洁街道。示例性地，可以对各个待清洁街道进行编号，则元素值可以利用待清洁街道的编号表征清洁动作对应的具体待清洁街道。
90.清洁动作可以表征智能体对某一街道的清洁过程。例如，清洁动作可以与各个待清洁街道对应。在执行清洁动作后，智能体（清洁车）可以前往该清洁动作对应的待清洁街道，并对该待清洁街道进行清洁。
91.在一些实施例中，考虑到可以存在多个智能体，即目标区域可以包括多个独立的清洁车。则对应的连续动作序列可以包括多组连续动作，每组连续动作可以与一个智能体对应，用于表征该智能体对待清洁街道的清洁顺序。
92.在一些实施例中，待清洁街道的连续动作序列可以直接根据待清洁街道确定。例如，可以根据所有待清洁街道随机生成待清洁街道的多个排列组合并由此确定至少一个连续动作序列。再例如，可以根据就近原则，根据待清洁街道生成总行驶距离在预设范围内的多个路线，并由此确定至少一个连续动作序列。
93.在一些实施例中，可以根据清洁车的位置与待清洁街道进行迭代处理，以确定连续动作序列。例如，在某一轮迭代处理中，可以根据上一轮迭代处理后的清洁车的状态，从尚未清洁的各个待清洁街道中随机确定待清洁街道以确定对应的清洁动作，再从随机确定的清洁动作中选择奖励值较高的部分清洁动作进行状态转移（即智能体前往对应的待清洁街道进行清洁），以确定本轮迭代处理后的清洁车的状态（即更新清洁轨迹以及智能体位置）。直到完成所有待清洁街道的清洁任务。
94.步骤s420，对于至少一个连续动作序列中的任一连续动作序列，基于预设评估函数处理连续动作序列，确定连续动作序列的各个清洁动作的奖励值，并将该连续动作序列的各个清洁动作的总奖励值记作该连续动作的回报值，以确定至少一个连续动作序列中每个连续动作序列的回报值。
95.评估函数可以对执行清洁动作后的影响进行评价，以确定该清洁动作的奖励值。奖励值可以反映执行清洁动作后的影响。例如，当清洁动作对应的街道清洁难度较高或在交通系统中较为重要，该街道在清洁后可以大幅度地提高用户的出行体验，则该清洁动作可以具有一个较高的奖励值。再例如，当清洁动作对应的街道离上一个动作对应的街道较远时，执行该清洁动作具有较高的时间成本与空间成本，则该清洁动作可以被评估函数赋予一个较低的奖励值。
96.在一些实施例中，评估函数对各个清洁动作的评估还可以在确定连续动作序列时执行。例如，在确定当前状态的动作时，可以基于评估函数确定各个候选清洁动作的奖励值，并基于回报值确定当前状态的清洁动作，并确定下一状态。其中，连续动作序列的回报值可以是连续动作序列中各个清洁动作的奖励值之和。在确定各个清洁动作的奖励值后，可以对各个清洁动作的奖励值进行求和以确定连续动作序列的回报值。例如，对于连续动作序列（1,5,7,8,6,4，9,2,3），则可以逐一计算各个清洁动作的奖励值（10,2,6,7,5,3,2,4,5,5），则该连续动作序列回报值可以为各个清洁动作的奖励值之和49。
97.步骤s430，根据至少一个连续动作序列中每个连续动作序列以及每个连续动作序列的回报值，确定目标区域的落叶清洁路线。
98.在一些实施例中，可以采纳连续动作序列中回报值最高的连续动作序列，并根据该连续动作序列中各个街道的到达顺序确定目标区域的落叶清洁路线。
99.基于本说明书一些实施例的落叶清洁路线确定方法，通过评价每个动作的奖励值实现了对连续动作序列回报值的评估，从而使基于连续动作序列确定的落叶清扫路线从全局上具有更高的价值，提高了落叶清扫路线的合理性。
100.图5是根据本说明书一些实施例所示的评估函数的示意图。
101.如图5所示，在确定清洁动作的奖励值时，可以将清洁动作以及当前状态输入评估函数500，经评估函数500处理确定该清洁动作的奖励值。
102.可以将清洁动作（即待清洁街道）以及智能体的当前状态（即当前位置以及清洁轨迹）输入评估函数500，评估对待清洁街道进行清洁动作能造成的影响，并将该影响作为执行清洁动作的奖励值。
103.在一些实施例中，评估函数500可以是强化学习过程中训练好的评价函数。例如，评估函数可以包括q-learning、sarsa、dqn、policy-gradients、actor-critic等强化学习领域常见算法。
104.在一些实施例中，对待清洁街道进行清洁动作能造成的影响可以包括正面影响与负面影响。其中，正面影响可以包括对执行清洁动作有力的因素（如清洁难度低，方便清洁）以及执行清洁动作后环境的正面反馈（如提高交通效率）。负面影响可以包括阻碍执行清洁动作的因素（如清洁成本较高）以及执行清洁动作后环境的负面反馈（执行后落叶下落速度较快，需再次清洁）。
105.在一些实施例中，评估函数500可以根据清洁动作的街道特征确定正向奖励值与逆向惩罚值，从而确定该清洁动作的奖励值。例如，将正向奖励值与逆向惩罚值之差作为该清洁动作的奖励值。其中，正向奖励值可以与清洁动作的正面影响有关，逆向惩罚值可以与清洁动作的负面影响有关。例如，正向奖励值可以包括街道清洁后对交通的影响，逆向惩罚值可以包括清洁街道的时空成本。
106.在一些实施例中，智能体（即各个清洁车）的当前状态可以通过智能体的当前位置以及智能体已完成的待清洁路线表征。清洁动作可以通过清洁动作对应的待清洁街道表征。例如，智能体的当前状态可以为位于街道3，以完成街道1-9-5-7-3的清洁。清洁动作可以为街道4。
107.在一些实施例中，可以基于智能体的当前状态以及待清洁街道确定待清洁街道的街道特征。其中，街道特征可以反映待清洁街道的特征情况。例如，街道特征可以包括待清洁街道的长度（如街道4的长度）、总落叶量（如街道4的总落叶量）、前往待清洁街道的距离（如街道3至街道4的距离）等。
108.在一些实施例中，待清洁街道的街道特征可以包括第一街道特征。第一街道特征可以是街道特征中与清洁动作的正面影响相关的部分街道特征。例如，第一街道特征可以包括待清洁街道的当前落叶总量。其中，当前落叶总量越大说明待清洁街道中落叶数量越多，越需要清洁车对待清洁路段进行清洁。则对应的当前落叶总量与清洁动作的奖励值以及清洁动作的正向奖励值正相关。
109.在一些实施例中，可以将评价函数中与奖励值正相关的部分算子进行拆分，确定奖励函数510。奖励函数510可以处理第一街道特征，以确定正向奖励值，再根据正向奖励值确定清洁动作的奖励值。
110.在一些实施例中，第一街道特征还可以包括地面清洁度、地面干燥度等其他与清洁动作的正面影响相关的街道特征。
111.地面清洁度可以指待清洁街道路面除落叶外地面的清洁程度。地面清洁度可以根据待清洁街道的街道监控信息确定。其中，当地面清洁度低时，待清扫街道的路面可能存在大量的其他污染物（如包装纸、瓶子等）。在清洁车清洁落叶时，随着清洁车对地面的清洁，其他污染物也随之一同被清洁，提高了清洁动作的实际价值。则对应的地面清洁度与奖励值以及正向奖励值负相关。
112.地面干燥度可以表征待清洁街道路面的干燥情况。地面干燥度可以根据气象信息确定。其中，当地面干燥度越高，地面落叶与地面的摩擦力越低，清洁车越容易将地面落叶进行清洁。即地面干燥度越高，清洁车越方便执行落叶清洁。则对应的地面干燥度与奖励值以及正向奖励值正相关。
113.在一些实施例中，奖励值还可以包括逆向奖励值，在确定奖励值时，可以获取待清洁街道的第二街道特征，第二街道特征包括待清洁街道与上一清洁动作对应的待清洁街道之间的距离；基于惩罚函数处理第二街道特征，确定清洁动作的逆向惩罚值；根据正向奖励值以及逆向惩罚值确定清洁动作的奖励值。
114.在一些实施例中，待清洁街道的街道特征可以包括第二街道特征。第二街道特征可以是街道特征中与清洁动作的负面影响相关的部分街道特征。例如，第二街道特征可以包括当前清洁动作中待清洁街道与上一清洁动作对应的待清洁街道（或当前状态中的智能体位置）之间的距离。其中，距离越大，智能体在移动时需要的时间成本与空间成本越高。则对应的距离与清洁动作的奖励值负相关，与清洁动作的逆向惩罚值正相关。
115.在一些实施例中，可以将评价函数中与清洁动作的负面影响相关的部分算子进行拆分，确定惩罚函数520。惩罚函数520可以处理第二街道特征，以确定逆向惩罚值，在基于正向奖励值确定奖励值时，可以基于逆向惩罚值对清洁动作的奖励值进行调节。例如，清洁动作的奖励值可以为清洁动作的正向奖励值与清洁动作的逆向惩罚值的差。
116.在一些实施例中，第二街道特征还包括落叶离散度以及落叶生成速率。其中，落叶离散度可以参见图3及其相关描述。当街道的落叶离散度较大时，说明路面的落叶比较分散，可能未经人工初步分堆，直接基于清洁车进行清洁存在一定的困难。即落叶离散度越高，清洁车的清扫难度越高。则对应的落叶离散度与清洁动作的奖励值负相关，与清洁动作的逆向惩罚值正相关。
117.落叶生成速率可以反映待清洁街道路面落叶的出现速度。其中，落叶生成速率越大，则路面上落叶的出现速度越快，在清洁后越容易堆积落叶，从而使清洁车需要对该待清洁路段进行二次清洁。由此，落叶生成速率越高，清洁难度越大。则对应的落叶生成速率与清洁动作的奖励值负相关，与清洁动作的逆向惩罚值正相关。
118.在一些实施例中，确定落叶生成速率时，可以先获取评估辅助信息，并根据评估辅助信息确定落叶生成速率。其中，评估辅助信息可以包括待清洁街道的树木情况、预设时间段内的风力情况中的至少一种。评估辅助信息与落叶生成速率的具体相关关系可以基于历
史数据确定。
119.树木情况可以反映掉落到待清洁街道的落叶的源头树木（如待清洁街道两侧行道树以及其他可能在待清洁街道处落叶的树木）的生长情况。例如，树木情况包括树木种植密度以及树龄。在一些实施例中，可以根据树木情况预估树木落叶的自然掉落速度。例如，待清洁街道两侧的行道树的树龄越大（如枯老的树木）、树冠可能越大、由此产生的落叶可能越多，落叶生成速率就越高。
120.风力情况可以包括待清洁街道的风力强度、风向等相关信息。其中，风力强度越大，树叶越可能落下，落叶生成速率就越高。
121.在一些实施例中，风力情况可以基于气象数据确定。
122.在一些实施例中，预设时间段内的风力情况可以包括未来一段时间的风力情况。由此，可以处理已知的天气情况（如历史风力情况）确定预设时间段内的风力情况。从而预估未来一段时间的落叶情况。方便评估清扫完待清洁街道后是否需要再执行一次街道清洁。
123.在一些实施例中，可以基于风速预测模型处理天气情况确定预设时间段内的风力情况，风速预测模型为长短期记忆模型。其中，风速预测模型的输入可以是当前时刻之前的风力情况，输出可以是当前时刻之后未来一段时间的风力情况。
124.在一些实施例中，风速预测模型可以基于历史风力情况训练。其中，某一历史时刻之前风力情况作为训练样本，某一历史时刻之后风力情况作为训练标签。将训练样本输入风速预测模型进行后，可以将模型输出与训练标签进行比较以构建损失函数对，从而实现对风速预测模型中参数的迭代。
125.基于本说明书一些实施例提供的评估函数，可以定量评估对各个待处理街道进行清洁的价值，并从正反两方面影响进行详细划分，并引入大量相关因素（如地面清洁度、地面干燥度、落叶生成速率等），提高了奖励值的表征能力，进而提高了对连续动作序列的回报值的计算精确度以及落叶清洁路线的合理程度。
126.上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
127.同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
128.此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设
备上安装所描述的系统。
129.同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
130.一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有
±
20%的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
131.针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件（当前或之后附加于本说明书中的）也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
132.最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。