环卫一体化资产管理系统的制作方法

1.本发明涉及环卫资产管理技术领域，具体涉及环卫一体化资产管理系统。


背景技术：

2.近年来，随着国家经济的发展，城市规模不断扩大，智慧环卫依托物联网技术与移动互联网技术，对环卫管理所涉及到的人、车、物、事进行全过程实时管理，合理设计规划环卫管理模式，提升环卫作业质量，降低环卫运营成本，用数字评估和推动了垃圾分类的管理实效。
3.环卫的资产管理部门每年在资产盘点就占用了资产管理部门的大部分精力。在国家对资产管理越来越重视的大环境下，为了进一步完善资产管理系统，加大资产管理的力度，保证资产的安全和数据的可靠，着重强调一些贵重资产和经常需要在室外使用设备的管理将成为资产管理部门的重点工作。
4.申请人发现，环卫工作中最重要也最常用的资产是垃圾箱和垃圾车。目前，对于垃圾箱和垃圾车的管理主要存在以下问题：1)垃圾收运管控，每辆垃圾车需要负责其对应区域的垃圾收运工作，甚至需要负责指定垃圾箱的垃圾收运。然而，现有技术无法有效跟踪和管理垃圾车的垃圾收运过程，即无法确定垃圾车收集了哪些垃圾箱的垃圾。2)垃圾箱位置管理，现有技术对于垃圾箱管理松散，没有准确的投放位置反馈，需要人工维护更新位置信息，存在垃圾箱投放位置丢失的现象。上述问题导致环卫资产管理的效果不好。因此，如何设计一种能够提高环卫资产管理效果的系统是亟需解决的技术问题。


技术实现要素：

5.针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种环卫一体化资产管理系统，能够有效跟踪和管控垃圾车的垃圾收运过程，并且能够更新和管理垃圾箱的位置信息，从而能够提高环卫资产管理的效果。
6.为了解决上述技术问题，本发明采用了如下的技术方案：
7.环卫一体化资产管理系统，包括：
8.若干个资产标签；
9.资产标签设置于对应的垃圾箱上，且存储有对应垃圾箱的投放位置和编号信息；
10.车箱关联模块，用于建立对应垃圾车与对应垃圾箱之间的关联，且将垃圾车与其关联垃圾箱的编号绑定；
11.标签读取模块，用于在对应垃圾车收集对应垃圾箱的垃圾时识别对应的资产标签，并获取对应资产标签内存储的投放位置和编号信息，进而根据对应垃圾箱的编号信息判断垃圾车的收运行为是否正确；
12.垃圾箱位置管理模块，用于在对应垃圾车收集对应垃圾箱的垃圾时获取对应垃圾车的实时位置，进而根据对应垃圾车的实时位置更新对应垃圾箱的资产标签中存储的投放位置。
13.优选的，还包括：
14.垃圾车收运管理模块，用于统计对应垃圾车收集垃圾时识别的所有垃圾箱的编号信息生成对应的收运统计信息；然后根据与对应垃圾车关联的垃圾箱的编号信息生成对应的收运计划信息；最后对比对应垃圾车的收运统计信息和收运计划信息：若收运统计信息与收运计划信息一致，则对应垃圾车的绩效为满分；否则，根据对应垃圾车的收运统计信息和收运计划信息之间的差异情况进行绩效扣分。
15.优选的，资产标签为设置于对应垃圾箱上rfid标签；标签读取模块为设置于对应垃圾车上的rfid识别器，且对应垃圾车收集对应垃圾箱的垃圾时对应垃圾车上的rfid识别器能够与对应垃圾箱上rfid标签实现近场通信。
16.优选的，还包括：
17.折旧管理模块，用于获取对应垃圾箱或垃圾车的使用年限和使用频次并计算对应的资产状态；当对应垃圾箱或垃圾车的资产状态低于设置的状态阈值时，通过其资产状态结合对应的市场价值计算对应的折旧价值，并根据对应垃圾箱或垃圾车的折旧价值对其进行处置。
18.优选的，还包括：
19.资产盘点模块，用于统计和盘点所有垃圾箱的投放位置、资产状态和折旧价值，以及所有垃圾车的实时位置、资产状态和折旧价值。
20.优选的，还包括：
21.垃圾箱显示模块，用于获取目标区域的gis地图，以及目标区域内所有垃圾箱的投放位置，进而结合gis地理位置信息在目标区域的gis地图中显示所有垃圾箱的投放位置；
22.垃圾车显示模块，用于获取目标区域的gis地图，以及目标区域内所有垃圾车的实时位置，进而结合gis地理位置信息在目标区域的gis地图中显示所有垃圾车的实时位置。
23.优选的，还包括：
24.收运称重模块，用于获取对应垃圾车所装载垃圾的垃圾收运量；
25.收运分配模块，用于获取对应垃圾车的垃圾收运量：若对应垃圾车的垃圾收运量小于设置的装载阈值，则减少与对应垃圾车的关联垃圾箱；若对应垃圾车的垃圾收运量大于设置的承载阈值，则增加对应垃圾车的关联垃圾箱；否则，对应垃圾车的关联垃圾箱保持不变。
26.优选的，还包括：
27.故障上报模块，用于供产生车辆故障的故障垃圾车发出车辆故障信息；
28.工作情况分析模块，用于在获取到车辆故障信息后，将对应故障垃圾车的垃圾收运量作为垃圾协助转运量；然后获取对应故障垃圾车已完成垃圾收集的垃圾箱集合，并结合与对应故障垃圾关联的垃圾箱计算对应的需收集垃圾箱集合；最后根据需收集垃圾箱集合中各个垃圾箱的历史平均垃圾量计算对应故障垃圾车的垃圾协助收运量；
29.转运协助分配模块，用于获取对应故障垃圾车的故障发生位置；然后将与对应故障垃圾车的故障发生位置之间的距离低于第一预设值且已完成垃圾收运的其他垃圾车作为第一目标垃圾车；最后基于所有第一目标垃圾车的垃圾收运量筛选能够承载对应故障垃圾车的垃圾协助转量的垃圾车作为协助转运垃圾车，进而通过协助转运垃圾车完成对应故障垃圾车的垃圾转运；
30.收运协助分配模块，用于获取对应故障垃圾车的需收集垃圾箱集合中各个垃圾箱的投放位置；然后将与需收集垃圾箱集合中所有垃圾箱的投放位置之间的距离均低于第二预设值且已完成垃圾收运的其他垃圾车作为第二目标垃圾车；最后基于第二目标垃圾车的垃圾收运量筛选能够承载对应故障垃圾车的垃圾协助收运量的垃圾车作为协助收运垃圾车，进而通过协助收运垃圾车完成对应故障垃圾车的需收集垃圾箱集合中各个垃圾箱的垃圾收运。
31.优选的，还包括：
32.箱户关联模块，用于建立对应商户与对应垃圾箱之间的关联，且将商户与其关联垃圾箱的编号绑定；
33.垃圾称重模块，用于在对应垃圾车收集对应垃圾箱的垃圾时进行垃圾称重，得到对应垃圾箱的垃圾重量；
34.垃圾产量计算模块，用于根据与单个商户关联的所有垃圾箱的垃圾重量计算对应商户的垃圾产生量；
35.垃圾产量分类模块，用于获取所有商户的垃圾产生量，将垃圾产生量处于为对应商户设置的产生上限值和产生下限值之间的商户分至产生正常类，将垃圾产生量高于对应商户的产生上限值的商户分至产生超标类，将垃圾产生量低于对应商户的产生下限值的商户分至产生不足类；
36.垃圾箱管理单元，用于从产生超标类或产生不足类中选取一个商户作为目标商户，根据目标商户的位置信息获取目标商户的后一商户作为相邻商户，根据相邻商户的所属类别对目标商户的垃圾桶进行管控。
37.优选的，还包括：
38.垃圾箱增加模块，用于按顺序从产生超标类中选取一个商户作为目标商户，根据目标商户的位置信息获取目标商户的后一商户作为相邻商户；若相邻商户为产生正常类，则目标商户的垃圾箱增加；若相邻商户为产生不足类，则将相邻商户的垃圾箱作为与目标商户的共用垃圾箱；若相邻商户为产生超标类，则在目标商户与相邻商户之间增加垃圾箱；
39.垃圾箱减少模块，用于按顺序从产生不足类中选取一个商户作为目标商户，根据目标商户的位置信息获取目标商户的后一商户作为相邻商户；若相邻商户为产生正常类，则目标商户的垃圾箱不做增减；若相邻商户为产生超标类，则将目标商户的垃圾箱作为与相邻商户的共用垃圾箱；若相邻商户为产生不足类，则减少目标商户的垃圾箱，并将相邻商户的垃圾箱作为与目标商户的共用垃圾箱；
40.垃圾箱调配模块，用于获取所有需减少垃圾箱商户和需增加垃圾箱商户，计算每个需减少垃圾箱商户与每个需增加垃圾箱商户之间的距离，将单个需减少垃圾箱商户与距离最短的单个需增加垃圾箱商户进行配对，将需减少垃圾箱商户的垃圾箱调配至配对的需减少垃圾箱商户。
41.优选的，还包括：
42.收运路径规划模块，用于获取对应垃圾车的实时位置以及与对应垃圾车具备收运关系的各个垃圾箱的投放位置；然后将对应垃圾车的实时位置及各个垃圾箱的投放位置作为深度强化学习端到端网络的输出以及进行实时场景的路径规划，生成对应的收运预设路径；进而将收运预设路径输入深度循环神经网络中训练得到新的调度导航策略，以实现把
决策的能力转移到特定场景中智能体的每步决策动作，最终生成对应垃圾车的最优收运路径。
43.本发明中环卫一体化资产管理系统与现有技术相比，具有如下有益效果：
44.本发明通过在垃圾箱上设置资产标签并存储垃圾箱的编号信息，使得能够在垃圾车收集对应垃圾箱的垃圾时识别其资产标签获取对应的编号信息，进而根据对应垃圾箱的编号信息判断垃圾车的收运行为是否正确，即能够有效的建立垃圾箱与垃圾车之间的关联并通过垃圾箱反映垃圾车的收运行为，进而能够有效跟踪和管控垃圾车的垃圾收运过程，从而能够提高环卫资产管理的效果。
45.本发明通过在垃圾箱上设置资产标签并存储垃圾箱的投放位置(初始位置)，使得能够在垃圾车收集对应垃圾箱的垃圾时识别其资产标签获取对应的投放位置，即能够有效获取垃圾箱的投放位置(初始位置)，同时能够根据对应垃圾车的实时位置更新对应垃圾箱的资产标签中存储的投放位置，进而有效的建立垃圾箱与垃圾车之间的关联，并能够更新和管理垃圾箱的位置信息，从而能够进一步提高环卫资产管理的效果。
46.本发明通过统计垃圾车收集垃圾时识别的所有垃圾箱的编号信息生成收运统计信息，并根据与垃圾车关联的垃圾箱的编号信息生成收运计划信息，进而通过对比垃圾车的收运统计信息和收运计划信息来评估垃圾车(垃圾收运人员)的工作绩效，即能够更好、更有效的管控垃圾车的垃圾收运过程，从而能够进一步提高环卫资产管理的效果。
47.本发明通过垃圾箱或垃圾车的使用年限和使用频次并计算其资产状态，并能够在垃圾箱或垃圾车的资产状态偏低时计算其折旧价值以便对其进行处置，同时，本发明能够统计和盘点所有垃圾箱的投放位置、资产状态和折旧价值以及所有垃圾车的实时位置、资产状态和折旧价值，使得资产管理人员能够有效获知资产状态、折旧价值及其位置信息，从而能够进一步提高环卫资产管理的效果。
48.本发明在垃圾车的垃圾收运量小于装载阈值时减少与对应垃圾车的关联垃圾箱，在垃圾车的垃圾收运量大于承载阈值时增加对应垃圾车的关联垃圾箱，使得们能够通过垃圾车的垃圾收运量动态调整其关联的垃圾箱，进而能够将垃圾车的垃圾收运量控制在最优区间(装载阈值和承载阈值之间)，能够更好、更有效的管控垃圾车的垃圾收运过程，从而能够进一步提高环卫资产管理的效果。
附图说明
49.为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
50.图1为环卫一体化资产管理系统的逻辑框图；
51.图2为强化学习的端到端网络结构图；
52.图3为深度循环网络构建图。
具体实施方式
53.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施
例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
54.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。此外，术语“水平”、“竖直”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
55.下面通过具体实施方式进一步详细的说明：
56.实施例一：
57.本实施例中公开了一种环卫一体化资产管理系统。
58.如图1所示，环卫一体化资产管理系统，包括：
59.若干个资产标签；
60.资产标签设置于对应的垃圾箱上，且存储有对应垃圾箱的投放位置和编号信息；
61.车箱关联模块，用于建立对应垃圾车与对应垃圾箱之间的关联，且将垃圾车与其关联垃圾箱的编号绑定；
62.标签读取模块，用于在对应垃圾车收集对应垃圾箱的垃圾时识别对应的资产标签，并获取对应资产标签内存储的投放位置和编号信息，进而根据对应垃圾箱的编号信息判断垃圾车的收运行为是否正确；
63.垃圾箱位置管理模块，用于在对应垃圾车收集对应垃圾箱的垃圾时获取对应垃圾车的实时位置，进而根据对应垃圾车的实时位置更新对应垃圾箱的资产标签中存储的投放位置。
64.本实施例中，资产标签为设置于对应垃圾箱上rfid标签；标签读取模块为设置于对应垃圾车上的rfid识别器，且对应垃圾车收集对应垃圾箱的垃圾时对应垃圾车上的rfid识别器能够与对应垃圾箱上rfid标签实现近场通信。
65.本发明通过在垃圾箱上设置资产标签并存储垃圾箱的编号信息，使得能够在垃圾车收集对应垃圾箱的垃圾时识别其资产标签获取对应的编号信息，进而根据对应垃圾箱的编号信息判断垃圾车的收运行为是否正确，即能够有效的建立垃圾箱与垃圾车之间的关联并通过垃圾箱反映垃圾车的收运行为，进而能够有效跟踪和管控垃圾车的垃圾收运过程，
从而能够提高环卫资产管理的效果。
66.本发明通过在垃圾箱上设置资产标签并存储垃圾箱的投放位置(初始位置)，使得能够在垃圾车收集对应垃圾箱的垃圾时识别其资产标签获取对应的投放位置，即能够有效获取垃圾箱的投放位置(初始位置)，同时能够根据对应垃圾车的实时位置更新对应垃圾箱的资产标签中存储的投放位置，进而有效的建立垃圾箱与垃圾车之间的关联，并能够更新和管理垃圾箱的位置信息，从而能够进一步提高环卫资产管理的效果。
67.具体实施过程中，还包括：
68.垃圾车收运管理模块，用于统计对应垃圾车收集垃圾时识别的所有垃圾箱的编号信息生成对应的收运统计信息；然后根据与对应垃圾车关联的垃圾箱的编号信息生成对应的收运计划信息；最后对比对应垃圾车的收运统计信息和收运计划信息：若收运统计信息与收运计划信息一致，则对应垃圾车的绩效为满分；否则，根据对应垃圾车的收运统计信息和收运计划信息之间的差异情况进行绩效扣分。
69.本发明通过统计垃圾车收集垃圾时识别的所有垃圾箱的编号信息生成收运统计信息，并根据与垃圾车关联的垃圾箱的编号信息生成收运计划信息，进而通过对比垃圾车的收运统计信息和收运计划信息来评估垃圾车(垃圾收运人员)的工作绩效，即能够更好、更有效的管控垃圾车的垃圾收运过程，从而能够进一步提高环卫资产管理的效果。
70.具体实施过程中，还包括：
71.折旧管理模块，用于获取对应垃圾箱或垃圾车的使用年限和使用频次并计算对应的资产状态；当对应垃圾箱或垃圾车的资产状态低于设置的状态阈值时，通过其资产状态结合对应的市场价值计算对应的折旧价值，并根据对应垃圾箱或垃圾车的折旧价值对其进行处置。
72.资产盘点模块，用于统计和盘点所有垃圾箱的投放位置、资产状态和折旧价值，以及所有垃圾车的实时位置、资产状态和折旧价值。
73.本发明通过垃圾箱或垃圾车的使用年限和使用频次并计算其资产状态，并能够在垃圾箱或垃圾车的资产状态偏低时计算其折旧价值以便对其进行处置，同时，本发明能够统计和盘点所有垃圾箱的投放位置、资产状态和折旧价值以及所有垃圾车的实时位置、资产状态和折旧价值，使得资产管理人员能够有效获知垃圾箱或垃圾车的资产状态、折旧价值及其位置信息，从而能够进一步提高环卫资产管理的效果。
74.具体实施过程中，还包括：
75.垃圾箱显示模块，用于获取目标区域的gis地图，以及目标区域内所有垃圾箱的投放位置，进而结合gis地理位置信息在目标区域的gis地图中显示所有垃圾箱的投放位置；
76.垃圾车显示模块，用于获取目标区域的gis地图，以及目标区域内所有垃圾车的实时位置，进而结合gis地理位置信息在目标区域的gis地图中显示所有垃圾车的实时位置。
77.本实施例中，所述的地理信息系统(geographic information system，gis)是一项以计算机为基础的新兴技术，是管理和研究空间数据的技术。
78.本发明通过在目标区域的gis地图中显示所有垃圾箱的投放位置和所有垃圾车的实时位置，使得资产管理人员能够有效获知垃圾箱或垃圾车的位置信息，以便更好的管理垃圾箱或垃圾车，从而能够进一步提高环卫资产管理的效果。
79.实施例二：
80.本实施例中公开了具备垃圾车分配管理功能的环卫一体化资产管理系统。
81.环卫一体化资产管理系统，包括：
82.收运称重模块，用于获取对应垃圾车所装载垃圾的垃圾收运量；
83.收运分配模块，用于获取对应垃圾车的垃圾收运量：若对应垃圾车的垃圾收运量小于设置的装载阈值，则减少与对应垃圾车的关联垃圾箱；若对应垃圾车的垃圾收运量大于设置的承载阈值，则增加对应垃圾车的关联垃圾箱；否则，对应垃圾车的关联垃圾箱保持不变。
84.故障上报模块，用于供产生车辆故障的故障垃圾车发出车辆故障信息；
85.工作情况分析模块，用于在获取到车辆故障信息后，将对应故障垃圾车的垃圾收运量作为垃圾协助转运量；然后获取对应故障垃圾车已完成垃圾收集的垃圾箱集合，并结合与对应故障垃圾关联的垃圾箱计算对应的需收集垃圾箱集合；最后根据需收集垃圾箱集合中各个垃圾箱的历史平均垃圾量计算对应故障垃圾车的垃圾协助收运量；
86.转运协助分配模块，用于获取对应故障垃圾车的故障发生位置；然后将与对应故障垃圾车的故障发生位置之间的距离低于第一预设值且已完成垃圾收运的其他垃圾车作为第一目标垃圾车；最后基于所有第一目标垃圾车的垃圾收运量筛选能够承载对应故障垃圾车的垃圾协助转量的垃圾车作为协助转运垃圾车，进而通过协助转运垃圾车完成对应故障垃圾车的垃圾转运。当不存在符合要求的协助转运垃圾车时，系统会重新指派一辆新的垃圾车作为协助转运垃圾车。
87.收运协助分配模块，用于获取对应故障垃圾车的需收集垃圾箱集合中各个垃圾箱的投放位置；然后将与需收集垃圾箱集合中所有垃圾箱的投放位置之间的距离均低于第二预设值且已完成垃圾收运的其他垃圾车作为第二目标垃圾车；最后基于第二目标垃圾车的垃圾收运量筛选能够承载对应故障垃圾车的垃圾协助收运量的垃圾车作为协助收运垃圾车，进而通过协助收运垃圾车完成对应故障垃圾车的需收集垃圾箱集合中各个垃圾箱的垃圾收运。当不存在符合要求的协助收运垃圾车时，系统会重新指派一辆新的垃圾车作为协助收运垃圾车。
88.本发明在垃圾车的垃圾收运量小于装载阈值时减少与对应垃圾车的关联垃圾箱，在垃圾车的垃圾收运量大于承载阈值时增加对应垃圾车的关联垃圾箱，使得们能够通过垃圾车的垃圾收运量动态调整其关联的垃圾箱，进而能够将垃圾车的垃圾收运量控制在最优区间(装载阈值和承载阈值之间)，能够更好、更有效的管控垃圾车的垃圾收运过程，从而能够进一步提高环卫资产管理的效果。
89.本发明在垃圾车产生车辆故障时，分别计算故障垃圾车的垃圾协助转运量和垃圾协助收运量，进而能够为故障垃圾车分配对应的协助转运垃圾车和协助收运垃圾车以完成故障垃圾车已收集垃圾的转运和未收集垃圾的收运，使得能够通过垃圾车相互协同的方式更好、更有效的管控垃圾车的垃圾收运过程，从而能够进一步提高环卫资产管理的效果。同时，本发明在为故障垃圾车分配对应的协助转运垃圾车和协助收运垃圾车时，充分考虑了其他垃圾车的原有工作任务(通过限定收运完成情况)、转运或收运成本(通过限定距离)以及垃圾承载能力，使得能够更好的实现垃圾车之间的相互协同和配合，从而能够更好的管控垃圾车的垃圾收运过程。
90.实施例三：
91.本实施例中公开了具备垃圾箱分配管理功能的环卫一体化资产管理系统。
92.环卫一体化资产管理系统，包括：
93.箱户关联模块，用于建立对应商户与对应垃圾箱之间的关联，且将商户与其关联垃圾箱的编号绑定；
94.垃圾称重模块，用于在对应垃圾车收集对应垃圾箱的垃圾时进行垃圾称重，得到对应垃圾箱的垃圾重量；
95.垃圾产量计算模块，用于根据与单个商户关联的所有垃圾箱的垃圾重量计算对应商户的垃圾产生量；
96.垃圾产量分类模块，用于获取所有商户的垃圾产生量，将垃圾产生量处于为对应商户设置的产生上限值和产生下限值之间的商户分至产生正常类，将垃圾产生量高于对应商户的产生上限值的商户分至产生超标类，将垃圾产生量低于对应商户的产生下限值的商户分至产生不足类；
97.垃圾箱管理单元，用于从产生超标类或产生不足类中选取一个商户作为目标商户，根据目标商户的位置信息获取目标商户的后一商户作为相邻商户，根据相邻商户的所属类别对目标商户的垃圾桶进行管控。
98.本发明通过商户的垃圾产生量对商户进行分类：产生正常类(不需要增减垃圾桶)、产生超标类(需要增加垃圾桶)、产生不足类(需要减少垃圾桶)，从而根据上述的垃圾产生情况进行垃圾桶资源调配，改善了仅依靠规模管控存在的垃圾桶资源分配管控效果不好的问题。并且，进行垃圾桶管控时，还获取了每个目标商户(需增加或减少垃圾桶的商户)的相邻商户，并根据该相邻商户的类别进行目标商户的垃圾桶进行管控，这建立了相邻的商户之间的关联，能够帮助改善单个商户独立管控存在的浪费垃圾桶的问题。因此，本方案能更好的帮助环卫资产管理的效果。
99.具体实施过程中，还包括：
100.垃圾箱增加模块，用于按顺序从产生超标类中选取一个商户作为目标商户，根据目标商户的位置信息获取目标商户的后一商户作为相邻商户；若相邻商户为产生正常类，则目标商户的垃圾箱增加；若相邻商户为产生不足类，则将相邻商户的垃圾箱作为与目标商户的共用垃圾箱；若相邻商户为产生超标类，则在目标商户与相邻商户之间增加垃圾箱；
101.垃圾箱减少模块，用于按顺序从产生不足类中选取一个商户作为目标商户，根据目标商户的位置信息获取目标商户的后一商户作为相邻商户；若相邻商户为产生正常类，则目标商户的垃圾箱不做增减；若相邻商户为产生超标类，则将目标商户的垃圾箱作为与相邻商户的共用垃圾箱；若相邻商户为产生不足类，则减少目标商户的垃圾箱，并将相邻商户的垃圾箱作为与目标商户的共用垃圾箱；
102.垃圾箱调配模块，用于获取所有需减少垃圾箱商户和需增加垃圾箱商户，计算每个需减少垃圾箱商户与每个需增加垃圾箱商户之间的距离，将单个需减少垃圾箱商户与距离最短的单个需增加垃圾箱商户进行配对，将需减少垃圾箱商户的垃圾箱调配至配对的需减少垃圾箱商户。
103.本发明中，当目标商户为产生超标类，但其相邻商户为产生不足类时，将相邻商户的垃圾桶用于与目标商户共用，这样可节约垃圾桶；当目标商户和相邻商户均产生超标类时，在目标商户和相邻商户之间建立共用垃圾桶，有利于有效的节约垃圾桶。当目标商户为
产生不足类，但其相邻商户为产生超标类时，可将目标商户的垃圾桶用于与相邻商户共用，这样可节约垃圾桶；当标商户和相邻商户均产生不足，可回收目标商户的垃圾桶，使目标商户与相邻商户共用一个垃圾桶，这样同样可节约垃圾桶，有利于有效的节约垃圾桶。同时，本发明通过需减少垃圾桶商户和需增加垃圾桶商户之间距离的计算和配对，能节约分配和运输垃圾桶的成本，还能实现垃圾桶的最快调配，提升垃圾桶管理的效率。
104.实施例四：
105.本实施例中公开了具备收运路径规划功能的环卫一体化资产管理系统。
106.环卫一体化资产管理系统，还包括：
107.收运路径规划模块，用于获取对应垃圾车的实时位置以及与对应垃圾车具备收运关系的各个垃圾箱的投放位置；然后将对应垃圾车的实时位置及各个垃圾箱的投放位置作为深度强化学习端到端网络的输出以及进行实时场景的路径规划，生成对应的收运预设路径；进而将收运预设路径输入深度循环神经网络中训练得到新的调度导航策略，以实现把决策的能力转移到特定场景中智能体的每步决策动作，最终生成对应垃圾车的最优收运路径。
108.收运路径规划模块包括以下两个任务：
109.1)如图2所示，通过无监督深度强化学习来学习可转移的端到端的实时路径规划能力，使用基于课程的对抗性训练策略来自动生成端到端的训练任务课程；
110.设计两个代理：任务生成器和任务学习器；
111.在每次迭代期间，任务生成器从初始状态s0开始，生成一系列学习任务，最后在状态s
t
停止；然后将在最终状态s
t
的测试结果发送给任务学习器，通过任务学习器给定在最终状态ts的观察结果；进而在状态s0初始化元学习器，使得元学习器学习此任务的多个情节，并计算成功率r；任务生成器提出一个新任务，任务学习器重复上述过程；
112.任务生成器的奖励功能由三个部分组成：基于成功率的最终奖励，对任务生成器采取过多步骤进行惩罚的中间奖励，以及衡量任务多样性的多样性度量；
113.成功率：使用元学习者在多个情节之后的成功率来衡量任务的难度，并给予生成者最终的回报；设k是比例因子，r是成功率；最终的奖励定义为：
114.rf＝k*(1-r)；
115.在每个时间步长处，任务生成器都会收到负的中间奖励。对任务生成器采取太多步骤进行惩罚，鼓励它生成任务学习器无法完成的最简单任务。在前几次迭代中，任务生成器可以通过执行少量步骤来提出任务。然后，随着元学习器功能的增强，将采取更多步骤来生成更困难的任务。提供任务学习器者探索更广阔的任务，以建立对环境的更好的理解，在任务生成器的奖励功能中添加一个附加项，以鼓励其生成更多不同的任务。用代表当前策略，用代表之前的策略，多样化度量d可以表示为：
[0116][0117]
为理解当前策略与先前策略之间的差异，多样性的任务旨在激励任务生成器生成覆盖环境更大状态空间的更多的多样化任务。
[0118]
令λ和η是权重超参数，n是任务生成器执行的操作数。
[0119]
通过如下公式计算任务生成器的总奖励：
[0120][0121]
对于任务学习器，使用分层策略，使用惩罚与奖励的方法来训练，并通过奖励功能激励它达到目标；
[0122]
2)如图3所示，基于神度循环网络的调度：基于深度循环网络的调度算法需要做工作如下：首先，对垃圾分类回收物流的vrp问题进行研究。在分析垃圾回收物流的收运系统和转运系统的业务流程基础上，总结垃圾分类回收vrp问题的流程特殊性，并将垃圾产生节点进行聚类处理，为模型的构建及求解提供基础。其次，综合考虑途经中转站多次作业、时间窗约束、多货物种类等复杂条件，构建了运营成本最低、工人作业量最均衡、中转排队时间最短的多目标车辆路径规划模型。在模型构建过程中，根据“分装制”和“统装制”两种回收模式业务流程的差异，对模型目标函数的表达形式及模型的约束条件予以区分。
[0123]
把任务学习器利用所学的端到端的导航功能快速转移到垃圾转运路径导航任务；
[0124]
首先固定从第一步训练过程中学习到的子策略，并将第一步得到的数据输入到设计好的深度循环神经网络中，训练新的调度导航策略；设计任务生成器的对抗性训练策略，且设计多样性度量，以鼓励任务生成器生成更多的多样性的任务，解决传统调度规划的单一局限性问题；
[0125]
在对抗性训练过程中，任务生成器自动提出任务课程，任务学习器学习完成这些任务；任务学习器的体系结构是共享层次策略，包含一个主策略和一组子策略；
[0126]
对在预处理期间，共享子策略θ的网络参数是固定的；在微调主策略之后，进入联合更新阶段，运行分层策略，并更新任务特定参数和网络参数θ；
[0127][0128][0129]
对于网络参数的梯度下降，令θ表示网络的参数，τ表示一个采样任务，表示梯度下降后的更新参数；算法的更新规则如下：
[0130][0131]
在每个时间步内，主策略首先选择要激活的子策略，然后根据选择的子策略执行基本操作；对于每个任务，从零开始学习主策略，并对任务特定信息进行编码；子策略是共享的，并封装了可以跨所有任务传递的元技能；对于任务生成器生成的每个任务，任务学习器首先重新初始化主策略，并学习组合子策略以完成任务；在使主策略适应新任务后，采用深度学习算法对子策略进行优化，以获得跨任务的性能优异的主策略，得到垃圾车调度中智能体的每步决策动作，进而得到最优的完整调度方案。
[0132]
最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。