一种面向智慧城市的社会化学习方法

1.本发明属于大数据技术领域，具体涉及一种面向智慧城市的社会化学习方法。


背景技术：

2.近期城市化进程中出现的人口爆炸、资源失衡、交通拥堵等恶化趋势，对市民的高品质生活提出了日益高涨的要求。随着5g、物联网(internetofthings,iot)和人工智能(artificial intelligence,ai)的空前繁荣，智慧城市成为城市发展的新趋势指日可待。随着智慧城市的普及，2021年来自物联网设备的数据量将急剧增加，将达到850zettabytes。数十亿的物联网设备与智慧城市相关联，为整个城市构建各种智能小区域。这些物联网设备通常部署有中等计算能力，例如智能路灯、智能交通灯、智能监控摄像头和智能手机。此外，通信功能弥合了物联网设备、用户乃至整个城市之间的鸿沟，为智慧城市提供了血管。一些资源因素，例如未充分利用的频谱资源、巨大的带宽成本和有限的计算能力，推翻了智慧城市的好处，即智慧城市中的细胞和血管逐渐贫乏和拥挤。
3.为了释放智慧城市的潜力，有许多研究趋势可以解决上述挑战。例如，认知物联网使物联网设备能够灵活感知和动态接入频谱，从而缓解智慧城市的频谱需求。边缘计算和雾计算将计算任务和服务从云服务器推送到网络边缘，进一步降低带宽消耗。但仍有许多问题有待解决。1)由于智慧城市对延迟的严格要求，对于频谱接入和计算分配的决策需要提前做出，并具有较高的精度，这些要求催生了大量关于人工智能受益策略的研究；2)构建智能决策的传统人工智能方法，通常依赖于提供海量数据，并在一个或几个云服务器上进行训练，这些问题进一步加剧了带宽成本、时间效率等问题；3)边缘智能包括将学习智能从一个或几个云服务器推送到网络边缘，但它们忽略了边缘服务器之间的协作特性，导致学习资源低效甚至学习性能下降；4)智慧城市运营的背后，存在着明显的社会等级制度，该层次结构由物联网设备、决定物联网设备运行的边缘服务器和决定边缘服务器操作的云服务器组成。现有的边缘智能也忽略了智慧城市的社会化决策。


技术实现要素：

4.针对以上技术问题，受人类社会高效协作的运行机制和人与人之间的社会互动的启发，本发明提出了一种面向智慧城市的社会化学习方法，它是一种社会化的、基于学习的和认知的方案，它根据智能体的特征构建等级，做出相互关联的决策，使信息交互流动，可以解决智慧城市的各种需求，例如合理的资源配置。为解决以上技术问题，本发明所采用的技术方案如下：
5.一种面向智慧城市的社会化学习方法，包括如下步骤：
6.s1，构建包括云服务器、边缘服务器和物联网设备的分层社会化学习系统，物联网设备通过无线网络与边缘服务器连接，边缘服务器与云服务器连接；
7.s2，基于深度强化学习在物联网设备、边缘服务器和云服务器中分别建立任务评估模型；
8.s3，物联网设备利用所有物联网设备获得的任务状态和信道状态对任务评估模型进行优化，根据优化后的任务评估模型获得任务处理基本决策，并将任务处理基本决策和优化后的任务评估模型发送给对应的边缘服务器；
9.s4，边缘服务器利用联邦学习对物联网设备发送的任务评估模型进行边缘聚合，根据物联网设备发送的任务处理基本决策对边缘服务器上的任务评估模型进行优化获得任务处理高层决策，并将任务处理高层决策发送给物联网设备；
10.s5，边缘服务器利用迁移学习对物联网设备中的任务评估模型进行指导，并将任务处理高层决策和优化后的任务评估模型发送给云服务器；
11.s6，云服务器利用联邦学习将边缘服务器发送的任务评估模型进行云聚合，根据边缘服务器发送的任务处理高层决策和云服务器上的任务评估模型制定任务处理市级决策，将任务处理市级决策发送给边缘服务器，并利用迁移学习对边缘服务器中的任务评估模型进行指导。
12.在步骤s3中，所述任务状态包括任务的cpu周期和任务数据量，信道状态包括无线网络的授权信道增益、非授权信道增益和信道占用状态。
13.所述物联网设备包括主要用户和次要用户，主要用户通过授权信道与边缘服务器连接，次要用户通过授权信道或非授权信道与边缘服务器连接，当次要用户使用授权信道时，需不影响主要用户的连接。
14.所述步骤s3包括如下步骤：
15.s3.1，每个物联网设备获取当前环境下的任务状态和信道状态，并根据对应的任务评估模型得到任务处理初步决策；
16.s3.2，每个物联网设备综合所有物联网设备的任务处理初步决策，并以最小化总处理延迟和能耗的加权和为目标对任务评估模型进行一次优化；
17.s3.3，物联网设备根据一次优化后的任务评估模型制定任务处理基本决策，并将任务处理基本决策和一次优化后的任务评估模型发送给对应的边缘服务器。
18.所述任务处理基本决策和任务处理初步决策均包括卸载决策、无线网络的信道选择和计算资源预算。
19.所述步骤s4包括如下步骤：
20.s4.1，每个边缘服务器获取当前环境下的信道状态和边缘可用计算资源，利用联邦学习将接收到的一次优化的任务评估模型进行边缘聚合，并将边缘聚合后的任务评估模型发送对应的物联网设备；
21.s4.2，每个边缘服务器根据接收到的任务处理基本决策、步骤s4.1获取的信道状态和边缘可用计算资源以及边缘服务器上的任务评估模型得到任务处理高层初步决策；
22.s4.3，每个边缘服务器综合所有边缘服务器的任务处理高层初步决策，并以成本最小化为目标对边缘服务器上的任务评估模型进行一次优化，根据一次优化后的任务评估模型得出任务处理高层决策；
23.s4.4，边缘服务器将任务处理高层决策发送给对应的物联网设备，物联网设备利用任务处理高层决策对物联网设备上的任务评估模型进行二次优化。
24.所述任务处理高层决策和任务处理高层初步决策均包括基本决策的评估结果、协作边缘服务器选择和边缘计算资源贡献量。
25.所述成本等于边缘计算资源贡献量减去与其它边缘服务器合作的成本之间的差值。
26.所述步骤s6包括如下步骤：
27.s6.1，云服务器获取当前环境下的信道状态和云可用计算资源，利用联邦学习将接收到的边缘服务器发送的任务评估模型进行云聚合，并将云聚合后的任务评估模型发送边缘服务器；
28.s6.2，云服务器将接收到的任务处理高层决策、步骤s5.1得到的信道状态和云可用计算资源输入云服务器上的任务评估模型得到任务处理市级决策，将任务处理市级决策发送给对应的边缘服务器，并利用迁移学习对边缘服务器中的任务评估模型进行指导；
29.s6.3，边缘服务器根据任务处理市级决策对边缘服务器上的任务评估模型进行二次优化。
30.所述任务处理市级决策包括高层决策的评估结果和云计算资源贡献量。
31.本发明的有益效果：
32.本发明根据各智能体的计算能力不同构建了分层社会化学习系统，层内各智能体通过联邦学习提高层内智能体之间的协作能力，层间通过迁移学习实现了上层对下层的引导，提高了模型的性能；各智能体之间进行合作，单一智能体在进行决策的时候同时考量其它智能体的决策，在对任务卸载、频谱选择和计算资源分配进行决策时，可以共同优化传输时延、能量消耗和带宽利用率。
附图说明
33.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
34.图1为本发明的基本架构图。
35.图2为云服务器、边缘服务器和物联网设备各层之间的关系。
36.图3为本发明的流程图。
37.图4为本发明与随机卸载方案和本地卸载方案之间在平均sinr、平均时延和平均能耗之间的对比效果图。
具体实施方式
38.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
39.随着机器智能的快速发展，可以认为许多机器就像人类一样构成了一个机器社会。对于人类社会，社会学习理论指出了社会特征对人类行为的限制作用。人类社会的运行机制对个人有激励作用，并承诺了关于个人之间的社会化特征的若干好处。社会中的人按照一定的标准被划分为不同的层次，社会中的社会关系使人类社会更加协调和高效。例如，
在决策方面，高层次的人不需要从低层次的人那里收集所有数据。高层人士更关注来自低层人士的学习决策，协助他们做出更高层次的决策。也就是说，在现实社会中，总统不需要知道一个州的州长是如何决策的，他只需要学习决策结果。受人类社会高效协作运行机制的启发，本发明将其引入机器社会，提出社会化学习来解决智慧城市中的各种需求，如资源的合理分配。与边缘智能的其他使能技术不同，如联邦学习，该方案更具有人类社会的特征，如社会关系：合作和竞争。竞争与合作作为社会关系的代表，都是社会规则的组成部分。通过竞争可以提高个体的互动性、积极性和学习效率。此外，合作可以使私人知识公开化，以提高所有个人的能力和效用。
40.一种面向智慧城市的社会化学习方法，如图1-4所示，包括如下步骤：
41.s1，构建包括云服务器、边缘服务器和物联网设备的分层社会化学习系统，物联网设备通过无线网络与边缘服务器连接，边缘服务器与云服务器连接；
42.所述云服务器、边缘服务器和物联网设备均为智能体，由于智能体的计算能力、感知范围、通信方式等资源因素不同，因此将具有不同资源的云服务器、边缘服务器和物联网设备分别设置在分层社会化学习系统中的不同层，高层的云服务器具有强大的数据分析和计算能力，支持无所不在的、方便的、按需的网络访问，但长距离造成了很高的通信开销。位于底层的大规模物联网设备上设有多个时间敏感和计算密集型的任务需要处理，但它具有有限的感知能力，且受计算能力的限制。中间层是边缘服务器层，它比云服务器更接近底层物联网设备，可以提供中等的计算能力；通过连接物联网设备的无线网络、连接云服务器的骨干网络，边缘服务器可以通过协调和整合各种类型的资源，缓解最高和最低层之间的壁垒。
43.所述无线网络的信道包括授权信道和非授权信道，物联网设备包括主要用户和次要用户，主要用户主要使用授权信道传输信号，次要用户主要使用非授权信道传输信号，当次要用户想要使用主要用户的授权信道卸载时，需要保证不影响主要用户的无线传输。
44.s2，基于深度强化学习(deep reinforcement learning，drl)分别在物联网设备、边缘服务器和云服务器中分别建立任务评估模型；
45.s3，物联网设备利用所有物联网设备获得的任务状态和信道状态对物联网设备上的任务评估模型进行优化，根据优化后的任务评估模型获得任务处理基本决策，并将任务处理基本决策和优化后的任务评估模型发送给对应的边缘服务器，包括如下步骤：
46.s3.1，每个物联网设备获取当前环境下的任务状态和信道状态，并根据物联网设备上的任务评估模型得到任务处理初步决策；
47.所述任务状态包括任务的cpu周期和任务数据量，信道状态包括授权信道增益、非授权信道增益和信道占用状态，；
48.s3.2，每个物联网设备综合所有物联网设备的任务处理初步决策，并以最小化总处理延迟和能耗的加权和为目标对物联网设备上的任务评估模型进行一次优化；
49.单个物联网设备在制定决策时同时考虑其它物联网设备的决策，可以实现智能体之间的合作。
50.s3.3，物联网设备根据一次优化后的任务评估模型制定任务处理基本决策，并将任务处理基本决策和一次优化后的任务评估模型发送给所连接的边缘服务器；
51.所述任务处理基本决策和任务处理初步决策均包括卸载决策、信道选择、计算资
源预算，卸载决策是指将任务执行本地处理或是远程卸载，计算资源预算是指对执行任务所需要的计算资源的评估。
52.s4，边缘服务器利用联邦学习对物联网设备发送的任务评估模型进行边缘聚合，根据物联网设备的基本决策对边缘服务器上的任务评估模型进行优化，根据优化后的任务评估模型获得高层决策，并将高层决策和优化后的任务评估模型发送给云服务器，包括如下步骤：
53.s4.1，每个边缘服务器获取当前环境下的信道状态和边缘可用计算资源，利用联邦学习将所连接的物联网设备发送的任务评估模型进行边缘聚合，并将边缘聚合后的任务评估模型发送到对应的物联网设备；
54.由于边缘服务器具有较强的计算能力，因此边缘服务器可以获取更精确的信道状态。利用联邦学习可以在保证数据交换过程中的信息安全、数据隐私和合法性的前提下，使同一层的设备之间进行高效的机器学习。
55.s4.2，每个边缘服务器根据接收到任务处理基本决策、步骤s4.1所获取的信道状态、边缘可用计算资源和边缘服务器上的任务评估模型得到任务处理高层初步决策；
56.s4.3，每个边缘服务器综合所有边缘服务器的任务处理高层初步决策，并以成本最小化为目标对边缘服务器上的任务评估模型进行一次优化，根据一次优化后的任务评估模型得出任务处理高层决策；
57.所述成本的计算方法为将边缘计算资源贡献量减去与其它边缘服务器合作的成本。
58.s4.4，边缘服务器将任务处理高层决策发送给对应的物联网设备，物联网设备利用任务处理高层决策对物联网设备上的任务评估模型进行二次优化；
59.所述任务处理高层决策和任务处理高层初步决策均包括基本决策的评估结果、协作边缘服务器选择和边缘计算资源贡献量，基本决策的评估结果是指是否批准物联网设备执行卸载决策，协作边缘服务器选择是指远程卸载任务时需要协作的边缘服务器集合也即将任务卸载到哪些边缘服务器进行处理，边缘计算资源贡献量是指远程卸载任务时每个边缘服务器根据各自的可用计算资源所分配的计算资源。由于每个边缘服务器的计算资源是有限的，因此通过边缘服务器之间的合作可以实现计算资源的合理分配。
60.s5，边缘服务器利用迁移学习对物联网设备中的任务评估模型进行指导，并将任务处理高层决策和边缘服务器的一次优化后的任务评估模型发送给云服务器；
61.迁移学习作为跨层的学习方法，可以实现数据的垂直流动，加快训练过程，优化底层模型训练的学习效率，提高资源利用率。也可以不像大多数训练过程那样需要从头学习，大大节省了计算资源，时间效率高。本实施例中的迁移学习是受“教师-学生”结构的启发，“教师-学生”结构是社会关系中的一种特殊的合作，即师生合作。教师将所学知识分享给学生，实现知识的流动，提高学生的能力，显著减少学生学习相关知识所消耗的时间和资源。
62.s6，云服务器利用联邦学习将边缘服务器发送的任务评估模型进行云聚合，根据边缘服务器发送的任务处理高层决策和云服务器上的任务评估模型制定任务处理市级决策，将任务处理市级决策发送给边缘服务器，并利用迁移学习对边缘服务器中的任务评估模型进行指导，实现云服务器对边缘服务器的引导，包括如下步骤：
63.s6.1，云服务器获取当前环境下的信道状态和云可用计算资源，利用联邦学习将
接收到的边缘服务器发送的任务评估模型进行云聚合，并将云聚合后的任务评估模型发送边缘服务器；
64.由于云服务器具有最强大的计算能力，因此云服务器可以获取更为精确的信道状态。
65.s6.2，云服务器将接收到的任务处理高层决策、步骤s6.1得到的信道状态、云可用计算资源输入云服务器上的任务评估模型得到任务处理市级决策，将任务处理市级决策发送给对应的边缘服务器，并利用迁移学习对边缘服务器中的任务评估模型进行指导；
66.所述任务处理市级决策包括高层决策的评估结果和云计算资源贡献量。高层决策的评估结果是指是否批准边缘服务器执行卸载决策，云计算资源贡献量是指通过云服务器执行远程卸载任务时需要云服务器贡献的计算资源。通过上层智能体的引导，可以将更多的信息传递到下层智能体，增加了数据储备，提高了数据的质量。
67.s6.3，边缘服务器根据云服务器所发送的任务处理市级决策对边缘服务器上的任务评估模型进行二次优化。
68.三层智能体之间社会化学习的流程为：物联网设备作为眼睛和耳朵，可以感知所在环境并对感知到的数据进行预处理，由于其感知范围的限制，物联网设备可以为其上的各种任务做出任务处理基本决策，并将基本决策上传给边缘服务器，边缘服务器对不同地理区域的物联网设备所传递的基本决策进行聚合处理，并根据自己所感知到的状态对物联网设备的基本决策进行评估制定出任务处理高层决策，同样的，边缘服务器做出任务处理高层决策后，将任务处理高层决策上传给云服务器，云服务器对接收到的智慧城市中的所有边缘服务器的任务处理高层决策进行聚合处理以制定出全面的任务处理市级决策，再通过迁移学习实现上层对下层的引导进而做出更为准确的决策，同时每个智能体都可以通过自主学习获得知识实现感知数据的共享，并通过学习同层或更高层的其它智能体的行为和相应的反馈采取动作也即决策。
69.本实施例中，所述边缘服务器只关注物联网设备做出的任务处理基本决策，而不论物联网设备是如何做出的这些任务处理基本决策，同样地，云服务器也只关注边缘服务器做出的任务处理高层决策，而不论如何做出的这些任务处理高层决策。所有模型在进行传输、优化或更新时是指通过操作模型参数实现的，解决了物联网设备由于其感知能力的限制，无法准确感知环境，或者感知到的数据中存在数据噪声或一定程度的不确定性，导致做出错误的卸载决策，甚至导致通信和计算资源消耗增加、时间效率降低的问题。由于错误的卸载决策可能会导致卸载机会的丧失及无法获得可用的频谱资源，因此增加了无线链路的拥塞、能耗及成本，降低了带宽利用率。所述联邦学习和迁移学习均为现有技术，本实施例不再赘述。
70.本实施例可以应用在智慧城市中的智能电网及智慧交通等领域，当应用在智能电网领域时，物联网设备相当于某一地理区域的监控电源设备如断路器、保险丝保护器、安培表、电压表等的摄像设备，边缘服务器相当于某一个地理区域的本地监控机，云服务器相当于有线连接本地监控机的总监控中心，由于摄像设备的计算能力有限无法处理全部的图像数据，可以利用本技术制定相关的图像处理决策以在摄像设备、本地监控机和总监控中心之间进行合理的资源分配。当应用在智慧交通领域时，物联网设备相当于某一地理区域的交通监控设备如固定或移动式摄像设备，边缘服务器相当于某一个地理区域的道路侧单元
(road side units,rsu)，云服务器相当于有线连接道路侧单元的交通监控中心。
71.如图4所示为本技术、随机卸载方案和本地卸载方案在干扰信噪比(signal to interference plus noise ratio，sinr)、时延和能耗方面的比较结果。本地卸载方案表示物联网设备仅在本地执行任务，而随机卸载方案则是随机决定是否卸载任务。图4(a)为主要用户(primary users，pus)、次要用户(secondary users，sus)与所有物联网设备也即主要用户和次要用户的加总的平均sinr对比结果，可以看出，本技术的平均sinr比传统方案高，平均增幅超过22.2％，本技术可以提高所有物联网设备的平均sinr，同时保证主要用户的传输速率不受太大影响，这直接证明了带宽利用率大大提高。这是因为本发明所提出的社会化学习方案可以确定执行任务的最优卸载和通信策略。
72.此外，为了进一步评估本技术的时间效率和能量效率，分别在图4(b)和图4(c)中给出了平均延迟和平均能量消耗，并与传统方案(包括随机卸载方案和本地卸载方案)相对比，从图中可以看出，本发明具有较低的平均延迟和平均能量消耗。在延迟方面，本技术的平均延迟比本地卸载方案低60.9％，比随机卸载方案低35.7％。在能耗方面，本技术的平均能耗比本地卸载方案低20％，比随机卸载方案低8.2％。这是由于物联网设备选择当前最优的卸载和通信策略来执行任务，平均延迟和能源消耗可以减少。在传统方案中，物联网设备随机选择策略或仅在本地执行任务，因此造成延迟和能耗高。
73.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。