车载算力网络用户需求预测方法、系统、设备、介质

1.本发明属于智能车载算力网络技术领域，尤其涉及一种车载算力网络用户需求预测方法、系统、设备、介质。


背景技术：

2.目前，车联网技术、分布式学习方法的快速发展使得车联网应用需求量及服务需求质量迅猛增长。作为数字化应用场景的重要组成部分，车联网势必迎来快速的发展期，而由此造成的几何级数据增长，无疑将对信息处理的能力提出极大的挑战。以计算密集型的自动驾驶场景为例，单台汽车每秒将会产生1g左右的数据。车辆由于自身资源的限制，显然难以有效处理；云虽然拥有丰富资源，却因为远距离部署，会产生长距离的回程链路负载和数据获取时延，无法满足车联网中日益增长的用户体验需求。
3.近些年边缘计算和分布式学习迅猛发展，边缘计算借助其在网络边缘处理数据的优势，在网络边缘处理大量临时数据，不再全部上传云端，这极大地减轻了网络带宽和数据中心功耗的压力，减少延迟并提高性能；而分布式学习中兴起的联邦学习解决了车辆用户的隐私问题，联邦学习在本地根据用户数据得到数据信息，只上传这些模型训练过程中产生的训练信息。
4.作为改变通信信息服务模式的关键创新技术，边缘计算无论在学术研究抑或是落地实践方面均取得了长足的突破，但是依然存在一些难点需要解决。邬贺铨院士提出的“十问”边缘计算中尤为追问了边缘计算部署过程当中的算力配置和调度问题。作为应对的重要举措，我国率先提出了“算力网络”的概念。算力网络基于实时的网络状况和计算资源等因素，可根据业务需求灵活地调度计算任务，实现连接和算力在网络的全局优化，从而提供极致的用户体验。
5.现有技术未考虑车联网中用户需求预测的准确性十分依赖于用户数据，而这对用户数据安全隐私带来极大挑战，且无法提高用户体验需求。因此，如何在保护数据隐私的情况下对不同用户多样化的服务需求精确预测以支持服务应用的灵活部署来保障任务的有效计算是亟需解决的一大问题。
6.迄今为止，算力网络的远景已在业界得到了广泛的认可，在标准制定、生态建设和试验验证等领域均取得了一定的进展。在计算和网络服务面向泛在化发展的当下，探索云
‑
边
‑
端多级计算资源和服务能力的智能管控和高效分配以满足用户多样化的服务需求是算力网络亟待攻克的技术难题。
7.通过上述分析，现有技术存在的问题及缺陷为：
8.(1)车辆由于自身资源的限制，显然难以有效处理大量数据；云虽然拥有丰富资源，却因为远距离部署，会产生长距离的回程链路负载和数据获取时延，无法满足车联网中日益增长的用户体验需求。
9.(2)现有技术未考虑车联网中用户需求预测的准确性十分依赖于用户数据，而这对用户数据安全隐私带来极大挑战，且无法提高用户体验需求。
10.(3)如何在保护数据隐私的情况下对不同用户多样化的服务需求精确预测以支持服务应用的灵活部署来保障任务的有效计算是亟需解决的一大问题。
11.解决以上问题及缺陷的难度为：该方法需要构建一个端
‑
边
‑
云的混合联邦架构，用来均衡联邦学习通信和计算之间的性能；在每次迭代过程中需要对车载网络中端侧训练参与者动态更新。
12.解决以上问题及缺陷的意义为：可以在保护数据隐私的情况下对不同用户多样化的服务需求精确预测，保障车载算力网络中任务的有效计算；设计学习参与者动态选择的机制，可以应对随机性的移动特征和差异化的数据质量；本发明将分布式学习方法承载于端
‑
边
‑
云架构上，通过本地数据训练，边缘参数聚合，云端数据聚合三层学习，实现车载算力网络中用户需求的精确预测，能够极大地提高用户体验。


技术实现要素：

13.针对现有技术存在的问题，本发明提供了一种车载算力网络用户需求预测方法、系统、设备、介质，尤其涉及一种基于分布式学习方法的车载算力网络用户需求预测方法、系统、设备、介质，旨在解决移动车辆网环境中，在保护数据隐私的情况下对不同用户多样化的服务需求精确预测以支持服务应用的灵活部署来保障任务的有效计算的问题。
14.本发明是这样实现的，一种车载算力网络用户需求预测方法，所述车载算力网络用户需求预测方法包括以下步骤：
15.步骤一，构建端
‑
边
‑
云的混合联邦架构，旨在通过多层之间的协同，以达到均衡联邦学习通信和计算间性能的目的；
16.步骤二，设计学习参与者动态选择机制，在每轮学习过程中，根据车辆的移动特征的分析以及所拥有的数据质量的评估，智能选择合适的车辆作为学习的参与者，从而保证学习质量；
17.步骤三，通过对车辆历史服务应用信息的分析，在混合联邦架构上部署神经网络算法，基于采集的数据在保障车辆隐私的前提下预测其未来时刻的服务需求。
18.进一步，步骤一中，所述混合联邦架构由一个云服务器，若干边缘服务器和车辆组成。
19.进一步，步骤一中，所述混合联邦架构中，每个边缘服务器e覆盖n
e
个车辆；单个车辆i的局部数据集合为其中，x
j
表示第j个样本，y
j
表示相应的输出，|d
i
|表示样本的数目；所述学习过程包括本地数据训练，边缘参数聚合和云端数据聚合。
20.进一步，所述学习过程，包括：
21.(1)第一阶段是车载算力网络中车辆本地数据训练，通过分析影响用户需求预测的因素的相关性，提取特征因素并建立模型特征值；将需求特征进行向量化表示，作为时间序列输入lstm进行模型训练；车辆通过训练本地数据集以最小化经验损失函数f(w)：
[0022][0023]
其中，f(x
j
,y
j
,w)表示第j个样本的损失函数；定义τ为局部迭代的步数，η为学习的速率，则模型的参数通过以下公式更新：
[0024][0025]
(2)第二阶段是车载算力网络中车辆边缘参数聚合，在本地网络端侧经过一定的迭代次数之后，车辆i将局部模型参数上传给关联的边缘服务器e；e在收到不同车辆上传的模型参数之后进行如下聚合：
[0026][0027]
其中，s
e
表示车辆的集合；e把聚合之后的参数广播给车辆以便继续训练直达设定的精度。
[0028]
(3)第三阶段是车载算力网络中车辆云端数据聚合，在边缘侧经过一定迭代次数之后，服务器将参数w
e
上传至云进行如下聚合：
[0029][0030]
其中，k表示服务器的集合，随后云将参数w反馈给车辆。
[0031]
进一步，所述车载算力网络用户需求预测方法，还包括：
[0032]
混合联邦学习用分布式机器学习，参与各方在数据不出域的基础上共建一个公共虚拟模型，训练和交互的全过程各方的数据始终留在本地，不参与交换和合并，只交换模型参数的梯度更新。
[0033]
联邦学习的一次迭代过程包括：
[0034]
客户端从服务器下载全局模型w
t
‑1；
[0035]
客户端k训练本地数据得到本地模型w
t，k
；
[0036]
各客户端上传本地模型更新到中心服务器；
[0037]
服务器接收各方数据后进行加权聚合操作，得到全局模型w
t
；
[0038]
其中，w
t，k
代表第k个客户端第t轮通信的本地模型更新，w
t
代表第t轮通信的全局模型更新。
[0039]
本发明的另一目的在于提供一种应用所述的车载算力网络用户需求预测方法的车载算力网络用户需求预测系统，所述车载算力网络用户需求预测系统，包括：
[0040]
本地数据训练模块，用于在端
‑
边
‑
云的混合联邦架构的端侧训练车辆产生的数据，分析影响用户需求预测因素的相关性，提取特征因素并建立模型特征值；
[0041]
边缘参数聚合模块，用于在端
‑
边
‑
云的混合联邦架构的边侧聚合车辆产生的结果并继续进行训练，在端侧经过一定的迭代次数之后，车辆将局部模型参数上传给关联的边缘服务器，然后边缘服务器把聚合之后的参数广播给车辆以便继续训练直达设定的精度；
[0042]
云端数据聚合模块，用于在端
‑
边
‑
云的混合联邦架构的云侧聚合端侧边缘服务器的数据并分发给车辆，在边侧经过一定迭代次数之后，服务器将参数上传至云进行聚合，然后云将参数反馈给端侧车辆。
[0043]
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器
执行如下步骤：
[0044]
首先，通过构建端
‑
边
‑
云的混合联邦架构，均衡联邦学习通信和计算之间的性能；然后，设计学习参与者动态选择的机制，应对随机性的移动特征和差异化的数据质量；最后，通过对车辆历史服务应用信息的分析，在混合联邦架构上部署神经网络算法，在保障车辆隐私的前提下预测其未来时刻的服务需求。
[0045]
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
[0046]
首先，通过构建端
‑
边
‑
云的混合联邦架构，均衡联邦学习通信和计算之间的性能；然后，设计学习参与者动态选择的机制，应对随机性的移动特征和差异化的数据质量；最后，通过对车辆历史服务应用信息的分析，在混合联邦架构上部署神经网络算法，在保障车辆隐私的前提下预测其未来时刻的服务需求。
[0047]
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的车载算力网络用户需求预测系统。
[0048]
本发明的另一目的在于提供一种智能车载算力网络的联邦混合架构，所述智能车载算力网络的联邦混合架构用于实现所述的车载算力网络用户需求预测方法。
[0049]
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的车载算力网络用户需求预测方法，采用混合联邦学习方法，首先，通过构建端
‑
边
‑
云的混合联邦架构，以均衡联邦学习通信和计算之间的性能；然后，设计学习参与者动态选择的机制，以应对随机性的移动特征和差异化的数据质量；最后，通过对车辆历史服务应用信息的分析，在混合联邦架构上部署神经网络算法以在保障车辆隐私的前提下预测其未来时刻的服务需求。本发明同时考虑了用户需求预测带来的数据安全隐私和车辆移动行为对车载计算的影响，实现车载计算节点提前部署服务应用，保障不同用户个性化的服务需求。
[0050]
为了均衡联邦学习通信和计算之间的性能，本发明通过构建端
‑
边
‑
云的混合联邦架构，整个架构由一个云服务器，若干边缘服务器和车辆组成；由于车载网络中车辆移动性的影响，在每次迭代过程当中需要对端侧训练参与者动态更新；混合联邦架构中运行分布式学习方法解决用户需求预测任务。
[0051]
本发明提供的车载算力网络用户需求预测方法中，用户需求预测的准确性依赖于用户数据的规模和质量，但这对数据安全隐私带来了挑战，而混合联邦学习用分布式机器学习，参与各方在数据不出域的基础上共建一个公共虚拟模型，训练和交互的全过程各方的数据始终留在本地，不参与交换和合并，只交换模型参数的梯度更新，这就有效保护了用户的数据安全隐私。
[0052]
在车载网络当中，车辆的高速移动会造成间歇性的连通度，引起任务上传速率的时变性，带来业务的时空迁移，改变不同地段、不同服务节点的资源需求。所以，车载算力网络中资源管理需要和车辆的移动分析有效结合起来，这就需要训练过程中参与者的动态更新。
[0053]
车载环境下多样化的用户有着差异化的服务需求，由于车载网络中移动性的影响，这些需求在时间和空间尺度上往往发生变化，同时，网络的计算资源往往是泛在化，异构化的，特性各异且分散在不同的位置。本发明提供的基于分布式学习算法的用户需求预测方法，通过混合联邦学习在保护数据隐私的情况下对不同用户多样化的服务需求精确预
测，同时考虑到车辆移动行为和数据质量对混合联邦学习执行的影响，构建端
‑
边
‑
云的混合联邦架构，以均衡联邦学习通信和计算之间的性能，为了应对随机性的移动特征和差异化的数据质量，在端
‑
边
‑
云的混合联邦架构中设计学习参与者动态选择机制。、
[0054]
现有技术未考虑用户数据安全隐私问题。区别于传统的机器学习需要大量收集用户信息，本发明使用混合联邦学习，使用户的数据无需上传就可以参与模型的训练。现有技术未考虑车辆网中车辆的移动性。本发明引入参与者动态选择机制，在每次迭代过程中对端侧训练参与者动态更新，根据车辆与边缘服务器的连接时间，选取最长的n个车辆作为候选者，边缘服务器可以在候选者里面选择数据质量较高的用户参与训练过程。现有技术未考虑云端与本地之间时延对移动车联网的影响。为了平衡联邦学习性能要求和车载计算资源受限的矛盾，本发明通过构建端
‑
边
‑
云的混合联邦架构，通过本地数据训练，边缘参数聚合和云端数据聚合有效解决矛盾。
[0055]
本发明在端
‑
边
‑
云的混合联邦架构上部署神经网络算法，摒弃传统算法在移动车联网环境下的不足，提出一种基于分布式学习方法的用户需求预测机制，结合训练参与者动态选择策略，在本地分析影响用户需求预测的因素的相关性并将局部模型参数上传到边缘服务器，在边侧经过一定次数迭代之后聚合到云端，实现了保护数据隐私的情况下对不同用户多样化的服务需求精确预测。
[0056]
本发明在保护数据隐私的情况下实现了对不同用户多样化的服务需求精确预测，保障车载算力网络中任务的有效计算；设计学习参与者动态选择的机制，可以应对随机性的移动特征和差异化的数据质量；本发明将分布式学习方法承载于端
‑
边
‑
云架构上，通过本地数据训练，边缘参数聚合，云端数据聚合三层学习，实现车载算力网络中用户需求的精确预测，能够极大地提高用户体验。
附图说明
[0057]
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
[0058]
图1是本发明实施例提供的车载算力网络用户需求预测方法流程图。
[0059]
图2
‑
图3是本发明实施例提供的车载算力网络用户需求预测方法原理图。
[0060]
图4是本发明实施例提供的车载算力网络用户需求预测系统结构框图；
[0061]
图中：1、本地数据训练模块；2、边缘参数聚合模块；3、云端数据聚合模块。
[0062]
图5是本发明实施例提供的基于端
‑
边
‑
云架构的混合联邦学习架构示意图。
[0063]
图6是本发明实施例提供的联邦学习原理图。
[0064]
图7是本发明实施例提供的混合联邦学习流程图。
具体实施方式
[0065]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0066]
针对现有技术存在的问题，本发明提供了一种车载算力网络用户需求预测方法、系统、设备、介质，下面结合附图对本发明作详细的描述。
[0067]
如图1所示，本发明实施例提供的车载算力网络用户需求预测方法包括以下步骤：
[0068]
s101，构建端
‑
边
‑
云的混合联邦架构，均衡联邦学习通信和计算间的性能；
[0069]
s102，设计学习参与者动态选择机制，以应对随机性的移动特征和差异化的数据质量；
[0070]
s103，通过对车辆历史服务应用信息的分析，在混合联邦架构上部署神经网络算法，在保障车辆隐私的前提下预测其未来时刻的服务需求。
[0071]
本发明实施例提供的车载算力网络用户需求预测方法原理图如图2
‑
3所示。
[0072]
如图4所示，本发明实施例提供的车载算力网络用户需求预测系统包括：
[0073]
本地数据训练模块1，用于在端
‑
边
‑
云的混合联邦架构的端侧训练车辆产生的数据，分析影响用户需求预测因素的相关性，提取特征因素并建立模型特征值；
[0074]
边缘参数聚合模块2，用于在端
‑
边
‑
云的混合联邦架构的边侧聚合车辆产生的结果并继续进行训练，在端侧经过一定的迭代次数之后，车辆将局部模型参数上传给关联的边缘服务器，然后边缘服务器把聚合之后的参数广播给车辆以便继续训练直达设定的精度；
[0075]
云端数据聚合模块3，用于在端
‑
边
‑
云的混合联邦架构的云侧聚合端侧边缘服务器的数据并分发给车辆，在边侧经过一定迭代次数之后，服务器将参数上传至云进行聚合，然后云将参数反馈给端侧车辆。
[0076]
下面结合实施例对本发明的技术方案作进一步描述。
[0077]
本发明实施例提供的基于端
‑
边
‑
云架构的混合联邦学习方法包括：
[0078]
为了均衡联邦学习通信和计算之间的性能，构建端
‑
边
‑
云的混合联邦架构，整个架构由一个云服务器，若干边缘服务器和车辆组成；
[0079]
由于车载网络中车辆移动性的影响，车载算力网络在每次迭代过程当中需要对端侧训练参与者动态更新；
[0080]
混合联邦架构中运行分布式学习方法解决用户需求预测任务。
[0081]
用户需求预测的准确性依赖于用户数据的规模和质量，但这对数据安全隐私带来了挑战，而混合联邦学习用分布式机器学习，参与各方在数据不出域的基础上共建一个公共虚拟模型，训练和交互的全过程各方的数据始终留在本地，不参与交换和合并，只交换模型参数的梯度更新，这就有效保护了用户的数据安全隐私。
[0082]
在车载网络当中，车辆的高速移动会造成间歇性的连通度，引起任务上传速率的时变性，带来业务的时空迁移，改变不同地段、不同服务节点的资源需求。所以，车载算力网络中资源管理需要和车辆的移动分析有效结合起来，这就需要训练过程中参与者的动态更新。
[0083]
如图7所示，混合联邦学习用分布式机器学习，参与各方在数据不出域的基础上共建一个公共虚拟模型，训练和交互的全过程各方的数据始终留在本地，不参与交换和合并，只交换模型参数的梯度更新，这就有效保护了用户的数据安全隐私。
[0084]
联邦学习的一次迭代过程包括：
[0085]
客户端从服务器下载全局模型w
t
‑1；
[0086]
客户端k训练本地数据得到本地模型w
t，k
；
[0087]
各客户端上传本地模型更新到中心服务器；
[0088]
服务器接收各方数据后进行加权聚合操作，得到全局模型w
t
；
[0089]
其中，w
t，k
代表第k个客户端第t轮通信的本地模型更新，w
t
代表第t轮通信的全局模型更新。
[0090]
如图6所示，在本发明中，车辆的高速移动会造成间歇性的连通度，引起任务上传速率的时变性，带来业务的时空迁移，改变不同地段、不同服务节点的资源需求。所以，车载算力网络中资源管理需要和车辆的移动分析有效结合起来，这就需要训练过程中参与者的动态更新。
[0091]
如图5所示，在混合联邦学习架构中，每个边缘服务器e覆盖n
e
个车辆。单个车辆i的局部数据集合为其中，x
j
表示第j个样本，y
j
表示相应的输出，|d
i
|表示样本的数目。本发明中将学习过程分为三部分：本地数据训练，边缘参数聚合和云端数据聚合。
[0092]
第一阶段：车载算力网络中车辆本地数据训练，通过分析影响用户需求预测的因素的相关性，提取特征因素并建立模型特征值，之后，将需求特征进行向量化表示，作为时间序列输入lstm进行模型训练。车辆通过训练本地数据集以最小化经验损失函数f(w)：
[0093][0094]
其中，f(x
j
,y
j
,w)表示第j个样本的损失函数。定义τ为局部迭代的步数，η为学习的速率，那么模型的参数可以通过以下公式更新：
[0095][0096]
第二阶段：车载算力网络中车辆边缘参数聚合，在本地网络端侧经过一定的迭代次数之后，车辆i将局部模型参数上传给关联的边缘服务器e。e在收到不同车辆上传的模型参数之后进行如下聚合：
[0097][0098]
其中，s
e
表示车辆的集合。然后，e把聚合之后的参数广播给车辆以便继续训练直达设定的精度。
[0099]
第三阶段：车载算力网络中车辆云端数据聚合，在边缘侧经过一定迭代次数之后，服务器将参数w
e
上传至云进行如下聚合：
[0100][0101]
其中，k表示服务器的集合。随后，云将参数w反馈给车辆。
[0102]
本发明在保护数据隐私的情况下实现了对不同用户多样化的服务需求精确预测，保障车载算力网络中任务的有效计算；设计学习参与者动态选择的机制，可以应对随机性的移动特征和差异化的数据质量；本发明将分布式学习方法承载于端
‑
边
‑
云架构上，通过
state disk(ssd))等。
[0109]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。