一种雾计算环境个性化深度学习方法与流程

文档序号:14072883阅读:157来源:国知局

本发明涉及云计算、物联网、人工智能和深度学习技术,具体地说是一种雾计算环境个性化深度学习方法。



背景技术:

近年来,人工智能技术发展迅速,其商业化速度超出预期,人工智能将会给整个社会带来颠覆性的变化,已经成为未来各国重要的发展战略。特别是以深度学习为核心的算法演进,其超强的进化能力,在大数据的支持下,通过训练构建得到类似人脑结构的大规模卷积神经网络,已经可以解决各类问题。

深度学习需要大量数据和计算资源来进行训练,云端服务在一定程度上可以满足要求,云端中心聚合了大量的物理硬件资源,并采用虚拟化技术实现了异构网络计算资源的统一的分配、调度和管理,集中建设数据中心大大降低了计算和存储的成本。然而伴随着数据量越来越庞大,传输的速率却在下降,甚至有时会有很大的网络延迟,计算和存储无法全部放在远程云端。此时雾计算的出现,大大的改善了这种状况,特别是对于边缘侧诸如实时业务、数据优化、带宽限制、应用智能、安全与隐私等多方面需求,加速了“雾计算”的发展,“云计算+雾计算”带来了新的可能性。

随着深度学习技术的发展,云端的训练学习会产生诸如物体检测等通用数据模型,然而具体的应用场景,通用模型无法满足其行业个性化的需求,训练可以在云端完成,而雾计算节点贯穿在云端和设备端之间,成为云端和设备端的桥梁,可以就近提供近端训练推理计算服务。在这种情况下,如何在雾计算环境下,有效利用“云计算+雾计算”能力提供个性化的深度学习计算能力成为一个亟需解决的问题。



技术实现要素:

本发明的技术任务是提供一种雾计算环境个性化深度学习方法。

本发明的技术任务是按以下方式实现的:

一种雾计算环境个性化深度学习方法,云端节点通过海量训练数据进行通用模型的训练,将训练得到的通用模型分发到各个雾计算节点,再利用雾计算节点的计算和存储能力训练满足边缘侧行业需求的深度学习模型;通过从智能传感设备中采集数据,在雾计算节点实时推理,实时输出结果;识别出推理出现的错误,持续的训练优化模型,并能将行业个性化模型选择性的传入云端,同时接收云端的通用模型并持续改进优化。

所述的云端节点负责持续训练优化通用深度学习模型,并将训练得到的通用模型分发到各个雾计算节点,同时负责收集存储来自雾计算节点的具体行业相关的深度学习模型。

所述的雾计算节点是云端和设备端的桥梁,负责接收来自云端节点的通用深度学习模型,并增加边缘侧行业个性化数据进行训练,产生行业个性化深度学习模型。

所述的雾计算节点提供推理功能,实时处理反馈来自边缘侧智能传感设备的输入数据,雾计算节点根据推理中出现的错误,进行训练,并结合云端的通用模型进行比较,持续优化行业个性化深度学习模型,并能与云端进行交互,根据客户需求上传其行业个性化模型。

所述的智能传感设备实时采集环境数据,利用雾计算节点进行实时深度学习计算,得到结果及时反馈给用户或采取行动。

该方法操作步骤如下:

步骤1)所述的云端节点通过大量通用的深度学习训练集合进行云端训练,训练得到具有通用认知识别能力的基础模型;

步骤2)所述的雾计算节点根据靠近边缘侧的具体行业需求以及本地个性化深度学习模型的可信度,向所述的云端节点请求深度学习模型;

步骤3)所述的云端节点将通用深度学习模型分发到所述的雾计算节点;

步骤4)所述的云端节点根据所述的雾计算节点的具体行业需求查询;如果存在用户分享的个性化深度学习模型,则返回该模型给所述的雾计算节点;

步骤5)如果所述的雾计算节点接收到来自云端用户分享的个性化深度学习模型,则比较本地是否已存在该模型,如果存在,则转到步骤7);否则,转到步骤6);

步骤6)所述的雾计算节点根据靠近边缘侧的具体行业需求,基于用户分享的模型利用行业应用数据以及本地存储的训练数据进行训练,产生行业个性化深度学习模型,保存到本地;

步骤7)所述的雾计算节点接收来自云端的通用深度学习模型,并比较本地是否已存在该模型,如果存在,则转到步骤9);否则,转到步骤8);

步骤8)所述的雾计算节点根据靠近边缘侧的具体行业需求,基于通用模型利用行业应用数据以及本地存储的训练数据进行训练,产生行业个性化深度学习模型,保存到本地;

步骤9)所述的雾计算节点比较本地各个模型的可信度,选择最优的模型用于推理;

步骤10)所述的智能传感设备根据行业需求采集数据并发送给所述的雾计算节点进行推理;

步骤11)所述的雾计算节点利用行业个性化深度学习模型对采集数据进行推理,完成认知服务,实现行业需求,实时输出结果发送给所述的智能传感设备;

步骤12)所述的智能传感设备将结果反馈给最终用户,执行相应的工作指令;

步骤13)所述的雾计算节点将收集的错误数据形成训练样本,保存在本地存储中;

步骤14)所述的雾计算节点选择空闲时间,定期将存储在本地存储中的训练样本基于现有个性化深度学习模型进行训练,形成新的深度学习训练模型,保存在本地缓存;

步骤15)所述的雾计算节点根据用户许可,将满足具体行业需求的个性化深度学习模型上传分享到云端;

步骤16)循环执行步骤1)至步骤15),持续进行模型优化,提高深度学习计算推理能力,满足行业个性化需求。

所述的步骤1)中基础模型的认知能力适合于通用场景。

所述的步骤11)中实时输出结果发送给所述的智能传感设备,包括,同时将采集数据及推理结果形成训练样本,保存在雾计算节点本地缓存存储中。

所述的步骤12)中执行相应的工作指令,包括,如果出现错误,则将错误及修正结果上传到所述的雾计算节点。

所述的步骤13)中保存在本地存储中,包括,并计算本地存储中的多个深度学习模型的可信度。

本发明的一种雾计算环境个性化深度学习方法和现有技术相比,充分利用雾计算节点作为云端和设备端桥梁的特点,将深度学习计算分布在云端和雾计算节点,由云端负责通用模型的训练,再将通用模型分发到各个雾计算节点,利用雾计算节点的计算存储能力并结合雾计算边缘侧的具体行业应用需求。本方法充分考虑具体行业的个性化的需求,提供满足具体行业应用的高效的认知计算能力,由于深度学习计算在雾计算节点完成,靠近设备需求侧,提高实时业务执行效率,同时个性化深度学习模型保存在雾计算节点中,保证了模型的安全性,另一方面,可以根据用户许可,将模型分享到云端,是模型具有开放性。另外,雾计算节点通过实际应用的错误推理反馈,选择空闲时间持续优化本模型,有效的利用了计算资源,而云端通用模型也在持续更新,选择利用可信度更高的模型,提供了持续优化的行业个性化深度学习计算能力。

附图说明

附图1为一种雾计算环境个性化深度学习方法的深度学习计算节点组成示意图;

附图2为一种雾计算环境个性化深度学习方法的流程示意图。

具体实施方式

实施例1:

下面结合附图和具体实施例对本发明作进一步说明,但不作为对本发明的限定。

如图1中所示,云端聚集大量计算资源,通过海量训练数据进行通用模型的训练,将训练得到的通用模型分发到各个雾计算节点,再利用雾计算节点的计算和存储能力训练满足边缘侧行业需求的深度学习模型;通过从智能传感设备中采集数据,在雾计算节点实时推理,实时输出结果;识别出推理出现的错误,持续的训练优化模型,并能将行业个性化模型选择性的传入云端,同时接收云端的通用模型并持续改进优化。其中,

所述的云端节点负责持续训练优化通用深度学习模型,并将训练得到的通用模型分发到各个雾计算节点,同时负责收集存储来自雾计算节点的具体行业相关的深度学习模型;所述的雾计算节点是云端和设备端的桥梁,负责接收来自云端的通用深度学习模型,并增加边缘侧行业个性化数据进行训练,产生行业个性化深度学习模型,同时提供推理功能,实时处理反馈来自边缘侧智能传感设备的输入数据,雾计算节点根据推理中出现的错误,进行训练,并结合云端的通用模型进行比较,持续优化行业个性化深度学习模型,并能与云端进行交互,根据客户需求上传其行业个性化模型;所述的智能传感设备实时采集环境数据,利用雾计算节点进行实时深度学习计算,得到结果及时反馈给用户或采取行动。

参考图2,个性化深度学习计算包括以下步骤:

步骤1)所述的云端节点通过大量通用的深度学习训练集合进行云端训练,训练得到具有通用认知识别能力的基础模型,该模型的认知能力适合于通用场景;

步骤2)所述的雾计算节点根据靠近边缘侧的具体行业需求以及本地个性化深度学习模型的可信度,向所述的云端节点请求深度学习模型;

步骤3)所述的云端节点将通用深度学习模型分发到所述的雾计算节点;

步骤4)所述的云端节点根据所述的雾计算节点的具体行业需求查询,如果存在用户分享的个性化深度学习模型,则返回该模型给所述的雾计算节点;

步骤5)如果所述的雾计算节点接收到来自云端用户分享的个性化深度学习模型,则比较本地是否已存在该模型,如果存在,则转到步骤7);否则,转到步骤6);

步骤6)所述的雾计算节点根据靠近边缘侧的具体行业需求,基于用户分享的模型利用行业应用数据以及本地存储的训练数据进行训练,产生行业个性化深度学习模型,保存到本地;

步骤7)所述的雾计算节点接收来自云端的通用深度学习模型,并比较本地是否已存在该模型,如果存在,则转到步骤9);否则,转到步骤8);

步骤8)所述的雾计算节点根据靠近边缘侧的具体行业需求,基于通用模型利用行业应用数据以及本地存储的训练数据进行训练,产生行业个性化深度学习模型,保存到本地;

步骤9)所述的雾计算节点比较本地各个模型的可信度,选择最优的模型用于推理;

步骤10)所述的智能传感设备根据行业需求采集数据并发送给所述的雾计算节点进行推理;

步骤11)所述的雾计算节点利用行业个性化深度学习模型对采集数据进行推理,完成认知服务,实现行业需求,实时输出结果发送给所述的智能传感设备,同时将采集数据及推理结果形成训练样本,保存在雾计算节点本地缓存存储中;

步骤12)所述的智能传感设备将结果反馈给最终用户,执行相应的工作指令,如果出现错误,则将错误及修正结果上传到所述的雾计算节点;

步骤13)所述的雾计算节点将收集的错误数据形成训练样本,保存在本地存储中,并计算本地存储中的多个深度学习模型的可信度;

步骤14)所述的雾计算节点选择空闲时间,定期将存储在本地存储中的训练样本基于现有个性化深度学习模型进行训练,形成新的深度学习训练模型,保存在本地缓存;

步骤15)所述的雾计算节点根据用户许可,将满足具体行业需求的个性化深度学习模型上传分享到云端;

步骤16)循环执行步骤1)至步骤15),持续进行模型优化,提高深度学习计算推理能力,满足行业个性化需求。

通过上面具体实施方式,所述技术领域的技术人员可容易的实现本发明。但是应当理解,本发明并不限于上述的几种具体实施方式。在公开的实施方式的基础上,所述技术领域的技术人员可任意组合不同的技术特征,从而实现不同的技术方案。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1