分布式图像识别的模型推理方法及系统

文档序号:26006277发布日期:2021-07-23 21:24阅读:来源:国知局

技术特征:

1.一种分布式图像识别的模型推理方法,其特征在于,包括:

步骤1:构建卷积神经网络图像分类模型并按层切分,获取卷积神经网络图像分类模型的层信息、各个层的权重参数矩阵和计算量;

步骤2:根据层信息确定边缘设备的数量,并结合边缘设备的存储空间和计算能力、根据各个层的权重参数矩阵尺寸和计算量将卷积神经网络图像分类模型分布部署到边缘设备上;

步骤3:边缘设备使用线性编码的分布式卷积神经网络图像分类推理方案对图像进行卷积神经网络分类识别,通过图像推理计算得到图像识别结果。

2.根据权利要求1所述的分布式图像识别的模型推理方法,其特征在于:所述步骤2中将卷积神经网络图像分类模型分布部署到边缘设备上时使用的为静态部署方案a,具体过程为:

步骤a1:探测边缘节点的性能并对边缘节点的性能进行排名,根据卷积神经网络图像分类模型的各层计算量对各层的权重参数矩阵尺寸进行排名;

步骤a2:设置静态部署方案a的输入,包括权重参数矩阵的队列w、边缘节点的列表nodes、边缘节点最大存储容量的列表me、列表nodes的长度n和单个权重参数矩阵备份部署在不同的边缘节点的节点数m,w中每个元素保存有按层划分的卷积神经网络图像分类模型中的各层的权重参数矩阵以及这一个权重参数矩阵属于卷积神经网络模型中某一层的信息;

步骤a3:从队列w中获取队头元素,此时队头元素所属的层是当前卷积神经网络图像分类模型中未部署的各层中计算量最大的层,判断队列w中的所有元素是否在m个不同边缘节点上均有备份部署,若不是,执行步骤a4;若是,执行步骤a5;

步骤a4:从头开始遍历nodes列表,如果当前边缘节点有足够的存储空间用于部署此时队头元素中的权重参数矩阵,则将此时的队头元素部署在当前的边缘节点上,将层信息和部署此时的队头元素中的边缘节点的信息保存在部署记录recodes中;

步骤a5:将队头元素出队,执行步骤a6;

步骤a6:重复步骤a3直到队列w中的权重参数矩阵全部部署完毕,结束并输出部署记录recodes。

3.根据权利要求2所述的分布式图像识别的模型推理方法,其特征在于:所述步骤a1中探测边缘节点的性能并对边缘节点的性能进行排名,具体为:让边缘服务器发送相同的计算任务给所有的边缘节点,边缘节点完成任务后向边缘服务发送计算结果,边缘服务器根据返回的计算结果的速度对边缘节点的性能进行排名。

4.根据权利要求1所述的分布式图像识别的模型推理方法,其特征在于:所述步骤2中将卷积神经网络图像分类模型分布部署到边缘设备上时使用的为动态部署方案b,具体过程为:

步骤b1:设置动态部署方案b的输入,包括与卷积神经网络图像分类模型的各层的输入数据矩阵相同尺寸的矩阵xi和权重参数矩阵wi,xi组成的列表输入数据矩阵列表x和wi组成的权重参数矩阵列表w均根据xi和wi所属的层的计算量进行排序;

步骤b2:边缘服务器从权重参数矩阵列表w中获得当前计算量最大层的输入数据矩阵xi和尺寸最大的权重参数矩阵wi并发送给n个边缘节点;

步骤b3:边缘节点判断是否还有足够的存储容量用来部署wi,如果有则返回xi×wi的结果给边缘服务器;如果没有,不返回结果;

步骤b4:边缘服务器从返回结果的边缘节点中选择速度最快的m个边缘节点来部署权重参数矩阵wi;

步骤b5:重复步骤b2-步骤b4直到卷积神经网络图像分类模型的各层权重参数矩阵都完成部署。

5.根据权利要求1-4任一项所述的分布式图像识别的模型推理方法,其特征在于:所述步骤3中线性编码的分布式卷积神经网络图像分类推理方案为非编码方案、2-重复方案或者mds编码方案,用于保障图像识别的稳定性以及在图像识别过程中保证图像数据的隐私安全。

6.一种分布式图像识别的模型推理系统,其特征在于:包括边缘设备,所述边缘设备包括边缘服务器和至少一个边缘节点,所述边缘节点和边缘节点之间、所述边缘服务器和边缘节点之间通过线性编码的方式互相通信;

卷积神经网络图像分类模型按层划分并根据层信息和各个层的权重参数矩阵的尺寸、计算量以权重参数矩阵的形式分布部署到边缘设备上,部署有卷积神经网络图像分类模型同一层的边缘设备组成一个分布式推理计算模块;

没有部署权重参数矩阵的边缘节点发起图像识别需求并输入图像数据,图像数据在当前的分布式推理计算模块上进行图像推理计算;当前所处分布式推理计算模块的图像推理计算结束后将结果输入卷积神经网络图像分类模型的下一层的分布式推理计算模块上进行图像推理计算,直到图像数据经过卷积神经网络图像分类模型的所有层,得到识别结果。

7.根据权利要求6任一项所述的分布式图像识别的模型推理系统,其特征在于:所述分布式推理计算模块包括一个主边缘设备和若干个从边缘设备,卷积神经网络图像分类模型每一层的图像推理计算过程为:

所述主边缘设备接收输入数据进行编码,并将编码后的输入数据分发给负责这一层推理计算的从边缘设备,从边缘设备将图像推理计算结果返回给主边缘设备,主边缘设备对返回的结果进行解码得到当前层的图像推理计算结果。

8.根据权利要求7所述的分布式图像识别的模型推理系统,其特征在于:还包括图像采集设备,所述图像采集设备通过没有部署权重参数矩阵的边缘节点与所述分布式推理计算模块中属于卷积神经网络图像分类模型第一层的主边缘设备连接;没有部署权重参数矩阵的边缘节点发起图像识别需求后,所述图像采集设备采集图像数据传送到没有部署权重参数矩阵的边缘节点作为输入的图像数据。

9.根据权利要求6所述的分布式图像识别的模型推理系统,其特征在于:所述卷积神经网络图像分类模型的至少最后一层部署在边缘服务器上,图像数据经过卷积神经网络图像分类模型的所有层后得到的识别结果由边缘服务器输出。

10.根据权利要求6-9任一项所述的分布式图像识别的模型推理系统,其特征在于:所述卷积神经网络图像分类模型的权重参数矩阵在多个不同的边缘设备上均有备份的部署。


技术总结
本发明公开了一种分布式图像识别的模型推理方法及系统,方法包括构建卷积神经网络图像分类模型并按层切分,获取模型的层信息、各个层的权重参数矩阵和计算量;根据层信息确定边缘设备的数量,并结合边缘设备的存储空间和计算能力、根据各个层的权重参数矩阵尺寸和计算量将模型分布部署到边缘设备上;边缘设备使用线性编码的分布式卷积神经网络图像分类推理方案对图像进行分类识别,通过图像推理计算得到识别结果。系统包括部署有权重参数矩阵的边缘设备,边缘设备之间通过线性编码的方式互相通信。本发明通过合理部署保证了图像识别过程的稳定性,避免掉队者问题;通过使用线性编码的分布式图像分类推理方案进行分类识别,保护了数据安全。

技术研发人员:李领治;成聪;王进;谷飞;杨哲
受保护的技术使用者:苏州大学;赛尔网络有限公司
技术研发日:2021.04.16
技术公布日:2021.07.23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1