基于联邦学习的图像分割网络获取方法及相关方法和设备与流程

本技术涉及人工智能领域，尤其涉及一种基于联邦学习的图像分割网络的获取方法相关方法和设备。

背景技术：

1、图像分割是图像识别和计算机视觉至关重要的预处理。没有正确的分割就不可能有正确的识别。但是，进行分割仅有的依据是图像中像素的亮度及颜色，由计算机自动处理分割时，将会遇到各种困难。例如，光照不均匀、噪声的影响、图像中存在不清晰的部分，以及阴影等，常常发生分割错误。因此图像分割是需要进一步研究的技术。人们希望引入一些人为的知识导向和人工智能的方法，用于纠正某些分割中的错误，是很有前途的方法，但是这又增加了解决问题的复杂性。

2、目前的一种图像分割方法中，通常是基于单节点的数据集进行分割模型的训练，但是由于单节点的训练数据较少，这种方法训练出的模型的准确率低；另一种方式中，是将多个节点的数据汇集在一起进行训练，这样训练数据的量足够，训练出的模型的准确率有所提高，但是依然存在问题。一方面，训练数据来自不同的节点，这样会导致图像数据特征分布存在偏差，从而影响机器学习模型的性能。例如，不同国家的金融数据受不同的政策调控影响，其规律各不相同；再如不同医院通常会定义自己的数据采集参数设置和流程，造成在不同医院采集的数据之间的分布并不是独立同分布。另一方面，不同节点的同一类图像数据往往标注内容不完整。例如a课题组仅标注了道路监控图像中的汽车车牌，而b课题组仅标注了行人轮廓；再如a医院标注了腹部电子计算机断层扫描(computed tomography，ct)图像的肝脏，而b医院仅标注了腹部ct图像的胰腺。同时出于隐私保护问题，来自不同节点数据难以聚合使用。主要有以下三个因素：a.敏感数据存在私密性，如医疗数据涉及患者隐私；b.数据的安全保障法规不完善；c.数据的价值分配机制不明。基于上述问题，现在提供了一种基于隐私保护的联邦学习方法，该技术采用聚合模型的训练策略来替代聚合数据的训练策略，从而实现训练数据无需离开节点的训练模式。

3、但是目前的基于隐私保护的联邦学习方法中，由于不同节点之间的分布有偏差，因此学习到的聚合模型效果仍存在很大提升空间。

技术实现思路

1、本技术实施例提供了一种基于联邦学习的图像分割网络的获取方法相关方法和设备，用于自适应不同机构自身的数据特性，来提升图像分割的精度。

2、第一方面，本技术提供一种基于联邦学习的图像分割网络的获取方法，具体包括：客户端根据第一训练数据训练得到第一图像分割网络的第一编码器权重和第一解码器权重；然后该客户端向服务器发送所述第一编码器权重和所述第一解码器权重；该服务器根据该客户端的第一编码器权重和其他客户端的编码器权重聚合得到第二编码器权重，以及根据该客户端的第一解码器权重和其他客户端的解码器权重聚合得到第二编码器权重；然后该服务器将该第二编码器权重和该第二解码器权重下发至该客户端；该客户端根据本地保存的第二训练数据更新所述第二编码器权重为第三编码器权重，更新所述第二解码器权重为第三解码器权重；将所述第三编码器权重和所述第三解码器权重加载至所述第一图像分割网络，从而得到最终的图像分割网络。

3、本技术提供的技术方案中，该客户端接收通过联邦学习的方式得到的聚合图像分割网络之后，再根据本地保存的训练数据，对该聚合得到的图像分割网络进行自监督训练，实现编码器权重的自适应更新，使得该聚合得到的第一图像分割网络自适应不同机构自身的数据特性，来提升图像分割的精度。

4、可选的，该客户端在进行图像分割网络的自适应调整时可以采用如下几种可能实现方式：

5、一种可能实现方式中，若该第二训练数据为无标注数据，则该客户端确定该第二解码器权重为该第三解码器权重(即该第二解码器权重不做调整)，且该客户端将该第二编码器权重加载至第二图像分割网络的编码器，其中该第二图像分割网络与该第一图像分割网络具有相同的网络结构，该第二图像分割网络的解码器权重为独立进行初始训练得到的解码器权重；最后该客户端将该第二训练数据输入该第二图像分割网络训练得到该第三编码器权重。

6、另一种可能实现方式中，若该第二训练数据包括无标注数据和不完整标注数据，则该客户端将该第二编码器权重加载至第二图像分割网络的编码器，其中该第二图像分割网络与该第一图像分割网络具有相同的网络结构，该第二图像分割网络的解码器权重为独立进行初始训练得到的解码器权重；该客户端将该第二训练数据中的无标注数据输入该第二图像分割网络训练得到该第四编码器权重；该客户端将该第四编码器权重加载至该第一图像分割网络；然后将该第二训练数据中的不完整标注数据输入该第一图像分割网络训练得到该第三编码器权重和该第三解码器权重。

7、本技术提供的技术方案中，针对该第二训练数据的不同类型采用了不同的自适应调整方式，可以更加有效的提升图像分割网络在图像分割的精度。

8、可选的，基于上述方案，在该客户端进行该第一图像分割网络的权重自适应调整时，还需要根据该第二训练数据确定代理任务，该代理任务用于训练更新所述第二编码器权重为第三编码器权重，更新所述第二解码器权重为第三解码器权重。

9、可选的，该代理任务包括图像旋转变换、图像灰度变换和图像随机缺失变换。即该客户端可以通过将该第二训练数据进行图像旋转、图像灰度变换或图像随机缺失变换生成新的训练数据，并将该新的训练数据输入该第二图像分割网络，输出复原的第二训练数据；在此过程中实现更新所述第二编码器权重为第三编码器权重，更新所述第二解码器权重为第三解码器权重。

10、本技术提供的技术方案中采用多种代理任务进行第二图像分割网络的训练，从而更加有效的对该编码器权重进行收敛，使得在编码器权重在加载到第一图像分割网络之后提供图像分割的精度。

11、可选的，该图像分割网络可用于医疗图像的分割，因此第一图像分割网络与该第二图像分割网络可以设计为3d-u-net，或者其他用于图像分割的网络结构。而在此方案下，该第一训练数据与该第二训练数据可以是医疗图像，比如三维腹部ct扫描图，而其中待标注的器官包括肝脏、脾脏、胰腺、左肾和右肾；而不完整标注数据为只标注上述器官中的一种或两种器官，未完整标注全部的器官的图像；而未标注数据为对所有器官均未标注的图像。

12、可选的，在该客户端根据该第一训练数据训练该第一图像分割网络时，需要先设计不完整标注数据训练器以及边缘损失函数；然后利用所述不完整标注数据训练器、所述边缘损失函数和所述第一训练数据训练得到所述第一图像分割网络的所述第一编码器权重和所述第一解码器权重。

13、第二方面，本技术提供一种数据处理方法，为上述第一方面的基于联邦学习的图像分割网络的应用，具体包括：该客户端将将目标数据输入第一图像分割网络；通过该第一图像分割网络对该目标数据进行处理，得到与该目标数据对应的预测结果，其中，该第一图像分割网络的第一编码器权重通过第一训练数据更新第二编码器权重得到，该第一图像分割网络的第一解码器权重通过第一训练数据更新第二解码器权重得到，该第二编码器权重由服务器根据第二训练数据训练得到的第三编码器权重和其他客户端的编码器权重计算得到，该第二解码器权重由该服务器根据该第二训练数据训练得到的第三解码器权重和其他客户端的解码器权重计算得到；最后输出该预测结果。

14、本技术提供的技术方案中，该客户端应用的接收通过联邦学习的方式得到的聚合图像分割网络之后，再根据本地保存的训练数据，对该聚合得到的图像分割网络进行自监督训练，实现编码器权重的自适应更新，使得该聚合得到的第一图像分割网络自适应不同机构自身的数据特性，来提升图像分割的精度。

15、第三方面，本技术提供一种基于联邦学习的图像分割网络的获取装置，该装置具有实现上述第一方面中客户端行为的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。

16、在一个可能的实现方式中，该装置包括用于执行以上第一方面各个步骤的单元或模块。例如，该装置包括：第一训练模块，用于根据第一训练数据训练得到第一图像分割网络的第一编码器权重和第一解码器权重；发送模块，用于向服务器发送所述第一编码器权重和所述第一解码器权重；接收模块，用于接收所述服务器下发的第二编码器权重和第二解码器权重，所述第二编码器权重为所述服务器根据所述第一编码器权重和其他客户端上传的编码器权重计算得到，所述第二解码器权重为所述服务器根据所述第一解码器权重和其他客户端上传的解码器权重计算得到；第二训练模块根据第二训练数据更新所述第二编码器权重为第三编码器权重，更新所述第二解码器权重为第三解码器权重；处理模块，用于将所述第三编码器权重和所述第三解码器权重加载至所述第一图像分割网络。

17、可选的，还包括存储模块，用于保存图像分割网络的获取装置必要的程序指令和数据。

18、在一种可能的实现方式中，该装置包括：处理器和收发器，该处理器被配置为支持图像分割网络的获取装置执行上述第一方面提供的方法中相应的功能。收发器用于指示图像分割网络的获取装置和服务器之间的通信，向服务器发送上述方法中所涉及的第一编码器权重和第一解码器权重。可选的，此装置还可以包括存储器，该存储器用于与处理器耦合，其保存图像分割网络的获取装置必要的程序指令和数据。

19、在一种可能的实现方式中，当该装置为图像分割网络的获取装置内的芯片时，该芯片包括：处理模块和收发模块，该处理模块例如可以是处理器，此处理器用于根据第一训练数据训练得到第一图像分割网络的第一编码器权重和第一解码器权重；该收发模块例如可以是该芯片上的输入/输出接口、管脚或电路等，将处理器生成的第一编码器权重和第一解码器权重传送给与此芯片耦合的其他芯片或模块中或者接收服务器发送的第二编码器权重和第二解码器权重；该处理模块还用于用于根据第二训练数据更新所述第二编码器权重为第三编码器权重，更新所述第二解码器权重为第三解码器权重；将所述第三编码器权重和所述第三解码器权重加载至所述第一图像分割网络。该处理模块可执行存储单元存储的计算机执行指令，以支持图像分割网络的获取装置执行上述第一方面提供的方法。可选地，该存储单元可以为该芯片内的存储单元，如寄存器、缓存等，该存储单元还可以是位于该芯片外部的存储单元，如只读存储器(read-only memory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，ram)等。

20、在一种可能的实现方式中，该装置包括：处理器，基带电路，射频电路和天线。其中处理器用于实现对各个电路部分功能的控制，基带电路用于生成第一解码器权重和第一编码器权重，经由射频电路进行模拟转换、滤波、放大和上变频等处理后，再经由天线发送给服务器。可选的，该装置还包括存储器，其保存图像分割网络的获取装置必要的程序指令和数据。

21、在一种可能实现方式中，该装置包括通信接口和逻辑电路，该逻辑电路用于根据第一训练数据训练得到第一图像分割网络的第一编码器权重和第一解码器权重；该通信接口用于向服务器发送所述第一编码器权重和所述第一解码器权重；接收所述服务器下发的第二编码器权重和第二解码器权重，所述第二编码器权重为所述服务器根据所述第一编码器权重和其他客户端上传的编码器权重计算得到，所述第二解码器权重为所述服务器根据所述第一解码器权重和其他客户端上传的解码器权重计算得到；该逻辑电路，用于根据第二训练数据更新所述第二编码器权重为第三编码器权重，更新所述第二解码器权重为第三解码器权重；将所述第三编码器权重和所述第三解码器权重加载至所述第一图像分割网络。

22、其中，上述任一处提到的处理器，可以是一个通用中央处理器(centralprocessing unit，cpu)，微处理器，特定应用集成电路(application-specificintegrated circuit，asic)，或一个或多个用于控制上述各方面数据传输方法的程序执行的集成电路。

23、第四方面，本技术提供一种数据处理装置，可用于人工智能领域的图像分割技术领域中，该数据处理装置包括输入模块，用于将目标数据输入第一图像分割网络；处理模块，用于通过所述第一图像分割网络对所述目标数据进行处理，得到与所述目标数据对应的预测结果，其中，所述第一图像分割网络的第一编码器权重通过第一训练数据更新第二编码器权重得到，所述第一图像分割网络的第一解码器权重通过第一训练数据更新第二解码器权重得到，所述第二编码器权重由服务器根据第二训练数据训练得到的第三编码器权重和其他客户端的编码器权重计算得到，所述第二解码器权重由所述服务器根据所述第二训练数据训练得到的第三解码器权重和其他客户端的解码器权重计算得到；输出模块，用于输出所述预测结果。

24、第五方面，本技术提供一种计算机可读存储介质，该计算机存储介质存储有计算机指令，该计算机指令用于执行上述各方面中任意一方面任意可能的实施方式该的方法。

25、第六方面，本技术提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面中任意一方面该的方法。

26、第七方面，本技术提供了一种芯片系统，该芯片系统包括处理器，用于支持图像分割网络的获取装置实现上述方面中所涉及的功能，例如生成或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中，该芯片系统还包括存储器，该存储器，用于保存xx装置必要的程序指令和数据，以实现上述各方面中任意一方面的功能。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

27、第八方面，本技术实施例提供了一种网络设备，可以包括处理器，处理器和存储器耦合，存储器存储有程序指令，当存储器存储的程序指令被处理器执行时实现上述第一方面所述的图像分割网络的获取方法。

28、第九方面，本技术实施例提供了一种执行设备，可以包括处理器，处理器和存储器耦合，存储器存储有程序指令，当存储器存储的程序指令被处理器执行时实现上述第二方面所述的数据处理方法。

29、第十方面，本技术实施例提供了一种电路系统，所述电路系统包括处理电路，所述处理电路配置为执行上述第一方面所述的图像分割网络的获取方法，或者，所述处理电路配置为执行上述第二方面所述的数据处理方法。