应用于无线感知场景的联邦学习训练平台及训练方法与流程

1.本公开涉及无线感知技术领域，具体涉及一种应用于无线感知场景的联邦学习训练平台及训练方法。


背景技术：

2.人体动作识别技术具有良好的应用价值，例如应用于养老院的摔倒检测系统，部署在普通家庭的入侵检测系统。目前常见的人体动作识别/检测技术包含计算机视觉、可穿戴传感器、以及专用的雷达硬件等。尽管这些技术可以有很好的表现，但也存在一定的缺陷。计算机视觉技术容易侵犯用户的隐私，并且通常只能在光照条件良好的情况下工作；可穿戴的传感器要求用户佩戴特定的设备，对于部分用户使用起来十分不方便；而大规模部署特定的雷达硬件又需要较高的成本。
3.相比之下，基于非传感器的无线感知方案更具优势。其中基于wifi的无线感知不受上述提及的条件限制，为行为识别和检测提供了一个新的解决方案。其优势包括：采集的无线信号不会过度侵犯用户的隐私；在无光照的条件下也可以正常工作；不需要额外佩戴特定的设备；利用家家户户已经部署的wi-fi设备，无需部署新的硬件设备，在经济上更加高效。这些优势使得近些年基于wifi的无线感知越来越成为工业界和学术界关注的重点。
4.wifi感知的技术实现基于电磁波的反射特性，在室内环境中墙面、物体表面、活动的人体都会对信号产生反射而使电磁波产生不同的传播路径。这些路径与直射路径叠加形成了在接收端收到的wifi信号。在这种叠加的信号中携带了物体方位，活动状态的信息，如果能将接收到的信号模型与实际物体的状态建立联系，就可以对物体进行定位、行为识别等。
5.感知技术依托边缘设备的数据采集，传统训练方式是将采集的数据传输至中央服务器，利用中央服务器的强大算力进行感知算法的训练优化。尽管该方案在实验室可以取得很好的性能，但却不符合wi-fi无线感知的实际应用场景。首先终端设备采集到的信号在一定程度上涉及到了人员、家庭或场景的隐私信息，因此传输原始训练数据存在泄露保密信息和隐私信息的风险。另一方面，采集到的wifi信号会包含环境、受试者等特定域的特征，使得在当前训练集上训练的模型无法很好的迁移到其他的场景下。尽管大数据量的多场景数据采集可以缓解域对模型表现的影响，但由于隐私的考量限制了数据集的制作。现实中的无线感知模型必须应对多变量的场景，在不同场景下都能有很好的表现。这两种因素的结合使得传统的集中训练方式并不适用于wifi无线感知应用。


技术实现要素：

6.为了解决相关技术中的问题，本公开实施例提供一种应用于无线感知场景的联邦学习训练平台及训练方法。
7.第一方面，本公开实施例中提供了一种应用于无线感知场景的联邦学习训练平台，包括：
8.无线感知系统，包括wifi设备以及本地服务器；其中，所述wifi设备用于获取包含物体状态信息的信号并传输到所述本地服务器；所述本地服务器用于预训练模型的本地更新，得到边缘模型；
9.区域服务器，与建立通信的至少一个所述本地服务器协同进行模型训练，并在本地更新完成后，将更新后的模型参数进行区域聚合，得到区域模型；
10.云服务器，与建立通信的至少一个所述区域服务器协同进行模型训练，并在所述区域模型更新完成后，利用个性化联邦学习算法进一步更新所述区域模型。
11.根据本公开的实施例，所述本地服务器还用于在根据所述边缘模型识别出的物体状态与物体实际状态不一致时，向所属的所述区域服务器发送请求，并与所属的所述区域服务器建立通信的其他本地服务器协同进行模型训练。
12.根据本公开的实施例，所述云服务器还用于基于上传的预训练数据训练得到预训练模型，并将所述预训练模型下发至所述本地服务器。
13.根据本公开的实施例，所述云服务器还用于基于个性化联邦学习算法更新所述区域模型，得到个性化区域模型；
14.所述区域服务器还用于将所述个性化区域模型下发至建立通信的所述本地服务器。
15.根据本公开的实施例，还包括：
16.区域通信模块，用于所述本地服务器与区域服务器间的通信，以及所述区域服务器与云服务器间的通信。
17.第二方面，本公开实施例中提供了一种应用于无线感知场景的联邦学习训练方法，包括：
18.构建如第一方面任一项所述的联邦学习训练平台；
19.所述wifi设备获取包含物体状态信息的信号并传输到本地服务器；
20.所述本地服务器进行预训练模型的本地更新得到边缘模型；
21.所述区域服务器在本地更新完成后，将更新后的模型参数进行区域聚合，得到区域模型；
22.所述云服务器在所述区域模型更新完成后利用个性化联邦学习算法进一步更新所述区域模型。
23.根据本公开的实施例，还包括：
24.所述本地服务器在根据所述边缘模型识别出的物体状态与物体实际状态不一致时，向所属的所述区域服务器发送请求，并与所属的所述区域服务器建立通信的其他本地服务器协同进行模型训练。
25.第三方面，本公开实施例中提供了一种基于wifi信号的行为识别方法，包括：
26.获取携带物体状态信息的wifi信号；
27.将所述wifi信号输入边缘模型得到预测的物体状态信息；所述边缘模型采用如第二方面任一项所述的联邦学习训练方法训练得到；
28.根据所述预测的物体状态信息进行行为识别。
29.第四方面，本公开实施例提供了一种电子设备，包括存储器和处理器，其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器
执行以实现如第二方面、第三方面任一项所述的方法。
30.第五方面，本公开实施例中提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现如第二方面、第三方面任一项所述的方法。
31.根据本公开实施例提供的技术方案，应用于无线感知场景的联邦学习训练平台，包括：无线感知系统，包括wifi设备以及本地服务器；其中，所述wifi设备用于获取包含物体状态信息的信号并传输到所述本地服务器；所述本地服务器用于预训练模型的本地更新，得到边缘模型；区域服务器，与建立通信的至少一个所述本地服务器协同进行模型训练，并在本地更新完成后，将更新后的模型参数进行区域聚合，得到区域模型；云服务器，与建立通信的至少一个所述区域服务器协同进行模型训练，并在所述区域模型更新完成后，利用个性化联邦学习算法进一步更新所述区域模型。上述技术方案至少实现以下技术效果：1.联邦学习允许多参与方在不共享原始数据的基础上联合进行模型训练，可以保护用户的隐私信息，同时分布式的模型训练可以充分利用各参与方的计算算力。2.多层级联邦学习框架允许更多用户参与，增加潜在的多域训练样本，提升机器学习模型的泛化性能。
32.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
33.结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：
34.图1示出根据本公开实施例的应用于无线感知场景的联邦学习训练平台的示意性结构框图。
35.图2示出根据本公开实施例的应用于无线感知场景的联邦学习训练方法的流程图。
36.图3示出根据本公开实施例的应用于无线感知场景的联邦学习训练方法的整体流程示意图。
37.图4示出根据本公开的实施例的电子设备的结构框图。
38.图5示出适于用来实现根据本公开实施例的方法的计算机系统的结构示意图。
具体实施方式
39.下文中，将参考附图详细描述本公开的示例性实施例，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施例无关的部分。
40.在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
41.另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
42.在本公开中，如涉及对用户信息或用户数据的获取操作或向他人展示用户信息或用户数据的操作，则所述操作均为经用户授权、确认，或由用户主动选择的操作。
43.传统的wifi感知模型训练方式依赖集中式训练，在边缘设备采集数据并汇聚到中
央服务器上进行训练，之后在边缘设备部署训练好的模型进行预测，这种训练方式归纳为单阶段集中式训练。由于实验室环境下数据收集的有限性，这种训练方式并不能保证模型在不同环境下的表现。结合wifi感知的特点，这些挑战可以通过多阶段的分布式训练得到解决。多阶段是指每当检测到模型预测异常时就会进行模型的更新，而不是之前的一次训练一次部署。多阶段的模型训练导致了训练方式的转变。在单阶段训练中，数据的拥有者同时也是模型的训练者。但在多阶段训练中，异常数据分布在终端设备，而且含有用户的隐私信息，不能自由流动。所以为了进行多阶段的训练必须采用保护隐私的分布式训练框架。
44.联邦学习作为一种分布式机器学习框架，能够在保护数据隐私的前提下，让多参与方在不共享原始数据的基础上，联合进行高效的模型训练。目前已有多种应用(如医疗影像分析，金融数据建模)应用了联邦学习框架进行机器学习模型的训练并取得了很好的效果。联邦学习赋能wifi无线感知是一种新兴的范式，通过参数聚合而不是数据集聚合进行机器学习模型训练，从而克服隐私问题，参数聚合利用互联网/局域网进行知识的迁移。
45.图1示出根据本公开实施例的应用于无线感知场景的联邦学习训练平台的示意性结构框图。如图1所示，应用于无线感知场景的联邦学习训练平台包括：无线感知系统101、区域服务器102和云服务器103。无线感知系统101包括wifi设备(例如wifi发射/接收机)以及本地服务器；其中，所述wifi设备既涉及数据的采集，也涉及到将数据通过有线或者无线的方式传输到本地服务器；所述本地服务器用于预训练模型的本地更新，得到边缘模型；区域服务器102与建立通信的至少一个本地服务器协同进行模型训练，并在本地更新完成后，将更新后的模型参数进行区域聚合，得到区域模型；云服务器103与建立通信的至少一个区域服务器102协同进行模型训练，并在所述区域模型更新完成后，更新云端模型。
46.根据本公开的实施例，无线感知系统101可以部署于房屋内，具体地，房屋内可以部署若干对wifi发射/接收机以及本地服务器，wifi发射/接收机用于采集本地数据，例如wifi信号的信道状态信息(channel state information，csi)，利用csi信息能够实现对目标的感知和定位分析。本地服务器作为联邦学习的边缘用户利用本地数据集进行机器学习模型的训练。
47.根据本公开的实施例，可以根据房屋属性，网路状态的差异将一个小区或一栋写字楼等划分为一个区域，一个区域往往具有一定的同质性，部署一个区域服务器102。区域服务器102通过本区域配置的区域通信模块与房屋内的通信模块建立通信连接。区域服务器102既作为边缘用户的中央服务器，自己本身也作为云服务器的用户参与模型训练。
48.根据本公开的实施例，云服务器103通过互联网与区域服务器进行通信，由于其更加强大的算力，可以执行更长期的任务，比如数据集的存储和标注，模型的仿真和校验等工作。
49.根据本公开的实施例，所述本地服务器还用于在根据所述边缘模型识别出的物体状态与物体实际状态不一致时，向所属的所述区域服务器发送请求，并与所属的所述区域服务器建立通信的其他本地服务器协同进行模型训练。其中，边缘模型识别的物体状态可以是人体姿态或者手势，本公开对此不做限制。
50.根据本公开的实施例，所述云服务器还用于基于上传的预训练数据训练得到预训练模型，并将所述预训练模型下发至所述本地服务器。其中，预训练数据可以是实验室自采的，而不会接收用户的数据。
51.根据本公开的实施例，所述云服务器还用于基于个性化联邦学习算法更新所述区域模型，得到个性化区域模型。所述区域服务器还用于将所述个性化区域模型下发至建立通信的所述本地服务器
52.根据本公开的实施例，联邦学习训练平台还包括：
53.区域通信模块，用于所述本地服务器与区域服务器间的通信，以及所述区域服务器与云服务器间的通信。
54.本公开实施例提供的应用于无线感知场景的联邦学习训练平台，联邦学习允许多参与方在不共享原始数据的基础上联合进行模型训练，可以保护用户的隐私信息，同时分布式的模型训练可以充分利用各参与方的计算算力，多层级联邦学习框架允许更多用户参与，增加潜在的多域训练样本，提升机器学习模型的泛化性能。
55.图2示出根据本公开实施例的应用于无线感知场景的联邦学习训练方法的流程图。如图2所示，所述应用于无线感知场景的联邦学习训练方法包括以下步骤s201
–
s205：
56.在步骤s201中，构建联邦学习训练平台；
57.在步骤s202中，所述wifi设备获取包含物体状态信息的信号并传输到本地服务器；
58.在步骤s203中，所述本地服务器进行预训练模型的本地更新得到边缘模型；
59.在步骤s204中，所述区域服务器在本地更新完成后，将更新后的模型参数进行区域聚合，得到区域模型；
60.在步骤s205中，所述云服务器在所述区域模型更新完成后利用个性化联邦学习算法进一步更新所述区域模型。
61.图3示出根据本公开实施例的应用于无线感知场景的联邦学习训练方法的整体流程示意图。如图3所示，本公开实施例提供的应用于无线感知场景的联邦学习训练方法包含云端预训练，区域联邦学习和云端联邦学习三个阶段。云端预训练采用标注好的数据集在云服务器上进行训练，将初始机器学习模型训变成预训练模型并下发给本地服务器。之后一旦本地服务器发生模型预测异常，就会向区域服务器发送请求，促使区域服务器与其他建立通信连接的本地服务器参与新轮次的联邦训练。知识在不同本地服务器之间的传递有助于及时修正本地模型的错误。通过几个轮次的参数交换，区域服务器就会产生区域模型，汇聚了这个区域所有的知识，可以作为这个区域的代表模型。最后，通过云端联邦学习联合各个区域的模型进行训练，扩充整个联邦的参与用户。为了提升模型的鲁棒性，云端联邦学习阶段可以采用个性化训练方式，允许每个区域用户训练自己的个性化区域模型，同时将自己的知识传递给其他用户，得到个性化区域模型，之后再将更新后的个性化区域模型下发至本地服务器，更新边缘模型。
62.本公开实施例还提供了一种基于wifi信号的行为识别方法，包括：
63.获取携带物体状态信息的wifi信号；物体状态信息可以是人体动作信息，例如人体姿态或者手势；
64.将所述wifi信号输入边缘模型得到预测的物体状态信息；所述边缘模型采用如第二方面任一项所述的联邦学习训练方法训练得到；
65.根据所述预测的物体状态信息进行行为识别。
66.本公开方式中，利用区域模型汇总一个区域内的知识，并利用云端模型汇总不同
区域内的知识，之后再反向更新边缘模型，这样可以利用更新后的边缘模型对物体状态信息进行本地识别，数据无需上传到云端，保证了隐秘性。
67.本公开还公开了一种电子设备，图4示出根据本公开的实施例的电子设备的结构框图。
68.如图4所示，所述电子设备包括存储器和处理器，其中，存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现根据本公开的实施例的方法。
69.构建联邦学习训练平台
70.所述wifi设备获取包含物体状态信息的信号并传输到本地服务器；
71.所述本地服务器进行预训练模型的本地更新得到边缘模型；
72.所述区域服务器在本地更新完成后，将更新后的模型参数进行区域聚合，得到区域模型；
73.所述云服务器在所述区域模型更新完成后更新云端模型。
74.根据本公开的实施例，所述方法还包括：所述本地服务器在根据所述边缘模型识别出的物体状态与物体实际状态不一致时，向所属的所述区域服务器发送请求，并与所属的所述区域服务器建立通信的其他本地服务器协同进行模型训练。
75.根据本公开的实施例，所述方法还包括：所述云服务器还用于基于上传的预训练数据训练得到预训练模型，并将所述预训练模型下发至所述本地服务器。
76.根据本公开的实施例，所述方法还包括：所述云服务器还用于基于个性化联邦学习算法更新所述区域模型，得到个性化区域模型；所述区域服务器还用于将所述个性化区域模型下发至建立通信的所述本地服务器。
77.所述电子设备包括存储器和处理器，其中，存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现根据本公开的实施例的方法。
78.获取携带物体状态信息的wifi信号；
79.将所述wifi信号输入边缘模型得到预测的物体状态信息；所边缘模型采用上述的联邦学习训练方法训练得到；
80.根据所述预测的物体状态信息进行行为识别。
81.图5示出适于用来实现根据本公开实施例的方法的计算机系统的结构示意图。
82.如图5所示，计算机系统包括处理单元，其可以根据存储在只读存储器(rom)中的程序或者从存储部分加载到随机访问存储器(ram)中的程序而执行上述实施例中的各种方法。在ram中，还存储有计算机系统操作所需的各种程序和数据。处理单元、rom以及ram通过总线彼此相连。输入/输出(i/o)接口也连接至总线。
83.以下部件连接至i/o接口：包括键盘、鼠标等的输入部分；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信过程。驱动器也根据需要连接至i/o接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。其中，所述处理单元可实现为cpu、gpu、tpu、fpga、npu等处理单元。
84.特别地，根据本公开的实施例，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行上述方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。
85.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
86.描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
87.作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中电子设备或计算机系统中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
88.以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。