一种基于多专家一致性熵的类不平衡时间序列域自适应方法和系统

本发明涉及机器学习领域，具体来说涉及迁移学习领域，更具体地说，涉及一种基于多专家一致性熵的类不平衡时间序列域自适应方法和系统。

背景技术：

1、基于可穿戴设备(如智能手环、健康追踪器、智能手表等一类可以佩戴在身体上的电子设备，从人体活动中通过传感器采集的时间序列信号获取信息)的行为识别在普适计算场景中具有重要作用。人体活动行为的准确推断依赖于利用通过可穿戴设备获取足够的时间序列数据进行模型训练。然而，在所获取的数据可用性有限的情况下，训练数据(源域)和测试数据(目标域)之间存在分布差异，仅通过模型训练获得预期结果变得具有挑战性。传统的域自适应方法可以通过调整源域和目标域之间的特征来缓解这个问题。

2、然而，在现实世界中，数据收集的局限性或自然固有特征往往导致标签分布失衡(即类不平衡)。以帕金森病的可穿戴行为识别为例，帕金森病患者的震颤级数通常与病情的严重程度相关。然而，由于高级别的震颤在患者中相对较少见，获取这类数据变得更加困难。相反，轻度震颤的数据相对更容易获取，因为这是病情较轻的患者中更为普遍的情况。在这种情况下，由于不同类别的数据不平衡，在模型预测的时候，可能倾向于在训练中更关注那些相对容易获取的低震颤级别的数据，而在高级别震颤的数据上性能较差，从而导致伪标签非常不可靠，将它们用于以域对齐为核心思想的域自适应会导致误差积累。由于模型倾向于样本数较多的类别，这种标签分布的失衡可能会导致模型在训练和测试时对于少数类别的性能下降，从而导致模型在面对罕见事件时的预测性能不佳。因此，这种标签分布的不平衡性使得域自适应在例如帕金森病行为识别这种数据类别差异较大的任务中的应用受到限制。

3、在现有技术中，针对标签分布失衡的问题，文献2中提出了一种基于图像增强的委员会一致性(committee consistency)算法，其对于每个目标实例，生成一个随机的、保留标签的图像转换委员会。然后，计算原始版本和增强版本的模型预测之间的一致性。然后，最小化高度一致的目标实例上的预测熵(增加模型置信度)，并最大化高度不一致的目标实例上的预测熵(降低模型置信度)。即鼓励模型增加其对未标记目标数据的预测的置信度。这使得它的成功高度依赖于它的初始化。在良好的初始化下，源域训练后，类别可以在源域和目标域之间合理对齐。该方法在一定程度上有效缓解了类不平衡带来的偏差。

4、然而上述方法存在以下几方面的问题，

5、第一方面，委员会一致性的有效性取决于标签不平衡的程度。随着标签不平衡程度的增加，委员会将表现出对大多数类别的偏见。

6、第二方面，该方法依赖于图像增强(image augmentation，一种通过对原始图像进行各种变换来生成新的图像的方法。这些变换包括旋转、翻转、缩放、剪切、色彩变换等)，不能直接适用于如上述个人穿戴设备中获取的时间序列数据。为了适应时间序列数据，还需要一个足够大范围的特定于分类任务的语义不变的增强空间。

7、第三方面，不同于图像的一般增强可以应用于绝大部分分类作用，时间序列数据可能当转换对任务不利时失灵。例如，在任务涉及对噪声模式进行分类的情况下，引入额外的噪声可能会导致语义不一致。

8、引用文献：

9、[1]kihyuk sohn,david berthelot,nicholas carlini,zizhaozhang,hanzhang,colin a raffel,ekin dogus cubuk,alexey kurakin,and chun-liang li,"fixmatch:simplifying semi-supervised learning with consistency andconfidence,"in neurlps,2020.

10、[2]viraj prabhu,shivam khare,deeksha kartik,and judyhoffman,"sentry:selective entropy optimization via committee consistency for unsuperviseddomain adaptation,"in proc.iccv,2021.

11、[3]weili shi,ronghang zhu,and sheng li,"pairwise adversarial trainingfor unsupervised class-imbalanced domain adaptation,"in proc.acm sigkdd,2022.

12、[4]vladimir n vapnik,"an overview of statistical learning theory,"ieee trans.neural netw.,1999.

13、[5]yaroslav ganin,evgeniya ustinova,hana ajakan,pascal germain,hugolarochelle,laviolette,mario marchand,and victor lempitsky,"domainadversarial training of neural networks,"j.mach.learn.res.,2016.

14、[6]kuniaki saito,kohei watanabe,yoshitaka ushiku,andtatsuya harada,"maximum classifier discrepancy for unsupervised domain adaptation,"inproc.cvpr,2018.

15、[7]shuang li,fangrui lv,binhui xie,chi harold liu,jian liang,and chenqin,"bi-classifier determinacy maximization for unsupervised domainadaptation,”in proc.αaaι,2021.

技术实现思路

1、基于上述问题，本发明提出一种基于多专家一致性熵的类不平衡时间序列域自适应方法和系统。通过引入多专家委员会机制，根据源域不平衡分布进行边界调整，在避免多专家委员会对少数类产生偏见的同时鼓励模型在更广泛的标签分布漂移中表现出强大的泛化性能。此外，本技术还引入了时频动态增强一致性机制，在解决源域/目标域上的域偏移的同时，动态地自适应分类任务。

2、本发明提供一种基于多专家一致性熵的类不平衡时间序列域自适应系统，包括：

3、随机增强模块，用于对源域/目标域数据进行多种不同类型的随机增强，其中所述源域数据为有标签的时间序列数据，所述目标域数据为无标签的时间序列数据；

4、特征提取模块，用于对增强后的源域/目标域数据进行特征提取；

5、多专家委员会模块，包括多个专家分类子模块，分别用于对经所述特征提取模块处理后的源域/目标域数据进行分类预测。

6、根据本发明实施例所述的系统，其中，

7、所述随机增强模块使用的增强方法包括无增强、时域增强、频域增强以及时频域的动态加权增强。

8、根据本发明实施例所述的系统，其中，

9、所述多专家委员会模块至少包括一个源分布专家分类子模块和一个均衡分布专家分类子模块。

10、根据本发明实施例所述的系统，其中，

11、所述专家委员会模块还包括随机分布专家子模块。

12、本发明还提供一种基于上述任一实施例所述的系统的类不平衡时间序列域自适应方法，所述方法包括：

13、步骤s1，分别获取源域/目标域的时间序列数据；

14、步骤s2，分别对所述源域/目标域的时间序列数据进行分类训练，获得源域的交叉熵函数和目标域的一致熵函数之和，并反传系统；

15、步骤s3，基于步骤2中得到的结果调整所述系统的训练参数；

16、步骤s4，重复步骤s2和s3以最小化所述交叉熵函数和所述一致熵函数之和。

17、根据本发明实施例所述的方法，其中，

18、步骤s2中的源域训练包括：

19、步骤a1，使用时频增强模块对源域数据进行多种不同类型的随机增强，

20、步骤a2，随机增强后的数据进入特征提取模块进行特征提取，

21、步骤a3，将步骤a2中得到的特征输入至多个专家分类子模块，得到不同的预测输出，基于每个专家分类子模块的预测输出与源域数据的标签计算对应交叉熵，并将所得的多个交叉熵相加。

22、根据本发明实施例所述的方法，其中，

23、步骤s2中的目标域训练包括：

24、步骤b1，使用时频增强模块对所获取的目标域数据进行多种不同类型的随机增强，

25、步骤b2，随机增强后的数据进入特征提取模块进行特征提取，

26、步骤b3，将步骤b2中得到的特征输入多个专家分类子模块，得到不同的预测输出，基于所得的多个预测输出计算不同预测输出的一致熵。

27、根据本发明实施例所述的方法，其中，

28、所述步骤s2的训练表示为：

29、

30、其中，为总体训练函数，表示一致熵，δ1-k表示广义克罗内克函数，用于控制一致熵的正负，和分别表示源域和目标域的数据空间，ys为源域的标签，aug()为增强函数，k表示专家分类子模块的个数，i表示k个专家分类子模块中第i个专家分类子模块，代表不同专家分类子模块的训练函数。

31、根据本发明实施例所述的方法，在步骤s2中，所述专家分类子模块对决策边界进行不同调整，表示为：

32、

33、其中，ei表示第i个专家分类子模块，πi表示对ei进行的logit调整。

34、本发明提供一种存储介质，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现上述任一实施例所述的方法。

35、本发明提供一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现上述任一实施例所述的方法。