一种提升分类公平性的异构分类器聚合方法

1.本发明涉及端智能与模型聚合领域，具体涉及一种提升分类公平性的异构分类器聚合方法。


背景技术：

2.随着智能设备的爆炸式增长和深度学习的成熟，设备上的模型训练变得越来越普遍。这在许多方面都能得到应用，例如人脸识别。然而，由于设备上的本地训练数据和计算资源有限，本地训练得到的分类器的性能和分类能力通常不会太强。异构分类器聚合成为一种范式，可以将在多源异构设备上训练得到的在架构和目标任务上都具有异构性的本地分类器整合成一个能力更强或性能更好的综合分类器。
3.现有工作提出基于知识蒸馏的异构分类器聚合方法，将多源异构设备上的本地分类器看作教师，将聚合分类器看作学生，让学生模仿教师学到的特征和预测以融合教师的知识，聚合得到能够执行所有教师分类器的分类任务的综合分类器。然而，在此过程中，由于多源异构设备上的本地分类器具有异构的目标任务，在基于知识蒸馏的分类器聚合过程中传递给聚合分类器的各个类别的知识的数量和质量并不均衡，这使得聚合分类器的训练处于不公平的监督下，最终生成的聚合分类器可能存在类别偏见（即在各个类别上的分类表现不公平，属于监督较弱的类别的样本比属于监督较强的类别的样本更容易被误分类），影响聚合分类器性能。因此，亟需研究提升分类公平性的异构分类器聚合方法。


技术实现要素：

4.本发明针对现有技术的不足，提供了一种提升分类公平性的异构分类器聚合方法，能够缓解聚合分类器中的类别偏见，提升其分类公平性，使其达到更好的性能。
5.本发明所采用的技术方案如下：本发明公开了一种提升分类公平性的异构分类器聚合方法，包含以下步骤：步骤1：给定若干智能设备，每个设备用本地数据训练出本地分类器，分类器在架构和目标任务具有异构性，通过聚合服务器统计这些分类器的目标类集合及其对每个类别的平均分类精度；步骤2：设计不公平监督水平评估方法，聚合服务器根据步骤1中的统计信息，从数量和质量两个方面评估聚合分类器训练时各个类别受到的监督水平，得到类别不公平监督水平向量；步骤3：设计类别相关度评估方法，聚合服务器将聚合分类器训练集中的图像输入到多源异构设备上的本地分类器中，得到相应的响应信息，其中反映了将图像分类到每个类别的概率，根据各个类别间的概率大小关系，评估各个类别的相关度，得到类别相关度矩阵；步骤4：设计细粒度误分类代价矩阵定制方法，聚合服务器根据步骤2中得到的类别不公平监督水平向量和步骤3中得到的类别相关度矩阵，为每个类别定制细粒度的误分
类代价，得到误分类代价矩阵；步骤5：设计提升分类公平性的异构分类器聚合算法，其通过响应信息将多源异构分类器学到的知识传递给聚合分类器以实现分类器聚合，并在此过程中利用步骤4中生成的误分类代价矩阵对响应信息转化得到的软标签进行扰动以调整各个类别的重要性，构造能够应对不公平监督、提升分类公平性的聚合分类器损失函数，在聚合服务器上运行该算法，实现提升分类公平性的异构分类器聚合。
6.作为进一步地改进,本发明所述的步骤1具体为：设置类别分类精度向量，指示多源异构分类器对每个类别的平均分类精度，的第个元素表示多源异构分类器对类别的平均分类；为每个分类器设置目标类信息指示向量，指示其目标类信息，的第个元素等于1当且仅当，否则等于0，每个智能设备将其本地分类器的目标类集合以及对每个类别的分类精度上传至聚合服务器，聚合服务器根据异构分类器上传的信息统计得到和。
7.作为进一步地改进,本发明所述的步骤2具体为：所述的设计不公平监督水平评估方法，从数量方面，使用多源异构分类器中每个类别的类频率来衡量聚合分类器训练时该类别所受到的监督水平，类别的类频率表示为：；从质量方面，使用每个类别在多源异构分类器上的平均分类精度来衡量聚合模型训练时该类别所受到的监督水平，类别的平均分类精度为；类别的相对监督数量表示为，相对监督质量表示为，则类别的不平衡监督水平评估为：，计算出每个类别的不公平监督水平后，得到类别不公平监督水平向量。评估各个类别的不平衡监督水平是为了更好地设置各个类别的分类代价，继而解决不平衡监督带来的分类不公平问题。
8.作为进一步地改进,本发明所述的步骤3具体为：给定数据集，其中包含所有多源异构分类器的总共个目标类，即中样本的标签集合为，根据的样本在设备本地分类器上的响应信息，评估其目标类集合中各个类别的相关度，令表示目标类集合中包含的设备本地分类器id集合，则有当且仅当；则根据对于中样本的响应信息，推测出类别与集合中其他类别的相关度。
9.作为进一步地改进,本发明所述的根据对于中样本的响应信息，推测出类别与集合中其他类别的相关度，包括如下步骤：1）令表示设备本地分类器对于一个类的样本的响应信息，表示根据估计得到的类别的相关度向量，其中的第j个元素表示根据估计得到的类别与类别的相关度，若有，则根据中对应元素的大小估计类别与类别
的相关度，若，则设置，有：；对于每个类别，从多源异构分类器对于中样本的响应信息中，估计出个相关度向量，即，将这些向量聚合起来，评估出类别与集合中其他类别的相关度，得到类别的相关度向量，聚合方式为：，表示从多源异构分类器对于中样本的响应信息中估计得到的类别与类别的相关度；2）聚合服务器用数据集中类的每个样本均可用上述方法得到一个类别相关度向量的评估结果，将这些结果取均值，即得到最终的类别的相关度向量，基于此，最终得到个类别的相关度向量，个类别的相关度向量组成类别相关度矩阵，即，的第行第列的元素表示类别与类别的相关度；3）为了完善类间相关度的评估，提出若在中没有类别与类别的相关度的评估结果，则用类别与其他类别的相关度评估结果估计类别与类别的相关度，得到新的相关度矩阵，其中；4）为了统一任意两个类之间的相关度，设置最终的类别相关度矩阵为，其中，则最终得到的类别与类别的相关度为。为了评估各个类别间的相关度，以便更好地设置各个类别的误分类代价。
10.作为进一步地改进,本发明所述的步骤4具体为：设计细粒度误分类代价矩阵定制方法采用以下两个原则：1）所受监督较弱的类别应该有较大的误分类代价，而所受监督较强的类别应该有较小的误分类代价；2）将属于某个类别的图像错误分类为不太相关的类别的代价应该比将其错误分类为高度相关的类别代价大；令表示误分类代价矩阵，其中第行第列的元素表示将属于类别的图像误分类为类别的误分类代价；则根据上述原则，的值与类别的监督水平成反比，与类别与类别的相对相关度成反比，即；设计如下的单调递减函数，为每个类别定制细粒度的误分类代价，将属于类别的图像误分类为类别的误分类代价为：
其中是以2为底的对数函数；聚合服务器根据步骤2中得到的类别不公平监督水平向量和步骤3中得到的类别相关度矩阵，利用上式计算任意两个类别间的误分类代价，得到误分类代价矩阵。
11.步骤4中明确了误分类代价与不公平监督水平、类间相关度的关系，设计了函数g，可以根据类不平衡监督水平和类间相关度的实际情况定制能够解决本发明关注问题的误分类代价。
12.作为进一步地改进,本发明所述的步骤5具体为：若对于中的样本，设备本地分类器的响应信息为，聚合分类器的响应信息为，则用softmax函数将响应信息转化为软标签（标准化的类别概率向量）：，多源异构分类器和聚合分类器的目标类集合是异构的，当它们的软标签的维数不同时，需要用某种方法实现输出间的映射，若是能够将设备本地分类器的软标签和聚合分类器的软标签联系起来的映射函数，二者的关系表示为，则基于知识蒸馏的异构分类器聚合训练的损失函数为：其中是样本的真实标签向量，是的能够与相比较的映射，有；设计提升分类公平性的异构分类器聚合算法，利用步骤4中生成的误分类代价矩阵调整上述基于知识蒸馏的异构分类器聚合过程中各个类别的重要性，从而缓解聚合分类器中的类别偏见、提升其分类公平性，首先，利用误分类代价对聚合分类器的响应信息转化得到的软标签进行扰动，然后，用扰动的结果构建能够应对不公平监督、提升分类公平性的聚合分类器训练损失函数。
13.作为进一步地改进,本发明所述的设计提升分类公平性的异构分类器聚合算法具体为：对于中的样本，令，聚合分类器的软标签为和，令和分别表示其受到误分类代价扰动后的结果，则有其中是中第类的扰动结果，是中第类的扰动结果，将所有类别进行这样的扰动，则可得到完整的聚合分类器的扰动后的软标签和。
14.基于此，本发明构建的能够应对不公平监督、提升分类公平性的聚合分类器训练
损失函数如下：其中是样本的真实标签，是的能够与相比较的映射，有，第一项是提升分类公平性的预测损失，第二项是提升分类公平性的蒸馏损失，是平衡参数，用于平衡这两类损失的系数；前者匹配聚合分类器受到误分类代价扰动后的软标签和真实标签，后者使聚合分类器受到误分类代价扰动后的软标签模仿多源异构分类器的软标签。
15.本发明的有益效果如下：针对异构分类器聚合中面临的不公平监督导致的类别偏见问题，实现了提升分类公平性的异构分类器聚合方法。本发明提出定量分析每个类别的不公平监督水平并估计类间相关度，在此基础上为每个类别定制细粒度的误分类代价，从而在聚合分类器的训练中重新加权每个类的分布，增强监督较弱的类别的重要性，缓解聚合分类器中由于不公平监督导致的类别偏见，提升聚合分类器的分类公平性。图3、图4和图5将本发明提出的提升分类公平性的异构分类器聚合方法与现有的异构分类器聚合方法对比，证明此方法能够有效缓解聚合分类器中的类别偏见，提升其分类公平性和模型性能。同时，此方法还具有扩展性，能够与其他异构分类器聚合方法结合以提升聚合模型的分类公平性。此外，图5还证明此方法能够以更少次数的查询实现异构分类器的聚合，降低了多源异构设备上的本地分类器的隐私泄露风险。
附图说明
16.图1是本发明中的异构分类器聚合场景示意图；图2是本发明提出的提升分类公平性的异构分类器聚合方法的框架图；图3是本发明的实例中聚合分类器各个类别的分类精度与uhc方法的对比图；图4是本发明实例中聚合分类器的精度随聚合分类器训练的损失函数中的平衡参数的变化曲线与skd1、skd2、uhc这几种方法的对比图；图5是本发明实例中聚合分类器的精度随用于训练的每个类别的样本数量的变化曲线图与uhc，skd2这两种方法的对比图。
具体实施方式
17.为了便于本领域普通技术人员理解和实施本发明，下面结合说明书附图及具体实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
18.本实例中，图1是本发明中的异构分类器聚合场景示意图，假设有个多源异构智能设备，每个设备用其本地数据训练出本地分类器；聚合服务器旨在利用多源异构设备上的本地分类器对聚合分类器训练集中各个样本的响应信息聚合这些分类器，得到一个能力更强或性能更好的聚合分类器。假设每个可以分类的目标类集合为，即
可以对类别为的样本进行响应。不同设备上的本地分类器可能具有不同的分类器架构和目标类集合，即对于任意且，可能有，甚至；此外，不同设备上的本地分类器的目标类集合可能有交集，即存在且，。令表示所有多源异构分类器的目标类并集，即。记，则聚合多源异构分类器得到的聚合分类器可以分类个目标类。聚合分类器的训练集包含来自个类别的个样本，其对应的标签为，其中每个类别的样本数量相同。将中的样本输入到多源异构设备上的本地分类器中可以得到相应的响应信息，利用这些响应信息可以将多源异构分类器中的知识融合到聚合分类器中，实现分类器聚合。
19.图2是本发明提出的提升分类公平性的异构分类器聚合方法的框架图；本发明提供一种提升分类公平性的异构分类器聚合方法，包含以下步骤：步骤1：给定若干智能设备，每个设备用本地数据训练出本地分类器，这些分类器在架构和目标任务具有异构性。聚合服务器统计这些分类器的目标类集合及其对每个类别的平均分类精度；本发明设置类别分类精度向量，指示多源异构分类器对每个类别的平均分类精度，的第个元素表示多源异构分类器对类别的平均分类；为每个分类器设置目标类信息指示向量，指示其目标类信息，的第个元素等于1当且仅当，否则等于0，每个智能设备将其本地分类器的目标类集合以及对每个类别的分类精度上传至聚合服务器，聚合服务器根据异构分类器上传的信息统计得到和。
20.步骤2：设计不公平监督水平评估方法，聚合服务器根据步骤1中的统计信息，从数量和质量两个方面评估聚合分类器训练时各个类别受到的监督水平，得到类别不公平监督水平向量。具体实施过程是：设备本地分类器的目标类集合包含类意味着该分类器可以预测样本属于类的概率，因此在分类器聚合过程中，可以通过其对样本的响应信息向聚合分类器传递与类别相关的知识。在本发明的异构分类器聚合场景中，每个设备上的分类器都有自己的目标类集合，这些目标类集合可能是异构的，且会有一定重叠。如果在这些多源异构分类器的目标类集合中，类别出现的频率较高，意味着可以提供类别相关知识的分类器的数量会较大，那么在分类器聚合过程中聚合分类器能够从多源异构分类器处融合的关于类别的知识的数量会较大。因此，从数量方面，本发明使用多源异构分类器中每个类别的类频率来衡量聚合分类器训练时该类别所受到的监督水平。类别的类频率表示为：。
21.设备本地分类器对其目标类分类准确率越高，表明该分类器对属于类别的样本进行分类的能力越强，分类器所能提供的类相关知识的质量越高。在本发明的异构分类器聚合场景中，类别相关的合并知识的质量与类别在所有多源异构分类器上的平均分类准确度高度相关。因此，从质量方面，本发明使用每个类别在多源异构分类器上的平
均分类精度来衡量聚合模型训练时该类别所受到的监督水平。类别的平均分类精度为。
22.给定聚合分类器训练时每个类别的监督数量和质量，本发明设计不公平监督水平评估方法，从相对监督数量和质量方面来衡量每个类别受到的不公平监督水平。类别的相对监督数量表示为，相对监督质量表示为，则类别的不平衡监督水平评估为：。类别的相对监督数量和质量越高，的值越大，意味着在聚合分类器训练过程中，类别受到的监督越强。计算出每个类别的不公平监督水平后，得到类别不公平监督水平向量.步骤3：设计类别相关度评估方法，聚合服务器将聚合分类器训练集中的图像输入到多源异构设备上的本地分类器中，得到相应的响应信息，其中反映了将图像分类到每个类别的概率，根据各个类别间的概率大小关系，评估各个类别的相关度，得到类别相关度矩阵。具体实施过程是：分类器学习到的知识包含类相似性和相关度的信息，通常会反映在分类器对输入样本的响应信息中。本发明充分利用这一点，设计类别相关度评估方法，利用分类器对样本的响应信息来估计类别相关度。其中分类器的响应信息反映了该样本被分类到每一个类别的概率。具体来说，响应信息中样本属于不同类别的概率的相对大小可以反映相应类之间的相关程度。理解如下：假设有分类器的目标类集合为，对于类的一个图像，该分类器的响应信息为，若有，则可以推断类的图像比类的图像更近似于类的图像，因此类别与的相关度比与的相关度高。
23.本发明中，给定数据集，其中包含所有多源异构分类器的总共个目标类，即中样本的标签集合为。根据的样本在设备本地分类器上的响应信息，可以评估其目标类集合中各个类别的相关度。令表示目标类集合中包含的设备本地分类器id集合，则有当且仅当。则根据对于中样本的响应信息，可以推测出类别与集合中其他类别的相关度。
24.令表示设备本地分类器对于一个类的样本的响应信息，表示根据估计得到的类别的相关度向量，其中的第j个元素表示根据估计得到的类别与类别的相关度。若有，本发明根据中对应元素的大小估计类别与类别的相关度，若，则设置，因此有：对于每个类别，从多源异构分类器对于中样本的响应信息中，可以估计出个相关度向量，即。将这些向量聚合起来，评估出类别与集合中其他类
别的相关度，得到类别的相关度向量。本发明提出的聚合方式为：，表示从多源异构分类器对于中样本的响应信息中估计得到的类别与类别的相关度。
25.聚合服务器用数据集中类的每个样本都可以用上述方法得到一个类别相关度向量的评估结果，将这些结果取均值，即得到最终的类别的相关度向量。基于此，最终可以得到个类别的相关度向量，这些相关度向量可以组成类别相关度矩阵，即。的第行第列的元素表示类别与类别的相关度。
26.考虑到存在，可能对于任意都无法同时满足和，这种情况下无法从多源异构分类器的响应信息中衡量出类别与类别的相关度，得到的相关度矩阵中。用矩阵来反映中的相关度情况，若，则，表示在中有类别与类别的相关度的评估结果，否则，表示在中没有类别与类别的相关度的评估结果。为了完善类间相关度的评估，本发明提出若在中没有类别与类别的相关度的评估结果，则用类别与其他类别的相关度评估结果估计类别与类别的相关度，得到新的相关度矩阵，其中。
27.为了统一任意两个类之间的相关度，本发明设置最终的类别相关度矩阵为，其中。则最终得到的类别与类别的相关度为。
28.步骤4：设计细粒度误分类代价矩阵定制方法，聚合服务器根据步骤2中得到的类别不公平监督水平向量和步骤3中得到的类别相关度矩阵，为每个类别定制细粒度的误分类代价，得到误分类代价矩阵。具体实施过程是：误分类代价用作惩罚参数在聚合分类器训练过程中修改每个类别的重要性，以减轻其对具有更强监督的类别的偏好与对具有更弱监督的类别的歧视。本发明采用以下两个原则定制细粒度误分类代价：首先，所受监督较弱的类别应该有较大的误分类代价，而所受监督较强的类别应该有较小的误分类代价。其次，将属于某个类别的图像错误分类为不太相关的类别的代价应该比将其错误分类为高度相关的类别代价大。令表示误分类代价矩阵，其中第行第列的元素表示将属于类别的图像误分类为类别的误分类代价。则根据上述原则，的值与类别的监督水平成反比，与类别与类别的相对相关度成反比，即。
29.本发明设计如下的单调递减函数，为每个类别定制细粒度的误分类代价，将属于类别的图像误分类为类别的误分类代价为：
其中log是以2为底的对数函数。
30.聚合服务器根据步骤2中得到的类别不公平监督水平向量和步骤3中得到的类别相关度矩阵，利用上式计算任意两个类别间的误分类代价，得到误分类代价矩阵。
31.步骤5：设计提升分类公平性的异构分类器聚合算法，其通过响应信息将多源异构分类器学到的知识传递给聚合分类器以实现分类器聚合，并在此过程中利用步骤4中生成的误分类代价矩阵对响应信息转化得到的软标签进行扰动以调整各个类别的重要性，构造能够应对不公平监督、提升分类公平性的聚合分类器损失函数，从而缓解聚合分类器中的类别偏见、提升其分类公平性和模型性能。在聚合服务器上运行该算法，实现提升分类公平性的异构分类器聚合。具体实施过程是：给定数据集，其中包含所有多源异构分类器的总共个目标类，即中样本的标签集合为，且中各个类别的样本数量相同。假设对于中的样本，设备本地分类器的响应信息为，聚合分类器的响应信息为，则可以用softmax函数将响应信息转化为软标签（标准化的类别概率向量）：。其中softmax函数表达式为，为第个类别的输出值，是输出类别的总数，是softmax函数的温度参数，表示软化处理的程度, softmax函数对原响应信息中的每一项进行处理，生成软标签。是的软标签，和是在不同蒸馏温度下的软标签。由于多源异构分类器和聚合分类器的目标类集合是异构的，因此它们的软标签的维数可能不同（例如的维数可能不同于和的维数），需要用某种方法实现输出间的映射。假设是能够将设备本地分类器的软标签和聚合分类器的软标签联系起来的映射函数，能够将二者变换为同样的维数，使其具有可比较性。则基于知识蒸馏的异构分类器聚合训练的损失函数为：其中是样本的真实标签向量，是的能够与相比较的映射，有与的维数相同。第一项是预测损失，第二项是蒸馏损失，是平衡参数，用于平衡这两类损失的系数。前者匹配聚合分类器的软标签和真实标签，后者使聚合分类器的软标签模仿多源异构分类器的软标签。
32.本发明设计提升分类公平性的异构分类器聚合算法，利用步骤4中生成的误分类代价矩阵调整上述基于知识蒸馏的异构分类器聚合过程中各个类别的重要性，从而缓解聚合分类器中的类别偏见、提升其分类公平性。首先，利用误分类代价对聚合分类器的响应信息转化得到的软标签进行扰动，然后，用扰动的结果构建能够应对不公平监督、提升分类公
平性的聚合分类器训练损失函数。对于中的样本，令，聚合分类器的软标签为和，令和分别表示其受到误分类代价扰动后的结果，则有其中是中第类的扰动结果，是中第类的扰动结果，将所有类别进行这样的扰动，则可得到完整的聚合分类器的扰动后的软标签和。
33.基于此，本发明构建的能够应对不公平监督、提升分类公平性的聚合分类器训练损失函数如下：其中是样本的真实标签，是的能够与相比较的映射，有与的维数相同。第一项是提升分类公平性的预测损失，第二项是提升分类公平性的蒸馏损失，是平衡参数，用于平衡这两类损失的系数。前者匹配聚合分类器受到误分类代价扰动后的软标签和真实标签，后者使聚合分类器受到误分类代价扰动后的软标签模仿多源异构分类器的软标签。
34.在上述损失函数基础上，基于已有工作，可以明确映射函数的定义，例如，基于此映射函数，聚合模型软标签变换得到的的维数与本地分类器的软标签的维数相同，具有可比较性，可以得到具体的提升分类公平性的异构分类器聚合算法的训练目标为最小化如下的聚合分类器训练损失函数：在聚合服务器上以上述目标进行聚合分类器训练，实现提升分类公平性的异构分类器聚合。
35.需要说明的是，在本发明设计的能够应对不公平监督、提升分类公平性的聚合分类器训练损失函数中，每个类的每个样本对损失计算的贡献被根据误分类代价矩阵重新加权。一方面，将更加重视属于具有较高误分类成本的类别的样本。另一方面，样本的预测越不准确（即不正确或相关度较低的类的概率越大），其对学习算法的贡献就越大。因此，本发明提出的提升分类公平性的异构分类器聚合方法可以减轻聚合分类器中的类别偏见、提升其分类公平性、提高其全局精确度。需要指出的是，虽然上述训练目标是基于的映射函数设计的，但本发明提出的提升分类公平性的异构分
类器聚合方法也可以扩展到其他映射函数，同样可以减轻聚合分类器中的类别偏好。
36.图3是本发明的实例中聚合分类器各个类别的分类精度与uhc方法的对比图，横轴表示从0到9这十个类别，纵轴表示聚合分类器中的类别分类精度；其中cbhma（class-balanced heterogeneous model aggregation）是本发明提出的提升分类公平性的异构分类器聚合方法，uhc（unifying heterogeneous classifiers）是已有的基于知识蒸馏的异构分类器聚合方法,其与cbhma的区别在于没有考虑聚合模型分类不公平的问题；在uhc中，使得设备本地分类器的软标签和聚合分类器的软标签具有可比较性的映射函数为。图3左图是在实验配置为c1 (fashion mnist数据集)下的结果，图3右图是在实验配置为c2 (tiny imagenet数据集)下的结果。可以发现，在配置c1下，uhc的聚合分类器在2、4、6类上的表现相对较差。反映了在分类器聚合过程中，类别2、4、6受到的监督可能比其他类要弱。还可以发现，cbhma在第 2、4、6 类上比uhc实现了更好的准确度，这缓解了聚合分类器中的类别偏见，提升了其分类公平性。同样，在配置c2下，可以观察到cbhma可以提高大多数uhc不偏向的类的准确性。因此，可以得出结论，本发明提出的提升分类公平性的异构分类器聚合方法可以有效应对异构分类器聚合中由于不公平的监督导致的类别偏见问题，减轻聚合分类器对监督较弱的类别的歧视，提升其分类公平性。
37.图4是本发明实例中聚合分类器的精度随聚合分类器训练的损失函数中的平衡参数的变化曲线与skd1、skd2、uhc这几种方法的对比图，横轴表示不同的平衡参数的取值，纵轴表示聚合分类器整体分类精度；其中cbhma（class-balanced heterogeneous model aggregation）和cbhma-e（class-balanced heterogeneous model aggregation-extension）是本发明提出的提升分类公平性的异构分类器聚合方法及其变种，二者的区别在于映射函数（映射函数将多源异构设备上的本地分类器的软标签与聚合分类器的软标签联系起来）的不同，skd1（simple extension of knowledge distillation-1）、skd2（simple extension of knowledge distillation-2）、uhc（unifying heterogeneous classifiers）是现有的基于知识蒸馏的异构分类器聚合方法,其与cbhma和cnhma-e的区别在于没有考虑聚合模型分类不公平的问题；在skd1中，每个本地分类器的软标签直接被扩展到与聚合分类器的软标签一样的维度以使二者具有可比较性，即将没有包含在的目标类中的类别的概率设为0；在skd2中，先将所有本地分类器的软标签进行简单叠加，然后将聚合分类器的软标签进行扩展，即按照所有的软标签叠加后相同的类顺序放置的软标签中的类别概率，形成与所有的软标签叠加后相同维度的向量，以进行比较；在uhc中，使得设备本地分类器的软标签和聚合分类器的软标签具有可比较性的映射函数为; cbhma和cbhma-e分别采用与uhc和skd2相同的映射方式。图4左图是在实验配置为c1(fashion mnist数据集)下的结果，图4右图是在实验配置为c2(tiny imagenet数据集)下的结果。可以发现，不同的平衡参数取值会导致不同的聚合分类器精度。同时，无论平衡参数取值如何，cbhma和cbhma-e总是比 skd1、skd2 和 uhc 效果更好。这是因为cbhma和 cbhma-e考虑了不公平监督导致的类别偏见问题，而skd1、skd2和uhc 忽略了这个问题。这个结果证明了本发明提出的提升分类公平性的多源异构分类器
聚合方法的有效性和可扩展性。
38.图5是本发明实例中聚合分类器的精度随用于训练的每个类别的样本数量的变化曲线图与uhc，skd2这两种方法的对比图，横轴表示不同的用于聚合分类器训练的每个类别的样本数量，纵轴表示聚合分类器整体分类精度。其中cbhma（class-balanced heterogeneous model aggregation）和cbhma-e（class-balanced heterogeneous model aggregation-extension）是本发明提出的提升分类公平性的异构分类器聚合方法及其变种，二者的区别在于映射函数（映射函数将多源异构设备上的本地分类器的软标签与聚合分类器的软标签联系起来）的不同， skd2（simple extension of knowledge distillation-2）、uhc（unifying heterogeneous classifiers）是现有的基于知识蒸馏的异构分类器聚合方法其与cbhma和cbhma-e的区别在于没有考虑聚合模型分类不公平的问题；在skd2中，先将所有本地分类器的软标签进行简单叠加，然后将聚合分类器的软标签进行扩展，即按照所有的软标签叠加后相同的类顺序放置的软标签中的类别概率，形成与所有的软标签叠加后相同维度的向量，以进行比较；在uhc中，使得设备本地分类器的软标签和聚合分类器的软标签具有可比较性的映射函数为;cbhma和cbhma-e分别采用与uhc和skd2相同的映射方式。该图展示的是在实验配置为c1(fashion mnist数据集)下的结果。可以发现，随着训练样本数量的增加，聚合分类器性能变得更好，且即使训练样本数量很少，本发明设计的提升分类公平性的多源异构分类器聚合方法cbhma 和 cbhmae 也优于uhc和skd2。基于此，可以得出两个结论：一是cbhma和cbhma-e可以有效地在小规模训练集下实现异构分类器的聚合；另一个是cbhma和cbhma-e可以用较少的训练样本达到一定的聚合分类器精确度。在异构分类器聚合过程中，更少的训练样本意味着对多源异构分类器进行更少次数的查询，这减少了它们的信息泄露，从而为它们提供了更强的隐私保障。因此，可以得出结论，与其他的异构分类器聚合方法相比，本发明提出的提升分类公平性的多源异构分类器聚合方法可以以更保护隐私的方式实现具有更好性能的异构分类器聚合。
39.应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。