全局协方差矩阵计算方法、装置、电子设备及存储介质与流程

本技术涉及数据处理领域，具体而言，涉及一种全局协方差矩阵计算方法、装置、电子设备及存储介质。

背景技术：

1、协方差矩阵是非常重要的统计分析方法，在数据分析和人工智能中有着重要的作用，如：协方差矩阵可以反映多维随机变量之间的相关性，从而可以用来分析数据的特征。例如，数据的分布、离散程度、线性相关性等。通过计算不同变量之间的协方差，可以发现数据中的隐藏规律和潜在因素。协方差矩阵是一种描述多个变量之间关系的矩阵，它可以用于多元统计分析中的各种方法。例如，主成分分析、因子分析、判别分析、聚类分析等。这些方法可以帮助我们降维、分类、聚类、预测等数据分析任务。协方差矩阵在人工智能中也有广泛的应用，例如在机器学习中，协方差矩阵可以用来表示多维随机变量的概率密度，从而可以用来建立概率模型、贝叶斯推理、高斯过程等。

2、但是，目前在进行全局协方差矩阵计算时，需要将所有参与方数据合在一起计算。这种方式可能会存在隐私问题，易暴露各参与方的数据隐私。

技术实现思路

1、有鉴于此，本技术实施例的目的在于提供一种全局协方差矩阵计算方法、装置、电子设备及存储介质，能够保护全局协方差矩阵计算时数据的隐私和安全性。

2、第一方面，本技术实施例提供了一种全局协方差矩阵计算方法，应用于服务器，包括：分别获取各个目标区域的局部数据集均值，所述目标区域为一个客户端中本地数据进行分片处理得到的每个分片区域或多个客户端中每个所述客户端的所述本地数据所在区域；根据所述各个目标区域的所述局部数据集均值计算全局数据集均值；接收客户端发送的各个目标区域的局部协方差矩阵，所述局部协方差矩阵根据所述全局数据集均值计算得到；根据所述各个目标区域的所述局部协方差矩阵计算得到全局协方差矩阵。

3、在上述实现过程中，服务器通过获取目标区域的局部数据集均值，并基于局部数据集均值计算得到全局数据集均值，再将该全局数据集均值发送到各个目标区域，并接收客户端计算得到的局部协方差矩阵，以根据局部协方差矩阵计算全局协方差矩阵。整个过程中只需要传输局部数据集均值和局部协方差矩阵，不需要传输各个目标区域的本地数据，可以保证目标区域与服务器之间、以及目标区域与目标区域之间的数据进行传输的隐私和安全。另外，服务器与客户端在进行数据传输时，只需要传输局部数据集均值、全局数据集均值和局部协方差矩阵，不需要传输目标区域的本地数据，可以减少数据传输量，提高通信效率。

4、在一个实施例中，所述根据所述各个目标区域的所述局部数据集均值计算全局数据集均值，包括：根据所述各个目标区域的所述局部数据集均值和本地数据总量进行加权求和，得到所述全局数据集均值。

5、在上述实现过程中，通过根据各个目标区域的局部数据集均值和对应的本地数据总量计算得到全局数据集均值，在客户端和服务器之间只需要传输局部数据集和全局数据集，不需要传输具体的本地数据，可以保证目标区域与服务器之间、以及目标区域与目标区域之间的数据进行传输的隐私和安全。

6、第二方面，本技术实施例还提供一种全局协方差矩阵计算方法，应用于客户端，包括：计算目标区域的局部数据集均值，所述目标区域为一个客户端中本地数据进行分片处理得到的每个分片区域或多个客户端中每个所述客户端的所述本地数据所在区域；将所述局部数据集均值发送到服务器；接收所述服务器发送的全局数据集均值，所述全局数据集均值根据所述各个目标区域的所述局部数据集均值计算得到；根据所述全局数据集均值计算所述目标区域的局部协方差矩阵；向所述服务器发送所述局部协方差矩阵，所述局部协方差矩阵用于确定全局协方差矩阵。

7、在上述实现过程中，客户端在本地计算客户端的目标区域的局部数据集均值，并向服务器发送局部数据集均值。再根据服务器发送的全局数据集均值计算局部协方差矩阵，并将计算得到的局部协方差矩阵发送给服务器，以供服务器根据局部协方差矩阵计算全局协方差矩阵。整个过程中只需要传输局部数据集均值和局部协方差矩阵，不需要传输各个目标区域的本地数据，可以保证目标区域与服务器之间、以及目标区域与目标区域之间的数据进行传输的隐私和安全。另外，服务器与客户端在进行数据传输时，只需要传输局部数据集均值、全局数据集均值和局部协方差矩阵，不需要传输目标区域的本地数据，可以减少数据传输量，提高通信效率。

8、在一个实施例中，应用于分布式场景，所述目标区域为多个客户端中每个所述客户端的所述本地数据所在区域，所述根据所述全局数据集均值计算所述目标区域的局部协方差矩阵，包括：每个所述客户端根据所述全局数据集均值和对应的所述目标区域中的所述本地数据分别计算每个所述目标区域的局部协方差矩阵。

9、在上述实现过程中，将该全局协方差矩阵计算方法应用于分布式场景，参与该全局协方差矩阵计算的多个客户端不需要传输本地数据到服务器，仅传输局部数据集均值和局部协方差矩阵，可以保证目标区域与服务器之间、以及目标区域与目标区域之间的数据进行传输的隐私和安全。另外，服务器与客户端在进行数据传输时，只需要传输局部数据集均值、全局数据集均值和局部协方差矩阵，不需要传输目标区域的本地数据，可以减少数据传输量，提高通信效率。

10、在一个实施例中，应用于非分布式场景，所述目标区域为一个客户端中本地数据进行分片处理得到的每个分片区域，所述计算目标区域的局部数据集均值之前，所述方法还包括：将所述本地数据进行分片处理，得到多个分片区域，每个所述分片区域包括部分所述本地数据；获取各个分片区域的数据量和数据和，所述数据量和所述数据和用于计算对应分片区域的所述局部数据集均值。

11、在上述实现过程中，对于非分布式场景，通过将本地数据进行分片处理，得到多个分片区域，进而分别计算各个分片区域的局部数据集均值和局部协方差矩阵，可以避免数据量过大存在内存溢出的问题，降低内存损耗。

12、在一个实施例中，所述根据所述全局数据集均值计算所述目标区域的局部协方差矩阵，包括：分别读取所述各个分片区域的数据；根据所述各个分片区域的数据和所述分片区域对应的所述局部数据集均值分别计算所述各个分片区域的协方差矩阵。

13、在上述实现过程中，对于非分布式场景，分别根据各个分片区域的本地数据和全局数据集均值计算各个分片区域的局部协方差矩阵，可以减少局部协方差计算的数据量，进而可以避免数据量过大造成内存溢出的问题。另外，在各个目标区域与服务器之间仅传输计算后的局部协方差矩阵，可以保证目标区域与服务器之间、以及目标区域与目标区域之间的数据进行传输的隐私和安全。

14、第三方面，本技术实施例还提供一种全局协方差矩阵计算装置，应用于服务器，包括：获取模块，用于分别获取各个目标区域的局部数据集均值，所述目标区域为一个客户端中本地数据进行分片处理得到的每个分片区域或多个客户端中每个所述客户端的所述本地数据所在区域；第一计算模块，用于根据所述各个目标区域的所述局部数据集均值计算全局数据集均值；第一接收模块，用于接收客户端发送的各个目标区域的局部协方差矩阵，所述局部协方差矩阵根据所述全局数据集均值计算得到；第二计算模块，用于根据所述各个目标区域的所述局部协方差矩阵计算得到全局协方差矩阵。

15、第四方面，本技术实施例还提供一种全局协方差矩阵计算装置，应用于客户端，包括：第三计算模块，用于计算目标区域的局部数据集均值，所述目标区域为一个客户端中本地数据进行分片处理得到的每个分片区域或多个客户端中每个所述客户端的所述本地数据所在区域；第一发送模块，用于将所述局部数据集均值发送到服务器；第二接收模块，用于接收所述服务器发送的全局数据集均值，所述全局数据集均值根据所述各个目标区域的所述局部数据集均值计算得到；第四计算模块，用于根据所述全局数据集均值计算所述目标区域的局部协方差矩阵；第二发送模块，用于向所述服务器发送所述局部协方差矩阵，所述局部协方差矩阵用于确定全局协方差矩阵。

16、第五方面，本技术实施例还提供一种电子设备，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面的任一种可能的实施方式中的方法的步骤。

17、第六方面，本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面的任一种可能的实施方式中全局协方差矩阵计算方法的步骤。

18、为使本技术的上述目的、特征和优点能更明显易懂，下文特举实施例，并配合所附附图，作详细说明如下。