一种数据综合价值的评估方法、装置及电子设备与流程

1.本发明涉及数据处理领域，特别是指一种数据综合价值的评估方法、装置及电子设备。


背景技术：

2.在大数据时代，数据拥有巨大的经济价值，被喻为新兴的石油资源。通过深入挖掘跨领域的数据资源，发现数据背后的经济规律，能有力促进产业升级和跨越式发展。机器学习算法的突破性进展和人工智能技术的大范围落地应用也离不开海量高质量数据的供应，然而当前的数据共享与流通规则和技术却无法满足各类应用对于数据资源的强烈需求，形成了大量与世隔绝的数据孤岛，造成数据资源的极大浪费，因此，亟须支持数据共享的开放平台和相关技术来打破数据壁垒，促进数据在互联网上的流通，以挖掘大数据的经济价值，释放各类数据的应用潜力。
3.在这种背景下联邦学习技术应运而生，联邦学习技术目前仍然处于快速发展的状态中，目前还处于前期试点技术验证阶段，尤其对于数据质量评估，目前联邦学习对于数据的评估方法主要有两种：质量评估关注数据内容本身的多维度特性，如完整性、时效性等，而价值评估则在评估数据质量的同时进一步综合考虑数据在生产过程中的成本和在不同任务中的产出。以上数据评估方案存在把数据价值绝对化、静态化的弊端，导致数据评估结果不准确。


技术实现要素：

4.本发明的目的是提供一种数据综合价值的评估方法、装置及电子设备，用以解决现有的数据评估方法的评估结果不准确的问题。
5.为达到上述目的，本发明的实施例提供一种数据综合价值的评估方法，包括：
6.在联邦学习过程中，获取数据提供方提供的待评估数据的相对价值、训练价值以及应用价值；
7.根据所述相对价值、所述训练价值以及所述应用价值，确定所述待评估数据的综合价值。
8.可选地，获取数据提供方提供的待评估数据的相对价值，包括：
9.在数据评估过程中，对所述待评估数据进行数据质量评估，获取所述待评估数据相对于数据评估节点的相对价值评估结果；
10.根据所有数据评估方对于所述待评估数据的相对价值评估结果，计算所述待评估数据的综合相对价值。
11.可选地，所述对所述待评估数据进行数据质量评估之前，所述方法还包括：
12.与所述数据提供方进行数据评估协商；所述数据评估协商的内容包括：评估内容、评估字段以及安全算法中的至少一项；
13.根据所述数据评估协商的结果获得共享数据安全评估协议；
14.所述在数据评估过程中，对所述待评估数据进行数据质量评估，获取所述待评估数据相对于数据评估节点的相对价值评估结果，包括：
15.根据所述共享数据安全评估协议，对所述待评估数据进行数据质量评估，获取所述待评估数据相对于数据评估节点的相对价值评估结果。
16.可选地，获取数据提供方提供的待评估数据的训练价值包括：
17.在数据建模发起方与所述数据提供方之间进行数据协同模型训练的过程中，计算数据提供方提供的待评估数据对所述模型训练的贡献度；
18.根据所述贡献度计算所述待评估数据对于模型训练的训练价值。
19.可选地，在数据建模发起方与所述数据提供方之间进行数据协同模型训练的过程中，计算数据提供方提供的待评估数据对所述模型训练的贡献度之前，所述方法还包括：
20.接收数据建模发起方发送的数据协同请求；
21.根据所述数据协同请求，将允许共享的待评估数据发送至所述数据建模发起方；
22.接收所述数据建模发起方选择所述待评估数据的通知消息；
23.根据所述通知消息建立所述数据建模发起方与所述数据提供方的数据协同连接通道。
24.可选地，获取数据提供方提供的待评估数据的应用价值，包括：
25.在模型预测过程中，根据模型的调用次数以及每次调用中所述数据提供方的数据协同计算次数，计算所述数据提供方提供的待评估数据的应用价值。
26.可选地，根据所述相对价值、所述训练价值以及所述应用价值，确定所述待评估数据的综合价值，包括：
27.分别确定所述相对价值、所述训练价值以及所述应用价值的权重；
28.根据所述权重，对所述相对价值、所述训练价值以及所述应用价值进行加权求和处理，获得所述待评估数据的综合价值。
29.为达到上述目的，本发明的实施例提供一种数据综合价值的评估装置，包括：
30.第一获取模块，用于在联邦学习过程中，获取数据提供方提供的待评估数据的相对价值、训练价值以及应用价值；
31.价值评估模块，用于根据所述相对价值、所述训练价值以及所述应用价值，确定所述待评估数据的综合价值。
32.可选地，所述第一获取模块包括：数据相对价值评估模块，所述数据相对价值评估模块具体用于：
33.在数据评估过程中，对所述待评估数据进行数据质量评估，获取所述待评估数据相对于数据评估节点的相对价值评估结果；
34.根据所有数据评估方对于所述待评估数据的相对价值评估结果，计算所述待评估数据的综合相对价值。
35.可选地，所述装置还包括：
36.数据协商模块，用于与所述数据提供方进行数据评估协商；所述数据评估协商的内容包括：评估内容、评估字段以及安全算法中的至少一项；
37.第二获取模块，用于根据所述数据评估协商的结果获得共享数据安全评估协议；
38.所述数据相对价值评估模块具体用于：
39.根据所述共享数据安全评估协议，对所述待评估数据进行数据质量评估，获取所述待评估数据相对于数据评估节点的相对价值评估结果。
40.可选地，所述第一获取模块包括：数据模型训练价值评估模块，所述数据模型训练价值评估模块具体用于：
41.在数据建模发起方与所述数据提供方之间进行数据协同模型训练的过程中，计算数据提供方提供的待评估数据对所述模型训练的贡献度；
42.根据所述贡献度计算所述待评估数据对于模型训练的训练价值。
43.可选地，所述装置还包括：多方协同计算管理模块，具体用于：
44.接收数据建模发起方发送的数据协同请求；
45.根据所述数据协同请求，将允许共享的待评估数据发送至所述数据建模发起方；
46.接收所述数据建模发起方选择所述待评估数据的通知消息；
47.根据所述通知消息建立所述数据建模发起方与所述数据提供方的数据协同连接通道。
48.可选地，所述第一获取模块包括：数据应用价值评估模块，所述数据应用价值评估模块具体用于：
49.在模型预测过程中，根据模型的调用次数以及每次调用中所述数据提供方的数据协同计算次数，计算所述数据提供方提供的待评估数据的应用价值。
50.可选地，所述价值评估模块包括：
51.确定单元，用于分别确定所述相对价值、所述训练价值以及所述应用价值的权重；
52.综合价值评估单元，用于根据所述权重，对所述相对价值、所述训练价值以及所述应用价值进行加权求和处理，获得所述待评估数据的综合价值。
53.为达到上述目的，本发明的实施例提供一种电子设备，包括处理器和收发器，其中，
54.所述处理器用于：在联邦学习过程中，获取数据提供方提供的待评估数据的相对价值、训练价值以及应用价值；
55.根据所述相对价值、所述训练价值以及所述应用价值，确定所述待评估数据的综合价值。
56.可选地，所述处理器获取数据提供方提供的待评估数据的相对价值，包括：
57.在数据评估过程中，对所述待评估数据进行数据质量评估，获取所述待评估数据相对于数据评估节点的相对价值评估结果；
58.根据所有数据评估方对于所述待评估数据的相对价值评估结果，计算所述待评估数据的综合相对价值。
59.可选地，所述对所述待评估数据进行数据质量评估之前，所述处理器还用于：
60.与所述数据提供方进行数据评估协商；所述数据评估协商的内容包括：评估内容、评估字段以及安全算法中的至少一项；
61.根据所述数据评估协商的结果获得共享数据安全评估协议；
62.所述处理器还用于：根据所述共享数据安全评估协议，对所述待评估数据进行数据质量评估，获取所述待评估数据相对于数据评估节点的相对价值评估结果。
63.可选地，所述处理器获取数据提供方提供的待评估数据的训练价值，包括：
64.在数据建模发起方与所述数据提供方之间进行数据协同模型训练的过程中，计算数据提供方提供的待评估数据对所述模型训练的贡献度；
65.根据所述贡献度计算所述待评估数据对于模型训练的训练价值。
66.可选地，在数据建模发起方与所述数据提供方之间进行数据协同模型训练的过程中，计算数据提供方提供的待评估数据对所述模型训练的贡献度之前，所述收发器用于：
67.接收数据建模发起方发送的数据协同请求；
68.根据所述数据协同请求，将允许共享的待评估数据发送至所述数据建模发起方；
69.接收所述数据建模发起方选择所述待评估数据的通知消息；
70.所述处理器用于：根据所述通知消息建立所述数据建模发起方与所述数据提供方的数据协同连接通道。
71.可选地，所述处理器获取数据提供方提供的待评估数据的应用价值，包括：
72.在模型预测过程中，根据模型的调用次数以及每次调用中所述数据提供方的数据协同计算次数，计算所述数据提供方提供的待评估数据的应用价值。
73.可选地，所述处理器根据所述相对价值、所述训练价值以及所述应用价值，确定所述待评估数据的综合价值，具体包括：
74.分别确定所述相对价值、所述训练价值以及所述应用价值的权重；
75.根据所述权重，对所述相对价值、所述训练价值以及所述应用价值进行加权求和处理，获得所述待评估数据的综合价值。
76.为达到上述目的，本发明的实施例提供一种电子设备，包括收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；所述处理器执行所程序或指令时实现如上所述的数据综合价值的评估方法。
77.为达到上述目的，本发明的实施例提供一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上所述的数据综合价值的评估方法中的步骤。
78.本发明的上述技术方案的有益效果如下：
79.本发明的实施例，联邦学习的数据评估方基于数据评估阶段的数据相对价值、模型训练阶段中数据对于模型训练的训练价值以及模型应用阶段中数据的应用价值的数据，进行多维度价值定量评估。该实施例的价值评估过程中，采用待评估数据相对于数据评估节点的相对价值，避免了将数据价值绝对化；所述训练价值即为待评估数据对于模型训练的动态贡献度，基于数据动态贡献度的方式对数据价值进行评估，避免了将数据价值静态化，能够使得数据价值评估结果更准确。最后，利用数据相对价值、训练价值以及应用价值进行数据多维度的综合价值评估，避免利用单一的评估方式，进一步保证了数据价值评估结果的准确性。此外，在数据评估的过程中不需要引入第三方，保护了数据提供方的数据隐私。
附图说明
80.图1为本发明实施例的数据综合价值的评估方法的流程示意图之一；
81.图2为本发明实施例的数据综合价值的评估方法的流程示意图之二；
82.图3为本发明实施例的数据协同网络的架构示意图；
83.图4为本发明实施例的数据综合价值的评估装置的结构示意图；
84.图5为本发明实施例的电子设备的结构示意图之一；
85.图6为本发明实施例的电子设备的结构示意图之二。
具体实施方式
86.为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
87.应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
88.在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
89.另外，本文中术语“系统”和“网络”在本文中常可互换使用。
90.在本技术所提供的实施例中，应理解，“与a相应的b”表示b与a相关联，根据a可以确定b。但还应理解，根据a确定b并不意味着仅仅根据a 确定b，还可以根据a和/或其它信息确定b。
91.在介绍本发明的实施例之前，首先对本发明实施例中用到的概念进行说明。
92.联邦学习：
93.联邦学习是由数据提供方、数据评估方等多个节点构成的数据协同网络，能够使得数据不出本地即可参与多方协同建模，并且在数据交换的时候也能保证信息安全和个人隐私，在保证合规和安全的情况下，连接多个不同节点的数据以发掘大数据的协同经济价值。参与联邦学习的每个节点通过联盟链的方式组成可信计算网络，每一个数据提供方和每一个模型拥有方均作为数据协同网络的一个独立的节点。
94.例如：在医疗领域，单个医院的样本数据不足以构建具有足够准确率的诊断模型，而将多家医院的样本通过联邦学习的技术实现协同建模就可以解决模型的准确率问题，同时联邦学习还可以保证不暴露患者隐私的数据。联邦学习的流程包括：首先，云端服务器将一个统一模型下发给多个医疗机构端的服务器节点，每个医疗机构节点用本地的数据进行训练，然后训练的得到的模型参数通过可信计算网络在加密状态中回传给云端服务器，云端服务器将从多个医疗机构节点那边得到的模型参数进行整合、更新，再发还给各个节点进行下一轮模型训练，依次逐步迭代直到最后模型收敛完成一次完整的联邦学习过程。
95.如图1所示，本发明实施例提供的一种数据综合价值的评估方法，包括：
96.步骤11、在联邦学习过程中，获取数据提供方提供的待评估数据的相对价值、训练价值以及应用价值。
97.步骤12、根据所述相对价值、所述训练价值以及所述应用价值，确定所述待评估数据的综合价值。
98.联邦学习包括：数据提供方的共享数据从数据发布、数据检索、数据评估、模型训练到模型预测(模型推理)的完整生命周期，基于联邦学习的数据综合价值评估的具体流程如图2所示，在数据评估阶段获取所述待评估数据的相对价值，所述相对价值为数据提供方
提供的所述待评估数据相对于评估节点的数据相对价值；在模型训练阶段获取所述待评估数据对于模型训练的训练价值；在模型预测阶段获取所述待评估数据对于模型预测的应用价值。
99.将所述待评估数据的相对价值、训练价值以及应用价值进行综合计算，确定所述数据提供方提供数据的综合价值。可以利用计算得到的数据综合价值计算激励，并提供给所述数据提供方。
100.本发明的实施例，联邦学习的数据评估方基于数据评估阶段的数据相对价值、模型训练阶段中数据对于模型训练的训练价值以及模型应用阶段中数据的应用价值的数据，进行多维度价值定量评估。该实施例的价值评估过程中，采用待评估数据相对于数据评估节点的相对价值，避免了将数据价值绝对化；所述训练价值即为待评估数据对于模型训练的动态贡献度，基于数据动态贡献度的方式对数据价值进行评估，避免了将数据价值静态化，能够使得数据价值评估结果更准确。最后，利用数据相对价值、训练价值以及应用价值进行数据多维度的综合价值评估，避免利用单一的评估方式，进一步保证了数据价值评估结果的准确性。此外，在数据评估的过程中不需要引入第三方，保护了数据提供方的数据隐私。
101.具体地，所述在联邦学习过程中，获取数据提供方提供的待评估数据的相对价值、训练价值以及应用价值，可以包括：
102.(1)在所述联邦学习的数据评估过程中，获取所述待评估数据相对于数据评估节点的相对价值。其中，可以基于多个数据评估方对于数据提供方数据的相对数据价值综合评定。
103.(2)在所述联邦学习的模型训练过程中，获取所述待评估数据对于模型训练的训练价值。其中，可以基于协同任务中对于模型训练的数据参与程度以及贡献度大小进行综合评定。
104.(3)在所述联邦学习的模型预测过程中，获取所述待评估数据的应用价值。其中，可以基于模型应用阶段模型的调用次数以及数据的协同计算次数进行综合评定。
105.具体地，所述联邦学习过程，包括以下步骤：进行数据检索，获取所述数据提供方提供的待评估数据；对所述待评估数据进行数据评估；在所述待评估数据的评估结果满足预定条件的情况下，利用所述待评估数据进行数据协同模型训练，获得模型；调用所述模型进行模型预测。
106.需要说明的是，由于数据评估过程是基于联邦学习完成的，在数据评估过程中可以基于联邦学习的顺序分别进行多维评估。例如：数据提供方在本地数据管理模块中对于数据进行发布准备，数据准备就绪后通过发布模块按照设定标准协议格式进行发布，数据协同网络中的多方协同计算管理模块在收到发布消息后根据各个节点登记信息将该信息转发给所有感兴趣的其他节点。数据评估方进行数据检索，检索到数据后，进入数据评估阶段，对检索到的数据提供方提供的数据进行相对价值评估，获得数据的相对价值后，数据评估方可根据数据相对价值结果确定是否满足模型训练的数据要求，在满足数据要求时进行模型训练并获得模型，并在模型训练过程中获取所述待评估数据对于模型训练的训练价值。在后续调取模型进行应用时，可以在模型应用过程中计算模型的调用次数以及数据的协同计算次数进行综合评定，进而确定数据提供方数据的应用价值。
107.其中，所述预定条件可以根据模型训练对于训练数据的要求进行设置，例如在对数据质量要求较高时，可以设置较高的相对价值阈值。
108.下面分别通过具体实施例说明各个数据价值的获取过程。
109.作为一个可选实施例，所述获取数据提供方提供的待评估数据的相对价值可以包括：
110.在数据评估过程中，对所述待评估数据进行数据质量评估，获取所述待评估数据相对于数据评估节点的相对价值评估结果；
111.根据所有数据评估方对于所述待评估数据的相对价值评估结果，计算所述待评估数据的综合相对价值。
112.该实施例中，数据协同网络中可以包括多个数据评估节点，在对数据提供方提供的数据进行相对价值评估时，各个数据评估节点在进行相对价值评估后可以将相对价值评估结果共享，各个评估节点均可以获得多个其他评估节点的评估结果。例如，各个评估节点均将相对价值评估结果上传至数据相对价值评估模块，数据相对价值评估模块根据所有评估节点的相对价值评估结果进行综合评定(例如加权求和)，确定所述数据提供方数据的综合相对价值。
113.可选地，所述对所述待评估数据进行数据质量评估之前，所述方法还包括：
114.与所述数据提供方进行数据评估协商；所述数据评估协商的内容包括：评估内容、评估字段以及安全算法中的至少一项；根据所述数据评估协商的结果获得共享数据安全评估协议；根据所述共享数据安全评估协议，对所述待评估数据进行数据质量评估，获取所述待评估数据相对于数据评估节点的相对价值评估结果。
115.该实施例中，数据协同网络中除数据提供方外的其它节点为数据评估方，评估方在收到数据提供方的发布信息后和数据提供方就评估方法协商并达成一致，协商内容可包含(但不限于)评估内容、评估字段、安全算法等等，形成参与方共同遵守的共享数据安全评估协议。
116.根据数据评估方与数据提供方双方协商的共享数据安全评估协议数据进行数据质量评估，包括(但不限于)通过安全多方计算协议进行两方隐私样本对齐。数据特征工程评估例如：计算数据提供方数据样本特征值的统计特性，以及每个特征值相对于标签(如使用方业务标签)的重要性系数，所述重要性系数例如：证据权重(weight of evidence，woe)、信息价值(information value，iv)值等。
117.数据协同网络的数据相对价值评估模块根据以上信息综合评估数据提供方提供的数据相对于评估节点的数据相对价值,相对价值分值计算的公式不做限定，计算方式应满足：样本匹配度越高分值越高，提供的特征值越重要分值越高，提供的特征值越多分值越高等。
118.数据评估节点可以有多个，数据相对价值评估模块接收到超过预定阈值的相对价值评估结果后，根据所有评估节点的相对价值评估结果进行综合评定，得到数据的综合相对价值，并通知数据协同网络的数据管理模块进行排名并发布给整个数据协同网络。同时将数据评估方对于数据提供方提供数据的整体评估值以及各个字段明细价值发送给数据协同网络的可信数据溯源审计模块进行记录
119.该实施例采用评估方对于数据提供方数据的相对价值进行评估，避免了将数据价
值绝对化的倾向；综合多个评估方对于同一份数据进行综合评估避免单个评估方的不合理评分，能够最大程度保证评估数据质量的可信性。
120.作为一个可选实施例，所述获取数据提供方提供的待评估数据的训练价值，可以包括：
121.在数据建模发起方与所述数据提供方之间进行数据协同模型训练的过程中，计算数据提供方提供的待评估数据对所述模型训练的贡献度；根据所述贡献度计算所述待评估数据对于模型训练的训练价值。
122.该实施例中，数据协同网络的数据建模发起方发起建模任务，与所述数据提供方之间进行数据协同建模。其中，数据提供方可以为多个，即利用多个数据提供方提供的数据进行建模，在模型训练的过程中，数据评估方分别计算各个数据提供方对于模型训练的贡献度，基于贡献度分别计算各个数据评估方提供数据的训练价值。
123.可选地，在数据建模发起方与所述数据提供方之间进行数据协同模型训练的过程中，计算数据提供方提供的待评估数据对所述模型训练的贡献度之前，所述方法还包括：接收数据建模发起方发送的数据协同请求；根据所述数据协同请求，将允许共享的待评估数据发送至所述数据建模发起方；接收所述数据建模发起方选择所述待评估数据的通知消息；根据所述通知消息建立所述数据建模发起方与所述数据提供方的数据协同连接通道。
124.该实施例中，数据建模发起方向数据协同网络的数据管理模块(该数据管理模块为数据评估方的管理模块)发送数据共享与协同请求，数据管理模块将目前网络中允许共享给数据建模发起方的数据按照分值排名返回；数据建模方选择数据(可选择多个数据提供方的数据)并通知数据管理模块，数据管理模块协助数据建模发起方和数据提供方建立连接通道。
125.数据建模发起方和数据提供方就数据协同任务进行协商，协商内容可包括(但不限于)双方数据协作交互方式、安全加密算法、交互频次、交互终止条件、双方结算价格及策略等，经过协后就模型训练方式达成一致。数据建模发起方和各个数据提供方根据达成的协议开始数据协同建模(即模型训练)或者计算任务，在整个任务的交互过程中，根据每个协同任务的数据提供方有效参与的更新周期，综合(包括但不限于累计)计算每个数据提供方对协同任务效能变化的贡献度(即模型动态训练价值)。同时将数据提供方的贡献度反馈给数据管理模块，数据管理模块根据本次协同任务数据的贡献度对各个数据提供方的数据综合价值进行二次修正，实现数据相对静态价值和动态训练价值的平衡。
126.该实施例在模型训练过程中基于数据贡献度的方式对于数据的价值进行评估，避免了将数据价值静态化的倾向，能够保证数据评估结果的可靠性。
127.作为一个可选实施例，所述获取数据提供方提供的待评估数据的应用价值，可以包括：
128.在模型预测过程中，根据模型的调用次数以及每次调用中所述数据提供方的数据协同计算次数，计算所述数据提供方提供的待评估数据的应用价值。
129.该实施例中，模型协同任务结束后，模型按照秘密分享方式部署在数据协同网络，该数据协同网络为可信计算网络，即对数据应用价值的评估采用隐私保护的方式。在模型预测应用阶段，可以根据模型的调用次数以及在每次调用中各个数据提供方的数据协同计算次数进行综合评定得到各个数据提供方的数据应用价值，同时将数据提供方的贡献度反
馈给数据管理模块，数据管理模块根据本次模型应用数据价值对各个数据提供方的数据综合价值进行再次修正，实现数据的模型训练价值和模型应用价值的平衡。
130.该实施例采用隐私保护的方式进行数据提供方相对于数据应用方价值的评估，避免评估过程中数据提供方数据隐私的泄露。在获取数据应用价值后，可以对数据的相对价值、训练价值以及应用价值进行综合计算，进而确定数据提供方提供数据的综合价值，采用数据多维度价值定量评估方式，在数据评估的过程中不需要引入第三方，同时采用安全多方计算协议在数据评估中保护了数据提供方的数据隐私。
131.可选地，根据所述相对价值、所述训练价值以及所述应用价值，确定所述待评估数据的综合价值，可以包括：
132.分别确定所述相对价值、所述训练价值以及所述应用价值的权重；根据所述权重，对所述相对价值、所述训练价值以及所述应用价值进行加权求和处理，获得所述待评估数据的综合价值。
133.该实施例中，可以根据数据评估中对于待评估数据在不同方面的要求，分别确定所述相对价值、所述训练价值以及所述应用价值所占的权重，利用加权求和的方式计算所述待评估数据的综合价值。例如：在此次数据价值评估过程中，要求提供方提供的数据满足较高的模型训练需求，则可以设置较大的训练价值权重；对于数据在应用阶段的要求较低，则可以设置较小的应用价值权重，进而根据各个数据价值的权重计算数据提供方提供数据的综合价值。
134.可选地，在根据所述相对价值、所述训练价值以及所述应用价值，确定所述待评估数据的综合价值之后，所述方法还包括：根据所述待评估数据的综合价值，计算所述数据提供方在数据协同任务中的激励；将所述激励发送至所述数据提供方。
135.在根据数据评估阶段得到的相对价值、模型训练阶段得到的动态训练价值以及模型预测应用阶段得到的应用价值综合计算得到最终的数据价值后，可以利用价值激励模块按照达成的协议计算各个数据提供方在此次协同任务中的激励，并由协同建模发起方向各个数据提供方支付和结算。
136.可选地，在获取数据提供方提供的待评估数据的相对价值、训练价值以及应用价值之后，所述方法还包括：将所述待评估数据的相对价值、训练价值以及应用价值发送至可信数据溯源审计模块，由所述可信数据溯源审计模块进行记录。
137.可信数据溯源审计模块记录数据评估、训练以及预测应用阶段每个交互更新周期内有效参与方、各方交互的数据信息情况、数据协同任务效能评估情况以及最终的模型数据调用情况，可以用于后期的审计，保证数据真实性。
138.下面通过具体实施例说明参与联邦学习的每个节点通过联盟链的方式组成的数据协同网络，其中，每一个数据提供方和每一个模型拥有方均作为数据协同网络的一个独立的节点，每个节点的功能架构如图3所示。
139.其中，接口层对应本地节点，代理层对应代理节点，接口层和企业实体内部平台层通过内网防火墙进行隔离，接口层(即数据提供方)和代理层(即数据评估方)通过外网防火墙进行隔离。中台层，包括业务中台和数据中台，业务中台包括：用户中心、娱乐中心、计费中心、通信开放等多个模块；数据中台包括：资产目录、数据算法、ai模型、数据查询等多个模块。
140.接口层包括：联邦学习共享数据管理模块和联邦学习共享数据发布模块。联邦学习共享数据管理模块：根据统一的格式和字段维度，从本地中台提取数据并对数据进行发布前的准备工作，包括对于总体情况进行描述、评估、更新和维护，数据总体情况包括但不限于：数据总体介绍、应用领域、数据标签、数据总量规模、数据完整度、数据获取方式及采样方法、数据时效性、数据基本统计特性、关键字段定义等。
141.联邦学习共享数据发布模块：按照协议要求按照特定格式向数据协同网络发布信令消息，该信令消息包含数据信息以及相应的鉴权信息：其中数据信息可包含(但不限于)数据标签、总体介绍、应用领域、字段定义、样例数据、crc信息等；但不包括数据的任何真实信息以及任意字段的统计信息(如：数据量、方差、平均值等等)；其中鉴权信息控制允许哪些节点以何种形式访问哪些数据，可包含(但不限于)允许访问该信息的用户列表或者用户级别，安全多方计算的交互协议以及允许访问字段等。
142.代理层包括：多方协同计算数据管理模块、数据相对价值评估模块、可信数据溯源审计模块、数据模型训练价值评估模块、数据应用价值及激励模块，其中：
143.数据相对价值评估模块：
144.根据数据提供方提供的数据相对于数据评估方的价值进行判断，其中可包含评估方法库、评估计算等子功能模块；
145.评估方法库子模块可以用于定义对不同类型数据和信息的评估、比较、计算等的方法或计算公式；评估计算子模块可以用于对不同维度评估情况的具体的量化(包括但不限于主观评分或客观计算)，以及对多维度评估结果的综合汇总(比如：加权求和)。
146.多方协同计算数据管理模块：
147.用于协同任务的受理、发起、数据提供方匹配筛选、协同协议达成和维护等；其中可包含(但不限于)的子模块有：协同任务管理、数据提供方管理、协议管理等。
148.其中，协同任务管理子模块用于接收协同任务请求、下发和接收协同任务摘要(co-task profile)，其中可包含(但不限于)应用领域、数据总量、统计特性、关键字段、协同任务生命周期管理等；
149.数据提供方管理子模块用于向数据提供方发送数据协同请求，接收各数据拥有方反馈的协同任务匹配程度数据及参与意愿，综合选定参与方，记录参与方参与协同任务的过程数据并进行参与方的生命周期管理；
150.协议管理子模块用于生成和管理协同任务发起方与各数据提供方就协同任务协商达成的协议方案，协商内容可包含(但不限于)双方数据协作交互方式、安全加密机制、交互频次、交互终止/中止条件、双方结算价格及策略等，形成参与方共同遵守的数据共享与协同的协议；该子模块负责协议的生成、维护管理和生命周期管理，并可生成典型协议库。
151.数据模型训练价值评估模块：
152.用于在模型训练过程中动态的跟踪并评估各方参与下的协同任务执行过程中，各个参与方(可包括数据提供方、协同任务发起方)为协同任务效能带来变化和贡献度的估算，并将估算情况反馈至多方协同计算数据管理模块，然后在结合其他两个阶段得到的数据价值得到综合数据价值。
153.数据应用价值及激励模块：
154.依据数据相对价值、模型训练过程的动态贡献度价值，以及数据模型应用价值得
到的综合数据价值，结合协同任务参与方参与过程记录和生命周期等数据，参考发起方与各参与方达成的协议内容，进行激励的分发和相关数据记录的收集和管理；可包含(但不限于)价值数据汇聚、激励生成与执行、支付结算、数据管理等子模块。
155.可信数据溯源审计模块：
156.采用联盟链的方式构建可信数据存储网络，对于在数据的评估阶段的数据相对价值，在模型的训练阶段对于动态贡献度价值以及在模型的应用阶段的长期应用价值中均实现关键信息的上链保存，用于后期的审计，保证数据真实性。
157.本发明的实施例，基于数据评估阶段的数据相对价值、模型训练阶段中数据对于模型训练的动态贡献度价值以及模型应用阶段中数据的应用价值的数据，进行多维度价值定量评估，避免了将数据价值绝对化、静态化，使得数据价值评估结果更准确。此外，在数据评估的过程中不需要引入第三方，保护了数据提供方的数据隐私。
158.此外，采用评估方对于数据提供方数据的相对价值进行评估，避免了将数据价值绝对化的倾向；综合多个评估方对于同一份数据进行综合评估，避免单个评估方的不合理评分；采用隐私保护的方式进行数据提供方相对于数据应用方价值的评估，避免评估过程中数据提供方数据隐私的泄露；在模型训练过程中基于数据贡献度的方式对于数据的价值进行评估，避免了将数据价值静态化的倾向，进一步保证了数据价值评估的评估结果更准确。
159.如图4所示，本发明的实施例提供一种数据综合价值的评估装置400，包括：
160.第一获取模块410，用于在联邦学习过程中，获取数据提供方提供的待评估数据的相对价值、训练价值以及应用价值；
161.价值评估模块420、根据所述相对价值、所述训练价值以及所述应用价值，确定所述待评估数据的综合价值。
162.可选地，所述第一获取模块410，包括：
163.数据相对价值评估模块，用于在所述联邦学习的数据评估过程中，获取所述待评估数据相对于数据评估节点的相对价值；
164.数据模型训练价值评估模块，用于在所述联邦学习的模型训练过程中，获取所述待评估数据对于模型训练的训练价值；
165.数据应用价值评估模块，用于在所述联邦学习的模型预测过程中，获取所述待评估数据的应用价值。
166.可选地，所述装置还包括：
167.检索模块，用于进行数据检索，获取所述数据提供方提供的待评估数据；
168.所述价值评估模块用于：对所述待评估数据进行数据评估；
169.训练模块，用于在所述待评估数据的评估结果满足预定条件的情况下，利用所述待评估数据进行数据协同模型训练，获得模型；
170.模型预测模块，用于调用所述模型进行模型预测。
171.可选地，所述数据相对价值评估模块具体用于：
172.在数据评估过程中，对所述待评估数据进行数据质量评估，获取所述待评估数据相对于数据评估节点的相对价值评估结果；
173.根据所有数据评估方对于所述待评估数据的相对价值评估结果，计算所述待评估
数据的综合相对价值。
174.可选地，所述装置还包括：
175.数据协商模块，用于与所述数据提供方进行数据评估协商；所述数据评估协商的内容包括：评估内容、评估字段以及安全算法中的至少一项；
176.第二获取模块，用于根据所述数据评估协商的结果获得共享数据安全评估协议；
177.所述数据相对价值评估模块具体用于：
178.根据所述共享数据安全评估协议，对所述待评估数据进行数据质量评估，获取所述待评估数据相对于数据评估节点的相对价值评估结果。
179.可选地，所述数据模型训练价值评估模块具体用于：
180.在数据建模发起方与所述数据提供方之间进行数据协同模型训练的过程中，计算数据提供方提供的待评估数据对所述模型训练的贡献度；
181.根据所述贡献度计算所述待评估数据对于模型训练的训练价值。
182.可选地，所述装置还包括：多方协同计算管理模块，具体用于：
183.接收数据建模发起方发送的数据协同请求；
184.根据所述数据协同请求，将允许共享的待评估数据发送至所述数据建模发起方；
185.接收所述数据建模发起方选择所述待评估数据的通知消息；
186.根据所述通知消息建立所述数据建模发起方与所述数据提供方的数据协同连接通道。
187.可选地，所述数据应用价值评估模块具体用于：
188.在模型预测过程中，根据模型的调用次数以及每次调用中所述数据提供方的数据协同计算次数，计算所述数据提供方提供的待评估数据的应用价值。
189.可选地，所述价值评估模块包括：
190.确定单元，用于分别确定所述相对价值、所述训练价值以及所述应用价值的权重；
191.综合价值评估单元，用于根据所述权重，对所述相对价值、所述训练价值以及所述应用价值进行加权求和处理，获得所述待评估数据的综合价值。
192.可选地，所述装置还包括：
193.激励模块，用于根据所述待评估数据的综合价值，计算所述数据提供方在数据协同任务中的激励；
194.将所述激励发送至所述数据提供方。
195.可选地，所述装置还包括：
196.第一发送模块，用于将所述待评估数据的相对价值、训练价值以及应用价值发送至可信数据溯源审计模块，由所述可信数据溯源审计模块进行记录。
197.需要说明的是，本发明实施例提供的数据综合价值的评估装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
198.如图5所示，本发明实施例的一种电子设备500，包括处理器510和收发器520，其中，
199.所述处理器510用于：在联邦学习过程中，获取数据提供方提供的待评估数据的相对价值、训练价值以及应用价值；
200.根据所述相对价值、所述训练价值以及所述应用价值，确定所述待评估数据的综合价值。
201.可选地，所述处理器510在联邦学习过程中，获取数据提供方提供的待评估数据的相对价值、训练价值以及应用价值，包括：
202.在所述联邦学习的数据评估过程中，获取所述待评估数据相对于数据评估节点的相对价值；
203.在所述联邦学习的模型训练过程中，获取所述待评估数据对于模型训练的训练价值；
204.在所述联邦学习的模型预测过程中，获取所述待评估数据的应用价值。
205.可选地，所述处理器510在联邦学习过程中执行以下步骤：
206.进行数据检索，获取所述数据提供方提供的待评估数据；
207.对所述待评估数据进行数据评估；
208.在所述待评估数据的评估结果满足预定条件的情况下，利用所述待评估数据进行数据协同模型训练，获得模型；
209.调用所述模型进行模型预测。
210.可选地，所述处理器510获取数据提供方提供的待评估数据的相对价值，包括：
211.在数据评估过程中，对所述待评估数据进行数据质量评估，获取所述待评估数据相对于数据评估节点的相对价值评估结果；
212.根据所有数据评估方对于所述待评估数据的相对价值评估结果，计算所述待评估数据的综合相对价值。
213.可选地，所述对所述待评估数据进行数据质量评估之前，所述处理器510还用于：
214.与所述数据提供方进行数据评估协商；所述数据评估协商的内容包括：评估内容、评估字段以及安全算法中的至少一项；
215.根据所述数据评估协商的结果获得共享数据安全评估协议；
216.所述处理器还用于：根据所述共享数据安全评估协议，对所述待评估数据进行数据质量评估，获取所述待评估数据相对于数据评估节点的相对价值评估结果。
217.可选地，所述处理器510获取数据提供方提供的待评估数据的训练价值，包括：
218.在数据建模发起方与所述数据提供方之间进行数据协同模型训练的过程中，计算数据提供方提供的待评估数据对所述模型训练的贡献度；
219.根据所述贡献度计算所述待评估数据对于模型训练的训练价值。
220.可选地，在数据建模发起方与所述数据提供方之间进行数据协同模型训练的过程中，计算数据提供方提供的待评估数据对所述模型训练的贡献度之前，所述收发器520用于：
221.接收数据建模发起方发送的数据协同请求；
222.根据所述数据协同请求，将允许共享的待评估数据发送至所述数据建模发起方；
223.接收所述数据建模发起方选择所述待评估数据的通知消息；
224.所述处理器510用于：根据所述通知消息建立所述数据建模发起方与所述数据提供方的数据协同连接通道。
225.可选地，所述处理器510获取数据提供方提供的待评估数据的应用价值，包括：
226.在模型预测过程中，根据模型的调用次数以及每次调用中所述数据提供方的数据协同计算次数，计算所述数据提供方提供的待评估数据的应用价值。
227.可选地，所述处理器根据所述相对价值、所述训练价值以及所述应用价值，确定所述待评估数据的综合价值，具体包括：
228.分别确定所述相对价值、所述训练价值以及所述应用价值的权重；
229.根据所述权重，对所述相对价值、所述训练价值以及所述应用价值进行加权求和处理，获得所述待评估数据的综合价值。
230.可选地，在处理器510还用于：根据所述待评估数据的综合价值，计算所述数据提供方在数据协同任务中的激励；
231.所述收发器用于：将所述激励发送至所述数据提供方。
232.可选地，所述收发器520还用于：将所述待评估数据的相对价值、训练价值以及应用价值发送至可信数据溯源审计模块，由所述可信数据溯源审计模块进行记录。
233.需要说明的是，本发明实施例提供的电子设备，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
234.本发明另一实施例的一种电子设备，如图6所示，包括收发器610、处理器600、存储器620及存储在所述存储器620上并可在所述处理器600上运行的程序或指令；所述处理器600执行所述程序或指令时实现上述数据综合价值的评估方法。
235.所述收发器610，用于在处理器600的控制下接收和发送数据。
236.其中，在图6中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器600代表的一个或多个处理器和存储器620代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发器610可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。处理器600负责管理总线架构和通常的处理，存储器620可以存储处理器600在执行操作时所使用的数据。
237.本发明实施例的一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上所述的数据综合价值的评估方法中的步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
238.其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等。
239.进一步需要说明的是，此说明书中所描述的电子设备包括但不限于智能手机、平板电脑等，且所描述的许多功能部件都被称为模块，以便更加特别地强调其实现方式的独立性。
240.本发明实施例中，模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位里上的不同的指令，当这些指令逻辑上结合在一起
时，其构成模块并且实现该模块的规定目的。
241.实际上，可执行代码模块可以是单条指令或者是许多条指令，并且甚至可以分布在多个不同的代码段上，分布在不同程序当中，以及跨越多个存储器设备分布。同样地，操作数据可以在模块内被识别，并且可以依照任何适当的形式实现并且被组织在任何适当类型的数据结构内。所述操作数据可以作为单个数据集被收集，或者可以分布在不同位置上(包括在不同存储设备上)，并且至少部分地可以仅作为电子信号存在于系统或网络上。
242.在模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(vlsi)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。
243.上述范例性实施例是参考该些附图来描述的，许多不同的形式和实施例是可行而不偏离本发明精神及教示，因此，本发明不应被建构成为在此所提出范例性实施例的限制。更确切地说，这些范例性实施例被提供以使得本发明会是完善又完整，且会将本发明范围传达给那些熟知此项技术的人士。在该些图式中，组件尺寸及相对尺寸也许基于清晰起见而被夸大。在此所使用的术语只是基于描述特定范例性实施例目的，并无意成为限制用。如在此所使用地，除非该内文清楚地另有所指，否则该单数形式“一”、“一个”和“该”是意欲将该些多个形式也纳入。会进一步了解到该些术语“包含”及/或“包括”在使用于本说明书时，表示所述特征、整数、步骤、操作、构件及/或组件的存在，但不排除一或更多其它特征、整数、步骤、操作、构件、组件及/或其族群的存在或增加。除非另有所示，陈述时，一值范围包含该范围的上下限及其间的任何子范围。
244.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。