一种应用非公开数据的模型定制方法、系统及存储介质与流程

1.本技术涉及数据应用和机器学习技术领域，尤其涉及一种应用非公开数据的模型定制方法、系统及存储介质。


背景技术：

2.数据与土地、劳动力、资本、技术、并列作为重要的生产要素以来，数据交易和数据共享的概念受到社会各界的广泛关注。以数据作为生产要素，与土地、劳动力等传统要素不同，由于数据的隐私性和可复制性，其定价方式、开放方式和应用方式都有很强的特异性，而对于数据所有权的认定本身就是公认存在争议的问题，这更增加了数据开放和数据交易的难度。
3.随着人工智能技术的发展，计算机视觉、自然语言处理、语义分析、时间序列预测、智能评分等算法在各行各业都发挥着越来越重要的作用。与传统的分析方法不同，人工智能模型的构造需要使用大量历史数据进行训练，模型的效果与数据质量、数据质量都有很大的相关性。由于人工智能模型的应用范围越来越广，且训练模型对于数据依赖性很高，利用数据进行人工智能模型训练成为对数据要素进行应用的重要场景。
4.由于数据的可复制性，决定了在对数据要素进行应用时与其他要素有明显区别，如何在不泄露数据内容的前提下应用数据进行模型训练，进而对模型进行应用，发挥数据要素价值，成为当前数据交易、数据应用行业的重大问题。


技术实现要素：

5.本技术实施例提供了一种应用非公开数据的模型定制方法、系统及存储介质，用以解决如下技术问题：如何在不泄露数据内容的前提下为模型需求方提供定制模型。
6.第一方面，本技术实施例提供了一种应用非公开数据的模型定制方法，其特征在于，应用于模型定制系统，方法包括：模型需求方在模型定制系统发布模型需求任务；其中，模型需求任务描述了待需求模型的功能与待需求模型的输入输出属性；模型提供方在领取模型需求任务的情况下，基于待需求模型的功能，构建模型架构，并基于待需求模型的输入输出属性在模型定制系统发布待应用训练数据源需求；数据提供方基于待应用训练数据源需求提供对应的待应用训练数据源；模型提供方利用待应用训练数据源对模型架构进行训练，并将训练收敛的待需求模型返回给模型需求方。
7.在本技术的一种实现方式中，模型定制系统包括：模型集市模块、数据中心模块、训练靶场模块、前端交互界面；模型集市模块，用于模型需求方发布模型需求任务，用于模型提供方发布已有需求模型，以及用于模型提供方领取并递交模型需求任务；数据中心模块，用于存储数据提供方上传的训练数据源，以及用于将训练数据源的描述信息发送至前端交互界面展示；其中，描述信息至少包括：字段意义、字段属性、数据条数、数据空缺量、样例数据；训练靶场模块，用于接收模型提供方上传的模型架构与数据提供方上传的待应用训练数据源，以及用于基于待应用训练数据源将模型架构训练为收敛的待需求模型。
8.在本技术的一种实现方式中，模型需求方在模型定制系统发布模型需求任务之前，方法还包括：模型需求方基于模型需求，在模型集市模块中检索是否存在符合需求的已有需求模型；在确定模型集市模块中存在符合需求的已有需求模型的情况下，向对应的模型提供方发送应用请求。
9.在本技术的一种实现方式中，数据提供方基于待应用训练数据源需求提供对应的待应用训练数据源，具体包括：基于待应用训练数据源需求，在数据中心模块中确定对应的原始待应用训练数据源，对原始待应用训练数据源进行脱敏处理以确定对应的待应用训练数据源；将待应用训练数据源上传至训练靶场模块。
10.在本技术的一种实现方式中，在模型提供方发布已有需求模型之后，方法还包括：对已有需求模型添加模型属性信息，并将模型属性信息发送至前端交互界面进行展示；其中，模型属性信息包括：模型功能描述、模型应用场景、模型使用条件以及模型测试效果。
11.第二方面，本技术实施例还提供了一种应用非公开数据的模型定制系统，其特征在于，系统包括：模型需求方、模型提供方、数据提供方；模型需求方，用于在模型定制系统发布模型需求任务；其中，模型需求任务描述了待需求模型的功能与待需求模型的输入输出属性；模型提供方，用于在领取模型需求任务的情况下，基于待需求模型的功能，构建模型架构，并基于待需求模型的输入输出属性在模型定制系统发布待应用训练数据源需求；数据提供方，用于基于待应用训练数据源需求提供对应的待应用训练数据源；模型提供方，还用于利用待应用训练数据源对模型架构进行训练，并将训练收敛的待需求模型返回给模型需求方。
12.在本技术的一种实现方式中，模型定制系统还包括：模型集市模块、数据中心模块、训练靶场模块、前端交互界面；模型集市模块，用于模型需求方发布模型需求任务，用于模型提供方发布已有需求模型，以及用于模型提供方领取并递交模型需求任务；数据中心模块，用于存储数据提供方上传的训练数据源，以及用于将训练数据源的描述信息发送至前端交互界面展示；其中，描述信息至少包括：字段意义、字段属性、数据条数、数据空缺量、样例数据；训练靶场模块，用于接收模型提供方上传的模型架构与数据提供方上传的待应用训练数据源，以及用于基于待应用训练数据源将模型架构训练为收敛的待需求模型。
13.在本技术的一种实现方式中，模型需求方，还用于基于模型需求，在模型集市模块中检索是否存在符合需求的已有需求模型，并在确定模型集市模块中存在符合需求的已有需求模型的情况下，向对应的模型提供方发送应用请求；模型提供方，还用于对已有需求模型添加模型属性信息，并将模型属性信息发送至前端交互界面进行展示；其中，模型属性信息包括：模型功能描述、模型应用场景、模型使用条件以及模型测试效果。
14.在本技术的一种实现方式中，数据提供方基于待应用训练数据源需求提供对应的待应用训练数据源，具体包括：基于待应用训练数据源需求，在数据中心模块中确定对应的原始待应用训练数据源，对原始待应用训练数据源进行脱敏处理以确定对应的待应用训练数据源；将待应用训练数据源上传至训练靶场模块。
15.第三方面，本技术实施例还提供了一种应用非公开数据的模型定制的非易失性计算机存储介质，存储有计算机可执行的指令，其特征在于，计算机可执行指令设置为：模型需求方在模型定制系统发布模型需求任务；其中，模型需求任务描述了待需求模型的功能与待需求模型的输入输出属性；模型提供方在领取模型需求任务的情况下，基于待需求模
型的功能，构建模型架构，并基于待需求模型的输入输出属性在模型定制系统发布待应用训练数据源需求；数据提供方基于待应用训练数据源需求提供对应的待应用训练数据源；模型提供方利用待应用训练数据源对模型架构进行训练，并将训练收敛的待需求模型返回给模型需求方。
16.本技术实施例提供的一种应用非公开数据的模型定制方法、系统及存储介质，通过构造的模型集市，数据中心和训练靶场，将数据需求方、数据提供方、模型提供方三方的资源、需求和能力进行整合与对接，共同构造完整的模型构造、和数据应用流程，激活数据要素和技术要素的价值，实现需求和资源的良好对接，数据价值、技术价值的灵活变现。
附图说明
17.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
18.图1为本技术实施例提供的一种应用非公开数据的模型定制方法流程图；
19.图2为本技术实施例提供的一种应用非公开数据的模型定制系统结构示意图。
具体实施方式
20.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
21.由于数据的可复制性，决定了在对数据要素进行应用时与其他要素有明显区别，如何在不泄露数据内容的前提下应用数据进行模型训练，进而对模型进行应用，发挥数据要素价值，成为当前数据交易、数据应用行业的重大问题。
22.为了解决此问题，不同学科、不同领域的专家从不同角度提出了各种解决思路和解决方案。联邦学习、差分隐私等方法试图通过算法研发解决此类问题，但是对数据提供方有较强的技术要求，需要多方共同参与进行数据训练；同态加密、安全多方计算试图通过加密算法解决此类问题，但是目前可用范围较小，受算法和算力限制；安全屋、模型靶场等方法试图通过流程和系统解决此类问题，数据在安全环境内进行线下训练，不公开数据内容，只将训练好的模型进行发布，这是当前可用性较高的一种方式。本专利以模型靶场思路为核心，构造了一种联合数据拥有方、模型训练方、模型使用方三方共同使用的模型定制与应用方法，撮合三方互动，应用数据、技术生产要素进行人工智能模型的训练与应用，激活数据、技术生产要素的潜力，为生产活动提供动能。
23.本技术实施例提供了一种应用非公开数据的模型定制方法、系统及存储介质，用以解决如下技术问题：如何在不泄露数据内容的前提下为模型需求方提供定制模型。
24.下面通过附图对本技术实施例提出的技术方案进行详细的说明。
25.图1为本技术实施例提供的一种应用非公开数据的模型定制方法流程图。如图1所示，本技术实施例提供的一种应用非公开数据的模型定制方法，应用于模型定制系统，，具体包括以下步骤：
26.步骤101、模型需求方在模型定制系统发布模型需求任务。
27.在本技术的一个实施例中，模型需求任务描述了待需求模型的功能与待需求模型的输入输出属性。
28.步骤102、模型提供方在领取模型需求任务的情况下，基于待需求模型的功能，构建模型架构，并基于待需求模型的输入输出属性在模型定制系统发布待应用训练数据源需求。
29.步骤103、数据提供方基于待应用训练数据源需求提供对应的待应用训练数据源。
30.步骤104、模型提供方利用待应用训练数据源对模型架构进行训练，并将训练收敛的待需求模型返回给模型需求方。
31.在本技术的一个实施例中，模型定制系统包括：模型集市模块、数据中心模块、训练靶场模块、前端交互界面。
32.模型集市模块，用于模型需求方发布模型需求任务，用于模型提供方发布已有需求模型，以及用于模型提供方领取并递交模型需求任务；数据中心模块，用于存储数据提供方上传的训练数据源，以及用于将训练数据源的描述信息发送至前端交互界面展示；其中，描述信息至少包括：字段意义、字段属性、数据条数、数据空缺量、样例数据；训练靶场模块，用于接收模型提供方上传的模型架构与数据提供方上传的待应用训练数据源，以及用于基于待应用训练数据源将模型架构训练为收敛的待需求模型。
33.在本技术的一个实施例中，模型需求方在模型定制系统发布模型需求任务之前，模型需求方还可以基于模型需求，在模型集市模块中检索是否存在符合需求的已有需求模型；在确定模型集市模块中存在符合需求的已有需求模型的情况下，向对应的模型提供方发送应用请求。
34.在本技术的一个实施例中，数据提供方基于待应用训练数据源需求提供对应的待应用训练数据源，具体包括：基于待应用训练数据源需求，在数据中心模块中确定对应的原始待应用训练数据源，对原始待应用训练数据源进行脱敏处理以确定对应的待应用训练数据源；将待应用训练数据源上传至训练靶场模块。
35.在本技术的一个实施例中，在模型提供方发布已有需求模型之后，还会对已有需求模型添加模型属性信息，并将模型属性信息发送至前端交互界面进行展示；其中，模型属性信息包括：模型功能描述、模型应用场景、模型使用条件以及模型测试效果。
36.以上为本技术提出的方法实施例。基于同样的发明构思，本技术实施例还提供了一种应用非公开数据的模型定制系统，其结构如图2所示。
37.图2为本技术实施例提供的一种应用非公开数据的模型定制系统内部结构示意图。如图2所示，系统包括：模型需求方、模型提供方、数据提供方；模型需求方，用于在模型定制系统发布模型需求任务；其中，模型需求任务描述了待需求模型的功能与待需求模型的输入输出属性；模型提供方，用于在领取模型需求任务的情况下，基于待需求模型的功能，构建模型架构，并基于待需求模型的输入输出属性在模型定制系统发布待应用训练数据源需求；数据提供方，用于基于待应用训练数据源需求提供对应的待应用训练数据源；模型提供方，还用于利用待应用训练数据源对模型架构进行训练，并将训练收敛的待需求模型返回给模型需求方。
38.在本技术的一个实施例中，模型定制系统还包括：模型集市模块、数据中心模块、训练靶场模块、前端交互界面；模型集市模块，用于模型需求方发布模型需求任务，用于模
型提供方发布已有需求模型，以及用于模型提供方领取并递交模型需求任务；数据中心模块，用于存储数据提供方上传的训练数据源，以及用于将训练数据源的描述信息发送至前端交互界面展示；其中，描述信息至少包括：字段意义、字段属性、数据条数、数据空缺量、样例数据；训练靶场模块，用于接收模型提供方上传的模型架构与数据提供方上传的待应用训练数据源，以及用于基于待应用训练数据源将模型架构训练为收敛的待需求模型。
39.在本技术的一个实施例中，模型需求方，还用于基于模型需求，在模型集市模块中检索是否存在符合需求的已有需求模型，并在确定模型集市模块中存在符合需求的已有需求模型的情况下，向对应的模型提供方发送应用请求；模型提供方，还用于对已有需求模型添加模型属性信息，并将模型属性信息发送至前端交互界面进行展示；其中，模型属性信息包括：模型功能描述、模型应用场景、模型使用条件以及模型测试效果。
40.在本技术的一个实施例中，数据提供方基于待应用训练数据源需求提供对应的待应用训练数据源，具体包括：基于待应用训练数据源需求，在数据中心模块中确定对应的原始待应用训练数据源，对原始待应用训练数据源进行脱敏处理以确定对应的待应用训练数据源；将待应用训练数据源上传至训练靶场模块。
41.本技术的一些实施例提供的对应于图1的一种应用非公开数据的模型定制的非易失性计算机存储介质，存储有计算机可执行指令，计算机可执行指令设置为：
42.模型需求方在模型定制系统发布模型需求任务；其中，模型需求任务描述了待需求模型的功能与待需求模型的输入输出属性；模型提供方在领取模型需求任务的情况下，基于待需求模型的功能，构建模型架构，并基于待需求模型的输入输出属性在模型定制系统发布待应用训练数据源需求；数据提供方基于待应用训练数据源需求提供对应的待应用训练数据源；模型提供方利用待应用训练数据源对模型架构进行训练，并将训练收敛的待需求模型返回给模型需求方。
43.本技术中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于物联网设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
44.本技术实施例提供的系统和介质与方法是一一对应的，因此，系统和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述系统和介质的有益技术效果。
45.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
46.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
47.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
48.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
49.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
50.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
51.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
52.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
53.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。