基于ARM架构芯片的非监督联合建模方法与流程

本发明涉及计算机技术领域，更具体地，涉及一种基于arm架构芯片的非监督联合建模方法。

背景技术：

目前，各行业积累的大量数据需要多方数据联合做风控、营销以便更好地挖掘数据的价值。

现有技术中实现多方数据联合的方式通常包括：1)将各参与方数据汇总在一起，然后进行模型训练并共同应用该模型；2)将各参与方数据共同存放在第三方；3)各参与方通过定制的数据流通平台实现数据共享，各参与方之间互相约定接口，通过接口调用对应的数据。

但是，无论是哪种方式，均会存在数据泄漏的风险或建模过程无法验证审计，极有可能会给各参与方造成重大损失，同时也可能因此降低各参与方之间的信任度。而且，现有数据建模方法的定制成本高，流程繁琐，透明度不够。

技术实现要素：

为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的用于基于arm架构芯片的非监督联合建模方法。

根据本发明实施例的第一方面，提供一种基于arm架构芯片的非监督联合建模方法，该方法包括：基于arm架构芯片的可信执行环境、分布式非监督类机器学习框架以及隐私计算互联系统，其中，所述基于arm架构芯片的可信执行环境包括若干基于arm架构芯片的服务器，其中一个基于arm架构芯片的服务器作为服务方，其它基于arm架构芯片的服务器作为计算方；

实现多计算方本地进行基于局部数据的非监督模型训练，同时与参数服务方进行交互，实现多方本地模型安全聚合，构建全局模型；

服务方与各计算方通过基于mpc、可信执行环境、加密连接方式构建的隐私计算互联系统进行数据传输与模型参数聚合，保证相关数据的隐私性。

优选地，还包括：

所述基于arm架构芯片的可信执行环境为多方非监督学习联合建模算法提供安全可信的底层执行环境，从而保障在该环境中运行的程序逻辑不可篡改，数据隐私无泄漏，同时在多方非监督学习联合建模算法后进行相关数据、算法一致性度量验证；

所述分布式非监督类机器学习框架用于联合建模各方基于本方数据进行局部非监督类机器学习，并根据各方拘束非监督类机器学习获得的局部结果进行可信汇总，从而产生最终的全局有效的联合建模结果模型；

其中，所述隐私计算互联系统用于使所述多方非监督学习联合建模算法多方之间的模型参数可信传输与核心汇聚。

优选地，所述基于arm架构芯片的可信执行环境还用于：

记录、存储、自动化核对检验算法、数据哈希度量值检验，若接收到所述数据提供方反馈计算数据信息与对应确认信息一致，则将发起实际非监督学习联合建模任务。

优选地，所述分布式非监督类机器学习框架整体依托云原生容器技术进行生命周期管理，实现多类型非监督类机器学习算法的统一抽象和统一管理，并且联动基于arm架构芯片的可信执行环境进行运行时联合建模任务涉及的算法、数据实时校验及隐私性保护。

优选地，所述分布式非监督类机器学习框架基于可信执行环境进行模型参与、算法参数汇聚及计算，并基于可信执行环境端到端构建的安全传输层协议进行通信。

优选地，所述隐私计算互联系统基于安全可信的密钥存储、完整性报告和基础的密码运算功能实现核心模型参数、数据的互联互通，融合计算。

优选地，所述隐私计算互联系统根据同态加密或基于可信隔离域通信，进行模型参数或共享计算数据的加密传输与融合。

优选地，所述arm架构计算芯片至少基于一种具备tee标准的自主创新国产化芯片进行构建。

根据本发明实施例的第二方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的基于arm架构芯片的非监督联合建模方法。

根据本发明实施例的第三方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的基于arm架构芯片的非监督联合建模方法。

本发明实施例提供的一种基于arm架构芯片的非监督联合建模方法，解决了现有多方非监督学习联合建模方法数据、算法不可度量、可信度低、各方模型数据隐私泄露问题，通过基于自主创新arm架构计算芯片trustzone可信执行环境解决了现有系统运行数据及算法的可度量性以及计算、数据隐私性，通过分布式非监督类机器学习框架，实现多方数据的非监督类机器学习建模流程的统一管理与执行，通过隐私数据互联模块实现多方局部模型参数数据的可信、安全传输与汇聚计算。从而打造隐私、安全、可信、灵活部署的多方非监督学习联合建模方法，确保数据可用不可见、数据算法可信度量和多方联合非监督类学习建模。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本发明实施例提供的一种基于arm架构芯片的非监督联合建模方法的流程图；

图2为本发明实施例中提供的一种基于arm架构芯片的多方非监督学习联合建模方法的结构示意图；

图3为本发明实施例提供了一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或彼此可通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

图1为本发明实施例提供的一种基于arm架构芯片的非监督联合建模方法的流程图，如图1所示，该方法包括：基于arm架构芯片的可信执行环境、分布式非监督类机器学习框架以及隐私计算互联系统，其中，所述基于arm架构芯片的可信执行环境包括若干基于arm架构芯片的服务器，其中一个基于arm架构芯片的服务器作为服务方，其它基于arm架构芯片的服务器作为计算方；

s101，实现多计算方本地进行基于局部数据的非监督模型训练，同时与参数服务方进行交互，实现多方本地模型安全聚合，构建全局模型；

s102，服务方与各计算方通过基于mpc、可信执行环境、加密连接方式构建的隐私计算互联系统进行数据传输与模型参数聚合，保证相关数据的隐私性。

图2为本发明实施例中提供的一种基于arm架构芯片的多方非监督学习联合建模方法的结构示意图，如图2所示，该自主创新arm架构计算芯片的多方非监督学习联合建模方法包括：

方法涉及的各个节点均基于自主创新arm架构计算芯片的服务器进行部署。整体由图2上方1个非监督模型参数服务方及图2下方n个计算方(图示为3个)组成。

各节点基于arm架构芯片实现trustzone可信执行环境安全世界，该模块通过trustzone技术构建安全世界区域，该区域通过cpu、内存、总线特定标志位实现与普通操作系统的区分，实现运行逻辑与数据的隔离。

非监督模型参数服务器与n方非监督模型训练容器统一构成分布式非监督类机器学习框架。实现多方本地进行基于局部数据的非监督模型训练，同时与参数服务器进行交互，实现多方本地模型安全聚合，构建全局模型。

方法涉及的各方通过基于mpc、可信执行环境或加密连接等方式构建的隐私计算互联系统进行数据传输与模型参数聚合，保证相关数据的隐私型。

具体地，本发明实施例中提供的自主创新arm架构计算芯片的多方非监督学习联合建模方法，是一种基于国产自主创新arm架构硬件设备之上的多方非监督学习联合建模方法，用以实现多方之间可信、隐私保护的非监督类学习联合建模。

在上述实施例的基础上，优选地，还包括：

所述基于arm架构芯片的可信执行环境为多方非监督学习联合建模算法提供安全可信的底层执行环境，从而保障在该环境中运行的程序逻辑不可篡改，数据隐私无泄漏，同时在多方非监督学习联合建模算法后进行相关数据、算法一致性度量验证；

所述分布式非监督类机器学习框架用于联合建模各方基于本方数据进行局部非监督类机器学习，并根据各方拘束非监督类机器学习获得的局部结果进行可信汇总，从而产生最终的全局有效的联合建模结果模型；

其中，所述隐私计算互联系统用于使所述多方非监督学习联合建模算法多方之间的模型参数可信传输与核心汇聚。

整个方法之中包含一个模型参数服务方，n个联合建模参与方。依据本发明方法进行一次多方非监督学习联合建模，首先模型参数服务方根据具体的非监督学习算法初始化全局模型参数，同时该节点基于自主创新arm架构计算芯片的trustzone可信执行环境对模型参数服务方算法进行一致性度量校验，以便确保该模块的可信性。

各个计算参与方在各自的自主创新arm架构计算芯片服务器上初始化非监督学习联合建模训练容器，同时这些节点基于自主创新arm架构计算芯片的trustzone可信执行环境对非监督学习联合建模训练容器进行一致性度量校验，以便确保该模块的可信性，同时保证在可信执行环境隔离的安全世界中的算法、数据隐私性不对普通操作系统可见。

各方非监督学习联合建模训练容器通过隐私数据互联系统从模型参数服务方获取初始化模型参数，同时使用各方自己的本地数据进行模型的非监督学习训练，同时也对己方训练数据进行一致性校验。在完成己方本地模型训练后，各方通过隐私数据互联系统上传己方模型参数或模型迭代参数到模型参数服务方。

模型参数服务方经过多轮迭代获取来自各个参与方的局部模型参数，通过运算获得全局模型参数并向模型需求方输出全局模型，完成一次完整的多方非监督学习联合建模训练。

本发明实施例中提供的自主创新arm架构计算芯片的多方非监督学习联合建模方法，通过基于国产自主创新arm架构计算芯片下的满足国际tee标准的安全机制保障现有系统的数据、算法信息可信度低的问题，通过隐私计算技术解决了现有系统运行数据计算、传输过程中数据会泄漏的问题。通过将多方非监督学习联合加墨与隐私计算系统相结合，可以打造隐私、安全、可信、灵活部署的多方非监督学习方法，确保数据可用不可见。

在上述实施例的基础上，本发明实施例中提供的自主创新arm架构计算芯片的多方非监督学习联合建模方法，所述模型参数服务器及模型训练容器基于容器技术托管构建。

具体地，上述模块系统可以通过软件进行一键式安装，其可以基于kubernetes(k8s)和docker等容器技术构建。

此外，本发明实施例中，可以基于标准化容器接口接入层，对上层业务系统解除了底层容器云的依赖。

在上述实施例的基础上，本发明实施例中提供的多方数据流通系统，所述隐私计算系统基于可信执行环境(trustedexecutionenvironment，tee)、安全多方计算(securemulti-partycomputation，mpc)以及联邦学习这三种隐私计算框架中的至少一种构建。基于mpc、tee、联邦学习等技术保障，可以实现数据可用不可见。

在上述实施例的基础上，本发明实施例中提供的自主创新arm架构计算芯片的多方非监督学习联合建模方法，所述隐私数据互联系统基于可信执行环境端到端构建的安全传输层协议进行通信。

具体地，隐私数据互联系统可以将数据流通分为域内流通及跨域流通，通过防火墙等手段可以保证数据在域内安全、加密存储，通过基于tee端到端构建的tls通信可以保证数据在跨域流通中传输一次加密一次并支持多协议层多重加密或通过mpc同态加密方式进行相关参数传输及处理。

本发明实施例中，通过tee、加密通信、分布式密钥等技术保障数据安全，可以端到端的规避多方用户数据流通共建模型造成数据泄漏的问题。

在上述实施例的基础上，本发明实施例中提供的自主创新arm架构计算芯片的多方非监督学习联合建模方法，所述trustzone可信执行环境还用于：进行数据一致性证明以及算法一致性证明。

具体地，基于国产自主创新arm架构芯片安全机制实现计算数据一致性证明，通过模块与算法提供方之间的交互可以实现算法一致性验证以及机密计算环境验证。

综上所述，本发明实施例中提供的自主创新arm架构计算芯片的，基于自主创新arm架构计算芯片开发trustzone可信执行环境机制保障数据计算过程可信。且充分的发挥云计算技术的特性，支持快速部署(公有云和私有云都支持)、支持监控能力、弹性伸缩、跨域组网等能力，构建了一个符合规范要求的基础上，又能满足多方数据共同非监督类联合建模的方法。

图3为本发明实施例提供了一种电子设备的结构示意图，如图3所示，该设备包括：处理器(processor)301、通信接口(communicationsinterface)302、和存储器(memory)303，其中，处理器301、通信接口302、存储器303通过安全网络连接的方式完成相互间的通信。处理器301可以调用存储器303上并可在处理器301上运行的计算机程序，以执行上述各实施例提供的基于arm架构芯片的非监督联合建模方法，例如包括：

基于arm架构芯片的可信执行环境、分布式非监督类机器学习框架以及隐私计算互联系统，其中，所述基于arm架构芯片的可信执行环境包括若干基于arm架构芯片的服务器，其中一个基于arm架构芯片的服务器作为服务方，其它基于arm架构芯片的服务器作为计算方；

实现多计算方本地进行基于局部数据的非监督模型训练，同时与参数服务方进行交互，实现多方本地模型安全聚合，构建全局模型；

服务方与各计算方通过基于mpc、可信执行环境、加密连接方式构建的隐私计算互联系统进行数据传输与模型参数聚合，保证相关数据的隐私性。

此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

本发明实施例还提供一种非暂态计算机可读存储介质，基于arm架构芯片的可信度量管理器，其上存储有计算程序哈希值，该计算机程序被处理器执行时实现以执行上述各实施例提供的用于基于arm架构芯片的非监督联合建模方法，例如包括：

基于arm架构芯片的可信执行环境、分布式非监督类机器学习框架以及隐私计算互联系统，其中，所述基于arm架构芯片的可信执行环境包括若干基于arm架构芯片的服务器，其中一个基于arm架构芯片的服务器作为服务方，其它基于arm架构芯片的服务器作为计算方；

实现多计算方本地进行基于局部数据的非监督模型训练，同时与参数服务方进行交互，实现多方本地模型安全聚合，构建全局模型；

服务方与各计算方通过基于mpc、可信执行环境、加密连接方式构建的隐私计算互联系统进行数据传输与模型参数聚合，保证相关数据的隐私性。以上所描述的电子设备等实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。