一种数据处理方法及推理平台与流程

文档序号:18555150发布日期:2019-08-30 22:29阅读:255来源:国知局
一种数据处理方法及推理平台与流程

本发明涉及计算机领域,尤其涉及一种数据处理方法及推理平台。



背景技术:

随着计算机技术的快速发展,在全球信息化快速发展的大背景下,人工智能(artificialintelligence,ai)已成为国家重要的基础性战略资源,正引领新一轮科技创新。

目前,人工智能的水平建立在机器学习的基础上,除了先进的算法和硬件运算能力,大数据是机器学习的关键。大数据可以帮助训练机器,提高机器的智能水平。数据越丰富完整,机器辨识精准度越高,因此大数据将是各企业竞争的真正资本。

而目前人工智能使用的算法,由于多业务部门提出相似需求,但未中心化管理,导致一需多采,造成技术资源浪费。



技术实现要素:

本发明实施例提供了一种数据处理方法及推理平台,用于管理算法及对算法根据管理平台发送的操作请求,进行对应操作处理,即推理平台可以对保存的算法进行集中管理,提高了资源利用率。

有鉴于此,本发明第一方面提供了一种数据处理方法,可以包括:

推理平台接收管理平台发送的至少一种算法;

所述推理平台保存所述至少一种算法;

所述推理平台接收所述管理平台发送的对第一算法的操作请求,所述至少一种算法包括所述第一算法;

所述推理平台根据所述操作请求,进行对应操作,确定操作响应;

所述推理平台向所述管理平台发送所述操作响应,所述操作响应用于指示所述管理平台对所述第一算法的操作状态。

可选的,在本发明的一些实施例中,

所述推理平台接收所述管理平台发送的对第一算法的操作请求,包括:

所述推理平台接收所述管理平台发送的对第一算法的安装请求;

所述推理平台根据所述操作请求,进行对应操作,确定操作响应,包括:

所述推理平台根据所述安装请求,进行对应安装,确定安装响应;

所述推理平台向所述管理平台发送所述操作响应,包括:

所述推理平台向所述管理平台发送所述安装响应。

可选的,在本发明的一些实施例中,

所述推理平台接收所述管理平台发送的对第一算法的操作请求,包括:

所述推理平台接收所述管理平台发送的对第一算法的更新请求;

所述推理平台根据所述操作请求,进行对应操作,确定操作响应,包括:

所述推理平台根据所述更新请求,进行对应更新,确定更新响应;

所述推理平台向所述管理平台发送所述操作响应,包括:

所述推理平台向所述管理平台发送所述更新响应。

可选的,在本发明的一些实施例中,

所述推理平台接收所述管理平台发送的对第一算法的操作请求,包括:

所述推理平台接收所述管理平台发送的对第一算法的授权请求;

所述推理平台根据所述操作请求,进行对应操作,确定操作响应,包括:

所述推理平台根据所述授权请求,进行对应授权,确定授权响应;

所述推理平台向所述管理平台发送所述操作响应,包括:

所述推理平台向所述管理平台发送所述授权响应。

可选的,在本发明的一些实施例中,

所述推理平台接收所述管理平台发送的对第一算法的操作请求,包括:

所述推理平台接收所述管理平台发送的对第一算法的卸载请求;

所述推理平台根据所述操作请求,进行对应操作,确定操作响应,包括:

所述推理平台根据所述卸载请求,进行对应卸载,确定卸载响应;

所述推理平台向所述管理平台发送所述操作响应,包括:

所述推理平台向所述管理平台发送所述卸载响应。

可选的,在本发明的一些实施例中,所述方法还包括:

所述推理平台接收所述管理平台发送的第二算法;

所述推理平台保存所述第二算法。

可选的,在本发明的一些实施例中,所述方法还包括:

所述推理平台响应用户对所述第一算法的删除操作,生成删除请求;

所述推理平台根据所述删除请求,删除所述第一算法。

可选的,在本发明的一些实施例中,所述方法还包括:

所述推理平台响应用户对所述第一算法的修改请求,生成修改请求;

所述推理平台根据所述修改请求,修改所述第一算法;

所述推理平台保存修改后的第一算法。

可选的,在本发明的一些实施例中,所述方法还包括:

所述推理平台根据所述至少一种算法、预置的输入源、预置的配置参数,确定算法运行实例;

所述推理平台向电子设备发送所述算法运行实例,所述算法运行实例用于所述电子设备进行运行操作。

可选的,在本发明的一些实施例中,所述方法还包括:

所述推理平台统计第一算法的使用信息;

所述推理平台向所述管理平台发送所述使用信息,所述使用信息用于所述管理平台对所述第一算法进行相关处理。

本发明实施例第二方面提供一种推理平台,可以包括:

接收模块,用于接收管理平台发送的至少一种算法;接收所述管理平台发送的对第一算法的操作请求,所述至少一种算法包括所述第一算法;

处理模块,用于保存所述至少一种算法;根据所述操作请求,进行对应操作,确定操作响应;

发送模块,用于向所述管理平台发送所述操作响应,所述操作响应用于指示所述管理平台对所述第一算法的操作状态。

可选的,在本发明的一些实施例中,

所述接收模块,具体用于接收所述管理平台发送的对第一算法的安装请求;

所述处理模块,具体用于根据所述安装请求,进行对应安装,确定安装响应;

所述发送模块,具体用于向所述管理平台发送所述安装响应。

可选的,在本发明的一些实施例中,

所述接收模块,具体用于接收所述管理平台发送的对第一算法的更新请求;

所述处理模块,具体用于根据所述更新请求,进行对应更新,确定更新响应;

所述发送模块,具体用于向所述管理平台发送所述更新响应。

可选的,在本发明的一些实施例中,

所述接收模块,具体用于接收所述管理平台发送的对第一算法的授权请求;

所述处理模块,具体用于根据所述授权请求,进行对应授权,确定授权响应;

所述发送模块,具体用于向所述管理平台发送所述授权响应。

可选的,在本发明的一些实施例中,

所述接收模块,具体用于接收所述管理平台发送的对第一算法的卸载请求;

所述处理模块,具体用于根据所述卸载请求,进行对应卸载,确定卸载响应;

所述发送模块,具体用于向所述管理平台发送所述卸载响应。

可选的,在本发明的一些实施例中,

所述接收模块,还用于接收所述管理平台发送的第二算法;

所述处理模块,还用于保存所述第二算法。

可选的,在本发明的一些实施例中,

所述处理模块,还用于响应用户对所述第一算法的删除操作,生成删除请求;根据所述删除请求,删除所述第一算法。

可选的,在本发明的一些实施例中,

所述处理模块,还用于响应用户对所述第一算法的修改请求,生成修改请求;根据所述修改请求,修改所述第一算法;保存修改后的第一算法。

可选的,在本发明的一些实施例中,

所述处理模块,还用于根据所述第一算法、预置的输入源、预置的配置参数,确定第一算法运行实例;

所述发送模块,还用于向电子设备发送所述第一算法运行实例,所述算法运行实例用于所述电子设备进行运行操作。

可选的,在本发明的一些实施例中,

所述处理模块,还用于统计第一算法的使用信息;

所述发送模块,还用于向所述管理平台发送所述使用信息,所述使用信息用于所述管理平台对所述第一算法进行相关处理。

从以上技术方案可以看出,本发明实施例具有以下优点:

在本发明实施例中,推理平台接收管理平台发送的至少一种算法;所述推理平台保存所述至少一种算法;所述推理平台接收所述管理平台发送的对第一算法的操作请求,所述至少一种算法包括所述第一算法;所述推理平台根据所述操作请求,进行对应操作,确定操作响应;所述推理平台向所述管理平台发送所述操作响应,所述操作响应用于指示所述管理平台对所述第一算法的操作状态。可以保存管理算法及对算法根据管理平台发送的操作请求,进行对应操作处理,即推理平台可以对保存的算法进行集中管理,提高了资源利用率。

附图说明

为了更清楚地说明本发明实施例技术方案,下面将对实施例和现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,还可以根据这些附图获得其它的附图。

图1为本发明实施例所应用的系统架构图;

图2为本发明实施例中数据处理方法的一个实施例示意图;

图3为本发明实施例中推理平台的一个实施例示意图。

具体实施方式

本发明实施例提供了一种数据处理方法及推理平台,用于管理算法及对算法根据管理平台发送的操作请求,进行对应操作处理,即推理平台可以对保存的算法进行集中管理,提高了资源利用率。

为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,都应当属于本发明保护的范围。

如图1所示,为本发明实施例所应用的系统架构图。在图1所示中,可以包括:开发平台、管理平台、推理平台和数据平台。其中,开发平台也可以称为开发者平台、ai训练平台、ai实训平台;推理平台也可以称为算法部署系统、算法配置工具;管理平台也可以称为算法管理平台(含或不含数据管理平台)、算法管理后台。

其中,ai开发者平台是是面向ai开发者的一站式开发平台,大规模分布式训练、自动化模型生成,训练数据预览等功能,帮助用户快速创建模型。也可以与数据标注和模型发布平台结合,完成ai训练,发布,运维的全生命周期管理。

标准训练——共享资源

通过预置模型、框架等,选用平台或自定义数据集,进行简单的算法训练;仅供优化算法模型,不能进行多模型训练。通过标准训练的算法,均能实现基于平台标准的sdk。

标准训练——专属资源

提供标准镜像(为后续的算法授权、封装sdk、部署等创造条件),允许用户通过notebook进行算法训练,可以完成复杂算法的训练。

管理平台是整个系统的业务枢纽,包括基础资源管理和整体业务调度两大功能;基础资源管理,包括算力资源、数据集的管理;整体业务调度,包括开发者管理、需求发布、算法发布等业务。

推理平台主要用来进行算法实例部署和业务系统对接。

如图2所示,为本发明实施例中数据处理方法的一个实施例示意图,可以包括:

201、推理平台接收管理平台发送的至少一种算法。

在推理平台中,有算法仓库、推理资源、用户管理等几大功能模块;在算法仓库中,有算法、输入源、配置参数和算法运行实例功能模块;其中,算法、输入源和配置参数又可以决定算法运行实例。

示例性的,算法功能模块中,来源可以是算法商店、本地仓库等。可以进行算法的安装、更新、授权、卸载等操作。

输入源功能模块中,id为cinemaid,简称为cid。

配置参数功能模块中,可以包括输出地址、输入地址等参数。

推理资源功能模块中,可以包括k8s等。

用户管理功能模块中,可以是admin管理员、子管理员等。

202、所述推理平台保存所述至少一种算法。

推理平台保存至少一种算法,可以保存在推理平台的本地数据库中。示例性的,至少一种算法保存在算法仓库中。

203、所述推理平台接收所述管理平台发送的对第一算法的操作请求,所述至少一种算法包括所述第一算法。

示例性的,推理平台接收所述管理平台发送的对第一算法的操作请求,可以包括:

所述推理平台接收所述管理平台发送的对第一算法的安装请求;或者,

所述推理平台接收所述管理平台发送的对第一算法的更新请求;或者,

所述推理平台接收所述管理平台发送的对第一算法的授权请求;或者,

所述推理平台接收所述管理平台发送的对第一算法的卸载请求。

204、所述推理平台根据所述操作请求,进行对应操作,确定操作响应。

示例性的,所述推理平台根据所述操作请求,进行对应操作,确定操作响应,包括:

所述推理平台根据所述安装请求,进行对应安装,确定安装响应;或者,

所述推理平台根据所述更新请求,进行对应更新,确定更新响应;或者,

所述推理平台根据所述授权请求,进行对应授权,确定授权响应;或者,

所述推理平台根据所述卸载请求,进行对应卸载,确定卸载响应。

需要说明的是,当推理平台根据安装请求,安装成功的时候,那么安装响应即为成功安装响应,安装失败的时候,那么安装响应即为失败安装响应。当推理平台根据更新请求,更新成功的时候,那么更新响应即为成功更新响应,更新失败的时候,那么更新响应即为失败更新响应。当推理平台根据授权请求,授权成功的时候,那么授权响应即为成功授权响应,授权失败的时候,那么授权响应即为失败授权响应。当推理平台根据卸载请求,卸载成功的时候,那么卸载响应即为成功卸载响应,卸载失败的时候,那么卸载响应即为失败卸载响应。

205、所述推理平台向所述管理平台发送所述操作响应,所述操作响应用于指示所述管理平台对所述第一算法的操作状态。

示例性的,所述推理平台向所述管理平台发送所述操作响应,可以包括:

所述推理平台向所述管理平台发送所述安装响应;或者,

所述推理平台向所述管理平台发送所述更新响应;或者,

所述推理平台向所述管理平台发送所述授权响应;或者,

所述推理平台向所述管理平台发送所述卸载响应。

需要说明的是,终端设备也可以向推理平台对应的发起安装请求、更新请求、授权请求、卸载请求等,推理平台进行对应的操作,确定对应的响应,进而向终端设备反馈。

可选的,在本发明的一些实施例中,所述推理平台接收所述管理平台发送的第二算法;所述推理平台保存所述第二算法。即在本发明实施例中,推理平台可以实时接收管理平台推送的算法,进行管理保存。

可选的,在本发明的一些实施例中,所述推理平台响应用户对所述第一算法的删除操作,生成删除请求;所述推理平台根据所述删除请求,删除所述第一算法。即在本发明实施例中,推理平台可以根据一些实际需求或者用户的反馈,对第一算法进行删除操作,从而进行更好的管理。

可选的,在本发明的一些实施例中,所述推理平台响应用户对所述第一算法的修改请求,生成修改请求;所述推理平台根据所述修改请求,修改所述第一算法;所述推理平台保存修改后的第一算法。即在本发明实施例中,推理平台可以根据一些实际需求或者用户的反馈,对第一算法进行修改操作,从而进行更好的管理。

可选的,在本发明的一些实施例中,所述推理平台根据所述第一算法、预置的输入源、预置的配置参数,确定第一算法运行实例;所述推理平台向电子设备发送所述第一算法运行实例,所述算法运行实例用于所述电子设备进行运行操作。

可选的,在本发明的一些实施例中,所述推理平台统计第一算法的使用信息;所述推理平台向所述管理平台发送所述使用信息,所述使用信息用于所述管理平台对所述第一算法进行相关处理。

在本发明实施例中,推理平台接收管理平台发送的至少一种算法;所述推理平台保存所述至少一种算法;所述推理平台接收所述管理平台发送的对第一算法的操作请求,所述至少一种算法包括所述第一算法;所述推理平台根据所述操作请求,进行对应操作,确定操作响应;所述推理平台向所述管理平台发送所述操作响应,所述操作响应用于指示所述管理平台对所述第一算法的操作状态。可以保存管理算法及对算法根据管理平台发送的操作请求,进行对应操作处理,即推理平台可以对保存的算法进行集中管理,提高了资源利用率。

示例性的,如下述表1所示,对本发明实施例中的推理平台做一个简单的说明:

表1

如图3所示,为本发明实施例中推理平台的一个实施例示意图,可以包括:

接收模块301,用于接收管理平台发送的至少一种算法;接收所述管理平台发送的对第一算法的操作请求,所述至少一种算法包括所述第一算法;

处理模块302,用于保存所述至少一种算法;根据所述操作请求,进行对应操作,确定操作响应;

发送模块303,用于向所述管理平台发送所述操作响应,所述操作响应用于指示所述管理平台对所述第一算法的操作状态。

可选的,在本发明的一些实施例中,

接收模块301,具体用于接收所述管理平台发送的对第一算法的安装请求;

处理模块302,具体用于根据所述安装请求,进行对应安装,确定安装响应;

发送模块303,具体用于向所述管理平台发送所述安装响应。

可选的,在本发明的一些实施例中,

接收模块301,具体用于接收所述管理平台发送的对第一算法的更新请求;

处理模块302,具体用于根据所述更新请求,进行对应更新,确定更新响应;

发送模块303,具体用于向所述管理平台发送所述更新响应。

可选的,在本发明的一些实施例中,

接收模块301,具体用于接收所述管理平台发送的对第一算法的授权请求;

处理模块302,具体用于根据所述授权请求,进行对应授权,确定授权响应;

发送模块303,具体用于向所述管理平台发送所述授权响应。

可选的,在本发明的一些实施例中,

接收模块301,具体用于接收所述管理平台发送的对第一算法的卸载请求;

处理模块302,具体用于根据所述卸载请求,进行对应卸载,确定卸载响应;

发送模块303,具体用于向所述管理平台发送所述卸载响应。

可选的,在本发明的一些实施例中,

接收模块301,还用于接收所述管理平台发送的第二算法;

处理模块302,还用于保存所述第二算法。

可选的,在本发明的一些实施例中,

处理模块302,还用于响应用户对所述第一算法的删除操作,生成删除请求;根据所述删除请求,删除所述第一算法。

可选的,在本发明的一些实施例中,

处理模块302,还用于响应用户对所述第一算法的修改请求,生成修改请求;根据所述修改请求,修改所述第一算法;保存修改后的第一算法。

可选的,在本发明的一些实施例中,

处理模块302,还用于根据所述第一算法、预置的输入源、预置的配置参数,确定第一算法运行实例;

发送模块303,还用于向电子设备发送所述第一算法运行实例,所述算法运行实例用于所述电子设备进行运行操作。

可选的,在本发明的一些实施例中,

处理模块302,还用于统计第一算法的使用信息;

发送模块303,还用于向所述管理平台发送所述使用信息,所述使用信息用于所述管理平台对所述第一算法进行相关处理。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1