一种基于人工智能的数据开发系统的制作方法

本发明涉及人工智能领域，尤其涉及一种基于人工智能的数据开发系统。

背景技术：

随着计算机技术的快速发展，在全球信息化快速发展的大背景下，人工智能(artificialintelligence，ai)已成为国家重要的基础性战略资源，正引领新一轮科技创新。

目前，人工智能的水平建立在机器学习的基础上，除了先进的算法和硬件运算能力，大数据是机器学习的关键。大数据可以帮助训练机器，提高机器的智能水平。数据越丰富完整，机器辨识精准度越高，因此大数据将是各企业竞争的真正资本。

而目前的人工智能技术对开发者的要求高，基于人工智能的数据开发依赖于开发人员的技术水平，开发效率低，并且不同的开发者的软件产品存在差异，没有一个统一的标准，软件产品兼容性差。

技术实现要素：

本发明提供了一种基于人工智能的数据开发系统，用于为不同开发者提供统一的软件产品开发标准，提高了软件产品的开发效率和兼容性。

本发明实施例的第一方面提供一种基于人工智能的数据开发系统，包括：面向对象模块、训练实例模块和算法提交模块；所述面向对象模块用于在预置的开发者类型中确定当前开发者的目标类型，所述预置的开发者类型包括普通开发者、专家级开发者和企业开发者；所述训练实例模块用于根据所述目标类型确定产品需求，并根据已发布的资源和预置数据集进行模型的训练，生成人工智能算法训练模型；所述算法提交模块用于对所述人工智能算法训练模型进行自动化测试得到算法测试结果，将所述算法测试结果与所述产品需求进行校验，并根据所述目标类型将通过校验的算法训练模型提交到数据管理系统。

可选的，在本发明实施例第一方面的第一种实现方式中，所述训练实例模块包括：实例子模块和数据集子模块；所述实例子模块用于根据所述产品需求、所述已发布的资源和所述预置数据集进行实例创建及查看；所述数据集子模块用于查看所述预置数据集，所述预置数据集包括数据开发系统的数据集和开发者上传的数据集。

可选的，在本发明实施例第一方面的第二种实现方式中，所述实例子模块包括：实例创建单元，用于确定开发者的目标类型，根据目标类型选择不同的创建模式进行实例配置，并依据配置的已有实例进行训练；实例管理单元，用于根据所述配置的已有实例确定所述创建模式，根据所述创建模式对所述配置的已有实例进行实例操作。

可选的，在本发明实施例第一方面的第三种实现方式中，所述实例子模块还包括：资源判断单元，用于对所述已发布的资源的可用性进行判断；当数据开发系统剩余的资源大于或等于人工智能算法训练模型所要求的资源大小时，调用实例管理单元进行训练；当数据开发系统剩余的资源小于人工智能算法训练模型所要求的资源大小时，暂停调用所述实例管理单元，直至剩余的资源大于或等于人工智能算法训练模型所要求的资源大小时重新调用所述实例管理单元进行训练。

可选的，在本发明实施例第一方面的第四种实现方式中，所述实例子模块还包括：资源释放单元，用于当人工智能算法训练模型完成训练完成后，释放训练时占用的资源；记录单元，用于生成所述人工智能算法训练模型的训练记录。

可选的，在本发明实施例第一方面的第五种实现方式中，所述实例管理单元包括查看基本信息，查看挂载数据集，查看训练历史，发起模型自动测试，创建tfs测试，下载算法模型，发布算法的功能。

可选的，在本发明实施例第一方面的第六种实现方式中，所述数据集子模块包括：数据集管理单元，用于存储并查看开发者上传的数据集，并管理所述数据开发系统发布的数据集。

可选的，在本发明实施例第一方面的第七种实现方式中，所述数据集子模块还包括：更新单元，用于更新所述开发者上传的数据集或所述数据开发系统发布的数据集，并将更新后的数据集应用到算法训练中。

可选的，在本发明实施例第一方面的第八种实现方式中，所述基于人工智能的数据开发系统还包括：认证模块，用于对开发者进行实名认证。

可选的，在本发明实施例第一方面的第九种实现方式中，所述实例子模块还包括：自定义单元，用于根据开发者上传和定义的算法进行模型训练及标准化测试。

本发明实施例提供的基于人工智能的数据开发系统，包括：面向对象模块、训练实例模块和算法提交模块；所述面向对象模块用于在预置的开发者类型中确定当前开发者的目标类型，所述预置的开发者类型包括普通开发者、专家级开发者和企业开发者；所述训练实例模块用于根据所述目标类型确定产品需求，并根据已发布的资源和预置数据集进行模型的训练，生成人工智能算法训练模型；所述算法提交模块用于对所述人工智能算法训练模型进行自动化测试得到算法测试结果，将所述算法测试结果与所述产品需求进行校验，并根据所述目标类型将通过校验的算法训练模型提交到数据管理系统。本发明实施例，为不同开发者提供统一的软件产品开发标准，提高了软件产品的开发效率和兼容性。

附图说明

图1为本发明实施例中基于人工智能的数据开发系统的一个实施例示意图；

图2为本发明实施例中基于人工智能的数据开发系统的另一个实施例示意图；

图3为本发明实施例中基于人工智能的数据开发系统的另一个实施例示意图；

图4为本发明实施例中基于人工智能的数据开发系统的另一个实施例示意图；

图5为本发明实施例中基于人工智能的数据开发系统的另一个实施例示意图；

图6为本发明实施例中基于人工智能的数据开发系统的另一个实施例示意图。

具体实施方式

本发明提供了一种基于人工智能的数据开发系统，用于为不同开发者提供统一的软件产品开发标准，提高了软件产品的开发效率和兼容性。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例进行描述。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例提供的一种基于人工智能的数据开发系统，具体包括：

面向对象模块、训练实例模块和算法提交模块；

所述面向对象模块用于在预置的开发者类型中确定当前开发者的目标类型，所述预置的开发者类型包括普通开发者、专家级开发者和企业开发者；

所述训练实例模块用于根据所述目标类型确定产品需求，并根据已发布的资源和预置数据集进行模型的训练，生成人工智能算法训练模型；

所述算法提交模块用于对所述人工智能算法训练模型进行自动化测试得到算法测试结果，将所述算法测试结果与所述产品需求进行校验，并根据所述目标类型将通过校验的算法训练模型提交到数据管理系统。

需要说明的是，基于人工智能的数据开发系统是面向ai开发者的一站式开发系统，具有大规模分布式训练、自动化模型生成，训练数据预览等功能，帮助开发者(用户)快速创建模型。也可以与数据标注和模型发布平台结合，完成ai训练，发布，运维的全生命周期管理。

可以理解的是，预置的开发者类型包括普通开发者、专家级开发者和企业开发者，其中，普通开发者是指初级ai开发者，此类开发者不具备完整的ai开发能力，但能使用ai框架进行简单的模型创建与训练；专家级开发者是指具备专业的ai开发能力的中级ai开发者，需要获取系统的硬件及数据资源进行ai开发；企业开发者是指拥有自己的算法训练方法和算法镜像，有很强的ai开发及拓展能力的高级ai开发者。

本发明实施例，为不同级别的开发者提供了统一的软件产品开发标准，提高了软件产品的开发效率和兼容性。

在一种可行的实施方式中，请参阅图2，所述训练实例模块包括：

实例子模块和数据集子模块；

所述实例子模块用于根据所述产品需求、所述已发布的资源和所述预置数据集进行实例创建及查看；

所述数据集子模块用于查看所述预置数据集，所述预置数据集包括数据开发系统的数据集和开发者上传的数据集。

本实施方式，实例子模块从数据管理系统获取到算法需求，再根据开发者类型选择对应的创建模式，创建模式包括极简模式、专家模式和自定义镜像模式，丰富了创建类型，实现为不同开发者提供个性化的服务。

在一种可行的实施方式中，请参阅图3，所述实例子模块包括：

实例创建单元，用于确定开发者的目标类型，根据目标类型选择不同的创建模式进行实例配置，并依据配置的已有实例进行训练；

实例管理单元，用于根据所述配置的已有实例确定所述创建模式，根据所述创建模式对所述配置的已有实例进行实例操作。

需要说明的是，本实施中，在实例创建单元创建实例的时候，需要对开发者的类型进行区分，即确定普通开发者为普通用户，专家级开发者为专家用户，企业开发者是企业用户，对普通用户采用极简模式，推荐使用“标准训练”模式下的“共享资源”；对专家用户采用专家模式，推荐使用“标准训练”模式下的“专属资源”；对企业用户采用自定义镜像模式，，允许其上传自定义镜像并在线训练、测试。其中，极简模式下，实例创建单元通过预置模型、框架等，选用系统或自定义数据集，进行简单的算法训练，该模式下仅供优化算法模型，不能进行多模型训练；专家模式下，实例创建单元提供标准镜像(为后续的算法授权、封装sdk、部署等创造条件)，允许用户通过notebook进行算法训练，可以完成复杂算法的训练；自定义镜像模式下，实例创建单元使用自定义算法镜像，以用于用户自己定义的使用场景，自定义镜像可以进行算法训练、测试等，也可以提交给系统使用，但不能进行标准化测试和封装。

可以理解的是，创建训练实例包括三个路径(即实例创建单元的应用过程)，分别为：普通用户使用“标准训练——共享资源”创建实例、专家用户使用“标准训练——专属资源”创建实例、企业用户使用“自定义镜像”创建实例，这三种业务流程中的角色，是可以互通的，即不同用户可以创建任意类型的实例。

另外，实例管理单元用于在创建完成后，对实例进行的操作。

本实施方式，对实例子模块进行了细化，将创建实例和管理实例过程分配给不同的单元实现，为本发明提供了具体的实现方式。

在一种可行的实施方式中，请参阅图3，所述实例子模块还包括：

资源判断单元，用于对所述已发布的资源的可用性进行判断；当数据开发系统剩余的资源大于或等于人工智能算法训练模型所要求的资源大小时，调用实例管理单元进行训练；当数据开发系统剩余的资源小于人工智能算法训练模型所要求的资源大小时，暂停调用所述实例管理单元，直至剩余的资源大于或等于人工智能算法训练模型所要求的资源大小时重新调用所述实例管理单元进行训练。

需要说明的是，对于不同的使用场景/用例，开发者对资源的需求是不完全相同的，因此需要判断资源是否充足。首先会查看项目需求(例如，活动或竞赛)，具体包括：查看需求，申请参加，查看参加情况，下载资料(算法测试数据集等)，提交需求所需的信息(算法、文档等)，查看参加结果；然后通过算法管理对项目需求进行解析验证，具体包括：上传算法(其中包括上传模型和上传sdk)，算法在线训练(支持tensorflow，caffe，pythorch，darknet等框架)，自动化测试，查看测试结果，提交算法。

在一种可行的实施方式中，请参阅图3，所述实例子模块还包括：

资源释放单元，用于当人工智能算法训练模型完成训练完成后，释放训练时占用的资源；

记录单元，用于生成所述人工智能算法训练模型的训练记录。

在一种可行的实施方式中，所述实例管理单元包括查看基本信息，查看挂载数据集，查看训练历史，发起模型自动测试，创建tfs测试，下载算法模型，发布算法的功能。

在一种可行的实施方式中，请参阅图4，所述数据集子模块包括：

数据集管理单元，用于存储并查看开发者上传的数据集，并管理所述数据开发系统发布的数据集。

需要说明的是，在实际开发过程中，训练状态会在训练原型中直接标注出来，例如，当一个页面为开发者创建了多个实例，其中，实例类型包括“标注训练”和“自定义镜像”两张，与新增时选择的两种类型对应，标准训练指的是使用系统提供的镜像，进行算法训练而创建的实例，自定义镜像指的是开发者自主上传的算法镜像。而实例状态包括：等待资源、训练中、训练完成、测试中、测试完成、提交成功。可以理解的是，所有的实例状态为非线性状态，即同一个实例可能出现多次，页面中只显示实例名称、实例类型和实例状态。

在一种可行的实施方式中，请参阅图4，所述数据集子模块还包括：

更新单元，用于更新所述开发者上传的数据集或所述数据开发系统发布的数据集，并将更新后的数据集应用到算法训练中。

在一种可行的实施方式中，请参阅图5，所述基于人工智能的数据开发系统还包括：

认证模块，用于对开发者进行实名认证。

需要说明的是，认证模块可以采集用户的基本信息，并可以通过人工智能技术，例如，人脸识别，语音识别等方式对用户进行实名认证。

在一种可行的实施方式中，请参阅图6，所述实例子模块还包括：

自定义单元，用于根据开发者上传和定义的算法进行模型训练及标准化测试。

需要说明的是，算法的存在形式，可以有多种，包括：模型、sdk、开发者自定义镜像，其中，自定义镜像可能是模型也可能是sdk，其中仅模型类型的可以使用开发系统进行训练，sdk形式可以进行算法测试，但开发者具体执行的操作系统无法感知。

可以理解的是，模型即为算法的模型文件，一般还包括权重文件，模型可以实现自动化测试；sdk即为算法封装后可使用的形态，通过平台封装的sdk，使用了系统提供的标准镜像和sdk标准，可以用于sdk的后续商用作用；自定义镜像即为开发者自主上传的算法，使用方法由开发者定义，不能进行标准的自动化测试，sdk封装等。

本发明实施例，为不同级别的开发者提供了统一的软件产品开发标准，提高了软件产品的开发效率和兼容性，明确了算法的类型和定义。

综上所述，本实施例所提供的基于人工智能的数据开发系统，包括：面向对象模块、训练实例模块和算法提交模块；所述面向对象模块用于在预置的开发者类型中确定当前开发者的目标类型，所述预置的开发者类型包括普通开发者、专家级开发者和企业开发者；所述训练实例模块用于根据所述目标类型确定产品需求，并根据已发布的资源和预置数据集进行模型的训练，生成人工智能算法训练模型；所述算法提交模块用于对所述人工智能算法训练模型进行自动化测试得到算法测试结果，将所述算法测试结果与所述产品需求进行校验，并根据所述目标类型将通过校验的算法训练模型提交到数据管理系统。本发明实施例，为不同开发者提供统一的软件产品开发标准，提高了软件产品的开发效率和兼容性。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程设备。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriberline，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solidstatedisk，ssd))等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。