一种基于电商应用的人工智能平台的制作方法

本发明涉及机器学习和计算机服务系统以及跨境电商领域，特别是涉及一种基于电商应用的人工智能平台。

背景技术：

1、深度学习(dl,deep learning)是机器学习(ml,machine learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(ai,artificialintelligence)。

2、cn202111361216.7公开了一种ai平台的多用户存储对接方法和ai平台，其中，ai平台的多用户存储对接方法用于ai平台，ai平台包括识别存储块；多用户存储对接方法包括：当获取到ai平台切换用户存储系统的切换指令时，使用识别存储块判断待切换的用户存储系统是否可用；若判定待切换的用户存储系统可用，则备份当前用户存储系统的数据信息至ai平台的数据库；将待切换的用户存储系统的数据信息同步至ai平台的数据库；当数据信息同步完成时，将同步结果反馈至ai平台的服务层。本发明的技术方案能解决现有技术中ai平台对不同的用户存储系统不兼容，导致需要提前确定对接的用户存储系统，降低了ai平台的工作和使用效率的问题。

3、申请号：202010988313.8公开了一种基于ai训练平台的海量文件检索方法、装置及设备，所述方法：ai训练平台获取用户下发的检索任务；ai训练平台根据检索任务生成检索线程流，并根据检索线程流控制检索过程的业务逻辑；ai训练平台将数据库中文件以文件夹为单位进行顺序编码，生成有序队列文件夹，并从检索任务中提取出检索关键字，再通过二分查找与深度优先遍历结合方式对每个有序队列文件夹进行关键字检索。本发明提供利用检索线程流控制检索过程业务逻辑，防止ai训练平台长时间占用服务器资源的cpu，同时深度优先遍历与二分查找方式结合提高了检索效率，避免单独使用深度优先遍历，而文件靠后的检索时间很长的缺陷，缩短了ai训练平台的训练时间。

4、深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。

5、深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。

6、随着信息化技术的不断发展与人工智能技术的不断突破，跨境电商领域在业务上同样也取得了重大的突破，如外贸机器人、智能营销、智能运营、智能推荐等多个领域。但算法工程师往往是在裸金属服务器进行开发算法进行部署，效率往往低下，并且存在着个人技术的茧房，导致业务效果难以达到理想状态，所以一个具有完备算法的开发平台和易于使用的开发平台对于算法工程师来说就是必要的。

技术实现思路

1、本发明所要解决的问题是，规范化跨境电商领域的算法工程师的开发流程以及提高开发效率，提供一种基于电商应用的人工智能平台。并能够取代传统裸金属服务器的开发方式，如使用pycharm，vscode，vim编程等。

2、为解决上述问题，本发明提供一种基于电商应用的人工智能平台，包括以下模块：(1)ai平台底座；(2)ai开发平台；(3)ai服务平台；(4)ai应用平台。所述ai开发平台与ai服务平台与应用之间通过网络进行桥连。

3、所述ai平台底座包括基础硬件、数据存储、算法框架和资源管理模块。所述各模块详细包含如下：

4、(1)ai平台底座的基础硬件支持cpu,gpu,fpga,npu等硬件设施；

5、(2)ai平台底座的数据存储方式支持快存储oss包含ffs和ceph存储，支持向量存储vearch，支持大数据存储模式hdfs、hive、hudi等；

6、(3)ai平台底座的算法框架支持pytorch、tensorflow、sklearn、keras、paddlepaddle、caffe、automl、sparkml等常用算法库；

7、(4)ai平台底座的资源管理体系包含kubesphere容器编排引擎和yarn资源管理系统。

8、所述ai开发平台包括数据中心、算法中心、算力中心、训练中心和模型中心五个模块。所述各模块详细包含如下：

9、(1)ai开发平台的数据中心模块包含数据管理、数据交互、数据标注等数据处理的功能模块，同时支持样本数据、特征数据、向量数据完备的数据类型；

10、(2)ai开发平台的算法中心模块包含算法管理、算法评估等功能模块，同时包含了cv算法库、nlp算法库、推荐算法库、语音算法库、强化学习算法库等常用算法；

11、(3)ai开发平台的算力中心模块包含了用户管理、资源管理和任务管理等管理模块，同时管理着a100集群、v100集群和4090集群等；

12、(4)ai开发平台的训练中心模块包含了数据准备、模型训练、模型验证和模型迭代四个功能模块；

13、(5)ai开发平台的模型中心模块包含了模型管理和推理优化两大模块。。

14、所述ai服务平台包含了cv中台、nlp中台、推荐中台、知识图谱以及ai门户等。

15、所述ai应用平台包含了平台智能和业务智能两大模块，所述各模块详细包含如下：

16、(1)平台智能包含了机器学习算法，深度学习算法，cv任务，nlp任务，推荐任务等；

17、(2)业务智能包含了外贸机器人，智能销售，智能营销、智能运营、智能推荐、智能运维等业务模块。

18、基于电商应用的人工智能平台是面向跨境电商企业级人工智能开发和训练场景的高性能、易扩展、敏捷高效的人工智能开发平台和资源管理平台，提供大规模异构计算集群的统一管理、便捷易用的ai开发环境、大规模ai分布式训练、训练作业全生命周期管理、数据集版本管理与追溯、集群资源统计与报表等能力，帮助用户实现精准的资源管理与调度、敏捷的数据整合及加速、流程化的ai场景及业务整合，有效打通ai开发环境、算力、数据等要素，管理全周期ai工作流，提升用户ai开发效率。

19、有益效果：基于电商应用的人工智能平台，支持丰富的机器学习算法、一站式的机器学习体验、主流的机器学习框架及可视化的建模方式，如pai的功能特性。基于电商应用的人工智能平台的算法都经过跨境电商企业级大规模业务的沉淀，不仅支持基础的聚类和回归类算法，同时也支持分析和特征处理等复杂算法。具有着一站式的机器学习体验，基于电商应用的人工智能平台支持从数据上传、数据预处理、特征工程、模型训练、模型评估到模型发布的机器学习全流程。同时支持主流深度学习框架，基于电商应用的人工智能平台支持tensorflow、caffe及mxnet等主流的机器学习框架。拥有了可视化的建模方式，基于电商应用的人工智能平台封装了经典的机器学习算法，具有以下优势：支持使用拖拽的方式搭建机器学习实验。支持使用内置的automl进行调参，实现模型参数自动探索、模型效果自动评估、模型自动向下传导及模型自动优化。具备一键式的模型部署服务的功能，基于电商应用的人工智能平台支持将pai-studio、dsw及-autolearning生成的训练模型一键式发布为restful api接口，实现模型到业务的无缝衔接。