一种基于强化学习的大数据服务系统的制作方法

本发明涉及一种基于强化学习的大数据服务系统。

背景技术：

目前，大数据服务系统一般都是以大量数据存储及批量化简单处理为主要目的而设计其架构，而强化学习尤其是深度强化学习的相关技术发展，对硬件提出了新的要求，一般而言，大量数据存储及批量化简单处理主要是对cpu核心数和硬盘容量的要求较高，而强化学习算法主要是对如gpu和内存的要求较高。强化学习算法往往还需要大量的数据作为支撑，基于强化学习算法对数据的要求，在大数据服务系统上运行是一种理想选择，这就对原有的cpu核心数和硬盘容量配置较高的大数据服务系统提出的了新的硬件要求，常见的做法是在部分服务器主机上加配gpu和内存，然后通过额外的功能模块组件来实现调配，但是这样做一方面会导致额外的功能模块组件开发成本大幅提高，另一方面也会因为用于调配的额外功能模块组件运行而导致服务器性能耗损，这部分性能耗损必然会体现在硬件成本上，导致需要服务提供商的硬件成本额外增加，这种硬件成本的额外增加往往不是单一的增加服务器主机数量可以解决，而基于服务器主机数量的增加还使得机房、散热设备等的成本也随之增加。

技术实现要素：

为解决上述技术问题，本发明提供了一种基于强化学习的大数据服务系统，该基于强化学习的大数据服务系统基于两套服务器组分别运行不同功能的设置，能大幅降低在大数据服务系统中提供运行强化学习算法所需硬件环境的整体成本。

本发明通过以下技术方案得以实现。

本发明提供的一种基于强化学习的大数据服务系统，包括交互层、服务层、功能层、存储层、整理层、模型层和缓冲层；所述交互层、服务层、功能层、存储层设于同一服务器组，整理层、模型层、缓冲层设于另一服务器组；

所述交互层提供与用户的交互；

所述服务层提供用户交互所需的任务调度和缓冲；

所述功能层提供数据业务处理的功能；

所述存储层提供数据存储功能；

所述整理层对用户提供的算法代码进行整理；

所述模型层运行用户提供的算法代码；

所述缓冲层提供用户算法代码运行过程所需的数据缓冲。

所述交互层包括页面前台模块、数据可视化模块、数据交互接口，其中：

页面前台模块提供网页界面；

数据可视化模块提供数据的可视化图像；

数据交互接口提供数据上传下载的接口。

所述服务层包括交互后台模块、数据缓冲模块、算法缓冲模块，其中：

交互后台模块提供任务调配，将用户算法代码中采用强化学习算法的代码发送至算法缓冲模块；

数据缓冲模块提供运行与交互所需数据的缓冲；

算法缓冲模块提供用户算法代码和用户算法代码运行过程所需的数据在用户交互上的缓冲，将从缓冲层接收的用户算法代码运行过程算法参数及从的用户算法代码发送至功能层以保存至存储层。

所述功能层包括功能模块、数据清理模块、数据整理模块，其中：

功能模块提供用户交互所需的应用功能；

数据清理模块对用户算法代码运行过程所需的数据进行清理，包括删除冗余数据、填写缺失值、光滑噪声数据；

数据整理模块对用户算法代码运行过程所需的数据的格式进行统一化处理。

所述存储层包括关系型数据库和分布式数据库。

所述整理层包括算法整理模块、版本缓冲模块，其中：

算法整理模块对用户提供的算法代码进行规范化整理操作；

版本缓冲模块提供算法整理模块操作过程中的版本回退功能，并在算法整理模块操作完成后将最后一个版本的用户算法代码发送至服务层。

所述模型层包括环境模型模块、策略模型模块，其中：

环境模型模块从整理层取得用户算法代码，运行用户算法代码中强化学习算法的环境模型；

策略模型模块从整理层取得用户算法代码，运行用户算法代码中强化学习算法的策略模型。

所述缓冲层包括缓冲数据库、参数数据库，其中：

缓冲数据库提供对模型层运行时的用户算法代码运行过程所需的数据缓冲，并在模型层运行结束后将数据发送至存储层；

参数数据库提供对模型层运行时的用户算法代码运行过程算法参数缓冲，并在模型层运行结束后将数据发送至服务层。

本发明的有益效果在于：基于两套服务器组分别运行不同功能的设置，能大幅降低在大数据服务系统中提供运行强化学习算法所需硬件环境的整体成本。

附图说明

图1是本发明的架构示意图。

具体实施方式

下面进一步描述本发明的技术方案，但要求保护的范围并不局限于所述。

如图1所示的一种基于强化学习的大数据服务系统，包括交互层、服务层、功能层、存储层、整理层、模型层和缓冲层；所述交互层、服务层、功能层、存储层设于同一服务器组，整理层、模型层、缓冲层设于另一服务器组；

所述交互层提供与用户的交互；

所述服务层提供用户交互所需的任务调度和缓冲；

所述功能层提供数据业务处理的功能；

所述存储层提供数据存储功能；

所述整理层对用户提供的算法代码进行整理；

所述模型层运行用户提供的算法代码；

所述缓冲层提供用户算法代码运行过程所需的数据缓冲。

所述交互层包括页面前台模块、数据可视化模块、数据交互接口，其中：

页面前台模块提供网页界面；

数据可视化模块提供数据的可视化图像；

数据交互接口提供数据上传下载的接口。

所述服务层包括交互后台模块、数据缓冲模块、算法缓冲模块，其中：

交互后台模块提供任务调配，将用户算法代码中采用强化学习算法的代码发送至算法缓冲模块；

数据缓冲模块提供运行与交互所需数据的缓冲；

算法缓冲模块提供用户算法代码和用户算法代码运行过程所需的数据在用户交互上的缓冲，将从缓冲层接收的用户算法代码运行过程算法参数及从的用户算法代码发送至功能层以保存至存储层。

所述功能层包括功能模块、数据清理模块、数据整理模块，其中：

功能模块提供用户交互所需的应用功能；

数据清理模块对用户算法代码运行过程所需的数据进行清理，包括删除冗余数据、填写缺失值、光滑噪声数据；

数据整理模块对用户算法代码运行过程所需的数据的格式进行统一化处理。

所述存储层包括关系型数据库和分布式数据库。

所述整理层包括算法整理模块、版本缓冲模块，其中：

算法整理模块对用户提供的算法代码进行规范化整理操作；

版本缓冲模块提供算法整理模块操作过程中的版本回退功能，并在算法整理模块操作完成后将最后一个版本的用户算法代码发送至服务层。

所述模型层包括环境模型模块、策略模型模块，其中：

环境模型模块从整理层取得用户算法代码，运行用户算法代码中强化学习算法的环境模型；

策略模型模块从整理层取得用户算法代码，运行用户算法代码中强化学习算法的策略模型。

所述缓冲层包括缓冲数据库、参数数据库，其中：

缓冲数据库提供对模型层运行时的用户算法代码运行过程所需的数据缓冲，并在模型层运行结束后将数据发送至存储层；

参数数据库提供对模型层运行时的用户算法代码运行过程算法参数缓冲，并在模型层运行结束后将数据发送至服务层。

由此，本发明可以使得常规的、对cpu核心数和硬盘容量的要求较高的大数据业务运行在一套服务器组上，而涉及强化学习的、对如gpu和内存的要求较高的数据业务运行另一套服务器组上，因此，对于目前的大数据服务提供商而言，要在现有常规大数据业务基础上增加强化学习算法运算业务，则简单很多，无论是相对直接的开发成本还是相对间接的硬件成本，都能得以大幅降低。