基于大数据的轻量级数据服务总线系统的制作方法
【技术领域】
[0001]本发明涉及数据处理领域，特别涉及基于大数据的轻量级数据服务总线系统。
【背景技术】
[0002]目前大数据挖掘平台接入或准备接入了大量不同类型的业务，数据还在以一定的速度增长，并随着业务量的陆续接入，预计未来将会产生更多超大规模的数据量。使用传统接口开发及服务方式已难以达到日益增长的业务需求，也难以满足大数据业务的承载量，对未来大数据业务方向发展已形成不可避免的制约与巨大的阻碍。
[0003]大数据挖掘分析产生的所有价值数据，需要通过一个统一的接口平台开发、接入、管理、输出、维护等，目前提供接入数据大部分来自黑电白电数据分析，但以价值数据开放为出发点，挖掘并提供大数据的价值数据，现状以零散、不统一、无管理、接入和输出混乱的局面进行数据交互与业务运营，不能有效的管理价值数据和发挥大数据更重要的商业价值，亦不能满足大数据当前及未来业务量增长的步伐。
[0004]数据接口需求分散并混乱，价值数据无统一管理，对外提供接口分散到各处，不能有效管理和控制数据和接口，对未来业务需求形成难以逾越的瓶颈，也对大数据挖掘更有价值和发现更多商业机会的核心价值产生较大的负面影响。
【发明内容】
[0005]本发明要解决的技术问题是:提供一种基于大数据的轻量级数据服务总线系统，解决接口零散、不统一、无管理、接入和输出混乱的问题。
[0006]为解决上述问题，本发明采用的技术方案是:基于大数据的轻量级数据服务总线系统，包括服务接口子平台、服务管理子平台、服务开放子平台；
[0007]所述服务接口子平台用于向接入方提供轻量级数据接口和业务接口开发模式包；所述服务管理子平台用于为系统提供统一的管理和监控；所述服务开放子平台用于接口推广宣传和接入指导。
[0008]进一步的，所述服务接口子平台包括接口引擎和服务引擎；
[0009]所述接口引擎用于对接入方应用发出的能力调用请求进行安全校验，如果通过，则向服务引擎发起能力调用请求；还用于根据开放接口规则组装服务引擎返回的结果，并将组装后的结果返回给接入方；
[0010]所述服务引擎用于根据接口引擎发起的能力调用请求到大数据侧抓取有用数据，并对抓取后的数据进行整理，并将整理后的数据结果接口引擎。
[0011]进一步的，所述接口引擎将服务引擎的数据接口扩展为具体业务接口，且同一个数据接口对应多个业务接口的模式，接口引擎同时对业务接口访问权限进行控制；所述接口引擎包括接入鉴权模块和业务鉴权模块；
[0012]所述接入鉴权模块用于对接入方的身份进行验证；所述业务鉴权模块用于通过配置的接入商与角色的关系、角色与接口的关系，对接入商是否拥有所调用接口权限进行验证。
[0013]进一步的，所述身份进行验证包括ID验证和IP验证。
[0014]进一步的，所述服务管理子平台包括服务开放管理模块、接入商管理模块、白名单管理模块、接口信息管理模块、接口推荐管理模块、服务接口子平台管理模块、流量统计模块、权限管理模块、菜单管理模块、组织机构管理模块、任务调度管理模块、日志管理模块；
[0015]所述服务开放管理模块用于对接入商注册管理，对接入商角色分配服务，对门户页面需要生成静态页面的模板提供通过模板，为后台管理数据生成相应静态页面和预览页面；
[0016]所述接入商管理模块用于对接入商角色信息进行维护，以及为接入商角色分配可访问的接口 ；对接入商授予不同的角色就能让接入商拥有不同的访问权限；
[0017]所述白名单管理模块用于给指定的接入商赋予访问所有接口的权限，位于白名单内的接入商可以快速地访问所有接口 ；
[0018]所述接口信息管理模块用于对接口信息进行统一维护管理，并为服务开发子平台的接口信息展示提供后台支持；
[0019]所述接口推荐管理模块用于对有价值或者常用的接口进行标注，并把这些接口推荐到门户的接口推荐版块进行显示；
[0020]所述服务接口子平台管理模块用于对接口调用文档、接入说明文档进行统一维护管理，并提供文档上传与下载；
[0021]所述流量统计模块用于对接入商调用接口的流量进行汇总查询，并生成统计表和图表，以及对接入商调用接口的次数进行查询生成统计报表和图表，并提供导出报表功會κ ;
[0022]所述权限管理模块用于对系统的功能权限和系统中的数据权限进行管理；
[0023]所述菜单管理模块用于对系统菜单信息进行维护；
[0024]所述组织机构管理模块用于对系统组织机构进行维护；
[0025]所述任务调度管理模块用于对任务调度信息进行维护；
[0026]所述日志管理模块用于对系统的行为进行记录。
[0027]进一步的，所述服务开放子平台包括接口推荐模块、接口搜索模块、经典接口模块、接入商模块、接口列表模块、接口 API模块；
[0028]所述接口推荐模块用于展示服务接口子平台配置的推荐接口信息；
[0029]所述接口搜索模块用于为接入接口的接入方提供搜索功能；
[0030]所述经典接口模块用于展示具有特色功能以及调用次数较多的接口 ；
[0031]所述接入商模块用于显示接入商的基本信息；
[0032]所述接口列表模块用于显示所有已上线的接口，接口按照分类以树状形式展示；
[0033]所述接口 API模块用于提供接口详细API介绍。
[0034]本发明的有益效果是:本发明为大数据提供价值数据的统一价值接口、统一开发模式、统一管理模式、统一监控模式和统一服务模式，形成业务开发快速、接口规划统一、业务负载极强、服务扩展性强，高安全性、高并发性、高扩展性，并支持统一管理和监控及展示的高级赋能平台。
【附图说明】
[0035]图1为本发明接口引擎与服务引擎调用流程图；
[0036]图2为实施例获取数据流程示意图。
【具体实施方式】
[0037]本发明包括三个子平台，分别是服务接口子平台(英文Service Interface，以下简称SI)、服务管理子平台(英文Service Manage，以下简称SM)和服务开放子平台(英文Service Open，以下简称 S0)。
[0038]SI用于向接入方提供轻量级数据接口和业务接口开发模式包，它包括接口引擎和服务引擎。所述接口引擎用于对接入方应用发出能力调用请求进行安全校验，如果通过，则向服务引擎发起能力调用请求；还用于根据开放接口规则组装服务引擎返回的结果，并将组装后的结果返回给接入方；所述服务引擎用于根据接口引擎发起的能力调用请求到大数据侧抓取有用数据，并对抓取后的数据进行整理，并将整理后的数据结果接口引擎。接口引擎负责业务封装与接入管控，为服务接口 SI的业务核心；服务引擎负责能力封装，为服务接口 SI的能力核心。接口引擎与服务引擎调用流程如图1，流程如下:
[0039]第一步:接入方应用向接口平台(接口引擎)发出能力调用请求；
[0040]第二步:接口引擎对请求进行安全校验，通过则向服务引擎发起能力调用请求；
[0041]第三步:服务引擎到大数据侧抓取有用数据，整理后将数据结果返回给接口平台(接口引擎)；
[0042]第四步:接口引擎根据开放接口规则组装返回结果返回给接入方。
[0043]接口引擎是基于在服务引擎之上，将服务引擎的数据接口扩展为具体业务接口，同一个数据接口对应多个业务接口的模式，接口引擎同时对业务接口访问权限进行控制。接口引擎包括接入鉴权和业务鉴权两个核心功能模块，其中:
[0044]接入鉴权模块通过对接入者身份验证达到有效防止非法访问的目的，验证包括ID验证和IP验证，ID验证实现方式是服务管理SM通过“接入商管理”模块分配合法账户ID和唯一 Key (MD5加密)，IP验证实现方式是从接口调用请求中获取IP地址信息，将其与安全配置的该接入商IP地址列表进行对比完成鉴权；
[0045]业务鉴权模块在接入鉴权成功后，进一步对接入商接口调用权限进行校验，通过“接入商管理”、“接入商角色管理”模块配置接入商与角色关系、角色与接口关系，主要对接入商是否拥有所调用接口权限进行验证。
[0046]接入鉴权模块和业务鉴权模块使用Α0Ρ (面向切面的编程)实现。利用Α0Ρ的低侵入性，降低与其他业务功能的耦合度，同时提高程序的可重用性，提高开发效率。服务引擎提供底层数据源至接口引擎的高度重用性的数据接口快速开发模式，在服务引擎程序中对数据库进行切分，并且采用多个数据库实例进行管理，有效提高系统的水平伸缩性，程序在运行时根据当前的请求及系统状态来动态的决定将数据存储在哪个数据库实例中，以及从哪个数据库提取数据，通过Spring配置文件对多数据源进行配置，使用注解方式尽可能减少对配置文件的依赖。
[0047]SM为系统提供统一的管理和监控，包括对SI里接口的接入调度的管理、接口信息介绍使用方法展示的管理、接入商调用接口的监控，这些所有的管理操作都纳入到服务管理子平台来进行集中管理，统一了管理口径，使得管理更加科学、有效、清晰。统一管理模式:所有接口、服务开放信息全部由统一的管理平台管理，服务接口子平台对管理做底层支撑，服务开放子平台对录入信息进行展示；统一监控模式:所有接口全部由统一的管理平台监控，服务接口子平台对监控做底层支撑。
[0048]SM包括服务开放管理、接入商管理、白名单管理、接口信息管理、接口推荐管理、SI管理、流量统计、权限管理、菜单管理、组织机构管理、任务调度管理、日志管理等核心模块。其中:
[0049]服务开放管理模块主要为系统提供接入商注册管理功能，包括新增、修改、删除、查询接入商；为接入商角色分配；对门户页面需要生成静态页面的模板；提供通过模板和后台管理数据生成相应静态页面、预览页面。
[0050]接入商管理模块主要是对接入商角色信息进行维护，包括新增、修改、删除角色商信息；为接入商角色分配可访问的接口，接入商角色的目的就在于关联接入商和接入商所能访问的接口管理；对接入商授予不同的角色就能让接入商拥有不同的访问权限，即能访问指定的接口。
[00