数据网关装置和大数据系统的制作方法_4

文档序号:9754430阅读:来源:国知局
构成审核区,其可保障数据服务开放运营的安全性,请求数据服务的客 户端构成外网合作区,客户端可发出各种数据服务请求,如图4所示。
[0132]数据网关装置(审核区)与数据中心(数据内网区)之间可以通过接口进行连接。在 一个示例中,数据网关装置与数据中心通过数据服务信息同步更新接口、取数申请接口、月艮 务数据生成通知接口和服务数据同步接口来实现数据连接。
[0133]数据服务信息同步更新接口可以通过Web Service接口来实现。当数据中心开放 的数据服务信息发生变化(例如,新建数据服务或修改数据服务)时,数据中心通过Web Service接口主动将数据服务信息推送给数据网关装置。通过该数据服务信息同步更新接 口,数据网关装置的服务管理模块中的信息与所述数据中心开放的数据服务保持一致 [0134]取数申请接口也可以通过Web Service接口实现方式。在收到来自客户端的服务 数据提取申请后,数据网关装置检查本地服务缓存表是否存在所请求的数据,如果不存在 则向数据中心发起该服务的数据提取请求。如果该服务的服务类型是实时服务,则数据中 心实时生成源数据返回给数据网关装置;如果该服务的服务类型是周期服务,且所请求的 服务账期是历史账期,则数据中心将该服务源数据的存储信息(包括例如文件服务器的FTP 地址、访问端口、登录用户名、密码、源数据文件存储路径、源数据文件名等)返回给数据网 关装置;如果该服务的服务类型是周期服务,且所请求的服务账期是未来账期,则数据中心 将返回一个账期未到的消息给数据网关装置,在满足账期条件并且源数据生成后再通过服 务数据生成通知接口通知数据网关装置。
[0135] 服务数据生成通知接口也可以通过Web Service接口实现。如前述,当数据网关装 置向数据中心发起某个周期服务的取数申请后,由于所请求的服务账期是未来账期,数据 中心在满足账期条件并且源数据生成后再通过该接口通知数据网关装置数据就绪,并将该 服务源数据的存储信息(包括例如文件服务器的FTP地址、访问端口、登录用户名、密码、源 数据文件存储路径、源数据文件名)提供给数据网关装置。
[0136] 服务数据同步接口可以通过FTP接口来实现,数据网关装置根据服务源数据的存 储信息,通过FTP方式获取服务源数据。
[0137] 数据网关装置(审核区)与客户端(外网合作区)可以通过接口连接。在一个示例 中,数据网关装置与客户端通过取数申请接口和服务数据推送接口来实现数据连接。
[0138] 取数申请接口可以通过Web Service接口来实现。客户端通过Web Service接口向 数据网关装置提交服务数据提取申请。如果该服务的服务类型是实时服务,则数据网关装 置在对源数据进行脱敏处理、合规检查等审核处理后,将服务数据返回给客户端。
[0139] 服务数据推送接口可以通过FTP接口来实现。在数据网关装置对周期服务的源数 据进行脱敏处理和合规性检查等审核处理后,通过服务数据推送接口将服务数据采用数据 文件方式推送到数据服务需求者指定的FTP。数据服务需求者可以在注册时指定FTP,即,指 定用于接收服务数据的推送FTP连接相关信息,其可以包括:FTP地址、访问端口、登录用户 名、密码、文件存储路径等。
[0140] 可以理解,虽然上述以Web Service接口和FTP接口为例对本发明进行了说明,但 本发明并不限于此,任何可以实现实时数据交换和周期数据读写的接口都可以用于本发 明。
[0141]可以理解的是,以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施 方式,然而本发明并不局限于此。对于本领域内的普通技术人员而言,在不脱离本发明的精 神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本发明的保护范围。
【主权项】
1. 一种数据网关装置,包括: 用户管理模块,其用于管理用户信息; 服务管理模块,其用于管理向用户开放的数据服务的信息; 规则管理模块,其用于针对不同用户和不同的数据服务设置不同合规检查规则; 取数管理模块,其用于接收用户发出的服务的取数请求,向数据中心发出相应的取数 请求,并接受数据中心返回的源数据;以及 数据脱敏处理模块,其用于根据规则管理模块设置的规则,对数据中心返回的源数据 进行合规检查,从而生成服务数据,所述服务数据为满足合规检查的数据,其中 所述取数管理模块还用于将数据脱敏处理模块生成的服务数据提供给用户。2. 根据权利要求1所述的数据网关装置,所述规则管理模块还用于针对不同用户和不 同的数据服务设置不同的数据过滤脱敏规则,并且所述数据脱敏处理模块用于对数据中心 返回的源数据进行过滤脱敏,然后再对过滤脱敏的数据进行合规检查。3. 根据权利要求1所述的数据网关装置,其中,所述取数模块还用于对输出的服务数据 进行计量和计费。4. 根据权利要求3所述的数据网关装置,其中,所述规则管理模块还用于设置用户的服 务数据的输出行数,当满足合规检查的数据的总行数大于所述设置的服务数据的输出行数 时,所述数据脱敏处理模块还用于根据所述规则管理模块设置的服务数据的输出行数,对 满足合规检查的数据,从首行开始,顺序截取一定行数的数据,来生成所述服务数据,其中 所述行数=服务数据的输出行数。5. 根据权利要求1所述的数据网关装置,其中,所述合规检查规则包括:数据字典匹配、 数值范围检查和字段长度检查。6. 根据权利要求1所述的数据网关装置,其中,所述过滤脱敏规则包括:服务输出字段 筛选、字段的条件过滤和字段内容处理。7. 根据权利要求1-6中任一项所述的数据网关装置,还包括: 存储单元,其用于缓存数据中心返回的源数据和数据脱敏处理模块生成的服务数据, 其中所述取数管理模块配置为:首先判断所述存储单元中是否存在客户所请求的数据,如 果所请求的数据已缓存在存储单元中,则将缓存在存储单元中的所请求的数据作为服务数 据提供给客户,否则向数据中心发出相应的取数请求。8. 根据权利要求1-6中任一项所述的数据网关装置,还包括: 安全审计模块,其用于记录操作日志和取数日志,并将操作日志和取数日志存档。9. 根据权利要求1-6中任一项所述的数据网关装置,还包括: 系统管理模块,其用于配置系统的基础数据,所述基础数据包括数据周期和定时器,所 述数据周期为数据中心返回的源数据和所述数据脱敏处理模块生成的服务数据在数据网 关装置中的缓存周期。10. -种客户端可访问的大数据系统,其包括数据中心和数据网关装置,所述数据网关 装置通过接口与所述数据中心连接,其中所述数据网关装置为根据权利要求1-8中任一项 所述的数据网关装置,并且所述数据网关装置配置为能够通过接口与客户端连接。11. 根据权利要求10所述的大数据系统,其中,所述数据网关装置与所述数据中心通过 数据服务信息同步更新接口、取数申请接口、服务数据生成通知接口和服务数据同步接口 来实现数据连接,其中, 通过所述服务信息同步更新接口,所述数据网关装置的服务管理模块中的数据服务的 信息与所述数据中心开放的数据服务保持一致; 通过所述取数申请接口,所述数据网关装置的取数管理模块向所述数据中心发出服务 的取数请求,并且,当所述服务为实时服务时,所述数据中心通过所述取数申请接口向所述 数据网关装置的取数管理模块返回源数据,当所述服务为周期服务且所述服务的帐期为历 史帐期时,所述数据中心通过所述取数申请接口向所述数据网关装置的取数管理模块返回 所请求源数据的存储信息,当所述服务为周期服务且所述服务的帐期为未来帐期时,所述 数据中心通过所述取数申请接口向所述网关装置的取数管理模块返回帐期未到消息; 通过所述服务数据生成通知接口,所述数据中心通知所述数据网关装置的取数管理模 块所请求源数据准备就绪并返回所请求源数据的存储信息;以及 通过所述服务数据同步接口,所述数据网关装置的取数管理模块根据所请求源数据的 存储信息获取源数据。12. 根据权利要求10或11所述的大数据系统,其中,数据网关装置还配置为通过取数申 请接口和服务数据推送接口来与客户端数据连接,其中, 通过取数申请接口,数据网关装置的取数管理模块接受客户端发出的服务的取数请 求,并且数据网关装置的取数管理模块向用户提供所请求的服务数据; 通过服务数据推送接口,数据网关装置的取数管理模块将所请求的服务数据推送到指 定位置。13. 根据权利要求12所述的大数据系统,其中,所述数据服务信息同步更新接口、取数 申请接口、服务数据生成通知接口通过Web Servi ce接口实现,所述服务数据同步接口通过 FTP接口实现;所述取数申请接口通过Web Servi ce接口实现,所述服务数据推送接口通过 FTP接口实现。
【专利摘要】本发明公开了数据网关装置和大数据系统。其中,数据网关装置包括:用户管理模块,其用于管理用户信息;服务管理模块,其用于管理向用户开放的数据服务的信息;规则管理模块,其用于针对不同用户和不同的数据服务设置不同合规检查规则;取数管理模块,其用于接收用户发出的服务的取数请求,向数据中心发出相应的取数请求,并接受数据中心返回的源数据;以及数据脱敏处理模块,其用于根据规则管理模块设置的规则,对数据中心返回的源数据进行合规检查,从而生成服务数据,所述服务数据为满足合规检查的数据,其中所述取数管理模块还用于将数据脱敏处理模块生成的服务数据提供给用户。
【IPC分类】H04L12/66, H04L29/08
【公开号】CN105515963
【申请号】CN201510881918
【发明人】李卫, 魏进武, 张基恒, 张呈宇, 霍玉嵩
【申请人】中国联合网络通信集团有限公司
【公开日】2016年4月20日
【申请日】2015年12月3日
当前第4页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1