数据网关装置和大数据系统的制作方法
【技术领域】
[0001]本发明属于数据处理技术领域，具体涉及一种数据网关(Gateway)装置和一种包 括该数据网关装置的大数据系统，其可保障大数据的安全运营。
【背景技术】
[0002] 在大数据时代，盘活数据资产、开放共享数据已成为大势所趋。开放数据服务、实 现大数据的运营和变现是当前大数据发展的热点问题。然而，在大数据的运营或者变现过 程中，如何保证数据的合规性、避免敏感信息的泄漏、对交易数据进行计量或者计费以及对 数据进行审计等成为了当前亟需解决的问题。
【发明内容】
[0003] 本发明的目的是提供一种数据网关装置和一种包括该数据网关装置的大数据系 统，其可以解决现有技术中存在的上述至少一个问题。
[0004] 为实现本发明的目的，根据本发明的一方面，提供了一种数据网关装置，其包括：
[0005] 用户管理模块，其用于管理用户信息；
[0006] 服务管理模块，其用于管理向用户开放的数据服务的信息；
[0007] 规则管理模块，其用于针对不同用户和不同的数据服务设置不同合规检查规则；
[0008] 取数管理模块，其用于接收用户发出的服务的取数请求，向数据中心发出相应的 取数请求，并接受数据中心返回的源数据；以及
[0009]数据脱敏处理模块，其用于根据规则管理模块设置的规则，对数据中心返回的源 数据进行合规检查，从而生成服务数据，所述服务数据为满足合规检查的数据，其中
[0010] 所述取数管理模块还用于将数据脱敏处理模块生成的服务数据提供给用户。
[0011] 可选地，所述规则管理模块还可以用于针对不同用户和不同的数据服务设置不同 的数据过滤脱敏规则，并且所述数据脱敏处理模块可以用于对数据中心返回的源数据进行 过滤脱敏，然后再对过滤脱敏的数据进行合规检查。
[0012] 可选地，所述取数模块还可以用于对输出的服务数据进行计量和计费。
[0013] 可选地，所述规则管理模块还可以用于设置用户的服务数据的输出行数，当满足 合规检查的数据的总行数大于所述设置的服务数据的输出行数时，所述数据脱敏处理模块 还可以用于根据所述规则管理模块设置的服务数据的输出行数，对满足合规检查的数据， 从首行开始，顺序截取一定行数的数据，来生成所述服务数据，其中所述行数=服务数据的 输出行数。
[0014] 可选地，所述取数管理模块还可以用于针对用户的取数请求生成取数任务，并提 供取数任务的查看功能。
[0015] 可选地，所述用户管理模块还可以用于对不同类型的用户的权限进行配置，所述 权限包括功能菜单访问权限。
[0016] 所述合规检查规则可以包括:数据字典匹配、数值范围检查和字段长度检查。
[0017] 所述数据过滤脱敏规则可以包括:服务输出字段筛选、字段的条件过滤和字段内 容处理。
[0018] 可选地，所述数据网关装置还可以包括存储单元，其用于缓存数据中心返回的源 数据和数据脱敏处理模块生成的服务数据，其中所述取数管理模块配置为:首先判断所述 存储单元中是否存在客户所请求的数据，如果所请求的数据已缓存在存储单元中，则将缓 存在存储单元中的所请求的数据作为服务数据提供给客户，否则向数据中心发出相应的取 数请求。
[0019] 可选地，所述数据网关装置还可以包括安全审计模块，其用于记录操作日志和取 数日志，并将操作日志和取数日志存档。
[0020] 可选地，所述数据网关装置还可以包括工单管理模块，其用于处理系统工单任务， 所述工单任务包括工单创建和工单查看。
[0021] 可选地，所述数据网关装置还可以包括系统管理模块，其用于配置系统的基础数 据，所述基础数据包括数据周期和定时器，所述数据周期为数据中心返回的源数据和所述 数据脱敏处理模块生成的服务数据在数据网关装置中的缓存周期。
[0022] 根据本发明的另一方面，还提供了一种客户端可访问的大数据系统，其包括数据 中心和数据网关装置，所述数据网关装置通过接口与所述数据中心连接，其中所述数据网 关装置为上述任意一种数据网关装置，并且所述数据网关装置配置为能够通过接口与客户 端连接。
[0023] 所述数据网关装置与所述数据中心可以通过数据服务信息同步更新接口、取数申 请接口、服务数据生成通知接口和服务数据同步接口来实现数据连接，其中，
[0024] 通过所述服务信息同步更新接口，所述数据网关装置的服务管理模块中的数据服 务的信息与所述数据中心开放的数据服务保持一致；
[0025]通过所述取数申请接口，所述数据网关装置的取数管理模块向所述数据中心发出 服务的取数请求，并且，当所述服务为实时服务时，所述数据中心通过所述取数申请接口向 所述数据网关装置的取数管理模块返回源数据，当所述服务为周期服务且所述服务的帐期 为历史帐期时，所述数据中心通过所述取数申请接口向所述数据网关装置的取数管理模块 返回所请求源数据的存储信息，当所述服务为周期服务且所述服务的帐期为未来帐期时， 所述数据中心通过所述取数申请接口向所述网关装置的取数管理模块返回帐期未到消息；
[0026] 通过所述服务数据生成通知接口，所述数据中心通知所述数据网关装置的取数管 理模块所请求源数据准备就绪并返回所请求源数据的存储信息；以及
[0027] 通过所述服务数据同步接口，所述数据网关装置的取数管理模块根据所请求源数 据的存储信息获取数据。所述数据服务信息同步更新接口、取数申请接口、服务数据生成通 知接口可以通过Web Service接口实现;所述服务数据同步接口可以通过FTP接口实现。
[0028] 数据网关装置还配置为可以通过取数申请接口和服务数据推送接口来与客户端 数据连接，其中，
[0029] 通过取数申请接口，数据网关装置的取数管理模块接受客户端发出的服务的取数 请求，并且数据网关装置的取数管理模块向用户提供所请求的服务数据；
[0030] 通过服务数据推送接口，数据网关装置的取数管理模块将所请求的服务数据推送 到指定位置。
[0031] 所述取数申请接口可以通过Web Service接口实现;所述服务数据推送接口可以 通过FTP接口实现。
[0032] 本发明提供的数据网关装置和大数据系统中，针对不同用户和不同的数据类型， 利用不同的合规检查规则对数据中心提供的源数据进行审核，保证了提供给用户的服务数 据的规范性;对于定义的数据中的敏感信息，根据设置的规则进行过滤脱敏，保障交易输出 的数据（即，服务数据）中无敏感内容;对于合规的脱敏后的输出数据，按照不同用户、交易 输出的数据量大小和数据价值属性进行计量和计费;此外，数据输出或者交易过程中，对数 据输出对象（即，交易用户）、输出数据的时间以及输出数据的格式等进行永久性存档，以便 于未来的运营合规性审计。
【附图说明】
[0033] 图1为本发明一个实施例提供的数据网关装置的示意图；
[0034] 图2为本发明另一个实施例提供的数据网关装置的示意图；
[0035]图3为本发明实施例提供的数据网关装置的工作流程图；以及
[0036] 图4为本发明实施例提供的大数据系统的示意图。
【具体实施方式】
[0037] 为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方 式对本发明作进一步详细描述。
[0038] 本发明一个实施例提供了一种用于保障大数据安全运营的数据网关装置。如图1 所示，该数据网关装置可以包括用户管理模块、服务管理模块、规则管理模块、取数管理模 块和数据脱敏处理模块。用户管理模块用于管理用户信息。服务管理模块用于管理向用户 开放的数据服务的信息;规则管理模块用于针对不同用户和不同的数据服务设置不同合规 检查规则;取数管理模块用于接收用户发出的服务的取数请求，向数据中心发出相应的取 数请求，并接受数据中心返回的源数据;数据脱敏处理模块用于根据规则管理模块设置的 规则，对数据中心返回的源数据进行合规检查，从而生成服务数据，所述服务数据为满足合 规检查的数据;其中，所述取数管理模块还用于将数据脱敏处理模块生成的服务数据提供 给用户。
[0039] 根据本发明的其他实施例，本发明提供的用于保障大数据安全运营的数据网关装 置还可以包括安全审计模块、规则管理模块、工单管理模块和/或系统管理模块。例如，图2 示出了本发明另一个实施例提供的数据网关装置的示意图。
[0040] 以下，将参照图1和图2对数据网关装置的各功能模块进行详细说明。
[00411用户管理模块
[0042]用户管理模块用于管理用户信息，并可以对不同类型的用户的功能菜单访问权限 进行配置，从而可支持多种类型的用户管理，实现多租户管理。
[0043]用户可包括数据用户和机构用户。数据用户是数据服务的需求用户或第三方系 统/应用，并且每个数据用户必须关联一个机构，数据用户可以申请获取数据服务，并获得 合规的服务数据。机构用户作为数据用户的责任人，企业或组织机构的责任人，一个机构下 只有一个机构用户，但可以拥有多个数据用户。可以理解，机构用户和数据用户均可以自行 申请，通过对机构用户和数据用户的申请及修改进行审核，可以更好地追踪和记录服务数 据的流向。
[0044]用户还可以包括后台业务管理人员，例如，可以包括数据安全管理员和审核人员。 数据安全管理员配置数据过滤、脱敏及合规检查规则。审核人员审核用户的注册/修改/注 销、分配用户的密级、数据服务查看权限、取数权限、取数优先级权