数据网关装置和大数据系统的制作方法_3

文档序号:9754430阅读:来源:国知局
之间,则服务源数据中的 月均话费字段的取值小于50或者大于100的数据行都被过滤掉。
[0084] (3)字段内容处理
[0085] 如上所示,字段内容处理包括两种处理。
[0086]第一种是对特殊字符进行替换的处理。例如,上例服务中,规则管理模块针对数据 用户设置对该服务的输出字段"用户编码"进行特殊字符替换,将特殊字符(123)替换处理 成***,则服务源数据中的字段"用户编码"中的"123"都将被替换为"***"。比如,服务源数 据中的"用户编码"为"1235678",经过替换处理后显示为"*#5678"。
[0087]第二种是对连续位数的字符进行截取替换的处理。截取替换包括:将前端N位字符 替换成指定字符,将中间连续N位字符替换成指定字符,或将后端从第几位开始的字符替换 成指定字符。
[0088]当要求将"用户编码"中的前4位换成6666时,如果服务源数据中的"用户编码"为 "1235678",则经过替换处理后显示为:6666678;
[0089]当要求将"用户编码"中的第2至5位换成6666时,如果服务源数据中的"用户编码" 为"1235678",则经过替换处理后显示为:1666678;
[0090]当要求将"用户编码"中从第4位之后的字符换成6666时,如果服务源数据中的"用 户编码"为"1235678",则经过替换处理后显示为:1236666。
[0091]需要说明的是,规则管理模块中必须设置数据的合规检查规则,从而确保提供给 用户的服务数据的合规性。在数据中心已经配置有过滤脱敏功能的情况下,数据网关装置 无需配置数据的过滤脱敏规则。
[0092]数据脱敏模块
[0093]数据脱敏处理模块用于根据规则管理模块的配置,对数据中心返回的源数据进行 过滤脱敏处理,并对过滤脱敏后的数据进行合规检查,如果该数据合规,则该合规的数据作 为服务数据通过取数管理模块提供给用户,否则,停止输出该数据。
[0094]如果规则管理模块还针对不同的用户和不同的数据服务设置服务数据的输出行 数的情况下,当满足合规检查的数据的总行数大于所述设置的服务数据的输出行数时,数 据脱敏处理模块将根据规则管理模块设置的用户的服务数据的输出行数,对满足合规检查 的数据,从首行开始顺序截取一定行数的数据,生成所述服务数据,其中行数=服务数据的 输出行数。
[0095]可以理解,在规则管理模块无需配置数据过滤脱敏规则的情情况下(即,数据中心 已经配置有过滤脱敏功能的情况下),脱敏脱敏模块直接对数据中心返回的源数据或取数 申请接口获取的源数据进行合规检查。
[0096]安全审计模块
[0097] 安全审计模块用于记录操作日志、取数日志,并将操作日志、取数日志进行存档。
[0098] 操作日志是指装置运行中所有用户的操作信息,包括:操作用户账号、被操作用户 账号、操作类型、操作功能、操作内容(如:查询自己待办任务列表,数据量:25条)、操作时间 等。
[0099] 取数日志是指装置运行中所有用户的服务数据的获取操作信息,包括:获取数据 的时间、数据量、服务基本信息、服务输出字段信息(即,服务数据的字段信息)、执行的服务 数据脱敏/合规检查规则等。服务数据的获取操作包括两种情况,一是管理人员主动下载或 抽样下载服务源数据和服务数据,二是数据网关装置将服务数据成功返回给数据用户。
[0100] 安全审计模块能周期性地对操作日志、取数日志进行审计,并支持针对机构用户 或数据用户获取的服务数据的字段级审计,从而可以更准确地追踪敏感字段的数据流向, 使得大数据运营更好地满足运营合规性审计。
[0101] 工单管理模块
[0102]工单管理模块用于处理数据网关装置的工单任务,工单任务包括工单创建和工单 查看。对于需要审批流转的任务,数据网关装置可以自动创建工单。针对不同业务,在业务 流转节点设置工单任务触发条件。系统管理人员可以配置处理各工单任务的用户类型,当 工单任务被触发时,自动生成待办工单给该类用户。例如,对于新用户注册业务,可将注册 信息的提交设置为触发条件,并将处理该新用户注册工单的用户类型设置为审核人员。用 户在提交注册信息后将触发新用户注册工单,并自动生成一个待办工单给在岗的审核人员 处理。
[0103] 此外,可以通过工单管理模块查看工单,管理人员可以查看待办/已办/撤回的工 单。
[0104] 待办工单的查看向处理用户提供工单查询以及处理功能。用户可以根据待办类 型、待办标题、待办内容进行模糊查询。系统将根据待办生成时间进行降序排序展示,用户 直接点击处理进入相应的工单处理页面。工单处理后,会自动流转到已办工单。
[0105] 已办工单的查看将会展示已处理工单历史处理信息,包括:上一步工单处理人、处 理时间、处理意见、处理时间等信息。
[0106] 撤回工单的查看将会展示已撤回工单的详细信息,包括工单撤回原因。通过工单 管理模块,数据网关系统能够实现对各类用户的用户信息和权限的审核流程的运转。
[0107] 系统管理模块
[0108] 系统管理模块用于配置系统的基础数据,该基础数据可以包括数据周期和定时 器。
[0109] 数据周期为服务源数据和服务数据在数据网关装置中的缓存周期,该数据周期可 以预先设置或由运维人员指定或修改。
[0110] 数据的缓存周期的类型可以是年、季、月、周或日,周期单位为天,即在该周期后对 该数据进行清理。
[0111] 系统管理模块每天扫描检查数据是否过期,针对过期的数据,生成过期数据清理 待办工单,通知运维人员,经运维人员审批通过后自动执行过期数据的清理。
[0112] 定时器可以包括:周期服务的任务自动创建监控定时器、服务源数据扫描时间间 隔、数据脱敏/规范性检查时间间隔、FTP推送失败后重新推送的时间间隔、FTP推送重发失 败次数等。
[0113] 图3为本发明实施例提供的用于保障大数据安全运营的数据网关装置的工作流程 图。如图3所示,该工作流程具体包括以下步骤。
[0114] 步骤1:用户通过数据网关装置的用户管理模块进行用户注册。
[0115] 步骤2:数据网关装置的服务管理模块从数据中心同步各种数据服务的信息。
[0116] 步骤3:数据网关装置的规则管理模块对用户进行数据服务查询权限的授权。
[0117] 步骤4:用户通过网关装置的取数管理模块提交服务的取数申请。
[0118] 步骤5:数据网关装置的规则管理模块对用户进行数据服务取数权限的配置。
[0119] 规则管理模块可以针对用户进行服务的取数申请授权、服务数据取数的优先级授 权、服务的数据过滤脱敏规则、服务数据的合规检查规则和服务数据的输出行数等。同一服 务面向不同用户独立配置其数据过滤脱敏规则、合规检查规则、服务数据的输出行数。
[0120] 步骤6:数据网关装置的取数管理向数据中心提交用户授权服务的取数申请。
[0121] 步骤7:数据中心生成服务源数据。特别地,如果用户提交的是实时服务取数申请, 则数据中心生成实时服务源数据。如果用户提交的是周期服务的取数申请,则数据中心将 根据周期服务的生成周期,生成周期服务源数据。
[0122] 步骤8:数据中心将服务源数据(实时服务源数据或者周期服务源数据存储信息) 返回给数据网关装置。
[0123] 步骤9:数据网关装置的数据脱敏处理模块根据规则管理模块中设置的针对该用 户的数据过滤脱敏规则,对服务源数据进行数据过滤脱敏。具体的数据过滤脱敏可参照前 述,此处不再赘述。
[0124] 步骤10:数据网关装置的数据脱敏处理模块根据规则管理模块中针对该用户设置 的合规检查规则,对经过数据过滤脱敏后的服务源数据进行数据合规检查,如果存在不合 规数据,则中断本次服务数据取数流程。
[0125] 如前所述,合规检查可以包括数据字典匹配、数值范围检查和字段长度检查。
[0126] 步骤11:数据网关装置的数据脱敏处理模块根据规则管理模块中针对该用户设置 的服务数据的输出行数,对满足数据合规检查规则的、过滤脱敏后的服务源数据,从首行开 始,顺序截取规定行数的数据,生成服务数据。
[0127] 步骤12:数据网关装置的取数管理模块将服务数据返回给用户,并进行计量、计 费。
[0128] 需要说明的是,实时服务的服务数据可以通过Web Service接口返回给用户。周期 服务的服务数据可以采用数据文件方式通过FTP接口推送到用户的FTP服务器。
[0129] 步骤13:数据网关装置的安全审计模块定期对操作日志、取数日志进行审计。
[0130] 根据本发明的另一方面,还提供了一种客户端可访问的大数据通信系统,如图4所 示,其包括数据中心和数据网关装置,该数据网关装置通过接口与数据中心数据连接,并且 该数据网关装置配置为可通过接口与客户端数据通信。客户端(代表数据服务需求者)发出 的数据服务请求通过数据网关装置发送至数据中心,数据中心返回的服务源数据通过数据 网关装置进行过敏脱敏处理和合规性检查,然后将脱敏后的满足合规性检查的服务数据提 供给客户端,防止了关键和敏感数据的泄漏,满足了合规性。此外,本发明提供的数据网关 装置还可以对发送给客户端的服务数据进行计量或者计费,并对这些服务数据进行审计。 该数据网关装置为上述的数据网关装置,因此,不再对其进行赘述。
[0131]根据大数据系统中的数据的流向,运营商的数据中心构成数据内网区,本发明提 供的数据网关装置
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1