本发明属于互联网领域数据存储及传输领域,具体涉及一种数据存取系统及方法。
背景技术:
随着用户数据量越来越大,特别是征信大数据,系统间接口全量传输易受技术、效率和网络的限制。现有技术方法有四种,一是系统a存储数据将数据传输至接口,接口将所有数据传输传至系统b,由系统b接收并存储数据;二是系统a通过压缩和加密的方式将数据传输至接口,接口将压缩和加密的数据传输至系统b,系统b进行解压和解密,同时接收和存储数据;三是双方约定文件存取方式,系统a以文件形式存储数据到文件服务器,系统b根据约定和服务器权限到文件服务器读取数据;四是系统a以文件形式存储数据到文件服务器,接口将文件名传输至系统b,系统b根据文件名和服务器权限到文件服务器读取数据。
当前,基本每家公司都在用前两种方法,后两种方法在一些大数据领域中采用。但由接口传所有数据每当数据量越来越大的时候,会带来明显的效率和技术问题,同时多个系统都存储数据会带来一致性和数据冗余的问题。而通过文件服务器管理数据存在固有的缺陷,比如并发弱,编程不便,权限控制力度不足,数据间关系弱,数据过大会让管理难度指数增长等问题。
技术实现要素:
本发明的目的在于提供一种安全高效的数据存取系统及方法,从而克服目前数据全量传输存在的数据泄露、数据冗余等缺陷,避免系统间接口全量传输受技术、效率、和网络的限制问题,提供安全高效的数据读取方法。
为了实现以上功能,本发明所采用的技术方案如下:
一种数据存取系统,包括至少一个数据存入子系统,至少一个数据取出子系统,一个面向集合的数据库,所述每个数据存入子系统、数据取出子系统具有唯一的id和安全码,所述各个子系统的id与安全码之间具有唯一的映射关系。
所述面向集合的数据库只能由指定的数据取出子系统读取。
所述面向集合的数据库根据数据存储情况生成集合id。
一种使用上述数据存取系统进行数据存取的方法,所述数据存取方法包括以下步骤:
步骤一,为每个数据存入子系统及数据取出子系统定义唯一的id和安全码,并维护各个子系统id和安全码之间的映射关系;
步骤二,数据存入子系统将数据集合和指定数据取出子系统的id存储到面向集合的数据库中,面向集合的数据库根据数据存储情况生成集合id;
步骤三,面向集合数据库将集合id传输至数据存入子系统;
步骤四,数据存入子系统将集合id接口传到指定的数据取出子系统;
步骤五,所述数据取出子系统通过其安全码和集合id从所述面向集合的数据库中读取数据。
所述面向集合的数据库通过集合id、数据取出子系统id和系统安全码传输数据。
通过每个数据取出子系统定义的唯一id和安全码,完成指定系统的数据读取。
本发明所述的数据存取系统及方法,具有以下优点:
1.大大提高了数据存取的成功率,可以安全高效的进行数据读取,具有良好的市场应用前景;
2.各个子系统的数据统一存储,不需要分别单独存储,公司需要存储的数据量直接下降50%;
3.商业报表、大数据部门读取数据不需要再分别从多个系统的数据库抽取,可直接从一个集合数据库抽取。
附图说明
图1为本发明所提供的一种数据存取系统进行数据存取的示例图。
具体实施方式
为了使本发明技术方案更容易理解,现结合附图采用具体实施例的方式,对本发明的技术方案进行清晰、完整的描述。应当注意,在此所述的实施例仅为本发明的部分实施例,而非本发明的全部实现方式,所述实施例只有示例性,其作用只在于为审查员及公众提供理解本发明内容更为直观明了的方式,而不是对本发明所述技术方案的限制。在不脱离本发明构思的前提下,所有本领域普通技术人员没有做出创造性劳动就能想到的其它实施方式,及其它对本发明技术方案的简单替换和各种变化,都属于本发明的保护范围。
实施例1
场景1-风控进件:
一种风控数据存取系统,该数据存取系统包括多个业务系统、数据集合数据库及风控系统,业务系统为数据存入子系统、风控系统为数据取出子系统,每个业务系统及风控系统具有唯一的id和安全码,数据集合数据库根据数据存储情况生成数据集合id,所述各个子系统的id与安全码之间具有唯一的映射关系。其中,数据集合数据库只能由指定的风控系统读取。具体的,其应用方式为:
1.用户在业务系统填写申请信息;
2.业务系统将申请信息以数据集合的方式存储到数据集合数据库,并标记风控系统id;
3.数据库向业务系统返回数据集合id;
4.业务系统将集合id通过接口发送到风控系统(进件);
5.风控系统根据集合id和系统安全码向数据库请求读取数据;
6.数据库校验系统安全码和集合id并返回数据。
本发明所提供的数据存取系统及方法,大大提高了接口交互存储数据的成功率,可以安全高效的进行数据读取,具有良好的市场应用前景。
实施例2
场景2-用户征信信息查询:
一种征信信息存取系统,该数据存取系统包括多个征信系统、数据集合数据库及风控系统,征信系统为数据存入子系统、风控系统为数据取出子系统,每个征信系统及风控系统具有唯一的id和安全码,数据集合数据库根据数据存储情况生成数据集合id,所述各个子系统的id与安全码之间具有唯一的映射关系。其中,数据集合数据库只能由指定的风控系统读取。具体的,其应用方式为:
1.征信等系统将外部征信、爬网等数据存储到数据集合数据库,并标记风控系统id;
2.数据库向征信等系统返回数据集合id;
3.风控系统在执行规则时按需请求征信等系统查询用户征信信息;
4.征信等系统返回集合id给风控系统;
5.风控系统根据集合id和系统安全码向数据库请求读取数据;
6.数据库校验系统安全码和集合id并返回数据。
本发明所提供的数据存取系统将现有技术中接口交互存储的失败率在1%-5%降低至0.1%。同时多个系统的数据不需要分别单独存储,公司需要的存储的数据量直接下降50%,各子系统读取数据不需要再分别从多个子系统的数据库抽取,可直接从一个数据集市抽取。该数据存取系统及方法可以安全高效的进行数据读取,具有良好的市场应用前景。