一种分层级联的数据处理方法及系统的制作方法
【技术领域】
[0001] 本发明设及数据处理技术领域，尤其设及一种分层级联的数据处理方法及系统。
【背景技术】
[0002] 近年来，随着中国金融市场的持续拓展，各类金融产品应运而生，给金融风险控制 带来了巨大挑战。金融企业为了加强金融风险的监管，对反洗钱、业务运营风险、信用卡风 险等多个风险发生领域进行严密监控。然而，各领域之间的关系十分复杂并且多变，为了使 风险监控能够实现全领域覆盖，整个风险监控的体系就变得非常庞大，而且逻辑结构复杂； 此外，设及监控的数据量呈指数级增长，导致批量处理数据时间越来越长，并且数据所占用 的存储空间也越来越多。
[0003] -般地，金融企业根据具体的金融风险需求，设计各种监控模型来实现对数据的 监控处理。如图1所示，传统的模型监控处理方法是先接收所有的源数据，然后直接对每个 监控模型进行独立计算，并将计算结果分别存储到临时结果表;基于临时结果表中的数据 作统一处理，获取命中模型的目标数据，W及所监控的实体与模型之间的关系集。
[0004] 在上述处理方式中，各个模型的临时结果表占用了大量的存储空间，而且CPU需耗 费大量I/O时间去访问运些结果表中的数据;此外，各个模型之间即便有公共的特征计算， 也是多次重复处理。因而，现有基于传统的模型监控处理方法难于满足时效性与灵活性，存 在W下几个方面的不足：
[0005] (1)每个模型都是独立进行计算，没有对模型中的公共特征计算结果进行共享，引 发数据重复计算，造成系统资源的浪费，并使得系统处理效率不高；
[0006] (2)特征与模型、模型与高级模型之间的关系缺乏灵活的配置，不利于模型的调整 和优化，无法做到快速响应风险的变化。
【发明内容】
[0007] 本发明的目的是为了解决传统监控模型中处理效率低，数据重复处理，冗余存储 W及信息不共享，扩展性差的问题，提出了一种分层级联的数据处理方法及系统。
[000引为了达到上述目的，本发明实施例提供一种分层级联的数据处理方法，包括:接收 来自不同应用的源数据，并对所述源数据进行处理，生成基础数据-属性关系表并进行存 储;获取预存的特征-属性关系，并根据所述基础数据-属性关系表W及所述基础数据中的 实体字段，生成实体-特征关系表并进行存储；获取预存的模型-特征关系，并根据所述实 体-特征关系表，生成实体-模型关系表并进行存储;获取预存的高级模型-模型关系，并根 据所述实体-模型关系表，生成实体-高级模型关系表并进行存储;查找所述实体-高级模型 关系表、实体-模型关系表、实体-特征关系表，分别得到符合高级模型标准、模型标准、特征 标准的实体;根据所述基础数据-属性关系表、特征-属性关系、模型-特征关系W及高级模 型-模型关系，通过关系矩阵计算，得到符合高级模型标准、模型标准、特征标准的基础数 据。
[0009] 进一步地，在一实施例中，所述接收来自不同应用的源数据，并对所述源数据进行 处理，生成基础数据-属性关系表，包括:采集来自不同应用的不同格式的源数据，对所述源 数据进行统一格式的处理;将进行格式处理后的数据增加各个属性字段，按照实体的属性 进行分类;将分类后的数据按照不同类型进行属性标识，构建所述基础数据-属性关系表。
[0010] 进一步地，在一实施例中，获取预存的特征-属性关系，并根据所述基础数据-属性 关系表W及所述基础数据中的实体字段，生成实体-特征关系表并进行存储，包括:获取预 存的特征-属性关系，与所述基础数据-属性关系进行关系矩阵运算，得到基础数据-特征关 系;接收所述基础数据-特征关系，W所述基础数据中的实体字段为条件进行归集，生成实 体-特征关系表并进行存储。
[0011] 进一步地，在一实施例中，获取预存的模型-特征关系，并根据所述实体-特征关系 表，生成实体-模型关系表并进行存储，包括:获取预存的模型-特征关系，与所述基础数据- 特征关系进行关系矩阵运算，得到基础数据-模型关系;接收所述基础数据-模型关系，W所 述基础数据中的实体字段为条件进行归集，生成实体-模型关系表并进行存储。
[0012] 进一步地，在一实施例中，获取预存的高级模型-模型关系，并根据所述实体-模型 关系表，生成实体-高级模型关系表并进行存储，包括:获取预存的高级模型-模型关系，与 所述基础数据-模型关系进行关系矩阵运算，得到基础数据-高级模型关系;接收所述基础 数据-高级模型关系，W所述基础数据中的实体字段为条件进行归集，生成实体-高级模型 关系表并进行存储。
[0013] 进一步地，在一实施例中，查找所述实体-高级模型关系表、实体-模型关系表、实 体-特征关系表，分别得到符合高级模型标准、模型标准、特征标准的实体，包括:查找所述 实体-高级模型关系表、实体-模型关系表、实体-特征关系表;其中，所述实体-高级模型关 系表中数值为1的，即为符合高级模型标准的实体;所述实体-模型关系表中数值为1的，即 为符合模型标准的实体;所述实体-特征关系表中数值为1的，即为符合特征标准的实体。
[0014] 进一步地，在一实施例中，根据所述基础数据-属性关系表、特征-属性关系、模型- 特征关系W及高级模型-模型关系，通过关系矩阵计算，得到符合高级模型标准、模型标准、 特征标准的基础数据，包括:对所述基础数据-属性关系、特征-属性关系进行关系矩阵运 算，得到特征-基础数据关系，该关系中数值为1的，即为符合特征标准的基础数据;对所述 基础数据-属性关系表、特征-属性关系、模型-特征关系进行关系矩阵运算，得到模型-基础 数据关系，该关系中数值为1的，即为符合模型标准的基础数据;对所述基础数据-属性关系 表、特征-属性关系、模型-特征关系W及高级模型-模型关系进行关系矩阵运算，得到高级 模型-基础数据关系，该关系中数值为1的，即为符合高级模型标准的基础数据。
[0015] 为了达到上述目的，本发明实施例还提供一种分层级联的数据处理系统，包括:基 础数据预处理装置，用于接收来自不同应用的源数据，并对所述源数据进行处理，生成基础 数据-属性关系表并进行存储;特征层处理装置，用于获取预存的特征-属性关系，并根据所 述基础数据-属性关系表W及所述基础数据中的实体字段，生成实体-特征关系表并进行存 储;模型层处理装置，用于获取预存的模型-特征关系，并根据所述实体-特征关系表，生成 实体-模型关系表并进行存储;高级模型层处理装置，用于获取预存的高级模型-模型关系， 并根据所述实体-模型关系表，生成实体-高级模型关系表并进行存储；目标数据获取装置， 用于查找所述实体-高级模型关系表、实体-模型关系表、实体-特征关系表，分别得到符合 高级模型标准、模型标准、特征标准的实体；w及根据所述基础数据-属性关系表、特征-属 性关系、模型-特征关系W及高级模型-模型关系，通过关系矩阵计算，得到符合高级模型标 准、模型标准、特征标准的基础数据;数据存储装置，用于存储所述基础数据-属性关系表、 特征-属性关系表、模型-特征关系表、高级模型-模型关系表、实体-特征关系表、实体-模型 关系表W及实体-高级模型关系表。
[0016] 进一步地，在一实施例中，所述基础数据预处理装置包括:基础数据采集单元，用 于采集来自不同应用的不同格式的源数据，对所述源数据进行统一格式的处理;基础数据 分类单元，用于将进行格式处理后的数据增加各个属性字段，按照实体的属性进行分类;基 础数据标识单元，用于将分类后的数据按照不同类型进行属性标识，构建所述基础数据-属 性关系表。
[0017] 进一步地，在一实施例中，所述特征层处理装置包括:特征逻辑计算单元，用于获 取预存的特征-属性关系，与所述基础数据-属性关系进行关系矩阵运算，得到基础数据-特 征关系;实体-特征矩阵构建单元，用于接收所述基础数据-特征关系，W所述基础数据中的 实体字段为条件进行归集，生成实体-特征关系表并进行存储。
[0018] 进一步地，在一实施例中，所述模型层处理装置包括:模型逻辑计算单元，用于获 取预存的模型-特征关系，与所述基础数据-特征关系进行关系矩阵运算，得到基础数据-模 型关系;实体-模型矩阵构建单元，用于接收所述基础数据-模型关系，W所述基础数据中的 实体字段为条件进行归集，生成实体-模型关系表并进行存储。
[0019] 进一步地，在一实施例中，所述高级模型层处理装置包括：高级模型逻辑计算单 元，用于获取预存的高级模型-模型关系，与所述基础数据-模型关系进行关系矩阵运算，得 到基础数据-高级模型关系;实体-高级模型矩阵构建单元，用于接收所述基础数据-高级模 型关系，W所述基础数据中的实体字段为条件进行归集，生成实体-高级模型关系表并进行 存储。
[0020] 进一步地，在一实施例中，所述目标数据获取装置包括:特征目标数据获取单元， 用于对所述基础数据-属性关系、特征-属性关系进行关系矩阵运算，得到特征-基础数据关 系，该关系中数值为1的，即为符合特征标准的基础数据;模型目标数据获取单元，用于对所 述基础数据-属性关系表、特征-属性关系、模型-特征关系进行关系矩阵运算，得到模型-基 础数据关系，该关系中数值为1的，即为符合模型标准的基础数据;高级模型数据获取单元， 用于对所述基础数据-属性关系表、特征-属性关系、模型-特征关系W及高级模型-模型关 系进行关系矩阵运算，得到高级模型-基础数据关系，该关系中数值为1的，即为符合高级模 型标准的基础数据。
[0021] 进一步地，在一实施例中，所述目标数据获取装置还用于查找所述实体-高级模型 关系表、实体-模型关系表、实体-特征关系表;其中，所述实体-高级模型关