金融交易实时反欺诈系统的制作方法
本发明涉及数据处理技术领域，尤其涉及一种金融交易实时反欺诈系统。
背景技术：
近年来，随着国内银行业竞争的不断加剧以及客户需求的日益增多，商业银行不断创新产品和服务，以快速提升自身竞争力。与此同时，业务种类的增加也为商业银行和客户带来了更多的风险：一方面，业务种类的多样化使风险发生的机率增加，而与之配套的风险防御措施的相对滞后则导致商业银行在业务风险防御上的势单力薄；另一方面，客户对一些新的业务模式了解不深入，安全意识相对不足，这也给不法分子造成可乘之机。上述原因导致近年来银行的资金损失，威胁到客户的财产安全行为在银行领域频繁发生。
抵御威胁，降低损失一直是商业银行不懈努力的方向和目标，要达到这样的目标我行需要搜集更多，更全面和更详细的威胁情报作为威胁行为决断的依据，然而传统方法，只依赖银行系统内部的数据，往往只能获取局部的简单风险信息，判断风险行为的效率和准确性都有限，无法构建和预测完整的风险行为的产生。
技术实现要素：
本发明提供一种金融交易实时反欺诈系统，用于解决现有技术中判断风险行为的效率和准确性都有限的问题。
本发明提供一种金融交易实时反欺诈系统，包括相互数据连接的情报交换平台、情报分析平台和情报应用处置平台，其中：
情报交换平台，用于与第三方连接，获得所述第三方在第一预设时间段内的情报数据，并对获得的情报数据根据预设标准进行整合处理及存储；
情报分析平台，用于与所述情报交换平台、本地数据平台连接，获得所述情报交换平台整合处理后的情报数据和本地数据平台在第二预设时间段内的情报数据，并对获得的情报数据进行处理获得风险参照数据集；
情报应用处置平台，用于与所述情报交换平台、情报分析平台和本地数据平台连接，获得所述情报交换平台处理后的情报数据、所述情报分析平台获得的风险参照数据集以及本地数据平台所获得的实时情报数据，并对获得的情报数据进行处理获得实时交易分析数据，将实时交易分析数据与风险参照数据集进行匹配获得匹配结果。
优选地，所述情报交换平台包括数据接入模块、数据存储模块、数据发布模块和管理监控模块，其中：
数据接入模块，用于与第三方进行数据交互的授权认证处理以及外部设备的数据调用请求认证处理；
数据存储模块，用于存储第三方的情报数据；
数据发布模块，用于第三方的情报数据的共享、调用和查询；
管理监控模块，用于监控数据接入模块、数据存储模块和数据发布模块的运行状态。
优选地，所述情报分析平台包括情报数据采集模块、情报数据存储模块、情报数据分析模块和情报管理模块，其中：
情报数据采集模块，用于与所述情报交换平台、本地数据平台连接，获得所述情报交换平台整合处理后的情报数据和本地数据平台在第二预设时间段内的情报数据；
情报数据存储模块，用于对所述数据采集模块获得的情报数据进行存储；
情报数据分析模块，用于对所述数据模块获得的情报数据进行处理获得风险参照数据集；
情报管理模块，用于对所述风险参照数据集进行可视化操作。
优选地，所述情报应用处置平台包括数据接入预处理模块、模型分析模块、存储模块、监管模块和授权管理模块，其中：
数据接入预处理模块，用于与所述情报交换平台和本地数据平台，获得所述情报交换平台处理后的情报数据和本地数据平台所获得的实时情报数据并整合处理；
模型分析模块，用于与所述情报分析平台连接，获得所述风险参照数据集，并对所述数据接入预处理模块整合处理后的情报数据进行分析处理得到风险数据，将风险数据与风险参照数据集进行匹配，得到匹配结果；
存储模块，用于存储所述匹配结果，以及对实时情报数据进行存储及更新；
授权管理模块，用于接口的访问控制；
监管模块，用于监控数据接入预处理模块、模型分析模块、存储模块和授权管理模块的运行状态。
优选地，所述数据接入模块包括请求过滤单元、第三方对接单元、结果处理单元、日志记录单元和异常处理单元，其中：
请求过滤单元，用于接收调用请求，验证请求的身份，根据验证结果执行对应指令；
第三方对接单元，用于匹配获得与第三方对接的特定参数，并与第三方对接获得情报数据；
结果处理单元，用于对获得的情报数据根据预设格式进行修改处理；
日志记录单元，用于记录调用及对接的日志信息；
异常处理单元，用于对调用及对接过程中的异常状态进行处理，并反馈异常信息。
优选地，所述数据存储模块包括数据处理单元、关系型数据库存储单元和内存数据库存储单元，其中：
数据处理单元，用于对获得的情报数据根据预设标准进行整合处理；
关系型数据库存储单元，用于将整合处理后的情报数据备份存储；
内存数据库存储单元，用于存储请求成功后的情报数据。
优选地，所述数据接入预处理模块包括数据接入和适配单元和数据清洗单元，其中：
数据接入和适配单元，用于将情报分析平台、情报交换平台、本地数据平台的情报数据进行数据仓库的建立；
数据清洗单元，用于将数据仓库内的数据进行整理、适配、过滤和整合处理。
优选地，所述本地数据平台的情报数据包括业务数据、日志数据和用户行为数据。
优选地，所述第三方包括移动运营商、银行和征信机构。
优选地，情报数据分析模块，用于对所述数据模块获得的情报数据采用神经网络模型进行处理获得风险参照数据集。
由上述技术方案可知，本发明实施例提供的金融交易实时反欺诈系统，通过引入和充分的利用行外数据，并结合行内业务和系统日志，采用大数据离线计算方式，长周期分析用户行为数据输出情报数据和机器学习模型，再对银行业务系统采用大数据实时分布式流式计算的方式应用该情报和模型，将这些数据结合在一起应用到银行系统中，有效的降低了银行业务系统整体风险。
附图说明
图1为本发明实施例提供的金融交易实时反欺诈系统的结构示意图；
图2为本发明实施例提供的情报交换平台的结构示意图；
图3为本发明实施例提供的情报分析平台的结构示意图；
图4为本发明实施例提供的神经网络模型的展示图；
图5为本发明实施例提供的情报应用处置平台的结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1示出了本发明实施例提供一种金融交易实时反欺诈系统，包括相互数据连接的情报交换平台、情报分析平台和情报应用处置平台，其中：
情报交换平台，用于与第三方连接，获得所述第三方在第一预设时间段内的情报数据，并对获得的情报数据根据预设标准进行整合处理及存储。其中，第三方可包括移动运营商(移动、连通和电信)、银行(如人行)和征信机构。
情报分析平台，用于与所述情报交换平台、本地数据平台连接，获得所述情报交换平台整合处理后的情报数据和本地数据平台在第二预设时间段内的情报数据，并对获得的情报数据进行处理获得风险参照数据集。其中，所述本地数据平台可为当前所使用该系统的银行，本地数据平台的情报数据包括银行的业务数据、日志数据和用户行为数据。
情报应用处置平台，用于与所述情报交换平台、情报分析平台和本地数据平台连接，获得所述情报交换平台处理后的情报数据、所述情报分析平台获得的风险参照数据集以及本地数据平台所获得的实时情报数据，并对获得的情报数据进行处理获得实时交易分析数据，将实时交易分析数据与风险参照数据集进行匹配获得匹配结果。
本发明实施例所述的金融交易实时反欺诈系统的情报交换平台用于接入银行外部数据，如与各个移动运营商、其他银行、征信机构、p2p平台网贷数据完成对接，但不局限于上述机构。情报交换平台与各个机构完成对接后会获取到外部情报数据，并对情报数据按预设标准进行整合处理及存储。
情报分析平台会对从情报交换平台处获取已整合处理后的情报数据，并采用预设计算模型对情报数据进行处理获得风险参照数据集。该风险参照数据集为处于不同风险下的参照对象集。
情报应用处置平台会获得实时情报数据，并将该实时情报数据与情报交换平台处的情报数据进行分析处理获得实时交易分析数据，然后判断该实时交易分析数据匹配在哪个风险参照数据集，以得到匹配结果，然后将匹配结果进行公布，以供用户直接接收或查询。
下面对本发明实施例所述的各个平台进行解释说明：
如图2所示，所述情报交换平台包括数据接入模块、数据存储模块、数据发布模块和管理监控模块，其中：
数据接入模块，用于与第三方进行数据交互的授权认证处理以及外部设备的数据调用请求认证处理。
该模块可以统一接入运营商、安全企业、互联网企业、上级监管机构、商业银行等机构和组织提供的数据。
该模块具体包括以下功能单元：
请求过滤单元，用于接收api调用请求，验证请求的身份，根据验证结果执行对应指令。如果验证成功，则允许调用数据；反之，直接终止请求，返回相应的错误信息。
第三方对接单元，用于匹配获得与第三方对接的特定参数，并与第三方对接获得情报数据。
结果处理单元，用于对获得的情报数据根据预设格式进行修改处理，以得到所需的情报数据。
日志记录单元，用于记录调用及对接的日志信息。
异常处理单元，用于对调用及对接过程中的异常状态进行捕捉和处理，并反馈异常信息。
数据存储模块，用于存储第三方的情报数据。但接入得到的第三方的情报数据需进行统一处理和存储管理，保障数据的一致性和安全性。同时实现数据的标准化，即同一意义的数据项在多个数据源中可能名称、属性等各不相同，但在数据接入后，统一处理成预设标准格式的数据。处理后的情报数据分别存储在关系型数据库以及内存数据库中，其中关系型数据库中的数据留做备份，内存数据库中的数据可以用来提高系统查询性能。
该模块具体包括以下功能单元：
数据处理单元，用于对获得的情报数据根据预设标准进行整合处理。
关系型数据库存储单元，用于将整合处理后的情报数据备份存储；
内存数据库存储单元，用于存储请求成功后的情报数据。
数据发布模块，用于第三方的情报数据的共享、调用和查询。在本发明实施例中，数据发布包含对内发布和对外发布。
对内发布指定统一数据使用规范，以标准api接口形式，把处理后的数据供行内系统使用。
对外发布指把可以公开共享的数据，共享给上级监管机构和同行业的其他商业银行。
对外发布还指用户的业务查询等。
在对外发布过程中，涉及共享及调用，需接受各类请求，完成业务处理。同时，调用过程有严格的过滤筛选机制，杜绝非法请求，同时也有完善的日志记录功能，通过对日志的查询可以清晰明了的知道的用户的调用情况；同时针对可能出现的问题，有着完善的异常处理逻辑，友好的提醒用户。如下所述：
a)ip黑名单过滤
维护ip黑名单库，针对每次对接口发起的请求，解析请求ip，判断ip是否在黑名单中，如果存在直接返回错误提示，终止该次请求。
b)用户身份验证
从请求参数中获取用户的身份信息(用户key)，判断是否为合法用户，如果不合法直接返回错误提示，终止当前请求。
c)接口权限验证
从请求参数中获取请求的接口信息，判断用户是否拥有该接口的调用权限，如果没有直接返回错误提示，终止当前请求。
d)用户余额验证
根据当前请求的用户身份信息查询用户余额，判断余额是否充足，根据判断结果给出相应的提示信息。
e)请求日志记录
用户请求分为接口调用请求以及充值请求，判断请求类别，针对不同的类别做相应的请求处理，分不同的方式来记录请求日志。
f)系统异常处理
在完善的异常处理机制下，针对可能出现的问题做相应的异常捕获，经过处理后的异常信息将会以友好的形式返回给用户。同时我方开发人员也可以通过查看后台日志就可以直观的发现系统问题所在,便于后期维护。
在对外发布过程中，涉及可视化查询服务。为用户提供可视化查询服务，用户登录系统，在前端进行接口查询、余额充值、消费查询、调用查询等操作，直接在前端通过可视化方式返回用户操作结果。如下陈述：
a)用户注册登录
提供新用户注册和登录功能，方便用户对系统的使用。
b)在线查询
对外提供可视化查询服务，选择不同的接口查询功能，输入查询参数即可通过可视化的方式得到服务输出。
c)接口信息
显示当前所有的接口信息，包括名称，接口类型和价格等，通过选择不同的接口类别，对应给出该类别下接口的列表信息。
接口详情查看功能显示接口的详细描述信息，包括请求地址、请求参数、返回字段、请求示例等。
d)个人信息管理
显示用户当前所有拥有的全部接口信息，并且可以查看每个接口的描述文档以及调用记录。同时也可以查看当前用户基本资料，账户余额等信息，也可以通过密码修改功能修改当前登录密码。
e)财务中心
查看账户余额信息，同时提供在线充值的功能。用户可通过充值记录查询功能查看自己的充值记录，也可以通过消费记录查询功能查询自己指定时间内的消费情况。
管理监控模块，用于监控数据接入模块、数据存储模块和数据发布模块的运行状态。管理监控模块主要供行内管理人员及各条线数据使用人员管理使用。主要用于各模块所涉及参数的统一管理，配合其他各个模块的运行。通过管理监控模块可以管理数据接入渠道，了解数据使用情况，发布数据接入及使用公告，为各条线开通数据使用权限等。同时也提供对系统整体运行情况以及访问情况的监控，统计监控结果信息，以可视化方式展示给系统管理员，根据统计结果有针对性的对系统局部功能做调整或优化，不断提升系统整体性能。下面为该管理监控模块所执行的功能：
a)用户管理
包括对用户身份信息以及账户信息的管理，通过用户管理模块可以灵活的对用户信息进行增删改操作。
b)角色管理
管理员登陆系统可以设置系统角色，不同系统角色对应不同的操作权限，通过角色信息将操作权限进行分类，从而可以便捷的控制不同用户的操作权限。
c)权限管理
管理员登陆系统，进入用户管理页面，对不同的用户分配不同的角色权限。用户分配了对应的权限后就拥有了该角色下所有的操作权限，如果设置多个角色则取各个角色的权限的交集。
d)系统接口管理
随着系统不断的扩充接口信息，系统需要对接口信息进行统一的管理和设置，
e)接口分类信息管理
随着接口数量的增加，需要对接口按照不同的类别进行划分，类别信息需要单独进行管理。
f)系统统计
系统统计主要包括用户的消费行为统计、接口调用情况统计、用户访问情况统计。
g)公告发布
系统实时发布最新动态通知公告，包括新开通接口公告、新开通在线查询功能公告、用户余额不足告警、系统升级公告等。
如图3所示，所述情报分析平台包括情报数据采集模块、情报数据存储模块、情报数据分析模块和情报管理模块，其中：
情报数据采集模块，用于与所述情报交换平台、本地数据平台连接，获得所述情报交换平台整合处理后的情报数据和本地数据平台在第二预设时间段内的情报数据。原始情报数据主要来源于情报交换平台和采集行内数据两大部分。数据可以被批量导入到分布式文件系统中。
情报数据存储模块，用于对所述数据采集模块获得的情报数据进行存储。对接的情报数据需要通过情报数据存储模块分别存储在分布式文件系统以及内存数据库中，其中分布式文件系统中存储的是海量的原始情报信息，内存数据库中的数据是分析处理完的数据，主要是供其它系统使用。
从数据交换平台对接的数据及行内的情报数据直接存储到分布式文件系统(hdfs)中，并作分类备份。
分析平台对原始情报信息分析处理，形成各种基础情报信息库。最终的情报信息库保存在内存数据库中，供情报应用处置平台使用。
情报数据分析模块，用于对所述数据模块获得的情报数据进行处理获得风险参照数据集。
情报数据分析是通过对采集的情报数据(如交易日志、客户行内外信息、系统日志、投诉数据等)进行有监督(如随机森林、决策树、逻辑回归等)、无监督(如k-means,apriori等)的学习，形成包含多个模型的风险交易预测模型、病毒木马模型库、客户画像库和各种风险信息库。
在本发明实施例中，可采用神经网络模型进行分析处理。神经网络就是根据模型特征能自主推导、自动加权、减权，自主学习的大数据安全网络。大数据神经网络以病毒攻击异常库、用户操作轨迹库、欺诈信息库、失信信息库、高危漏洞库、交易特征行为库、异常电话信息库、异常设备信息库为基础，通过用户输入的相关信息以不同维度、自我训练、自我学习、推导生成的神经网络模型。该模型根据异常库特征，自适应新的行为规范，通过该模型分层处理加权、减权得出该用户的实际权重。
具体模型展示如图4所示，从图中可以看出，layerl1为输入端子，也就是相关要素。layerl2为中间隐藏核心计算层，隐藏层的个数根据前端输入元素个数而定，layerl3为输出端子，输出端子可以有多个可根据业务需求。计算公式展示如下：
该公式为加权求和法，x1，x2，x3代表初始特征；w11，w12，w13，w21，w22，w23，w31，w32，w33代表权重(weight)，即参数，是特征的缩放倍数；特征经过缩放和偏移后全部累加起来，此后还要经过一次激活运算然后再输出。
本发明实施例中，情报数据分析模块采用神经网络模型在执行过程中的处理包括：
在注册阶段，根据输入的用户相关信息神经网络获得输入参数，之后通过异常电话信息库、异常设备信息库运用网络模型分层计算权重方式，获得该用户注册权重并记录。
在登录阶段，网络神经模型获取该用户输入的相关登录信息后，通过欺诈信息库、失信信息库、高危漏洞库分层结构分别计算该用户权重信息，是否有欺诈行为，这时会计算得出权重信息并记录。
在交易阶段，网络神经模型会整合所有该用户的相关信息，包括手机号、登录设备、ip信息、地理位置、银行卡号等，并将这些信息通过神经网络分层计算权重方式经由操作轨迹库、欺诈信息库、失信信息库、高危漏洞库、交易特征行为库、异常电话信息库、异常设备信息库分别统计权重信息，最终得出该用户的最终权重交易信息并给出结果。
情报管理模块，用于对所述风险参照数据集进行可视化操作。情报管理模块对由情报分析平台分析出的情报结果进行统一操作，以可视化方式展示给系统管理员。具体可为：
通过配置筛选条件和排序条件来分析模型运行结果。为方便用户进一步使用和分析模型数据，可提供模型结果数据下载功能。
此功能经大数离线分析，主要展示的是异常交易产生的ip信息，用此ip库将会比对正在发生交易的ip，进而警告预警。
此功能通过病毒攻击过的痕迹进行日志和操作流程上相关多维度分析得出的病毒攻击特征异常库，并通过相关要素整理出此病毒用户的攻击画像，通过该用户画像进而判断当前操作是不是含有特殊木马病毒特征。
此功能经后台大数据离线分析得出有欺诈行为的用户欺诈信息库，通过该欺诈库的分析得出所有欺诈用户的用户画像，该库运用自己的分析规则，通过该画像进行实时监控当前用户操作行为是否为欺诈行为。
经大数据后台分析得出用户的帐号、手机号、银行卡、信用卡是否有异常交易行为或通过欺诈信息库分析曾产生过欺诈行为。经过大量数据多维度分析得出用户的最终信用度，包括帐号、手机号、银行卡、信用卡，通过每个维度可以有效反馈给应用端进行权限限制或交易限制。
经大数据后台逻辑分析得出所有用户操作产生欺诈行为异常的节点，通过对所有异常节点涉及的要素进一步分析得出操作该节点产生的高危漏洞概率，并将此行为记录在高危漏洞库中，当触发某一阈值时就会产生高危漏洞安全预警，同时通知系统工作人员。
高威信息库，就是该用户所操作的手机号、设备、ip信息、及帐号有至少几项都曾涉及过欺诈行为，此库由后台大数据相关规则离线分析得出。
经大数据后台逻辑分析得出所有用户的交易规则，包括汇款、转帐、外汇、基金购买，结算等。通过对大量数据相关要素的分析形成个人用户画像，此画像维度可以精确描绘出用户的操作交易规则，此交易规则可以有效避免异常操作交易行为。
此功能经大数据离线分析，对用户的注册、交易异常信息得出异常电话信息库，用于展示异常的手机信息，包括该手机的地理位置信息。
此功能经大数据离线分析得出异常交易的设备信息，包括此设备的地理位置定位、使用型号，操作系统。
如图5所示，所述情报应用处置平台包括数据接入预处理模块、模型分析模块、存储模块、监管模块和授权管理模块，其中：
数据接入预处理模块，用于与所述情报交换平台和本地数据平台，获得所述情报交换平台处理后的情报数据和本地数据平台所获得的实时情报数据并整合处理。
所述数据接入预处理模块包括数据接入和适配单元和数据清洗单元，其中：
数据接入和适配单元，用于将情报分析平台、情报交换平台、本地数据平台的情报数据进行数据仓库的建立。
数据清洗单元，用于将数据仓库内的数据进行整理、适配、过滤和整合处理。
模型分析模块，用于与所述情报分析平台连接，获得所述风险参照数据集，并对所述数据接入预处理模块整合处理后的情报数据进行分析处理得到风险数据，将风险数据与风险参照数据集进行匹配，得到匹配结果；
存储模块，用于存储所述匹配结果，以及对实时情报数据进行存储及更新；
授权管理模块，用于接口的访问控制；
监管模块，用于监控数据接入预处理模块、模型分析模块、存储模块和授权管理模块的运行状态。
监管模块由监控管理单元、配置管理单元、运行管理单元、运行监测单元组成。各模块的作用如下：
监控管理单元，用于对集群所在的进程进行实时监控和告警。
配置管理单元，用于分别对api授权管理模块、存储模块、模型分析模块、数据接入预处理模块配置集控管理。
运行管理单元，用于分别对各系统运行状态进行集控管理。
运行监测单元，用于分别对各系统模块的内部运行状态进行实时监控和告警。
本发明实施例提供的金融交易实时反欺诈系统，通过引入和充分的利用行外数据，并结合行内业务和系统日志，采用大数据离线计算方式，长周期分析用户行为数据输出情报数据和机器学习模型，再对银行业务系统采用大数据实时分布式流式计算的方式应用该情报和模型，将这些数据结合在一起应用到银行系统中，有效的降低了银行业务系统整体风险。具体可体现在以下方面：
1、实时发现系统业务中的交易风险，并进行实时/准实时处置；
2、识别风险的能力十分精准；
3、补充现有安全基础产品设施防御风险的功能和性能；
4、获取更加丰富的外部数据源，对业务数据进行更多维度和更深层次的分析，更高效地利用业务数据；
5、分析模型可以增量自学习改进；
6、威胁分析规则和模型可以和云端同步；
7、为行内其他系统安全提供可调用查询的情报库；
8、完善业务系统能力，提高业务系统可用性；
9、支撑网络安全战略规划和应急响应。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本领域普通技术人员可以理解：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。
- 还没有人留言评论。精彩留言会获得点赞！