一种异常交易监测方法、系统及存储介质与流程

本发明属于数据处理技术领域，尤其涉及一种异常交易监测系统。

背景技术：

自2008年金融危机以后，全球金融企业都把监管风险管理列为了公司经营的一个重要挑战。按照reuters的统计，从2008年到2015年，世界上20％的大银行或券商因为金融监管方面的纰漏，累计支付的罚款超过2350亿美元(约1517亿英镑)，这个数字大致相当于爱尔兰的gnp。在中国，特别是证券行业，2015年以来加强监管的趋势已经越演越烈。据不完全统计，仅2017年我国金融监管部门共出台重要监管文件超过20个，行政处罚超过2700件，罚款金额超80亿元。其中超过20％的监管处罚直接或间接的原因来自异常交易。因此，金融机构为了自身的发展，也为它们服务的客户必须用一些创新的解决方案来应对不断增加的风控和合规挑战，特别是针对异常交易的监控。

现有的证券公司异常交易监控系统大多是基于规则匹配技术和关系型数据库的系统，计算与存储均在同一服务器上，即数据的存储与计算分析均通过数据库完成，数据库装在一台服务器上。首先在数据同步的问题上，由于关系型数据库存在读写瓶颈，且实时同步数据并非其优势，因此在数据时效性上延迟较大，在大量数据积压的情况下可能会出现十分钟级的数据延迟，这就使得证券公司对异常交易监控的实时性大打折扣，无法及时地发现异常交易并对客户提供相应的提醒服务或帮助。此外，现有系统的存储与计算均是通过关系数据库完成，部署在同一服务器上，会造成实时计算与存储互相影响牵制，机器性能得不到充分发挥，一些复杂的计算得不到实施，从而影响到异常交易监测的准确性。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种异常交易监测系统，能够减小异常交易监测系统中存在的数据延迟，还能提高异常交易监测的准确性。

本发明是通过以下技术方案实现的：

第一方面，提供了一种异常交易监测方法，包括：

数据获取，通过数据源接口从数据库获取常规数据，从消息队列系统获取实时数据；

智能判断，根据获取到的常规数据和实时数据进行异常交易判断；

存储展示，存储系交易监测统相关数据并进行异常交易监测结果展示。

结合第一方面，进一步的，所述常规数据包括：客户、股票、基金、期货的基本信息数据，所述实时数据包括客户交易数据以及市场行情数据。

结合第一方面，进一步的，所述智能判断包括异常交易监测模型建立，异常交易监测模型包括异常交易描述信息、异常交易分类信息、异常交易特征信息以及异常交易阈值信息。

结合第一方面，进一步的，所述智能判断还包括函件分析，对交易所发送的监管函件进行智能分析以生成新的异常交易监测模型。

结合第一方面，进一步的，所述智能判断模块还包回测和试算，回测用于对历史交易数据进行回测；试算用于修改异常交易监测模型的监测逻辑和监测阈值，并通过历史交易数据对修改后的模型进行试算。

结合第一方面，进一步的，所述函件分析包括：

nlp处理，对监管函件进行自然语言处理分析，提取其中的关键实体产生结构化数据；

智能分析：对产生的结构化数据进行语义分析、规则特征提取、阈值提取；将得到的语义分析结果、特征数据以及阈值结合历史交易数据进

行机器学习，形成新的异常交易监测模型。

第二方面，提供了一种异常交易监测系统，包括：

数据获取模块，用于通过数据源接口从数据库获取常规数据，从消息队列系统获取实时数据；

智能判断模块，用于根据获取到的常规数据和实时数据进行异常交易判断；

存储展示模块，用于存储系交易监测统相关数据并进行异常交易监测结果展示。

结合第二方面，进一步的，所述监测系统以分布式部署于多台服务器上，每台服务器均包含数据获取模块、智能判断模块以及存储展示模块。

第三方面，还提供了一种异常交易监测系统，其特征在于，包括：存储器和处理器；

所述存储器用于存储指令；

所述处理器用于根据所述指令进行操作以执行第一方面任一项所述方法的步骤。

第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现第一方面任一项所述方法的步骤。

本发明有益效果主要如下：

1、本发明通过从消息队列系统以实时流的形式实时接收市场行情数据以及客户交易数据，相较于现有技术从关系数据库中同步的方式大幅降低了数据的延时，相较于现有技术能够更快的发现正在发生的一场交易行为，并及时告警。

2、本发明采用分布式存储和分布式计算的架构进一步的提高了运算效率。

3、通过智能判断模块的回测以及智能分析模块提高了异常交易监测模型的判断准确性。

附图说明

图1为本发明的架构示意图；

图2为本发明的系统流程示意图；

图3为本发明中智能判断模块架构示意图。

具体实施方式

本发明对于现有技术的局限性，使用了新的方法和架构，提出了一种新型的用于证券公司的异常交易实时监测系统，提高了时效性，实现异常交易实时监测，同时提高监测的准确度来满足现阶段监管新要求，更好地为客户进行服务。

下面结合说明书附图，对本发明作进一步的说明。

如图1-3所示，本发明提供了一种异常交易监测方法，主要包括以下内容：

数据获取，通过接入不同数据源，能够获取不同来源、不同类型、不同用途的数据。各类数据源接口如关系型数据库、键值型数据库、快速缓存系统数据库、分布式数据库、流式数据等。本发明中的异常交易的判断结果均是通过数据分析得出的，这里用于后续判断分析的数据主要包括两部分：常规数据和实时数据。其中，对于常规数据(如客户、股票、基金、期货的基本信息数据)对读写要求不高，通常可以采用传统数据库进行存储，如关系型数据库，这部分数据在初始化的时候被从数据库读出到缓存中(突破每次使用都从数据库中的读取瓶颈)，可以加快后续的处理速度；但是对于实时性要求很高的数据(如客户交易数据和市场行情数据)采用传统数据库就采用了消息队列系统(例如kafka，activemq等)，将这些数据以数据流的形式存于消息队列系统中，需要的时候通过数据源接口直接从消息队列中读取，能够解决现有技术中异常交易监测系统中的数据延时问题(数据的传输、计算延时均降低到了毫秒级)。

智能判断，根据获取到的根据获取到的常规数据和实时数据进行异常交易判断；主要包括建立异常交易监测模型，异常交易监测模型包括异常交易描述信息、异常交易分类信息、异常交易特征信息以及异常交易阈值信息。异常交易监测模型的算法可以由市场监管部门提供，该智能判断还包括函件分析，能够对交易所发送的监管函件进行自动智能分析，主要包括函件nlp处理以及函件智能分析。其中函件nlp处理功能主要对函件进行自然语言处理分析，提取其中的关键实体产生结构化数据并存入数据库中。函件智能分析功能主要对nlp(naturallanguageprocessing，自然语言处理)处理后的结果进行语义分析、规则特征提取、阈值提取等，再利用gbrt(gradientboostregressiontree，迭代决策树)、深度神经网络等机器学习算法结合同类异常交易历史数据进行重新学习，形成新的异常交易监测模型并更新至数据库。智能判断还包括回测和试算，回测可以按照当前设置的异常交易检测算法针对一定时间段内的历史交易数据进行回测，并将回测结果存入存储展示模块。试算可以修改不同异常交易类型检测方法的逻辑条件和检测阈值，并对一定时间段内的历史交易数据进行试算，试算结果存入存储展示模块，通过回测和试算可以形成数据闭环，优化异常交易监测模型，使得对异常交易的判断更加精准。

存储展示，存储系交易监测统相关数据并进行异常交易监测结果展示。其中数据存储子模块主要用于异常交易预警信息持久化，异常交易明细信息持久化，可选用常规单机或分布式关系数据库。数据展示子模块主要用于展示异常交易规则、异常交易预警信息、异常交易明细信息以及其他相关统计列表、图表等信息。

本发明实施例提供的异常交易监测系统，可用于加载执行上述异常交易监测方法，包括：

数据获取模块，用于通过数据源接口从数据库获取常规数据，从消息队列系统获取实时数据；

智能判断模块(智能算法平台)，用于根据获取到的常规数据和实时数据进行异常交易判断；

存储展示模块，用于存储系交易监测统相关数据并进行异常交易监测结果展示。

本系统的智能判断模块采用三层设计，主要包括逻辑层子模块、实现层子模块以及执行层子模块三个层次。

其中逻辑层子模块主要包括异常交易检测算法模型、预处理算法、公共计算模块等信息。其中，所述异常交易算法模型包含异常交易描述、异常交易分类、异常交易特征条件、异常交易阈值等信息。该类算法模型可由市场监管部门提供，也可以通过对监管部门发出的监管函件进行分析提取，将外部语言信息转换为逻辑描述语言后进行管理和存储，同时也可以用户手工设置和维护。实现层子模块主要功能是对逻辑层子模块中的异常交易检测算法模型进行实例化，通过java、python、r等编程语言实现各类异常交易算法，形成可执行的程序或脚本。此外实现层子模块还具备算例管理和调度的功能，将可执行的程序参数等调度至下一层次执行层。执行层子模块接收到实现层调度传输来的可执行程序，以及对应的一定时间段的实时数据，结合初始化时获得的相关常规数据进行具体指标模型的计算，最后将计算结果持久化到存储模块中。其中，执行层子模块可以选用例如storm的分布式实时计算引擎，或例如spark的分布式大数据计算引擎，或其他单机或分布式的计算工具。

本监测系统可以分布式部署于多台服务器上，每台服务器均包含数据获取模块、智能判断模块以及存储展示模块，智能判断模块进行异常交易监测计算的时候可以分布式计算引擎，也可以单机计算。通过此方式将存储和计算拆分到了多台服务器，降低了每台服务器的存储及运算压力，进一步降低了数据读写和处理的瓶颈。

本发明提供的异常交易监测系统，还可以是包括存储器和处理器；所述存储器用于存储指令；

所述处理器用于根据所述指令进行操作以执行前述异常交易监测方法的步骤。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述异常交易监测方法的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。