交易数据智能分析方法、电子装置及计算机可读存储介质与流程

本发明涉及机器学习技术领域，尤其涉及一种交易数据智能分析方法、电子装置及计算机可读存储介质。

背景技术：

现有的对债券交易或股票交易的分析过程，一般包括业务调研，逻辑梳理，数据获取、清洗和分析，规则类模型或统计建模，模型验证等步骤。但是，该过程需要依赖业务经验做大量数据处理和模型阀值设定，受业务经验影响很大，模型建立的难度比较高，且分析结果可能不准确。另外，在后续模型运营过程中，模型优化方向不明确，优化难度大。

技术实现要素：

有鉴于此，本发明提出一种交易数据智能分析方法、电子装置及计算机可读存储介质，以解决至少一个上述技术问题。

首先，为实现上述目的，本发明提出一种交易数据智能分析方法，该方法包括步骤：

通过业务调研获取原始交易数据并分析交易特征；

根据原始交易数据和交易特征创建异常交易因子体系；

根据所述异常交易因子体系进行数据获取、清洗和分析；

通过机器学习算法对所获取的数据建立无监督模型；及

根据所述模型进行交易数据的异常分析。

可选地，该方法在根据所述模型进行交易数据的异常分析之前还包括步骤：

根据所建立的模型对样本数据进行分析，针对分析结果进行模型验证；

当验证通过时，执行根据所述模型进行交易数据的异常分析的步骤；

当验证不通过时，根据所述异常交易因子体系对所述模型进行调整和优化。

可选地，所述交易包括债券交易和股票交易。

可选地，所述异常交易因子体系包括根据所述原始交易数据和交易特征进行梳理和提炼得到的多个衍生变量，其中：

当所述交易为债券交易时，所述衍生变量包括价格偏离、反向交易、债项评级变化；

当所述交易为股票交易时，所述衍生变量包括反向交易、同向交易、快进快出。

可选地，所述模型通过python语言调用xgboost算法建立。

此外，为实现上述目的，本发明还提供一种电子装置，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的交易数据智能分析系统，所述交易数据智能分析系统被所述处理器执行时实现如下步骤：

通过业务调研获取原始交易数据并分析交易特征；

根据原始交易数据和交易特征创建异常交易因子体系；

根据所述异常交易因子体系进行数据获取、清洗和分析；

通过机器学习算法对所获取的数据建立无监督模型；及

根据所述模型进行交易数据的异常分析。

可选地，所述交易数据智能分析系统被所述处理器执行时还实现步骤：

根据所建立的模型对样本数据进行分析，针对分析结果进行模型验证；

当验证通过时，执行根据所述模型进行交易数据的异常分析的步骤；

当验证不通过时，根据所述异常交易因子体系对所述模型进行调整和优化。

可选地，所述交易包括债券交易和股票交易，所述异常交易因子体系包括根据所述原始交易数据和交易特征进行梳理和提炼得到的多个衍生变量。

可选地，所述模型通过python语言调用xgboost算法建立。

进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有交易数据智能分析系统，所述交易数据智能分析系统可被至少一个处理器执行，以使所述至少一个处理器执行如上述的交易数据智能分析方法的步骤。

相较于现有技术，本发明所提出的交易数据智能分析方法、电子装置及计算机可读存储介质，可以搭建异常交易因子体系，针对所述异常交易因子体系所包含的衍生变量对应的数据，采用机器学习算法建立无监督模型，并根据样本数据进行模型验证，将模型结果推送至稽核人员进行排查，以保证模型的有效率，从而采用通过验证后的模型实现交易数据的智能分析。其中，所述模型采用xgboost算法建立，可以提高模型查准率和查全率。通过所述模型，可以自动化风险监测流程，不需要依赖业务经验，分析结果也更为准确。

附图说明

图1是本发明电子装置一可选的硬件架构的示意图；

图2是本发明交易数据智能分析系统第一实施例的程序模块示意图；

图3是本发明交易数据智能分析系统第二实施例的程序模块示意图；

图4是本发明交易数据智能分析方法第一实施例的流程示意图；

图5是本发明交易数据智能分析方法第二实施例的流程示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

参阅图1所示，是本发明电子装置2一可选的硬件架构的示意图。

本实施例中，所述电子装置2可包括，但不仅限于，可通过系统总线相互通信连接存储器11、处理器12、网络接口13。需要指出的是，图1仅示出了具有组件11-13的电子装置2，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

其中，所述电子装置2可以是服务器，也可以是pc(personalcomputer，个人电脑)，也可以是智能手机、平板电脑、掌上电脑、便携计算机等终端设备。所述服务器可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器等计算设备，并且可以是独立的服务器，也可以是多个服务器所组成的服务器集群。

所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器11可以是所述电子装置2的内部存储单元，例如该电子装置2的硬盘或内存。在另一些实施例中，所述存储器11也可以是所述电子装置2的外部存储设备，例如该电子装置2上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。当然，所述存储器11还可以既包括所述电子装置2的内部存储单元也包括其外部存储设备。本实施例中，所述存储器11通常用于存储安装于所述电子装置2的操作系统和各类应用软件，例如交易数据智能分析系统200的程序代码等。此外，所述存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器12在一些实施例中可以是中央处理器(centralprocessingunit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子装置2的总体操作。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行所述的交易数据智能分析系统200等。

所述网络接口13可包括无线网络接口或有线网络接口，该网络接口13通常用于在所述电子装置2与其他电子设备之间建立通信连接。

至此，己经详细介绍了本发明相关设备的硬件结构和功能。下面，将基于上述介绍提出本发明的各个实施例。

首先，本发明提出一种交易数据智能分析系统200。

参阅图2所示，是本发明交易数据智能分析系统200第一实施例的程序模块图。

本实施例中，所述交易数据智能分析系统200包括一系列的存储于存储器11上的计算机程序指令，当该计算机程序指令被处理器12执行时，可以实现本发明各实施例的交易数据智能分析操作。在一些实施例中，基于该计算机程序指令各部分所实现的特定的操作，交易数据智能分析系统200可以被划分为一个或多个模块。例如，在图2中，所述交易数据智能分析系统200可以被分割成获取模块201、创建模块202、处理模块203、建立模块204、分析模块205。其中：

所述获取模块201，用于通过业务调研获取原始交易数据并分析交易特征。

具体地，通过对基金、信托、证券等各个数据平台进行相关的业务调研，获取所要分析的金融交易的原始交易数据，并根据这些原始交易数据和交易类型分析每种交易的交易特征，在此基础上提炼模型规则，为后续建立交易数据分析模型做准备。

所述创建模块202，用于根据原始交易数据和交易特征创建异常交易因子体系。

具体地，根据每种交易的原始交易数据和交易特征，可以创建相应的异常交易因子体系。在本实施例中，所述交易可以包括债券交易和股票交易。当为债券交易时，根据债券交易的原始交易数据和交易特征进行梳理和提炼，所述异常交易因子体系包括价格偏离、反向交易、债项评级变化等几十个衍生变量。例如，价格偏离指交易价格跟中债估值的偏离度，反向交易指交易组合完成买卖交易经历的天数，债现评级变化指债券在交易前半年内评级是下降还是上升还是不变。当为股票交易时，根据股票交易的原始交易数据和交易特征进行梳理和提炼，所述异常交易因子体系包括反向交易、同向交易、快进快出等几十个衍生变量。所述衍生变量的开发采用python代码进行。所述异常交易因子体系提炼了大量隐藏的交易信息，为后续的模型优化提供了思路和方向。

所述处理模块203，用于根据所述异常交易因子体系进行数据获取、清洗和分析。

具体地，根据所述异常交易因子体系所包含的衍生变量，(从数据归属方及万德)获取各衍生变量对应的数据，并对所获取的数据进行数据清洗等预处理和单因素多因素等分析，以便模型的建立。

所述建立模块204，用于通过机器学习算法对所获取的衍生变量数据建立无监督模型。

具体地，通过python语言调用xgboost算法，对经过清洗和分析等处理的衍生变量数据建立模型，并通过模型参数调整提高模型准确率和召回率。债券或股票利益输送和业绩调节在没有坏样本的情况下，采用规则类和无监督学习建模，自动化探究与识别债券场景潜在风险点，丰富传统规则模型可参考条件与维度。无监督学习模型主要搭建针对债券交易或股票交易数据场景的全自动化算法集成模型，根据样本的因子体系特征，找出样本与样本之间的潜在关联与区别，从而全自动化输出可疑交易数据和数据背后的潜在规则，探究异常交易行为未知盲区。xgboost算法能处理不平衡数据，且不需要对数据进行分箱等数据处理，模型查准率和查全率都远远高于当前的逻辑回归算法模型。

所述分析模块205，用于根据所述模型进行交易数据的异常分析。

具体地，在建立所述模型后，可以根据实际应用场景中债券交易或股票交易的数据，采用所述模型进行智能分析，识别出异常交易数据和潜在风险点。

本实施例提供的交易数据智能分析系统，可以搭建异常交易因子体系，针对所述异常交易因子体系所包含的衍生变量对应的数据，采用机器学习算法建立无监督模型，从而实现交易数据的智能分析。其中，所述模型采用xgboost算法建立，可以提高模型查准率和查全率。通过所述模型，可以自动化风险监测流程，不需要依赖业务经验，分析结果也更为准确。

参阅图3所示，是本发明交易数据智能分析系统200第二实施例的程序模块图。本实施例中，所述的交易数据智能分析系统200除了包括第一实施例中的所述获取模块201、创建模块202、处理模块203、建立模块204、分析模块205之外，还包括验证模块206。

所述验证模块206用于根据所建立的模型对样本数据进行分析，针对分析结果进行模型验证。

具体地，通过输入债券或股票交易的样本数据，根据所建立的模型进行异常交易数据和潜在风险的智能分析，模型结果出来后下发进行结果验证，统计模型有效率。在本实施例中，可以将模型结果(异常交易数据和潜在风险点)推送到专业公司的稽核人员进行排查，接到排查任务的稽核人员对模型结构进行排查，根据排查完成后的结果反馈对所述模型进行验证。验证通过后的模型可以用于后续在实际应用场景中对债券或股票交易数据进行智能分析。若验证不通过，可以根据所述异常交易因子体系对所述模型进行调整和优化。

当所述模型通过验证后，再触发所述分析模块205根据所述模型进行交易数据的异常分析。

本实施例提供的交易数据智能分析系统，可以搭建异常交易因子体系，针对所述异常交易因子体系所包含的衍生变量对应的数据，采用机器学习算法建立无监督模型，并根据样本数据进行模型验证，将模型结果推送至稽核人员进行排查，以保证模型的有效率，从而采用通过验证后的模型实现交易数据的智能分析。其中，所述模型采用xgboost算法建立，可以提高模型查准率和查全率。通过所述模型，可以自动化风险监测流程，不需要依赖业务经验，分析结果也更为准确。

此外，本发明还提出一种交易数据智能分析方法。

参阅图4所示，是本发明交易数据智能分析方法第一实施例的流程示意图。在本实施例中，根据不同的需求，图4所示的流程图中的步骤的执行顺序可以改变，某些步骤可以省略。

步骤s400，通过业务调研获取原始交易数据并分析交易特征。

具体地，通过对基金、信托、证券等各个数据平台进行相关的业务调研，获取所要分析的金融交易的原始交易数据，并根据这些原始交易数据和交易类型分析每种交易的交易特征，在此基础上提炼模型规则，为后续建立交易数据分析模型做准备。

步骤s402，根据原始交易数据和交易特征创建异常交易因子体系。

具体地，根据每种交易的原始交易数据和交易特征，可以创建相应的异常交易因子体系。在本实施例中，所述交易可以包括债券交易和股票交易。当为债券交易时，根据债券交易的原始交易数据和交易特征进行梳理和提炼，所述异常交易因子体系包括价格偏离、反向交易、债项评级变化等几十个衍生变量。例如，价格偏离指交易价格跟中债估值的偏离度，反向交易指交易组合完成买卖交易经历的天数，债现评级变化指债券在交易前半年内评级是下降还是上升还是不变。当为股票交易时，根据股票交易的原始交易数据和交易特征进行梳理和提炼，所述异常交易因子体系包括反向交易、同向交易、快进快出等几十个衍生变量。所述衍生变量的开发采用python代码进行。所述异常交易因子体系提炼了大量隐藏的交易信息，为后续的模型优化提供了思路和方向。

步骤s404，根据所述异常交易因子体系进行数据获取、清洗和分析。

具体地，根据所述异常交易因子体系所包含的衍生变量，(从数据归属方及万德)获取各衍生变量对应的数据，并对所获取的数据进行数据清洗等预处理和单因素多因素等分析，以便模型的建立。

步骤s406，通过机器学习算法对所获取的衍生变量数据建立无监督模型。

具体地，通过python语言调用xgboost算法，对经过清洗和分析等处理的衍生变量数据建立模型，并通过模型参数调整提高模型准确率和召回率。债券或股票利益输送和业绩调节在没有坏样本的情况下，采用规则类和无监督学习建模，自动化探究与识别债券场景潜在风险点，丰富传统规则模型可参考条件与维度。无监督学习模型主要搭建针对债券交易或股票交易数据场景的全自动化算法集成模型，根据样本的因子体系特征，找出样本与样本之间的潜在关联与区别，从而全自动化输出可疑交易数据和数据背后的潜在规则，探究异常交易行为未知盲区。xgboost算法能处理不平衡数据，且不需要对数据进行分箱等数据处理，模型查准率和查全率都远远高于当前的逻辑回归算法模型。

步骤s408，根据所述模型进行交易数据的异常分析。

具体地，在建立所述模型后，可以根据实际应用场景中债券交易或股票交易的数据，采用所述模型进行智能分析，识别出异常交易数据和潜在风险点。

本实施例提供的交易数据智能分析方法，可以搭建异常交易因子体系，针对所述异常交易因子体系所包含的衍生变量对应的数据，采用机器学习算法建立无监督模型，从而实现交易数据的智能分析。其中，所述模型采用xgboost算法建立，可以提高模型查准率和查全率。通过所述模型，可以自动化风险监测流程，不需要依赖业务经验，分析结果也更为准确。

如图5所示，是本发明交易数据智能分析方法的第二实施例的流程示意图。本实施例中，所述交易数据智能分析方法的步骤s500-s506及s510与第一实施例的步骤s400-s408相类似，区别在于该方法还包括步骤s508。

该方法包括以下步骤：

步骤s500，通过业务调研获取原始交易数据并分析交易特征。

具体地，通过对基金、信托、证券等各个数据平台进行相关的业务调研，获取所要分析的金融交易的原始交易数据，并根据这些原始交易数据和交易类型分析每种交易的交易特征，在此基础上提炼模型规则，为后续建立交易数据分析模型做准备。

步骤s502，根据原始交易数据和交易特征创建异常交易因子体系。

具体地，根据每种交易的原始交易数据和交易特征，可以创建相应的异常交易因子体系。在本实施例中，所述交易可以包括债券交易和股票交易。当为债券交易时，根据债券交易的原始交易数据和交易特征进行梳理和提炼，所述异常交易因子体系包括价格偏离、反向交易、债项评级变化等几十个衍生变量。例如，价格偏离指交易价格跟中债估值的偏离度，反向交易指交易组合完成买卖交易经历的天数，债现评级变化指债券在交易前半年内评级是下降还是上升还是不变。当为股票交易时，根据股票交易的原始交易数据和交易特征进行梳理和提炼，所述异常交易因子体系包括反向交易、同向交易、快进快出等几十个衍生变量。所述衍生变量的开发采用python代码进行。所述异常交易因子体系提炼了大量隐藏的交易信息，为后续的模型优化提供了思路和方向。

步骤s504，根据所述异常交易因子体系进行数据获取、清洗和分析。

具体地，根据所述异常交易因子体系所包含的衍生变量，(从数据归属方及万德)获取各衍生变量对应的数据，并对所获取的数据进行数据清洗等预处理和单因素多因素等分析，以便模型的建立。

步骤s506，通过机器学习算法对所获取的衍生变量数据建立无监督模型。

具体地，通过python语言调用xgboost算法，对经过清洗和分析等处理的衍生变量数据建立模型，并通过模型参数调整提高模型准确率和召回率。债券或股票利益输送和业绩调节在没有坏样本的情况下，采用规则类和无监督学习建模，自动化探究与识别债券场景潜在风险点，丰富传统规则模型可参考条件与维度。无监督学习模型主要搭建针对债券交易或股票交易数据场景的全自动化算法集成模型，根据样本的因子体系特征，找出样本与样本之间的潜在关联与区别，从而全自动化输出可疑交易数据和数据背后的潜在规则，探究异常交易行为未知盲区。xgboost算法能处理不平衡数据，且不需要对数据进行分箱等数据处理，模型查准率和查全率都远远高于当前的逻辑回归算法模型。

步骤s508，根据所建立的模型对样本数据进行分析，针对分析结果进行模型验证。

具体地，通过输入债券或股票交易的样本数据，根据所建立的模型进行异常交易数据和潜在风险的智能分析，模型结果出来后下发进行结果验证，统计模型有效率。在本实施例中，可以将模型结果(异常交易数据和潜在风险点)推送到专业公司的稽核人员进行排查，接到排查任务的稽核人员对模型结构进行排查，根据排查完成后的结果反馈对所述模型进行验证。验证通过后的模型可以用于后续在实际应用场景中对债券或股票交易数据进行智能分析。若验证不通过，可以根据所述异常交易因子体系对所述模型进行调整和优化。

步骤s510，根据通过验证后的模型进行交易数据的异常分析。

具体地，在得到通过验证后的模型后，可以根据实际应用场景中债券交易或股票交易的数据，采用所述模型进行智能分析，识别出异常交易数据和潜在风险点。

本实施例提供的交易数据智能分析方法，可以搭建异常交易因子体系，针对所述异常交易因子体系所包含的衍生变量对应的数据，采用机器学习算法建立无监督模型，并根据样本数据进行模型验证，将模型结果推送至稽核人员进行排查，以保证模型的有效率，从而采用通过验证后的模型实现交易数据的智能分析。其中，所述模型采用xgboost算法建立，可以提高模型查准率和查全率。通过所述模型，可以自动化风险监测流程，不需要依赖业务经验，分析结果也更为准确。

本发明还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有交易数据智能分析程序，所述交易数据智能分析程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的交易数据智能分析方法的步骤。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。