债券违约的预测方法、装置、存储介质及计算机设备与流程

1.本技术涉及金融风险预测领域，尤其涉及一种债券违约的预测方法、装置、存储介质及计算机设备。


背景技术：

2.我国债券市场在发行和存量债券的数量和规模两方面快速发展，其为企业融资、个人投资以及金融市场的发展带来了巨大的帮助。然而，近年来频频爆发的债券违约事件对整个市场带来了巨大的冲击，特别是在刚性兑付打破、违约事件常态化以及经济下行压力的情况下，准确且实时预测债券违约事件能帮助投资者及早止损，有利于政府监管机构有效管理债券市场。从长远角度而言，债券违约预测为金融市场以及实体经济稳定长期发展提供了有效帮助。在现有技术中，债券违约的预测方法是：首先利用样本数据在线下训练出模型，然后将模型部署到生产环境中，通过模型对债券的实时数据进行预测得到预测结果，然而部署到线上模型的预测误差会随时间逐渐增大，无法保障长时预测的准确性。


技术实现要素：

3.本技术实施例提供了债券违约的预测方法、装置、存储介质及计算机设备，可以解决现有技术中离线训练模型的长时预测结果准确性不高的问题。所述技术方案如下：
4.第一方面，本技术实施例提供了一种债券违约的预测方法，所述方法包括：
5.获取债券的多类实时数据；其中，所述多类实时数据包括实时发债类数据、实时发债主体类数据和实时新闻类数据；
6.将所述多类实时数据分别进行预处理得到多类预处理数据；
7.利用模型分别提取所述多类预处理数据各自对应的深层特征表示，以及将提取到的多类深层特征表示进行融合得到融合特征向量；
8.利用所述模型对所述融合特征向量进行处理得到预测结果；
9.在接收到所述债券的真实结果后，计算所述真实结果和所述预测结果之间的误差；
10.根据所述误差利用反向传播算法和/或模型自适应机制更新所述模型的网络参数和/或网络结构。
11.第二方面，本技术实施例提供了一种债券违约的预测装置，所述装置包括：
12.获取单元，用于获取债券的多类实时数据；其中，所述多类实时数据包括实时发债类数据、实时发债主体类数据和实时新闻类数据；
13.预处理单元，用于将所述多类实时数据分别进行预处理得到多类预处理数据；
14.提取融合单元，用于利用模型分别提取所述多类预处理数据各自对应的深层特征表示，以及将提取到的多类深层特征表示进行融合得到融合特征向量；
15.预测单元，用于利用所述模型对所述融合特征向量进行处理得到预测结果；
16.误差计算单元，用于在接收到所述债券的真实结果后，计算所述真实结果和所述
预测结果之间的误差；
17.模型更新单元，用于根据所述误差利用反向传播算法和/或模型自适应机制更新所述模型的网络参数和/或网络结构。
18.第三方面，本技术实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
19.第四方面，本技术实施例提供一种计算机设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
20.本技术一些实施例提供的技术方案带来的有益效果至少包括：
21.分别从3个维度获取债券的实时发债类数据、实时发债主体类数据和实时新闻类数据，对上述数据提取的深层特征表示进行融合得到融合特征向量，利用当前模型对融合特征向量进行预测得到预测结果，在接收到债券的真实结果时，利用真实结果和预测结果之间的误差在线更新当前模型的网络参数和/或网络结构。首先，本技术可以实时对各种不同的债券进行风险预测，从而提升债券预测的时效性；其次，基于多类数据的深层特征提取与融合，可以有效提升预测结果的准确性；最后，基于实时学习的债券违约预测方法可有效保存历史知识并实时学习新知识，从而克服模型的预测精度随时间衰减的问题，通过持续更新模型的结构或参数来保证债券的预测精度，解决现有技术中离线训练模型带来的效率低下和长时预测效果差等问题。
附图说明
22.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
23.图1是本技术实施例提供的网络架构示意图；
24.图2是本技术实施例提供的债券违约的预测方法的流程示意图；
25.图3是本技术实施例提供的预测原理示意图；
26.图4是本技术提供的一种债券违约的预测装置的结构示意图；
27.图5是本技术提供的一种计算机设备的结构示意图。
具体实施方式
28.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施例方式作进一步地详细描述。
29.需要说明的是，本技术提供的债券违约的预测方法一般由计算机设备执行，相应的，债券违约的预测装置一般设置于计算机设备中。
30.图1示出了可以应用于本技术的债券违约的预测方法或债券违约的预测装置的示例性系统架构。
31.如图1所示，系统架构可以包括：计算机设备101和服务器102。计算机设备101和服务器102之间可以通过网络进行通信，网络用于上述各个单元之间提供通信链路的介质。网
络可以包括各种类型的有线通信链路或无线通信链路，例如：有线通信链路包括光纤、双绞线或同轴电缆等，无线通信链路包括蓝牙通信链路、无线保真(wireless-fidelity，wi-fi)通信链路或微波通信链路等。
32.其中，服务器102中存储有债券的实时数据，实时数据包括实时发债类数据、实时发债主体类数据和实时新闻类数据，计算机设备101可以从服务器102中获取实时数据，然后利用当前模型对实时数据进行预测得到债券的预测结果。
33.需要说明的是，计算机设备101和服务器102可以是硬件，也可以是软件。当计算机设备101和服务器102为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当计算机设备101和服务器102为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块，在此不做具体限定。
34.本技术的计算机设备上可以安装有各种通信客户端应用，例如：视频录制应用、视频播放应用、语音交互应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
35.计算机设备可以是硬件，也可以是软件。当计算机设备为硬件时，可以是具有显示屏的各种计算机设备，包括但不限于智能手机、平板电脑、膝上型便携式计算机和台式计算机等等。当计算机设备为软件时，可以是安装上述所列举的计算机设备中。其可以实现呈多个软件或软件模块(例如：用来提供分布式服务)，也可以实现成单个软件或软件模块，在此不作具体限定。
36.当计算机设备为硬件时，其上还可以安装有显示设备和摄像头，显示设备显示可以是各种能实现显示功能的设备，摄像头用于采集视频流；例如：显示设备可以是阴极射线管显示器(cathode ray tube display，简称cr)、发光二极管显示器(light-emitting diode display，简称led)、电子墨水屏、液晶显示屏(liquid crystal display，简称lcd)、等离子显示面板(plasma display panel，简称pdp)等。用户可以利用计算机设备上的显示设备，来查看显示的文字、图片、视频等信息。
37.应理解，图1中的计算机设备、网络和服务器的数目仅是示意性的。根据实现需要，可以是任意数量的计算机设备、网络和服务器。
38.下面将结合附图2，对本技术实施例提供的债券违约的预测方法进行详细介绍。其中，本技术实施例中的债券违约的预测装置可以是图1所示的计算机设备。
39.请参见图2，为本技术实施例提供了一种债券违约的预测方法的流程示意图。如图2所示，本技术实施例的所述方法可以包括以下步骤：
40.s201、获取债券的多类实时数据。
41.其中，实时数据表示待评估的债券实时生成的描述其属性的数据，不同的实时数据具有不同的维度，实时数据是在需要评估债券的违约风险时在当前时间获取的数据。债券为债券市场中多个债券中选择的一个债券，本技术的计算机设备依次对多个债券进行风险预测，预测是否违约，例如：本技术首先对债券a进行债券违约的预测，然后再对债券b进行债券违约的预测，本技术设备的债券违约预测过程是持续执行的。
42.参见图3所示：本技术的多类实时数据包括：实时发债类数据、实时发债主体类数据和实时新闻类数据。实时发债类数据表示债券的属性。例如：实时发债类数据包括如下参数的数值：发债规模、利率、期限、发行价格、票面品种、债券评级，债券类型(是否为城投债)等。实时发债主体类数据表示债券的发行方的属性，实时发债主体类数据包括多个参数的
数值，例如：发债主体规模、行业、注册资本、注册省份、城市、上市状态、财务数据(净资产收益率、流动比率、速动比率等)等；需要说明的是，实时发债类数据和实时发债主体类数据包括的参数可能是定性参数或定量参数，定性参数的数值为离散值，定量参数的数值为连续值，例如：债券评级为定性参数，该参数的数值为离散值；利率为定量参数，该参数的数值为连续值。实时新闻类数据表示互联网中发布的债券的相关新闻，一般为文本数据，本技术可利用网络爬虫获取债券、发债主体和行业的网络文本类数据。
43.s202、将多类实时数据分别进行预处理得到多个预处理数据。
44.其中，预处理包括针对缺失值的处理、数据归一化处理、分类数据编码等，例如：在参数存在缺失值时，使用均值进行填充，例如：债券发行价格的数值发生缺失时，将该债券的多个历史发行价格的数值进行评估作为当前值；使用最大-最小归一化、z-score归一化或log函数对参数的数值进行归一化处理，例如：归一化的数值位于0～1之间；使用独热编码或二值化变化对分类数据进行编码，例如：债券类型分为城投债和非城投债，城投债对应的数值为1，非城投债对应的数值为0。进一步的，预处理过程还包括：对实时新闻类数据中的非文本数据进行移除、段落和句子的识别和分割等处理。将获取的多类实时数据进行处理分别得到各自对应的预处理数据，例如：将实时发债类数据进行预处理得到预处理数据1，将实时发债主体类数据进行预处理得到预处理数据2，将实时新闻类数据进行预处理得到预处理数据3。
45.s203、利用模型分别提取多类预处理数据各自对应的深层特征表示，以及将提取到的深层特征表示进行融合得到融合特征向量。
46.其中，本技术基于样本数据训练得到初始状态下的模型，样本数据包括正样本数据和负样本数据，在完成模型的初步训练后进行部署，然后后续实时数据持续对模型进行在线更新。利用当前的模型对融合特征向量进行处理得到预测结果，预测结果表示债券违约或不违约。
47.其中，深层特征表示表示计算机设备识别的深层次的特征，不同的预处理数据可以利用不同的特征提取算法提取深层特征表示。
48.在本技术中，利用多层感知器神经网络提取实时发债类数据对应的深层特征表示，使用自编码神经网络移除实时发债类主体数据中的冗余信息以及提取发债类主体数据的深层特征表示，使用移除输出层的预训练bert(bidirectional encoder representation from transformers)神经网络提取实时新闻类数据的深层特征表示。
49.其中，将提取到的多类深层特征表示进行融合，得到融合特征向量，融合特征向量包含多类深层特征表示的所有特征。例如：深层特征表示1对应c1个特征，深层特征表示2对应c2个特征，深层特征表示3对应c3个特征，那么融合特征向量对应c个特征，c＝c1+c2+c3。
50.进一步的，根据上面的例子，多层感知器神经网络的输入层的神经元数量为i1，输出层的神经元数量为c1；自编码器神经网络的输入层的神经元数量为i2，输出层的神经元数据为c2；移除输出层的预训练bert神经网络的输入层的神经元数量为i3，输出层的神经元数量为c3。全连接层与上述3个神经网络的输出层相连，该全连接层用于对3类深层特征表示进行融合，该全连接层输入侧的神经元数量为c＝c1+c2+c3，输出侧的神经元的数量为o(o＝2)。即本技术的模型包括多层感知器神经网络、自编码器神经网络、移除输出层的预训练bert神经网络和全连接层，上述3个神经网络的输出层和全连接层相连。
51.其中，根据如下公式表示多类深层特征表示的融合过程：
52.yi表示全连接层的神经元j输出的融合特征，f()为激活函数，i为全连接层输入层的神经元，即多层感知器神经网络、自编码器神经网络和移除输出层的预训练bert神经网络的最后一层，1≤i≤c，wi为上层神经元i至当前层神经元j的权值参数，xi为上层神经元i传递到当前层神经元j的深层特征表示，bi表示当前神经元i的偏置参数。
53.s204、利用模型对融合特征向量进行处理得到预测结果。
54.例如：根据上面的例子，本技术的模型包括：多层感知器神经网络、自编码器神经网络、移除输出层的预训练bert神经网络和全连接层，上述3个神经网络的输出层和全连接层相连，模型还包括输出层，利用模型输出层中的softmax函数对全连接层输出的融合特征向量进行计算得到违约的概率值和不违约的概率值，根据概率值得到债券的预测结果，当违约的概率值大于不违约的概率值时，预测结果为违约，反之预测结果为不违约。
55.s205、在接收到债券的真实结果后，计算真实结果和预测结果之间的误差。
56.其中，债券的真实结果为实际发生的是否违约的结果，可以使用交叉熵损失函数来计算真实结果和预测结果之间的误差。
57.s206、根据误差利用反向传播算法和/或模型自适应机制更新模型的网络参数和/或网络结构。
58.其中，网络参数包括模型包含的神经元的权值参数或偏置参数，网络结构表示神经元网络的拓扑结构(参见图3所示)。根据误差利用反向传播算法更新模型后，在需要预测下一个债券的违约情况时，利用更新后的模型进行预测。
59.进一步的，网络结构的更新机制包括：网络宽度自适应机制和网络深度自适应机制。
60.网络宽度自适应机制提供弹性网络宽度，支持自动生成新的神经元节点和修剪无关紧要的节点，该机制根据偏差和方差估计来确定。当网络存在高偏差时(即欠拟合)，网络中增加新的神经元节点。而当网络存在高方差时(即过拟合)则减少神经元节点。网络深度自适应机制则依赖概念漂移检测和隐含层互信息法。如果发现概念漂移信号，则网络结构的深度会增加，即增加网络隐含层。当隐藏层之间的互信息存在高相关性时，一个高相关性的隐藏层被丢弃。
61.举例来说，通过计算真实结果和预测结果之间的hoeffding误差，若计算结果出现概念飘移，则当前的网络增加一个新隐含层；模型在每次预测之后两两计算每层参数之间的互信息，若两层参数之间的互信息i(l
c1
；l
c2
)大于阈值i
t
(即i(l
c1
；l
c2
)＞i
t
)，则移除其中一个层；当每层的所有神经元参数方差wi的均值we和标准差w
sd
之和大于阈值w
t
时(即we+w
sd
＞w
t
)，当前层移除一个神经元；当每层的所有神经元偏置bi的均值be和标准差b
sd
之和大于阈值b
t
时(即be+b
sd
＞b
t
)，当前层增加一个新的神经元。
62.本技术的实施例在评估债券的风险时，分别从3个维度获取债券的实时发债类数据、实时发债主体类数据和实时新闻类数据，对上述数据提取的深层特征表示进行融合得到融合特征向量，利用当前模型对融合特征向量进行预测得到预测结果，在接收到债券的真实结果时，利用真实结果和预测结果的误差和/或模型自适应机制在线更新当前模型的
网络参数和/或网络结构。首先，本技术可以实时对各种不同的债券进行风险预测，从而提升债券预测的时效性；其次，基于多类数据的深层特征提取与融合，可以有效提升预测结果的准确性；最后，基于实时学习的债券违约预测方法可有效保存历史知识并实时学习新知识，从而克服模型的预测精度随时间衰减等问题，通过持续更新模型的结构和/或参数来保证债券违约的预测精度，解决现有技术中离线训练的模型带来的效率低下和预测效果差的问题。
63.下述为本技术装置实施例，可以用于执行本技术方法实施例。对于本技术装置实施例中未披露的细节，请参照本技术方法实施例。
64.请参见图4，其示出了本技术一个示例性实施例提供的债券违约的预测装置的结构示意图，以下简称装置4。该装置4可以通过软件、硬件或者两者的结合实现成为计算机设备的全部或一部分。装置4包括：获取单元401、预处理单元402、提取融合单元403、预测单元404、误差计算单元405和模型更新单元406。
65.获取单元401，用于获取债券的多类实时数据；其中，所述多类实时数据包括实时发债类数据、实时发债主体类数据和实时新闻类数据；
66.预处理单元402，用于将所述多类实时数据分别进行预处理得到多个预处理数据；
67.提取融合单元403，用于利用模型分别提取所述多个预处理数据各自对应的深层特征表示，以及将提取到的多类深层特征表示进行融合得到融合特征向量；
68.预测单元404，用于利用所述模型对所述融合特征向量进行处理得到预测结果；
69.误差计算单元405，用于在接收到所述债券的真实结果后，计算所述真实结果和所述预测结果之间的误差；
70.模型更新单元406，用于根据所述误差利用反向传播算法和/或模型自适应机制更新所述模型的网络参数和/或网络结构。
71.在一个或多个可能的实施例中，所述预处理包括：缺失值的处理、数据归一化处理和分类数据编码。
72.在一个或多个可能的实施例中，所述利用模型分别提取所述多类预处理数据各自对应的深层特征表示，以及将提取到的多类深层特征表示进行融合得到融合特征向量，包括：
73.利用多层感知器神经网络提取所述实时发债类数据对应的深层特征表示；
74.利用自编码神经网络剔除实时发债主体类数据中的冗余信息并提取对应的深层特征表示；
75.利用移除输出层的预训练bert神经网络提取所述实时新闻类数据对应的深层特征表示；
76.利用全连接层对提取到的多类深层特征表示进行融合得到融合特征向量。
77.在一个或多个可能的实施例中，所述利用所述模型对所述融合特征向量进行处理得到预测结果，包括：
78.利用模型输出层的softmax函数计算所述融合特征向量得到违约的概率值和不违约的概率值；
79.根据计算结果确定预测结果。
80.在一个或多个可能的实施例中，利用交叉熵损失函数计算所述预测结果和所述真
实结果之间的误差。
81.在一个或多个可能的实施例中，基于网络宽度自适应机制和网络深度自适应机制更新所述模型的网络结构。
82.在一个或多个可能的实施例中，所述实时发债类数据包括：发债规模、利率、期限、发行价格、票面品种、债券评级和债券类型等；所述实时发债主体类数据包括发债主体规模、行业、注册资本、注册省份、城市、上市状态和财务数据等；实时新闻类数据的格式为文本类数据。
83.需要说明的是，上述实施例提供的装置4在执行债券违约的预测方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成上述的全部或者部分功能。另外，上述实施例提供的债券违约的预测装置与债券违约的预测方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
84.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
85.本技术实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图2所示实施例的方法步骤，具体执行过程可以参见图2所示实施例的具体说明，在此不进行赘述。
86.本技术还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的债券违约的预测方法。
87.请参见图5，为本技术实施例提供了一种计算机设备的结构示意图。如图5所示，所述计算机设备500可以包括：至少一个处理器501，至少一个网络接口504，用户接口503，存储器505，至少一个通信总线502。
88.其中，通信总线502用于实现这些组件之间的连接通信。
89.其中，用户接口503可以包括显示屏(display)、摄像头(camera)，可选用户接口503还可以包括标准的有线接口、无线接口。
90.其中，网络接口504可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。
91.其中，处理器501可以包括一个或者多个处理核心。处理器501利用各种接口和线路连接整个计算机设备500内的各个部分，通过运行或执行存储在存储器505内的指令、程序、代码集或指令集，以及调用存储在存储器505内的数据，执行计算机设备500的各种功能和处理数据。可选的，处理器501可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field-programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器501可集成中央处理器(central processing unit，cpu)、图像处理器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器501中，单独通过一块芯片进行实现。
92.其中，存储器505可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read-only memory)。可选的，该存储器505包括非瞬时性计算机可读介质
(non-transitory computer-readable storage medium)。存储器505可用于存储指令、程序、代码、代码集或指令集。存储器505可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器505可选的还可以是至少一个位于远离前述处理器501的存储装置。如图5所示，作为一种计算机存储介质的存储器505中可以包括操作系统、网络通信模块、用户接口模块以及应用程序。
93.在图5所示的计算机设备500中，用户接口503主要用于为用户提供输入的接口，获取用户输入的数据；而处理器501可以用于调用存储器505中存储的应用程序，并具体执行如图2所示的方法，具体过程可参照图2所示，此处不再赘述。
94.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
95.以上所揭露的仅为本技术较佳实施例而已，当然不能以此来限定本技术之权利范围，因此依本技术权利要求所作的等同变化，仍属本技术所涵盖的范围。