多任务人工智能的审计意见生成方法、装置及可读介质与流程

1.本发明涉及审计的领域，尤其是涉及一种多任务人工智能的审计意见生成方法、装置及可读介质。


背景技术：

2.审计问题分类可以看作一个标准的文本多分类问题：给定一条审计数据以及多个类别，判断该数据属于一个概率最大的类别。目前，文本分类已经被广泛应用于电力系统中，但现有技术中，审计意见需结合引用规定，因此现有的意见生成方式，即利用最大似然度的意见生成无法应用于审计领域，同时现有技术中，同时审计意见生成需要结合审计问题，相似的审计问题生成同样需要结合引用规定，现有的问题分类、意见生成方法均无法应用于审计领域。
3.综上所述，现有技术无法实现审计问题分类以及审计意见生成。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种多任务人工智能的审计意见生成方法、装置及介质，以对审计问题自动分类、同时生成审计意见，提升审计问题与审计意见的关联性以提升审计模型的分析能力。
5.第一方面，本发明提供了一种多任务人工智能的审计意见生成方法，具体包括如下步骤：获取第一审计描述以及第一引用规定；获取第二审计描述以及第二引用规定，所述第二审计描述为处理后的第一审计描述，所述第二引用规定为处理后的第一引用规定，第一审计描述以及所述第一引用规定均人工标注有标识；对所述第二审计描述以及第二引用规定引入参数利用注意力机制以生成注意力机制输出；利用神经网络对注意力机制输出进行处理以同时进行审计问题分类以及审计意见生成。
6.一种可能的方式是，对所述第一审计描述采用第一编码器以获取第二审计描述。
7.一种可能的方式是，所述第一编码器包括bart编码器；所述对所述第一审计描述采用第一编码器以获取第二审计描述的步骤包括：将所述第一审计描述进行分词以获取第一分词向量；对第一分词向量按照bart的编码规则进行编码以获取第二审计描述。
8.一种可能的方式是，对第一引用规定采用第二编码器以获取第二引用规定。
9.一种可能的方式是，所述第二编码器包括lawformer编码器；对第一引用规定采用第二编码器以获取第二引用规定的步骤包括：将所述第一引用规定进行分词以获取第二分词向量；
对第二分词向量按照lawformer的编码规则进行编码以获取第二引用规定。
10.一种可能的方式是，采用如下公式生成注意力机制输出：;—激活函数；；；；、、—参数矩阵；—融合后的第二审计描述以及第二引用规定，即;—第二审计描述；—第二引用规定；—词向量维度。
11.一种可能的方式是，所述利用神经网络对注意力机制输出进行处理以同时进行审计问题分类以及审计意见生成的步骤包括：将所述注意力机制输出进行预测以提取所述第一审计描述以及第一引用规定的注有的标识；对提取的所述第一审计描述以及第一引用规定的标识依据索引规则，获取所述第一审计描述以及第一引用规定的标识所对应的审计问题以及第一审计意见。
12.一种可能的方式是，所述利用神经网络对注意力机制输出进行处理以同时进行审计问题分类以及审计意见生成的步骤还包括：将所述注意力机制输出进行解码以获取第二审计意见；对所述第二审计意见与所述第一审计意见相整合并输出第三审计意见。
13.一种可能的方式是，将所述注意力机制输出进行预测以获取所述第一审计描述以及第一引用规定的标识的步骤包括：利用第一完全连接层传递所述注意力机制输出的最大池；利用第二完全连接层对注意力机制输出的最大池采用激活函数以获取所述第一审计描述以及第一引用规定的标识；所述第一完全连接层包括函数，所述函数为激活函数，所述第二完全连接层包括函数。
14.一种可能的方式是，采用bart解码器进行解码以获取第二审计意见。
15.第二方面，本发明提供了一种多任务人工智能的审计意见生成装置，包括数据获取模块：用于获取第二审计描述以及第二引用规定，所述第二审计描述为处理后的第一审计描述，所述第二引用规定为处理后的第一引用规定，第一审计描述以及所述第一引用规定均具有标识；
注意力机制获取模块：用于对所述第二审计描述以及第二引用规定引入参数利用注意力机制以生成注意力机制输出；分类模块：用于利用神经网络对注意力机制输出进行处理以同时进行审计问题分类以及审计意见生成。
16.第三方面，本发明提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行所述第一方面任一所述方法。
17.本发明实施例带来了以下有益效果：本发明提供了一种多任务人工智能的审计意见生成方法、装置及可读介质，所述方法包括获取第二审计描述以及第二引用规定，第二审计描述为处理后的第一审计描述，第二引用规定为处理后的第一引用规定，第一审计描述以及第一引用规定均具有标识；对第二审计描述以及第二引用规定引入参数利用注意力机制以生成注意力机制输出；利用神经网络对注意力机制输出进行处理以同时进行审计问题分类以及审计意见生成。通过本发明可以实现审计发现问题自动分类、同时生成审计意见，提升审计问题与审计意见的关联性以提升审计模型的分析能力。
18.本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
19.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
20.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1为本发明示例性实施例示出的一种多任务人工智能的审计意见生成方法流程图；图2为本发明示例性实施例示出的又一种多任务人工智能的审计意见生成方法流程图；图3为本发明示例性实施例示出的另一种多任务人工智能的审计意见生成方法流程图；图4为本发明示例性实施例示出的一种同时进行审计问题分类以及审计意见生成流程图；图5为本发明示例性实施例示出的另一种多任务人工智能的审计意见生成网络结构图。
具体实施方式
22.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提
下所获得的所有其他实施例，都属于本发明保护的范围。
23.目前，审计问题分类可以看作一个标准的文本多分类问题：给定一条审计数据以及多个类别，判断该数据属于一个概率最大的类别。目前，文本分类已经被广泛应用于电力系统中，但现有技术中，审计意见需结合引用规定，因此现有的意见生成方式，即利用最大似然度的意见生成无法应用于审计领域，同时先有技术中，同时审计意见生成需要结合审计问题，相似的审计问题生成同样需要结合引用规定，现有的问题分类、意见生成方法均无法应用于审计领域，基于此，本发明实施例提供的一种多任务人工智能的审计意见生成方法、装置及可读介质，以对审计问题自动分类、同时生成审计意见，提升审计问题与审计意见的关联性以提升审计模型的分析能力。
24.为便于对本实施例进行理解，首先对本发明实施例所公开的一种多任务人工智能的审计意见生成方法进行详细介绍。
25.本发明提供的一种基于多任务人工智能审计意见生成适用于对基于文本分类、自然语言生成的审计描述的处理；随着深度学习的发展，基于神经网络的文本分类器已被广泛应用，包括但不限于word2vec、循环神经网络、以及卷积神经网络；对于自然语言生成，一种可采用的文本生成框架是seq2seq[]，其接收一段文本作为输入，并以自回归的方式逐个输出token作为输出;应理解的，在此未来应用本技术也可应用于未来深度学习框架以及自然语言生成的技术中；本技术审计方面的应用领域可包括但不限于电力领域，以电力领域为例，本技术提出如下的可能的实施方式。
[0026]
实施例一：如图1所示，本发明提供了示例性实施例示出的一种多任务人工智能的审计意见生成方法流程图，具体包括如下步骤：s102：获取第二审计描述以及第二引用规定；在此，所述第二审计描述为处理后的第一审计描述，所述第二引用规定为处理后的第一引用规定，第一审计描述以及所述第一引用规定均人工标注有标识；s103：对所述第二审计描述以及第二引用规定引入参数利用注意力机制以生成注意力机制输出；s104：利用神经网络对注意力机制输出进行处理以同时进行审计问题分类以及审计意见生成。
[0027]
在此对对审计描述以及引用规定进行处理，引入注意力机制，基于此对将审计问题以及审计意见同时获取；应理解的，在此神经网络的训练过程中，需将审计问题以及审计意见同时学习，现有技术中，均将意见以及问题单独进行学习，针对于问题概率最大匹配，针对意见采用最大似然函数，将两者同时获取，有利于提高问题与意见的关联性，进一步提升神经网络的分析能力；在图1的基础上，为了获取前述实施例的第二审计描述以及第二引用规定的注意力机制输出，在此，本发明提供了示例性实施例示出的又一种多任务人工智能的审计意见
生成方法流程图本方法包括如下步骤：s201:获取第一审计描述以及第一引用规定；示例性的，所述第一审计描述的标识数量为,所述第一引用规定的标识数量为；在此，标识已由人工标注，结合表1：
审计问题第一审计描述的标识第一引用规定标识审计意见结算审核不准确该工程结算批复竣工测绘费76,230元（不含税金额71,915.09元），审定76,230元（不含税金额74,009.71元），误将合同增值税税率由3%计算为6%，结算审核不严。《******公司输变电工程结算管理办法》（**（基建/3）114-2019）第十四条“工程结算价款按以下方式约定：（一）投标单位的中标价及按合同规定可调整部分金额”。加强工程结算审核工作，按照合同约定审定相关费用，提升工程结算准确性。工程账务调整不及时审查jz、nh、bd、wq、jh公司5家单位农网工程，其中180项工程账务调整不及时，决算批复后30日内未完成工程账务调整，涉及账务调整1233笔、金额13,669.64万元。《******公司工程财务管理办法》（**（财/2）351-2018）第四十七条“项目法人单位根据决算批复，在一个月内完成相关账务调整工作”。相关单位应严查成果报告的真实性与合理性，确保工程资料真实、准确、完整。概算设计费用测算错误（cd-营销18-04）bc区小淀镇地区充电桩群新建等3项工程，概算设计费按照“架空线路、电缆线路工程”测算，实际应按照“配电站、开关站及充（换）电站工程”计列，虚高23.66万元。《****公司营销项目管理办法》（**（营销/3）381-2017）第五十二条“初步设计评审的主要内容：
……
（八）核实概算编制依据、设计深度、费用构成、计算标准、项目及费用性质划分、概算表格的规范性等；核实各项费用的计算，有无漏项或重复计列”。切实履行初步设计编制审核职责，强化项目设计质量全过程管控。设计深度不足审查2016~2020年jz、nh、wq公司3家单位已竣工农网改造升级工程，其中10项工程概算较结算变化幅度超出40%，工程初设深度不足，涉及差异金额1,046.06万元。《****公司10（20）千伏及以下配电网工程项目管理规定》（**（运检/2）921-2018）第二十条“配电网工程设计一经批复，必须严格执行。设备材料采购和使用应符合设计方案要求，施工单位必须严格按图施工，确需发生变更时，应履行设计变更程序”。相关单位应落实初步设计审核职责，加强工程设计深度和现场管理力度，强化工程造价全过程管理。
表1：审计描述以及引用规定索引表在本发明提供的实施例中，第一审计描述采用如下表示：;第一引用规定采用如下表示：;s202：获取第二审计描述以及第二引用规定；示例性的，对所述第一审计描述采用第一编码器以获取第二审计描述，在此采用bart编码器进行编码；可实施的，将所述第一审计描述进行分词以获取第一分词向量，对第一分词向量按照bart的编码规则进行编码以获取第二审计描述。
[0028]
结合前述实施例，本技术中第二审计描述表示如下：;相对应的，一种可能的方式是，对第一引用规定采用第二编码器以获取第二引用规定。
[0029]
可实施的，基于引用规定为高度专业化的法律法规，所述第二编码器包括lawformer编码器；对第一引用规定采用第二编码器以获取第二引用规定的步骤包括：
将所述第一引用规定进行分词以获取第二分词向量；对第二分词向量按照lawformer的编码规则进行编码以获取第二引用规定。
[0030]
具体的，申请中第二引用规定表示如下：;s203：对所述第二审计描述以及第二引用规定引入参数利用注意力机制以生成注意力机制输出；在此需将第二审计描述以及第二引用进行融合，结合前述实施例，经融合后的向量为即，采用如下公式生成注意力机制输出：;—激活函数；；；；、、—参数矩阵；—融合后的第二审计描述以及第二引用规定，—第二审计描述；—第二引用规定；—词向量维度，在本技术中，词向量维度为784；s204：利用神经网络对注意力机制输出进行处理以同时进行审计问题分类以及审计意见生成；由表1可知，针对于第一审计描述以及第一引用规定，利用其标识，即可获取审计问题，同时生成审计意见，在图2的基础上，图3提供了本实施例另一示例性实施例示出的一种多任务人工智能的审计意见生成方法流程图：s301:获取第一审计描述以及第一引用规定；s302：获取第二审计描述以及第二引用规定；s303：对所述第二审计描述以及第二引用规定引入参数利用注意力机制以生成注意力机制输出；在此，s301至s303与前述s201至s203相一致，在此不再赘述；s304a：将所述注意力机制输出进行预测以提取所述第一审计描述以及第一引用规定的注有的标识；一种可实施的方式是，利用第一完全连接层传递所述注意力机制输出的最大池；利用第二完全连接层对注意力机制输出的最大池采用激活函数以获取所述第一审计描述以及第一引用规定的标识；所述第一完全连接层包括函数，所述第二完全连
接层包括函数；应理解的，在此第一完全连接层起到了传递注意力机制输出的最大池，进一步的，可用激活函数的函数传递最大池，经第一全连接层的输出为中间量；具体公式如下：;—中间量；—注意力机制输出；—激活函数；;—第一审计描述以及第一引用规定的标识；s304b:对提取的所述第一审计描述以及第一引用规定的标识依据索引规则，获取所述第一审计描述以及第一引用规定的标识所对应的审计问题以及第一审计意见;应理解的，示例性的索引表为表1，由此即利用神经网络对注意力机制输出进行处理以同时进行审计问题分类以及审计意见生成；图4为本发明示例性实施例示出的一种同时进行审计问题分类以及审计意见生成流程图，在图3的基础上并结合图5，利用神经网络对注意力机制输出进行处理以同时进行审计问题分类以及审计意见生成可采用如下的实施方式替代：s404a：将所述注意力机制输出进行预测以提取所述第一审计描述以及第一引用规定的注有的标识；s404b：对提取的所述第一审计描述以及第一引用规定的标识依据索引规则，获取所述第一审计描述以及第一引用规定的标识所对应的审计问题以及第一审计意见；s404c：将所述注意力机制输出进行解码以获取第二审计意见；示例性的，所述解码器为bart解码器；结合现有技术，bart解码器的解码规则为字对字的逐一解码，且第i个字的解码与第i-1的解码存在关联；s403d：对所述第二审计意见与所述第一审计意见相整合并输出第三审计意见。
[0031]
由此，即利用神经网络对注意力机制输出进行处理以同时进行审计问题分类以及审计意见生成，相较于图3所示的实施例，此实施方式获取的审计意见更为完善。
[0032]
为了证明此，我们将bart 解码器部分去掉，仅保留预测审计问题类别所使用的全连接层，同时与其他模型进行对比，且将审计意见生成的损失函数设为0，并将结果记为c。表1中的实验结果显示，当多任务的框架被移除时，实验结果也出现了小幅度下降，f1 score从0.8309下降到了0.8042。这论证了多任务学习框架是有用的。
[0033]
模型准确率精确度召回率f1-scorenaivebayes0.60420.62170.59500.6081svm0.62030.63290.63000.6314gbdt0.64150.65320.66280.6579
adaboost0.66360.65770.66980.6640xgboost0.66700.66720.67040.6688textcnn0.71650.74270.69010.7156lstm0.72780.74390.70500.7239bert0.77910.78230.77940.7808bartencode0.78030.78190.77990.7809本技术0.82730.83310.82880.8309w/o.d0.74580.75210.76200.7570w/o.r0.78820.77990.78050.7802w/o.gen0.80510.79960.80880.8042表2：多任务学习效果对比表实施例二：本发明实提供了示例性实施例示出的一种多任务人工智能的审计意见生成装置，包括：数据获取模块：用于获取第二审计描述以及第二引用规定，所述第二审计描述为处理后的第一审计描述，所述第二引用规定为处理后的第一引用规定，第一审计描述以及所述第一引用规定均具有标识；注意力机制获取模块：用于对所述第二审计描述以及第二引用规定引入参数利用注意力机制以生成注意力机制输出；分类模块：用于利用神经网络对注意力机制输出进行处理以同时进行审计问题分类以及审计意见生成。
[0034]
实施例三：本发明实施例所提供的进行一种多任务人工智能的审计意见生成方法及装置的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
[0035]
实施例四：为了证明我们提出的模型在审计意见生成任务上的有效性。我们对比了三种不同的审计模型框架：(1) seq2seq：于2014年提出的最早的神经序列生成模型[]，其编码器和解码器都是基于循环神经网络构建的，不包含预训练参数；(2) gpt-2：使用大量通用语料预训练过的transformer网络的解码器[]。(3) bart：使用大量通用语料预训练过的transformer网络的编码器-解码器架构[]。三种模型的输入均为audit description和referenced provision用一个特殊字符[sep]拼接后组成的字符串，输出皆为审计意见。与这三个baselines相比，我们提出的多任务学习架构首先将输入分解为audit description和referenced provision两部分，并使用两个不同的编码器进行分别编码，然后使用一个fusion layer来融合二者的互信息。此外，我们还设计了多任务学习的框架，使用audit issue classification任务来增强审计意见生成。
[0036]
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明
的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。