一种领域知识标注方法、系统、电子设备及介质与流程

1.本技术涉及深度学习技术领域，尤其涉及一种领域知识标注方法、系统、电子设备及介质。


背景技术：

2.随着人工智能技术的发展，在企业的数字化转型中起到了越来越大的作用，目前，监督学习的机器学习方法在企业的实际应用过程中占据主导作用，而监督学习需要带有标签的训练数据，因此需要人工进行相应的数据标注，特别是在深度学习需要大量样本训练的情况下，需要标注人员对大量的语料根据领域知识进行相关业务含义的标注，目前各个领域行业都缺乏高质量的海量标注语料，依靠人工进行标注效率较慢，难以在短时间内标注满足深度学习需要的大量标注数据。因而，现有技术中对领域行业语料进行标注效率低，并且无法减少领域行业语料标注无效的数量。


技术实现要素：

3.本技术实施例提供了一种领域知识标注方法、系统、电子设备及介质，以至少通过本发明解决了标注人员在对领域行业语料进行标注时的效率低以及领域行业语料标注无效的数量高等问题。
4.本发明提供了领域知识标注方法，包括：
5.标注语料数据获取步骤：从大量语料数据中抽取文本语料数据，并对所述文本语料数据进行标注获取标注语料数据；
6.打标签语料数据获取步骤：对所述标注语料数据进行训练获得打标签模型后，使用所述打标签模型得到所述大量语料数据的打标签语料数据；
7.模型识别结果获取步骤：对所述标注语料数据进行调参学习获得领域知识抽取模型后，将所述打标签语料数据中包含知识抽取效果差的知识类别的打标签语料数据输入到所述领域知识抽取模型，获取模型识别结果；
8.知识获取步骤：将所述模型识别结果输入到系统平台，标注人员使用所述系统平台审核所述模型识别结果后，根据审核结果所述领域知识抽取模型获取满足业务知识标准的知识。
9.上述的领域知识标注方法中，所述打标签语料数据获取步骤包括：
10.打标签模型获取步骤：采用深度学习方法对所述标注语料数据进行训练，获得所述打标签模型；
11.打标签语料数据生成步骤：使用所述打标签模型对所述大量语料数据进行跑数，得到所述大量语料数据打标签后的所述打标签语料数据。
12.上述的领域知识标注方法中，所述模型识别结果获取步骤包括：
13.领域知识抽取模型生成步骤：通过深度学习算法对所述标注语料数据进行调参学习后，获得所述领域知识抽取模型；
14.语料筛选步骤：对所述领域知识抽取模型进行分析，获取知识抽取效果差的知识类别，从所述打标签语料数据中筛选出包含所述知识类别的所述打标签语料数据；
15.模型识别结果生成步骤：将包含所述知识类别的所述打标签语料数据输入到所述领域知识抽取模型后，生成所述模型识别结果。
16.上述的领域知识标注方法中，所述知识获取步骤包括：
17.模型识别结果审核步骤：将所述模型识别结果输入到brat的所述系统平台后，所述标注人员根据所述业务知识标准使用所述系统平台审核所述模型识别结果；
18.循环操作步骤：所述模型识别结果审核完成后，进行循环操作，当所述领域知识抽取模型获取到满足所述业务知识标准的所述知识时，结束所述循环操作。
19.本发明还提供领域知识标注系统，其中，适用于上述所述的领域知识标注方法，所述领域知识标注系统包括：
20.标注语料数据获取单元：从大量语料数据中抽取文本语料数据，并对所述文本语料数据进行标注获取标注语料数据；
21.打标签语料数据获取单元：对所述标注语料数据进行训练获得打标签模型后，使用所述打标签模型得到所述大量语料数据的打标签语料数据；
22.模型识别结果获取单元：对所述标注语料数据进行调参学习获得领域知识抽取模型后，将所述打标签语料数据中包含知识抽取效果差的知识类别的打标签语料数据输入到所述领域知识抽取模型，获取模型识别结果；
23.知识获取单元：将所述模型识别结果输入到系统平台，标注人员使用所述系统平台审核所述模型识别结果后，根据审核结果所述领域知识抽取模型获取满足业务知识标准的知识。
24.上述的领域知识标注系统中，所述打标签语料数据获取单元包括：
25.打标签模型获取模块：采用深度学习方法对所述标注语料数据进行训练，获得所述打标签模型；
26.打标签语料数据生成模块：使用所述打标签模型对所述大量语料数据进行跑数，得到所述大量语料数据打标签后的所述打标签语料数据。
27.上述的领域知识标注系统中，所述模型识别结果获取单元包括：
28.领域知识抽取模型生成模块：通过深度学习算法对所述标注语料数据进行调参学习后，获得所述领域知识抽取模型；
29.语料筛选模块：对所述领域知识抽取模型进行分析，获取知识抽取效果差的知识类别，从所述打标签语料数据中筛选出包含所述知识类别的所述打标签语料数据；
30.模型识别结果生成模块：将包含所述知识类别的所述打标签语料数据输入到所述领域知识抽取模型后，生成所述模型识别结果。
31.上述的领域知识标注系统中，所述知识获取单元包括：
32.模型识别结果审核模块：将所述模型识别结果输入到brat的所述系统平台后，所述标注人员根据所述业务知识标准使用所述系统平台审核所述模型识别结果；
33.循环操作模块：所述模型识别结果审核完成后，进行循环操作，当所述领域知识抽取模型获取到满足所述业务知识标准的所述知识时，结束所述循环操作。
34.本发明还提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可
在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一项所述的领域知识标注方法。
35.本发明还提供一种电子设备可读存储介质，所述电子设备可读存储介质上存储有计算机程序指令，所述计算机程序指令被所述处理器执行时实现上述任一项所述的领域知识标注方法。
36.相比于相关技术，本发明提出的一种领域知识标注方法、系统、电子设备及介质，大大提高了标注人员在对领域行业语料进行标注时的效率以及减少了领域行业语料标注无效的数量，并且提高了自然语言处理能力。
37.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
38.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
39.图1是根据本技术实施例的领域知识标注方法流程图；
40.图2为本发明的领域知识标注系统的结构示意图；
41.图3是根据本技术实施例的电子设备的框架图。
42.其中，附图标记为：
43.标注语料数据获取单元：51；
44.打标签语料数据获取单元：52；
45.模型识别结果获取单元：53；
46.知识获取单元：54；
47.打标签模型获取模块：521；
48.打标签语料数据生成模块：522；
49.领域知识抽取模型生成模块：531；
50.语料筛选模块：532；
51.模型识别结果生成模块：533；
52.模型识别结果审核模块：541；
53.循环操作模块：542；
54.总线:80；
55.处理器：81；
56.存储器：82；
57.通信接口：83。
具体实施方式
58.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
59.显而易见地，下面描述中的附图仅仅是本技术的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本技术应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
60.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
61.除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
62.本发明通过人机协同模式进行领域行业数据语料的标注的方法，大大提高了标注人员在领域行业语料进行标注时的效率，并减少了领域行业语料标注无效数量，节省企业标注成本。
63.下面结合具体实施例对本发明进行说明。
64.实施例一
65.本实施例提供了领域知识标注方法。请参照图1，图1是根据本技术实施例的领域知识标注方法流程图，如图1所示，领域知识标注方法包括如下步骤：
66.标注语料数据获取步骤s1：从大量语料数据中抽取文本语料数据，并对所述文本语料数据进行标注获取标注语料数据；
67.打标签语料数据获取步骤s2：对所述标注语料数据进行训练获得打标签模型后，使用所述打标签模型得到所述大量语料数据的打标签语料数据；
68.模型识别结果获取步骤s3：对所述标注语料数据进行调参学习获得领域知识抽取模型后，将所述打标签语料数据中包含知识抽取效果差的知识类别的打标签语料数据输入到所述领域知识抽取模型，获取模型识别结果；
69.知识获取步骤s4：将所述模型识别结果输入到系统平台，标注人员使用所述系统平台审核所述模型识别结果后，根据审核结果所述领域知识抽取模型获取满足业务知识标
准的知识。
70.在实施例中，所述标注语料数据获取步骤s1包括，从大量语料数据中抽取文本语料数据，并对所述文本语料数据进行标注获取标注语料数据。
71.在具体实施中，标注人员按照业务知识标准定义在brat上对文本语料进行标注，标注人员之间交叉校验确保语料标注的准确性后，将标注好的标注语料数据按照标准的输出格式输出。
72.在实施例中，所述打标签语料数据获取步骤s2包括：
73.打标签模型获取步骤s21：采用深度学习方法对所述标注语料数据进行训练，获得所述打标签模型；
74.打标签语料数据生成步骤s22：使用所述打标签模型对所述大量语料数据进行跑数，得到所述大量语料数据打标签后的所述打标签语料数据。
75.在具体实施中，将输出的标注语料数据转换为分类算法需要的输入格式后，采用lstm+crf等深度学习方法对输入格式转换为分类算法需要的输入格式的标注语料数据进行训练，得到语料的打标签模型后，将大量语料数据用打标签模型进行跑数，得到大量语料数据的打标签后的语料数据。
76.在实施例中，所述模型识别结果获取步骤s3包括：
77.领域知识抽取模型生成步骤s31：通过深度学习算法对所述标注语料数据进行调参学习后，获得所述领域知识抽取模型；
78.语料筛选步骤s32：对所述领域知识抽取模型进行分析，获取知识抽取效果差的知识类别，从所述打标签语料数据中筛选出包含所述知识类别的所述打标签语料数据；
79.模型识别结果生成步骤s33：将包含所述知识类别的所述打标签语料数据输入到所述领域知识抽取模型后，生成所述模型识别结果。
80.在具体实施中，将标注语料数据按照bert等模型需要的格式进行转换后，将标注语料数据输入到bert深度学习算法进行调参学习，得到领域知识抽取模型后，对领域知识抽取模型分析将知识抽取效果差的语料类别筛选出来，从打标签语料数据中筛选含有知识识别效果差的知识类型的语料后，将语料输入到领域知识抽取模型中，得到新语料的模型识别结果。
81.在实施例中，所述知识获取步骤s4包括：
82.模型识别结果审核步骤s41：将所述模型识别结果输入到brat的所述系统平台后，所述标注人员根据所述业务知识标准使用所述系统平台审核所述模型识别结果；
83.循环操作步骤s42：所述模型识别结果审核完成后，进行循环操作，当所述领域知识抽取模型获取到满足所述业务知识标准的所述知识时，结束所述循环操作。
84.在具体实施中，将模型识别结果转换为brat系统的标注格式后，将格式转换后的模型识别结果输入到brat的系统平台中，标注人员通过brat平台审核模型识别结果并将审核完的结果输出后，循环执行打标签语料数据获取步骤s2、模型识别结果获取步骤s3以及知识获取步骤s4，循环直到领域知识抽取模型获取到的知识满足业务知识标准为止。
85.实施例二
86.请参照图2，图2为本发明的领域知识标注系统的结构示意图。如图2所示，发明的领域知识标注，适用于上述的领域知识标注方法，领域知识标注系统，包括：
87.标注语料数据获取单元51：从大量语料数据中抽取文本语料数据，并对所述文本语料数据进行标注获取标注语料数据；
88.打标签语料数据获取单元52：对所述标注语料数据进行训练获得打标签模型后，使用所述打标签模型得到所述大量语料数据的打标签语料数据；
89.模型识别结果获取单元53：对所述标注语料数据进行调参学习获得领域知识抽取模型后，将所述打标签语料数据中包含知识抽取效果差的知识类别的打标签语料数据输入到所述领域知识抽取模型，获取模型识别结果；
90.知识获取单元54：将所述模型识别结果输入到系统平台，标注人员使用所述系统平台审核所述模型识别结果后，根据审核结果所述领域知识抽取模型获取满足业务知识标准的知识。
91.在实施例中，所述打标签语料数据获取单元52包括：
92.打标签模型获取模块521：采用深度学习方法对所述标注语料数据进行训练，获得所述打标签模型；
93.打标签语料数据生成模块522：使用所述打标签模型对所述大量语料数据进行跑数，得到所述大量语料数据打标签后的所述打标签语料数据。
94.在实施例中，所述模型识别结果获取单元53包括：
95.领域知识抽取模型生成模块531：通过深度学习算法对所述标注语料数据进行调参学习后，获得所述领域知识抽取模型；
96.语料筛选模块532：对所述领域知识抽取模型进行分析，获取知识抽取效果差的知识类别，从所述打标签语料数据中筛选出包含所述知识类别的所述打标签语料数据；
97.模型识别结果生成模块533：将包含所述知识类别的所述打标签语料数据输入到所述领域知识抽取模型后，生成所述模型识别结果。
98.在实施例中，所述知识获取单元54包括：
99.模型识别结果审核模块541：将所述模型识别结果输入到brat的所述系统平台后，所述标注人员根据所述业务知识标准使用所述系统平台审核所述模型识别结果；
100.循环操作模块542：所述模型识别结果审核完成后，进行循环操作，当所述领域知识抽取模型获取到满足所述业务知识标准的所述知识时，结束所述循环操作。
101.实施例三
102.结合图3所示，本实施例揭示了一种电子设备的一种具体实施方式。电子设备可以包括处理器81以及存储有计算机程序指令的存储器82。
103.具体地，上述处理器81可以包括中央处理器(cpu)，或者特定集成电路(application specific integrated circuit，简称为asic)，或者可以被配置成实施本技术实施例的一个或多个集成电路。
104.其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(hard disk drive，简称为hdd)、软盘驱动器、固态驱动器(solid state drive，简称为ssd)、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus，简称为usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在异常数据监测装置的内部或外部。在特定实施例中，存储器82是非易失性(non
‑
volatile)存储器。在特定实
施例中，存储器82包括只读存储器(read
‑
only memory，简称为rom)和随机存取存储器(random access memory，简称为ram)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(programmable read
‑
only memory，简称为prom)、可擦除prom(erasable programmable read
‑
only memory，简称为fprom)、电可擦除prom(electrically erasable programmable read
‑
only memory，简称为efprom)、电可改写rom(electrically alterable read
‑
only memory，简称为earom)或闪存(flash)或者两个或更多个以上这些的组合。在合适的情况下，该ram可以是静态随机存取存储器(static random
‑
access memory，简称为sram)或动态随机存取存储器(dynamic random access memory，简称为dram)，其中，dram可以是快速页模式动态随机存取存储器(fast page mode dynamic random access memory，简称为fpmdram)、扩展数据输出动态随机存取存储器(extended date out dynamic random access memory，简称为edodram)、同步动态随机存取内存(synchronous dynamic random
‑
access memory，简称sdram)等。
105.存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
106.处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意领域知识标注方法。
107.在其中一些实施例中，电子设备还可包括通信接口83和总线80。其中，如图3所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
108.通信接口83用于实现本技术实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/异常数据监测设备、数据库、外部存储以及图像/异常数据监测工作站等之间进行数据通信。
109.总线80包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(data bus)、地址总线(address bus)、控制总线(control bus)、扩展总线(expansion bus)、局部总线(local bus)。举例来说而非限制，总线80可包括图形加速接口(accelerated graphics port，简称为agp)或其他图形总线、增强工业标准架构(extended industry standard architecture，简称为eisa)总线、前端总线(front side bus，简称为fsb)、超传输(hyper transport，简称为ht)互连、工业标准架构(industry standard architecture，简称为isa)总线、无线带宽(infiniband)互连、低引脚数(low pin count，简称为lpc)总线、存储器总线、微信道架构(micro channel architecture，简称为mca)总线、外围组件互连(peripheral component interconnect，简称为pci)总线、pci
‑
express(pci
‑
x)总线、串行高级技术附件(serial advanced technology attachment，简称为sata)总线、视频电子标准协会局部(video electronics standards association local bus，简称为vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本技术实施例描述和示出了特定的总线，但本技术考虑任何合适的总线或互连。
110.电子设备可连接领域知识标注系统，从而实现结合图1的方法。
111.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
112.综上所述，本发明通过人机协同模式进行领域行业数据语料的标注，大大提高了标注人员对领域行业语料进行标注时的效率，并减少了领域行业语料标注无效的数量，因而节省了企业标注成本。
113.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求的保护范围为准。