用于知识产权领域的自然语言处理系统以及自然语言处理方法与流程

1.本发明涉及一种自然语言处理系统以及自然语言处理方法，尤其涉及一种利用深度学习用于知识产权领域的自然语言处理系统以及自然语言处理方法。


背景技术：

2.在面临国际技术竞争与冲击的当下，知识产权的发展成为产业升级上极重要的一环。在知识经济的浪潮席卷全球的下，知识产权的重要性与价值已毋庸置疑，但随着新的科技技术出现，也逐渐引发知识产权未来的服务走向。
3.以往的知识产权需要耗费大量的人力，从技术、法律、商业利益等角度来解析，进而产生对权利人有益的策略与行为。其中，对于如此大量的文件进行分类处理是一个基本但也重要的工作。传统上对于文件的分类处理，大多仅能进行最初揭的判断，容易产生分类错误的问题。若要进行深度的分析判断，就需要耗费大量人力与时间。
4.因此，有必要藉由现今渐趋成熟的人工智能，来改善知识产权耗费人工、错误与争议大、耗时效率低等问题。
5.因此，本发明的主要目的在于提供一种利用深度学习以智能处理知识产权数据的自然语言处理系统以及自然语言处理方法，以解决上述问题。


技术实现要素：

6.本发明的目的在于提供一种自然语言处理(natural language processing；nlp)系统，用于具有特定文本规范的知识产权领域，用以将文本转化产生具有领域适应性的文本标签。此自然语言处理系统包括文意深度学习模块、规范用语数据处理单元以及结合学习单元。文意深度学习模块是用以接收所述文本，以产生文本文意表征。规范用语数据处理单元包括字符串比对模块与神经网络数据处理模块。其中，所述字符串比对模块是用以接收所述文本，并利用预定的知识产权字典库比对所述文本以产生第一输入信息，所述神经网络数据处理模块是用以接收所述第一输入信息，并依据所述第一输入信息产生文本规范表征。结合学习单元包括结合模块与分类器。其中，所述结合模块是用以结合所述文本文意表征与所述文本规范表征，以产生一第二输入信息，所述分类器是用以接收所述第二输入信息，以产生所述文本标签。
7.为达所述优点至少其中的一或其他优点，本发明的一实施例提出一种自然语言处理系统，其特征在于，其中所述文本是一训练文本，所述训练文本具有既定的比对标签，所述自然语言处理系统更包括训练模块，所述训练模块是用以撷取所述比对标签，并依据所述文本标签与所述比对标签间的损失函数(loss function)修正所述文意深度学习模块的第一参数、所述神经网络数据处理模块的第二参数与所述分类器的第三参数。其中所述损失函数是均方误差(mean square error,mse)或平均绝对值误差(mean absolute error,mae)。
8.为达所述优点至少其中的一或其他优点，本发明的一实施例提出一种自然语言处理系统，其特征在于，其中所述文意深度学习模块是选自于由bert、roberta、或albert所组成的卷积神经网络(convolutional neural network；cnn)族群中的至少一个。
9.为达所述优点至少其中的一或其他优点，本发明的一实施例提出一种自然语言处理系统，其特征在于，其中所述神经网络数据处理模块是利用独热编码(one hot encode)产生所述文本规范表征。
10.为达所述优点至少其中的一或其他优点，本发明的一实施例提出一种自然语言处理系统，其特征在于，其中所述分类器是softmax分类器。
11.为达所述优点至少其中的一或其他优点，本发明的一实施例提出一种自然语言处理系统，其特征在于，其中所述结合学习单元将所述文本文意表征与所述文本规范表征结合以产生所述输入的结合方法是采用向量直接合并、或以所述文本规范表征作为权重与所述文本文意表征合并。
12.本发明的另一目的在于提供一种自然语言处理方法，用于具有特定文本规范的知识产权领域，用以将文本转化产生具有领域适应性的文本标签。此述自然语言处理方法包括：将所述文本提供至文意深度学习模型，以产生文本文意表征；利用预定的知识产权字典库比对所述文本以产生第一输入信息；将所述第一输入信息提供至神经网络模型，以产生文本规范表征；结合所述文本文意表征与所述文本规范表征，以产生一第二输入信息；以及依据所述第二输入信息进行分类，以产生所述文本标签。
13.为达所述优点至少其中的一或其他优点，本发明的一实施例提出一种自然语言处理方法，其特征在于，其中所述文本是训练文本，所述训练文本具有既定的比对标签，在产生所述文本标签之步骤后，更包括依据所述文本标签与所述比对标签间的损失函数修正所述文意深度学习模型、所述神经网络模型与所述分类器的参数。其中所述损失函数是均方误差或平均绝对值误差。
14.为达所述优点至少其中的一或其他优点，本发明的一实施例提出一种自然语言处理方法，其特征在于，其中所述文意深度学习模型是由选自于由bert、roberta、或albert所组成的卷积神经网络族群中的至少一个所提供。
15.为达所述优点至少其中的一或其他优点，本发明的一实施例提出一种自然语言处理方法，其特征在于，其中将所述第一输入信息提供至所述神经网络模型，以产生所述文本规范表征之步骤是利用独热编码产生所述文本规范表征。
16.为达所述优点至少其中的一或其他优点，本发明的一实施例提出一种自然语言处理方法，其特征在于，其中依据所述第二输入信息进行分类以产生所述文本标签的步骤是采用softmax分类器进行分类以产生所述文本标签。
17.为达所述优点至少其中的一或其他优点，本发明的一实施例提出一种自然语言处理方法，其特征在于，其中结合所述文本文意表征与所述文本规范表征以产生所述第二输入信息的步骤是采用向量直接合并、或以文本规范表征作为权重与文本文意表征合并。
18.因此，利用本发明所提供用于知识产权领域的自然语言处理系统以及自然语言处理方法，可以有效地纳入知识产权领域特有的文本规范，解决知识产权领域在文本分类上耗费人工、错误率高、耗时效率低等问题。
19.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，
而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。
附图说明
20.所包括的附图用来提供对本技术实施例的进一步的理解，其构成了说明书的一部分，用于例示本技术的实施方式，并与文字描述一起来阐释本技术的原理。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：
21.图1是本发明自然语言处理系统一实施例的示意图；
22.图2是本发明自然语言处理系统另一实施例的示意图；
23.图3是本发明自然语言处理方法一实施例的流程图；以及
24.图4是本发明自然语言处理方法另一实施例的流程图。
具体实施方式
25.这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。
26.在本发明的描述中，需要理解的是，术语“中心”、“横向”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关为基于附图所示的方位或位置关是，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或组件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。另外，术语“包括”及其任何变形，意图在于覆盖不排他的包含。
27.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个组件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
28.这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
29.图1是本发明自然语言处理系统一实施例的示意图。此自然语言处理系统100是用于具有特定文本规范的知识产权领域，用以将文本d转化产生具有领域适应性的文本标签b。前述文本d可以是关于知识产权的官方审查决定，其内文、主旨或摘要，或是其他官方来函。举例来说，前述文本可以是专利审查程序的受理文件、初审通知、公布通知或实审通知。
前述文本规范是关联于知识产权所使用的文本的规范。举例来说，文本规范可以关联于专利权审查程序与步骤的文本，其内容架构，关键词等。
30.如图中所示，此自然语言处理系统100包括文意深度学习模块120、规范用语数据处理单元140以及结合学习单元160。
31.文意深度学习模块120是用以接收文本d，以产生文本文意表征y。此文意深度学习模块120是预先经过训练的深度学习模块。在一实施例中，文意深度学习模块120是选自于由bert、roberta、或albert所组成的卷积神经网络(convolutional neural network；cnn)族群中的至少一个。在一实施例中，文意深度学习模块可采用word2vec模型或是doc2vec模型已产生文本文意表征y，文本文意表征y即为对应于此文本d的向量。
32.规范用语数据处理单元140包括字符串比对模块142与神经网络数据处理模块144。字符串比对模块142接收文本d，并利用预定的知识产权字典库(未图示)比对文本d以产生第一输入信息x。知识产权字典库可包含知识产权领域常用的引用条文、条号与项次，以及具有区别性的关键词，如新颖性、创造性、优先权日等用语。字符串比对模块142的比对处理基本上就是分析文本d的内容是否存在知识产权字典库内的特定用语，以产生第一输入信息。在一实施例中，此第一输入信息x可以是一个由0与1表达的多维向量，其中0代表文本中不存在一特定用语，1代表存在此特定用语。在一实施例中，前述特定用语是一个字词(word)。不过亦不限于此，在一实施例中，前述特定用语亦可以是一个词组(phrase)或是一个短句子(sentence)。
33.神经网络数据处理模块144是用以接收第一输入信息x，并依据第一输入信息x产生文本规范表征z。神经网络数据处理模块144是预先经过训练的神经网络数据处理模块。在一实施例中，神经网络数据处理模块142可以是单一隐藏层的简单神经网络或是其他浅神经网络(例如隐藏层数量少于10)，其隐藏层(hidden layer)数量明显少于前述文意深度学习模块120，以降低成本，简化架构的复杂度。不过，本发明亦不限于此，若是第一输入信息x过于复杂，为了提升判断的准确率，在一实施例中，此神经网络数据处理模块144亦可以是具有深度神经网络之深度学习模块。
34.在一实施例中，神经网络数据处理模块144是利用独热编码产生文本规范表征z。神经网络数据处理模块144所输出的文本规范表征z的维数可视用户需求、第一输入信息x的复杂度、与此自然语言处理系统的实际训练与运作状况进行调整。
35.结合学习单元160包括结合模块162与分类器164。其中，结合模块162是用以结合文本文意表征y与文本规范表征z，以产生第二输入信息a。在一实施例中，结合模块162将文本文意表征y与文本规范表征z结合以产生第二输入信息a的结合方法是采用向量直接合并。不过亦不限于此，在一实施例中，结合模块162将文本文意表征y与文本规范表征z结合以产生第二输入信息a的结合方法亦可以是以文本规范表征z作为权重与文本文意表征y合并。前述向量直接合并的方式不受到文本文意表征y与文本规范表征z的维数限制，但是会产生维数较多的第二输入信息a。前述以文本规范表征z作为权重与文本文意表征y合并的合并方式可以有效减少第二输入信息a的维数，但需要相同维数的文本文意表征y与文本规范表征z。
36.此分类器164是用以接收第二输入信息a以产生文本标签b。在一实施例中，此文本标签b是以多维向量呈现分类器对于文本d的分类结果，多维向量的各个数值分别对应至一
个分类条件或是一个类别。。在一实施例中，此分类器164是一预先训练过的神经网络分类器(neural network classifier)。在一实施例中，此分类器164是softmax分类器。
37.由于分类器164所接收的第二输入信息a会包含文本规范表征z，文本规范表征z隐含此文本d在知识产权领域的特定文本规范下的信息。因此，分类器164可以有效地定义文本d的类型并产生对应的文本标签b，协助使用者迅速且正确的理解此文本d，而毋须花费大量时间阅读分析文本d的内容。
38.以下以专利审查程序的官方来函做为文本d说明本实施例。
39.为了避免文本篇幅过大，影响分析程序的进行，在一实施例中，文意深度学习模块120可选择此文本d具有代表性的特定部分进行分析，例如分析此文本d的第一段与最末段文字或是此文本d的前100个字等。文意深度学习模块120依据文本d产生文本文意表征y＝{y1,y2
…
ym}，m是表示文本文意表征y的维数，其维数m可依使用者实际需求进行调整。
40.字符串比对模块142接收文本d，并利用预定的知识产权字典库比对文本d以产生第一输入信息x。前述知识产权字典库可包含专利程序中具有区别性的关键字词与词组，如不明确、新颖性、创造性、可据以实施、核准等，以及专利法与施行细则的条号、项次等。假设进行比对的比对文字数量为100，前述第一输入信息可表达成x＝{x1,x2,
…
x100}，x1,x2,
…
x100是以二维数0或1表示文本d与比对文字的关联性。若文本d内有此比对字词或词组即填入1，若否即填入0。换言之，字符串比对模块142可利用独热编码的方式产生第一输入信息x。
41.神经网络数据处理模块144会依据第一输入信息x产生文本规范表征z＝{z1,z2
…
zi}，i是表示文本规范表征z的维数，其维数i可依使用者实际需求进行调整。
42.若是结合模块162将文本文意表征y与文本规范表征z结合以产生第二输入信息a的结合方法是采用向量直接合并，结合模块162所产生的第二输入信息a＝{y1,y2
…
ym,z1,z2
…
zi}。若是结合模块162将文本文意表征y与文本规范表征z结合以产生第二输入信息a的结合方法是以文本规范表征z作为权重与文本文意表征y合并，文本规范表征z的维数i需要与文本文意表征y的维数m相同，结合模块162所产生的第二输入信息a＝{y1z1,y2z2
…
ymzi}。分类器164接收第二输入信息a，据以产生文本标签b对文本d进行分类。
43.利用本发明所提供的自然语言处理系统100，可产出文本标签b对知识产权领域文本进行分类，供使用者判断。如此，可降低人工判读的负担，同时也降低人工判读错误的机率。举例来说，此自然语言处理系统100可利用文本标签b区分官方来函的类型，用户可依据文本标签b判断此官方来函是否需回复、是否需转送至技术人员处理、是否需追踪控管，此外，并可依据文本标签b提供处理人员处理时需注意的信息(例如相关法条、期限等)。
44.关于前述文意深度学习模块120、神经网络数据处理模块144与分类器164的训练程序，在后续段落会有详细说明。
45.图2是本发明自然语言处理系统另一实施例的示意图。相较于图1的自然语言处理系统，本实施例的自然语言处理系统200还具有训练模块280，可对于文意深度学习模块120、神经网络数据处理模块144与分类器164进行训练程序。
46.如图中所示，在训练程序中，用户是将训练文本d’输入此训练中的自然语言处理系统200。文意深度学习模块120会依据此训练文本d’产生训练文本文意表征y’。字符串比对模块142会比对训练文本d’以产生第一训练输入信息x’。神经网络数据处理模块144会依
据此第一训练输入信息x’产生训练文本规范表征z’。结合模块162接收前述训练文本文意表征y’与训练文本规范表征z’，并将训练文本文意表征y’与训练文本规范表征z’结合以产生第二训练输入信息a’。分类器164接收此第二训练输入信息a’以产生对应于此训练文本d’的文本标签b’。
47.另一方面，此训练文本d’具有一既定的比对标签c。此比对标签c可由人工或是另一个完成训练后的自然语言处理系统依据此训练文本d’产生，也可以是由人工对于另一个自然语言处理系统产生的文本标签进行调整而产生。
48.训练模块280除了接收分类器164所产生的文本标签b’，也会撷取比对标签c，并计算文本标签b’与比对标签c间的损失函数(loss function)以修正文意深度学习模块120的第一参数、神经网络数据处理模块144的第二参数与分类器164的第三参数。
49.在一实施例中，文本卷标b’与比对卷标c可以是以多维向量呈现分类器164对于训练文本d’的分类结果。举例来说，文本标签b’＝{b1,b2,b3
…
bj}，比对标签c＝{c1,c2,c3
…
cj}，文本标签b’与比对标签c的维数相同，其中的各个数值分别对应至一个分类条件或是一个类别。在一实施例中，损失函数可以是文本标签b’与比对标签c的所有对应向量的均方误差(mean square error,mse)或平均绝对值误差(mean absolute error,mae)。训练模块280则是以缩减均方误差或平均绝对值误差为目标，修正文意深度学习模块120的第一参数、神经网络数据处理模块144的第二参数与分类器164的第三参数。不过本发明亦不限于此，任何适用于文本比对的损失函数，均可适用于本发明。
50.透过前述训练模块280的运作，自然语言处理系统200可透过文本标签与比对标签的比对进行训练程序，优化文意深度学习模块120的第一参数、神经网络数据处理模块144的第二参数与分类器164的第三参数。
51.图3是本发明自然语言处理方法一实施例的流程图。此自然语言处理方法用于具有特定文本规范的知识产权领域，用以将文本转化产生具有领域适应性的文本标签。此自然语言处理方法可由如图1所示的自然语言处理系统100执行。
52.如图中所示，此自然语言处理方法包括以下步骤。
53.请一并参照图1所示，首先，在步骤s120中，将文本d提供至文意深度学习模型以产生文本文意表征y。举例来说，此步骤可由图1的文意深度学习模块120执行。文意深度学习模块120可预先定义文意深度学习模型。在一实施例中，文意深度学习模型是由选自于由bert、roberta、或albert所组成的卷积神经网络族群中的至少一个所提供。
54.接下来，在步骤s140中，利用预定的知识产权字典库比对文本d以产生第一输入信息x。举例来说，此步骤可由图1的字符串比对模块142执行。步骤s140所使用的知识产权字典库可包含知识产权领域常用的引用条文、条号与项次，以及具有区别性的关键字词，如新颖性、创造性、优先权日等。
55.随后，在步骤s160中，将第一输入信息x提供至神经网络模型，以产生文本规范表征z。举例来说，此步骤可由图1的神经网络数据处理模块144所执行。在一实施例中，前述将第一输入信息x提供至神经网络模型以产生文本规范表征z之步骤是利用独热编码(one hot encode)产生文本规范表征z。
56.接下来，在步骤s180中，结合文本文意表征y与文本规范表征z，以产生一第二输入信息a。举例来说，此步骤可由图1的结合模块162执行。在一实施例中，步骤s180的结合方式
可以是将文本文意表征y与文本规范表征z的向量直接合并。在一实施例中，当文本文意表征y与文本规范表征z的维数相同，步骤s180的结合方式可以是以文本规范表征z作为权重与文本文意表征y合并。
57.随后，在步骤s190中，依据前述第二输入信息a对文本d进行分类，以产生文本标签b。举例来说，此步骤可由图1的分类器164所执行。在一实施例中，前述依据第二输入信息a对文本d进行分类以产生文本标签b的步骤是采用softmax分类器执行。步骤s190所产生的文本标签b是以多维向量表达此分类结果。
58.图4是本发明自然语言处理方法另一实施例的流程图。相较于图3的自然语言处理方法。本实施例的自然语言处理方法具有训练步骤，可修正文意深度学习模块120、神经网络数据处理模块144以及分类器164的参数。在一实施例中，此自然语言处理方法可使用图2所示的自然语言处理系统200执行。
59.承接图3的步骤s190，如图中所示，在依据训练文本d’产生文本标签b’的步骤后，如步骤s192所述，撷取对应于此训练文本d’的比对标签c。此比对标签c可由人工或是另一个完成训练后的自然语言处理系统依据训练文本d’产生，也可以是由人工对于另一个自然语言处理系统产生的文本标签进行调整而产生。
60.随后，如步骤s194所述，依据文本标签b与比对标签c间的损失函数修正文意深度学习模型、神经网络模型与分类器的参数。前述步骤s192与s194可利用图2中的训练模块280执行。训练模块280会以缩减损失函数的数值为目标修正文意深度学习模型、神经网络模型与分类器的参数。在一实施例中，此损失函数可以是文本标签b’与比对标签c的所有对应向量的均方误差或平均绝对值误差。不过本发明亦不限于此，任何适用于文本比对的损失函数，均可适用于本发明。
61.综上所述，利用本发明所提供用于知识产权领域的自然语言处理系统以及自然语言处理方法，可以有效地纳入知识产权领域特有的文本规范，解决知识产权领域在文本分类上耗费人工、错误率高、耗时效率低等问题。
62.以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内，当可利用上述揭示的方法及技术内容作出些许的更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。