自动生成自然语言处理盒的数据驱动方法与流程

实施例涉及用于自动生成自然语言处理盒的数据驱动方法。

背景技术：

数据分析是检查数据集以得出关于数据集包含的信息的结论的处理，越来越多地借助于专门的系统和软件。在数据分析中，可以通过专用软件(称为自然语言处理软件)执行从文档集合中识别和提取重要概念。自然语言处理软件可以使用自然语言理解来分析文本以从内容中提取元数据，诸如概念、实体、关键字、类别、情感、情绪、关系和语义角色。

在数据分析中，盒(cartridge)可以包含基于不同技术的分析逻辑，这些技术的范围从简单的正则表达式到诸如自然语言处理的认知方法。盒可以使得能够检测文档中的额外信息。盒可以包括用于自然语言处理的规则或用于分析文档内容并在建立索引期间检测文档中的新数据并使这些新见解可搜索的其它代码。例如，敏感模式盒可以使数据分析软件能够检测护照号码、电话号码和其它标识符。

技术实现要素：

提供了一种方法、系统和计算机程序产品，其中制品(artifact)识别引擎通过使用认知注释，基于预定义制品从一个或多个文档中的结构化和非结构化数据中识别制品。至少基于接收到的输入来分析识别出的制品。基于该分析，生成包括与结构化和非结构化数据相关的制品的盒。

在另外的实施例中，一个或多个文档的认知模型是从盒中生成的。

在某些实施例中，识别出的制品超过了在一个或多个文档中的出现的频率阈值。

在附加的实施例中，接收的输入包括用于制品内的实体的匹配中的预定阈值，其中如果识别出的制品内的实体在匹配中超过该预定阈值，那么将所识别出的制品添加到盒，并且其中盒生成用于所述一个或多个文档的认知模型。

在某些实施例中，接收的输入包括用于制品内的实体的匹配中的预定阈值，其中如果识别出的制品内的实体在匹配中未超过该预定阈值，那么将识别出的制品的实体的子集添加到盒，并且其中盒生成用于所述一个或多个文档的认知模型。

在另外的实施例中，接收的输入被用于基于被识别为在接收到的输入中无兴趣的概念来生成过滤器制品。

在另外的实施例中，经由自然语言处理软件来生成认知注释，该自然语言处理软件基于预定义制品来处理所述一个或多个文档中的结构化和非结构化数据。

附图说明

现在参考附图，其中相似的附图标记始终表示相应的部分：

图1图示了根据某些实施例的包括用于生成自然语言处理盒的计算设备的计算环境的框图；

图2图示了根据某些实施例的示出对一个或多个文档执行的示例性数据分析的框图；

图3图示了根据某些实施例的示出经由实体的部分匹配从预定义制品中生成用于文档的盒的框图；

图4图示了根据某些实施例的用于生成自然语言处理盒的第一流程图；

图5图示了根据某些实施例的用于生成自然语言处理盒的第二流程图；

图6图示了根据某些实施例的云计算环境的框图；

图7图示了根据某些实施例的图6的云计算环境的更多细节的框图；以及

图8图示了根据某些实施例的计算系统的框图，该计算系统示出了可以包括在如图1-7中描述的计算设备中的某些元件。

具体实施方式

在下面的描述中，参考构成其一部分并图示了若干实施例的附图。应当理解的是，可以利用其它实施例，并且可以进行结构和操作上的改变。

对于用户而言，认知领域及其概念相对较新，并且许多用户没有设想和建立新的认知模型的经验。因此，许多用户可能希望采用认知解决方案，但是他们不知道其非结构化数据中存在的概念和术语，也不清楚地了解如何建立其数据模型。

此外，已经预先建立了许多制品，并且组织内的许多用户可能不知道详细级别的这种信息。他们可能知道预先建立的词典，但是它们可能不知道词典内的详细概念或该词典将如何应用于其数据。这样的用户需要系统来帮助他们自动生成认知模型，该模型重用与他们的数据相关的现有制品。这种生成的模型可以被用作用户可以为具体认知模型建立用例的起点。自动生成的模型提供了快速开始机制并有助于降低为认知解决方案建立模型的开发成本。

某些实施例提供了基于提供的数据集和可重用知识制品的集合来自动生成基本认知模型的机制。这样的实施例利用文本分析(基于机器学习或规则)与预先建立的制品(词典、属性、规则、深度学习网络)来分析文档的语料库。识别在数据的语料库内匹配的制品的列表。如果这些制品满足特定阈值，那么将它们添加到新盒。该自动生成的盒成为用户建立他们的认知模型的起点。

示例性实施例

图1图示了根据某些实施例的包括用于生成自然语言处理盒的计算设备102的计算环境100的框图。

计算设备102可以包括任何合适的计算设备，包括本领域目前已知的那些计算设备，诸如个人计算机、工作站、服务器、大型机、手持计算机、掌上计算机、电话设备、网络电器、刀片计算机、处理设备等。计算设备102可以是任何合适的网络中的元件，所述网络诸如存储区域网络、广域网、互联网、内联网等。在某些实施例中，计算设备102可以是包括计算环境100的云计算环境中的节点。

计算设备102包括自然语言处理应用104和制品识别引擎106。在某些实施例中，自然语言处理应用和制品识别引擎以软件、固件、硬件或其任何组合来实现。

自然语言处理应用104可以处理以多种自然语言(诸如英语、法语、日语等)生成的一个或多个文档108中保持的文本数据，并从预定义制品112生成认知注释110。文档108中保持的文本数据可以包括结构化数据114和非结构化数据116两者。结构化数据114包括在带标题列和行或其它数据结构中显示的信息，通常是文本文件。结构化数据可以由数据挖掘工具相对容易地进行排序和处理。非结构化数据116是任何其它类型的数据，并且没有清晰的易于识别的内部结构，并且许多都包括文本描述。

制品识别引擎106基于自然语言处理应用104和制品识别引擎106的输出以及由计算设备102接收或存储在计算设备102中的各种输入120来生成盒118，盒118可以包括预定义制品112的子集或变体。可以从盒118生成文档108的认知模型。

图2图示了根据某些实施例的示出了如何对文档执行示例性数据分析的框图200。

在某些实施例中，可以维护单词的词典202，其包括名字的列表204(例如，john、jane等)、姓氏的列表206(例如，smith、brown等)以及后缀的列表208(例如，ii、iii、jr.等)。也可以维护名字的使用的模式210的变体。在文档中出现的名字的示例性变体可以包括名字后面跟着是姓氏(附图标记212)、姓氏后面跟着名字(附图标记214)，或者名字后面跟着姓氏后面跟着后缀(附图标记216)。可以为公司的名称等保持附加的词典和模式。

文档中的非结构化数据可以包括语句：“johnsmithworksatabcinc.”。(如经由附图标记218、220所示)。自然语言处理应用104可以基于词典和模式来分析(附图标记222)非结构化数据(附图标记218、220)，以将abc识别为公司，并将johnsmith识别为姓名(如经由附图标记224所示)。

在另一个实施例中，自然语言处理应用104可以分析非结构化数据中的词“糖尿病”，并将icd-10医学分类列表与e11相关联，其中e11是词“糖尿病”的医学识别码(如经由附图标记226、228、230所示)[icd-10是国际疾病和相关健康问题统计分类(icd)的第十次修订，是世界卫生组织(who)的医学分类列表并且包含疾病、体征和症状的代码、异常发现、投诉、社会环境以及伤害或疾病的外部原因]。

为了执行图2中所示的操作，计算设备102维护包括在词典202中并且用于模式210的预定义制品112。预定义制品112可以已经由先前各种领域中使用的数据的语料库生成。例如，可以已经基于健康相关文档、财务相关文档等建立了预定义制品。

图3图示了根据某些实施例的示出经由实体308的部分匹配从示例性预定义制品306生成用于文档304的盒302的框图300。

示例性预定义制品306包括与身高、体重和年龄对应的实体310。身高和年龄可以在文档304中找到超过阈值次数，而重量可能没有在文档中找到(或出现少于阈值次数)(如经由附图标记312、314所示)。因此，预定义制品中的实体的2/3在文档中匹配(如经由附图标记308所示)。在某些实施例中，预定义制品306的部分匹配(例如，所匹配的实体的至少2/3)可以足以在由制品识别引擎106为文档304生成的盒302中仅包括身高和年龄(并且排除了体重)。

因此，图3示出了其中基于预定义制品306为文档生成盒302的实施例。可以从盒302生成文档304的认知模型。

图4图示了根据某些实施例的用于生成自然语言处理盒的第一流程图400。图4中所示的操作可以由在计算设备102中执行的自然语言处理应用104和制品识别引擎106执行。

控制开始于方框402，其中自然语言处理应用104利用预定义制品112对文档108执行自然语言处理(基于规则或基于机器学习)。预定义制品112可以在领域专家系统工具的目录中。自然语言处理生成认知注释(在方框404处)，其中认知注释可以包括概念、属性、关系、规则等。

制品识别引擎106在预定义制品112中识别被利用(即，匹配)以生成认知注释的制品，并生成并处理匹配的制品(在方框406处)。

如果制品的实体满足或超过定义的频率阈值(例如，实体被使用了超过阈值次数)[来自方框408的“是”分支410]，那么控制前进到方框412。否则(“否”分支414)，控制前进到方框416。

在方框412处，如果制品内匹配的识别出的实体的数量满足或超过预定百分比(或分数)阈值(“是”分支418)，那么控制前进到方框420，在那里为文档生成新制品。新制品可以是整个匹配的制品或制品的部分。否则(“否”分支422)，控制前进到方框424。

在方框424处，制品识别引擎106获得不满足百分比阈值的概念、规则或词典，并向用户提供带有决策点的推荐以添加整个制品或将各个实体链接到新制品并且控制前进到方框420，其示出了正在为文档生成新制品。

控制从方框420前进到方框416，在方框416中确定是否存在更多匹配的制品。如果存在(“是”分支426)，那么控制前进到处理附加匹配的制品的方框406。如果不存在(分支“否”428)，那么控制前进到方框430，在方框430中制品识别引擎106从用户获得对于他们的模型用例引不起用户兴趣的术语，然后在方框432处基于被识别为无兴趣的概念生成过滤器制品。这个新的过滤器被添加到制品。使用来自文档内的未找到的识别出的词作为认知注释，制品识别引擎106生成不匹配的概念的列表。这些不匹配的概念被用于生成新的词典制品(在方框434处)。这个词典被添加到盒。

制品识别引擎106输出包含与文档相关的制品的所生成的盒(在方框436处)。对于为文档建立认知模型的用户，这个盒用作起点。

图5图示了根据某些实施例的用于生成自然语言处理盒的第二流程图500。图5中所示的操作可以由在计算设备102中执行的自然语言处理应用104和制品识别引擎106执行。

控制开始于方框502，其中制品识别引擎106通过使用认知注释110基于预定义制品112从一个或多个文档108中的结构化数据114和非结构化数据116中识别制品。至少基于接收到的输入分析识别出的制品(在方框504处)。识别出的制品超过在所述一个或多个文档中的出现的频率阈值并且接收到的输入可以包括用于制品内的实体的匹配中的预定阈值(例如，2/3或67％)，其中如果识别出的制品内的实体在匹配中超过预定阈值，那么将识别出的制品添加到盒，并且其中如果识别出的制品内的实体在匹配中没有超过预定阈值，那么将识别出的制品的实体的子集添加到盒。接收到的输入还可以包括被用于基于在接收到的输入中被识别为无兴趣的概念来生成过滤器制品的信息。

基于该分析，生成包括针对处理结构化和非结构化数据的制品的盒118(在方框506处)，其中针对处理结构化和非结构化数据的制品是与结构化和非结构化数据相关的制品。用于结构化和非结构化数据的制品的相关性是基于前面在图4中已描述的多个条件来确定的。例如，可以导致在盒中包括制品的一个条件可以是该制品在包括结构化和非结构化数据的一个或多个文档中超过出现的频率阈值，因为这可以确定制品与结构化和非结构化数据相关。用于确定在盒中包括制品的相关性的另一个条件可以基于确定接收到的输入是否包括用于制品内的实体的匹配中的预定阈值，并且如果制品内的实体在匹配中超过该预定阈值，那么制品可以被添加到盒，而如果制品内的实体在匹配中没有超过该预定阈值，那么可以将制品的实体的子集添加到盒。在图4中还描述了在盒中包括制品的其它条件。此外，图3(方框302)提供了示出至少基于预定义制品的实体的部分匹配的文档的制品的相关性的示例。

控制从方框506前进到方框508，在方框508中从盒118生成文档的认知模型。

因此，图1-5图示了某些实施例，其中从预定义制品生成盒以用于生成一个或多个文档的认知模型。

云计算环境

云计算是一种模型，用于实现对可配置计算资源(例如，网络、服务器、存储、应用和服务)的共享池的便捷、按需网络访问，这些资源可以以最少的管理工作量或服务提供商交互被快速供应和发布。

现在参考图6，其中显示了示例性的云计算环境50。在云计算环境50中执行盒(cartridge)生成(经由附图标记52示出)。如图所示，云计算环境50包括云计算消费者使用的本地计算设备可以与其相通信的一个或者多个云计算节点10，本地计算设备例如可以是个人数字助理(pda)或移动电话54a，台式电脑54b、笔记本电脑54c和/或汽车计算机系统54n。云计算节点10之间可以相互通信。可以在包括但不限于如上所述的私有云、共同体云、公共云或混合云或者它们的组合的一个或者多个网络中将云计算节点10进行物理或虚拟分组(图中未显示)。这样，云的消费者无需在本地计算设备上维护资源就能请求云计算环境50提供的基础架构即服务(iaas)、平台即服务(paas)和/或软件即服务(saas)。应当理解，图6显示的各类计算设备54a-n仅仅是示意性的，云计算节点10以及云计算环境50可以与任意类型网络上和/或网络可寻址连接的任意类型的计算设备(例如使用网络浏览器)通信。

现在参考图7，其中显示了云计算环境50(图6)提供的一组功能抽象层。首先应当理解，图7所示的组件、层以及功能都仅仅是示意性的，本发明的实施例不限于此。

硬件和软件层60包括硬件和软件组件。硬件组件的示例包括大型机，在一个示例中为ibmzseries*系统；基于risc(精简指令集计算机)体系架构的服务器，在一个示例中为ibmpseries*系统；ibmxseries*系统；ibmbladecenter*系统；存储设备；网络和联网组件。软件组件的示例包括网络应用服务器软件，在一个示例中为ibmwebsphere*应用服务器软件；以及数据库软件，在一个示例中为ibmdb2*数据库软件。

虚拟层62提供一个抽象层，该层可以提供下列虚拟实体的例子：虚拟服务器、虚拟存储、虚拟网络(包括虚拟私有网络)、虚拟应用和操作系统，以及虚拟客户端。

在一个示例中，管理层64可以提供下述功能：资源供应功能：提供用于在云计算环境中执行任务的计算资源和其它资源的动态获取；计量和定价功能：在云计算环境内对资源的使用进行成本跟踪，并为此提供帐单和发票。在一个例子中，该资源可以包括应用软件许可。安全功能：为云的消费者和任务提供身份认证，为数据和其它资源提供保护。用户门户功能：为消费者和系统管理员提供对云计算环境的访问。服务水平管理功能：提供云计算资源的分配和管理，以满足必需的服务水平。服务水平协议(sla)计划和履行功能：为根据sla预测的对云计算资源未来需求提供预先安排和供应。

工作负载层66提供云计算环境可能实现的功能的示例。在该层中，可提供的工作负载或功能的示例包括：地图绘制与导航；软件开发及生命周期管理；虚拟教室的教学提供；数据分析处理；交易处理；以及如图1-7所示的盒生成68。

附加实施例细节

可以使用标准编程和/或工程技术将所描述的操作实现为方法、装置或计算机程序产品，以产生软件、固件、硬件或其任何组合。因而，实施例的各方面可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或结合软件和硬件方面的实施例的形式，在本文中可以全部被称为“电路”、“模块”或“系统”。此外，实施例的各方面可以采取计算机程序产品的形式。在任何可能的技术细节结合层面，本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明实施例的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明实施例操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及传统过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本发明实施例的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

图8图示了根据某些实施例的示出可以包括在计算设备102中的某些元件的框图。系统800可以包括电路802，其在某些实施例中可以至少包括处理器804。系统800还可以包括存储器806(例如，易失性存储器设备)和存储装置808。存储装置808可以包括非易失性存储器设备(例如，eeprom、rom、prom、闪存、固件、可编程逻辑等)、磁盘驱动器、光盘驱动器、磁带驱动器等。存储装置808可以包括内部存储设备、附接的存储设备和/或网络可访问的存储设备。系统800可以包括包含代码812的程序逻辑810，该程序逻辑810可以被加载到存储器806中并由处理器804或电路802执行。在某些实施例中，包括代码812的程序逻辑810可以被存储在存储装置808中。在某些其它实施例中，程序逻辑810可以在电路802中实现。系统800中的一个或多个组件可以经由总线或经由其它耦合或连接814进行通信。虽然图8示出了与其它元件分开的程序逻辑810，但是程序逻辑810可以在存储器806和/或电路802中实现。

某些实施例可以针对用于由人部署计算指令或将计算机可读代码集成到计算系统中的自动处理的方法，其中代码与计算系统结合使得能够执行所描述的实施例的操作。

术语“实施例”、“该实施例”、“一个或多个实施例”、“一些实施例”和“一个实施例”是指“本发明的一个或多个(但不是全部)实施例”，除非另有明确说明。

除非另外明确指出，否则术语“包括”、“包含”、“具有”及其变体表示“包括但不限于”。

除非另外明确指出，否则所列举的项目清单并不意味着任何或所有项目都是互斥的。

除非另外明确指出，否则术语“一”、“一个”和“该”表示“一个或多个”。

除非另外明确指出，否则彼此通信的设备不需要彼此持续通信。此外，彼此通信的设备可以直接地或通过一个或多个中间件间接通信。

具有若干彼此通信的组件的实施例的描述并不暗示需要所有这样的组件。相反，描述了各种可选组件以说明本发明的各种可能的实施例。

另外，虽然可以按顺序次序描述处理步骤、方法步骤、算法等，但是可以将这样的处理、方法和算法配置为以替代次序工作。换句话说，可以被描述的步骤的任何顺序或次序不一定指示要求以那个次序执行步骤。本文描述的处理的步骤可以以任何实际次序执行。另外，可以同时执行一些步骤。

当在本文中描述单个设备或物品时，将显而易见的是，可以使用多于一个设备/物品代替单个设备/物品。类似地，当在本文中描述多于一个设备或物品时，将显而易见的是，可以使用单个设备/物品代替该多于一个设备或物品，或者可以使用不同数量的设备/物品来代替所显示数量的设备或程序。设备的功能和/或特征可以替代地由一个或多个未明确描述为具有这种功能/特征的其它设备来实施。因此，本发明的其它实施例不需要包括设备本身。

在附图中可能已经示出的至少某些操作示出了以某个次序发生的某些事件。在替代实施例中，某些操作可以以不同的次序执行、被修改或移除。而且，可以将步骤添加到上述逻辑并且仍然符合所描述的实施例。另外，本文描述的操作可以顺序地发生，或者可以并行地处理某些操作。另外，操作可以由单个处理单元或由分布式处理单元执行。

为了说明和描述的目的，已经给出了本发明的各种实施例的前述描述。并不旨在是穷尽的或将本发明限制到所公开的精确形式。根据以上教导，许多修改和变化是可能的。旨在本发明的范围不由该详细描述限制，而是由所附权利要求书限制。以上说明书、示例和数据提供了对本发明的组成的制造和使用的完整描述。由于可以在不脱离本发明的精神和范围的情况下做出本发明的许多实施例，因此本发明存在于下文所附的权利要求中。

---------------------------------------------------------------------

*ibm、zseries、pseries、xseries、bladecenter、websphere、db2是国际商业机器公司在全球许多司法管辖区注册的商标或注册商标。