一种特定领域的对话挖掘方法及装置与流程

本发明实施例涉及语言处理技术领域，尤其涉及一种特定领域的对话挖掘方法及装置。

背景技术：

对话交互是智能硬件的一个基本功能，而目前的对话系统多数面向通用，不能直接应用于特定领域，特定领域的对话环境要求特殊，如儿童领域需要去除脏话、成人、政治和暴力等敏感信息，并且有特殊的对话内容和对话习惯。

然而，目前尚且缺乏针对特定领域对话环境做特殊优化，无法真正满足特定领域对话需求。

技术实现要素：

本发明实施例提供一种特定领域的对话挖掘方法及装置，以通过对特定领域对话环境做特殊优化来满足特定领域对话需求。

本发明实施例提供了一种特定领域的对话挖掘方法，包括：

收集特定领域的多媒体对话资源；

依据所述多媒体对话资源构建所述特定领域的对话语料；

对所述对话语料进行分词、词性标注和实体识别处理；

依据处理结果确定所述特定领域的对话特征。

另一方面，本发明实施例还提供了一种特定领域的对话挖掘装置，包括：

资源收集模块，用于收集特定领域的多媒体对话资源；

语料构建模块，用于依据所述多媒体对话资源构建所述特定领域的对话语料；

语料处理模块，用于对所述对话语料进行分词、词性标注和实体识别处理；

对话特征模块，用于依据处理结果确定所述特定领域的对话特征。

本发明实施例提供的技术方案，通过收集特定领域的多媒体对话资源，并依据收集的多媒体对话资源构建特定领域的对话语料，对构建的对话语料进行分词、词性标注和实体识别处理，并依据处理结果确定特定领域的对话特征，即针对特定领域对话环境做特殊优化得到特定领域的对话特征，满足了特定领域的对话需求，提升了特定领域用户体验。

附图说明

图1为本发明实施例一中提供的一种特定领域的对话挖掘方法的流程图；

图2为本发明实施例二中提供的一种特定领域的对话挖掘方法的流程图；

图3为本发明实施例三中提供的一种特定领域的对话挖掘方法的流程图；

图4a为本发明实施例四中提供的一种特定领域的对话挖掘方法的流程图；

图4b为本发明实施例四中提供的一种知识图谱的示意图；

图5为本发明实施例五中提供的一种特定领域的对话挖掘装置的结构图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一中提供的一种特定领域的对话挖掘方法的流程图。本实施例的方法可以由特定领域的对话挖掘装置来执行，该装置可通过硬件和/或软件的方式实现。参考图1，本实施例提供的特定领域的对话挖掘方法具体可以包括如下：

步骤11、收集特定领域的多媒体对话资源。

在本实施例中，特征领域指的是儿童领域或外语领域等非通用领域，多媒体对话资源不仅可以包括对话内容还可以包括描述性内容，如旁白内容。为了便于理解，以特定领域为儿童领域为例进行说明。具体的，收集包含儿童对话的多媒体对话资源，其中对话资源的格式可以是文本、音频或视频，文本对话资源可以包含各种儿童读物，如童话故事、成语故事、寓言故事、民间故事和儿童小说等，音频和视频对话资源可以包含有声读物、动画动漫和儿童节目等，儿童节目可以是儿童类真人秀节目和儿童访谈节目等。

步骤12、依据所述多媒体对话资源构建所述特定领域的对话语料。

将音频和视频对话资源转换成文本对话资源。具体的，针对音频对话资源作如下处理：将音频对话资源转换成文本，使用声纹技术将声纹特征记录到文本中；解析转换得到的文本中包含的称呼、称谓及代指；依据声纹特征和文本内容做关系推理，推理出声纹特征对应的称呼、称谓及代指；以声纹特征为基准，将推理出的称呼、称谓及代指记录到对应的文本中；将音频对话资源转换为文本对话语料。针对视频对话资源作如下处理：提取视频对话资源包含的画面中的图片字幕，利用光学字符识别(Optical Character Recognition，OCR)技术将图片字幕转换成文本；提取视频画面中说话的实体，对实体进行编码，记录到文本中；依据图像编码和文本内容做关系推理，推理出图像编码对应的称呼、称谓及代指；以图像特征为基准，将推理出的称呼、称谓及代指记录到文本中；也可以使用声纹特征识别视频中当前的说话实体；将视频对话资源转换为文本对话语料。

步骤13、对所述对话语料进行分词、词性标注和实体识别处理。

分词是对对话语料进行分析和理解的基础。词性标注是指将词语进行分类，可以将句子中具体词的组合关系抽象成词类之间的组合关系，进而得到句法结果的规律。一个词的不同词性往往对应不同的含义，所以确定词的词性对于分析词和句子的语义也很重要。实体识别是指识别出对话语料中包含的人名、动物名或地名等命名实体。

步骤14、依据处理结果确定所述特定领域的对话特征。

具体的，依据对对话语料进行分词、词性标注和实体识别的处理结果，确定特定领域的对话模式、语法模式或知识图谱，将得到的对话模式、语法模式和知识图谱作为特定领域的对话特征。由于特征领域的对话特征是依据特定领域的多媒体对话资源经分词、词性标注和实体识别等处理得到的，因而特征领域的对话特征能够满足特定领域对话需求，提升了特定领域的用户体验。

示例性的，得到特定领域的对话特征之后，还可以采用多种方式对对话特征进行格式化处理，包括但不限于问答、树状和图状方式等。其中，问答方式是指采用“问题-答案”方式存储，存储问题及该问题对应的答案，可按并列或者递进的方式存储，问答方式可以为单问答(一问一答)和连续问答(多个单问答的组合)方式。树状方式是指采用树状结构进行存储，包含问题节点和答案节点两类树节点，其中问题节点存储问题，在该节点下建立答案节点，存储该问题对应的答案，问题节点之下也可以建立问题节点，表示和该节点相关的问题。图状方式是指采用图状结构进行存储，包含问题节点和答案节点两类图节点，其中问题节点存储问题，答案节点存储答案，且问题和答案、问题和问题、答案和答案都可以互相连接，表示其相关性。

需要说明的是，特定领域的对话特征可以存储在云端，构建云端存储器，可通过网络协议访问将特定领域的对话特征将存储到云端。特定领域的对话特征也可以存储在客户端，如存储于在机器人、智能硬件等客户端的存储器中。另外，为兼容客户端空间不易扩展的特性，以及客户端的内容支持动态更新，也可以使用本地更新和云端更新的方式进行存储。

本实施例提供的技术方案，通过收集特定领域的多媒体对话资源，并依据收集的多媒体对话资源构建特定领域的对话语料，对构建的对话语料进行分词、词性标注和实体识别处理，并依据处理结果确定特定领域的对话特征，即针对特定领域对话环境做特殊优化得到特定领域的对话特征，满足了特定领域的对话需求，提升了特定领域用户体验。

示例性的，依据所述多媒体对话资源构建所述特定领域的对话语料，可以包括：

将音频对话资源和/或视频对话资源转化为文本对话资源；

解析所述文本对话资源中包含的称谓信息；

依据所述称谓信息，将所述特定领域的所述文本对话资源处理成对话文本，以得到所述特定领域的对话语料。

示例性的，依据处理结果确定所述特定领域的对话特征之后，可以包括：

获取用户输入的查询语句；

依据所述特定领域的对话特征，确定所述查询语句的查询结果。

实施例二

本实施例在上述实施例一的基础上，提供了一种新的特定领域的对话挖掘方法。图2为本发明实施例二中提供的一种特定领域的对话挖掘方法的流程图。参考图2，本实施例提供的特定领域的对话挖掘方法具体可以包括如下：

步骤21、收集特定领域的多媒体对话资源。

具体的，收集特定领域的文本、音频和视频格式的对话资源。

步骤22、依据所述多媒体对话资源构建所述特定领域的对话语料。

具体的，将收集的音频对话资源和视频对话资源转换为文本对话资源，并推理步骤21中收集到的以及步骤22中转换到的文本对话资源中包含的称呼、称谓以及代指，且依据推理得到的称呼、称谓以及代指将所有的文本对话资源转换为对话语料。

步骤23、对所述对话语料进行分词、词性标注和实体识别处理。

以对话语料“妈妈：明明饿吗？；小明：吃牛牛”为例，经分词得到词组：妈妈、明明、饿吗、小明、吃、牛牛，经词性标注得到：明明是名词，饿是形容词、吃是动词、牛牛是名词，对应的实体有妈妈、明明和小明。

步骤24、依据所述对话语料的问答顺序，以及对所述对话语料进行分词、词性标注和实体识别的处理结果，得到所述特定领域的对话问答模式。

仍以对话语料“妈妈：明明饿吗？；小明：吃牛牛”为例，得到“问：*(名词)饿吗？答：吃*(名词)”是儿童领域的对话问答模式。

本实施例提供的技术方案，通过收集特定领域的多媒体对话资源，并依据收集的多媒体对话资源构建特定领域的对话语料，对构建的对话语料进行分词、词性标注和实体识别处理，并依据处理结果确定特定领域的对话问答模式，即针对特定领域对话环境做特殊优化得到特定领域的对话问答模式，满足了特定领域的对话需求，提升了特定领域用户体验。

实施例三

本实施例在上述实施例一的基础上，提供了一种新的特定领域的对话挖掘方法。图3为本发明实施例三中提供的一种特定领域的对话挖掘方法的流程图。参考图3，本实施例提供的特定领域的对话挖掘方法具体可以包括如下：

步骤31、收集特定领域的多媒体对话资源。

具体的，收集特定领域的文本、音频和视频格式的对话资源。

步骤32、依据所述多媒体对话资源构建所述特定领域的对话语料。

具体的，将收集的音频对话资源和视频对话资源转换为文本对话资源，并推理步骤31中收集到的以及步骤32中转换到的文本对话资源中包含的称呼、称谓以及代指，且依据推理得到的称呼、称谓以及代指将所有的文本对话资源转换为对话语料。

步骤33、对所述对话语料进行分词、词性标注和实体识别处理。

以对话语料“妈妈：宝宝吃什么？小明：苹果七七”为例，经分词得到词组：妈妈、宝宝、吃、什么、小明、苹果和七七，经词性标注得到：宝宝是名词，吃是动词，什么是代词，苹果是名词，七七是动词，对应的实体有妈妈、宝宝和小明。

步骤34、依据对所述对话语料进行分词、词性标注和实体识别的处理结果，提取所述对话语料的语气词和语法模式。

其中，儿童领域对话语料的语气词可以包括拖长音、叠词和字节模糊词等，如识别出“小明：苹果七七”中包含的叠词以及字节模糊词“七七(吃吃)”，并且得到宾语+谓语是儿童领域的语法模式。

步骤35、对所述对话语料的语气词和语法模式进行筛选，得到符合特定领域对话习惯的语气词和语法模式。

具体的，可以采用人工方式对步骤34中得到的语气词和语法模式进行筛选，得到符合特定领域对话习惯的语气词和语法模式，也可以依据语气词和语法模式出现的频次自动地对对话语料的语气词和语法模式进行筛选，例如针对得到的每一语气词，若该语气词出现的频次小于第一频次阈值，则滤除该语气词；否则，保留该语气词；针对得到的每一语法模式，若该语法模式出现的频次小于第二频次阈值，则滤除该语法模式；否则，保留该语法模式。

本实施例提供的技术方案，通过收集特定领域的多媒体对话资源，并依据收集的多媒体对话资源构建特定领域的对话语料，对构建的对话语料进行分词、词性标注和实体识别处理，并依据处理结果提取对话语料的语气词和语法模式，并对提取的语气词和语法模式进行筛选，即针对特定领域对话环境做特殊优化得到符合特定领域对话习惯的语气词和语法模式，满足了特定领域的对话需求，提升了特定领域用户体验。

实施例四

本实施例在上述实施例一的基础上，提供了一种新的特定领域的对话挖掘方法。图4a为本发明实施例四中提供的一种特定领域的对话挖掘方法的流程图。参考图4a，本实施例提供的特定领域的对话挖掘方法具体可以包括如下：

步骤41、收集特定领域的多媒体对话资源。

具体的，收集特定领域的文本、音频和视频格式的对话资源。

步骤42、依据所述多媒体对话资源构建所述特定领域的对话语料。

具体的，将收集的音频对话资源和视频对话资源转换为文本对话资源，并推理步骤41中收集到的以及步骤42中转换到的文本对话资源中包含的称呼、称谓以及代指，且依据推理得到的称呼、称谓以及代指将所有的文本对话资源转换为对话语料。

步骤43、对所述对话语料进行分词、词性标注和实体识别处理。

步骤44、依据处理结果确定所述特定领域的对话特征。

具体的，依据处理结果可以确定特定领域的对话问答模式和/或语法模式。

步骤45、对收集的多媒体对话资源进行实体、属性及关系识别。

实体是指特定领域的对话语料中包含的人物或动物等可命名对象。属性指的是实体的年龄、性别或地址等信息，关系指的是不同实体之间的相互关系，如可以是母女关系、主仆关系或朋友关系等。不同特定领域可以定义有不同实体、属性及关系。具体的，在对对话语料进行分词、词性标注和实体识别处理之后，还对处理结果进行实体、属性以及关系标注。以对话资源是白雪公主童话故事为例，对应的实体有国王、白雪公主、新王后和小矮人等，对应的关系有：白雪公主与国王是父女关系，白雪公主与新王后是继母女关系，国王与新王后是夫妻关系，白雪公主与小矮人是朋友关系等。

需要说明的是，在对多媒体对话资源进行识别之前，还对多媒体对话资源进行分词处理。

步骤46、依据所述多媒体对话资源中包含的实体、属性及关系，构建所述特定领域的知识图谱。

具体的，依据多媒体资源中包含的实体、属性以及关系，可以构建以实体作为节点，以关系作为边的知识图谱；也可以构建以实体和属性为几点，以关系作为边的知识图谱。

知识图谱可以作为特定领域内用户的对话基础，在构建知识图谱之后包括：获取用户输入的查询语句；基于特定领域的知识图谱，确定所述查询语句的查询结果。具体的，获取用户输入的查询语句之后，可以解析出查询语句对应的实体、属性以及关系，并依据解析结果和知识图谱，推理出查询语句的答案。参考图4b，以查询语句是“白雪公主后母是谁”为例，根据知识图谱得到与白雪公主是继母女关系的是新王后，从而推理出查询语句的答案是新王后。

本实施例提供的技术方案，通过收集特定领域的多媒体对话资源，对多媒体对话资源进行实体、属性及关系识别，依据所述多媒体对话资源中包含的实体、属性及关系，构建所述特定领域的知识图谱，即针对特定领域对话环境做特殊优化得到符合特定领域对话习惯的知识图谱，满足了特定领域的对话需求，提升了特定领域用户体验。

实施例五

本实施例提供了一种特定领域的对话挖掘装置。图5为本发明实施例五中提供的一种特定领域的对话挖掘装置的结构图，如图5所示，该特定领域的对话挖掘装置可以包括：

资源收集模块51，用于收集特定领域的多媒体对话资源；

语料构建模块52，用于依据所述多媒体对话资源构建所述特定领域的对话语料；

语料处理模块53，用于对所述对话语料进行分词、词性标注和实体识别处理；

对话特征模块54，用于依据处理结果确定所述特定领域的对话特征。

示例性的，对话特征模块54具体可以用于：

依据所述对话语料的问答顺序，以及对所述对话语料进行分词、词性标注和实体识别的处理结果，得到所述特定领域的对话问答模式。

示例性的，对话特征模块54具体可以用于：

依据对所述对话语料进行分词、词性标注和实体识别的处理结果，提取所述对话语料的语气词和语法模式；

对所述对话语料的语气词和语法模式进行筛选，得到符合特定领域对话习惯的语气词和语法模式。

示例性的，上述特定领域的对话挖掘装置还可以包括：

资源识别模块，用于收集特定领域的多媒体对话资源之后，对收集的多媒体对话资源进行实体、属性及关系识别；

知识图谱模块，用于依据所述多媒体对话资源中包含的实体、属性及关系，构建所述特定领域的知识图谱。

示例性的，其特征在于，语料构建模块52具体可以用于：

将音频对话资源和/或视频对话资源转化为文本对话资源；

解析所述文本对话资源中包含的称谓信息；

依据所述称谓信息，将所述特定领域的所述文本对话资源处理成对话文本，以得到所述特定领域的对话语料。

示例性，上述特定领域的对话挖掘装置可以包括：

查询语句模块，用于在依据处理结果确定所述特定领域的对话特征之后，获取用户输入的查询语句；

查询结果模块，用于依据所述特定领域的对话特征，确定所述查询语句的查询结果。

本实施例提供的特定领域的对话挖掘装置，与本发明任意实施例所提供的特定领域的对话挖掘方法属于同一发明构思，可执行本发明任意实施例所提供的特定领域的对话挖掘方法，具备执行特定领域的对话挖掘方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的特定领域的对话挖掘法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。