一种基于语音问答的排产排程系统及方法与流程

本发明涉及智能生产技术领域，尤其是涉及一种基于语音问答的排产排程系统及方法。

背景技术：

在生产企业中，为保证有序生产、提高生产效率，往往需要结合生产设备以及产品的信息，进行排产排程，中国专利cn110009202a公开了一种智能排产排程系统及方法，利用排产排程单元分别从数据录入单元、生产工艺库单元、统计分析与预测单元获取排产排程辅助信息，以此输出排产排程计划表。

然而生产线在按照原有排产排程计划表进行生产时，往往会由于外部突发问题(主要是生产设备和/或产品发生变化)，需要及时调整原有排产排程计划表，传统方法是由人工解答问题，以得到排产排程辅助信息，以此再调整原有排产排程计划表，这种方式效率低，而且由于解答问题的人并不能真正掌握全部生产相关信息，因此其解答可能存在错误，这也会直接影响到排产排程计划表的制定准确性，导致排产排程计划表的差错率较高。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于语音问答的排产排程系统及方法，基于现有的排产排程单元，通过构建排产排程知识图谱，结合语音问答技术，实现自动、快速输出准确排产排程辅助信息的目的，使排产排程单元能够以此调整原有排产排程计划表，从而提高排产排程效率、降低排产排程计划表的差错率。

本发明的目的可以通过以下技术方案来实现：一种基于语音问答的排产排程系统，包括处理器，所述处理器分别与语音问答单元、知识图谱单元和排产排程单元相连接，所述语音问答单元用于接收问题语音数据，以及输出答案语音数据；

所述处理器用于对问题语音数据进行语音识别及语义分析，以从知识图谱单元中检索对应的答案；

将答案转换成相应语音数据和排产排程辅助数据，以分别输出给语音问答单元和排产排程单元；

所述知识图谱单元用于存储知识图谱，所述知识图谱包含多个不同的生产信息三元组结构，所述生产信息三元组结构包括两种结构：

生产设备、产品以及两者之间的关系；

生产设备、设备属性及数值；

所述处理器还连接有人机协作单元，所述人机协作单元用于人工远程回答操作，当处理器无法从知识图谱单元检索得到答案时，则由人机协作单元进行人工回答，并将人工回答的答案实时更新至处理器。

进一步地，所述处理器包括语音识别模块、语义分析模块、答案检索模块、答案生成模块和图谱生成模块，所述语音识别模块用于对问题语音数据进行识别，以得到问题文本数据；

所述语义分析模块用于对问题文本数据进行语义分析，并将语义分析结果输出给答案检索模块；

所述答案检索模块与知识图谱单元连接，用于根据语义分析结果，从知识图谱单元中检索出对应答案文本数据；

所述答案生成模块与知识图谱单元连接，用于接收来自知识图谱单元的答案文本数据，并将该答案文本数据分别转换成答案语音数据和排产排程辅助数据，以分别传输给语音问答单元和排产排程单元；

所述图谱生成模块用于构建知识图谱，并将该知识图谱输出给知识图谱单元进行存储。

进一步地，所述图谱生成模块包括依次连接的信息抽取子模块、实体聚类消歧子模块、三元组识别子模块和三元组结构组合子模块，所述信息抽取子模块用于从文本数据中抽取实体信息、关系信息和属性信息；

所述实体聚类消歧子模块用于合并表达不同但意义相同的实体信息；

所述三元组识别子模块根据实体信息、关系信息和属性信息，构建多个生产信息三元组结构；

所述三元组结构组合子模块用于将多个生产信息三元组结构组合成知识图谱。

进一步地，所述文本数据包括用户问答数据以及生产数据。

进一步地，所述语音问答单元包括麦克风和播放器。

进一步地，所述麦克风与语音识别模块连接，用于接收问题语音数据，并将该问题语音数据传输给语音识别模块；

所述播放器与答案生成模块连接，用于接收答案语音数据，并将该答案语音数据输出播放给用户。

一种基于语音问答的排产排程方法，包括以下步骤：

s1、收集用户问答数据和生产数据；

s2、根据用户问答数据和生产数据，由处理器构建得到结构化的排产排程知识图谱，并将其存储于知识图谱单元中；

s3、通过语音问答单元接收用户问题语音数据；

s4、处理器对问题语音数据依次进行语音识别、语义分析，以确定用户问题中的实体信息及关系信息；

s5、根据用户问题中的实体信息及关系信息，处理器对知识图谱单元进行匹配检索，若检索到对应答案，则执行步骤s6，否则执行步骤s8；

s6、处理器将对应答案分别转换成答案语音数据和排产排程辅助数据，并分别发送给语音问答单元和排产排程单元；

s7、语音问答单元播放答案语音数据，基于排产排程辅助数据，排产排程单元对原有排产排程计划表进行调整，以输出新的排产排程计划表；

s8、处理器将用户问题中的实体信息及关系信息发送至人机协作单元，由人机协作单元接收人工答案，并将该人工答案反馈给处理器；

s9、处理器将人工答案转换成相应的答案语音数据和排产排程辅助数据，并分别发送给语音问答单元和排产排程单元，由语音问答单元播放该答案语音数据，基于该排产排程辅助数据，排产排程单元对原有排产排程计划表进行调整，以输出新的排产排程计划表；

同时，处理器将人工答案及对应的用户问题整理成新的用户问答数据，用于更新排产排程知识图谱。

进一步地，所述步骤s2具体包括以下步骤：

s21、对收集的用户问答数据和生产数据进行信息抽取，以得到实体信息、关系信息和属性信息；

s22、实体聚类消歧：将表达不同但意义相同的实体信息合并；

s23、三元组识别：基于合并后的实体信息，结合关系信息和属性信息，构建多个生产信息三元组结构；

s24、图谱生成：将多个生产信息三元组结构组合成排产排程知识图谱，并将该排产排程知识图谱存储于知识图谱单元中。

进一步地，所述步骤s4具体包括以下步骤：

s41、对问题语音数据进行语音识别，得到问题文本数据；

s42、对问题文本数据进行语义分析，得到问题中的实体信息以及关系信息。

进一步地，所述步骤s9中更新排产排程知识图谱的具体过程为：

将人工答案及对应的用户问题整理成新的用户问答数据；

对该新的用户问答数据依次进行信息抽取、实体聚类消歧、三元组识别，以得到新的生产信息三元组结构；

将该新的生产信息三元组结构与步骤s2中排产排程知识图谱进行组合，以更新排产排程知识图谱。

与现有技术相比，本发明具有以下优点：

一、本发明结合现有的排产排程单元，通过构建排产排程知识图谱，采用语音问答的方式，能够对应用户的问题语音数据，自动从排产排程知识图谱中检索答案，并将该答案以语音形式输出给用户、以数据形式输出给排产排程单元，解决了传统人工解答问题导致排产排程效率低的问题。

二、本发明利用生产信息三元组结构，以构建排产排程知识图谱，能够将生产设备(包含设备属性及数值)、产品及两者之间的关系有效进行关联，从而保证能够快速、准确地检索到答案，降低后续排产排程计划表的差错率。

三、本发明通过设置人机协作单元，以解决运行过程中可能无法检索到答案的问题，同时将人工答案及相应问题实时更新至排产排程知识图谱，使的排产排程知识图谱中的生产信息三元组结构能够与实际生产信息同步，进一步保证后续排产排程的效率及准确性。

附图说明

图1为发明的系统结构示意图；

图2为本发明的方法流程示意图；

图中标记说明：1、处理器，101、语音识别模块，102、语义分析模块，103、答案检索模块，104、答案生成模块，105、图谱生成模块，1051、信息抽取子模块，1052、实体聚类消歧子模块，1053、三元组识别子模块，1054、三元组结构组合子模块，2、语音问答单元，3、知识图谱单元，4、排产排程单元，5、人机协作单元。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

如图1所示，一种基于语音问答的排产排程系统，包括处理器1、语音问答单元2、知识图谱单元3、排产排程单元4和人机协作单元5，处理器1分别与语音问答单元2、知识图谱单元3、排产排程单元4和人机协作单元5相连接，知识图谱单元3中存储有排产排程知识图谱，排产排程知识图谱包含多个不同的生产信息三元组结构，生产信息三元组结构包括两种结构：

a、生产设备、产品以及两者之间的关系(如：某生产设备-生产-某产品)；

b、生产设备、设备属性及数值(如：某生产设备-生产某产品的能力-100)。

其中，处理器1包括语音识别模块101、语义分析模块102、答案检索模块103、答案生成模块104和图谱生成模块105，图谱生成模块105则包括信息抽取子模块1051、实体聚类消歧子模块1052、三元组识别子模块1053和三元组结构组合子模块1054。

具体的，语音问答单元2包括麦克风和播放器，麦克风与语音识别模块101连接，用于接收问题语音数据，并将该问题语音数据传输给语音识别模块101，播放器与答案生成模块104连接，用于接收答案语音数据，并将该答案语音数据输出播放给用户；

语音识别模块101用于对问题语音数据进行识别，以得到问题文本数据，语义分析模块102用于对问题文本数据进行语义分析，并将语义分析结果输出给答案检索模块103，答案检索模块103与知识图谱单元3连接，用于根据语义分析结果，从知识图谱单元3中检索出对应答案文本数据，答案生成模块104与知识图谱单元3连接，用于接收来自知识图谱单元3的答案文本数据，并将该答案文本数据分别转换成答案语音数据和排产排程辅助数据，以分别传输给语音问答单元2和排产排程单元4，图谱生成模块105用于构建知识图谱，并将该知识图谱输出给知识图谱单元3进行存储；

图谱生成模块105则包括依次连接的信息抽取子模块1051、实体聚类消歧子模块1052、三元组识别子模块1053和三元组结构组合子模块1054，信息抽取子模块1051从用户问答数据和/或生产数据中抽取实体信息、关系信息和属性信息，之后实体聚类消歧子模块1052将表达不同但意义相同的实体信息进行合并处理，再由三元组识别子模块1053根据实体信息、关系信息和属性信息，构建多个生产信息三元组结构，最后通过三元组结构组合子模块1054将多个生产信息三元组结构组合成排产排程知识图谱；

人机协作单元5用于人工远程回答操作，当答案检索模块103无法从知识图谱单元3检索得到答案时，则由人机协作单元5远程进行人工回答，并将人工回答的答案实时更新至处理器1，以更新排产排程知识图谱；

排产排程单元4接收来自答案生成模块104输出的排产排程辅助信息(即用户问题对应的答案)，以调整输出排产排程计划表。

在生产企业中，由于突发状况，往往需要对原有的排产排程计划表进行相应调整，比如需要增加/减少某种产品的生产数量、需要增加/删除某种产品的生产、需要将某种产品的生产提前或推迟等，此时，传统做法是由生产线员工询问生产主管，以获取相应生产设备和/或产品的生产信息数据，之后再将这些生产信息输入自动化排产排程单元中，以对原有排产排程计划表进行调整，这种方式完全依赖于生产主管的生产信息掌握程度，一方面不能保证及时回答生产线员工的问题，另一方面也不能保证答案的准确性。

本发明提出的排产排程系统，主要是通过收集用户问答数据和生产数据，以构建出结构化的排产排程知识图谱，再根据识别的用户语音信息在排产排程知识图谱进行匹配检索，最后通过检索出来的结果，进行语音输出，此外，还通过人机协作单元5回复在排产排程知识图谱无法检索到的用户询问的问题，以此实现及时、准确回复用户问题的目的，从而保证后续排产排程的效率及准确性。

将上述排产排程系统应用于实际，其具体方法流程如图2所示，包括：

s1、语音问答单元2收集用户问答数据和生产数据；

s2、处理器1对收集的用户问答数据和生产数据进行信息抽取，以得到实体信息、关系信息和属性信息；

之后进行实体聚类消歧：将表达不同但意义相同的实体信息合并；

再进行三元组识别：基于合并后的实体信息，结合关系信息和属性信息，构建多个生产信息三元组结构；

最后进行图谱生成：将多个生产信息三元组结构组合成排产排程知识图谱，并将该排产排程知识图谱存储于知识图谱单元中；

s3、通过语音问答单元2接收实际生产时的用户问题语音数据；

s4、处理器1先对问题语音数据进行语音识别，得到问题文本数据；

之后对问题文本数据进行语义分析，得到问题中的实体信息以及关系信息；

s5、根据用户问题中的实体信息及关系信息，处理器1对知识图谱单元3进行匹配检索，若检索到对应答案，则执行步骤s6，否则执行步骤s8；

s6、处理器1将对应答案分别转换成答案语音数据和排产排程辅助数据，并分别发送给语音问答单元2和排产排程单元4；

s7、语音问答单元2播放答案语音数据，基于排产排程辅助数据，排产排程单元4对原有排产排程计划表进行调整，以输出新的排产排程计划表；

s8、处理器1将用户问题中的实体信息及关系信息发送至人机协作单元5，由人机协作单元5接收人工答案，并将该人工答案反馈给处理器1；

s9、处理器1将人工答案转换成相应的答案语音数据和排产排程辅助数据，并分别发送给语音问答单元2和排产排程单元4，由语音问答单元2播放该答案语音数据，基于该排产排程辅助数据，排产排程单元4对原有排产排程计划表进行调整，以输出新的排产排程计划表；

同时，处理器1将人工答案及对应的用户问题整理成新的用户问答数据；

之后对该新的用户问答数据依次进行信息抽取、实体聚类消歧、三元组识别，以得到新的生产信息三元组结构；

最后将该新的生产信息三元组结构与步骤s2中排产排程知识图谱进行组合，以更新排产排程知识图谱。