一种基于图像识别和自然语言处理的智能过程模拟方法

1.本发明属于过程模拟技术领域，具体涉及一种基于图像识别和自然语言处理的智能过程模拟方法。


背景技术：

2.过程模拟可从材料(分子)、反应器和工厂(流程)等多个层次，为解决能源、资源、环境、材料等重大战略问题提供有效途径，因此已成为化学、化工、冶金、能源、材料、计算科学技术等学科的研究热点。对于给定的过程问题、模拟软件和计算设备，技术人员的大部分时间主要用于学习、使用模拟软件如软件设置、工况调试及结果处理等，因此在软件学习和使用方面的时间投入已成为影响技术人员工作效率的关键因素。
3.人工智能是人类提高工作效率的重要手段。特别是近年来随着深度学习如卷积神经网络、循环神经网络及注意力机制等方法的快速发展和数据资源的海量增长，人工智能在图像识别和自然语言处理方面已取得巨大突破，能够较为准确地识别图像中的文字、图标，抽取自然语言中所感兴趣的重要信息，但尚未在过程模拟领域得到广泛、深入的应用，主要存在的问题有：
4.(1)目前尚无将图像识别和自然语言处理技术用于实现过程模拟智能化的相关报道，缺乏可行的整体技术路线；
5.(2)缺乏过程模拟相关的专业数据库及相应的建设方法，无法对过程问题提出有效的模拟方案；
6.(3)模拟方案是各种操作事件(以某种操作方法执行某个操作对象)的有序组合，技术人员通常可以从文档资料或已完成的工况文件中学习获得，因此有望通过如图像识别和自然语言处理等人工智能技术替代人类去学习、理解这些资源。然而，现有通用领域的人工智能技术缺乏过程模拟的专业知识背景，难以全面、准确地从文档资料及已完成工况文件中提取出所有操作事件，无法获得完整、正确的模拟方案。


技术实现要素：

7.为实现过程模拟的智能化，提高技术人员的工作效率，本发明的目的在于提供一种基于图像识别和自然语言处理的智能过程模拟方法，首先构建软件操作知识图谱的技术思路，该图谱包含了该过程模拟软件中所有操作对象
8.(命名实体)及相互之间的操作方法(关系)，为操作事件的有效抽取提供了专业知识背景，从而能够从文档资料或已完成的工况文件中获得完整、正确的模拟方案，本发明针对现有人工智能技术缺乏过程模拟专业知识背景的难题，将图像识别、自然语言处理和软件自动化操作等人工智能技术引入过程模拟领域如分子模拟、计算流体力学模拟和流程模拟等，实现智能过程模拟。
9.为了达到上述目的，本发明的技术方案为：
10.一种基于图像识别和自然语言处理的智能过程模拟方法，包括以下步骤：
11.步骤(1)、构建软件操作知识图谱；
12.步骤(2)、建立基于文档资料的过程模拟专业数据库；
13.步骤(3)、建立基于工况文件的过程模拟专业数据库；
14.步骤(4)、对过程问题进行智能模拟。
15.所述的步骤(1)具体为：
16.(1)、通过图像识别确定当前软件界面中的文字、图标及所处位置；
17.(2)、通过程序代码自动运行可操作对象，获得运行后的软件界面；
18.(3)、对运行后的软件界面进行图像识别，确定文字、图标及所处位置；
19.(4)、对比运行前后软件界面的变化，以文字、图标为命名实体，以操作方法为关系，构成三元组；
20.(5)、依次、逐项执行上述流程，待获得所有三元组数据后，储存建立软件操作知识图谱。
21.所述的步骤(2)具体为：
22.1)通过图像识别将非文本类型的过程模拟文档资料转化为文本数据；
23.2)根据软件操作知识图谱中的命名实体构建领域词典，将其与现有深度学习技术整合建立自然语言处理模型；
24.3)运用软件自动运行技术对所抽取的操作事件进行测试，通过图像识别判定所获得的运行结果与文本数据中的运行结果是否一致，若一致，则认为该操作事件正确无误，否则通过软件操作图谱中相应实体间的关系对该操作事件进行校正完善；
25.4)将文本数据中的所有操作事件按顺序组合形成该问题的模拟方案，与问题描述数据关联储存建立过程模拟专业数据库。
26.所述的步骤(3)具体为：
27.1)运用图像识别和软件自动运行技术打开已完成的模拟工况，对操作界面进行截图，新建一个全新、未进行设置的模拟工况，在相同的操作界面进行截图；
28.2)采用图像识别技术判定已完成模拟工况和全新工况的操作界面截图是否一致，若一致，则表明当前界面无需设置，若不一致则记录当前界面所需操作的对象；
29.3)将所需操作的对象在所述步骤(1)获得的软件操作知识图谱中进行查询检索，提取从初始对象或初始软件界面至所需操作对象或当前界面的最短路径，即为完成该设置所需执行的有效操作事件，依次确定所有的操作事件，汇总整合获得模拟方案数据；
30.4)根据已完成模拟工况所解决的过程问题，由完成人员提供相应的文本说明，对该文本说明进行自然语言处理，获得问题描述数据；
31.5)将问题描述和模拟方案关联存储建立过程模拟专业数据库。
32.所述的步骤(4)具体为：
33.1)对过程问题的文本说明进行自然语言处理，获得问题描述数据；
34.2)在过程模拟专业数库中进行检索查询，获得相同或最相近的问题描述所对应的模拟方案；
35.3)通过软件自动化操作技术执行模拟方案，获得模拟结果。
36.本发明和现有技术相比，具有如下优点：
37.(1)、通过人工智能从现有资源中提取问题描述和模拟方案并建立专业数据库，从
而能够对过程问题自动提出模拟方案并操作运行。
38.(2)、本发明可加快过程问题的解决速度，降低过程模拟的入门门槛，实现过程模拟知识的有效积累，显著提高技术人员的工作效率。
39.(3)本发明的过程模拟方法可以适用于分子模拟、计算流体力学模拟和流程模拟等。
附图说明
40.图1是软件操作知识图谱的构建流程。
41.图2是基于文档资料的过程模拟专业数据库建立流程。
42.图3是基于工况文件的过程模拟专业数据库建立流程。
43.图4是过程问题的智能模拟流程。
具体实施方式
44.以智能过程模拟在计算流体力学模拟方面的应用为具体实施例对本发明作进一步的详细描述。
45.1.软件操作知识图谱的自动构建
46.对某计算流体力学模拟软件构建软件操作知识图谱，如图1所示，主要包括以下步骤：
47.(1)对当前软件界面进行屏幕截图，基于卷积神经网络建立多模态图像识别模型，分别提取处理文本与图标两种不同模态的信息，准确识别及定位软件操作界面中的文字如display、scale等和图标如输入框、单选框等，并初步判定其中的可操作对象包括文字和图标及操作方法如单击、双击等；
48.(2)通过软件自动运行库中的程序代码运行软件界面中的可操作对象，获得运行后的软件界面；
49.(3)对运行后的软件界面进行图像识别，识别及定位软件操作界面中的文字和图标；
50.(4)对比分析运行前后软件界面是否发生变化，如有变化则以软件界面的文字和图标为命名实体、以操作方法为关系，构成三元组建立软件操作知识图谱。例如，单击display后出现包含colors的新界面，则display和colors为实体，两者之间的关系为单击。
51.(5)、依次、逐项执行上述流程，待获得所有三元组数据后，储存建立软件操作知识图谱。
52.2.根据文档资料建立过程模拟专业数据库
53.针对某计算流体力学模拟软件的相关文档资料，建立过程模拟专业数据库，如图2所示主要包括以下步骤：
54.(1)通过图像识别将非文本类型如pdf格式的过程模拟文档资料转化为文本数据；
55.(2)根据软件操作知识图谱中的命名实体构建领域词典，将其与现有深度学习技术整合建立自然语言处理模型，由于该模型已具备所有的命名实体，从而能够全面、准确地抽取文本数据中由操作方法和命名实体组成的操作事件，同时亦可获得问题描述和运行结果数据；
56.基于循环神经网络和条件随机场建立自然语言处理模型，结合软件操作知识图谱中命名实体构成的领域词典，对文本数据进行知识抽取，提取其中的问题描述、操作事件和运行结果。典型的问题描述包括模拟体系的材料、温度、压力及结构等参数。典型的操作事件如单击scale、选择convert units等。典型的运行结果如软件出现新界面或提示等。
57.(3)根据软件自动运行库对所提取的操作事件进行自动测试，对比运行结果是否一致。若一致，则输出操作事件，不一致则通过软件操作知识图谱提供的关系进行校正完善。操作事件按顺序依次组合即为模拟方案。
58.(4)储存管理每个案例的问题描述和模拟方案数据，建立过程模拟专业数据库。
59.3.根据工况文件建立过程模拟专业数据库
60.针对模拟完成的工况文件，建立过程模拟专业数据库，如图3所示主要包括以下步骤：
61.(1)基于图像识别深度学习模型和软件自动运行库对已完成模拟工况的操作界面进行截图，同时对一个全新、未进行设置模拟工况的相同操作界面进行截图。
62.(2)采用图像识别技术对比分析已完成模拟工况和全新工况的操作界面截图是否一致，若一致，则表明当前界面无需设置，若不一致则记录当前界面所需操作的对象如材料和模型的选择与设置等。
63.(3)将所需操作的对象在软件操作知识图谱进行查询检索，提取从初始对象(初始软件界面)至所需操作对象(当前界面)的最短路径，即为完成该设置所需执行的有效操作事件。依次确定所有的操作事件，汇总整合获得模拟方案数据。
64.(4)由该工况的完成人员提供相关的文本说明，采用自然语言处理模型对其进行知识抽取，获得问题描述数据。
65.(5)储存管理每个工况的问题描述和模拟方案数据，建立过程模拟专业数据库。
66.步骤(4)、对过程问题进行智能模拟，以智能计算流体力学模拟为例，如图4所示主要包括以下步骤：
67.(1)对过程问题的文本说明进行自然语言处理，获得包括材料、温度、压力及结构等参数的问题描述数据。
68.(2)在过程模拟专业数据库中检索各项参数的数据，并根据各项参数的权重对数据库已有的问题描述数据进行综合评分，得分最高者为与过程问题最接近的问题描述，提取出对应的模拟方案数据。
69.(3)通过图像识别和软件自动化操作技术依次执行所获得模拟方案中的所有操作事件，实现智能计算流体力学模拟，获得组分、温度、速度及压力等在模拟体系内的详细分布数据。
70.以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。