一种化工作业数据的处理方法、装置及存储介质

本发明涉及化工生产作业领域，具体涉及一种化工作业数据的处理方法、一种化工作业数据的处理装置，以及一种计算机可读存储介质。

背景技术：

1、知识图谱是人工智能的重要分支技术，是一种揭示实体之间关系的语义网络。在当前的大数据时代，数据呈现出多元化趋势，大量多模态数据可以为人们所用。知识图谱将数据按照统一的格式进行存储，这样不仅有利于数据收集，也方便在当前数据基础上进行数据扩展。同时，知识图谱能够将多模态数据统一存储，并将数据存储到图数据库中，相较于传统数据库大大提升了运算速度。因此，研究人员可以借此对数据进行管理，并且多角度地对事物及其之间的关系进行更深层次地研究。

2、在这个信息多元化的时代，数据不仅仅局限于文字形式中，图像和视频中也同样蕴含大量数据。计算机视觉作为人工智能的一个重要部分，它的研究内容可以概括为：通过采集图片或视频，对图片或视频进行处理分析，从中获取相对应的信息。

3、近些年来，化工生产、施工等作业行为逐渐增多，但是与其他场景作业施工不同，在化工园区施工存在极高的危险性，如果操作不当会产生难以估量的后果。因此企业需要对化工园区的施工作业制定严格的安全作业规范，并且在作业人员严格按照规范施工的同时，也需要实施严格的监管制度，辅助作业安全的管理。目前的监管手段仍然以人工现场监管为主，但是人工监管还是不能像机器一样达到百分之百的准确，同时还存在着效率、成本等问题。因此对于企业来说，如何提高监管质量和效率，降低企业监管成本是一个亟待解决的问题。

4、为克服现有技术所存在的上述缺陷，本发明提供了一种化工作业数据的处理技术，能够根据化工作业行为的基础数据和视频数据，利用物体检测网络和人物交互网络，将作业行为统一存储的多模态数据融合成有机的整体，而后对数据进行知识抽取，发掘其中的深层关系，以构建跨媒体的化工作业知识图谱。进一步地，本发明还可以依据作业场景的安全规范判断是否存在安全隐患和违规作业行为，使得监管程序自动化，从而大大提升监管效率和准确率，保障施工作业的安全，并具有较好的实用性和高效性。

技术实现思路

1、以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之前序。

2、为克服现有技术所存在的上述缺陷，本发明提供了一种化工作业数据的处理方法、一种化工作业数据的处理装置，以及一种计算机可读存储介质，能够根据化工作业行为的基础数据和视频数据，利用物体检测网络和人物交互网络，将作业行为统一存储的多模态数据融合成有机的整体，而后对数据进行知识抽取，发掘其中的深层关系，以构建跨媒体的化工作业知识图谱。进一步地，本发明还可以依据作业场景的安全规范判断是否存在安全隐患和违规作业行为，使得监管程序自动化，从而大大提升监管效率和准确率，保障施工作业的安全，并具有较好的实用性和高效性。

3、具体来说，根据本发明的第一方面提供的上述化工作业数据的处理方法，包括以下步骤：获取化工作业的基础数据及视频数据，其中，所述基础数据包括作业事件数据、作业时间数据、作业类型数据、作业地点数据、防护等级数据、防护要求数据中的至少一者；经由预先训练的物体检测网络及人物交互网络分别解析所述视频数据，以识别其中涉及的相关物体数据及人物交互数据；基于所述化工作业的作业规则的约束确定本体结构；以及基于所述本体结构对所述基础数据、所述相关物体数据及所述人物交互数据进行知识抽取，形成多条三元组形式的知识表示，以构建跨媒体的化工作业知识图谱。

4、优选地，在本发明的一实施例中，所述相关物体数据涉及灭火器、防火布、脚手架、警戒线、气瓶、围栏、作业牌、火花中的至少一种物体识别结果，和/或所述人物交互数据涉及人佩戴安全帽、人佩戴手套、人佩戴护目镜、人穿警示服装、人穿安全绳中的至少一种人物交互识别结果，其中，所述人物交互网络是经由人、手套、安全帽、护目镜、警示服装、安全绳中的至少一种交互要素标注训练的。

5、优选地，在本发明的一实施例中，所述本体结构涉及人员、防护物品、穿戴物品、器械、现象、防火布、灭火器、脚手架、警戒线、围栏、安全帽、手套、护目镜、警示服装、安全绳、气瓶、作业牌、火花、交互类型、视频类、图片、作业事件、作业类型中的至少一种本体类，各所述本体类之间的关系包括以下的至少一者：类型(a，b)、视频记录(a，b)、包含(a，b)、交互物体(a，b)，其中，a和b为所述关系涉及的两个对象，分别选自所述至少一种本体类，所述人员、所述防护物品、所述穿戴物品、所述器械、所述现象涉及像素框坐标和/或图片url地址的属性，和/或所述视频类涉及视频地址的属性，和/或所述作业事件涉及作业时间、作业地点、防护等级及防护要求中的至少一种属性，和/或所述作业类型涉及防护要求的属性。

6、优选地，在本发明的一实施例中，在经由预先训练的物体检测网络及人物交互网络分别解析所述视频数据，以识别其中涉及的相关物体数据及人物交互数据之后，所述处理方法还包括以下步骤：以所述视频数据的一帧图片为单位，将所述相关物体数据、所述人物交互数据、相关物体和/或交互要素的像素框坐标数据、当前帧图片的url地址数据及所述视频数据的视频地址数据，分别存储到数据库中。

7、优选地，在本发明的一实施例中，基于所述本体结构对所述基础数据、所述相关物体数据及所述人物交互数据进行知识抽取，形成多条三元组形式的知识表示，以构建跨媒体的化工作业知识图谱的步骤包括：确定所述化工作业的作业场景；根据所述作业场景对应的作业规范调节所述本体结构，并将其确定为所述作业场景的事件模板；根据所述事件模板的约束，逐帧对所述数据库中的存储数据进行结构化知识抽取，以形成多条三元组形式的知识表示；以及基于多条所述三元组形式的知识表示，构建所述跨媒体的化工作业知识图谱。

8、优选地，在本发明的一实施例中，在构建所述跨媒体的化工作业知识图谱之后，所述处理方法还包括以下步骤：根据所述作业场景的作业规范，编写规则脚本；以及根据所述规则脚本检索所述跨媒体的化工作业知识图谱，以判断所述视频数据中的作业行为是否违规。

9、优选地，在本发明的一实施例中，所述规则脚本涉及对所述物体检测网络识别的物体类型和物体数量的约束，所述根据所述规则脚本读取检索跨媒体的化工作业知识图谱，以判断所述视频数据中的作业行为是否违规的步骤包括：根据所述规则脚本检索所述事件模板在所述化工作业知识图谱中的填充数据，以判断所述视频数据中的作业行为是否违规。

10、优选地，在本发明的一实施例中，所述规则脚本要求所述物体检测网络在所述视频数据的所有图片的范围内识别所述相关物体数据，并要求所述人物交互网络在当前帧图片的范围内识别所述人物交互数据。

11、优选地，在本发明的一实施例中，在根据所述规则脚本检索所述跨媒体的化工作业知识图谱，以判断所述视频数据中的作业行为是否违规之后，所述处理方法还包括以下步骤：经由人机交互界面显示所述视频数据的判断结果，和/或违规视频的原因描述。

12、此外，根据本发明的第二方面提供的上述化工作业数据的处理装置包括存储器及处理器。所述存储器上存储有计算机指令。所述处理器连接所述存储器，并被配置用于执行所述存储器上存储的计算机指令，以实施上述任意一个实施例所提供的化工作业数据的处理方法。

13、此外，根据本发明的第三方面提供的上述计算机可读存储介质上存储有计算机指令。所述计算机指令被处理器执行时，实施上述任意一个实施例所提供的化工作业数据的处理方法。