基于边端协同的作业现场安全识别方法和装置与流程

1.本技术涉及边缘计算技术领域，具体而言，涉及一种基于边端协同的作业现场安全识别方法和装置。


背景技术：

2.目前已经存在利用边缘计算架构和视频图像识别来构建电网作业现场的数字化安全监控系统的尝试，这种系统在减轻生产作业现场的安全管控压力，提高安全管控效能，推动安全管控向数字化、智能化转型升级方面发挥了重要作用。电网作业现场的数字化安全监控系统中包含接入边缘计算装置的各种类型的智能终端设备，云服务器平台将预训练的图像识别算法模型和定制开发的各类安全监测应用部署至连接至云服务器的边缘计算装置，边缘计算装置和接入边缘计算装置的各类智能终端设备之间通过对作业现场的视频图像数据的采集和处理，可以实现对作业现场的各类型安全事件的监测和预警。
3.现有的方案中，接入边缘计算装置的各类智能终端设备采集作业现场的视频图像数据受限于位置、角度、距离远近的不同，用于不同类型安全事件的监测应用程序及其算法模型基于这些各类智能终端设备采集的视频图像数据进行安全事件的识别处理，识别结果的准确度存在较大差异，影响了面向作业现场的数字化安全监控的智能化水平，因此，急需一种改进的方案来解决该问题。


技术实现要素：

4.为了解决上述问题，本技术提出一种基于边端协同的作业现场安全识别方法和装置，以提高对作业现场的目标对象有关的安全事件的视频图像识别的准确度，从而提高面向作业现场的数字化安全监控系统的智能化水平。
5.第一方面，本技术提出一种基于边端协同的作业现场安全识别方法，包括：第一边缘计算装置运行安全识别应用程序以执行安全识别任务，接收通信连接至所述第一边缘计算装置的至少一个第一类智能终端设备采集的视频图像数据；第一边缘计算装置基于与所述安全识别应用程序关联的图像识别模型对所述至少一个第一类智能终端设备采集的视频图像数据进行与目标对象相关的安全事件的识别，得到与目标对象相关的安全事件的第一识别结果和与所述第一识别结果相关的第一置信度；在所述第一置信度小于预定阈值时，第一边缘计算装置判断在所述目标对象的预定位置范围内是否存在通信连接至所述第一边缘计算装置的至少一个第二类智能终端设备；如存在，则所述第一边缘计算装置接收所述至少一个第二类智能终端设备采集的视频图像数据，基于所述图像识别模型对所述至少一个第二类智能终端设备采集的视频图像数据进行所述与目标对象相关的安全事件的识别，得到所述与目标对象相关的安全事件的第二识别结果和与所述第二识别结果相关的第二置信度；在所述第二置信度大于等于所述预定阈值时，第一边缘计算装置向云服务器发送所述第二识别结果。
6.在可选的实施方式中，所述方法还包括：第一边缘计算装置判断在所述目标对象的预定位置范围内不存在通信连接至所述第一边缘计算装置的至少一个第二类智能终端设备时，判断在所述目标对象的预定位置范围内是否存在通信连接至第二边缘计算装置的至少一个第二类智能终端设备；如存在，则所述第一边缘计算装置向所述第二边缘计算装置发送安全识别任务请求；响应于所述安全识别任务请求，所述第二边缘计算装置运行所述安全识别应用程序以执行所述安全识别任务，接收通信连接至所述第二边缘计算装置的所述至少一个第二类智能终端设备采集的视频图像数据，基于所述图像识别模型对所述至少一个第二类智能终端设备采集的视频图像数据进行所述与目标对象相关的安全事件的识别，得到所述与目标对象相关的安全事件的第三识别结果和与所述第三识别结果相关的第三置信度；在所述第三置信度大于等于所述预定阈值时，所述第二边缘计算装置向云服务器发送所述第三识别结果。
7.在可选的实施方式中，所述方法还包括：响应于所述安全识别任务请求，所述第二边缘计算装置判断本机没有部署用于执行所述安全识别任务的所述安全识别应用程序和图像识别模型时，向所述云服务器发送所述安全识别应用程序和图像识别模型的安装部署请求；响应于所述安装部署请求，所述云服务器向所述第二边缘计算装置下发所述安全识别应用程序和图像识别模型；所述第二边缘计算装置接收所述安全识别应用程序和图像识别模型以在本机安装部署所述安全识别应用程序和图像识别模型。
8.在可选的实施方式中，所述第一边缘计算装置判断在所述目标对象的预定位置范围内是否存在通信连接至所述第一边缘计算装置的至少一个第二类智能终端设备包括：所述第一边缘计算装置接收所述目标对象的定位信息和通信连接至所述第一边缘计算装置的第二类智能终端设备发送的定位信息；所述第一边缘计算装置根据所述目标对象的定位信息和所述第二类智能终端设备发送的定位信息，判断所述目标对象的定位信息的预定位置范围内是否存在所述至少一个第二类智能终端设备。
9.在可选的实施方式中，所述第一边缘计算装置判断在所述目标对象的预定位置范围内是否存在通信连接至所述第二边缘计算装置的至少一个第二类智能终端设备包括：所述第一边缘计算装置接收所述目标对象的定位信息，并向所述第二边缘计算装置发送针对通信连接至所述第二边缘计算装置的第二类智能终端设备的定位信息请求；所述第一边缘计算装置接收所述第二边缘计算装置返回的所述第二类智能终端设备的定位信息；所述第一边缘计算装置根据所述目标对象的定位信息和所述第二类智能终端设备的定位信息，判断所述目标对象的定位信息的预定位置范围内是否存在所述至少一个第二类智能终端设备。
10.在可选的实施方式中，所述方法还包括：预先在所述云服务器上训练和存储所述图像识别模型的多个版本，所述多个版本分别对应不同的置信度水平；
在所述第二置信度或者所述第三置信度小于所述预定阈值时，所述第一边缘计算装置向所述云服务器发送所述图像识别模型的版本更新请求；所述云服务器响应于所述图像识别模型的版本更新请求，向所述第一边缘计算装置下发所述图像识别模型的更新版本，所述更新版本相比所述图像识别模型的已安装版本具有更高的置信度水平。
11.在可选的实施方式中，所述安全识别应用程序包括违章行为识别应用程序，所述目标对象包括位于作业现场的目标作业人员，所述与目标对象相关的安全事件包括与所述目标作业人员相关的违章行为事件，所述第一类智能终端设备包括布置于作业现场的移动布控球，所述第二类智能终端设备包括位于作业现场的其他作业人员佩戴的智能安全帽。
12.在可选的实施方式中，所述安全识别应用程序包括设备安全识别应用程序，所述目标对象包括位于作业现场的目标设备，所述与目标对象相关的安全事件包括与所述目标设备相关的设备安全风险事件，所述第一类智能终端设备包括接近所述目标设备的作业人员佩戴的智能安全帽，所述第二类智能终端设备包括布置于作业现场的移动布控球。
13.在可选的实施方式中，所述目标对象的定位信息和所述第二类智能终端设备的定位信息通过超宽带定位标签采集得到。
14.第二方面，本技术还提出一种基于边端协同的作业现场安全识别装置，包括：第一处理单元，用于第一边缘计算装置运行安全识别应用程序以执行安全识别任务，接收通信连接至所述第一边缘计算装置的至少一个第一类智能终端设备采集的视频图像数据；基于与所述安全识别应用程序关联的图像识别模型对所述至少一个第一类智能终端设备采集的视频图像数据进行与目标对象相关的安全事件的识别，得到与目标对象相关的安全事件的第一识别结果和与所述第一识别结果相关的第一置信度；第二处理单元，用于在所述第一置信度小于预定阈值时，第一边缘计算装置判断在所述目标对象的预定位置范围内是否存在通信连接至所述第一边缘计算装置的至少一个第二类智能终端设备；如存在，则所述第一边缘计算装置接收所述至少一个第二类智能终端设备采集的视频图像数据，基于所述图像识别模型对所述至少一个第二类智能终端设备采集的视频图像数据进行所述与目标对象相关的安全事件的识别，得到所述与目标对象相关的安全事件的第二识别结果和与所述第二识别结果相关的第二置信度；在所述第二置信度大于等于所述预定阈值时，第一边缘计算装置向云服务器发送所述第二识别结果。
15.本技术实施例至少可以达到如下有益效果：可以针对不同的安全识别应用程序，智能化利用接入边缘计算装置的不同类别的智能终端设备采集视频图像数据的优点，提高对作业现场的目标对象的安全事件的视频图像识别的准确度，从而提高面向作业现场的数字化安全监控系统的智能化水平。
附图说明
16.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本技术的某些实施例，而不应被看作是对本技术范围的限制。
17.图1是根据本技术一实施例的基于边端协同的作业现场安全识别方法的流程示意图；
图2是根据本技术另一实施例的基于边端协同的作业现场安全识别方法的部分流程示意图；图3是根据本技术另一实施例的基于边端协同的作业现场安全识别方法的部分流程示意图；图4是根据本技术另一实施例的基于边端协同的作业现场安全识别方法的部分流程示意图；图5是根据本技术另一实施例的基于边端协同的作业现场安全识别方法的部分流程示意图；图6是根据本技术另一实施例的基于边端协同的作业现场安全识别方法的部分流程示意图；图7是根据本技术一实施例的基于边端协同的作业现场安全识别装置的结构示意图；图8是根据本技术另一实施例的基于边端协同的作业现场安全识别装置的部分结构示意图；图9是根据本技术另一实施例的基于边端协同的作业现场安全识别装置的部分结构示意图；图10是根据本技术另一实施例的基于边端协同的作业现场安全识别装置的部分结构示意图；图11是根据本技术另一实施例的基于边端协同的作业现场安全识别装置的部分结构示意图；图12是根据本技术另一实施例的基于边端协同的作业现场安全识别装置的部分结构示意图。
具体实施方式
18.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术实施例的附图，对本技术实施例中的技术方案进行清楚、完整地描述。然而应当理解，所描述的实施例仅仅是本技术的部分示例性实施例，而不是全部实施例，因此以下对本技术实施例的详细描述并非旨在限制要求保护的本技术的范围。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
19.需要说明的是，本技术的说明书和权利要求书中的术语“第一”、“第二”等仅是用于区别描述类似的对象，而不是用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。
20.本技术实施例应用于基于边缘计算的作业现场安全监控系统。该作业现场安全监控系统包括云服务器、通过网络连接到该云服务器的至少一个边缘计算装置以及分别接入该至少一个边缘计算装置的位于作业现场的多种类别的智能终端设备。其中，边缘计算装置可以通过北斗卫星通信、以太网、4g/5g专网、无线专网等多种远程通信方式与云服务器进行安全连接。边缘计算装置主要实现作业现场的智能化安全管控功能，可以基于各类智能终端设备采集的作业现场目标对象的视频图像数据，执行与目标对象有关的安全事件的智能识别和告警，并将安全事件的识别结果发送给云服务器。
21.云服务器可以是位于云端的单个服务器，也可以是多个服务器组成的服务器集群。云服务器中部署有边缘智能服务平台以及安全管控平台。边缘智能服务平台主要实现边缘计算装置接入和运行管理，以及负责各类安全识别应用程序及其关联的图像识别模型向边缘计算装置的分发部署和更新管理。同时，边缘智能服务平台横向与安全管控平台实现数据和业务信息交互，有效关联边缘侧安全事件数据，实现作业现场的数字化安全管控功能。
22.如前所述，在上述作业现场安全监控系统中，接入边缘计算装置的各类智能终端设备采集作业现场的视频图像数据，发送给其接入的边缘计算装置，边缘计算装置运行不同类型安全事件的安全识别应用程序及其关联的图像识别模型进行安全事件的识别处理。由于各类智能终端设备采集目标对象的视频图像数据的位置、角度、距离远近的不同，基于这些视频图像数据，安全识别应用程序及其关联的图像识别模型的识别结果的准确度会存在较大差异，影响了面向作业现场的数字化安全监控的智能化水平。为此，本技术实施例提出一种基于边端协同的作业现场安全识别方法和装置，可以针对不同的安全识别应用需求，智能化利用接入边缘计算装置的不同类别的智能终端设备采集视频图像数据的优势，提高对作业现场的目标对象的安全事件的视频图像识别的准确度，从而提高面向作业现场的数字化安全监控系统的智能化水平。
23.图1是根据本技术一实施例的基于边端协同的作业现场安全识别方法的流程示意图。如图1所示，本技术实施例的基于边端协同的作业现场安全识别方法，包括以下步骤：步骤s110，第一边缘计算装置运行安全识别应用程序以执行安全识别任务，接收通信连接至所述第一边缘计算装置的至少一个第一类智能终端设备采集的视频图像数据。
24.本实施例中，边缘计算装置可以安装部署多种不同的安全识别应用程序，用于执行对作业现场的不同目标对象的安全事件的识别处理。接入边缘计算装置的智能终端设备具有多种类型，实现对位于作业现场的不同目标对象的视频图像数据采集。
25.在一个实施方式中，边缘计算装置中部署的安全识别应用程序包括违章行为识别应用程序和设备安全识别应用程序。违章行为识别应用程序主要实现对作业现场的作业人员的违章行为的识别和监测预警。通过将覆盖作业现场的移动布控球或作业人员佩戴的智能安全帽接入边缘计算装置，边缘计算装置可以通过移动布控球或智能安全帽上的视频图像采集模块对作业现场的目标作业人员进行视频图像采集，然后基于关联的图像识别模型的图像处理，识别出目标作业人员是否存在违章行为。设备安全识别应用程序主要用于检测作业现场的各型安全设备的安全状态是否符合安全要求，通过接近作业现场的安全设备的智能终端设备采集目标设备的视频图像数据，并进行设备状态的识别检测，确认目标设备的使用、操作合规，并及时向作业人员进行安全预警。
26.对于不同的安全识别应用程序而言，为了保证边缘计算装置输入的视频图像数据的清晰度，可以考虑为不同的安全识别应用程序优选接入的智能终端设备的种类。以违章行为识别应用程序为例，由于移动布控球通常具有可旋转摄像头，可以布置视频拍摄的视角为覆盖指定的作业区域，通过该摄像头采集的作业现场的作业人员的视频图像数据能够具有更高的清晰度，因此，可以将移动布控球作为采集违章行为识别应用程序所需的视频图像数据的第一类智能终端设备。而以设备安全识别应用程序为例，设备状态的识别检测需要图像采集模块尽量接近目标设备，拍摄目标设备的近距离图像，因此，可以考虑将接近
该目标设备的作业人员佩戴的智能安全帽作为采集设备安全识别应用程序所需的视频图像数据的第一类智能终端设备。
27.步骤s120，第一边缘计算装置基于与所述安全识别应用程序关联的图像识别模型对所述至少一个第一类智能终端设备采集的视频图像数据进行与目标对象相关的安全事件的识别，得到与目标对象相关的安全事件的第一识别结果和与所述第一识别结果相关的第一置信度。
28.本实施例中，边缘计算装置运行不同的安全识别应用程序，需要加载该安全识别应用程序关联的图像识别模型对采集的视频图像数据进行相关安全事件的识别。在一个实施方式中，安全识别应用程序关联的图像识别模型是云服务器上的边缘智能服务平台基于多种常用ai算法框架预先训练生成的算法模型，该算法模型可以经过模型量化和剪枝处理，转换为标准化格式的轻量化模型，从而可以兼容作业现场的各型边缘计算装置的系统进行安装部署。
29.在一个实施方式中，当安全识别应用程序为违章行为识别应用程序，所述目标对象可以包括位于作业现场的目标作业人员，所述与目标对象相关的安全事件可以包括与所述目标作业人员相关的违章行为事件。作为示例，这些违章行为事件可以包括：对安全工具器的使用违规事件，例如是否有未佩戴安全帽、未佩戴绝缘手套、未按要求穿工作服及使用安全带等行为，以及是否存在其他的行为姿态事件，比如在作业区域抽烟等违章行为。
30.在一个实施方式中，当安全识别应用程序为设备安全识别应用程序，所述目标对象包括位于作业现场的目标设备，所述与目标对象相关的安全事件可以包括与所述目标设备相关的设备安全风险事件。作为示例，这些设备安全风险事件可以包括：现场用电安全设备的开关状态识别、刀闸状态识别、接地刀闸状态识别、开关柜操显状态识别、开关柜指示灯状态识别、开关柜旋转开关识别等。
31.本实施例中，边缘计算装置对第一类智能终端设备采集的视频图像数据进行与目标对象相关的安全事件的识别，得到与目标对象相关的安全事件的识别结果的同时，还得到与所述识别结果相关的第一置信度。置信度是计算机图像分类算法中用于评价图像分类准确性的一种评价指标，通常用百分比表示。本实施例采用置信度指标来表征当前图像识别结果接近真实结果的概率，识别结果的置信度越高，表示识别结果接近真实结果的可能性越大，识别的准确性也更高；反之，识别结果的置信度越低，表示识别结果接近真实结果的可能性越小，识别的准确性也更低。
32.步骤s130，在所述第一置信度小于预定阈值时，第一边缘计算装置判断在所述目标对象的预定位置范围内是否存在通信连接至所述第一边缘计算装置的至少一个第二类智能终端设备；如存在，则在步骤s140，所述第一边缘计算装置接收所述至少一个第二类智能终端设备采集的视频图像数据，基于所述图像识别模型对所述至少一个第二类智能终端设备采集的视频图像数据进行所述与目标对象相关的安全事件的识别，得到所述与目标对象相关的安全事件的第二识别结果和与所述第二识别结果相关的第二置信度；在所述第二置信度大于等于所述预定阈值时，第一边缘计算装置向云服务器发送所述第二识别结果。
33.本实施例中，当边缘计算装置针对第一类智能终端设备采集的视频图像数据的第一识别结果的置信度小于预定阈值时，边缘计算装置会进一步判断在目标对象的预定位置范围内是否存在连接至该边缘计算装置的第二类智能终端设备，以便进一步基于该第二类
智能终端设备采集的目标对象的视频图像数据进行识别处理。如果边缘计算装置针对该第二类智能终端设备采集的目标对象的视频图像数据进行识别处理的第二识别结果的置信度大于或等于预定阈值，则边缘计算装置会将该第二识别结果作为最终识别结果，发送给云服务器进行安全风险管控。
34.在一个实施方式中，以违章行为识别应用程序为例，优选覆盖作业区域的移动布控球作为第一类智能终端设备采集目标作业人员的视频图像数据，发送给边缘计算装置进行识别处理。假设根据该视频图像数据识别到该作业人员可能未佩戴安全带的识别结果，该识别结果的置信度为90%，低于预定阈值95%；那么，边缘计算装置根据该目标作业人员的位置查找在预定位置范围内是否存在其他作业人员且这些作业人员佩戴的智能安全帽作为第二类智能终端设备已经接入该同一边缘计算装置。如存在多个其他作业人员邻近目标作业人员，则该边缘计算装置再次采集这些第二类智能终端设备的智能安全帽的视频图像数据进行目标作业人员的违章行为识别，如果再次识别到该目标作业人员未佩戴安全带的识别结果，该识别结果的置信度为98%，大于预定阈值95%，则边缘计算装置将该识别结果作为最终确认的安全事件发送给云服务器。从而，边缘计算装置以边端协同的方式，综合利用第一类智能终端设备和第二类智能终端设备对目标对象的视频图像数据的协同采集和识别处理，提高了对作业现场安全事件识别的准确度。
35.在另一个实施方式中，以设备安全识别应用程序为例，优选近距离接近目标设备的作业人员佩戴的智能安全帽作为第一类智能终端设备采集目标设备的视频图像数据，发送给边缘计算装置进行识别处理。假设根据该视频图像数据识别到该目标设备存在不安全的开关状态时，该识别结果的置信度为92%，低于预定阈值95%；那么，边缘计算装置根据该目标设备的位置查找在预定位置范围内是否存在覆盖该目标设备的区域范围的第二类智能终端设备移动布控球或固定式摄像头。如存在该移动布控球或固定式摄像头的第二类智能终端设备，则该边缘计算装置再次采集这些第二类智能终端设备的视频图像数据进行目标设备的安全状态识别，如果再次识别到该目标设备存在该不安全的开关状态时，该识别结果的置信度为97%，大于预定阈值95%，则边缘计算装置将该识别结果作为最终确认的安全事件发送给云服务器。从而，边缘计算装置以边端协同的方式，综合利用第一类智能终端设备和第二类智能终端设备对目标对象的视频图像数据的协同采集和识别处理，提高了对作业现场安全事件识别的准确度。
36.在一个实施方式中，如图2所示，上述步骤s130中，第一边缘计算装置判断在所述目标对象的预定位置范围内是否存在通信连接至所述第一边缘计算装置的至少一个第二类智能终端设备，可以包括以下步骤：步骤s131，第一边缘计算装置接收所述目标对象的定位信息和通信连接至所述第一边缘计算装置的第二类智能终端设备发送的定位信息。
37.本实施例中，可以在目标对象和智能终端设备上安置定位标签，定位标签可以向边缘计算装置发送高精度位置定位信息。在一个实施方式中，定位标签可以包括超宽带（uwb）定位模标签，该超宽带定位标签可以与覆盖作业现场的超宽带基站的通信连接，并在超宽带基站的协同配合下，实现对标签佩戴人员或标签所安置设备在作业现场的高精度位置定位。
38.步骤s132，第一边缘计算装置根据所述目标对象的定位信息和所述第二类智能终
端设备发送的定位信息，判断所述目标对象的定位信息的预定位置范围内是否存在所述至少一个第二类智能终端设备。
39.本实施例中，第一边缘计算装置在接收到目标对象和第二类智能终端设备上安置的定位标签发送的定位信息之后，就可以根据二者的关系确定所述第二类智能终端的定位信息是否位于所述目标对象的预定位置范围内。在一个实施方式中，所述目标对象的预定位置范围可以是以所述目标对象为中心的圆形或一定角度的扇形区域范围内，第一边缘计算装置可以判断所述第二类智能终端的定位信息是否位于所述以目标对象为中心的圆形或一定角度的扇形区域范围内，以此确定所述目标对象的定位信息的预定位置范围内是否存在所述至少一个第二类智能终端设备。
40.在一个实施方式中，如图3所示，在前述任一实施例的基础上，本技术实施例的基于边端协同的作业现场安全识别方法，还可以包括以下步骤：步骤s150，第一边缘计算装置判断在目标对象的预定位置范围内不存在通信连接至所述第一边缘计算装置的至少一个第二类智能终端设备时，判断在所述目标对象的预定位置范围内是否存在通信连接至第二边缘计算装置的至少一个第二类智能终端设备；如存在，则在步骤s160，所述第一边缘计算装置向所述第二边缘计算装置发送安全识别任务请求。
41.本实施例中，如果进行安全事件识别处理的第一边缘计算装置确定目标对象的预定位置范围内不存在通信连接到本机的至少一个第二类智能终端设备时，可以进一步判断其它边缘计算装置是否存在通信连接的至少一个第二类智能终端设备，如果存在，则第一边缘计算装置可以向所述第二边缘计算装置发送安全识别任务请求，以请求所述第二边缘计算装置执行所述安全识别任务。在一个实施方式中，第一边缘计算装置可以基于边缘计算装置之间的网络互联协议，例如opc ua或mqtt等通信协议，向所述第二边缘计算装置发送所述安全识别任务请求。opc ua（opc统一架构）协议是用于工业自动化等行业安全可靠地进行数据交换的开放式国际标准，mqtt（消息队列遥测传输协议）是基于二进制消息的发布/订阅编程模式的消息协议，可以用于需要低功耗和网络带宽有限的物联网通信场景。
42.步骤170，响应于所述安全识别任务请求，所述第二边缘计算装置运行所述安全识别应用程序以执行所述安全识别任务，接收通信连接至所述第二边缘计算装置的所述至少一个第二类智能终端设备采集的视频图像数据，基于所述图像识别模型对所述至少一个第二类智能终端设备采集的视频图像数据进行所述与目标对象相关的安全事件的识别，得到所述与目标对象相关的安全事件的第三识别结果和与所述第三识别结果相关的第三置信度；在所述第三置信度大于等于所述预定阈值时，所述第二边缘计算装置向云服务器发送所述第三识别结果。
43.本实施例中，响应于第一边缘计算装置向所述第二边缘计算装置发送的安全识别任务请求，第二边缘计算装置可以运行所述安全识别应用程序及其关联的图像识别模型，对所述至少一个第二类智能终端设备采集的视频图像数据进行所述与目标对象相关的安全事件的识别。从而，可以在第一边缘计算装置基于第一类智能终端设备采集的视频图像数据进行的识别处理结果不能达到预期的置信度时，可以请求第二边缘计算装置基于与目标对象临近的第二类智能终端设备采集的视频图像数据进行识别处理，由此边缘计算装置同时以边边协同和边端协同的方式，综合利用第一类智能终端设备和第二类智能终端设备
对目标对象的视频图像数据的协同采集和识别处理，进一步提高了对作业现场安全事件识别的准确度。
44.在一个实施方式中，如图4所示，上述步骤s150中，所述第一边缘计算装置判断在所述目标对象的预定位置范围内是否存在通信连接至第二边缘计算装置的至少一个第二类智能终端设备们，可以包括以下步骤：步骤s151，所述第一边缘计算装置接收所述目标对象的定位信息，并向所述第二边缘计算装置发送针对通信连接至所述第二边缘计算装置的第二类智能终端设备的定位信息请求。
45.步骤s152，所述第一边缘计算装置接收所述第二边缘计算装置返回的所述第二类智能终端设备的定位信息。
46.步骤s153，所述第一边缘计算装置根据所述目标对象的定位信息和所述第二类智能终端设备的定位信息，判断所述目标对象的定位信息的预定位置范围内是否存在所述至少一个第二类智能终端设备。
47.本实施例中，可以在目标对象和智能终端设备上安置定位标签，定位标签可以向边缘计算装置发送高精度位置定位信息，由此第二边缘计算装置可以接收通信连接至本机的第二类智能终端设备的定位信息。在一个实施方式中，定位标签可以包括超宽带（uwb）定位模标签，该超宽带定位标签可以与覆盖作业现场的超宽带基站的通信连接，并在超宽带基站的协同配合下，实现对标签佩戴人员或标签所安置设备在作业现场的高精度位置定位。第一边缘计算装置通过向所述第二边缘计算装置发送针对通信连接至所述第二边缘计算装置的第二类智能终端设备的定位信息请求，第二边缘计算装置响应于该定位信息请求，可以向第一边缘计算装置返回所述第二类智能终端设备的定位信息。从而，第一边缘计算装置在接收到目标对象和第二类智能终端设备的定位信息之后，就可以根据二者的关系确定所述第二类智能终端的定位信息是否位于所述目标对象的预定位置范围内。在一个实施方式中，所述目标对象的预定位置范围可以是以所述目标对象为中心的圆形或一定角度的扇形区域范围内，第一边缘计算装置可以判断所述第二类智能终端的定位信息是否位于所述以目标对象为中心的圆形或一定角度的扇形区域范围内，以此确定所述目标对象的定位信息的预定位置范围内是否存在所述至少一个第二类智能终端设备。在一个实施方式中，第一边缘计算装置可以基于边缘计算装置之间的网络互联协议，例如opc ua或mqtt等通信协议，向所述第二边缘计算装置发送所述定位信息请求。
48.在一个实施方式中，如图5所示，在前述任一实施例的基础上，本技术实施例的基于边端协同的作业现场安全识别方法，在步骤s170之前，还可以包括以下步骤：步骤s161，响应于所述安全识别任务请求，所述第二边缘计算装置判断本机没有部署用于执行所述安全识别任务的所述安全识别应用程序和图像识别模型时，向所述云服务器发送所述安全识别应用程序和图像识别模型的安装部署请求。
49.步骤s162，响应于所述安装部署请求，所述云服务器向所述第二边缘计算装置下发所述安全识别应用程序和图像识别模型。
50.步骤s163，所述第二边缘计算装置接收所述安全识别应用程序和图像识别模型以在本机安装部署所述安全识别应用程序和图像识别模型。
51.本实施例中，在所述第二边缘计算装置没有部署用于执行所述安全识别任务的所
述安全识别应用程序及其关联的图像识别模型时，第二边缘计算装置可以向云服务器发送所述安全识别应用程序和图像识别模型的安装部署请求。云服务器上的边缘智能服务平台在接收到第二边缘计算装置的安装部署请求之后，可以将第二边缘计算装置所需要的安全识别应用程序及其关联的图像识别模型向第二边缘计算装置进行分发部署。从而，确保第二边缘计算装置可以基于第一边缘装置发送的安全识别任务请求，以边边协同的方式提供对目标对象的视频图像数据的识别处理，进一步保证了对作业现场安全事件识别的准确度。
52.在一个实施方式中，如图6所示，在前述任一实施例的基础上，本技术实施例的基于边端协同的作业现场安全识别方法，还可以包括以下步骤：步骤s210，预先在所述云服务器上训练和存储所述图像识别模型的多个版本，所述多个版本分别对应不同的置信度水平。
53.步骤s220，在所述第二置信度或者所述第三置信度小于所述预定阈值时，所述第一边缘计算装置向所述云服务器发送所述图像识别模型的版本更新请求。
54.步骤s230，所述云服务器响应于所述图像识别模型的版本更新请求，向所述第一边缘计算装置下发所述图像识别模型的更新版本，所述更新版本相比所述图像识别模型的已安装版本具有更高的置信度水平。
55.本实施例中，考虑到不同作业现场的边缘计算装置的性能资源的差异和实际的识别应用需求，云服务器在预先训练各类安全识别应用程序关联的图像识别模型时，可以为每个图像识别模型训练多个不同的置信度水平的版本。当第一边缘计算装置基于第一类智能终端设备采集的视频图像数据的识别结果以及基于通信连接至第一边缘计算装置或第二边缘计算装置的第二类智能终端设备采集的视频图像数据的识别结果均无法达到预期的置信度时，第一边缘计算装置可以向所述云服务器发送所述图像识别模型的版本更新请求，以便向云服务器上的边缘智能服务平台请求分发所述图像识别模型的更高置信度水平的版本。从而，边缘计算装置通过升级安全识别应用程序关联的图像识别模型，可以提高边缘计算装置对视频图像数据的识别结果的置信度，进一步提高了对作业现场安全事件识别的准确度。
56.图7是根据本技术一实施例的基于边端协同的作业现场安全识别装置的结构示意图。如图7所示，本技术实施例的基于边端协同的作业现场安全识别装置，包括以下单元：第一处理单元310，用于第一边缘计算装置运行安全识别应用程序以执行安全识别任务，接收通信连接至所述第一边缘计算装置的至少一个第一类智能终端设备采集的视频图像数据；第一边缘计算装置基于与所述安全识别应用程序关联的图像识别模型对所述至少一个第一类智能终端设备采集的视频图像数据进行与目标对象相关的安全事件的识别，得到与目标对象相关的安全事件的第一识别结果和与所述第一识别结果相关的第一置信度；第二处理单元320，用于在所述第一置信度小于预定阈值时，第一边缘计算装置判断在所述目标对象的预定位置范围内是否存在通信连接至所述第一边缘计算装置的至少一个第二类智能终端设备；如存在，则所述第一边缘计算装置接收所述至少一个第二类智能终端设备采集的视频图像数据，基于所述图像识别模型对所述至少一个第二类智能终端设备采集的视频图像数据进行所述与目标对象相关的安全事件的识别，得到所述与目标对
象相关的安全事件的第二识别结果和与所述第二识别结果相关的第二置信度；在所述第二置信度大于等于所述预定阈值时，第一边缘计算装置向云服务器发送所述第二识别结果。
57.在一个实施方式中，如图8所示，第二处理单元320还可以包括以下子单元：第一定位接收子单元321，用于第一边缘计算装置接收所述目标对象的定位信息和通信连接至所述第一边缘计算装置的第二类智能终端设备发送的定位信息。
58.第一位置判断子单元322，用于第一边缘计算装置根据所述目标对象的定位信息和所述第二类智能终端设备发送的定位信息，判断所述目标对象的定位信息的预定位置范围内是否存在所述至少一个第二类智能终端设备。
59.在一个实施方式中，如图9所示，在前述任一实施例的基础上，本技术实施例的基于边端协同的作业现场安全识别装置，还可以包括以下单元：第三处理单元330，用于第一边缘计算装置判断在目标对象的预定位置范围内不存在通信连接至所述第一边缘计算装置的至少一个第二类智能终端设备时，判断在所述目标对象的预定位置范围内是否存在通信连接至第二边缘计算装置的至少一个第二类智能终端设备；如存在，则所述第一边缘计算装置向所述第二边缘计算装置发送安全识别任务请求。
60.第四处理单元340，用于响应于所述安全识别任务请求，所述第二边缘计算装置运行所述安全识别应用程序以执行所述安全识别任务，接收通信连接至所述第二边缘计算装置的所述至少一个第二类智能终端设备采集的视频图像数据，基于所述图像识别模型对所述至少一个第二类智能终端设备采集的视频图像数据进行所述与目标对象相关的安全事件的识别，得到所述与目标对象相关的安全事件的第三识别结果和与所述第三识别结果相关的第三置信度；在所述第三置信度大于等于所述预定阈值时，所述第二边缘计算装置向云服务器发送所述第三识别结果。
61.在一个实施方式中，如图10所示，第三处理单元330可以包括以下子单元：第二定位接收子单元331，用于所述第一边缘计算装置接收所述目标对象的定位信息，并向所述第二边缘计算装置发送针对通信连接至所述第二边缘计算装置的第二类智能终端设备的定位信息请求。
62.第三定位接收子单元332，用于所述第一边缘计算装置接收所述第二边缘计算装置返回的所述第二类智能终端设备的定位信息。
63.第二位置判断子单元333，用于所述第一边缘计算装置根据所述目标对象的定位信息和所述第二类智能终端设备的定位信息，判断所述目标对象的定位信息的预定位置范围内是否存在所述至少一个第二类智能终端设备。
64.在一个实施方式中，如图11所示，在前述任一实施例的基础上，本技术实施例的基于边端协同的作业现场安全识别装置，还可以包括以下单元：应用请求单元350，用于响应于所述安全识别任务请求，所述第二边缘计算装置判断本机没有部署用于执行所述安全识别任务的所述安全识别应用程序和图像识别模型时，向所述云服务器发送所述安全识别应用程序和图像识别模型的安装部署请求。
65.应用分发单元360，用于响应于所述安装部署请求，所述云服务器向所述第二边缘计算装置下发所述安全识别应用程序和图像识别模型。
66.应用接收单元370，用于所述第二边缘计算装置接收所述安全识别应用程序和图
像识别模型以在本机安装部署所述安全识别应用程序和图像识别模型。
67.在一个实施方式中，如图12所示，在前述任一实施例的基础上，本技术实施例的基于边端协同的作业现场安全识别装置，还可以包括以下单元：模型训练单元410，用于预先在所述云服务器上训练和存储所述图像识别模型的多个版本，所述多个版本分别对应不同的置信度水平。
68.模型请求单元420，用于在所述第二置信度或者所述第三置信度小于所述预定阈值时，所述第一边缘计算装置向所述云服务器发送所述图像识别模型的版本更新请求。
69.模型更新单元430，用于所述云服务器响应于所述图像识别模型的版本更新请求，向所述第一边缘计算装置下发所述图像识别模型的更新版本，所述更新版本相比所述图像识别模型的已安装版本具有更高的置信度水平。
70.需要说明的是，本领域技术人员可以理解，本技术的方法实施例所描述的不同实施方式及其说明解释和所达到的技术效果，同样适用于本技术的装置实施例中，在此不再赘述。
71.本技术实施例的基于边端协同的作业现场安全识别方法和装置，在边缘计算装置基于接入的第一类智能终端设备采集的视频图像数据的识别结果无法满足置信度阈值时，通过接入的第二类智能终端设备采集目标对象的视频图像数据，如果基于第二类智能终端设备采集的目标对象的视频图像数据的识别结果达到置信度阈值，则向云服务器发送该识别结果。本技术实施例可以用于基于边缘计算的作业现场安全监控系统，可以针对不同的安全识别应用需求，以边端协同的方式智能化利用接入边缘计算装置的不同类别的智能终端设备采集视频图像数据的优势，提高对作业现场的目标对象的安全事件的视频图像识别的准确度，从而提高面向作业现场的数字化安全监控系统的智能化水平。
72.本技术可以通过软件、硬件或软硬件结合的方式实施。当实现为计算机软件程序时，该计算机软件程序可以安装于服务器中被一个或多个处理器执行以实现相应功能。
73.进一步地，本技术实施例还可以包括一种服务器，该服务器包括：一个或多个处理器；存储器，用于存储一个或多个计算机程序；其中，所述计算机程序被所述一个或多个处理器执行以实现如前述任一实施例描述的方法的步骤。
74.进一步地，本技术实施例还可以包括一种计算机可读介质，该计算机可读介质存储有程序指令，在这样的实施例中，当该计算机可读存储介质被装载在计算设备中时，该程序指令可以被一个或多个处理器执行以执行本技术任一实施例中描述的方法的步骤。
75.进一步地，本技术的实施例还可以包括一种计算机程序产品，包括承载程序指令的计算机可读介质，在这样的实施例中，该程序指令可以被一个或多个处理器执行以执行本技术任一实施例中描述的方法的步骤。
76.以上描述了本技术示例性的实施例，应当理解，上述示例性的实施例不是限制性的，而是说明性的，本技术的保护范围不限于此。应理解，本领域技术人员在不脱离本技术的精神和范围的情况下，可以对本技术实施例进行修改和变型，这些修改和变型理应在本技术的保护范围之内。