基于边缘计算的场景监控方法、装置、设备及存储介质与流程

1.本技术涉及视频监控技术，尤其涉及一种基于边缘计算的场景监控方法、装置、设备及存储介质。


背景技术：

2.设备的不安全状态和人的不安全行为会造成重大的安全责任事故，将人工智能新技术引入工业安全领域，对异常场景和异常行为进行实时监测和告警，尽早发现事故隐患，保障工业安全。常见的设备不安全状态包括通电电线裸露在外、转动或切割设备等危险设备缺乏保护、有毒气体泄漏等；人的不安全行为包括工人在工地不佩戴安全帽、不穿安全服、进行高空作业不正确佩戴安全带、在易燃易爆设备附近抽烟或打电话等。
3.现有技术中，需要人工对现场进行视频监控，或者将采集到的视频上传至云平台，由云平台对视频进行异常行为的识别，并将识别结果发给客户端，从而对工作人员进行告警。然而，现有技术的方法浪费大量人力和时间，容易遗漏视频中的信息，在网络传输时容易造成较高的延时，影响场景监控的效率和精度。


技术实现要素：

4.本技术提供一种基于边缘计算的场景监控方法、装置、设备及存储介质，用以提高场景监控的效率和精度。
5.第一方面，本技术提供一种基于边缘计算的场景监控方法，该方法应用于边缘设备，包括：
6.获取预设场景内的原始图像；
7.根据预设的神经网络模型，从所述原始图像中确定异常信息，其中，所述异常信息用于表示预设场景中需要被告警的信息，所述异常信息为所述原始图像中异常图像区域中的信息，所述异常图像区域为基于该异常图像区域与预设异常图像之间的置信度所确定的；
8.将所述异常信息发送至客户端进行告警。
9.第二方面，本技术提供一种基于边缘计算的场景监控装置，该装置配置于边缘设备，包括：
10.图像获取模块，用于获取预设场景内的原始图像；
11.信息确定模块，用于根据预设的神经网络模型，从所述原始图像中确定异常信息，其中，所述异常信息用于表示预设场景中需要被告警的信息，所述异常信息为所述原始图像中异常图像区域中的信息，所述异常图像区域为基于该异常图像区域与预设异常图像之间的置信度所确定的；
12.告警模块，用于将所述异常信息发送至客户端进行告警。
13.第三方面，本技术提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；
14.所述存储器存储计算机执行指令；
15.所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面所述的基于边缘计算的场景监控方法。
16.第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面所述的基于边缘计算的场景监控方法。
17.第五方面，本技术提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面所述的基于边缘计算的场景监控方法。
18.本技术提供的一种基于边缘计算的场景监控方法、装置、设备及存储介质，通过对预设场景进行视频监控，得到场景内的图像帧，作为原始图像。根据预设的神经网络模型，对原始图像进行特征提取，得到原始图像中的异常信息。边缘设备直接将异常信息发送给客户端，由客户端进行告警。避免了由边缘设备将视频发送给云平台，由云平进行异常识别，再由云平台将识别结果发给客户端的过程。解决了现有技术中网络传输造成延时的问题，减轻了云平台的压力，提高场景监控的效率和精度。
附图说明
19.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
20.图1为本技术实施例提供的一种基于边缘计算的场景监控系统的结构框图；
21.图2为本技术实施例提供的一种基于边缘计算的场景监控方法的流程示意图；
22.图3为本技术实施例提供的一种基于边缘计算的场景监控系统的结构框图；
23.图4为本技术实施例提供的一种基于边缘计算的场景监控方法的流程示意图；
24.图5为本技术实施例提供的一种基于边缘计算的场景监控方法的流程示意图；
25.图6为本技术实施例提供的一种基于边缘计算的场景监控装置的结构框图；
26.图7为本技术实施例提供的一种基于边缘计算的场景监控装置的结构框图；
27.图8为本技术实施例提供的一种电子设备的结构框图；
28.图9为本技术实施例提供的一种电子设备的结构框图。
29.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
30.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施例方式作进一步地详细描述。
31.应当明确，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
32.下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方
式。相反，它们仅是如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
33.在本技术的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。此外，在本技术的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
34.需要注意的是，由于篇幅所限，本技术说明书没有穷举所有可选的实施方式，本领域技术人员在阅读本技术说明书后，应该能够想到，只要技术特征不互相矛盾，那么技术特征的任意组合均可以构成可选的实施方式。下面对各实施例进行详细说明。
35.对工业安全场景中的异常情况进行识别和告警，需要数据与算法的紧密配合。在场景监控的相关技术中，系统的整体架构设计可分为边缘设备、云平台和客户端三部分，图1为本技术中的一种基于边缘计算的场景监控系统的结构框图。边缘设备使用摄像头设备对生产现场进行场景的视频采集，将采集到的视频数据发送给云平台，云平台对视频数据进行识别，确定生产现场中是否存在异常，即，对异常的响应服务部署于云平台上。若确定存在异常，则云平台可以将异常信息发送给客户端。例如，可以推送到客户端上的企业平台或安全生产大数据平台等。客户端可以是手机端或pc(personal computer，个人计算机)端等。
36.但是，边缘设备有多台，云平台需要对多台边缘设备进行视频数据中异常信息的识别，云平台的压力较大，容易出现差错，使场景监控的精度较低。且边缘设备与云平台之间进行数据传输之后，云平台再与客户端之间进行数据传输，多次网络传输容易带来较高的延时，影响场景监控的效率。
37.本技术提供的一种基于边缘计算的场景监控方法、装置、设备及存储介质，旨在解决现有技术的如上技术问题。
38.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
39.图2是根据本技术实施例提供的一种基于边缘计算的场景监控方法的流程示意图，本实施例提供的方法应用于边缘设备，由一种基于边缘计算的场景监控装置执行。如图2所示，该方法包括以下步骤：
40.s201、获取预设场景内的原始图像。
41.示例性地，边缘设备可以是布置在预设场景侧的设备，可以有多个预设场景，边缘设备可以对多个预设场景进行监控。预设场景可以是工业生产的现场，边缘设备可以是移动终端等设备，在预设场景中可以有一台或多台边缘设备。在边缘设备上可以安装有图像采集设备，可以将边缘设备的图像采集设备布置在预设场景中，来对预设场景的视频进行实时或定时采集。边缘设备获取图像采集设备采集到的视频，视频中包括多帧视频帧，每一帧视频帧可以是一张原始图像，从而得到预设场景内的原始图像。
42.边缘设备也可以不采集视频，直接对预设场景进行实时或定时地图像采集，所得
到图像即为原始图像。例如，边缘设备可以通过图像采集设备，每10分钟获取一张原始图像；或者，边缘设备可以通过图像采集设备，每10分钟获取一段3分钟的视频，将这三分钟视频中的视频帧作为原始图像。
43.本实施例中，获取预设场景内的原始图像，包括：通过安装于边缘设备上的摄像头，基于预设的数据采集周期，获取预设场景内的视频帧，为原始图像。
44.具体的，边缘设备安装有图像采集设备，图像采集设备可以是摄像头。预先设置数据采集周期，数据采集周期是摄像头对预设场景进行视频采集的周期，例如，数据采集周期是10分钟，即，每10分钟采集一段预设场景内的视频。可以预设每段视频的长度，例如，每次采集5分钟的视频。
45.根据预设的数据采集周期，由摄像头定时采集预设场景内的视频。边缘设备获取到预设场景的视频，对视频进行分解，得到视频中的视频帧，将视频中的各视频帧确定为原始图像。
46.这样设置的有益效果在于，通过摄像头自动获取预设场景的视频，得到原始图像，便于对各个预设场景进行实景的获取，及时了解场景内的情况，有效提高场景监控的效率和精度。
47.s202、根据预设的神经网络模型，从原始图像中确定异常信息，其中，异常信息用于表示预设场景中需要被告警的信息，异常信息为原始图像中异常图像区域中的信息，异常图像区域为基于该异常图像区域与预设异常图像之间的置信度所确定的。
48.示例性地，预先构建一个神经网络模型，神经网络模型可以用于进行图像处理，来识别出原始图像中的异常信息。异常信息是指在预设场景中需要被告警的信息，例如，异常信息可以包括设备的不安全状态和人员的不安全行为等信息，设备的不安全状态可以包括通电电线裸露在外、转动或切割设备等危险设备缺乏保护、有毒气体泄漏等；人员的不安全行为可以包括工人在工地不佩戴安全帽、不穿安全服、进行高空作业不正确佩戴安全带、在易燃易爆设备附近抽烟或打电话等。
49.通过神经网络模型，可以识别出原始图像中是否存在异常信息，若存在，则确定出原始图像中的异常信息。例如，可以识别原始图像中是否存在人员，若存在，则识别人员头部是否未戴安全帽，若未戴安全帽，则确定原始图像中存在异常信息，并确定所存在的异常信息为人员未戴安全帽。神经网络模型中可以包括卷积层、池化层和全连接层等，通过神经网络模型进行特征提取，得到原始图像的图像特征，根据图像特征，得到异常信息。例如，根据图像特征可以进行人员识别，进而确定人员是否戴有安全帽；或者，可以确定该原始图像的清晰度，根据清晰度可以确定预设场景中是否存在烟雾等异常信息。
50.异常信息可以是原始图像中异常图像区域中的信息，异常图像区域是原始图像中存在异常信息的区域，例如，异常图像区域可以是一个矩形框的区域。异常图像区域可以位于原始图像中的任意位置处，例如，异常图像区域可以在原始图像的右上方或中间位置等。可以将原始图像划分为多个区域，确定这些区域中是否存在异常信息，将存在异常信息的区域确定为异常图像区域。
51.异常图像区域可以是基于该异常图像区域与预设异常图像之间的置信度所确定的，预设异常图像是预先设置的存在异常信息的图像，计算原始图像中各个区域与预设异常图像之间的置信度，根据置信度大小确定原始图像中的各个区域是否为异常图像区域。
例如，将置信度超过预设的置信度阈值的区域确定为存在异常信息的异常图像区域。可以先通过置信度确定存在异常信息的异常图像区域，再对异常图像区域进行识别，识别出异常图像区域中的异常信息，作为该异常图像区域所在的原始图像的异常信息。
52.本实施例中，预设的神经网络模型可以是自动编码器，预先训练自动编码器，训练样本为不存在异常信息的正常场景图片。将训练样本输入至自动编码器中，可以输出重构的图像，重构的图像会趋近于正常场景图片。因此，对自动编码器的泛化能力做显式抑制处理，逼迫重构后的图像趋近于正常场景图片，完成自动编码器的训练。
53.在自动编码器训练完成后，向自动编码器输入原始图像，通过对比原始图像和重构后的图像，确定原始图像和重构后的图像的相似度，根据相似度可以判断原始图像中是否存在异常。若原始图像是正常场景图像，则原始图像和重构后的图像相似度高；若原始图像中存在异常信息，则原始图像和重构后的图像相似度低。可以预设一个相似度阈值，若相似度高于相似度阈值，则确定原始图像和重构后的图像相似度低，该原始图像中存在异常信息。
54.在确定原始图像中存在异常信息后，再对原始图像中的图像内容进行特征提取，确定异常信息。例如，可以预先训练一个有监督神经网络模型来得到原始图像的异常信息。自动编码器为无监督神经网络模型，从而实现有监督和无监督的神经网络模型的结合应用。
55.无监督神经网络模型和有监督神经网络模型都可以预先进行训练。在训练神经网络模型时，可以利用深度神经网络加速优化技术，对神经网络模型进行优化，提高模型的工作效率和精度。例如，模型的优化加速方向可以包括卷积优化、模型剪枝和模型量化等。其中，模型量化可以是将量化器中的参数转换为可训练对象，从而构建模型权重和激活的高比特表示到低比特表示的一个映射关系。进行关键层的量化函数训练，提高量化感知训练的速度，使模型在执行少量完成的量化感知训练后快速恢复准确率。
56.s203、将异常信息发送至客户端进行告警。
57.示例性地，若原始图像中不存在异常信息，则边缘设备继续获取预设场景内的新的原始图像，确定新的原始图像中是否存在异常信息。若原始图像中存在异常信息，则边缘设备将异常信息发送给客户端，由客户端进行告警，发出提示信息。提示信息可以是短信提示或语音提示等。边缘设备也可以在预设场景中发出广播等提示。
58.边缘设备可以预先与一个或多个客户端进行绑定，在确定异常信息，将异常信息发送给绑定的客户端。
59.可以预设有多个场景，每个场景可以对应不同的客户端。在确定存在异常信息后，确定该异常信息所在的场景。确定该场景对应的客户端，将异常信息发送给该客户端。即，不同客户端具有查看不同场景的权限。可以将异常信息发送给手机中的企业群，或者发送给pc端中的企业管理平台等。可以基于wi-fi(无线网络通信技术)和低功耗蓝牙技术等无线传输技术进行异常信息的传输。图3为本技术实施例中的一种基于边缘计算的场景监控系统的结构框图。图3中，基于边缘计算的场景监控系统可以包括边缘设备和客户端，没有云平台。边缘设备直接与客户端进行通信，边缘设备进行图像识别和异常信息的确定，将异常信息发送给客户端，由客户端进行告警处理。减轻了云平台的压力，并减少了网络传输的延时，提高监控效率。
60.本实施例中，将异常信息发送至客户端进行告警，包括：确定异常信息对应的原始图像的采集时间和采集地点，将采集时间、采集地点和异常信息发送至客户端。
61.具体的，在确定原始图像中存在异常信息后，确定存在异常信息的原始图像的采集时间和采集地点。例如，可以确定该原始图像所对应的预设场景的编号，作为采集地点。边缘设备在获取原始图像时，会存储每一张原始图像的采集时间和采集地点，便于后续获取给客户端。
62.确定异常信息所在的原始图像，获取该原始图像的采集时间和采集地点，将采集时间、采集地点和异常信息共同发送给客户端，使用户可以清楚查看预设场景的异常，并快速到达场景进行调整。
63.这样设置的有益效果在于，通过获取原始图像的采集时间和采集地点，可以使用户知道出现异常的时间和地点，便于及时对异常情况进行处理，提高场景监控的效率和精度。
64.本技术实施例提供的一种基于边缘计算的场景监控方法，通过对预设场景进行视频监控，得到场景内的图像帧，作为原始图像。根据预设的神经网络模型，对原始图像进行特征提取，得到原始图像中的异常信息。边缘设备直接将异常信息发送给客户端，由客户端进行告警。避免了由边缘设备将视频发送给云平台，由云平进行异常识别，再由云平台将异常信息发给客户端的过程。解决了现有技术中网络传输造成延时的问题，减轻了云平台的压力，提高场景监控的效率和精度。
65.图4为本技术实施例提供的一种基于边缘计算的场景监控方法的流程示意图，该实施例是在上述实施例基础上的可选实施例。
66.本实施例中，根据预设的神经网络模型，从原始图像中确定异常信息，可细化为：将原始图像输入至预设的神经网络模型中，根据预设的目标框大小，对原始图像进行遍历，得到原始图像中的至少两张局部图像，其中，局部图像的大小为预设的目标框大小；提取局部图像的图像特征，并根据局部图像的图像特征，确定局部图像的置信度大小，置信度大小表示局部图像与预设异常图像之间的置信度；根据局部图像的置信度大小，确定原始图像中的异常信息。
67.如图4所示，该方法包括以下步骤：
68.s401、获取预设场景内的原始图像。
69.示例性地，本步骤可以参见上述步骤s201，不再赘述。
70.s402、将原始图像输入至预设的神经网络模型中，根据预设的目标框大小，对原始图像进行遍历，得到原始图像中的至少两张局部图像，其中，局部图像的大小为预设的目标框大小。
71.示例性地，预先构建神经网络模型，神经网络模型的输入是原始图像，输出是原始图像中的异常信息。将原始图像输入至神经网络模型中，神经网络模型中设置有目标框大小，目标框大小等于或小于原始图像的大小，例如，目标框大小可以是10
×
10像素。
72.根据目标框大小，对原始图像进行遍历，就是以目标框大小在原始图像上进行框选。按照原始图像的像素点排序，对原始图像进行划分，框选出多个目标框大小的图像，作为局部图像，原始图像中的每一个像素点能够被划分到至少一张局部图像中。例如，目标框大小是10
×
10，则可以先将原始图像中前10行和前10列的区域作为一个局部图像，再从第
二列开始依次向后再框选10
×
10的区域，作为又一个局部图像，即，可以将前10行和第2至11列的区域作为又一个局部图像。也可以跳过已经被划分到局部图像中的像素点，将还未划分到局部图像中的像素点进行划分，例如，在将前10行和前10列的区域划分为一个局部图像后，将前10行和第11至20列的区域划分为又一个局部图像。一张原始图像能够划分出多张局部图像，每张局部图像的大小一致，均为目标框大小。
73.通过划分局部图像，可以基于局部图像对原始图像中的每一个像素点进行识别，避免信息遗漏，提高场景监控的精度。
74.可以预先设置不同尺寸的目标框大小，例如，目标框大小可以是10
×
10和80
×
80，10
×
10为小目标框，80
×
80为大目标框。若预设不同尺寸的目标框大小，则对于每种目标框大小，都要遍历原始图像中的像素点，使原始图像中的每一个像素点都能被划分到各个目标框大小的局部图像中。对于同一张原始图像，不同目标框大小的局部图像的数量可以不同。实现了支持多尺度的异常识别，对大目标框的异常和小目标框的异常都具备较好的识别效果，以适应工业生产场景中的多尺度特征。本实施例中，多尺度是指目标框大小的多样性，既能以大目标框从大范围的角度进行异常识别，也能以小目标框更精细地进行异常识别。例如，若工业生产场景中对整个人体进行异常识别，则可以对大目标框的局部图像进行异常识别；若对人体头部安全帽进行识别，则可以对小目标框的局部图像进行异常识别。
75.s403、提取局部图像的图像特征，并根据局部图像的图像特征，确定局部图像的置信度大小，置信度大小表示局部图像与预设异常图像之间的置信度。
76.示例性地，神经网络模型中包括卷积层、池化层和全连接层等，可以对图像进行特征提取。在得到局部图像后，根据神经网络模型，提取各个局部图像的图像特征。
77.预先设置一张或多张异常图像，异常图像为包含异常信息的图像，例如，异常图像为人员未戴安全帽的图像。根据局部图像的图像特征，基于预设的置信度计算公式，计算各局部图像与各异常图像之间的置信度，将局部图像与异常图像之间的置信度作为局部图像的置信度大小。若有两张预设的异常图像，则每张局部图像可以得到两个置信度大小。
78.通过局部图像的置信度大小，可以确定局部图像是否与异常图像相似，置信度越大，局部图像与异常图像的相似度越高，局部图像中存在异常信息的可能性就越大。
79.本实施例中，预设的目标框大小为至少两种预设尺寸；根据局部图像的图像特征，确定局部图像的置信度大小，包括：根据预先设置的不同目标框大小与异常图像之间的关联关系，确定各目标框大小对应的异常图像；确定各目标框大小的局部图像与目标框大小对应的异常图像之间的置信度。
80.具体的，预先设置不同尺寸的目标框大小，根据预设的目标框大小，可以预设不同尺寸的异常图像。每个目标框大小可以对应多张异常图像。可以预先设置目标框大小与异常图像之间的关联关系，例如，对于10
×
10的目标框大小，关联的异常图像可以是人体头部的小区域的图像；对于80
×
80的目标框大小，关联的异常图像可以是整个人体的大区域的图像。
81.在得到局部图像后，根据局部图像对应的目标框大小，确定该目标框大小对应的异常图像。计算局部图像与对应的各张异常图像之间的置信度，得到局部图像的置信度大小。每张局部图像可以得到多个置信度大小，从而确定局部图像与多张异常图像是否相似。
82.这样设置的有益效果在于，根据局部图像的目标框大小，确定对应的异常图像，避
免了将局部图像与所有异常图像进行置信度计算的过程，减少计算量，有效提高场景监控的效率。
83.s404、根据局部图像的置信度大小，确定原始图像中的异常信息。
84.示例性地，在得到各局部图像的置信度大小之后，根据置信度大小，确定局部图像中是否存在异常信息。若存在，则确定该局部图像所在的原始图像中存在异常信息。确定该局部图像中的异常信息，即得到原始图像中的异常信息。
85.局部图像与多张异常图像进行置信度计算，因此，可以比较局部图像的各个置信度大小，置信度越大，则确定局部图像越接近该置信度所对应的异常图像。若局部图像接近异常图像，则确定局部图像中存在异常信息。即，可以根据置信度大小的比较，可以确定局部图像中是否存在异常信息。
86.在确定局部图像中存在异常信息后，可以根据局部图像中的图像内容，将图像内容提取为文本数据，例如，局部图像为人员未戴安全帽，则异常信息可以是“未戴安全帽”。实现了自动确定异常信息，节约人力和时间，提高场景监控效率。
87.本实施例中，根据局部图像的置信度大小，确定原始图像中的异常信息，包括：确定置信度大小超过预设的置信度阈值的局部图像为异常图像区域；将异常图像区域转换为文本数据，并将文本数据确定为原始图像的异常信息。
88.具体的，预先设置置信度阈值，置信度阈值是局部图像中不存在异常信息时允许的最大置信度值。即，若局部图像的置信度大小超过置信度阈值，则确定局部图像中存在异常信息。
89.将局部图像的置信度大小与预设的置信度阈值进行比较，确定局部图像的置信度大小是否超过预设的置信度阈值，若是，则确定该局部图像中存在异常信息，将该局部图像确定为异常图像区域；若否，则确定该局部图像中不存在异常信息，不需要对该局部图像进行异常信息的确定。若确定局部图像为异常图像区域，则将异常图像区域转换为文本数据，并将文本数据确定为该异常图像区域所属的原始图像的异常信息。
90.可以预先设置每张异常图像的异常信息，预设的异常信息为文本数据的格式。在确定局部图像中存在异常信息后，确定该局部图像的置信度大小超过置信度阈值所对应的异常图像，将该异常图像的异常信息确定为局部图像的异常信息，即，作为原始图像的异常信息。
91.这样设置的有益效果在于，通过置信度大小可以快速确定局部图像是否异常，提高监控效率。将异常的内容转换为文本格式，便于用户通过客户端查看，提升用户的场景监控体验。
92.s405、将异常信息发送至客户端进行告警。
93.示例性地，本步骤可以参见上述步骤s203，不再赘述。
94.本技术实施例提供的一种基于边缘计算的场景监控方法，通过对预设场景进行视频监控，得到场景内的图像帧，作为原始图像。根据预设的神经网络模型，对原始图像进行特征提取，得到原始图像中的异常信息。边缘设备直接将异常信息发送给客户端，由客户端进行告警。避免了由边缘设备将视频发送给云平台，由云平进行异常识别，再由云平台将异常信息发给客户端的过程。解决了现有技术中网络传输造成延时的问题，减轻了云平台的压力，提高场景监控的效率和精度。
95.图5为本技术实施例提供的一种基于边缘计算的场景监控方法的流程示意图，该实施例是在上述实施例基础上的可选实施例。
96.本实施例中，在根据预设的神经网络模型，从原始图像中确定异常信息之后，可追加：根据预设的硬件视频流编码器，将异常信息对应的原始图像编码为视频流，并将视频流发送至客户端。
97.如图5所示，该方法包括以下步骤：
98.s501、获取预设场景内的原始图像。
99.示例性地，本步骤可以参见上述步骤s201，不再赘述。
100.s502、根据预设的神经网络模型，从原始图像中确定异常信息，其中，异常信息用于表示预设场景中需要被告警的信息，异常信息为原始图像中异常图像区域中的信息，异常图像区域为基于该异常图像区域与预设异常图像之间的置信度所确定的。
101.示例性地，本步骤可以参见上述步骤s202，不再赘述。
102.s503、根据预设的硬件视频流编码器，将异常信息对应的原始图像编码为视频流，并将视频流发送至客户端。
103.示例性地，在边缘设备中预先设置一个硬件视频流编码器，硬件视频流编码器可以用于将多张原始图像编码为视频流。使用硬件视频流编码器，高效利用gpu(graphic processing unit，图形处理器)资源而非抢占cpu(central processing unit，中央处理器)资源。即，识别存在异常信息后，存在异常信息的原始图像经过硬件视频流编码器处理，与传统的软件编码相比，能大幅降低边缘设备的cpu利用率，以达到长期稳定工作的效果。
104.确定存在异常信息的连续的原始图像，将连续的原始图像编码为视频流。若只有一张存在异常信息的原始图像，或存在异常信息的原始图像不连续，则可以确定位于该原始图像前后的预设数量的原始图像，将这些原始图像编码为视频流。
105.将视频流发送至客户端，供用户可以直观查看场景的异常情况。在发送视频流给客户端时，也可以发送异常信息以及异常信息所属的原始图像给客户端，即，客户端可以接收到动态视频和静态图片，便于用户查看，提升用户体验。
106.本实施例中，将视频流发送至客户端，包括：根据预设的实时消息传输协议，将视频流推送至云平台，供云平台根据预设的网页实时通信协议，将视频流推送至客户端。
107.具体的，边缘设备除了可以与客户端进行通信，还可以与云平台进行通信，云平台还可以与客户端进行通信。边缘设备在得到视频流后，可以根据预设的传输协议，将视频流发送给云平台，由云平台再将视频流发送给客户端。例如，边缘设备根据rtmp(real time messaging protocol，实时消息传输协议)，将视频流推送至云平台，云平台再根据webrtc(web real-time communication，网页实时通信协议)，将视频流推送至客户端。
108.这样设置的有益效果在于，采取实时音视频通讯技术，边缘设备到云平台采用rtmp协议进行视频流推送，云平台支持rtmp视频流转化为webrtc视频流，云平台到客户端采用webrtc协议进行视频流推送。即，从边缘设备发布视频流到云平台，云平台通过流媒体处理服务将视频流发送到客户端，有效降低延时，实测延时300毫秒，达到实时直播的效果，提高场景监控的效率。
109.本技术实施例提供的一种基于边缘计算的场景监控方法，通过对预设场景进行视频监控，得到场景内的图像帧，作为原始图像。根据预设的神经网络模型，对原始图像进行
特征提取，得到原始图像中的异常信息。边缘设备直接将异常信息发送给客户端，由客户端进行告警。避免了由边缘设备将视频发送给云平台，由云平进行异常识别，再由云平台将异常信息发给客户端的过程。解决了现有技术中网络传输造成延时的问题，减轻了云平台的压力，提高场景监控的效率和精度。
110.图6为本技术实施例提供的一种基于边缘计算的场景监控装置的结构框图，该装置配置于边缘设备。为了便于说明，仅示出了与本公开实施例相关的部分。参照图6，该装置包括：图像获取模块601、信息确定模块602和告警模块603。
111.图像获取模块601，用于获取预设场景内的原始图像；
112.信息确定模块602，用于根据预设的神经网络模型，从所述原始图像中确定异常信息，其中，所述异常信息用于表示预设场景中需要被告警的信息，所述异常信息为所述原始图像中异常图像区域中的信息，所述异常图像区域为基于该异常图像区域与预设异常图像之间的置信度所确定的；
113.告警模块603，用于将所述异常信息发送至客户端进行告警。
114.图7为本技术实施例提供的一种基于边缘计算的场景监控装置的结构框图，在图6所示实施例的基础上，如图7所示，信息确定模块602包括局部图像获得单元6021、置信度确定单元6022和异常信息确定单元6023。
115.一个示例中，局部图像获得单元6021，用于将所述原始图像输入至预设的神经网络模型中，根据预设的目标框大小，对所述原始图像进行遍历，得到所述原始图像中的至少两张局部图像，其中，所述局部图像的大小为预设的目标框大小；
116.置信度确定单元6022，用于提取所述局部图像的图像特征，并根据所述局部图像的图像特征，确定所述局部图像的置信度大小，所述置信度大小表示局部图像与预设异常图像之间的置信度；
117.异常信息确定单元6023，用于根据所述局部图像的置信度大小，确定所述原始图像中的异常信息。
118.一个示例中，异常信息确定单元6023，具体用于：
119.确定置信度大小超过预设的置信度阈值的局部图像为异常图像区域；
120.将所述异常图像区域转换为文本数据，并将所述文本数据确定为所述原始图像的异常信息。
121.一个示例中，预设的目标框大小为至少两种预设尺寸；置信度确定单元6022，具体用于：
122.根据预先设置的不同目标框大小与异常图像之间的关联关系，确定各目标框大小对应的异常图像；
123.确定各目标框大小的局部图像与所述目标框大小对应的异常图像之间的置信度。
124.一个示例中，该装置还包括：
125.视频流发送模块，用于在根据预设的神经网络模型，从所述原始图像中确定异常信息之后，根据预设的硬件视频流编码器，将所述异常信息对应的原始图像编码为视频流，并将所述视频流发送至所述客户端。
126.一个示例中，视频流发送模块，具体用于：
127.根据预设的实时消息传输协议，将所述视频流推送至云平台，供所述云平台根据
预设的网页实时通信协议，将所述视频流推送至所述客户端。
128.一个示例中，告警模块603，具体用于：
129.确定所述异常信息对应的原始图像的采集时间和采集地点，将所述采集时间、采集地点和异常信息发送至客户端。
130.一个示例中，图像获取模块601，具体用于：
131.通过安装于所述边缘设备上的摄像头，基于预设的数据采集周期，获取预设场景内的视频帧，为所述原始图像。
132.图8为本技术实施例提供的一种电子设备的结构框图，如图8所示，电子设备包括：存储器81，处理器82；存储器81；用于存储处理器82可执行指令的存储器。
133.其中，处理器82被配置为执行如上述实施例提供的方法。
134.电子设备还包括接收器83和发送器84。接收器83用于接收其他设备发送的指令和数据，发送器84用于向外部设备发送指令和数据。
135.图9是根据一示例性实施例示出的一种电子设备的结构框图，该设备可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理，车辆等。
136.设备900可以包括以下一个或多个组件：处理组件902，存储器904，电源组件906，多媒体组件908，音频组件910，输入/输出(i/o)接口912，传感器组件914，以及通信组件916。
137.处理组件902通常控制设备900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理组件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。
138.存储器904被配置为存储各种类型的数据以支持在设备900的操作。这些数据的示例包括用于在设备900上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
139.电源组件906为设备900的各种组件提供电力。电源组件906可以包括电源管理系统，一个或多个电源，及其他与为设备900生成、管理和分配电力相关联的组件。
140.多媒体组件908包括在所述设备900和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件908包括一个前置摄像头和/或后置摄像头。当设备900处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
141.音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括一个麦克风(mic)，当设备900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中，音频组件910还包括一个扬声器，用于输出音频信号。
142.i/o接口912为处理组件902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
143.传感器组件914包括一个或多个传感器，用于为设备900提供各个方面的状态评估。例如，传感器组件914可以检测到设备900的打开/关闭状态，组件的相对定位，例如所述组件为设备900的显示器和小键盘，传感器组件914还可以检测设备900或设备900一个组件的位置改变，用户与设备900接触的存在或不存在，设备900方位或加速/减速和设备900的温度变化。传感器组件914可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件914还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
144.通信组件916被配置为便于设备900和其他设备之间有线或无线方式的通信。设备900可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件916还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
145.在示例性实施例中，设备900可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
146.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器904，上述指令可由设备900的处理器920执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
147.一种非临时性计算机可读存储介质，当该存储介质中的指令由终端设备的处理器执行时，使得终端设备能够执行上述终端设备的基于边缘计算的场景监控方法。
148.本技术还公开了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如本实施例中所述的方法。
149.本技术以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至
少一个输出装置。
150.用于实施本技术的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或电子设备上执行。
151.在本技术的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
152.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
153.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据电子设备)、或者包括中间件部件的计算系统(例如，应用电子设备)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
154.计算机系统可以包括客户端和电子设备。客户端和电子设备一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-电子设备关系的计算机程序来产生客户端和电子设备的关系。电子设备可以是云电子设备，又称为云计算电子设备或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务("virtual private server"，或简称"vps")中，存在的管理难度大，业务扩展性弱的缺陷。电子设备也可以为分布式系统的电子设备，或者是结合了区块链的电子设备。应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本技术中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本技术公开的技术方案所期望的结果，本文在此不进行限制。
155.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识
或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求书指出。
156.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求书来限制。