基于边缘智能的银行网点监控方法、装置及系统与流程

本发明涉及监控技术领域，具体而言，涉及一种基于边缘智能的银行网点监控方法、装置及系统。

背景技术：

目前银行网点监控系统通过以太网将多个摄像头画面汇总到一块大屏显示，需要员工长时间观察屏幕是否有异常事件发生。目前这种监控方法要求网络有足够带宽传递监控视频流，但大部分网点的专线带宽有限，因此只能在网点监控室安排专人负责监控，存在人力资源开销大以及硬件成本高等问题。

技术实现要素：

本发明为了解决上述背景技术中的技术问题，提出了一种基于边缘智能的银行网点监控方法、装置及系统。

为了实现上述目的，根据本发明的一个方面，提供了一种基于边缘智能的银行网点监控方法，该方法包括：

获取银行网点中各人员的人员特征信息，其中，所述人员特征信息包含行为动作信息、身份信息以及运动轨迹信息；

根据所述人员特征信息在所述银行网点的网点三维模型中加入所述银行网点中各人员各自对应的人员模型，得到银行网点的网点数字孪生模型。

可选的，所述人员特征信息为通过设置在所述银行网点的网点边缘智能设备得到的；所述网点边缘智能设备通过采集所述银行网点的图像数据，并根据预设的行为识别模型、身份识别模型以及轨迹跟踪模型从所述图像数据中得到银行网点中每个人员各自的行为动作信息、身份信息以及运动轨迹信息。

可选的，该基于边缘智能的银行网点监控方法，还包括：

将所述网点数字孪生模型发送到云端监控平台，以使所述云端监控平台将所述网点数字孪生模型可视化展示给银行管理人员，以及在出现异常情况时向所述银行管理人员发送告警通知，其中，所述异常情况包括：人员行为异常、人员身份异常以及人员运动轨迹中的至少一种。

可选的，所述根据所述人员特征信息在所述银行网点的网点三维模型中加入所述银行网点中各人员各自对应的人员模型，具体包括：

获取所述网点三维模型的标准人员单元模型；

根据每个人员的人员特征信息以及所述标准人员单元模型，生成每个人员各自对应的人员模型。

可选的，该基于边缘智能的银行网点监控方法，还包括：

获取所述银行网点的平面图；

对所述平面图进行拉伸，得到所述银行网点的三维模型草图；

根据所述三维模型草图生成三维初始模型，并设置所述三维初始模型的标准人员单元模型；

对所述三维初始模型进行渲染，得到所述网点三维模型。

为了实现上述目的，根据本发明的另一方面，提供了一种基于边缘智能的银行网点监控装置，该装置包括：

人员特征信息获取模块，用于获取银行网点中各人员的人员特征信息，其中，所述人员特征信息包含行为动作信息、身份信息以及运动轨迹信息；

网点数字孪生模型生成模块，用于根据所述人员特征信息在所述银行网点的网点三维模型中加入所述银行网点中各人员各自对应的人员模型，得到银行网点的网点数字孪生模型。

为了实现上述目的，根据本发明的另一方面，提供了一种基于边缘智能的银行网点监控系统，该系统包括：设置在银行网点的网点边缘智能设备、云端数据库、云服务器以及云端监控平台，其中：

所述网点边缘智能设备，用于采集所述银行网点中各人员的人员特征信息，并将所述人员特征信息上传到所述云端数据库，其中，所述人员特征信息包含行为动作信息、身份信息以及运动轨迹信息；

所述云服务器，用于从所述云端数据库获取所述人员特征信息，根据所述人员特征信息在所述银行网点的网点三维模型中加入所述银行网点中各人员各自对应的人员模型，得到银行网点的网点数字孪生模型，并将所述网点数字孪生模型发送给所述云端监控平台；

所述云端监控平台，用于将所述网点数字孪生模型可视化展示给银行管理人员。

为了实现上述目的，根据本发明的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于边缘智能的银行网点监控方法中的步骤。

为了实现上述目的，根据本发明的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述基于边缘智能的银行网点监控方法中的步骤。

本发明的有益效果为：本发明通过生成银行网点的网点数字孪生模型，实现了银行管理人员可以远程对银行网点进行监控的效果，避免了目前必须在网点监控室安排专人负责监控的缺陷，此外，本发明不需要占用带宽对监控视频流进行传送，只需要传送人员特征信息，而人员特征信息则远远小于监控视频流，因此，本发明方案不需要占用大量银行带宽，有助于降低硬件成本以及提高银行服务的质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明实施例基于边缘智能的银行网点监控方法的流程图；

图2是本发明实施例生成网点数字孪生模型的流程图；

图3是本发明实施例生成网点三维模型的流程图；

图4是本发明实施例基于边缘智能的银行网点监控系统示意图；

图5是本发明实施例网点边缘智能设备的结构框图；

图6是本发明实施例基于边缘智能的银行网点监控装置的结构框图；

图7是本发明实施例计算机设备示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

图4是本发明实施例基于边缘智能的银行网点监控系统示意图，如图4所示，本发明的基于边缘智能的银行网点监控系统包括：设置在银行网点的网点边缘智能设备、云端数据库、云服务器以及云端监控平台。

网点边缘智能设备，用于采集所述银行网点中各人员的人员特征信息，并将所述人员特征信息上传到所述云端数据库，其中，所述人员特征信息包含行为动作信息、身份信息以及运动轨迹信息。具体的，网点边缘智能设备通过采集所述银行网点的图像数据，并根据预设的行为识别模型、身份识别模型以及轨迹跟踪模型从所述图像数据中得到银行网点中每个人员各自的行为动作信息、身份信息以及运动轨迹信息。

云服务器，用于从所述云端数据库获取所述人员特征信息，根据所述人员特征信息在所述银行网点的网点三维模型中加入所述银行网点中各人员各自对应的人员模型，得到银行网点的网点数字孪生模型，并将所述网点数字孪生模型发送给所述云端监控平台。在本发明一个实施例中，云服务器中包含银行网点的网点三维模型，通过云端数据库时获取网点的人员特征信息，参照人员特征信息在网点三维模型中加入人员模型，生成动态的网点数字孪生模型，模拟网点实时情况，并在云端监控平台中进行展示。

云端监控平台，用于将所述网点数字孪生模型可视化展示给银行管理人员。云端监控平台还用于在出现异常情况时向所述银行管理人员发送告警通知，其中，所述异常情况包括：人员行为异常、人员身份异常以及人员运动轨迹中的至少一种。在本发明一个实施例中，云端监控平台是提供html5页面的云端服务平台，能展示基于webgl的三维模型。银行管理人员通过访问云端监控平台，可以通过网点数字孪生模块直观了解网点监控情况。发生异常情况时，平台会产生告警通知管理人员。

图5是本发明实施例网点边缘智能设备的结构框图，如图5所示，在本发明一个实施例中，本发明的网点边缘智能设备包括：监控摄像头21、视频处理单元22、行为识别单元23、身份特征提取单元24、轨迹跟踪单元25以及emq服务器26。

监控摄像头21用于拍摄网点各区域视频数据。视频处理单元22将视频数据解码转为图片。行为识别单元23用于根据预设的行为识别模型提取图片中人员的坐、卧、举手、挥动等肢体动作，得到人员的行为动作信息。身份特征提取单元24根据预设的身份识别模型提取图片中人员的身份信息，该身份信息可以包括：姓名、性别、衣着、身材、手持物品等信息。轨迹跟踪单元25根据预设的轨迹跟踪模型实现跨摄像头的人员轨迹跟踪，追踪人员在网点不同区域的路径轨迹。emq服务器26将行为识别单元23、身份特征提取单元24、轨迹跟踪单元25上传的json文件解析后上传至云端数据库。

图1是本发明实施例基于边缘智能的银行网点监控方法的流程图，实施主体可以为图4中的云服务器，如图1所示，在本发明一个实施例中，本发明的基于边缘智能的银行网点监控方法包括步骤s101和步骤s102。

步骤s101，获取银行网点中各人员的人员特征信息，其中，所述人员特征信息包含行为动作信息、身份信息以及运动轨迹信息。

在本发明一个实施例中，所述人员特征信息为通过设置在所述银行网点的网点边缘智能设备得到的；所述网点边缘智能设备通过采集所述银行网点的图像数据，并根据预设的行为识别模型、身份识别模型以及轨迹跟踪模型从所述图像数据中得到银行网点中每个人员各自的行为动作信息、身份信息以及运动轨迹信息。

步骤s102，根据所述人员特征信息在所述银行网点的网点三维模型中加入所述银行网点中各人员各自对应的人员模型，得到银行网点的网点数字孪生模型。

在本发明一个实施例中，在上述步骤s102之后，本发明的基于边缘智能的银行网点监控方法还包括：

将所述网点数字孪生模型发送到云端监控平台，以使所述云端监控平台将所述网点数字孪生模型可视化展示给银行管理人员，以及在出现异常情况时向所述银行管理人员发送告警通知，其中，所述异常情况包括：人员行为异常、人员身份异常以及人员运动轨迹中的至少一种。

在本发明一个实施例中，云服务器中包含银行网点的网点三维模型，云服务器通过云端数据库时获取银行网点的人员特征信息，参照人员特征信息在网点三维模型中加入人员模型，生成动态的网点数字孪生模型，模拟银行网点实时情况，并在云端监控平台中进行展示。

图2是本发明实施例生成网点数字孪生模型的流程图，如图2所示，在本发明一个实施例中，上述步骤s102的根据所述人员特征信息在所述银行网点的网点三维模型中加入所述银行网点中各人员各自对应的人员模型，具体包括步骤s201和步骤s202。

步骤s201，获取所述网点三维模型的标准人员单元模型。

步骤s202，根据每个人员的人员特征信息以及所述标准人员单元模型，生成每个人员各自对应的人员模型。

在本发明实施例中，本发明在建立网点三维模型之后，还设置网点三维模型的标准人员单元模型。在网点三维模型中用人员模型来表示每个在银行网点中的人，而标准人员单元模型为人员模型的模板。本发明在建立每个人对应的人员模型时，先获取网点三维模型的标准人员单元模型，进而将人员特征信息添加到标准人员单元模型中，形成人员模型。人员模型用于体现出人员特征信息。

在本发明一个实施例中，本步骤具体可以通过根据行为动作信息调整标准人员单元模型的动作、在标准人员单元模型上标识出身份信息以及根据运动轨迹信息调整标准人员单元模型在网点三维模型中的运动轨迹，得到每个人员各自对应的人员模型。

在本发明一个实施例中，上述步骤s102中的网点三维模型具体由以下步骤构建而成：

获取所述银行网点的平面图；

对所述平面图进行拉伸，得到所述银行网点的三维模型草图；

根据所述三维模型草图生成三维初始模型，并设置所述三维初始模型的标准人员单元模型；

对所述三维初始模型进行渲染，得到所述网点三维模型。

图3是本发明实施例生成网点三维模型的流程图，如图3所示，在本发明另一具体实施例中，上述步骤s102中的网点三维模型具体由步骤s301至步骤s309构建而成。

步骤s301、使用solidworks软件制作银行网点的内部平面图，平面图只包含网点内部墙壁部分。

步骤s302，在solidworks软件中将两张平面图对齐，拉伸成三维模型草图。

步骤s303，使用solidworks软件将三维模型草图保存为*.sldprt格式零件。

步骤s304，使用3dmax软件导入sldprt格式零件。

步骤s305，在3dmax软件中编辑模型设置标准人员单元模型。

步骤s306，使用3dmax软件导出为*.fbx格式文件。

步骤s307，使用unity软件导入fbx格式文件。

步骤s308，在unity软件中变换模型的大小和角度，并进行渲染。

步骤s309，使用unity软件打包模型为webgl项目，该webgl项目即为银行网点的网点三维模型。

由以上实施例可见，本发明结合实际需求提出一种基于边缘智能的银行网点监控方法。通过在网点安装边缘智能设备，部署智能算法从监控视频中提取人员行为、身份以及运动轨迹等信息，将信息上传到云端监控平台集中处理，解决带宽限制问题。管理人员可以通过访问云端监控平台来了解各网点内的实时监控情况，解决银行对网点异常情况发现响应速度较慢的监控能力问题。本发明与现有技术相比，至少具有以下优点：

1、将监控视频在网点边缘智能设备上提取为监控文本信息，解决网点监控信息传输时面临的专线带宽受限问题。

2、将各网点的实时监控情况在云端监控平台集中汇总，统一处理，解放原原网点视频监控占用的人力资源。

3、银行管理人员可以通过监控系统中的数字孪生模块，直观了解各网点监控情况；在发生的异常情况时收到系统告警通知，从而提升应急事件处理效率。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

基于同一发明构思，本发明实施例还提供了一种基于边缘智能的银行网点监控装置，可以用于实现上述实施例所描述的基于边缘智能的银行网点监控方法，如下面的实施例所述。由于基于边缘智能的银行网点监控装置解决问题的原理与基于边缘智能的银行网点监控方法相似，因此基于边缘智能的银行网点监控装置的实施例可以参见基于边缘智能的银行网点监控方法的实施例，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图6是本发明实施例基于边缘智能的银行网点监控装置的结构框图，如图6所示，本发明实施例基于边缘智能的银行网点监控装置包括：

人员特征信息获取模块1，用于获取银行网点中各人员的人员特征信息，其中，所述人员特征信息包含行为动作信息、身份信息以及运动轨迹信息；

网点数字孪生模型生成模块2，用于根据所述人员特征信息在所述银行网点的网点三维模型中加入所述银行网点中各人员各自对应的人员模型，得到银行网点的网点数字孪生模型；

发送模块3，用于将所述网点数字孪生模型发送到云端监控平台，以使所述云端监控平台将所述网点数字孪生模型可视化展示给银行管理人员，以及在出现异常情况时向所述银行管理人员发送告警通知，其中，所述异常情况包括：人员行为异常、人员身份异常以及人员运动轨迹中的至少一种。

在本发明一个实施例中，所述人员特征信息为通过设置在所述银行网点的网点边缘智能设备得到的；所述网点边缘智能设备通过采集所述银行网点的图像数据，并根据预设的行为识别模型、身份识别模型以及轨迹跟踪模型从所述图像数据中得到银行网点中每个人员各自的行为动作信息、身份信息以及运动轨迹信息。

在本发明一个实施例中，所述网点数字孪生模型生成模块2，具体包括：

标准人员单元模型获取单元，用于获取所述网点三维模型的标准人员单元模型；

人员模型生成单元，用于根据每个人员的人员特征信息以及所述标准人员单元模型，生成每个人员各自对应的人员模型。

在本发明一个实施例中，本发明的基于边缘智能的银行网点监控装置，还包括：

平面图获取模块，用于获取所述银行网点的平面图；

三维模型草图生成模块，用于对所述平面图进行拉伸，得到所述银行网点的三维模型草图；

三维建模模块，用于根据所述三维模型草图生成三维初始模型，并设置所述三维初始模型的标准人员单元模型；

模型渲染模块，用于对所述三维初始模型进行渲染，得到所述网点三维模型。

为了实现上述目的，根据本申请的另一方面，还提供了一种计算机设备。如图7所示，该计算机设备包括存储器、处理器、通信接口以及通信总线，在存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例方法中的步骤。

处理器可以为中央处理器(centralprocessingunit，cpu)。处理器还可以为其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元，如本发明上述方法实施例中对应的程序单元。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及作品数据处理，即实现上述方法实施例中的方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个单元存储在所述存储器中，当被所述处理器执行时，执行上述实施例中的方法。

上述计算机设备具体细节可以对应参阅上述实施例中对应的相关描述和效果进行理解，此处不再赘述。

为了实现上述目的，根据本申请的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述基于边缘智能的银行网点监控方法中的步骤。本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)、随机存储记忆体(randomaccessmemory，ram)、快闪存储器(flashmemory)、硬盘(harddiskdrive，缩写：hdd)或固态硬盘(solid-statedrive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。