电梯人流量的统计方法、装置、终端设备以及存储介质与流程

1.本发明涉及电梯技术领域，尤其涉及一种电梯人流量的统计方法、系统、终端设备以及计算机存储介质。


背景技术：

2.电梯作为高层建筑中的普遍使用工具，其效率性和安全性需严格保障。但是，近年来电梯常常因为人们使用不当造成的长期损耗而事故频发。因此，现有技术在电梯应用中通过采用深度学习技术以基于图像识别进行电梯中人流量的检测，并配合重力检测器的使用，以避免在电梯失事时造成重大人员损失。
3.然而，由于电梯场景下的视频图像非常容易因为行人遮挡、场景光照变化和人群分布不均等因素的影响，导致现有对电梯中人流量进行识别检测的方式难以准确进行人数统计。


技术实现要素：

4.本发明的主要目的在于提供一种电梯人流量的统计方法、装置、终端设备以及计算机存储介质，旨在提高针对电梯中人流量进行识别统计的准确性。
5.为实现上述目的，本发明提供一种电梯人流量的统计方法，该电梯人流量的统计方法包括：
6.从实时获取的电梯内视频图像中确定待检图像；
7.基于预设的语义分割模型对所述待检图像的俯视图进行语义分割处理得到人体语义信息；
8.根据所述待检图像的俯视图确定所述电梯内视频图像的背景特征信息；
9.融合所述人体语义信息和所述背景特征信息得到电梯内人员语义信息，并根据所述人员语义信息统计电梯内的人流量。
10.可选地，所述语义分割模型包括第一语义分割模型和第二语义分割模型，所述人体语义信息包括完整人体语义信息和残缺人体语义信息；
11.所述基于预设的语义分割模型对所述待检图像的俯视图进行语义分割处理得到人体语义信息的步骤，包括：
12.基于所述第一语义分割模型对所述待检图像的俯视图进行完整人体语义信息分割得到所述完整人体语义信息；
13.基于所述第二语义分割模型对所述待检图像的俯视图进行残缺人体语义信息分割得到所述残缺人体语义信息。
14.可选地，所述融合所述人体语义信息和所述背景特征信息得到电梯内人员语义信息的步骤，包括：
15.针对所述完整人体语义信息、所述残缺人体语义信息和所述背景特征信息进行多尺度语义融合以得到电梯内人员语义信息。
16.可选地，所述根据所述待检图像的俯视图确定所述电梯内视频图像的背景特征信息的步骤，包括：
17.确定或者生成背景判别器；
18.基于所述背景判别器对所述待检图像的俯视图进行背景识别得到背景特征；
19.将所述背景特征确定为所述电梯内视频图像的背景特征信息。
20.可选地，所述根据所述人员语义信息统计电梯内的人流量的步骤，包括：
21.识别所述人员语义信息以确定人员位置；
22.根据所述人员位置和电梯门框位置确定人员与电梯门之间的相对位置关系；
23.基于所述相对位置关系统计电梯内的人流量。
24.可选地，所述根据所述人员位置和电梯门框位置确定人员与电梯门之间的相对位置关系的步骤，包括：
25.确定或者生成电梯门在所述电梯内视频图像中的门框像素矩形；
26.检测所述人员位置对应的边界像素点与所述门框像素矩形之间的像素位置关系；
27.根据所述像素位置关系确定所述人员与电梯门之间的相对位置关系。
28.可选地，所述从实时获取的电梯内视频图像中确定待检图像的步骤，包括：
29.从实时获取的电梯内视频图像中提取各单帧图像；
30.针对各所述单帧图像进行电梯门线识别以确定各所述单帧图像中表征电梯门开关状态的目标图像；
31.将所述目标图像确定为待检图像。
32.此外，为实现上述目的，本发明还提供一种电梯人流量的统计装置，该电梯人流量的统计装置包括：
33.图像筛选模块，用于从实时获取的电梯内视频图像中确定待检图像；
34.语义分割模块，用于基于预设的语义分割模型对所述待检图像的俯视图进行语义分割处理得到人体语义信息；
35.背景识别模块，用于根据所述待检图像的俯视图确定所述电梯内视频图像的背景特征信息；
36.人流量统计模块，用于融合所述人体语义信息和所述背景特征信息得到电梯内人员语义信息，并根据所述人员语义信息统计电梯内的人流量。
37.其中，本发明电梯人流量的统计装置的各个功能模块在运行时实现如上所述的电梯人流量的统计方法的步骤。
38.此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的电梯人流量的统计程序，所述电梯人流量的统计程序被所述处理器执行时实现如上所述的电梯人流量的统计方法的步骤。
39.此外，为实现上述目的，本发明还提供一种计算机存储介质，所述计算机存储介质上存储有电梯人流量的统计程序，所述电梯人流量的统计程序被处理器执行时实现如上所述的电梯人流量的统计方法的步骤。
40.此外，为实现上述目的，本发明还提供计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上所述的电梯人流量的统计方法的步骤。
41.本发明提供一种电梯人流量的统计方法、系统、终端设备、计算机存储介质以及计算机程序产品，在针对电梯实时运行过程中进行人流量统计时，首先从实时获取的电梯内视频图像中确定待检图像；然后，基于预设的语义分割模型对所述待检图像的俯视图进行语义分割处理得到人体语义信息；再然后，根据所述待检图像的俯视图确定所述电梯内视频图像的背景特征信息；最后，融合所述人体语义信息和所述背景特征信息得到电梯内人员语义信息，并根据所述人员语义信息统计电梯内的人流量。
42.如此，相比于现有对电梯中人流量进行识别检测的方式，本发明通过语义分割模型对电梯内视频图像中的待检图像的俯视图进行语义分割处理得到人体语义信息，然后融合人体语义信息和电梯图像的背景特征信息进行人流量的识别统计，从而实现了从电梯内人员、背景等多尺度角度出发，利用语义分割技术对图像进行准确分割，和使用多尺度语义融合操作对分割得到语义信息进行提取，结合电梯实时运行中开关门的动态过程对电梯内人流量进行准确的识别统计，即，本发明技术方案有效地提高了针对电梯中人流量进行识别统计的准确性。
附图说明
43.图1为本技术实施例方案涉及的终端设备硬件运行环境的设备结构示意图；
44.图2为本技术一实施例提供的电梯人流量的统计方法的流程示意图；
45.图3为本技术一实施例提供的电梯人流量的统计方法的应用流程示意图；
46.图4为本技术一实施例提供的电梯人流量的统计装置的功能模块示意图。
47.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
48.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
49.请参照图1，图1为本技术实施例方案涉及的终端设备硬件运行环境的设备结构示意图。
50.本技术实施例终端设备可以是用于对电梯内人流量进行识别统计的终端设备，该终端设备可以是服务器、智能手机、pc(personal computer，个人计算机)、平板电脑、便携计算机等等。
51.如图1所示，该终端设备可以包括：处理器1001，例如cpu，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
52.本领域技术人员可以理解，图1中示出的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
53.如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及电梯人流量的统计程序。
54.在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的电梯人流量的统计程序，并执行以下步骤：
55.从实时获取的电梯内视频图像中确定待检图像；
56.基于预设的语义分割模型对所述待检图像的俯视图进行语义分割处理得到人体语义信息；
57.根据所述待检图像的俯视图确定所述电梯内视频图像的背景特征信息；
58.融合所述人体语义信息和所述背景特征信息得到电梯内人员语义信息，并根据所述人员语义信息统计电梯内的人流量。
59.进一步地，所述语义分割模型包括第一语义分割模型和第二语义分割模型，所述人体语义信息包括完整人体语义信息和残缺人体语义信息；
60.处理器1001还可以用于调用存储器1005中存储的电梯人流量的统计程序，并执行以下步骤：
61.基于所述第一语义分割模型对所述待检图像的俯视图进行完整人体语义信息分割得到所述完整人体语义信息；
62.基于所述第二语义分割模型对所述待检图像的俯视图进行残缺人体语义信息分割得到所述残缺人体语义信息。
63.进一步地，处理器1001还可以用于调用存储器1005中存储的电梯人流量的统计程序，并执行以下步骤：
64.针对所述完整人体语义信息、所述残缺人体语义信息和所述背景特征信息进行多尺度语义融合以得到电梯内人员语义信息。
65.进一步地，处理器1001还可以用于调用存储器1005中存储的电梯人流量的统计程序，并执行以下步骤：
66.确定或者生成背景判别器；
67.基于所述背景判别器对所述待检图像的俯视图进行背景识别得到背景特征；
68.将所述背景特征确定为所述电梯内视频图像的背景特征信息。
69.进一步地，处理器1001还可以用于调用存储器1005中存储的电梯人流量的统计程序，并执行以下步骤：
70.识别所述人员语义信息以确定人员位置；
71.根据所述人员位置和电梯门框位置确定人员与电梯门之间的相对位置关系；
72.基于所述相对位置关系统计电梯内的人流量。
73.进一步地，处理器1001还可以用于调用存储器1005中存储的电梯人流量的统计程序，并执行以下步骤：
74.确定或者生成电梯门在所述电梯内视频图像中的门框像素矩形；
75.检测所述人员位置对应的边界像素点与所述门框像素矩形之间的像素位置关系；
76.根据所述像素位置关系确定所述人员与电梯门之间的相对位置关系。
77.进一步地，处理器1001还可以用于调用存储器1005中存储的电梯人流量的统计程序，并执行以下步骤：
78.从实时获取的电梯内视频图像中提取各单帧图像；
79.针对各所述单帧图像进行电梯门线识别以确定各所述单帧图像中表征电梯门开关状态的目标图像；
80.将所述目标图像确定为待检图像。
81.基于上述的终端设备，提出本发明电梯人流量的统计方法的各个实施例。
82.需要说明的是，在本发明电梯人流量的统计方法所属的技术领域中，电梯作为高层建筑中的普遍使用工具，其效率性和安全性需严格保障。而近年来电梯事故频繁通常是由于人们日常使用不当造成对电梯的长期损耗，而导致悲剧发生。因此，行业内在进行电梯设计开发时通过加入人数检测的功能，并配合重力检测器的使用，来避免在电梯失事时造成重大人员损失。
83.然而，以往针对电梯的人数统计方法都是采用人工提取特征，提取的精确度不高，特征区分度不够。后来，随着深度学习技术的发展，基于图像识别技术的人数、人流量等统计逐渐成为了研究的热点。
84.但是，由于电梯内非常容易出现行人遮挡、场景光照变化的情况，这就使得人群分布不均等因素的影响导致对视频中人数进行统计的准确性较低。同时，电梯开关门过程的人流是一个动态的过程，存在乘客进进出出电梯门的情况，不能简单的利用静态的开门后或者关门后的状态来推断人流量的具体情况。
85.另一方面，现如今，cnn(convolutional neural networks,卷积神经网络)可以自主学习更深层的图像特征，因此，行业内直接采用进行电梯内人数统计的方法就是利用多层卷积神经网络来实现人数统计的思想，通过岭回归模型或轻量化等方法来加速模型的训练以实现人数统计。然而，这一类方法都存在明显的准确率不够高、鲁棒性差的情况。虽然能够通过回归图像中人头中心点获得人群密度分布特征来提高识别精度，但是对于电梯等人口较为密集的场合，较多信息被遮挡的情况显得非常的乏力。
86.针对上述现象，行业内还提出了基于深度卷积神经网络模型进行目标检测，以通过对目标的追踪和计算来实现人群计数的方式。这种方式能够在动态层面上对电梯内人数进行统计和纠偏，在一定程度上解决复杂场景下无法进行人数统计的问题。但是，由于这种方式仍然缺乏对遮挡信息的判断，从而导致最终对电梯内人员进行识别统计准确度也不高。
87.此外，行业内还提供了一些间接进行电梯内人员识别统计的方法，即，通过预测模型来对电梯内人群密度进行估计，以此来辅助对卷积神经网络进行纠偏。然而，这一类方法由于估计模型往往与实际应用难以完美匹配，即对电梯内人群密度进行估计本身就已经带有误差，从而导致这类方法也同样存在准确性问题。
88.综上所述，现如今，电梯作为高层建筑中的普遍使用工具，其效率性和安全性需严格保障。但是，近年来电梯常常因为人们使用不当造成的长期损耗而事故频发。因此，现有技术在电梯应用中通过采用深度学习技术以基于图像识别进行电梯中人流量的检测，并配合重力检测器的使用，以避免在电梯失事时造成重大人员损失。
89.然而，由于电梯场景下的视频图像非常容易因为行人遮挡、场景光照变化和人群分布不均等因素的影响，导致现有对电梯中人流量进行识别检测的方式难以准确进行人数统计。
90.针对上述问题，本技术实施例提供了一种电梯人流量的统计方法，该方法在针对
电梯实时运行过程中进行人流量统计时，首先从实时获取的电梯内视频图像中确定待检图像；然后，基于预设的语义分割模型对所述待检图像的俯视图进行语义分割处理得到人体语义信息；再然后，根据所述待检图像的俯视图确定所述电梯内视频图像的背景特征信息；最后，融合所述人体语义信息和所述背景特征信息得到电梯内人员语义信息，并根据所述人员语义信息统计电梯内的人流量。
91.如此，相比于现有对电梯中人流量进行识别检测的方式，本发明通过语义分割模型对电梯内视频图像中的待检图像的俯视图进行语义分割处理得到人体语义信息，然后融合人体语义信息和电梯图像的背景特征信息进行人流量的识别统计，从而实现了从电梯内人员、背景等多尺度角度出发，利用语义分割技术对图像进行准确分割，和使用多尺度语义融合操作对分割得到语义信息进行提取，结合电梯实时运行中开关门的动态过程对电梯内人流量进行准确的识别统计，即，本发明技术方案有效地提高了针对电梯中人流量进行识别统计的准确性。
92.请参照图2，图2为本发明提供的电梯人流量的统计方法的第一实施例流程示意图。需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
93.在本实施例中，本发明电梯人流量的统计方法适用于上述用于对电梯内人流量进行识别统计的终端设备，为便于理解，后文本发明电梯人流量的统计方法的各个实施例中，均以该终端设备作为执行主体来对本发明电梯人流量的统计方法进行阐述。
94.基于此，在本实施例中，本发明电梯人流量的统计方法包括：
95.步骤s10，从实时获取的电梯内视频图像中确定待检图像；
96.可选地，终端设备在电梯动态运行过程中针对电梯内人员进行人流量识别统计时，首先通过预先配置并建立好数据连接的摄像头实时获取电梯的电梯内视频图像。然后，进一步针对该电梯内视频图像进行预处理操作，以从该电梯内视频图像当中提取得出当前用于进行人流量统计的一个或者多个待检图像。
97.步骤s20，基于预设的语义分割模型对所述待检图像的俯视图进行语义分割处理得到人体语义信息；
98.可选地，终端设备在从实时获取的电梯内视频图像中提取得到一个或者多个待检图像之后，进一步针对该待检图像进行处理得到待检图像的俯视图，从而进一步基于预设的语义分割模型来针对该待检图像的俯视图进行语义分割处理，以得到该待检图像所表征电梯内一个或者多个人员各自的人体语义信息。
99.步骤s30，根据所述待检图像的俯视图确定所述电梯内视频图像的背景特征信息；
100.可选地，终端设备在对待检图像的俯视图进行语义分割处理之后或者同时，终端设备还进一步针对该待检图像的俯视图的背景部分进行识别，从而确定该电梯内视频图像的背景特征信息。
101.步骤s40，融合所述人体语义信息和所述背景特征信息得到电梯内人员语义信息，并根据所述人员语义信息统计电梯内的人流量。
102.可选地，终端设备在分别对待检图像的俯视图进行语义分割处理和进行背景部分识别，以得到人体语义信息和电梯内视频图像的背景特征信息之后，终端设备即进一步针对该人体语义信息和该背景特征信息进行融合，从而得到电梯内视频图像中一个或者多个
人员各自的人员语义信息，进而，终端设备即可根据该人员语义信息进行人员识别以计算统计得到电梯内实时的人流量。
103.可选地，在一种可行的实施例中，上述的步骤s10，从实时获取的电梯内视频图像中确定待检图像，具体可以包括：
104.步骤s101，从实时获取的电梯内视频图像中提取各单帧图像；
105.可选地，终端设备在通过预先配置并建立好数据传输连接的摄像头实时获取到电梯内视频图像之后，即按照固定的采样周期从该视频图像当中提取出多个单帧图像。
106.需要说明的是，在本实施例中，采样周期为终端设备预先配置好用于从视频图像中提取单帧图像的时间数据。例如，假定该采样周期为50ms，则终端在通过摄像头实时获取到电梯内视频图像之后，即可按照该50ms的采样周期，每间隔50ms即从该视频图像当中提取出一帧图像，如此，终端设备即可从该视频图像中提取得到多个单帧图像。
107.应当理解的是，基于实际应用的不同设计需要，终端设备当然可以配置不同大小的采样周期来从电梯内视频图像中提取单帧图像。本发明电梯人流量的统计方法并不针对该采样周期的具体大小进行限定。
108.步骤s102，针对各所述单帧图像进行电梯门线识别以确定各所述单帧图像中表征电梯门开关状态的目标图像；
109.步骤s103，将所述目标图像确定为待检图像。
110.可选地，终端设备在从电梯内视频图像中提取出多个单帧图像之后，即可进一步针对该多个单帧图像进行电梯门线识别，从而从该多个单帧图像中确定出能够表征电梯门开关状态的一个或者多个目标图像。进而，终端设备即可将该一个或者多个目标图像，作为当前需要用于对电梯内进行人流量统计的待检图像。
111.需要说明的是，在本实施例中，电梯门开关状态即为电梯门开或者关的动态过程。
112.示例性地，在本实施例中，终端设备具体可以利用霍夫变换依次对单帧图像进行电梯门线识别，从而从该多个单帧图像当中筛选出表征电梯门开、关过程的目标图像作为待检图像。
113.进一步地，在另一些可行的实施例中，终端设备为了降低对于视频图像中各单帧图像的计算量，从而提高自身效率，终端设备还可以在从实时获取的电梯内视频图像中提取得到多个单帧图像之后，进一步先针对该多个单帧图像进行压缩等预处理手段，然后再针对经过处理后的该多个单帧图像进行电梯门线识别。
114.可选地，在一种可行的实施例中，上述的语义分割模型包括第一语义分割模型和第二语义分割模型。并且，人体语义信息包括完整人体语义信息和残缺人体语义信息。
115.需要说明的是，在本实施例中，第一语义分割模型和第二语义分割模型为两个并联的语义分割模型，并且，该每一个语义分割模型均是在卷积神经网络的基础上串联一个语义分割网络(bisenet)之后，分别采用不同的数据集进行训练得到。
116.即，在卷积神经网络的基础上串联一个语义分割网络之后，采用完整人体数据集进行训练得到第一语义分割模型，而在卷积神经网络的基础上串联一个语义分割网络之后，采用残缺人体数据集进行训练即得到第二语义分割模型。此外，应当理解的是，在本实施例中，无论是完整人体数据集还是残缺人体的数据集都带有人数标记。
117.基于此，上述的步骤s20，基于预设的语义分割模型对所述待检图像的俯视图进行
语义分割处理得到人体语义信息，具体可以包括：
118.步骤s201，基于所述第一语义分割模型对所述待检图像的俯视图进行完整人体语义信息分割得到所述完整人体语义信息；
119.步骤s202，基于所述第二语义分割模型对所述待检图像的俯视图进行残缺人体语义信息分割得到所述残缺人体语义信息。
120.可选地，终端设备分别利用上述两个并联的语义分割模型，来对已经确定的一个或者多个待检图像的俯视图进行语义分割处理，从而得到该待检图像所表征电梯内一个或者多个人员各自的人体语义信息。
121.即，终端设备首先利用上述的第一语义分割模型来针对待检图像的俯视图进行语义分割处理，从而得到该待检图像所表征的电梯内一个或者多个人员各自的完整人体语义信息。并且，终端设备同步或者异步的利用上述的第二语义分割模型来针对待检图像的俯视图也进行语义分割处理，从而得到该待检图像所表征的电梯内一个或者多个人员各自的残缺人体语义信息。
122.需要说明的是，在本实施例中，终端设备可以利用仿射变换来对待检图像进行处理从而得到该待检图像的俯视图。
123.进一步地，基于步骤s201和步骤s202，上述步骤s40中“融合所述人体语义信息和所述背景特征信息得到电梯内人员语义信息”的步骤，具体可以包括：
124.步骤s401，针对所述完整人体语义信息、所述残缺人体语义信息和所述背景特征信息进行多尺度语义融合以得到电梯内人员语义信息。
125.可选地，终端设备在针对待检图像进行完整语义分割和残缺语义分割得到该待检图像所表征的完整人体语义信息和残缺人体语义信息之后，终端设备即可利用多尺度语义融合模块对该完整人体语义信息、残缺人体语义信息和基于该待检图像的俯视图确定的背景特征信息进行多尺度语义融合处理，从而得到电梯内视频图像中一个或者多个人员各自的人员语义信息。
126.需要说明的是，在本实施例中，终端设备的多尺度语义融合模块分为两个部分，具有由该两个部分串联构成。其中，该多尺度语义融合模块的第一部分是由concat模块(图像处理软件中一种对多个文件进行合并拼接的功能模块)对多个尺度的语义信息输入进行拼接得到基础融合语义信息；而该多尺度语义融合模块的第二部分则是一个特征金字塔网络，用于对第一部分得到的基础融合语义信息进行具体语义信息(特征)的提取。
127.可选地，在一种可行的实施例中，上述的步骤s30，根据所述待检图像的俯视图确定所述电梯内视频图像的背景特征信息，具体可以包括：
128.步骤s301，确定或者生成背景判别器；
129.可选地，终端设备在针对待检图像的俯视图进行背景识别时，终端设备可先从预先存储诸如上述语义分割模型的数据库当中，确定出当前需要使用以进行背景识别的背景判别器，此时，该背景判别器为终端设备预先搭建生成并存储在该数据库中。或者，若终端设备在数据当中未确定到背景判别器，则终端设备还可以实时搭建生成一个背景判别器。
130.需要说明的是，在本实施例中，背景判别器可以由终端设备通过在一个卷积神经网络上串联一个语义分割网络之后，利用生成器随机生成的背景图或现有包含电梯背景部分图像数据的图像数据库进行训练得到。其中，生成器可以是一个卷积神经网络。
131.步骤s302，基于所述背景判别器对所述待检图像的俯视图进行背景识别得到背景特征；
132.步骤s303，将所述背景特征确定为所述电梯内视频图像的背景特征信息。
133.可选地，终端设备在确定或者生成背景判别器之后，即可基于该背景判别器针对待检图像的俯视图进行背景识别，从而从该待检图像的俯视图的背景部分提取得到背景特征。进而，终端设备即进一步将该背景特征作为该电梯内视频图像的背景特征信息。
134.可选地，在一种可行的实施例中，上述步骤s40中“根据所述人员语义信息统计电梯内的人流量”的步骤，具体可以包括：
135.步骤s402，识别所述人员语义信息以确定人员位置；
136.可选地，终端设备在根据人员语义信息进行人员识别以计算统计电梯内人流量时，终端设备即可通过对电梯开、关过程的多帧待检图像中的人员语义信息进行识别，从而确定该电梯在开、关过程中一个或者多个人员的人员位置。
137.步骤s403，根据所述人员位置和电梯门框位置确定人员与电梯门之间的相对位置关系；
138.可选地，终端设备在识别人员语义信息来确定电梯开、关过程中一个或者多个人员的人员位置之后，即可进一步基于该人员位置和电梯内视频图像中的电梯门框位置，来确定一个或者多个人员各自相对于电梯门之间的相对位置关系。
139.步骤s404，基于所述相对位置关系统计电梯内的人流量。
140.可选地，终端设备在确定出电梯开、关过程中一个或者多个人员各自和电梯门之间的相对位置关系之后，即可进一步基于该相对位置关系是人员处于电梯门之内或者人员处于该电梯门之外，来计算统计得到人员进出电梯的情况，进而达到对电梯在开、关门的动态过程中的人流量。
141.进一步地，在另一些可行的实施例中，终端设备在统计得到电梯在开、关门的动态过程中的人流量之后，还可以进一步将该人流量信息上传到服务器以用于后续操作。
142.可选地，在一种可行的实施例中，上述的步骤s403，具体可以包括：
143.步骤s4031，确定或者生成电梯门在所述电梯内视频图像中的门框像素矩形；
144.步骤s4032，检测所述人员位置对应的边界像素点与所述门框像素矩形之间的像素位置关系；
145.步骤s4033，根据所述像素位置关系确定所述人员与电梯门之间的相对位置关系。
146.可选地，终端设备在确定电梯在开、关门过程中，一个或者多个人员相对于电梯门之间的相对位置关系时，首先从预先存储电梯门在摄像头所采集图像数据中的门框像素矩形的数据库中，确定该电梯门在实时获取的电梯内视频图像中的门框像素矩形；或者，若该数据库中当前还没有存储该门框像素矩形，则终端设备即基于该电梯内视频图像进行电梯门框的像素位置识别以实时生成该电梯门的门框像素矩形。
147.然后，终端设备即可进一步检测电梯在开、关过程中一个或者多个人员的人员位置在待检图像中对应的边界像素点，相对于电梯门的门框像素矩形之间的像素位置关系是在门框像素点矩形外还是在门框像素点矩形内。从而，如果检测到该像素位置关系是人员位置在待检图像中对应的边界像素点在门框像素点矩形外,则终端设备即确定电梯在开、关门过程中，人员相对于电梯门之间的相对位置关系是人员处于电梯内；而如果检测到该
像素位置关系是人员位置在待检图像中对应的边界像素点在门框像素点矩形内,则终端设备即确定电梯在开、关门过程中，人员相对于电梯门之间的相对位置关系是人员处于电梯外。
148.需要说明的是，在本实施例中，终端设备具体可以在电梯空载的时候对摄像头实时获取的电梯内视频图像进行霍夫变换，从而识别出电梯门门框四个角的像素位置，进而基于该四个角的像素位置来生成门框像素矩形，并将该门框像素矩阵存储在上述的数据库中。
149.可选地，请参照图3，图3为本发明电梯人流量的统计方法在一种可行的实施例中的具体应用流程。
150.如图3所示，终端设备具体可以按照如下所示的步骤1至7，来准确的识别统计电梯在开、关电梯门的动态过程中的人流量：
151.步骤1、终端设备通过摄像头实时获取电梯内视频图像，并按采样周期提取出电梯内视频图像中的单帧图像；
152.步骤2、终端设备利用霍夫变换对单帧图像进行电梯门线识别，从而筛选出电梯门开、关过程的单帧图像作为待检图像；
153.步骤3、终端设备利用仿射变换对待检图像进行处理得到待检图像的俯视图；
154.步骤4、终端设备分别利用并联的第一语义分割模型和第二语义分割模型对步骤3中的待检图像的俯视图进行完整人体语义信息分割和残缺人体语义信息分割，以分别得到完整人体语义信息和残缺人体语义信息；
155.本实施例中，并联的第一语义分割模型和第二语义分割模型均为在卷积神经网络的基础上串联一个语义分割网络，并采用不同的数据集分别对不同的语义信息分割进行训练得到。即，终端设备通过带有人数标记的完整人体数据集对其中一个语义信息分割模型进行训练得到完整语义信息分割模型，而终端设备通过带有人数标记的残缺人体的数据集，来对其中另一个语义信息分割模型进行训练即得到残缺语义信息分割模型。
156.步骤5、终端设备通过搭建一个背景判别器来对上述待检图像的俯视图中的背景部分进行识别，得到背景特征信息；
157.本实施例中，背景判别器由终端设备通过在一个卷积神经网络串联一个语义分割网络，并利用生成器随机生成的背景图或现有的图像数据库进行训练得到。其中，生成器是一个卷积神经网络。
158.步骤6、终端设备利用多尺度语义融合模块对完整人体语义信息、残缺人体语义信息和背景特征信息进行融合得到人员语义信息；
159.本实施例中，多尺度语义融合模块分为两个部分串联构成，第一部分是由concat模块对多个尺度的语义信息输入进行拼接，得到基础融合语义信息；第二部分是一个特征金字塔网络，用于对第一部分输入的基础融合语义信息进行具体语义信息(特征)的提取。
160.步骤7、终端设备通过对电梯开、关过程的多帧待检图像中的人员语义信息进行识别，并结合人员与电梯门框像素坐标的相对位置关系，计算出人员的进出电梯情况，从而达到人流量统计的目的。之后，终端设备还进一步将统计的人流量信息上传至服务器用于后续操作。
161.在本实施例中，终端设备进行人员与电梯门框像素坐标之间相对位置关系的判断
具体包含以下几步：
162.(1)终端设备在电梯空载的时候对摄像头采集的电梯内图像进行霍夫变换以识别出电梯门门框四个角的像素位置，进而基于该门框四个角的像素位置生成门框像素点矩形；
163.(2)终端设备对人体语义信息的人员目标边界像素点与门框像素点矩形之间的位置关系进行检测，如果检测到有像素点在门框像素点矩形外，则终端设备即判定此人在电梯内，否则终端设备即判定为此人在电梯外。
164.在本实施例中，本发明提供的电梯人流量的统计方法，通过终端设备在电梯动态运行过程中针对电梯内人员进行人流量识别统计时，首先通过预先配置并建立好数据连接的摄像头实时获取电梯的电梯内视频图像。然后，进一步针对该电梯内视频图像进行预处理操作，以从该电梯内视频图像当中提取得出当前用于进行人流量统计的一个或者多个待检图像。之后，由终端设备进一步针对该待检图像进行处理得到待检图像的俯视图，从而进一步基于预设的语义分割模型来针对该待检图像的俯视图进行语义分割处理，以得到该待检图像所表征电梯内一个或者多个人员各自的人体语义信息。终端设备在对待检图像的俯视图进行语义分割处理之后或者同时，终端设备还进一步针对该待检图像的俯视图的背景部分进行识别，从而确定该电梯内视频图像的背景特征信息。最后，终端设备即针对该人体语义信息和该背景特征信息进行融合，从而得到电梯内视频图像中一个或者多个人员各自的人员语义信息，进而，终端设备即可根据该人员语义信息进行人员识别以计算统计得到电梯内实时的人流量。
165.如此，相比于现有对电梯中人流量进行识别检测的方式，本发明通过语义分割模型对电梯内视频图像中的待检图像的俯视图进行语义分割处理得到人体语义信息，然后融合人体语义信息和电梯图像的背景特征信息进行人流量的识别统计，从而实现了从电梯内人员、背景等多尺度角度出发，利用语义分割技术对图像进行准确分割，和使用多尺度语义融合操作对分割得到语义信息进行提取，结合电梯实时运行中开关门的动态过程对电梯内人流量进行准确的识别统计，即，本发明技术方案有效地提高了针对电梯中人流量进行识别统计的准确性。
166.进一步地，本发明还提供一种电梯人流量的统计装置，如图4所示，本发明电梯人流量的统计装置包括如下的各功能模块：
167.图像筛选模块10，用于从实时获取的电梯内视频图像中确定待检图像；
168.语义分割模块20，用于基于预设的语义分割模型对所述待检图像的俯视图进行语义分割处理得到人体语义信息；
169.背景识别模块30，用于根据所述待检图像的俯视图确定所述电梯内视频图像的背景特征信息；
170.人流量统计模块40，用于融合所述人体语义信息和所述背景特征信息得到电梯内人员语义信息，并根据所述人员语义信息统计电梯内的人流量。
171.可选地，所述语义分割模型包括第一语义分割模型和第二语义分割模型，所述人体语义信息包括完整人体语义信息和残缺人体语义信息；
172.所述语义分割模块20，包括：
173.第一语义分割单元，用于基于所述第一语义分割模型对所述待检图像的俯视图进
行完整人体语义信息分割得到所述完整人体语义信息；
174.第二语义分割单元，用于基于所述第二语义分割模型对所述待检图像的俯视图进行残缺人体语义信息分割得到所述残缺人体语义信息。
175.可选地，人流量统计模块40，还用于针对所述完整人体语义信息、所述残缺人体语义信息和所述背景特征信息进行多尺度语义融合以得到电梯内人员语义信息。
176.可选地，背景识别模块30，包括：
177.第一确定单元，用于确定或者生成背景判别器；
178.背景识别单元，用于基于所述背景判别器对所述待检图像的俯视图进行背景识别得到背景特征；
179.第二确定单元，用于将所述背景特征确定为所述电梯内视频图像的背景特征信息。
180.可选地，人流量统计模块40，包括：
181.语义信息识别单元，用于识别所述人员语义信息以确定人员位置；
182.位置关系确定单元，用于根据所述人员位置和电梯门框位置确定人员与电梯门之间的相对位置关系；
183.人流统计单元，用于基于所述相对位置关系统计电梯内的人流量。
184.可选地，位置关系确定单元还用于确定或者生成电梯门在所述电梯内视频图像中的门框像素矩形；检测所述人员位置对应的边界像素点与所述门框像素矩形之间的像素位置关系；以及，根据所述像素位置关系确定所述人员与电梯门之间的相对位置关系。
185.可选地，图像筛选模块10，包括：
186.提取单元，用于从实时获取的电梯内视频图像中提取各单帧图像；
187.筛选单元，用于针对各所述单帧图像进行电梯门线识别以确定各所述单帧图像中表征电梯门开关状态的目标图像；
188.确定单元，用于将所述目标图像确定为待检图像。
189.其中，上述本技术电梯人流量的统计装置中各个模块的功能实现与上述电梯人流量的统计方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
190.本技术还提供一种计算机存储介质，该计算机存储介质上存储有电梯人流量的统计程序，所述电梯人流量的统计程序被处理器执行时实现如以上任一项实施例所述的电梯人流量的统计方法的步骤。
191.本技术计算机存储介质的具体实施例与上述电梯人流量的统计方法各实施例基本相同，在此不作赘述。
192.本技术还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如以上任一项实施例所述的电梯人流量的统计方法的步骤。
193.本技术计算机程序产品的具体实施例与上述电梯人流量的统计方法各实施例基本相同，在此不作赘述。
194.以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。