一种门状态检测方法、装置、轿厢乘客流量统计方法及设备与流程

1.本发明属于计算机视觉处理技术领域，具体地涉及一种门状态检测方法、装置、轿厢乘客流量统计方法及设备。


背景技术：

2.在经济技术飞速发展的时代，高层建筑越来越流行，电梯数量也急剧增加。考虑到结构的复杂性和居民的高密度，公共安全是对这类建筑的挑战。而随着人工智能的飞速发展和社会对于智能化服务需求的增加，作为居民楼公共场所的重要运输载体和关键通道，电梯对于智能化的需求也与日俱增，而在其中，最重要的方面之一就是电梯中的视频监控智能化。
3.行人是安防系统中重要的监控对象之一，电梯视频监控可实时采集乘客数据，利用机器视觉来根据行人的特征对电梯视频中的丰富信息进行分析，掌握电梯轿厢内的乘客流量和分布情况，可为大数据分析和电梯调度等工作提供重要的数据支持，为其他工作和研究打下基础。故关于对电梯轿厢门进行门状态检测以及基于门状态检测结果进行轿厢乘客流量统计的研究，对于构建智能监控系统具有重要的应用价值和意义。
4.目前，关于检测电梯门开关状态的方法主要有：(1)基于经典霍夫变换(hough transform)的检测电梯门缝直线的方法，但是由于电梯轿厢内存在诸如广告牌或地板等直线物体的干扰，因此单一的直线检测不能作为判断电梯门开关的依据；(2)在固定区域进行检测的方法，其存在迁移应用性差的缺点，即考虑到摄像头角度和电梯门方向等因素，其不适用于所有电梯；(3)检测连续帧间直线距离突变的方法，其存在设备复杂的缺点，需要额外部署加速度传感器等硬件。


技术实现要素：

5.为了解决现有电梯门开关状态检测方法所存在的易受干扰、适用性差、设备复杂和硬件成本高的问题，本发明目的在于提供一种新型的门状态检测方法、门状态检测装置、轿厢乘客流量统计方法、轿厢乘客流量统计设备、轿厢乘客流量统计系统、计算机设备及计算机可读存储介质。
6.第一方面，本发明提供了一种门状态检测方法，包括：
7.获取门监控视频；
8.根据所述门监控视频，采用背景差分法提取得到与所述门监控视频中单帧图像对应的运动前景图像；
9.采用边缘检测算法对所述运动前景图像进行边缘轮廓检测处理，得到边缘轮廓图像；
10.采用直线检测算法对所述边缘轮廓图像进行直线数量检测处理，得到直线数量；
11.判断所述直线数量是否大于预设阈值；
12.若是，则确定与所述单帧图像对应的采集时门状态为开门运动状态。
13.基于上述发明内容，提供了一种可智能识别开门运动状态的计算机视觉处理方案，即先采用背景差分法提取得到与门监控视频中单帧图像对应的运动前景图像，然后通过对该运动前景图像依次进行边缘轮廓检测处理和直线数量检测处理，可得到对应的直线数量，最后将该直线数量与预设阈值的比较结果作为采集时门状态是否为开门运动状态的确定依据，得到门状态检测结果。与单一的直线检测方案相比，由于该方案首先采用背景差分法分割出运动前景，可使得最终检测结果在开门运动时能够排除视野内其它带直线的静止物体(例如电梯轿厢内的静止广告牌、地板或电梯内壁等矩形物体)所带来的干扰，有效提高了门状态检测结果的准确度，并适用于所有视频监控场景，并且无需配置诸如加速度传感器等硬件，可降低设备复杂度和硬件成本，利于助力进行轿厢乘客流量统计或其他相关事务，便于实际应用和推广。
14.在一个可能的设计中，根据所述门监控视频，采用背景差分法提取得到与所述门监控视频中单帧图像对应的运动前景图像，包括：
15.从所述门监控视频中获取采集时刻位于所述单帧图像之前的前帧图像；
16.计算所述单帧图像与所述前帧图像的灰度值差异，得到用于作为所述运动前景图像的差分图像，其中，所述差分图像中各个像素点的灰度值为在两图像中对应像素点的灰度值差的绝对值。
17.基于前述可能设计，可通过帧差计算得到包含有大量边缘特征的差分图像，以便后续利于对该差分图像进行边缘轮廓检测，得到准确的运动前景线条轮廓。
18.在一个可能的设计中，根据所述门监控视频，采用背景差分法提取得到与所述门监控视频中单帧图像对应的运动前景图像，包括：
19.从所述门监控视频中获取采集时刻位于所述单帧图像之前的连续多帧图像，其中，所述连续多帧图像中的尾帧图像在采集时序上与所述单帧图像相邻；
20.根据所述连续多帧图像，采用背景减除算法对所述单帧图像进行背景减除处理，得到用于作为所述运动前景图像的前景掩码图像。
21.基于前述可能设计，可通过背景减除得到包含有大量边缘特征的前景掩码图像，以便后续利于对该前景掩码图像进行边缘轮廓检测，得到准确的运动前景线条轮廓。
22.在一个可能的设计中，在采用边缘检测算法对所述运动前景图像进行边缘轮廓检测处理之前，所述方法还包括：
23.根据像素点的灰度值与预设灰度阈值的比较结果，对所述运动前景图像进行图像二值化处理，得到二值化图像；
24.对所述二值化图像进行先膨胀后腐蚀的形态学处理，得到用于进行边缘轮廓检测处理的新运动前景图像。
25.基于前述可能设计，通过在边缘轮廓检测处理前，先基于阈值比较结果来完成对所述前景运动图像的图像二值化，再对二值化图像进行先膨胀后腐蚀的形态学处理，即可以减小所述目标门在开门运动过程中由于门边界运动速度较快而导致边界模糊的影响，进而使用二值化特征补充边缘特征，避免降低后续使用诸如canny算法进行边缘轮廓检测的准确性，还可为所述运动前景图像中的直线边缘特征，减少其他噪声的干扰，起到类似滤波的作用，便于后续步骤精准地检测直线。
26.第二方面，本发明提供了一种门状态检测装置，包括有依次通信连接的视频获取
单元、背景分割单元、边缘检测单元、直线检测单元、阈值判断单元和状态确定单元；
27.所述视频获取单元，用于获取门监控视频；
28.所述背景分割单元，用于根据所述门监控视频，采用背景差分法提取得到与所述门监控视频中单帧图像对应的运动前景图像；
29.所述边缘检测单元，用于采用边缘检测算法对所述运动前景图像进行边缘轮廓检测处理，得到边缘轮廓图像；
30.所述直线检测单元，用于采用直线检测算法对所述边缘轮廓图像进行直线数量检测处理，得到直线数量；
31.所述阈值判断单元，用于判断所述直线数量是否大于预设阈值；
32.所述状态确定单元，用于在判定所述直线数量大于所述预设阈值时，确定与所述单帧图像对应的采集时门状态为开门运动状态。
33.在一种可能的设计中，所述背景分割单元包括有通信相连的第一图像获取子单元和差异计算子单元；
34.所述第一图像获取子单元，用于从所述门监控视频中获取采集时刻位于所述单帧图像之前的前帧图像；
35.所述差异计算子单元，用于计算所述单帧图像与所述前帧图像的灰度值差异，得到用于作为所述运动前景图像的差分图像，其中，所述差分图像中各个像素点的灰度值为在两图像中对应像素点的灰度值差的绝对值。
36.在一种可能的设计中，所述背景分割单元包括有通信相连的第二图像获取子单元和背景减除子单元；
37.所述第二图像获取子单元，用于从所述门监控视频中获取采集时刻位于所述单帧图像之前的连续多帧图像，其中，所述连续多帧图像中的尾帧图像在采集时序上与所述单帧图像相邻；
38.所述背景减除子单元，用于根据所述连续多帧图像，采用背景减除算法对所述单帧图像进行背景减除处理，得到用于作为所述运动前景图像的前景掩码图像。
39.在一种可能的设计中，还包括有二值化处理单元和形态学处理单元；
40.所述二值化处理单元，通信连接所述背景分割单元，用于根据像素点的灰度值与预设灰度阈值的比较结果，对所述运动前景图像进行图像二值化处理，得到二值化图像；
41.所述形态学处理单元，分别通信连接所述二值化处理单元和所述边缘检测单元，用于对所述二值化图像进行先膨胀后腐蚀的形态学处理，得到用于进行边缘轮廓检测处理的新运动前景图像。
42.第三方面，本发明提供了一种轿厢乘客流量统计方法，包括：
43.获取厢内监控视频，其中，所述厢内监控视频的监控视野涵盖厢门的所在区域；
44.将所述厢内监控视频作为门监控视频，采用如前第一方面或第一方面中任意一种可能设计所述的门状态检测方法或应用如前第二方面或第二方面中任意一种可能设计所述的门状态检测装置，按照从先至后的采集时序依次确定与所述厢内监控视频中各帧厢内监控图像对应的且与所述厢门对应的采集时门状态；
45.当发现与前帧厢内监控图像对应的采集时门状态为非开门运动状态且与后帧厢内监控图像对应的采集时门状态为开门运动状态或者发现与所述前帧厢内监控图像对应
的采集时门状态为开门运动状态且与所述后帧厢内监控图像对应的采集时门状态为非开门运动状态时，选取所述前帧厢内监控图像或所述后帧厢内监控图像作为待测图像，其中，所述前帧厢内监控图像和所述后帧厢内监控图像为所述厢内监控视频中的且在采集时序上相邻的两帧厢内监控图像；
46.采用目标检测算法对所述待测图像进行人员检测处理，得到人员检测结果；
47.根据所述人员检测结果统计得到乘客数目；
48.将所述乘客数目累加到总乘客流量中，得到新的总乘客流量。
49.基于上述发明内容，提供了一种可智能统计厢内乘客流量的计算机视觉处理方案，即先基于厢内监控视频进行轿厢门状态检测，然后根据轿厢门状态检测结果来确定用于更新总乘客流量的特定时间点，最后基于对该特定时间点的厢内监控图像进行的目标检测结果，自动更新轿厢乘客总流量，特别利于实现电梯中的视频监控智能化。此外，由于是选择基于深度学习的目标检测算法来进行人员检测，可通过过滤检测结果使得输出仅为“人员”类别的回归框，实现对厢内乘客目标进行精确检测的目的。
50.第四方面，本发明提供了一种轿厢乘客流量统计设备，包括有依次通信连接的监控视频获取模块、门状态确定模块、待测图像获取模块、人员检测处理模块、乘客数目统计模块和总乘客流量更新模块；
51.所述监控视频获取模块，用于获取厢内监控视频，其中，所述厢内监控视频的监控视野涵盖厢门的所在区域；
52.所述门状态确定模块，用于将所述厢内监控视频作为门监控视频，采用如前第一方面或第一方面中任意一种可能设计所述的门状态检测方法或应用如前第二方面或第二方面中任意一种可能设计所述的门状态检测装置，按照从先至后的采集时序依次确定与所述厢内监控视频中各帧厢内监控图像对应的且与所述厢门对应的采集时门状态；
53.所述待测图像获取模块，用于当发现与前帧厢内监控图像对应的采集时门状态为非开门运动状态且与后帧厢内监控图像对应的采集时门状态为开门运动状态或者发现与所述前帧厢内监控图像对应的采集时门状态为开门运动状态且与所述后帧厢内监控图像对应的采集时门状态为非开门运动状态时，选取所述前帧厢内监控图像或所述后帧厢内监控图像作为待测图像，其中，所述前帧厢内监控图像和所述后帧厢内监控图像为所述厢内监控视频中的且在采集时序上相邻的两帧厢内监控图像；
54.所述人员检测处理模块，用于采用目标检测算法对所述待测图像进行人员检测处理，得到人员检测结果；
55.所述乘客数目统计模块，用于根据所述人员检测结果统计得到乘客数目；
56.所述总乘客流量更新模块，用于将所述乘客数目累加到总乘客流量中，得到新的总乘客流量。
57.第五方面，本发明提供了一种轿厢乘客流量统计系统，包括有依次通信连接的监控摄像头、视频服务器和个人计算机，其中，所述监控摄像头布置在厢内顶部并使监控视野涵盖厢门的所在区域；
58.所述监控摄像头，用于将采集获取的视频流传送至所述视频服务器；
59.所述视频服务器，用于对所述视频流进行数码转换，得到厢内监控视频；
60.所述个人计算机，用于从所述视频服务器中获取所述厢内监控视频，并执行如权
利要求6所述的轿厢乘客流量统计方法，得到总乘客流量的统计结果。
61.第六方面，本发明提供了一种计算机设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意一种可能设计所述的门状态检测方法或第三方面的所述轿厢乘客流量统计方法。
62.第七方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如上第一方面或第一方面中任意一种可能设计的所述门状态检测方法或第三方面的所述轿厢乘客流量统计方法。
63.第八方面，本发明提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如上第一方面或第一方面中任意一种可能设计的所述门状态检测方法或第三方面的所述轿厢乘客流量统计方法。
附图说明
64.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
65.图1是本发明提供的门状态检测方法的流程示意图。
66.图2是本发明提供的门状态检测装置的结构示意图。
67.图3是本发明提供的轿厢乘客流量统计方法的流程示意图。
68.图4是本发明提供的在轿厢乘客流量统计方法中采用yolo目标检测算法实现人员检测的原理流程示意图。
69.图5是本发明提供的轿厢乘客流量统计设备的结构示意图。
70.图6是本发明提供的轿厢乘客流量统计系统的结构示意图。
71.图7是本发明提供的在轿厢乘客流量统计系统中个人计算机的人机交互界面示例图。
72.图8是本发明提供的计算机设备的结构示意图。
73.上述附图中：1
‑
监控摄像头；2
‑
视频服务器；3
‑
个人计算机；31
‑
视频播放窗口；32
‑
视频进度调节滑块；33
‑
待测图像显示窗口；34
‑
音量调节滑块；35
‑
总乘客流量显示窗口；100
‑
电梯轿厢；200
‑
乘客。
具体实施方式
74.下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明虽然是用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明示例的实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。
75.应当理解，尽管本文可能使用术语第一和第二等等来描述各种对象，但是这些对象不应当受到这些术语的限制。这些术语仅用于区分一个对象和另一个对象。例如可以将第一对象称作第二对象,并且类似地可以将第二对象称作第一对象，同时不脱离本发明的
示例实施例的范围。
76.应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a、单独存在b或者同时存在a和b等三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，a/和b，可以表示：单独存在a或者同时存在a和b等两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
77.如图1所示，本实施例第一方面提供的所述门状态检测方法，可以但不限于由具有一定计算资源的个人计算机(personal computer，pc，指一种大小、价格和性能适用于个人使用的多用途计算机；台式机、笔记本电脑到小型笔记本电脑和平板电脑以及超级本等都属于个人计算机)执行，以便基于门监控视频准确地识别出开门运动状态，进而适用于所有视频监控场景，并且无需配置诸如加速度传感器等硬件，可降低设备复杂度和硬件成本，利于助力进行轿厢乘客流量统计或其他相关事务。所述门状态检测方法，可以但不限于包括有如下步骤s1～s6。
78.s1.获取门监控视频。
79.在所述步骤s1中，所述门监控视频为针对目标门(例如电梯轿厢或缆车厢等的对开门)而采集获取的监控视频，其可以是实时采集的监控视频，也可以是历史采集的并存储在诸如视频服务器或本地存储器等中的监控视频，因此其获取的具体方式可以但不限于包括：接收来自监控摄像头的实时监控视频，或者从所述视频服务器或所述本地存储器中读取历史监控视频。
80.s2.根据所述门监控视频，采用背景差分法提取得到与所述门监控视频中单帧图像对应的运动前景图像。
81.在所述步骤s2中，所述背景差分法是一种根据在视频序列中的当前帧和背景参考模型的比较结果，来检测运动物体的常用计算机视觉处理方法，其性能依赖于所使用的背景建模技术，目前通用的背景建模技术有初值法背景建模、中值法背景建模、均值法背景建模、卡尔曼滤波器模型、单高斯分布模型、多高斯分布模型和高级背景模型等。由此根据所述门监控视频，可采用通用的背景差分法对所述单帧图像进行运动前景与静止背景的分割，提取得到与所述单帧图像对应的运动前景图像。此外，在所述运动前景图像中，运动前景像素点的灰度值大于静止背景像素点的灰度值。
82.s3.采用边缘检测算法对所述运动前景图像进行边缘轮廓检测处理，得到边缘轮廓图像。
83.在所述步骤s3中，所述边缘检测算法是一种利用灰度值的不连续性质，以灰度突变为基础分割出目标区域的计算机视觉处理方法，例如，对铝铸件表面进行成像后会产生一些带缺陷的区域，这些区域的灰度值比较低，与背景图像相比在灰度上会有突变，这是由于这些区域对光线产生散射所引起的，因此边缘检测算子可以用来提取边缘轮廓特征。由于所述运动前景图像中已分割出运动前景像素点和静止背景像素点，因此通过所述边缘轮廓检测处理，可轻松得到呈现各种线条形状(例如直线、曲线和折线等)的所述边缘轮廓图像。此外具体的，可以但不限于采用凯尼canny边缘检测算法(其是一种由john f.canny在1986年提出的多级检测算法，并在出现以后一直是作为一种标准的边缘检测算法，此后也出现了各种基于canny算法的改进算法)对所述运动前景图像进行边缘轮廓检测处理，得到
所述边缘轮廓图像。
84.s4.采用直线检测算法对所述边缘轮廓图像进行直线数量检测处理，得到直线数量。
85.在所述步骤s4中，所述直线检测算法也叫直线段检测算法(line segment detector,lsd)，是一种能在较短的时间内获得较高精度的直线段检测结果的计算机视觉处理方法，在诸如车道线检测或长度测量等作业任务中经常得到应用。由于所述边缘轮廓图像中包含有直线、曲线和折线等线条形状，因此通过所述直线数量检测处理，可以识别所述边缘轮廓图像中的直线段，并计数得到所述直线数量。此外具体的，可以但不限于采用霍夫hough直线检测算法对所述边缘轮廓图像进行直线数量检测处理，得到所述直线数量。
86.s5.判断所述直线数量是否大于预设阈值。
87.在所述步骤s5中，由于所述目标门在闭合和全开时是静止的，因此在对应此时的所述运动前景图像中不会呈现门缝前景或门边前景；而所述目标门在打开过程中是运动的，因此在对应此时的所述运动前景图像中会呈现门边前景，使得所述直线数量会相对于静止时增加，进而可通过所述直线数量与预设阈值的比较结果，来判断对应时刻的所述目标门是处于开门运动状态(即所述目标门处于打开过程中的状态)还是处于非开门运动状态(即闭合静止状态和全开静止状态)。所述预设阈值可根据所述目标门的开门方式具体设定，即若忽略其它带直线的物体的可能移动，当所述目标门为单开门时，对应静止时的直线数量为0，而对应运动时的直线数量为1，可设定阈值为0；而当所述目标门为对开门或双开门时，对应静止时的直线数量为0，而对应运动时的直线数量为2，可设定阈值为0或1(为了避免因其它带直线的移动物体所带来的干扰，优选为1)，例如针对电梯轿厢的对开门，可设定阈值为1，当所述直线数量大于1时，确定与所述单帧图像对应的采集时门状态为开门运动状态，而当所述直线数量小于1或等于1时，确定与所述单帧图像对应的采集时门状态为非开门运动状态。
88.s6.若是，则确定与所述单帧图像对应的采集时门状态为开门运动状态。
89.由此基于前述步骤s1～s6所描述的门状态检测方法，提供了一种可智能识别开门运动状态的计算机视觉处理方案，即先采用背景差分法提取得到与门监控视频中单帧图像对应的运动前景图像，然后通过对该运动前景图像依次进行边缘轮廓检测处理和直线数量检测处理，可得到对应的直线数量，最后将该直线数量与预设阈值的比较结果作为采集时门状态是否为开门运动状态的确定依据，得到门状态检测结果。与单一的直线检测方案相比，由于该方案首先采用背景差分法分割出运动前景，可使得最终检测结果在开门运动时能够排除视野内其它带直线的静止物体(例如电梯轿厢内的静止广告牌、地板或电梯内壁等矩形物体)所带来的干扰，有效提高了门状态检测结果的准确度，并适用于所有视频监控场景，并且无需配置诸如加速度传感器等硬件，可降低设备复杂度和硬件成本，利于助力进行轿厢乘客流量统计或其他相关事务，便于实际应用和推广。
90.本实施例在前述第一方面的技术方案基础上，还具体提供了一种如何提取得到运动前景图像的可能设计一，即根据所述门监控视频，采用背景差分法提取得到与所述门监控视频中单帧图像对应的运动前景图像，包括但不限于有如下步骤s211～s212。
91.s211.从所述门监控视频中获取采集时刻位于所述单帧图像之前的前帧图像。
92.在所述步骤s211中，所述前帧图像即作为对应所述单帧图像的背景参考模型，可
以但不限于为所述门监控视频中的首帧图像或相对于所述单帧图像具有固定采集时差的特定帧图像。
93.s212.计算所述单帧图像与所述前帧图像的灰度值差异，得到用于作为所述运动前景图像的差分图像，其中，所述差分图像中各个像素点的灰度值为在两图像中对应像素点的灰度值差的绝对值。
94.在所述步骤s212中，若所述单帧图像和所述前帧图像均为灰度化图像，可在分别进行高斯平滑处理(即一种线性平滑滤波处理方法，适用于消除高斯噪声，并广泛应用于图像处理的减噪过程)等预处理后进行所述两图像(即所述单帧图像和所述前帧图像)的灰度值差异计算；而若所述单帧图像或所述前帧图像为彩色图像，则需在依次进行灰度化处理和高斯平滑处理后才能进行所述两图像的灰度值差异计算。
95.由此基于前述步骤s211～s212所详细描述的可能设计一，可通过帧差计算得到包含有大量边缘特征的差分图像，以便后续利于对该差分图像进行边缘轮廓检测，得到准确的运动前景线条轮廓。
96.本实施例在前述第一方面或可能设计一的技术方案基础上，还具体提供了另一种如何提取得到运动前景图像的可能设计二，即根据所述门监控视频，采用背景差分法提取得到与所述门监控视频中单帧图像对应的运动前景图像，包括但不限于有如下步骤s221～s222。
97.s221.从所述门监控视频中获取采集时刻位于所述单帧图像之前的连续多帧图像，其中，所述连续多帧图像中的尾帧图像在采集时序上与所述单帧图像相邻。
98.在所述步骤s221中，所述连续多帧图像用于作为对应所述单帧图像的背景参考模型的训练样本，因此需与所述单帧图像相邻，其可以但不限于包含有从首帧图像至所述尾帧图像的所有帧图像或者从相对于所述单帧图像具有固定采集时差的特定帧图像至所述尾帧图像的所有帧图像。
99.s222.根据所述连续多帧图像，采用背景减除算法对所述单帧图像进行背景减除处理，得到用于作为所述运动前景图像的前景掩码图像。
100.在所述步骤s222中，同样的，若所述单帧图像和所述连续多帧图像均为灰度化图像，可在分别进行高斯平滑处理等预处理后进行所述背景减除处理；而若所述单帧图像或所述连续多帧图像为彩色图像，则需在依次进行灰度化处理和高斯平滑处理后才能进行所述背景减除处理。所述背景减除算法是一种有效的运动对象检测算法，其基本思想是利用背景的参数模型来近似背景图像的像素值，将当前帧与背景图像进行差分比较实现对运动区域的检测，其中区别较大的像素区域被认为是运动区域，而区别较小的像素区域被认为是背景区域。所述背景减除算法必须要有背景图像，并且背景图像必须是随着光照或外部环境的变化而实时更新的，因此背景减除算法的关键是背景建模及其更新，进而可根据所述连续多帧图像来进行背景建模及更新，然后应用更新后的背景模型对所述单帧图像进行背景减除处理，得到所述前景掩码图像。具体的，可以但不限于直接调用开源opencv库(其是一个基于bsd许可发行的跨平台计算机视觉和机器学习软件库，可以运行在linux、windows、android和mac os操作系统上；它轻量级而且高效——由一系列c函数和少量c++类构成，同时提供了python、ruby和matlab等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法)中自带的高斯混合模型(mixture of gaussians，mog)或k最近邻法(k
‑
nearest neighbor，knn)等背景减除算法来对所述单帧图像进行背景减除处理。
101.由此基于前述步骤s221～s222所详细描述的可能设计二，可通过背景减除得到包含有大量边缘特征的前景掩码图像，以便后续利于对该前景掩码图像进行边缘轮廓检测，得到准确的运动前景线条轮廓。此外，考虑在采集时序前期难以得到足够数量的所述连续多帧图像，因此可采用前述可能设计一的方法来提取得到所述运动前景图像，而在采集时序后期，既可以择一地采用前述可能设计一或二的方法来提取得到所述运动前景图像，也可以先采用前述可能设计一和二的方法来提取得到对应的运动前景图像，然后通过对两运动前景图像进行图像的二值化处理和逻辑与运算处理，来得到最终的且呈二值化的运动前景图像，以便综合两种方法的边缘特征提取结果，有效过滤干扰噪声。
102.本实施例在前述第一方面、可能设计一或二的技术方案基础上，还具体提供了一种在边缘轮廓检测前过滤干扰噪声的可能设计三，即在采用边缘检测算法对所述运动前景图像进行边缘轮廓检测处理之前，所述方法还包括但不限于有如下步骤s301～s302。
103.s301.根据像素点的灰度值与预设灰度阈值的比较结果，对所述运动前景图像进行图像二值化处理，得到二值化图像。
104.在所述步骤s301中，基于阈值比较结果来进行图像二值化的目的在于：可减小所述目标门在开门运动过程中由于门边界运动速度较快而导致边界模糊的影响，进而使用二值化特征补充边缘特征，避免降低后续使用诸如canny算法进行边缘轮廓检测的准确性。具体的，所述图像二值化处理的具体方式可以但不限于为：针对灰度值大于或等于所述预设灰度阈值的像素点，判定为运动前景像素点，并将对应的灰度值更新为255(即一个统一的非零值)，而针对灰度值小于所述第一预设灰度阈值的像素点，判定为静止背景像素点，并将对应的灰度值更新为0(即0零值)。
105.s302.对所述二值化图像进行先膨胀后腐蚀的形态学处理，得到用于进行边缘轮廓检测处理的新运动前景图像。
106.在所述步骤s302中，考虑在形态学处理中，先膨胀后腐蚀操作能够让直线边缘更加明显，便于后续步骤精准地检测直线，而先腐蚀后膨胀操作则会使直线变少变短，因此通过前述形态学处理，可以为所述运动前景图像中的直线边缘特征，减少其他噪声的干扰，起到类似滤波的作用。
107.由此基于前述步骤s301～s302所详细描述的可能设计三，通过在边缘轮廓检测处理前，先基于阈值比较结果来完成对所述前景运动图像的图像二值化，再对二值化图像进行先膨胀后腐蚀的形态学处理，即可以减小所述目标门在开门运动过程中由于门边界运动速度较快而导致边界模糊的影响，进而使用二值化特征补充边缘特征，避免降低后续使用诸如canny算法进行边缘轮廓检测的准确性，还可为所述运动前景图像中的直线边缘特征，减少其他噪声的干扰，起到类似滤波的作用，便于后续步骤精准地检测直线。
108.如图2所示，本实施例第二方面提供了一种实现第一方面或第一方面中任意一种可能设计的所述门状态检测方法的虚拟装置，包括有依次通信连接的视频获取单元、背景分割单元、边缘检测单元、直线检测单元、阈值判断单元和状态确定单元；
109.所述视频获取单元，用于获取门监控视频；
110.所述背景分割单元，用于根据所述门监控视频，采用背景差分法提取得到与所述门监控视频中单帧图像对应的运动前景图像；
111.所述边缘检测单元，用于采用边缘检测算法对所述运动前景图像进行边缘轮廓检测处理，得到边缘轮廓图像；
112.所述直线检测单元，用于采用直线检测算法对所述边缘轮廓图像进行直线数量检测处理，得到直线数量；
113.所述阈值判断单元，用于判断所述直线数量是否大于预设阈值；
114.所述状态确定单元，用于在判定所述直线数量大于所述预设阈值时，确定与所述单帧图像对应的采集时门状态为开门运动状态。
115.在一种可能的设计中，所述背景分割单元包括有通信相连的第一图像获取子单元和差异计算子单元；
116.所述第一图像获取子单元，用于从所述门监控视频中获取采集时刻位于所述单帧图像之前的前帧图像；
117.所述差异计算子单元，用于计算所述单帧图像与所述前帧图像的灰度值差异，得到用于作为所述运动前景图像的差分图像，其中，所述差分图像中各个像素点的灰度值为在两图像中对应像素点的灰度值差的绝对值。
118.在一种可能的设计中，所述背景分割单元包括有通信相连的第二图像获取子单元和背景减除子单元；
119.所述第二图像获取子单元，用于从所述门监控视频中获取采集时刻位于所述单帧图像之前的连续多帧图像，其中，所述连续多帧图像中的尾帧图像在采集时序上与所述单帧图像相邻；
120.所述背景减除子单元，用于根据所述连续多帧图像，采用背景减除算法对所述单帧图像进行背景减除处理，得到用于作为所述运动前景图像的前景掩码图像。
121.在一种可能的设计中，还包括有二值化处理单元和形态学处理单元；
122.所述二值化处理单元，通信连接所述背景分割单元，用于根据像素点的灰度值与预设灰度阈值的比较结果，对所述运动前景图像进行图像二值化处理，得到二值化图像；
123.所述形态学处理单元，分别通信连接所述二值化处理单元和所述边缘检测单元，用于对所述二值化图像进行先膨胀后腐蚀的形态学处理，得到用于进行边缘轮廓检测处理的新运动前景图像。
124.本实施例第二方面提供的前述装置的工作过程、工作细节和技术效果，可以参见第一方面或第一方面中任意一种可能设计所述的门状态检测方法，于此不再赘述。
125.如图3所示，本实施例第三方面提供的所述轿厢乘客流量统计方法，同样可以但不限于由具有一定计算资源的所述个人计算机执行，以便基于厢内监控视频进行轿厢门状态检测，然后根据轿厢门状态检测结果自动更新轿厢乘客总流量，特别利于实现电梯中的视频监控智能化。所述轿厢乘客流量统计方法，可以但不限于包括有如下步骤s11～s16。
126.s11.获取厢内监控视频，其中，所述厢内监控视频的监控视野涵盖厢门的所在区域。
127.在所述步骤s11中，所述厢内监控视频为针对轿厢(例如电梯轿厢或缆车厢等)的内部空间而采集获取的监控视频，其可以是实时采集的监控视频，也可以是历史采集的并存储在诸如视频服务器或本地存储器等中的监控视频，因此其获取的具体方式可以但不限于包括：接收来自监控摄像头的实时监控视频，或者从所述视频服务器或所述本地存储器
中读取历史监控视频。由于所述厢内监控视频的监控视野涵盖厢门的所在区域，使得所采集的厢内监控图像必然包含有所述厢门的监控图像，因此可以在后续步骤中将所述厢内监控视频作为门监控视频，进而进行轿厢门状态检测。
128.s12.将所述厢内监控视频作为门监控视频，采用如前第一方面或第一方面中任意一种可能设计所述的门状态检测方法或应用如前第二方面或第二方面中任意一种可能设计所述的门状态检测装置，按照从先至后的采集时序依次确定与所述厢内监控视频中各帧厢内监控图像对应的且与所述厢门对应的采集时门状态。
129.在所述步骤s12中，由于轿厢乘客总流量是基于时间先后顺序累加乘客数目的结果，因此需要按照从先至后的采集时序依次确定与所述厢内监控视频中各帧厢内监控图像对应的且与所述厢门对应的采集时门状态，即从所述厢内监控视频中首帧厢内监控图像开始，依次确定与后续各帧厢内监控图像对应的采集时门状态。
130.s13.当发现与前帧厢内监控图像对应的采集时门状态为非开门运动状态且与后帧厢内监控图像对应的采集时门状态为开门运动状态或者发现与所述前帧厢内监控图像对应的采集时门状态为开门运动状态且与所述后帧厢内监控图像对应的采集时门状态为非开门运动状态时，选取所述前帧厢内监控图像或所述后帧厢内监控图像作为待测图像，其中，所述前帧厢内监控图像和所述后帧厢内监控图像为所述厢内监控视频中的且在采集时序上相邻的两帧厢内监控图像。
131.在所述步骤s13中，针对与所述前帧厢内监控图像对应的采集时门状态为非开门运动状态且与所述后帧厢内监控图像对应的采集时门状态为开门运动状态，对应的轿厢门状态为从闭合静止状态、全开静止状态或不确定状态(即通过前述步骤s12未能确定出与所述前帧厢内监控图像对应的采集时门状态)切换至开门运动状态的临界点，即对应开门启动时刻前后或关门启动时刻前后，由于此时不会有乘客人员出入所述厢门，因此可作为更新总乘客流量的特定时间点，选取所述前帧厢内监控图像或所述后帧厢内监控图像作为待测图像，进而基于所述待测图像检测得到所述特定时间点的乘客数目。
132.在所述步骤s13中，针对与所述前帧厢内监控图像对应的采集时门状态为开门运动状态且与所述后帧厢内监控图像对应的采集时门状态为非开门运动状态，对应的轿厢门状态为从开门运动状态切换至闭合静止状态、全开静止状态或不确定状态的临界点，即对应开门结束时刻前后或关门结束时刻前后，由于此时也不会有乘客人员出入所述厢门，因此可作为更新总乘客流量的特定时间点，选取所述前帧厢内监控图像或所述后帧厢内监控图像作为待测图像，进而基于所述待测图像检测得到所述特定时间点的乘客数目。
133.s14.采用目标检测算法对所述待测图像进行人员检测处理，得到人员检测结果。
134.在所述步骤s14中，出于仅根据厢内监控视频进行乘客统计或人物跟踪的目的，首先需要在厢内监控图像中检测出乘客或电梯异物等目标，而目前从视频序列的背景中检测运动目标主要有帧差异法、光流法、混合高斯模型法和基于矩阵低秩性的方法等。但是考虑到厢内其他运动物体，如广告、电梯门运动或宠物等对乘客统计的干扰，上述传统的算法不能满足只检测乘客的要求，所以需要进行更精确的人员检测。为减少背景干扰并提高检测的效果，通常会划分感兴趣区域并生成回归框，而在感兴趣区域中，通过行人特征算子进行检测，主要分为传统的底层特征结合分类器的检测方法和基于深度学习的方法。基于深度学习的行人检测算法是从正负样本中的大量的图片进行学习，获得能明确表示行人的特
征，其中，卷积神经网络行人检测器除了基于候选区的两阶段检测器之外，还基于候选区的单阶段检测器在利用卷积神经网络提取特征的基础上直接进行分类或回归，速度较快，准确性较高。但是由于厢内监控视频的特殊性，如乘客人体属性不适合用传统特征描述符表示，乘客并不都是正向面对摄像头等特点，本实施例选择了更精确的目标检测算法来实现行人检测，为后续乘客总流量统计的研究奠定了基础。
135.在所述步骤s14中，所述目标检测算法是一种用于在图片中将里面的物体识别出来且标记出物体位置的现有人工智能识别算法，具体可以但不限于采用faster r
‑
cnn(faster regions with convolutional neural networks features，由何凯明等在2015年提出目标检测算法，该算法在2015年的ilsvrv和coco竞赛中获得多项第一)目标检测算法、ssd(single shot multibox detector，单镜头多盒检测器，是wei liu在eccv 2016上提出的一种目标检测算法，是目前流行的主要检测框架之一)目标检测算法或yolo(you only look once，目前最新已经发展到v4版本，在业界的应用也很广泛)目标检测算法等。因此可以具体采用所述faster r
‑
cnn目标检测算法、所述ssd目标检测算法或所述yolo目标检测算法等对所述待测图像进行人员检测处理，得到所述人员检测结果。以所述yolo目标检测算法为例，如图4所示，其实现原理如下：首先为每个小栅格对应的边界框生成多个预测框，然后根据置信度计算各个预测框的得分，再然后经过阈值对比去除低得分的预测框，再计算剩余预测框与真实框的交并比，并通过非极大值抑制快速地过滤掉重合度较高但预测位置相对不准确的预测框，最后输出检测结果(其可以但不限于包含有：识别目标的位置、类别和预测概率等)。由此在所述输出检测结果中，通过掩盖检测得到的“人员”以外的其他类别，可得到对应“人员”类别的识别目标，并为识别到的每个乘客人员绘制矩形框、标签和概率等识别信息。
136.s15.根据所述人员检测结果统计得到乘客数目。
137.s16.将所述乘客数目累加到总乘客流量中，得到新的总乘客流量。
138.在所述步骤s16中，所述总乘客流量的初始值为0，由此通过每次在更新总乘客流量的特定时间点获取乘客数目并进行累加，可以实现基于时间先后顺序逐渐更新总乘客流量的目的。此外，考虑在一次完整的开门关门过程中，会存在四个可用于更新总乘客流量的特定时间点：开门启动时刻前后、关门启动时刻前后、开门结束时刻前后和关门结束时刻前后等，因此为了避免重复累加，确保所述总乘客流量的准确性和合理性，可针对仅当发现与所述前帧厢内监控图像对应的采集时门状态为非开门运动状态且与所述后帧厢内监控图像对应的采集时门状态为开门运动状态时才选取所述待测图像的情况或者仅当发现与所述前帧厢内监控图像对应的采集时门状态为开门运动状态且与后帧厢内监控图像对应的采集时门状态为非开门运动状态时才选取所述待测图像的情况，考虑在一次完整的开门关门过程中会累加两次，故每次可将所述乘客数目的一半累加到所述总乘客流量中，得到新的总乘客流量(其根据需要可取整数或非整数)。而针对当发现与所述前帧厢内监控图像对应的采集时门状态为非开门运动状态且与所述后帧厢内监控图像对应的采集时门状态为开门运动状态时和当发现与所述前帧厢内监控图像对应的采集时门状态为开门运动状态且与后帧厢内监控图像对应的采集时门状态为非开门运动状态时会分别选取所述待测图像的情况，考虑在一次完整的开门关门过程中会累加四次，故每次可将所述乘客数目的四分之一累加到所述总乘客流量中，得到新的总乘客流量(其也可根据需要可取整数或非整
数)，这种累加方式特别适用于在厢门打开过中有乘客急于出入厢内的实际情况，因此可保障在这种情况下所述总乘客流量的准确性和合理性。
139.由此基于前述步骤s11～s16所详细描述的轿厢乘客流量统计方法，提供了一种可智能统计厢内乘客流量的计算机视觉处理方案，即先基于厢内监控视频进行轿厢门状态检测，然后根据轿厢门状态检测结果来确定用于更新总乘客流量的特定时间点，最后基于对该特定时间点的厢内监控图像进行的目标检测结果，自动更新轿厢乘客总流量，特别利于实现电梯中的视频监控智能化。此外，由于是选择基于深度学习的目标检测算法来进行人员检测，可通过过滤检测结果使得输出仅为“人员”类别的回归框，实现对厢内乘客目标进行精确检测的目的。
140.如图5所示，本实施例第四方面提供了一种实现第三方面的所述轿厢乘客流量统计方法的虚拟设备，包括有依次通信连接的监控视频获取模块、门状态确定模块、待测图像获取模块、人员检测处理模块、乘客数目统计模块和总乘客流量更新模块；
141.所述监控视频获取模块，用于获取厢内监控视频，其中，所述厢内监控视频的监控视野涵盖厢门的所在区域；
142.所述门状态确定模块，用于将所述厢内监控视频作为门监控视频，采用如前第一方面或第一方面中任意一种可能设计所述的门状态检测方法或应用如前第二方面或第二方面中任意一种可能设计所述的门状态检测装置，按照从先至后的采集时序依次确定与所述厢内监控视频中各帧厢内监控图像对应的且与所述厢门对应的采集时门状态；
143.所述待测图像获取模块，用于当发现与前帧厢内监控图像对应的采集时门状态为非开门运动状态且与后帧厢内监控图像对应的采集时门状态为开门运动状态或者发现与所述前帧厢内监控图像对应的采集时门状态为开门运动状态且与所述后帧厢内监控图像对应的采集时门状态为非开门运动状态时，选取所述前帧厢内监控图像或所述后帧厢内监控图像作为待测图像，其中，所述前帧厢内监控图像和所述后帧厢内监控图像为所述厢内监控视频中的且在采集时序上相邻的两帧厢内监控图像；
144.所述人员检测处理模块，用于采用目标检测算法对所述待测图像进行人员检测处理，得到人员检测结果；
145.所述乘客数目统计模块，用于根据所述人员检测结果统计得到乘客数目；
146.所述总乘客流量更新模块，用于将所述乘客数目累加到总乘客流量中，得到新的总乘客流量。
147.本实施例第四方面提供的前述设备的工作过程、工作细节和技术效果，可以参见第三方面所述的轿厢乘客流量统计方法，于此不再赘述。
148.如图6所示，本实施例第五方面提供了一种采用第三方面的所述轿厢乘客流量统计方法的系统，包括有依次通信连接的监控摄像头1、视频服务器2和个人计算机3，其中，所述监控摄像头1布置在厢内顶部并使监控视野涵盖厢门的所在区域；所述监控摄像头1，用于将采集获取的视频流传送至所述视频服务器2；所述视频服务器2，用于对所述视频流进行数码转换，得到厢内监控视频；所述个人计算机3，用于从所述视频服务器2中获取所述厢内监控视频，并执行如第三方面所述的轿厢乘客流量统计方法，得到总乘客流量的统计结果。
149.如图6所示，在所述轿厢乘客流量统计系统的具体结构中，所述监控摄像头1用于
获取视频序列化的视频流(该视频流中的图像可以是彩色图像，也可以是呈灰度化的黑白图像)，其可按照一般的安装原则，固定在电梯轿厢100的厢内顶部靠右的位置。所述视频服务器2可通过数码转换，统一多样化的视频格式，以便操作者进行管理和查看，其还可实现对视频文件的加密，有效保护厢内乘客200的隐私安全。所述个人计算机3可运行基于如第三方面所述的轿厢乘客流量统计方法的软件程序，得到所述总乘客流量的统计结果，如图7所示，在所述软件程序的人机交互界面中，可以但不限于具有视频播放窗口31、视频进度调节滑块32、待测图像显示窗口33、音量调节滑块34和总乘客流量显示窗口35等，由此可响应用户操作要求，执行不同的软件功能，如读取视频、进行电梯门开关状态判断、截取帧画面、调用深度学习算法和显示实时总客流量等统计结果。此外，所述软件程序及所述人机交互界面可以但不限于使用pyqt5软件开发平台进行程序设计，以便实现算法的移植，并易于改进和更新，使实时性能够得到保证，具有交互性强和实用性强特点。
150.本实施例第五方面提供的前述系统的工作过程、工作细节和技术效果，可以参见第三方面所述的轿厢乘客流量统计方法，于此不再赘述。
151.如图8所示，本实施例第六方面提供了一种执行第一方面或第一方面中任意一种可能设计的所述门状态检测方法或执行第三方面的所述轿厢乘客流量统计方法的计算机设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意一种可能设计所述的门状态检测方法或第三方面的所述轿厢乘客流量统计方法。具体举例的，所述存储器可以但不限于包括随机存取存储器(random
‑
access memory，ram)、只读存储器(read
‑
only memory，rom)、闪存(flash memory)、先进先出存储器(first input first output，fifo)和/或先进后出存储器(first input last output，filo)等等；所述收发器可以但不限于为wifi(无线保真)无线收发器、蓝牙无线收发器、gprs(general packet radio service，通用分组无线服务技术)无线收发器和/或zigbee(紫蜂协议，基于ieee802.15.4标准的低功耗局域网协议)无线收发器等；所述处理器可以不限于采用型号为stm32f105系列的微处理器。此外，所述计算机设备还可以但不限于包括有电源模块、显示屏和其它必要的部件。
152.本实施例第六方面提供的前述计算机设备的工作过程、工作细节和技术效果，可以参见第一方面或第一方面中任意一种可能设计所述的门状态检测方法或第三方面的所述轿厢乘客流量统计方法，于此不再赘述。
153.本实施例第七方面提供了一种存储包含第一方面或第一方面中任意一种可能设计的所述门状态检测方法或第三方面的所述轿厢乘客流量统计方法的指令的计算机可读存储介质，即所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意一种可能设计所述的门状态检测方法或第三方面的所述轿厢乘客流量统计方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(memory stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
154.本实施例第七方面提供的前述计算机可读存储介质的工作过程、工作细节和技术效果，可以参见第一方面或第一方面中任意一种可能设计所述的门状态检测方法或第三方面的所述轿厢乘客流量统计方法，于此不再赘述。
155.本实施例第八方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或第一方面中任意一种可能设计所述的门状态检测方法或第三方面的所述轿厢乘客流量统计方法。其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
156.最后应说明的是，本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。