基于图像识别的逆行判断方法、装置、设备和存储介质与流程
本发明实施例涉及公共服务技术领域，尤其涉及基于图像识别的逆行判断方法、装置、设备和存储介质。
背景技术：
随着城市化进程的加快，城市人口比例越来越高，大城市的人口越来越多，与人口变化同步发展的还有城市公共服务的快速发展，地铁、商场、机场等。为在人群密集的公共场合提供高效快速的人员集散方案，扶梯因为其不间断运行得到大量的使用。但是在乘客集中在运行的扶梯上除了设备故障带来的安全隐患，还存在乘客乘坐扶梯过程中不遵守公共秩序(例如逆行)带来的安全隐患。
在现有技术中，为了减少扶梯上乘客逆行带来的安全事故的发生，会通过红外感应等方案对扶梯上乘客的行进方向进行检测，并对逆行乘客发出提醒告警，但是现有的检测方案因为乘客遮挡、场景复杂等原因，出现大量漏检、误检、告警错误等情况。
技术实现要素：
本发明提供了基于图像识别的逆行判断方法、装置、设备和存储介质，以解决现有技术中对逆行检测出现漏检、误检和告警错误的技术问题。
第一方面，本发明实施例提供了一种基于图像识别的逆行判断方法，包括：
实时获取扶梯区域的视频数据；
检测所述视频数据中的头部区域，对所述头部区域进行目标跟踪得到头部运动方向；
确认所述头部区域的数量是否大于预设门限值；
若所述头部区域的数量大于预设门限值，根据所述头部区域的不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态；
若所述头部区域的数量小于或等于预设门限值，则对所述视频数据进行扶梯流光跟踪获取扶梯的运动方向，并根据所述扶梯的运动方向和头部运动方向确认逆行状态。
其中，所述检测所述视频数据中的头部区域，对所述头部区域进行目标跟踪得到头部运动方向，包括：
检测所述视频数据中的头部区域；
计算每个所述头部区域在相邻两帧中的偏移量；
若单个所述头部区域在连续n帧在竖直方向上的累计偏移量大于等于第一阈值，则确认该头部区域的运动方向为下行；
若单个所述头部区域在连续n帧在竖直方向上的累计偏移量小于等于第二阈值，则确认该头部区域的运动方向为上行；
其中，n为大于2的整数。
其中，所述检测所述视频数据中的头部区域，具体为：
检测所述视频数据中每帧画面中的头部区域以及所述头部区域中的人头朝向；
所述根据所述头部区域的不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态，包括：
根据所述头部区域对应的人头朝向对对应的运动方向进行修正；
根据修正后不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态。
其中，所述根据所述头部区域对应的人头朝向对对应的运动方向进行修正，包括：
根据所述头部区域的运动向量与所述人头朝向的朝向向量判断运动姿态是否正常；
根据所述运动姿态的判断结果对运动方向进行修正。
其中，所述人头朝向通过人头朝向分类器进行检测，所述人头朝向分类器通过预设的卷积神经网络对扶梯样本图像数据进行训练得到。
其中，所述预设的卷积神经网络包括依次连接的第一卷积层、第一激活层、第一池化层、第二卷积层、第二激活层、第三卷积层、第三激活层、第四卷积层、第四激活层、第一全局池化层、第五卷积层、第五激活层、第六卷积层、第六激活层、第七卷积层、第七激活层、第八卷积层、第八激活层、第九卷积层、第九激活层、第二全局池化层、第十卷积层、第十激活层、第十一卷积层、第十一激活层、第十二卷积层、第十二激活层、第十三卷积层、第十三激活层、第十四卷积层、第十四激活层、第三全局池化层、第十五卷积层、第十五激活层、第十六卷积层、第十六激活层、第十七卷积层、第十七激活层、第十八卷积层、第十八激活层、第十九卷积层、第十九激活层、第四全局池化层、第二十卷积层、第二十激活层、第二十一卷积层、第二十一激活层、第二十二卷积层、第二十二激活层、第二十三卷积层、第二十三激活层、第二十四卷积层、第二十四激活层、第五全局池化层、第二十五卷积层、第二十五激活层、第二十六卷积层、第二十六激活层、第二十七卷积层、第二十七激活层、第二十八卷积层、第二十八激活层、第二十九卷积层、第二十九激活层、第六全局池化层、第三十卷积层、第三十激活层、第三十一卷积层、第三十一激活层、第二池化层、全连接层和损失层；
对于激活层，令xi为第i个神经元的的输入，wi为第i个神经元的权值，yi为第i个神经元的的输出，f为激活函数，则满足
其中，所述预设卷积神经网络还嵌入有第一压缩激励层、第二压缩激励层、第三压缩激励层、第四压缩激励层、第五压缩激励层和第六压缩激励层，其中，所述第一压缩激励层嵌于所述第六卷积层和所述第七卷积层之间，所述第一压缩激励层的输入端还与所述第一池化层以及所述第四卷积层的输出端相连；所述第二压缩激励层嵌于所述第十一卷积层和所述第十二卷积层之间，所述第二压缩激励层的输入端还与所述第一压缩激励层以及所述第九卷积层的输出端相连；所述第三压缩激励层嵌于所述第十六卷积层和所述第十七卷积层之间，所述第三压缩激励层的输入端还与所述第二压缩激励层以及所述第十四卷积层的输出端相连；所述第四压缩激励层嵌于所述第二十一卷积层和所述第二十二卷积层之间，所述第四压缩激励层的输入端还与所述第三压缩激励层以及所述第十九卷积层的输出端相连；所述第五压缩激励层嵌于所述第二十六卷积层和所述第二十七卷积层之间，所述第五压缩激励层的输入端还与所述第四压缩激励层以及所述第二十四卷积层的输出端相连；所述第六压缩激励层嵌于所述第三十一卷积层和所述第二池化层之间，所述第六压缩激励层的输入端还与所述第五压缩激励层以及所述第二十九卷积层的输出端相连。
第二方面，本发明实施例还提供了一种基于图像识别的逆行判断装置，包括：
视频数据获取单元，用于实时获取扶梯区域的视频数据；
头部区域跟踪单元，用于检测所述视频数据中的头部区域，对所述头部区域进行目标跟踪得到头部运动方向；
头部数量判断单元，用于确认所述头部区域的数量是否大于预设门限值；
第一逆行判断单元，用于若所述头部区域的数量大于预设门限值，根据所述头部区域的不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态；
第二逆行判断单元，用于若所述头部区域的数量小于或等于预设门限值，则对所述视频数据进行扶梯流光跟踪获取扶梯的运动方向，并根据所述扶梯的运动方向和头部运动方向确认逆行状态。
其中，所述头部区域跟踪单元，包括：
头部区域检测模块，用于检测所述视频数据中的头部区域；
偏移量计算模块，用于计算每个所述头部区域在相邻两帧中的偏移量；
下行运动判断模块，用于若单个所述头部区域在连续n帧在竖直方向上的累计偏移量大于等于第一阈值，则确认该头部区域的运动方向为下行；
上行运动判断模块，用于若单个所述头部区域在连续n帧在竖直方向上的累计偏移量小于等于第二阈值，则确认该头部区域的运动方向为上行；
其中，n为大于2的整数。
其中，所述头部区域检测模块，具体用于：
检测所述视频数据中每帧画面中的头部区域以及所述头部区域中的人头朝向；
所述根据所述头部区域的不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态，包括：
根据所述头部区域对应的人头朝向对对应的运动方向进行修正；
根据修正后不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态。
其中，所述根据所述头部区域对应的人头朝向对对应的运动方向进行修正，包括：
根据所述头部区域的运动向量与所述人头朝向的朝向向量判断运动姿态是否正常；
根据所述运动姿态的判断结果对运动方向进行修正。
其中，所述人头朝向通过人头朝向分类器进行检测，所述人头朝向分类器通过预设的卷积神经网络对扶梯样本图像数据进行训练得到。
其中，所述预设的卷积神经网络包括依次连接的第一卷积层、第一激活层、第一池化层、第二卷积层、第二激活层、第三卷积层、第三激活层、第四卷积层、第四激活层、第一全局池化层、第五卷积层、第五激活层、第六卷积层、第六激活层、第七卷积层、第七激活层、第八卷积层、第八激活层、第九卷积层、第九激活层、第二全局池化层、第十卷积层、第十激活层、第十一卷积层、第十一激活层、第十二卷积层、第十二激活层、第十三卷积层、第十三激活层、第十四卷积层、第十四激活层、第三全局池化层、第十五卷积层、第十五激活层、第十六卷积层、第十六激活层、第十七卷积层、第十七激活层、第十八卷积层、第十八激活层、第十九卷积层、第十九激活层、第四全局池化层、第二十卷积层、第二十激活层、第二十一卷积层、第二十一激活层、第二十二卷积层、第二十二激活层、第二十三卷积层、第二十三激活层、第二十四卷积层、第二十四激活层、第五全局池化层、第二十五卷积层、第二十五激活层、第二十六卷积层、第二十六激活层、第二十七卷积层、第二十七激活层、第二十八卷积层、第二十八激活层、第二十九卷积层、第二十九激活层、第六全局池化层、第三十卷积层、第三十激活层、第三十一卷积层、第三十一激活层、第二池化层、全连接层和损失层；
对于激活层，令xi为第i个神经元的的输入，wi为第i个神经元的权值，yi为第i个神经元的的输出，f为激活函数，则满足
其中，所述预设卷积神经网络还嵌入有第一压缩激励层、第二压缩激励层、第三压缩激励层、第四压缩激励层、第五压缩激励层和第六压缩激励层，其中，所述第一压缩激励层嵌于所述第六卷积层和所述第七卷积层之间，所述第一压缩激励层的输入端还与所述第一池化层以及所述第四卷积层的输出端相连；所述第二压缩激励层嵌于所述第十一卷积层和所述第十二卷积层之间，所述第二压缩激励层的输入端还与所述第一压缩激励层以及所述第九卷积层的输出端相连；所述第三压缩激励层嵌于所述第十六卷积层和所述第十七卷积层之间，所述第三压缩激励层的输入端还与所述第二压缩激励层以及所述第十四卷积层的输出端相连；所述第四压缩激励层嵌于所述第二十一卷积层和所述第二十二卷积层之间，所述第四压缩激励层的输入端还与所述第三压缩激励层以及所述第十九卷积层的输出端相连；所述第五压缩激励层嵌于所述第二十六卷积层和所述第二十七卷积层之间，所述第五压缩激励层的输入端还与所述第四压缩激励层以及所述第二十四卷积层的输出端相连；所述第六压缩激励层嵌于所述第三十一卷积层和所述第二池化层之间，所述第六压缩激励层的输入端还与所述第五压缩激励层以及所述第二十九卷积层的输出端相连。
第三方面，本发明实施例还提供了一种终端设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面任一所述的基于图像识别的逆行判断方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面任一所述的基于图像识别的逆行判断方法。
上述基于图像识别的逆行判断方法、装置、设备和存储介质，通过实时获取扶梯区域的视频数据；检测所述视频数据中的头部区域，对所述头部区域进行目标跟踪得到头部运动方向；确认所述头部区域的数量是否大于预设门限值；若所述头部区域的数量大于预设门限值，根据所述头部区域的不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态；若所述头部区域的数量小于或等于预设门限值，则对所述视频数据进行扶梯流光跟踪获取扶梯的运动方向，并根据所述扶梯的运动方向和头部运动方向确认逆行状态。基于头部区域的目标检测的目标区域集中、目标特征明显、受其他乘客遮挡的影响较小，并且根据乘客数量选择不同的逆行参考能够实现更加精确的逆行检测和告警。
附图说明
图1为本发明实施例一提供的一种基于图像识别的逆行判断方法的流程图；
图2为本发明实施例二提供的一种基于图像识别的逆行判断方法的流程图；
图3为本发明实施例二提供的用于训练人头朝向分类器的卷积神经网络的结构示意图；
图4为本发明实施例三提供的一种基于图像识别的逆行判断装置的结构示意图；
图5为本发明实施例四提供的一种终端设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种基于图像识别的逆行判断方法的流程图。如图所示，该基于图像识别的逆行判断方法具体包括：
步骤s101：实时获取扶梯区域的视频数据。
扶梯区域指公共场所安装有扶梯的区域，一般来说，一个扶梯区域安装有两部扶梯分别向两个方向运送乘客，常见的扶梯形式有水平扶梯(常用于机场)和上下扶梯(用于楼层之间)。当然，根据实际乘客运送需求和公共场所的具体设计情况，一个扶梯区域也可能安装有一部扶梯或者多于两部扶梯，一个扶梯区域的两部扶梯也可以是同向运行。为保证扶梯的正常运行，避免在公共场所发生因无序行为导致的设备故障和踩踏事件，对乘坐扶梯时的行李携带、乘客站位、个人行为等都有具体的约束，其中乘客逆行是扶梯运行过程中最容易导致意外的个人行为(尤其是上下扶梯)。
在扶梯上，不遵守扶梯乘坐规则的行为导致的安全事故通常具有突发性，因此需要对扶梯上的乘客状态进行实时监测，排除乘客行为带来的安全隐患，对于安装有扶梯的公共场所而言，通常有运行时间长，客流量大等特征，如果对扶梯的实时监测通过人力实现，不仅效率低，而且漏洞多。
在本方案中，对应在扶梯区域安装摄像头，通过摄像头实时获取扶梯区域的视频数据，基于对视频数据的处理识别判断快速完成逆行判断，摄像头可以安装在扶梯的任意一端，如果扶梯比较长，可以两端都安装摄像头，对于大长度的扶梯，还可以在扶梯中间位置的上方加装摄像头。对于每个摄像头采集到的视频数据而言，其处理识别判断过程相同。
步骤s102：检测所述视频数据中的头部区域，对所述头部区域进行目标跟踪得到头部运动方向。
视频数据中的图像处理以帧为单位，对于每帧图像，通过目标检测算法定位到每个行人对应的头部区域；在连续帧之间，利用头部跟踪算法，获得每个头部区域的运动向量，运动向量用于表征头部运动方向。
步骤s103：确认所述头部区域的数量是否大于预设门限值。
在基于头部区域的运动向量的逆行判断过程中，扶梯上的乘客数量不同，具体的逆行判断参考不同。在乘客数量较小的情况下，扶梯本身的运动方向能从视频数据中识别出来，通过扶梯的运动方向与头部区域的运动方向的比较能直接判断出逆行状态；在乘客数量较大的情况下，乘客的拥挤状态可能会遮挡扶梯，进而对扶梯本身的运动方向的识别产生干扰，此时可以通过多个头部区域的运动方向的统计确认扶梯的运动方向，并进一步确认逆行的乘客。预设门限值是一个经验值，具体可以是绝对值，即在扶梯上总共出现多少头部区域；预设门限值也可以是相对值，即扶梯上单位面积上有多少头部区域。
步骤s104：若所述头部区域的数量大于预设门限值，根据所述头部区域的不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态。
在扶梯正常运行过程中，乘客的运动方向应当与所在扶梯的运动方向相同，当少数乘客的运动方向与乘客的主流运动方向不同时，视为少数乘客的运动方向与扶梯的运动方向不同，即少数乘客会出现逆行。这一运动关系体现到头部区域的运动方向的统计结果上，逆行的头部区域的数量与所有头部区域的数量的比较至少小于50％，因此，将运动方向与多数头部区域的运动方向不同的头部区域标记为逆行。
步骤s105：若所述头部区域的数量小于或等于预设门限值，则对所述视频数据进行扶梯流光跟踪获取扶梯的运动方向，并根据所述扶梯的运动方向和头部运动方向确认逆行状态。
如果扶梯上的当前状态是乘客较少，即扶梯上的乘客密度不影响直接从视频数据中获取扶梯的运动方向，则对所述视频数据进行扶梯流光跟踪获取扶梯的运动方向，然后以扶梯的运动方向为参考，如果头部区域的运动方向和扶梯的运动方向相同，则该头部区域的运动方向正常，如果头部区域的运动方向和扶梯的运动方向不同，则该头部区域可以标记为逆行。
上述，通过实时获取扶梯区域的视频数据；检测所述视频数据中的头部区域，对所述头部区域进行目标跟踪得到头部运动方向；确认所述头部区域的数量是否大于预设门限值；若所述头部区域的数量大于预设门限值，根据所述头部区域的不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态；若所述头部区域的数量小于或等于预设门限值，则对所述视频数据进行扶梯流光跟踪获取扶梯的运动方向，并根据所述扶梯的运动方向和头部运动方向确认逆行状态。
实施例二
图2为本发明实施例二提供的一种基于图像识别的逆行判断方法的流程图。本实施例是在上述实施例的基础上进行具体化。
具体的，参考图2，本实施例提供的基于图像识别的逆行判断方法具体包括：
步骤s201：实时获取扶梯区域的视频数据。
步骤s202：检测所述视频数据中的头部区域。
具体来，对视频数据中的头部区域的检测需要检测所述视频数据中每帧画面中的头部区域以及所述头部区域中的人头朝向。人头朝向通过人头朝向分类器进行检测，所述人头朝向分类器通过预设的卷积神经网络对扶梯样本图像数据进行训练得到。
具体来说，所述预设的卷积神经网络包括依次连接的第一卷积层、第一激活层、第一池化层、第二卷积层、第二激活层、第三卷积层、第三激活层、第四卷积层、第四激活层、第一全局池化层、第五卷积层、第五激活层、第六卷积层、第六激活层、第七卷积层、第七激活层、第八卷积层、第八激活层、第九卷积层、第九激活层、第二全局池化层、第十卷积层、第十激活层、第十一卷积层、第十一激活层、第十二卷积层、第十二激活层、第十三卷积层、第十三激活层、第十四卷积层、第十四激活层、第三全局池化层、第十五卷积层、第十五激活层、第十六卷积层、第十六激活层、第十七卷积层、第十七激活层、第十八卷积层、第十八激活层、第十九卷积层、第十九激活层、第四全局池化层、第二十卷积层、第二十激活层、第二十一卷积层、第二十一激活层、第二十二卷积层、第二十二激活层、第二十三卷积层、第二十三激活层、第二十四卷积层、第二十四激活层、第五全局池化层、第二十五卷积层、第二十五激活层、第二十六卷积层、第二十六激活层、第二十七卷积层、第二十七激活层、第二十八卷积层、第二十八激活层、第二十九卷积层、第二十九激活层、第六全局池化层、第三十卷积层、第三十激活层、第三十一卷积层、第三十一激活层、第二池化层、全连接层和损失层；
对于激活层，令xi为第i个神经元的的输入，wi为第i个神经元的权值，yi为第i个神经元的的输出，f为激活函数，则满足
请参考图3，在前述卷积神经网络结构的基础上，所述预设卷积神经网络还可以进一步嵌入有第一压缩激励层、第二压缩激励层、第三压缩激励层、第四压缩激励层、第五压缩激励层和第六压缩激励层，其中，所述第一压缩激励层嵌于所述第六卷积层和所述第七卷积层之间，所述第一压缩激励层的输入端还与所述第一池化层以及所述第四卷积层的输出端相连；所述第二压缩激励层嵌于所述第十一卷积层和所述第十二卷积层之间，所述第二压缩激励层的输入端还与所述第一压缩激励层以及所述第九卷积层的输出端相连；所述第三压缩激励层嵌于所述第十六卷积层和所述第十七卷积层之间，所述第三压缩激励层的输入端还与所述第二压缩激励层以及所述第十四卷积层的输出端相连；所述第四压缩激励层嵌于所述第二十一卷积层和所述第二十二卷积层之间，所述第四压缩激励层的输入端还与所述第三压缩激励层以及所述第十九卷积层的输出端相连；所述第五压缩激励层嵌于所述第二十六卷积层和所述第二十七卷积层之间，所述第五压缩激励层的输入端还与所述第四压缩激励层以及所述第二十四卷积层的输出端相连；所述第六压缩激励层嵌于所述第三十一卷积层和所述第二池化层之间，所述第六压缩激励层的输入端还与所述第五压缩激励层以及所述第二十九卷积层的输出端相连。在图3所示的卷积神经网络中，考虑到整个结构由多个层间关系相似的小单元组成，因此在图3中仅示出部分小单元，而对于对应每个卷积层存在的激活层，在图3中也未予示出。
压缩激励层对特征通道间的相关性，而不是空间分布中的相关性，进行建模，能够增强重要的特征，减弱不重要的特征，加强特征的指向性，最终提升准确率。同时，在网络中嵌入压缩激励层并不会显著增加参数量和计算量，工程实践表明该网络能够满足扶梯逆行的实时性要求。
步骤s203：计算每个所述头部区域在相邻两帧中的偏移量。
步骤s204：若单个所述头部区域在连续n帧在竖直方向上的累计偏移量大于等于第一阈值，则确认该头部区域的运动方向为下行。
n为大于2的整数。
步骤s205：若单个所述头部区域在连续n帧在竖直方向上的累计偏移量小于等于第二阈值，则确认该头部区域的运动方向为上行。
在实际的识别过程中，逆行状态应该是对一定时长内的状态综合判断，仅仅基于两帧的图像判断，数据处理量太大，并且数据样本数太少，这种情况下的统计可能会存在结果异常，例如乘坐扶梯过程中调整与前方乘客多隔一个台阶。对连续n帧的累计偏移量计算能够获得更准确的判断结果，例如10帧、15帧(监控摄像头采集的视频数据一般是每秒25帧)。
步骤s206：若所述头部区域的数量大于预设门限值，根据所述头部区域对应的人头朝向对对应的运动方向进行修正。
根据所述头部区域的运动向量与所述人头朝向的朝向向量判断运动姿态是否正常；
根据所述运动姿态的判断结果对运动方向进行修正。
步骤s207：根据修正后不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态。
步骤s208：若所述头部区域的数量小于或等于预设门限值，则对所述视频数据进行扶梯流光跟踪获取扶梯的运动方向，并根据所述扶梯的运动方向和头部运动方向确认逆行状态。
在本方案中，预设门限值的可以固定，例如1、2等自然数，也可以是其他根据扶梯长度、宽度等自定义的数值，在具体实施过程中，预设门限值的设定是不影响跟踪到扶梯的运动方向。
在具体的视频数据处理实现过程中，以上步骤中的判断过程实际通过数学表达实现。令k为视频数据的帧号，ik为视频数据中的第k帧图像，
对于基础的判断机制，第一种情况是头部区域的数量大于预设门限值，则通过所有人头区域的运动方向的统计结果判断逆行状态。令mk为第k帧图像上异常人头数目，t为逆行人头数目占比阈值，如果满足
更具体而言，行人数量大于设定值，使用大部分行人的运动向量
第二种情况是头部区域的数量小于或等于预设门限值，则通过扶梯的运动方向判断逆行状态。对于第i个人头如果满足
具体的头部区域的运动方向识别过程中，对于第k帧图像ik第i个人头的运动向量
对于步骤s206中的修正过程，令
在本方案中，可以进一步设定预设上限值，当识别出的头部区域的数量大于预设上限值时，可以停止逆行判断，从逻辑上而言，当扶梯上的人数量足够多时，乘客无法逆行，此时默认暂停逆行判断。
实施例三
图4为本发明实施例三提供的一种基于图像识别的逆行判断装置的结构示意图。参考图4，该基于图像识别的逆行判断装置包括：视频数据获取单元301、头部区域跟踪单元302、头部数量判断单元303、第一逆行判断单元304以及第二逆行判断单元305。
其中，视频数据获取单元301，用于实时获取扶梯区域的视频数据；头部区域跟踪单元302，用于检测所述视频数据中的头部区域，对所述头部区域进行目标跟踪得到头部运动方向；头部数量判断单元303，用于确认所述头部区域的数量是否大于预设门限值；第一逆行判断单元304，用于若所述头部区域的数量大于预设门限值，根据所述头部区域的不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态；第二逆行判断单元305，用于若所述头部区域的数量小于或等于预设门限值，则对所述视频数据进行扶梯流光跟踪获取扶梯的运动方向，并根据所述扶梯的运动方向和头部运动方向确认逆行状态。
在上述实施例的基础上，所述头部区域跟踪单元302，包括：
头部区域检测模块，用于检测所述视频数据中的头部区域；
偏移量计算模块，用于计算每个所述头部区域在相邻两帧中的偏移量；
下行运动判断模块，用于若单个所述头部区域在连续n帧在竖直方向上的累计偏移量大于等于第一阈值，则确认该头部区域的运动方向为下行；
上行运动判断模块，用于若单个所述头部区域在连续n帧在竖直方向上的累计偏移量小于等于第二阈值，则确认该头部区域的运动方向为上行；
其中，n为大于2的整数。
在上述实施例的基础上，所述头部区域检测模块，具体用于：
检测所述视频数据中每帧画面中的头部区域以及所述头部区域中的人头朝向；
所述根据所述头部区域的不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态，包括：
根据所述头部区域对应的人头朝向对对应的运动方向进行修正；
根据修正后不同运动方向的数量与所述头部区域的数量的比例关系确认逆行状态。
其中，所述根据所述头部区域对应的人头朝向对对应的运动方向进行修正，包括：
根据所述头部区域的运动向量与所述人头朝向的朝向向量判断运动姿态是否正常；
根据所述运动姿态的判断结果对运动方向进行修正。
在上述实施例的基础上，所述人头朝向通过人头朝向分类器进行检测，所述人头朝向分类器通过预设的卷积神经网络对扶梯样本图像数据进行训练得到。
在上述实施例的基础上，所述预设的卷积神经网络包括依次连接的第一卷积层、第一激活层、第一池化层、第二卷积层、第二激活层、第三卷积层、第三激活层、第四卷积层、第四激活层、第一全局池化层、第五卷积层、第五激活层、第六卷积层、第六激活层、第七卷积层、第七激活层、第八卷积层、第八激活层、第九卷积层、第九激活层、第二全局池化层、第十卷积层、第十激活层、第十一卷积层、第十一激活层、第十二卷积层、第十二激活层、第十三卷积层、第十三激活层、第十四卷积层、第十四激活层、第三全局池化层、第十五卷积层、第十五激活层、第十六卷积层、第十六激活层、第十七卷积层、第十七激活层、第十八卷积层、第十八激活层、第十九卷积层、第十九激活层、第四全局池化层、第二十卷积层、第二十激活层、第二十一卷积层、第二十一激活层、第二十二卷积层、第二十二激活层、第二十三卷积层、第二十三激活层、第二十四卷积层、第二十四激活层、第五全局池化层、第二十五卷积层、第二十五激活层、第二十六卷积层、第二十六激活层、第二十七卷积层、第二十七激活层、第二十八卷积层、第二十八激活层、第二十九卷积层、第二十九激活层、第六全局池化层、第三十卷积层、第三十激活层、第三十一卷积层、第三十一激活层、第二池化层、全连接层和损失层；
对于激活层，令xi为第i个神经元的的输入，wi为第i个神经元的权值，yi为第i个神经元的的输出，f为激活函数，则满足
在上述实施例的基础上，所述预设卷积神经网络还嵌入有第一压缩激励层、第二压缩激励层、第三压缩激励层、第四压缩激励层、第五压缩激励层和第六压缩激励层，其中，所述第一压缩激励层嵌于所述第六卷积层和所述第七卷积层之间，所述第一压缩激励层的输入端还与所述第一池化层以及所述第四卷积层的输出端相连；所述第二压缩激励层嵌于所述第十一卷积层和所述第十二卷积层之间，所述第二压缩激励层的输入端还与所述第一压缩激励层以及所述第九卷积层的输出端相连；所述第三压缩激励层嵌于所述第十六卷积层和所述第十七卷积层之间，所述第三压缩激励层的输入端还与所述第二压缩激励层以及所述第十四卷积层的输出端相连；所述第四压缩激励层嵌于所述第二十一卷积层和所述第二十二卷积层之间，所述第四压缩激励层的输入端还与所述第三压缩激励层以及所述第十九卷积层的输出端相连；所述第五压缩激励层嵌于所述第二十六卷积层和所述第二十七卷积层之间，所述第五压缩激励层的输入端还与所述第四压缩激励层以及所述第二十四卷积层的输出端相连；所述第六压缩激励层嵌于所述第三十一卷积层和所述第二池化层之间，所述第六压缩激励层的输入端还与所述第五压缩激励层以及所述第二十九卷积层的输出端相连。
本发明实施例提供的基于图像识别的逆行判断装置包含在基于图像识别的逆行判断设备中，且可用于执行上述任意实施例提供的基于图像识别的逆行判断方法，具备相应的功能和有益效果。
实施例四
图5为本发明实施例四提供的一种终端设备的结构示意图，该终端设备是前文所述基于图像识别的逆行判断设备的一种具体的硬件呈现方案。如图5所示，该终端设备包括处理器410、存储器420、输入装置430、输出装置440以及通信装置450；终端设备中处理器410的数量可以是一个或多个，图5中以一个处理器410为例；终端设备中的处理器410、存储器420、输入装置430、输出装置440以及通信装置450可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的基于图像识别的逆行判断方法对应的程序指令/模块(例如，基于图像识别的逆行判断装置中的视频数据获取单元301、头部区域跟踪单元302、头部数量判断单元303、第一逆行判断单元304以及第二逆行判断单元305)。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述的基于图像识别的逆行判断方法。
存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。通信装置450用于与图像拍摄模块进行数据通信。
上述终端设备包含基于图像识别的逆行判断装置，可以用于执行任意基于图像识别的逆行判断方法，具备相应的功能和有益效果。
实施例六
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行前述实施例所述的基于图像识别的逆行判断方法。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的基于图像识别的逆行判断方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述基于图像识别的逆行判断装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
- 还没有人留言评论。精彩留言会获得点赞！