一种基于视觉的轻型卷积神经网络的乘客属性识别系统及方法与流程

本发明属于深度学习技术领域，具体涉及一种基于视觉的轻型卷积神经网络的乘客属性识别系统及方法。

背景技术：

电梯现已作为一款重要的楼宇交通工具，而每部电梯的乘客统计可以方便计算出该电梯的实时流量，甚至可精细获得用户画像，对广告的精确投放意义重大。现有方法中，仅仅使用svm(supportvectormachine,支持向量机)进行人数统计，无法使用大量数据样本提高模型准确率，且对乘客的多重属性判断时存在困难。

现有技术的中国专利申请号为cn201710417286.7，名称为一种基于视觉的公交车内乘客人数统计方法，此发明包括以下步骤：本发明以实时统计上下车人数为框架，结合机器学习等算法实现人数统计。首先利用支持向量机对乘客头部梯度方向直方图特征进行学习得到人头分类器；对输入视频的每帧图像进行降采样以及兴趣区域设置，再使用分类器检测人头目标，并采用匈牙利算法和核相关滤波实现多目标跟踪；最后设置虚拟线完成乘客人流量的自动计数。通过大量样本测试表明，本方法较于传统方法识别率高、计数速度快、且虚警率低。本发明是针对公交车场景下的乘客人数统计技术，为实现实时获得公交车内乘客人数的公交车运营公司提供技术支持和指导，且在商场、电梯等场景也能延伸应用。但该方法仅仅针对乘客人头数量处理，而对于乘客的其他属性，对大规模的训练样本难以实现、且多属性分类时存在困难。因此，宜改进此方法，使用本卷积神经网络可实时快速实现该功能。

技术实现要素：

本发明要解决的技术问题是提供一种基于视觉的轻型卷积神经网络的乘客属性识别系统及方法。

为解决上述技术问题，本发明采用如下的技术方案：

本发明实施例的一方面提供了一种基于视觉的轻型卷积神经网络的乘客属性识别方法，包括以下步骤：

采集轿厢内的实时图像信息；

对图像信息进行分析，分别得到包含标签的图像信息，并根据大量图像信息组成训练集与测试集，进行网络训练得到适宜的cnn网络的权值；

根据已经训练好的cnn网络，实时处理图像信息，并根据处理结果分类得到乘客属性信息；

根据乘客属性信息，精确统计乘客详细分类，并进行广告的精确投放。

优选地，所述cnn网络为多层卷积神经网络，

每次输入信息为将原图双线性插值为32*32的图片信息矩阵，卷积核大小为5，激活函数为leakrelu激活；

32*32的图片通过第一层卷积层6*5*5转化为6*28*28；

最大值池化转化为6*14*14；

6*14*14通过第二层卷积为16*10*10；

再经过激活函数与最大值池化转化为16*5*5；

将16*5*5展开为一维向量并进行矩阵乘法得到120*84；

将120*84全连接层进行矩阵乘法得到84*8；

再进行矩阵乘法最终获得8*1的一维向量

与softmax获取得到8种状态的概率，分别为：

状态1-梯内无人

状态2-梯内男青年

状态3-梯内女青年

状态4-梯内男老年

状态5-梯内女老年

状态6-梯内男中年

状态7-梯内女中年

状态8-梯内孩童

选取概率最大的作为当前识别状态输出结果；

其中前向卷积计算为：

y＝w*x+b

其中x为输入层数据，w为对应权值(由多卷积核组成)，b为对应修正量，y为输出曾数据，再对y数据通过激励函数，得到该层输出结果

leakrelu为：y＝max(0.1x,x)

softmax：待处理的数据向量为a＝[a1,a2,a3,...，a8]，对其进行softmax计算为，其中i取[1,8]

本发明的又一方面提供了一种基于视觉的轻型卷积神经网络的乘客属性识别系统，包括：

摄像头采集单元，用于采集轿厢内的实时图像信息；

数据处理中心，用于对图像信息进行分析，分别得到包含标签的图像信息，并根据大量图像信息组成训练集与测试集，进行网络训练得到适宜的cnn网络的权值；

实时处理单元，用于根据已经训练好的cnn网络，实时处理图像信息，并根据处理结果分类得到乘客属性信息；

实时投放单元，用于根据乘客属性信息，精确统计乘客详细分类，并进行广告的精确投放。

优选地，所述cnn网络为多层卷积神经网络，

每次输入信息为将原图双线性插值为32*32的图片信息矩阵，卷积核大小为5，激活函数为leakrelu激活；

32*32的图片通过第一层卷积层6*5*5转化为6*28*28；

最大值池化转化为6*14*14；

6*14*14通过第二层卷积为16*10*10；

再经过激活函数与最大值池化转化为16*5*5；

将16*5*5展开为一维向量并进行矩阵乘法得到120*84；

将120*84全连接层进行矩阵乘法得到84*8；

再进行矩阵乘法最终获得8*1的一维向量

与softmax获取得到8种状态的概率，分别为：

状态1-梯内无人

状态2-梯内男青年

状态3-梯内女青年

状态4-梯内男老年

状态5-梯内女老年

状态6-梯内男中年

状态7-梯内女中年

状态8-梯内孩童

选取概率最大的作为当前识别状态输出结果；

其中前向卷积计算为：

y＝w*x+b

其中x为输入层数据，w为对应权值(由多卷积核组成)，b为对应修正量，y为输出曾数据，再对y数据通过激励函数，得到该层输出结果

leakrelu为：y＝max(0.1x,x)

softmax：待处理的数据向量为a＝[a1,a2,a3,...，a8]，对其进行softmax计算为，其中i取[1,8]

采用本发明具有如下的有益效果：针对使用支持向量机svm的缺点做了改进，通过卷积神经网络cnn对图像信息进行分析，不仅可对大量数据进行处理，获得更精确的网络，同时可对乘客多维属性给出分类结果，不仅可以统计人数，还可对乘客属性进行细分，进行广告精确投放。

附图说明

图1为本发明实施例的基于视觉的轻型卷积神经网络的乘客属性识别方法的步骤流程图；

图2为本发明实施例中网络拓扑结构示意图；

图3为本发明实施例中图时刻电梯无人的图像示意图；

图4为本发明实施例中图时刻有人且为男性青年的图像示意图；

图5为本发明实施例中图时刻电梯有人且为女性青年的图像示意图；

图6为本发明实施例中基于视觉的轻型卷积神经网络的乘客属性识别系统的步骤流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，所示为本发明实施例的基于视觉的轻型卷积神经网络的乘客属性识别方法的步骤流程图，其包括以下步骤：

s1，采集轿厢内的实时图像信息；

通过摄像头单元对轿厢内的实时图像信息进行采集，摄像头单元可包括普通摄像头、双目摄像头或者深度摄像头等安装在电梯轿厢内的图像信息采集设备。

s2，对图像信息进行分析，分别得到包含标签的图像信息，并根据大量图像信息组成训练集与测试集，进行网络训练得到适宜的cnn网络的权值；

以上步骤通过数据处理中心进行操作，数据处理中心包括但不限于cpu，arm，，gpu、dsp，gpu，fpga，asic等通用处理设备。

s3，根据已经训练好的cnn网络，实时处理图像信息，并根据处理结果分类得到乘客属性信息；

s4，根据乘客属性信息，精确统计乘客详细分类，并进行广告的精确投放。

在一具体应用实例中，cnn网络为多层卷积神经网络，其网络拓扑结构如图2所示：

每次输入信息为将原图双线性插值为32*32的图片信息矩阵，卷积核大小为5，激活函数为leakrelu激活；

32*32的图片通过第一层卷积层6*5*5转化为6*28*28；

最大值池化转化为6*14*14；

6*14*14通过第二层卷积为16*10*10；

再经过激活函数与最大值池化转化为16*5*5；

将16*5*5展开为一维向量并进行矩阵乘法得到120*84；

将120*84全连接层进行矩阵乘法得到84*8；

再进行矩阵乘法最终获得8*1的一维向量

与softmax获取得到8种状态的概率，分别为：

状态1-梯内无人

状态2-梯内男青年

状态3-梯内女青年

状态4-梯内男老年

状态5-梯内女老年

状态6-梯内男中年

状态7-梯内女中年

状态8-梯内孩童

选取概率最大的作为当前识别状态输出结果；

其中前向卷积计算为：

y＝w*x+b

其中x为输入层数据，w为对应权值(由多卷积核组成)，b为对应修正量，y为输出曾数据，再对y数据通过激励函数，得到该层输出结果

leakrelu为：y＝max(0.1x,x)

softmax：待处理的数据向量为a＝[a1,a2,a3,...，a8]，对其进行softmax计算为，其中i取[1,8]

通过以上方法进行的分析，参见图3，该图时刻电梯无人，通过本网络识别结果为状态1概率为96.88％；参见图4，该图时刻电梯有人且为男性青年，通过本网络识别结果为状态2概率为45.23％；参见图5，该图时刻电梯有人且为女性青年，通过本网络识别结果为状态3概率为59.71％。

与本发明实施例的基于视觉的轻型卷积神经网络的乘客属性识别方法对应的，本发明实施例还提供了一种基于视觉的轻型卷积神经网络的乘客属性识别系统，参见图6，其包括：

摄像头采集单元，用于采集轿厢内的实时图像信息；数据处理中心，用于对图像信息进行分析，分别得到包含标签的图像信息，并根据大量图像信息组成训练集与测试集，进行网络训练得到适宜的cnn网络的权值；实时处理单元，用于根据已经训练好的cnn网络，实时处理图像信息，并根据处理结果分类得到乘客属性信息；实时投放单元，用于根据乘客属性信息，精确统计乘客详细分类，并进行广告的精确投放。

其中，摄像头采集单元包括普通摄像头、双目摄像头、深度摄像头等安装在电梯轿厢的图像信息采集设备。数据处理中心包括但不限于cpu，arm，，gpu、dsp，gpu，fpga，asic等通用处理设备。

一具体应用实例中，cnn网络为多层卷积神经网络，其网络拓扑结构如图2所示：

每次输入信息为将原图双线性插值为32*32的图片信息矩阵，卷积核大小为5，激活函数为leakrelu激活；

32*32的图片通过第一层卷积层6*5*5转化为6*28*28；

最大值池化转化为6*14*14；

6*14*14通过第二层卷积为16*10*10；

再经过激活函数与最大值池化转化为16*5*5；

将16*5*5展开为一维向量并进行矩阵乘法得到120*84；

将120*84全连接层进行矩阵乘法得到84*8；

再进行矩阵乘法最终获得8*1的一维向量

与softmax获取得到8种状态的概率，分别为：

状态1-梯内无人

状态2-梯内男青年

状态3-梯内女青年

状态4-梯内男老年

状态5-梯内女老年

状态6-梯内男中年

状态7-梯内女中年

状态8-梯内孩童

选取概率最大的作为当前识别状态输出结果；

其中前向卷积计算为：

y＝w*x+b

其中x为输入层数据，w为对应权值(由多卷积核组成)，b为对应修正量，y为输出曾数据，再对y数据通过激励函数，得到该层输出结果

leakrelu为：y＝max(0.1x,x)

softmax：待处理的数据向量为a＝[a1,a2,a3,...，a8]，对其进行softmax计算为，其中i取[1,8]

通过以上系统进行实时的分析，参见图3，该图时刻电梯无人，通过本网络识别结果为状态1概率为96.88％；参见图4，该图时刻电梯有人且为男性青年，通过本网络识别结果为状态2概率为45.23％；参见图5，该图时刻电梯有人且为女性青年，通过本网络识别结果为状态3概率为59.71％。

应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。