一种人车分类方法及装置制造方法
【专利摘要】本申请公开了一种人车分类方法及装置，其过程为：读取训练样本集；计算训练样本集的类内差异性和类间差异性，计算差异性比值，差异性比值为类内差异性和类间差异性的比值；将差异性比值与预设阈值进行比较，根据比较的结果确定深度卷积神经网络的卷积层数；初始化深度卷积神经网络；结合卷积层数对初始化后的深度卷积神经网络进行训练，得到深度卷积神经网络模型；对输入的待测试图像，利用深度卷积神经网络模型进行分类。本方法避免了传统方式直接设置错误的卷积层数从而导致方法的实现在速度与精度方面出现不适当的偏重的问题，能更好的满足速度与精度的平衡。
【专利说明】一种人车分类方法及装置
【技术领域】
[0001] 本申请涉及一种人车分类方法及装置。
【背景技术】
[0002] 随着我国经济的发展，城市化水平进一步提高。智慧城市已经成为城市现代化发 展的重要方向。视频监控系统作为智慧城市的重要组成部分，也正朝着智能化和网络化方 向发展。在智能视频监控中，行人和车辆的分类是公安图像侦查和交通状态分析的前期处 理过程的重要问题。因此，基于图像处理和机器学习的人车分类方法是智能视频监控的关 键技术，已成为国内外相关领域的研究热点。
[0003] 人车分类系统的传统流程包括图像获取、特征提取、分类器判别三个步骤。在特征 提取方面，HOG算子、LBP算子、SIFT等方法用于对图像的特征进行提取。但是，每一种特 征算子都有自己的应用范围，没有一种算法可以同时处理智能监控视频中的光照、外观和 尺寸大幅变化的问题；SVM、神经网络、贝叶斯分类器等理论在图像分类领域广泛应用。其 中，对于小样本、类内差异比较小的图像样本集，使用SVM能够取得比较好的效果，但是，对 于监控视频中的人车这样的类内差异大、数据量多的图像样本集，SVM并不能取得很好的效 果。监控视频中行人和车辆本身具有复杂性和多变性，不同的时间段同一个摄像头获得的 行人和车辆的图像可能会千差万别，在不同路段获得的行人和车辆，也会存在很大差异，因 此采用传统的分类器方法难以达到较高的分类正确率。那么为了准确地判断某一图像样本 所属类别，需要对大量样本进行学习，以提高系统的正确识别率。近两年，基于深度学习的 图像样本分类技术，在对大样本的数据集的处理上取得了巨大成功。人车分类数据集也是 一个较为庞大的数据集，基于深度学习的理论和方法有望获得令人满意的效果。同时，由于 监控视频中物体的多样性，在不同的需求下，需要按照不同的类别进行分类，这就要求用于 人车分类的系统能够有较好的拓展性，能够在不同的场合下，根据实际情况对类别的个数 进行拓展。
[0004] 因此，如何设计出一种能够基于训练样本集的复杂程度和任务的要求实现自适应 拓展的基于深度卷积神经网络的人车分类方法，成为新的研究方向。传统方式直接拓展卷 积层数，可能拓展出不合适的层数从而导致方法的实现在速度与精度方面出现不适当的偏 重的问题，即传统方式有可能在精度要求高的情况下拓展的层数太少从而影响精度，或者 在精度要求不高的情况下拓展的层数太多从而影响速度。
【发明内容】
[0005] 本申请提供了一种人车分类方法，能避免传统方式直接拓展错误的层数从而导致 方法的实现在速度与精度方面出现不适当的偏重的问题，本方法包括训练过程和分类过 程。
[0006] 训练过程包括：
[0007] 读取训练样本集；
[0008] 计算训练样本集的类内差异性和类间差异性，计算差异性比值，差异性比值为类 内差异性和类间差异性的比值；
[0009] 将差异性比值与预设阈值进行比较，根据比较的结果确定深度卷积神经网络的卷 积层数；
[0010] 初始化深度卷积神经网络；
[0011] 结合卷积层数对初始化后的深度卷积神经网络进行训练，得到深度卷积神经网络 模型，具体为：将训练样本转换为灰度图像，对转换为灰度图像后的训练样本进行N次卷积 运算，N为卷积层数，每次卷积运算的过程为：使用当前卷积运算的卷积模板对输入图像进 行卷积，形成当前卷积运算的卷积后细节特征图，输入图像为前一次卷积运算的输出，第一 次卷积运算的输入图像为灰度图像；对当前卷积运算的卷积后细节特征图，使用当前卷积 运算的池化（Pooling)层进行降采样，形成当前卷积运算的降采样后细节特征图并输出； 以最后一次卷积运算所得的降采样后细节特征图作为输入，2个基点作为输出层形成全连 接网络层；在全连接网络层的输出层输出计算结果；
[0012] 分类过程包括：对输入的待测试图像，利用深度卷积神经网络模型进行分类。
[0013] 本申请还提供了一种人车分类装置，包括训练模块和分类模块。
[0014] 其中，训练模块用于读取训练样本集，计算训练样本集的类内差异性和类间差异 性，计算差异性比值，差异性比值为类内差异性和类间差异性的比值；将差异性比值与预设 阈值进行比较，根据比较的结果确定深度卷积神经网络的卷积层数；初始化深度卷积神经 网络；结合卷积层数对初始化后的深度卷积神经网络进行训练，得到深度卷积神经网络模 型；
[0015] 分类模块用于对输入的待测试图像，利用所述深度卷积神经网络模型进行分类。
[0016] 本申请的有益效果是，通过比较训练样本集的差异性比值和阈值，自适应拓展深 度卷积神经网络的卷积层数，用这种方式拓展所得的卷积层数和传统方式直接拓展的卷积 层数相比，避免了传统方式直接拓展出不合适的层数从而导致方法的实现在速度与精度方 面出现不适当的偏重的问题，即避免了传统方式在精度要求高的情况下拓展的层数太少从 而影响精度，或者在精度要求不高的情况下拓展的层数太多从而影响速度，本申请的方法 能更好的满足速度与精度的平衡。
【专利附图】
【附图说明】
[0017] 图1为本发明实施例1的训练过程的流程图；
[0018] 图2为本发明实施例1的训练过程中步骤①至④的示意图；
[0019] 图3为本发明实施例1的训练过程中步骤⑤至⑩的示意图；
[0020] 图4为本发明实施例1的分类过程的流程图；
[0021] 图5为本发明实施例1的分类过程中步骤①至⑩的示意图；
[0022] 图6为本发明实施例3的训练过程的流程图；
[0023] 图7为本发明实施例3的分类过程的流程图。
【具体实施方式】
[0024] 下面通过【具体实施方式】结合附图对本发明作进一步详细说明。
[0025] 实施例一：
[0026] 基于深度卷积神经网络的人车分类方法的一个很重要的方面就是神经网络层数 的拓展，如果卷积层数拓展得太多，则运行人车分类方法的速度就会变慢，影响工作效率； 如果卷积层数拓展得太少，则计算精度就会降低，影响工作质量。在实际的应用中，卷积层 数通常拓展为3、4或者5层。卷积层数的增加通常有利于精度的提高，但是却会减慢运行 速度。如何权衡速度与精度，对方法的实现具有重大影响，实际工作中传统方式对层数的拓 展可能并不是最合适的选择，比如，在层数拓展为5层为最优的情况下却拓展为3层，从而 影响到精度；在层数拓展为3层为最优的情况下却拓展为5层，从而影响到速度；在层数拓 展为4层为最优的情况下却拓展为3层或5层，从而影响到精度与速度的平衡。
[0027] 本实施例的人车分类方法分为两个过程：训练过程（1)和分类过程（2)，以下是每 个过程的详细步骤。
[0028] 如图1所示为训练过程⑴的流程图，以下内容详细描述了训练过程的具体步骤 (a)?（g)。
[0029] (a)离线读取训练样本集，训练样本集包含多幅图像样本；
[0030] (b)对训练样本集的图像样本进行预处理，经过预处理后的图像样本为训练样本； 图像样本一般会受到光照环境、成像条件的影响，预处理可以在缩小类别内部差异性的同 时避免放大噪声，使得训练的深度卷积神经网络具有较好的环境适应性，预处理具体步骤 ⑷?（G)如下：
[0031] ⑷将训练样本集的每一幅图像样本都转换成灰度图像,并缩放到同一尺寸；
[0032] (B)用网格将缩放后的每一幅图像样本都平分成mlXml个子图像块U1，子图像块 Ul为用网格将缩放后的每一幅图像样本按ml Xml方式进行平分后得到的子图像块；
[0033] (C)分别统计各个子图像块Ul的灰度值概率分布函数pi (r)，其中r为灰度值；
[0034] (D)对各个子图像块Ul的pi (r)进行调整从而得到调整后的灰度值概率分布函数 p2 (r)，即将pi (r)大于pO的部分设置为等于p0,并进行归一化处理，对pi (r)小于pO的部 分只进行归一化处理，具体公式如下：
【权利要求】
1. 一种人车分类方法，其特征在于，包括训练过程和分类过程： 所述训练过程包括： 读取训练样本集； 计算训练样本集的类内差异性和类间差异性，计算差异性比值，所述差异性比值为类 内差异性和类间差异性的比值； 将所述差异性比值与预设阈值进行比较，根据比较的结果确定所述深度卷积神经网络 的卷积层数； 初始化深度卷积神经网络； 结合所述卷积层数对初始化后的深度卷积神经网络进行训练，得到深度卷积神经网络 模型； 所述分类过程包括： 对输入的待测试图像，利用所述深度卷积神经网络模型进行分类。
2. 如权利要求1所述的方法，其特征在于，所述训练过程还包括在计算训练样本集的 类内差异性和类间差异性之前，对训练样本集进行图像预处理；所述分类过程还包括在利 用所述深度卷积神经网络模型进行分类之前，对输入的待测试图像进行图像预处理。
3. 如权利要求2所述的方法，其特征在于，所述图像预处理步骤包括： 将训练样本集的每一幅图像样本进行灰度转换，将转换后的灰度图像进行缩放，得到 统一尺寸的灰度图像； 用网格将所述统一尺寸的灰度图像都划分成mlXml个子图像块Ul，ml为正整数； 分别统计各个子图像块Ul的灰度值概率分布函数； 对各个子图像块Ul的灰度值概率分布函数按如下公式进行归一化调整：
其中，P(O)为预设概率阈值，pl(r)为调整前的灰度值概率分布函数，p2(r)为调整后 的灰度值概率分布函数，a是归一化系数，r为灰度值； 用网格将所述统一尺寸的灰度图像都划分成m2Xm2个子图像块U2,其中，m2为正整数 且m2大于ml; 按如下公式计算每个子图像块U2的像素点共享灰度值概率分布函数：
其中，p3(r)为像素点共享灰度值概率分布函数，η为与当前子图像块U2发生重叠的 子图像块Ul的个数，h为与当前子图像块U2发生重叠的η个子图像块Ul中的第i个子图 像块Ul的重叠率，i为正整数且i<n，p2i(r)为η个子图像块Ul中的第i个子图像块Ul 的调整后的灰度值概率分布函数p2(r); 对于每个子图像块U2,利用灰度值映射函数对所述转换后的灰度图像的灰度值进行自 适应调整，得到调整后的图像样本的灰度值，所述自适应调整的公式如下：
其中，f(rl)为灰度值映射函数,rl为所述转换后的灰度图像的灰度值,r2为调整后的 图像样本的灰度值。
4. 如权利要求1至3任一项所述的方法，其特征在于，所述预设阈值包括第一阈值和大 于所述第一阈值的第二阈值，根据所述差异性比值与预设阈值的比较结果确定所述深度卷 积神经网络的卷积层数的步骤包括 ： 若所述差异性比值大于或等于第二阈值，则所述卷积层数为一号层数； 若所述差异性比值大于或等于第一阈值且小于第二阈值，则所述卷积层数为二号层 数； 若所述差异性比值小于第一阈值，则所述卷积层数为三号层数； 其中，所述一号层数大于所述二号层数，所述二号层数大于所述三号层数。
5. 如权利要求4所述的方法，其特征在于，所述类内差异性和类间差异性的计算过程 为
其中，si为类内差异性，η是训练样本的类别总数，m表示各个类别的训练样本的数量，A表示第k个类别的灰度均值，Xkh表示第k个类别中第h个训练样本的灰度值；s2为类间 差异性，巧表示第i个类别的灰度均值，A表示第j个类别的灰度均值。
6. 如权利要求5所述的方法，其特征在于，所述结合所述卷积层数对初始化后的深度 卷积神经网络进行训练的步骤包括： 将训练样本转换为灰度图像，对转换为灰度图像后的训练样本进行N次卷积运算，N为 所述卷积层数，每次所述卷积运算的过程为：使用当前卷积运算的卷积模板对输入图像进 行卷积，形成当前卷积运算的卷积后细节特征图，所述输入图像为前一次卷积运算的输出， 第一次卷积运算的输入图像为所述灰度图像；对当前卷积运算的卷积后细节特征图，使用 当前卷积运算的池化层进行降采样，形成当前卷积运算的降采样后细节特征图并输出； 以最后一次卷积运算所得的降采样后细节特征图作为输入，2个基点作为输出层形成 全连接网络层； 在所述全连接网络层的输出层输出计算结果。
7. 如权利要求5所述的方法，其特征在于，所述结合所述卷积层数对初始化后的深度 卷积神经网络进行训练为：使用误差反向传播算法对初始化后的深度卷积神经网络进行训 练。
8. -种人车分类装置，其特征在于，包括： 训练模块，所述训练模块 用于读取训练样本集， 计算训练样本集的类内差异性和类间差异性，计算差异性比值，所述差异性比值为类 内差异性和类间差异性的比值， 将所述差异性比值与预设阈值进行比较，根据比较的结果确定所述深度卷积神经网络 的卷积层数， 初始化深度卷积神经网络， 结合所述卷积层数对初始化后的深度卷积神经网络进行训练，得到深度卷积神经网络 模型； 分类模块，所述分类模块用于对输入的待测试图像，利用所述深度卷积神经网络模型 进行分类。
9. 如权利要求8所述的装置，其特征在于，所述训练模块还用于在计算训练样本集的 类内差异性和类间差异性之前，对训练样本集进行图像预处理；所述分类模块还用于在利 用所述深度卷积神经网络模型进行分类之前，对输入的待测试图像进行图像预处理。
10. 如权利要求8所述的装置，其特征在于，所述预设阈值包括第一阈值和大于所述第 一阈值的第二阈值，所述根据比较的结果确定所述深度卷积神经网络的卷积层数包括： 若所述差异性比值大于或等于第二阈值，则所述卷积层数为一号层数； 若所述差异性比值大于或等于第一阈值且小于第二阈值，则所述卷积层数为二号层 数； 若所述差异性比值小于第一阈值，则所述卷积层数为三号层数； 其中，所述一号层数大于所述二号层数，所述二号层数大于所述三号层数。
【文档编号】G06K9/62GK104463194SQ201410614063
【公开日】2015年3月25日 申请日期:2014年11月4日 优先权日:2014年11月4日
【发明者】刘凯, 吴伟华 申请人:深圳市华尊科技有限公司