一种基于深度层次特征学习的海量图像分类系统的制作方法
【专利摘要】本发明提供了一种基于深度层次特征学习的海量图像分类系统，包括如下步骤：步骤a、输入无标签和有标签图像数据，对无标签图像数据进行预处理，除干扰信息、保留关键信息；步骤b、将预处理之后的图像进行K-means特征学习，得到本层的字典；步骤c、如本层为第N层，对本层的字典与带标签图像数据集进行特征映射，得到深层次特征后进行步骤e，否则对本层的字典与的无标签图像数据进行特征映射，得到深层次的特征；步骤d、根据深层次特征的相关性，将多个高相关性特征聚合为一个感受野，如本层为N-1层则进行步骤e，否则作为下一层输入信息送给步骤b；步骤e、在第N层中，将学到的特征输入SVM分类器，进行分类。
【专利说明】一种基于深度层次特征学习的海量图像分类系统
发明领域
[0001]本发明属于机器学习与图像处理【技术领域】，涉及分布式平台上的海量图像处理，尤其涉及一种基于深度层次特征的海量图像分类的实现方案。
【背景技术】
[0002]如今，随着多媒体技术的发展，包括图像、音频、视频等信息的多媒体数据大量涌现，如何将大量的信息进行分类，已经成为多媒体技术研究中的热点问题.图像分类研究任务主要由预处理，特征提取和分类三个主要环节构成，每个环节对图像的分类效果都有重要的影响.随着计算机软硬件和国际互联网技术的飞速发展，多媒体数据的数量也以惊人的速度增长，各行各业有越来越多的信息通过图像的形式进行表达，这无疑又给图像分类这一任务的各个环节带来了巨大的挑战。传统的图像分类是通过提取颜色、纹理以及形状特征等在单机上进行的，随着图像库的不断增大，复杂度不断增高，单机的提取人为设计的特征已经远远不能满足需求，使用并行处理无疑是一个好的解决方案。大数据处理平台Hadoop作为Map-Reduce架构的开源实现，主要用于大规模数据集的并行计算，由于架构简单，对数据密集型应用能够有效支持。本文正是在大数据处理平台Hadoop的基础上，设计并实现了基于深度层次特征学习的大规模图像分类框架。
【发明内容】
[0003]本发明要解决大规模图像的快速分类问题，针对图像分类的准确度，提出一种基于深度层次特征学习的大规模图像分类模型，研究实现在大数据处理平台Hadoop的基础上，提出并行化的深度层次特征学习模型，针对图像的高维性质，将低层特征中的多个特征聚合为一个感受野，从而达到降维的目的。
[0004]为了实现上述目的本发明采用以下技术方案:
[0005]一种基于深度层次特征学习的海量图像分类系统，其特征在于包括如下步骤:
[0006]步骤a、输入无标签和有标签的图像数据(学术组织来建立的数据集)，对无标签图像数据进行预处理，去除干扰信息、保留关键信息，作为第一层系统框架输入信息送给下一步处理；预处理包括对多张图片提取patches,同时对patches进行正则化和白化；
[0007]步骤b、输入信息采用K-means特征学习方法进行，得到本层的系统框架的字典；
[0008]步骤C、如本层为第N层，对本层系统框架的字典与的带标签图像数据集进行特征映射，得到深层次的特征后进行步骤e，否则对本层系统框架的字典与的无标签图像数据进行特征映射，得到深层次的特征；
[0009]步骤d、根据深层次的特征的相关性，将多个高相关性特征聚合为一个感受野，如本层为N-1层系统框架则进行步骤e，否则作为下一层系统框架的输入信息送给步骤b，
[0010]步骤e、在第N层系统框架中，其学到的特征将输入到SVM分类器中，进行最后的分类。
[0011]上述技术方案中，步骤b具体为经过步骤a处理后的图像信息进行并行化的深度层次特征学习，在第一层系统框架中，预处理后的patches作为Map节点的输入，采用
K-means特征学习方法进行第一层系统框架的特征学习，得到聚类中心,在Reduce节点上
对各个Map节点得到的聚类中心进行综合，得到第一层系统框架的聚类中心，即得到第一
层系统框架的字典，字典公式如下:
[0012]
【权利要求】
1.一种基于深度层次特征学习的海量图像分类系统，其特征在于包括如下步骤: 步骤a、输入无标签和有标签的图像数据，对无标签图像数据进行预处理，去除干扰信息、保留关键信息，作为第一层系统框架输入信息送给下一步处理；预处理包括对多张图片提取patches,同时对patches进行正则化和白化； 步骤b、输入信息采用K-means特征学习方法进行，得到本层的系统框架的字典； 步骤C、如本层为第N层，对本层系统框架的字典与的带标签图像数据集进行特征映射，得到深层次的特征后进行步骤e，否则对本层系统框架的字典与无标签图像数据进行特征映射，得到深层次的特征； 步骤d、根据深层次的特征的相关性，将多个高相关性特征聚合为一个感受野，如本层为N-1层系统框架则进行步骤e，否则作为下一层系统框架的输入信息送给步骤b ； 步骤e、在第N层系统框架中，其学到的特征将输入到SVM分类器中，进行最后的分类。
2.根据权利要求1所述的一种基于深度层次特征学习的海量图像分类系统，其特征在于:步骤b具体为经过步骤a处理后的图像信息进行并行化的深度层次特征学习，在第一层系统框架中，预处理后的patches作为Map节点的输入,采用K_means特征学习方法进行第一层系统框架的特征学习，得到聚类中心，在Reduce节点上对各个Map节点得到的聚类中心进行综合，得到第一层系统框架的聚类中心，即得到第一层系统框架的字典，如公式(I)所示:
3.根据权利要求1所述的一种基于深度层次特征学习的海量图像分类系统，其特征在于:步骤c中将得到深层次的特征具体为，步骤b中得到的本层系统框架的字典给本层系统框架的每个Map节点，同时输入新的无标签的图像数据集给每个Map节点,对Map节点上的图像数据集进行特征学习，将输入图像数据进行特征映射得到深层次的特征，公式如下:
4.根据权利要求1所述的一种基于深度层次特征学习的海量图像分类系统，其特征在于:步骤d具体为步骤c中得到的深层次的特征的相关性，采用欧式距离作为图像特征之间相似性度量方法，将低层特征中多个特征聚合为一个感受野，保证每个感受野中的特征是相似性最高的，如本层为N-1层系统框架则进行步骤e，否则作为下一层系统框架的输入信息送给步骤b。
5.根据权利要求1所述的一种基于深度层次特征学习的海量图像分类系统，其特征在于: 对patches进行正则化采用以下方式进行图像块的正则化:
6.根据权利要求1所述的一种基于深度层次特征学习的海量图像分类系统，其特征在于:采用PCA白化方法对经过正则化的每个X(i)进行减少像素间相关性的处理:
7.根据权利要求4所述的一种基于深度层次特征学习的海量图像分类系统，其特征在于:图像特征之间相似性度量方法，具体为深层次的特征采用公式6来产生感受野，感受野拥有相同数目的最相似的特征，对不同的两个图像特征\和Zk，的相似度的计算如下:
【文档编号】G06K9/62GK103955707SQ201410182971
【公开日】2014年7月30日 申请日期:2014年5月4日 优先权日:2014年5月4日
【发明者】董乐, 吕娜, 封宁, 贺玲 申请人:电子科技大学