一种大数据环境下的图像检测方法

文档序号:9397200阅读:484来源:国知局
一种大数据环境下的图像检测方法
【技术领域】
[0001] 本发明涉及图像处理领域,具体涉及一种大数据环境下的图像检测方法。
【背景技术】
[0002] 随着网络的普及以及多媒体数据获取设备的发展,图像和视频的数量都飞速增 长,多媒体资料的存储和检索成为热门的研究领域。基于内容的图像检索、对象识别、标注 等都是现在的研究重点。各种分类算法、模型和系统不断涌现,如基于SVM(SUpport vector machine,支持向量机)、pLSA(probabilistic latent semantic analysis,概率潜在语义 分析)或决策树的图像分类方法。其中,基于内容的图像检索是形成基于内容的标注和图 像之间的映射。有了这些图像分类和标注的问题可以理解为模式识别的问题,计算机无法 像人类一样具有抽象概括的能力,只能利用图像的底层特征进行识别分类。现有的图像分 类系统大部分是按照如下的工作流程:从图像中提取视觉描述子向量;利用已经学习到的 码本(codebook)对这些描述子向量进行编码,使得相似的描述子向量得到相近的标签;根 据每个标签的出现频率统计出图像内容的全局直方图,得到图像的视觉特征表示;将直方 图导入分类模型中,估计该图像的类别标签。
[0003] 目前已经有两类图像检索系统:基于文本的图像检索(text based image retrieval,TBIR)系统和基于内容的图像检索(content based image retrieval,CBIR)系 统。在基于文本的系统中,图像要进行人工标注,然后通过这些标注信息进行检索。然而,在 CBIR中是由图像的视觉特征(如颜色、纹理、形状等)建立索引。很多人在该领域中取得了 出色的研究成果,现在已经可以使用的CBIR系统有QBIC、Informedia- II、ALIPR、GazoPa 等。随着研究的深入,人们发现CBIR系统存在两个明显的不足:低层可视特征和高层语义 概念之间存在巨大鸿沟;与人类视知觉机制具有明显的不一致性。为了缩小图像底层特征 和用户检索语义概念之间的"语义鸿沟",部分研究者开始进行语义图像检索的研究。微软 亚洲研究院开发了一个Web图像检索系统,目的是将传统Web图像检索返回的结果重新进 行聚类。搜索的结果被聚类成不同的语义类别,对每个类别,都会选出几张代表性的图片, 使用户能够马上了解到这一类的主题。每一类里面的图片则根据它们的视觉特征进行组 织,使其显示结果更符合用户的需求。其中,训练集的大小和质量是影响分类效果的重要因 素,现在基本使用人工收集训练集,这是件复杂的工作,当需要分类的对象越多,要收集的 训练集越大,消耗的人力也越多时。
[0004] 云计算是一种新的IT资源提供模式,依靠强大的分布式计算能力,使成千上万 的终端用户能够依靠网络连接的硬件平台的计算能力实施多种应用。Hadoop是一个分 布式系统基础架构,由Apache基金会开发。使用者可以在不了解分布式底层细节的情况 下,搭建分布式计算平台。Hadoop的核心组件有两个:Hadoop分布式文件系统(HDFS)和 MapReduce。HDFS是一个隐藏下层负载均衡、冗余复制等细节的分布式文件系统,适合部署 在廉价的机器上。它能提供高吞吐量的数据访问,非常适合大规模数据集上的应用,并对 上层程序提供一个统一的文件系统API (应用程序接口)。HDFS只有一个名字节点,负责管 理元数据操作和控制数据块的放置,由数据节点实际保存数据块。另外,MapReduce代表了 map和reduce两种操作。大多数分布式运算可以抽象为MapReduce操作。map是把输入分 解成中间的key/value对,reduce把key/value合成最终输出。这两个函数由程序员提供 给系统,下层设施把map和reduce操作分布在集群上运行,并把结果存储在分布式文件系 统上。用户提交MapReduce任务给主节点,JobTracker负责将任务分配到各个子节点上, 实现并行处理。

【发明内容】

[0005] 为解决现有技术中存在的大数据环境下图像检测处理效率低、准确性差的问题, 本发明提出一种大数据环境下的图像检测方法。
[0006] 本发明提出的一种大数据环境下的图像检测方法,包括:
[0007] 步骤S300,分类器训练
[0008] 分类器学习模块根据用户提供的训练集图像进行分类器的训练,得到用于进行图 像标注的分类器;
[0009] 步骤S400,图像标注
[0010] 分类标注模块利用步骤S300得到的分类器完成对输入的图像或者图像序列进行 分类标注的任务;
[0011] 步骤S500,图像检测
[0012] 所述图像检测包括输入带有标注的一幅图像,在互联网上和/或本地图像数据库 中检测与所输入图像的相似度大于给定阈值的图像。
[0013] 其中,步骤S300包括:
[0014] 所述分类器为支持向量机SVM,
[0015] 所述分类器学习模块进一步包括更新参数模块、SVM学习模块和更新分类器模块 3个子模块;用户通过更新参数模块设置分类器学习任务的参数,SVM学习模块根据用户的 参数设置从训练集中学习分类器模型,更新分类器模块负责存储更新分类器模型。
[0016] 其中,步骤S400包括:
[0017] 分类标注模块包括更新参数模块、SVM分类模块和生成类别标注模块3个子模块; 用户通过更新参数设置模块设置任务的参数,SVM分类模块根据用户的参数设置对图像或 图像序列进行分类标注,并通过生成类别标注模块生成类别标注文件。
[0018] 其中,步骤S500包括:
[0019] 所述图像检测包括:首先将输入图像的标注与互联网上和/或本地图像数据库中 的图像的标注进行相似度比较,检测出相似度大于第一阈值的图像;再将所述输入图像的 内容与所述相似度大于第一阈值时的图像的内容进行相似度比较,检测出相似度大于第二 阈值的图像;将相似度大于第二阈值的图像作为最终图像检测结果。
[0020] 其中,所述将所述输入图像的内容与所述相似度大于第一阈值时的图像的内容进 行相似度比较包括:
[0021] 对于所述输入图像,
[0022] 首先将所述输入图像均匀地分成8x8的区域块,然后在每个区域块中计算其所包 含像素的灰度值的中值,进而生成一个64维的灰度值向量;
[0023] 然后再提取纹理特征,先将所述输入图像分成2x2的区域块,然后统计每个区域 块内的梯度直方图,统计过程中用12Bins对梯度方向进行量化,同时用一个特征维度记录 梯度值为零的像素所占的比例,最终形成一个8x8+2x 2x(12+l) = 116维的全局特征。
[0024] 所述的大数据环境下的图像检测方法,进一步包括将得到的全局特征进一步转换 为一个二进制信号和残差信号,具体包括:
[0025] 首先使用PCA对全局特征进行主成分分析,保留方差大于给定阈值的特征维度并 利用特征空间中保留的每一维特征的中值对全局特征进行二值量化操作,特征值大于中值 的量化为1,否则量化为〇,从而得到相应的二进制信号;保留PCA处理后的前24维特征作 为残差信号用于进一步的相似度比较。
[0026] 本发明采用分布式的云计算方式,能够快速有效的采集网络上的图像数据,通过 考虑图像标注和图像内容的不同特性,在图像检测时采取不同的策略,能够有效的提高图 像检测的效率和准确性。
【附图说明】
[0027] 图1为本发明大数据环境下的图像检测方法的流程图;
【具体实施方式】
[0028] 下面将结合本发明的附图,对本发明的技术方案进行清楚、完整地描述。这里将详
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1