关配置；5)Hadoop安装及相关配置。
[0074] 框架搭建： Nutch文件下载，解压安装到相关目录下；Hadoop分布式环境下Nutch相关文件配置； 写入爬取的网页信息；执行爬取命令进行爬取。
[0075] 分布式系统程序设计： 1.文件数据读取，主要是完成相关HDFS操作； 2.算法运行与监控，主要是MapReduce程序的编写，开发语言为Java; 1) 指定输入输出格式； 2)指定Map阶段和Reduce阶段的要做的工作，主要是编写map()和reduce()两个函 数； 3)结合设计的图像识别算法，编写MapReduce程序； 4)将Hadoop作业提交到框架中运行，完成结果收集和作业进度监控。
[0076] 应当理解的是，本发明的上述【具体实施方式】仅仅用于示例性说明或解释本发明的 原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何 修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨 在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修 改例。
【主权项】
1. 一种基于灰度的分布式图像底层特征识别方法，其特征在于，包括以下步骤： 51 :将彩色图像根据不同特征要求转化为灰度图像，保存灰度图像的灰度值、像素值、 像素坐标，建立统一的特征基准； 52 :设计图像指纹结构：采用字符串作为指纹存储结构，并且选择最佳字符串匹配算 法进行指纹识别； 53 :利用蒙版抠图确定待识别图像的轮廓特征，生成图像轮廓指纹段； 54 :选取图像主要特征区域，获取灰度数据，利用PHash算法，计算主要特征区域汉明 距离，生成图像纹理指纹段； 55 :构建三维颜色直方图：将彩色图像转化为灰度图像，保存图像的三原色信息，构建 基于三原色的三维数组，生成图像色彩的指纹段； 56 :分布式指纹生成计算节点设计：根据特征算法运行需求的不同，确定算法执行步 骤，评估计算节点的数量、分布以及运算策略； 57 :分布式指纹轮询匹配计算节点设计：将图像原始信息与底层特征合成，生成全指 纹；将待匹配图像指纹数据根据指纹段切割，分配到不同的匹配计算节点，通过调整相应计 算节点的数量保证匹配时间在可允许的范围结束； 58 :指纹识别匹配度标识：将多次轮询匹配的结果作为权值依据，与通过S7步骤匹配 的结果进行加权，得到匹配度，筛选出匹配结果。2. 根据权利要求1所述的基于灰度的分布式图像底层特征识别方法，其特征在于，步 骤Sl中彩色图像灰度化过程如下： 在以轮廓，纹理为特征的灰度化过程中，彩色图像转化为灰度图像，用灰度值来代表彩 色图像的亮度信息，彩色图像的亮度值即转化为灰度图像后的灰度值I由以下公式计算： I = 0. 3B + 0. 59G + 0.1 lR ； 其中R、G、B为红、绿、蓝三个通道的颜色； 在以色彩为特征的灰度化过程中，灰度图像保存彩色图像的颜色表，颜色表中每一项 的R、G、B分量用三维数组表示。3. 根据权利要求1所述的基于灰度的分布式图像底层特征识别方法，其特征在于，所 述步骤S3包括： 1) 生成图像原图的蒙版图； 2) 获取原图和蒙版图的像素值，将蒙版图的像素值赋值给原图，达到背景透明处理的 效果； 3) 实现图像轮廓的抠图，对图像进行灰度化处理； 4) 对灰度化的图像，计算每一个像素点的灰度值，从而获取图像的灰度平均值，将每个 像素的灰度值与其图像的灰度平均值进行比较，并分别用〇和1表示比较的结果，生成64 位^进制序列串； 5) 通过比较两个图像的哈希值，计算汉明距离，获取图像轮廓指纹段。4. 根据权利要求1所述的基于灰度的分布式图像底层特征识别方法，其特征在于，所 述步骤S4包括： 1) 将图像缩小为8*8共64个像素； 2) 将缩小后的图像转化为灰度图像，记录图像的灰度值，并将图像的灰度值作为计算 因子； 3) 对图像进行离散余弦变换DCT处理； 4) 缩小DCT值，并计算DCT均值； 5) 根据8*8的DCT矩阵，设置O或1的64位Hash值，其中大于等于DCT均值的设为 " 1"，小于DCT均值的设为"0" ； 6) 构造哈希值，计算汉明距离，获取图像纹理指纹段。5. 根据权利要求1所述的基于灰度的分布式图像底层特征识别方法，其特征在于，所 述步骤S5包括： 1) 获取图像，进行灰度化处理； 2) 在图像灰度化下，利用三维数组保存图像色彩信息，生成颜色直方图； 3) 计算巴氏系数，获取图像色彩的指纹段； 所述巴氏系数的计算公式为：其中，P，P'分别代表源与候选的图像直方图数据，巴氏系数因子值的范围为〇到1之 间，i为直方图每个RGB数据的序号。6. 根据权利要求1所述的基于灰度的分布式图像底层特征识别方法，其特征在于，所 述步骤S6中分布式指纹生成计算节点，包括对图像数据处理、清洗、筛选、整合，将整个计 算过程分成不同的部分，对于每一个部分，再分割成不同的步骤，保持横向和纵向计算节点 分布的有序；在保证IO图像数据流，图像优化处理基本函数以及灰度化的前提下，针对各 个特征算法设计计算节点的顺序以及计算节点的数量。7. 根据权利要求1所述的基于灰度的分布式图像底层特征识别方法，其特征在于，所 述步骤7中分布式指纹轮询匹配包括： 1) 对前期生成的图像全指纹数据，从分布式文件存储系统调到计算节点； 2) 根据全指纹结构，对全指纹结构进行切割，对应不同的计算节点，包括输入输出流， 图像优化处理函数，主要特征匹配算法，匹配度标识； 3) 对每一部分以及每部分的步骤进行封装，装载到对应计算节点，包括计算节点的分 配策略； 4) 在匹配算法的环节中，采用轮询的匹配算法，在进行特征匹配时，在可信计算时间 内，保证每种特征匹配算法轮询匹配三次，并以多次轮询的匹配结果决定特征匹配度，并进 行匹配标识。8. 根据权利要求1所述的基于灰度的分布式图像底层特征识别方法，其特征在于，步 骤S6和S7中的分布式包括分布式环境搭建和分布式程序设计；所述分布式环境搭建包括 使用Linux操作系统，安装Centos操作系统以及进行相关网络环境配置，在Linux操作系 统上安装Hadoop分布式系统集群，实现SSH免验证登录，设计主从节点以及节点分布，在 Hadoop集群基础上，搭建基于分布式的Nutch框架环境；所述分布式程序设计包括在搭建 的分布式环境中，通过Hadoop集群Web服务端界面监控集群的运行情况，通过导入Hadoop 代码在Eclipse中进行Hadoop程序设计，具体包括通过HDFS完成分布式数据的存取，设计 MapReduce程序实现分布式图像识别算法，结合Nutch框架设计Web爬虫进行图像数据爬 取。9. 根据权利要求1所述的基于灰度的分布式图像底层特征识别方法，其特征在于，当 有新的图像特征形式时，还包括：发掘新的图像特征形式，建立新的匹配特征点；对图像特 征点细化，完善单一特征点的匹配点数量；通过对匹配点分析数据进行扩展。10. -种基于灰度的分布式图像底层特征识别系统，其特征在于，包括：提取模块、处 理模块、分析模块以及数据模块； 所述提取模块：用于本地与云端的图像数据提取，本地的图像数据提取包括从应用客 户端获取的图像资源，云端的图像数据包括构建的分布式爬虫，基于Hadoop+Nutch框架， IO数据流，包括HttpClient API以及开源的网页解析框架，构建一个分布式的网络图像爬 取的框架，从而提供大数据量的图像资源； 所述处理模块：用于灰度化图像，生成特征指纹，合成全指纹；首先进行统一基准划 定，对图像进行灰度化，对于不同的特征算法，灰度化的数据也不相同，然后利用特征提取 算法，结合图像处理与优化过程，实现各特征点特征指纹的生成，分别利用汉明距离，巴氏 因子系数值以及RGB三维数组值作为指纹标识，将结果存储在特定的全指纹数据结构中； 处理模块利用Hadoop的Map/Reduce模型设计分布式计算节点； 所述分析模块：完成图像指纹段的轮询匹配；包括指纹段切割、分片、构建分布式特征 节点，将指纹段挂载到相应特征节点，设定轮询时间与方法，通过轮询匹配算法，得出指纹 匹配度标识； 所述数据模块：利用Hadoop的分布式存储平台，完成图像及相关数据的存储，建立图 像数据中心；图像数据包括图像信息、指纹信息、匹配信息、图像存取信息以及其他信息。
【专利摘要】<b>本发明公开了一种基于灰度的分布式图像底层特征识别方法，包括以下步骤：将彩色图像根据不同特征要求转化为灰度图像，保存灰度图像的灰度值，像素值，像素坐标，建立统一的特征基准；设计图像指纹结构；生成图像轮廓指纹段；生成图像纹理指纹段；生成图像色彩的指纹段；分布式指纹生成计算节点设计；分布式指纹轮询匹配计算节点设计；指纹识别匹配度标识，将多次轮询匹配的结果作为权值依据，与通过分布式指纹轮询匹配计算节点设计匹配的结果进行加权，得到匹配度，筛选出匹配结果。在保证分布式存储和计算负荷下，通过扩展计算与存储接节点，优化算法流程，可以进一步逼近图像识别效果。</b>
【IPC分类】G06F17/30
【公开号】CN105354248
【申请号】CN201510671757
【发明人】施佺, 孙玲, 吴俊
【申请人】南通大学
【公开日】2016年2月24日
【申请日】2015年10月19日