一种基于分布式存储的图像服务系统及方法
【技术领域】
[0001]本发明涉及一种云计算与大数据领域，尤其涉及一种基于分布式存储的图像服务系统及方法。
【背景技术】
[0002]HDFS对小文件的读写性能较差，当前的普通图片几乎都是小文件，如果需要在HDFS中存储海量图片，需要把小文件合并成大文件，建立索引，再存入HDFS。在使用图像检索服务时，图像检索得到的结果经常是一个N个图片集合，在最坏情况下，要得到N个图片，若每个图片在不同的大文件中，则需要去打开并读取N个大文件。N个图片的集合，由于是通过特征相似性匹配得出的，其实是特征相似的。特征相似的图片，在以后的检索中，很可能会再次一起出现。但是现在没有对这样的情况进行优化，存储于HDFS中图片有可能有重复的，或者特征相似度最接近的图片被存储在不同大文件中，当检索后需要提取这些相似图片时，需要打开多个大文件进行读取，降低了效率。
【发明内容】
[0003]为了解决上述问题，本发明提供一种能够提高图片检索效率和准确度的基于分布式存储的图像服务系统及方法。
[0004]本发明的一种基于分布式存储的图像服务系统，包括接收需要存储和需要检索的图片的图片接收模块、对所述图片接收模块接收到的图片根据图像特征提取算法提取图片特征的特征分析模块、将所述特征分析模块提取的需要存储的图片的图片特征进行存储的特征库、将所述图片接收模块接收到需要存储的图片存入缓存并根据所述特征分析模块提取到需要存储的图片的图片特征相似性对图片进行分类合并的图片缓存服务器、用于存储由所述图片缓存模块合并的图片组成的大文件的HDFS、将所述特征分析模块提取的需要检索的图片的图片特征与所述特征库中的特征进行匹配的特征匹配模块、对检索图片产生的检索结果进行分布式缓存以备下一次直接使用的缓存管理模块、输出图片检索结果的图片输出模块、根据图片检索结果进行相似图片合并处理并再次存入所述HDFS以优化图片存储提高同一大文件中的图片相似度的反馈处理模块、对所述HDFS中的大文件进行离线分拆去重和整合处理以得到新的大文件和索引的离线文件优化模块、对所述HDFS中存储的图片进行图像分析和处理以优化图像存储的图像优化模块。
[0005]本发明的一种基于分布式存储的图像服务方法，通过基于分布式存储的图像服务系统来实现图片存储管理、图片检索管理、缓存管理以及优化处理。
[0006]其中，所述图片存储管理包括如下步骤:
[0007]sll、通过所述基于分布式存储的图像服务系统中的图片接收模块接收需要存储的图片，进入步骤s2;
[0008]sl2、通过所述基于分布式存储的图像服务系统中的特征分析模块提取所述步骤Si中接收到的图片的特征，同时将接收到的图片存入所述基于分布式存储的图像服务系统中的图片缓存服务器，同时进入步骤S3;
[0009]sl3、将所述步骤s2中提取到的图片特征存入所述基于分布式存储的图像服务系统中的特征库，进入步骤s4;
[0010]sl4、将所述步骤s2中提取到的图片特征发送到图片缓存服务器，由所述图片缓存服务器根据图片特征对相似图片进行合并处理，将由合并处理后的图片组成的大文件存入HDFS中，进入步骤s5;
[0011]sl5、通过所述图片缓存服务器建立图片在大文件中的索引以及图片特征与图片存储地址的映射关系。
[0012]所述图片检索管理包括如下步骤:
[0013]s21、输入需要检索的图片，通过所述图片接收模块接收图片，进入步骤s22;
[0014]s22、通过所述特征分析模块根据图像特征提取算法对所述步骤s21中接收到的待检索图片进行特征分析，提取待检索图片的图片特征，进入步骤s23;
[0015]s23、将所述步骤s22中分分析出的待检索图片的图片特征通过所述基于分布式存储的图像服务系统中的特征分析模块与所述特征库中的特征进行匹配，在特征库中根据待检索图片的图片特征匹配相似的特征，进入步骤s24;
[0016]s24、根据所述步骤s23中匹配的特征找到图片特征与图片地址的映射关系，依据该映射关系查到HDFS中相关的所有大文件，进入步骤s25;
[0017]s25、根据图片特征对应的图片在大文件中的索引，得到与所述步骤s23中匹配的特征匹配的具体图片，进入步骤s26;
[0018]s26、判断所述步骤s25中得到的具体图片是否在缓存中，若是，进入步骤s27;若不是，进入步骤s28 ；
[0019]s27、直径从缓存中提取图片通过所述基于分布式存储的图像服务系统中的图片输出模块作为检索结果展示;进入步骤s210;
[0020]s28、从HDFS中提取所述步骤s25中得到的图片并通过所述图片输出模块作为检索结果展示，进入步骤s29;
[0021]s29、根据展示结果通过所述基于分布式存储的图像服务系统中的缓存管理模块更新缓存，进入步骤s210;
[0022]s210、图片检索结束。
[0023]所述缓存管理包括如下步骤:
[0024]s31、获取图片检索结果，进入步骤s32;
[0025]s32、对图片检索结果按照特征相似度进行合并处理，进入步骤s33;
[0026]s33、经过合并处理后的图片组成的文件存入HDFS中，进入步骤s34;
[0027]s34、根据所述步骤s33中更新HDFS中图片存储带来的改变，更新图片在大文件中的索引以及图片特征与图片存储地址的映射关系。
[0028]所述优化处理是通过所述基于分布式存储的图像服务系统中的离线文件优化模块对HDFS中的大文件进行离线分拆去重和整合处理以得到新的大文件和索引的文件优化以及通过所述基于分布式存储的图像服务系统中的图像优化模块对所述HDFS中存储的大文件中的图片重新进行图像分析处理以提高图片存储性能和图片特征相似度的图片优化。
[0029]采用本发明的基于分布式存储的图像服务系统及方法，通过三个相似图片合并策略，即通过图片缓存服务器、离线文件处理模块、反馈处理模块对相似图片的存储进行优化，提高存储图片的特征相似度，以提高图片检索的准确性和效率。同时，用HDFS里的图片数据，进行卷积神经网络的训练，得到的网络可以去提取图片特征;通过MapReduce或Spark进行聚类或其他分析服务;对查询结果进行图像处理，极大的优化了图片存储。
【附图说明】
[0030]图1是本发明的基于分布式存储的图像服务系统的架构组成示意图；
[0031]图2是本发明的基于分布式存储的图像服务方法主流程示意图；
[0032]图3是本发明的基于分布式存储的图像服务方法中的图片存储管理流程示意图；
[0033]图4是本发明的基于分布式存储的图像服务方法中的图片检索管理流程示意图；
[0034]图5是本发明的基于分布式存储的图像服务方法中的缓存管理流程示意图。
【具体实施方式】
[0035]为了更好的理解本发明，下面结合附图详细说明本发明。
[0036]如图1所示，本发明的一种基于分布式存储的图像服务系统，包括接收需要存储和需要检索的图片的图片接收模块、对所述图片接收模块接收到的图片根据图像特征提取算法提取图片特征的特征分析模块、将所述特征分析模块提取的需要存储的图片的图片特征进行存储的特征库、将所述图片接收模块接收到需要存储的图片存入缓存并根据所述特征分析模块提取到需要存储的图片的图片特征