一种图片的管理方法、装置及终端设备与流程

本发明涉及图像处理技术领域，特别是指一种图片的管理方法、装置及终端设备。

背景技术：

随着移动设备(如手机、平板电脑等)性能越来越强大，拍照的功能越来越出色，移动设备中的照片越来越多。大部分用户移动设备中都存在大量相似的照片，这些相似照片有的是由于用户在拍照时为取得一张最好的效果而故意多拍的，有的是使用连拍功能所产生的，有的是使用美化软件等保留的副本。而随着硬件配置的升级，像素分辨率越来越高，单张照片的存储量越来越大，久而久之这些照片就会占用大量的手机内存，手动对每张照片进行选择费时费力，随着照片数量的增加，工作量太大。

技术实现要素：

本发明的目的在于提供一种图片的管理方法、装置及终端设备，解决终端设备中相似图片占用大量宝贵内存的问题。

为了实现上述目的，本发明提供了一种图片的管理方法，包括：

对终端设备中的图片进行分类处理，得到分类后的图片，所述分类后的图片包含有用于表示该图片类别的类标签；

获取具有相同类标签的图片之间的相似度，并根据所述相似度对所述具有相同类标签的图片进行分组处理，得到至少一组图片，其中，每组图片中的两张图片之间的相似度大于预设阈值；

在每组图片中选取出需要保存在所述终端设备中的本地图片，并获取该组剩余的每张图片与所述本地图片的差值图像，将差值图像存储到云端，同时删除该组剩余的图片。

其中，上述的图片的管理方法，还包括：

从云端获取所述差值图像，并将所述差值图像与对应的本地图片相加，恢复被删除的图片。

其中，所述对终端设备中的图片进行分类处理，得到分类后的图片的步骤包括：

检测所述终端设备的图片中是否包含人脸信息；

若包含人脸信息，则将所述图片划分为人物类图片，否则，将所述图片划分为风景类图片。

其中，所述获取具有相同类标签的图片之间的相似度，包括：

根据图片的类标签，提取终端设备中每张图片的特征信息；

根据所述特征信息，获取具有相同类标签的图片之间的相似度。

其中，所述根据图片的类标签，提取每张图片的特征信息的步骤包括：

若所述图片的类标签表明所述图片为人物类图片，则获取所述图片的颜色直方图及人脸区域的轮廓特征；

若所述图片的类标签表明所述图片为风景类图片，则获取所述图片的颜色直方图。

其中，所述根据所述特征信息，获取具有相同类标签的图片之间的相似度的步骤包括：

在所述终端设备的图片中选取一张未进行分组的第一图片，并获取所述第一图片的类标签；

若所述类标签表明所述第一图片为人物类图片，则在所述终端设备未进行分组的图片中选取类标签为人物类图片的第二图片，并根据图片的颜色直方图及人脸区域的轮廓特征，计算所述第一图片和所述第二图片的相似度；

若所述类标签表明所述第一图片为风景类图片，则在所述终端设备未进行分组的图片中选取类标签为风景类图片的第三图片，并根据图片的颜色直方图，计算所述第三图片与所述第一图片的相似度。

其中，所述根据图片的颜色直方图及人脸区域的轮廓特征，计算所述第一图片和所述第二图片的相似度，包括：

判断所述第一图片与所述第二图片中的人脸个数是否相同；

若相同，则通过公式S＝r1*P+r2*H计算所述第一图片和所述第二图片的相似度；

其中，S表示相似度，r1和r2为预设系数，且r1+r2＝1，P表示人脸区域的轮廓特征的匹配度，H表示颜色直方图相似度。

其中，所述在每组图片中选取出需要保存在所述终端设备中的本地图片的步骤包括：

获取每组图片的图片质量；

在每组图片中，选取图片质量最高的一张图片作为所述本地图片。

本发明还提供了一种图片的管理装置，包括：

分类模块，用于对终端设备中的图片进行分类处理，得到分类后的图片，所述分类后的图片包含有用于表示该图片类别的类标签；

分组模块，用于获取具有相同类标签的图片之间的相似度，并根据所述相似度对所述具有相同类标签的图片进行分组处理，得到至少一组图片，其中，每组图片中的两张图片之间的相似度大于预设阈值；

处理模块，用于在每组图片中选取出需要保存在所述终端设备中的本地图片，并获取该组剩余的每张图片与所述本地图片的差值图像，将差值图像存储到云端，同时删除该组剩余的图片。

其中，上述图片的管理装置，还包括：

恢复模块，用于从云端获取所述差值图像，并将所述差值图像与对应的本地图片相加，恢复被删除的图片。

其中，所述分类模块包括：

检测模块，用于检测所述终端设备的图片中是否包含人脸信息；

划分模块，用于若所述检测模块检测到所述终端设备的图片中包含人脸信息，则将所述图片划分为人物类图片，否则，将所述图片划分为风景类图片。

其中，所述分组模块包括：

提取模块，用于根据图片的类标签，提取终端设备中每张图片的特征信息；

获取模块，用于根据所述特征信息，获取具有相同类标签的图片之间的相似度。

其中，所述提取模块包括：

第一获取单元，用于若所述图片的类标签表明所述图片为人物类图片，则获取所述图片的颜色直方图及人脸区域的轮廓特征；

第二获取单元，用于若所述图片的类标签表明所述图片为风景类图片，则获取所述图片的颜色直方图。

其中，所述获取模块包括：

第三获取模块，用于在所述终端设备的图片中选取一张未进行分组的第一图片，并获取所述第一图片的类标签；

第一计算模块，用于若所述类标签表明所述第一图片为人物类图片，则在所述终端设备未进行分组的图片中选取类标签为人物类图片的第二图片，并根据图片的颜色直方图及人脸区域的轮廓特征，计算所述第一图片和所述第二图片的相似度；

第二计算模块，用于若所述类标签表明所述第一图片为风景类图片，则在所述终端设备未进行分组的图片中选取类标签为风景类图片的第三图片，并根据图片的颜色直方图，计算所述第三图片与所述第一图片的相似度。

其中，所述第二计算模块包括：

判断单元，用于判断所述第一图片与所述第二图片中的人脸个数是否相同；

计算单元，用于若所述第一图片与所述第二图片中的人脸个数相同，则通过公式S＝r1*P+r2*H计算所述第一图片和所述第二图片的相似度；

其中，S表示相似度，r1和r2为预设系数，且r1+r2＝1，P表示人脸区域的轮廓特征的匹配度，H表示颜色直方图相似度。

其中，所述处理模块包括：

第四获取模块，用于获取每组图片的图片质量；

选取模块，用于在每组图片中，选取图片质量最高的一张图片作为所述本地图片。

本发明还提供了一种终端设备，包括如上所述的图片的管理装置。

本发明实施例具有以下有益效果：

本发明实施例的图片的管理方法，对终端设备中的图片进行分类处理，并将归属于同一类别、且相似度大于预设阈值的图片划分为一组，在每组图片中选取出本地图片保存在所述终端设备中，并获取该组剩余的每张图片与所述本 地图片的差值图像，将差值图像信息存储到云端，同时删除该组剩余的图片，极大的节约了移动端存储空间。另外，本发明实施例中，将图片存储到云端时，只对差值图像进行编码传输，而由于每组图片相似性很大，差值图像编码后码流相对较小，比传输原图更节约带宽，且由于本发明在云端仅存储差值图像，因此当存储在云端的差值图像被解码后也无法看出原图像内容，有效防止因系统漏洞或其他原因造成的图片泄露。

附图说明

图1表示本发明实施例的图片的管理方法的第一工作流程图；

图2表示本发明实施例的图片的管理方法的第二工作流程图；

图3表示本发明实施例的图片的管理装置的结构框图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合具体实施例及附图进行详细描述。

目前的图片管理方法主要包括三个方面，一是研究连拍照片的压缩存储，利用连拍照片重复像素多的特点进行编码来减少照片的存储空间，但压缩后还是要占用手机的存储空间，节省有限。二是应用图像处理技术进行择优选取，在一组相似照片中只保留一张，删除其余的相似照片，它的缺点是无法保留所有照片，删除后无法恢复，后续想再回顾以往拍摄的照片，只能看到保留的那一张。三是采用云存储，直接在云端备份所有的照片，超过预定容量需有偿使用，且存在照片泄露的风险。

基于上述问题，本发明的实施例提供了一种图片的管理方法、装置及终端设备，解决了终端设备中相似图片占用大量宝贵内存的问题。

本发明实施例的图片的管理方法，如图1所示，包括：

步骤S11：对终端设备中的图片进行分类处理，得到分类后的图片，所述分类后的图片包含有用于表示该图片类别的类标签。

其中，在对终端设备中的图片进行分类时，可将图片分为人物类、风景类等。

步骤S12：获取具有相同类标签的图片之间的相似度，并根据所述相似度对所述具有相同类标签的图片进行分组处理，得到至少一组图片，其中，每组图片中的两张图片之间的相似度大于预设阈值。

步骤S13：在每组图片中选取出需要保存在所述终端设备中的本地图片，并获取该组剩余的每张图片与所述本地图片的差值图像，将差值图像存储到云端，同时删除该组剩余的图片。

本发明实施例的图片的管理方法，对终端设备中的图片进行分类处理，并将归属于同一类别、且相似度大于预设阈值的图片划分为一组，在每组图片中选取出本地图片保存在所述终端设备中，并获取该组剩余的每张图片与所述本地图片的差值图像，将差值图像信息存储到云端，同时删除该组剩余的图片，极大的节约了移动端存储空间。另外，本发明实施例中，将图片存储到云端时，只对差值图像进行编码传输，而由于每组图片相似性很大，差值图像编码后码流相对较小，比传输原图更节约带宽，且由于本发明在云端仅存储差值图像，因此当存储在云端的差值图像被解码后也无法看出原图像内容，有效防止因系统漏洞或其他原因造成的图片泄露。

优选地，所述步骤S11包括：

步骤S111：检测所述终端设备的图片中是否包含人脸信息；

步骤S112：若包含人脸信息，则将所述图片划分为人物类图片，否则，将所述图片划分为风景类图片。

在本发明的具体实施例中，通过对每张图片进行人脸检测，来将图片划分为人物类图片和风景类图片，具体的，人脸检测的方法可以采用基于肤色的检测方法，将图片转化到颜色空间YCbCr，利用肤色投影到CbCr平面的聚类性来检测皮肤区域，其中Cb取值区间为[90，128]，Cr取值区间为[110，190]，该肤色区间的阈值可经过多次测试进行调整。

对上述检测结果得到的二值图像进行形态学运算，先腐蚀排除干扰点，再膨胀填充空洞点。

进一步地，通过区域标记技术提取形态学运算后的二值化图像上的人脸区域，获取每个区域的外接矩形的长宽信息，由于区域标记技术为现有技术，此处不再赘述。根据生物学方面的知识，人脸长宽比相对固定，一般在0.8-1.25 之间，通过这个特征，排除误检区域，统计当前图片中的人脸个数。

进一步地，所述步骤S12中获取具有相同类标签的图片之间的相似度，包括：

步骤S121：根据图片的类标签，提取终端设备中每张图片的特征信息；

步骤S122：根据所述特征信息，获取具有相同类标签的图片之间的相似度。

其中，所述步骤S121可具体包括：

若所述图片的类标签表明所述图片为人物类图片，则获取所述图片的颜色直方图及人脸区域的轮廓特征；

若所述图片的类标签表明所述图片为风景类图片，则获取所述图片的颜色直方图。

在本发明的具体实施例中，获取图片中人脸区域的轮廓特征的步骤可以包括：将人脸区域统一缩放为LxL像素，L为预设值。采用sobel算子对缩放后的人脸区域图像进行边缘检测，应用“大律法”求出检测结果图像的二值化阈值，对检测结果图像进行二值化，二值化后的结果作为该人脸区域的轮廓特征矩阵保存。由于“大律法”求二值化阈值为现有技术，此处不再赘述。优选地，预设值L优选为80，L的较佳取值的确定可经过多次测试得到。

在本发明的具体实施例中，两个图片之间的颜色直方图的相似性可以具体采用巴氏距离来确定，由于巴氏距离为现有技术，这里不再赘述。

其中，所述步骤S122可具体包括：

在所述终端设备的图片中选取一张未进行分组的第一图片，并获取所述第一图片的类标签；

若所述类标签表明所述第一图片为人物类图片，则在所述终端设备未进行分组的图片中选取类标签为人物类图片的第二图片，并根据图片的颜色直方图及人脸区域的轮廓特征，计算所述第一图片和所述第二图片的相似度；

若所述类标签表明所述第一图片为风景类图片，则在所述终端设备未进行分组的图片中选取类标签为风景类图片的第三图片，并根据图片的颜色直方图，计算所述第三图片与所述第一图片的相似度。

进一步地，所述根据图片的颜色直方图及人脸区域的轮廓特征，计算所述 第一图片和所述第二图片的相似度，包括：

判断所述第一图片与所述第二图片中的人脸个数是否相同；

若相同，则通过公式S＝r1*P+r2*H计算所述第一图片和所述第二图片的相似度；

其中，S表示相似度，r1和r2为预设系数，且r1+r2＝1，P表示人脸区域的轮廓特征的匹配度，H表示颜色直方图相似度。较佳地，预设系数r1、r2优选为0.4、0.6，判断过程中使用的预设阀值T1优选为0.8，预设系数r1、r2和预设阀值T1的较佳取值的确定可经过多次测试得到。

在本发明的具体实施例中，计算人脸区域的轮廓特征的匹配度的步骤可具体包括：将图片A和图片B的人脸区域轮廓特征矩阵进行异或运算，统计运算结果中1的个数M，M的值越小则表示A、B越相似；将M的值归一化，P＝M/(L*L)。

进一步地，根据图片的颜色直方图，计算所述第三图片与所述第一图片的相似度的步骤可具体为将所述第三图片和所述第一图片的颜色直方图的相似度作为所述第三图片和所述第一图片的相似度。

根据上述方法得到具有相同类标签的图片之间的相似度后，判断具有相同类标签的两张图片之间的相似度是否大于预设阈值，并在大于预设阈值时，划分为同一组图片，同时，在本发明的具体实施例中，赋予每组图片一个组标签，组标签的设置可以包含当前组的图片类别、该组中相似图片的个数以及唯一的序号，例如用“人物_6_20150326H000123”来表示该组为人物类图片，且该组中共有6张相似的图片，最后的一串即为该组图片的唯一序号，较佳地，该序号中可涵盖图片拍摄时间、位置等信息。

优选地，所述步骤S13中在每组图片中选取出需要保存在所述终端设备中的本地图片的步骤包括：

获取每组图片的图片质量；

在每组图片中，选取图片质量最高的一张图片作为所述本地图片。

当然，在本发明的具体实施例中，也可以根据用户需求在每组中选取出任意一张或者多张图片作为本地图片，保存在终端设备中。

其中，获取每组图片的图片质量的步骤可以具体包括：

步骤S131：计算当前图片的灰度图像；

步骤S132：计算步骤S131得到的灰度图像的信息熵F；

步骤S133：计算当前图片的色彩系数Color；

步骤S134：若当前图片为人物类图片，计算人脸区域对应的灰度图像的对比度Contrast；

在步骤S132中，图像的信息熵式中：pk为灰度值k在该图像中出现的概率，N为图像的灰度等级。

在步骤S133中，图像的色彩Color＝σ_rgyb+0.3*μ_rgyb,式中：rg、yb是图像RGB色彩空间的一个简单对应色彩空间：rg＝R-G，yb＝0.5*(R+G)-B，其中，R表示RGB色彩空间中的R分量值；G表示RGB色彩空间中的G分量值；B表示RGB色彩空间中的B分量值。

在步骤S134中，人脸区域的对比度可采用方差对比度:式中：L表示人脸区域的大小，I表示当前位置人脸的亮度，是整个人脸区域的平均亮度。

在获取到每组图片的图片质量后，对每组中的图片按质量从高到低进行排序，标记每组中质量最高的图片，赋予一个ID。具体地，对每组中的图片按质量从高到低进行排序的步骤可包括：首先对图像的信息熵F按照从大到小的顺序进行排序，排序算法为现有技术，此处不再赘述；然后对排序后的图像赋予不同的分值，例如信息熵F最大的图像分值为100，其余按比例取值[0，100]。对色彩系数Color进行相同的操作，先排序，后赋予分值。若当前图片为风景类图片，则质量系数Q＝F_d+Color_d，式中F_d、Color_d分别表示信息熵F和色彩系数Color对应的分数值；若当前图片为人物类，则对人脸区域的对比度Contrast进行排序，同样映射取值[0，100]，质量系数Q＝F_d+Color_d+Contrast_d，Contrast_d表示对比度Contrast对应的分数值。

优选地，本发明实施例的图片的管理方法，还包括：

从云端获取所述差值图像，并将所述差值图像与对应的本地图片相加，恢复被删除的图片。

本发明实施例的图片的管理方法，将图片存储到云端，用户无需为节省空间而删除图片，所有图片可以随时回溯、浏览；且将图片存储到云端时，只对 差值图像进行编码传输，而由于每组图片相似性很大，差值图像编码后码流相对较小，比传输原图更节约带宽。另外，将原始图像和差值图像分开存储，只需对原始图像采取更高的保护措施，存储在云端的差值图像解码后无法看出图像内容，有效防止因系统漏洞或其他原因造成的图片泄露。

以上分别就图片的管理方法的每个步骤做出了详细解释说明，下面对图片的管理方法的整体流程进行进一步的说明。

如图2所示，包括：

步骤S21：对终端设备中的图片进行分类处理，得到分类后的图片，所述分类后的图片包含有用于表示该图片类别的类标签。

具体的，可将图片分为人物类和风景类。

步骤S22：根据图片的类别，提取图片的特征信息。

步骤S23：根据图片的特征信息，获取具有相同标签的图片之间的相似度。

步骤S24：根据所述相似度对所述具有相同类标签的图片进行分组处理，每组图片中的两张图片之间的相似度大于预设阈值。

步骤S25：计算每组图片的质量，并标记质量最高的图片，同时获取该图片与该组剩余图片的差值图像。

步骤S26：对差值图片进行编码，并传输到云端。

步骤S27：在终端设备中只保存质量最高的图片，删除该组剩余的图片。

步骤S28：当需要查看保留的质量最高图片以外的图片时，从云端获取相应的差值图片码流，解码并与本组质量最高的图片相加还原被删除的图片。

具体的，首先获取当前标记ID图片所在组的组标签，解析组标签获得当前组相似图片的个数；然后根据组标签从云端获取该组全部的差值图像码流；最后，在移动设备端解码差值图像的码流，并将解码结果与ID图像相加获得原图，若移动设备中无法找到ID图像，则只返回差值图像，并提示错误。

本发明实施例提供的的图片管理方法，应用图像分析技术，首先对移动设备中的图片进行分类，然后提取分类后的图片的特征，并利用基于这些特征定义的相似度量函数计算特征之间的相似性，将相似的图片标记为一组；再通过设计数码图片质量评价方案，选取每组中的最优图片；最后通过对差值图像编码，保存到云存储的方式，删除移动设备端的相似图片。而当用户需要浏览图 片时，只需要通过相应的逆过程即可实现浏览全部图片。本发明实施例采用图像分析技术，并将它与云存储相结合，解决了移动设备端相似图片多，整理麻烦，占用太多移动设备的存储空间的问题，且所有图片可以随时回溯、浏览，无需在删除图片和节省内存间进行选择，同时采用存储差值图像的方式，提高图片的保密度，保护用户隐私。

本发明实施例还提供了一种图片的管理装置，如图3所示，包括：

分类模块31，用于对终端设备中的图片进行分类处理，得到分类后的图片，所述分类后的图片包含有用于表示该图片类别的类标签；

分组模块32，用于获取具有相同类标签的图片之间的相似度，并根据所述相似度对所述具有相同类标签的图片进行分组处理，得到至少一组图片，其中，每组图片中的两张图片之间的相似度大于预设阈值；

处理模块33，用于在每组图片中选取出需要保存在所述终端设备中的本地图片，并获取该组剩余的每张图片与所述本地图片的差值图像，将差值图像存储到云端，同时删除该组剩余的图片。

本发明实施例的图片的管理装置，还包括：

恢复模块，用于从云端获取所述差值图像，并将所述差值图像与对应的本地图片相加，恢复被删除的图片。

本发明实施例的图片的管理装置，所述分类模块31包括：

检测模块，用于检测所述终端设备的图片中是否包含人脸信息；

划分模块，用于若所述检测模块检测到所述终端设备的图片中包含人脸信息，则将所述图片划分为人物类图片，否则，将所述图片划分为风景类图片。

本发明实施例的图片的管理装置，所述分组模块32包括：

提取模块，用于根据图片的类标签，提取终端设备中每张图片的特征信息；

获取模块，用于根据所述特征信息，获取具有相同类标签的图片之间的相似度。

本发明实施例的图片的管理装置，所述提取模块包括：

第一获取单元，用于若所述图片的类标签表明所述图片为人物类图片，则获取所述图片的颜色直方图及人脸区域的轮廓特征；

第二获取单元，用于若所述图片的类标签表明所述图片为风景类图片，则 获取所述图片的颜色直方图。

本发明实施例的图片的管理装置，所述获取模块包括：

第三获取模块，用于在所述终端设备的图片中选取一张未进行分组的第一图片，并获取所述第一图片的类标签；

第一计算模块，用于若所述类标签表明所述第一图片为人物类图片，则在所述终端设备未进行分组的图片中选取类标签为人物类图片的第二图片，并根据图片的颜色直方图及人脸区域的轮廓特征，计算所述第一图片和所述第二图片的相似度；

第二计算模块，用于若所述类标签表明所述第一图片为风景类图片，则在所述终端设备未进行分组的图片中选取类标签为风景类图片的第三图片，并根据图片的颜色直方图，计算所述第三图片与所述第一图片的相似度。

本发明实施例的图片的管理装置，所述第二计算模块包括：

判断单元，用于判断所述第一图片与所述第二图片中的人脸个数是否相同；

计算单元，用于若所述第一图片与所述第二图片中的人脸个数相同，则通过公式S＝r1*P+r2*H计算所述第一图片和所述第二图片的相似度；

其中，S表示相似度，r1和r2为预设系数，且r1+r2＝1，P表示人脸区域的轮廓特征的匹配度，H表示颜色直方图相似度。

本发明实施例的图片的管理装置，所述处理模块33包括：

第四获取模块，用于获取每组图片的图片质量；

选取模块，用于在每组图片中，选取图片质量最高的一张图片作为所述本地图片。

本发明实施例还提供了一种终端设备，包括如上所述的图片的管理装置。

需要说明的是，该装置及终端是与上述方法实施例对应的装置和终端，上述方法实施例中所有实现方式均适用于该装置和终端的实施例中，也能达到相同的技术效果。

本发明实施例的图片的管理方法、装置及终端设备，解决了移动设备中相似图片占用大量宝贵内存的问题，同时可以提高图片的保密度，保护用户隐私，提高用户体验。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发 明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。