一种照片的智能管理方法及装置与流程

本发明涉及照片管理领域，特别涉及一种照片的智能管理方法及装置。

背景技术：

个人照片需要永久存储，以留下生活中美好的回忆记录。目前获取照片的途径很多，手机、IPD、电话手表、相机均能拍摄照片，随着具有拍摄功能的终端设备越来越多，照片的存储管理变得越来越重要，多个终端均存储有照片，照片的查找也变得越来越不容易。一旦终端内存不够或者是损坏的情况下，照片的迁移更是给照片的存储管理带来更多的风险。，当前的U盘、硬盘和NAS管理照片的方法和装置都无法满足日益增长的照片管理的需求，存在多个U盘或多个移动硬盘上的照片使得查找和管理照片更加困难。

公有云盘可以将多个手机或照相机拍的照片的同步、存储到云端，但照片的私密性无法保证，而且云盘存储采用付费制，成本太高，一旦云服务停止，大量照片的迁移更是一个严峻的挑战。

技术实现要素：

本发明的主要目的是提出一种照片的智能管理方法，旨在克服以上问题。

为实现上述目的，本发明公开了一种照片的智能管理方法，包括如下步骤：

S10接收各个终端上传的照片；

S20在照片数据库生成具有拍摄信息的照片组，其中拍摄信息至少包括照片拍摄的时间、地点或终端型号；

S30根据拍摄信息和图像对象标识生成照片数据库的查询调用至少包括人脸分类标识、场景识别标识和实物识别标识；

S40根据拍摄信息和图像对象标识生成照片数据库的查询调用。

优选地，所述S10之后，所述S20之前还包括：

S50去重处理：每张上传照片对应生成一个散列函数MD5，散列函数MD5对应每张上传照片产生一个128位哈希值的信息摘要，若出现相同的MD5，则停止照片上传。

优选地，所述深度学习神经网络包括人物聚类模型、预先经过深度学习神经网络训练的人脸识别模型、场景识别模型及实物识别模型，所述S30具体为：

S301将照片输入人脸识别模型，对照片上是否有人脸图像进行检测，若检测到人脸图像，对人脸图像进行人脸标识，并将人脸图像及人脸标识写入照片数据库；将人脸图像传送至人物聚类模型，以将人脸图像采用有历史记录的结构式聚类算法以类分组，把照片分入相似度在设定值范围内的照片组，照片数据库更新生成新的人脸分类标识的照片组；

S302将照片输入场景识别模型进行分析处理，给出照片的场景相似度值，视最高相似度值的场景标识为照片的场景识别标识，照片分入同一场景标识的照片组，照片数据库更新生成新的场景识别标识的照片组；

S303将照片输入实物识别模型进行识别，若照片中的实物与实物识别模型的指定实物相匹配，照片分入匹配的指定实物的照片组，照片数据库更新生成新的实物识别标记的照片组。

优选地，所述人物聚类模型包括人脸聚类器、分类器和至少两个人脸识别子模型，所述S301包括：

S3011将照片输入人脸识别模型，采用至少两个预先训练好的人脸识别子模型对照片进行交叉检测，以检测是否具有人脸图像；

S3012若检测具有人脸图像，将该人脸图像与具有人脸分类标识的照片组相对比，获取人脸相似度；

S3013根据人脸相似度获取人脸图像的确认指令，更新照片数据库；

S3014将人脸图像传送到人脸聚类器按rank order或KNN的聚类算法进行聚类；

S3015若已聚类的该人脸图像数量超过一定数量时，提取已聚类的该人脸图像的特征值进行训练学习，生成该人脸图像对应的分类器，以后每张新的人脸图像都要经过该分类器进行识别，把照片分入相似度在设定值范围内的照片组；

S3016若该人脸图像在人脸分类器中无法识别，则该人脸图像累积在人脸聚类器重新进行聚类，以生成新的人脸分类类别及标识。

优选地，所述S301还包括如下步骤：

S3017接收人脸分类标识的更正操作，人脸分类器重新训练学习，生成更正后的人脸分类器，其中所说的更正操作包括：

若聚类时将同一个人分成2个或多个人脸识别标识，合并相同人脸的人脸识别标识；

若具有相同人脸识别标识的照片组内出现不同2个或多个不同人脸，将分错的人脸删除除或转移到正确的照片组。

优选地，所述S30还包括S304，具体如下：

输入人脸新样本至深度学习神经网络进行神经网络学习，生成新的人脸识别模型，将其加入人脸识别模型形成新的人脸识别模型，

或输入场景新样本至深度学习神经网络进行神经网络学习，生成新的场景识别模型，将其加入场景识别模型形成新的场景识别模型，

或输入实物新样本至深度学习神经网络进行神经网络学习，生成新的实物识别模型，将其加入实物识别模型形成新的实物识别模型。

本发明还公开了一种照片的智能管理装置，本装置包括：

接收模块，用于接收各个终端上传的照片；

第一写入模块，用于在照片数据库生成具有拍摄信息的照片组，其中拍摄信息至少包括照片拍摄的时间、地点或终端型号；

第二写入模块，用于根据拍摄信息和图像对象标识生成照片数据库的查询调用至少包括人脸分类标识、场景识别标识和实物识别标识；

生成模块，用于由照片的拍摄信息数据和图像对象的标识数据生成照片数据库的查询调用。

优选地，还包括：

去重模块，用于每张上传照片对应生成一个散列函数MD5，散列函数MD5对应每张上传照片产生一个128位哈希值的信息摘要，若出现相同的MD5，则停止照片上传。

优选地，所述深度学习神经网络包括人物聚类模型、预先经过深度学习神经网络训练的人脸识别模型、人场景识别模型及实物识别模型，所述第二写入模块包括：

人脸识别子模块，用于将照片输入人脸识别模型，对照片上是否有人脸图像进行检测，若检测到人脸图像，对人脸图像进行人脸标识，并将人脸图像及人脸标识写入照片数据库；将人脸图像传送至人物聚类模型，以将人脸图像采用有历史记录的结构式聚类算法以类分组，把照片分入相似度在设定值范围内的照片组，照片数据库更新生成新的人脸分类标识的照片组；

场景识别子模块，用于将照片输入场景识别模型进行分析处理，给出照片的场景相似度值，视最高相似度值的场景标识为照片的场景识别标识，照片分入同一场景标识的照片组，照片数据库更新生成新的场景识别标识的照片组；

实物识别子模块，用于将照片输入实物识别模型进行识别，若照片中的实物与实物识别模型的指定实物相匹配，照片分入匹配的指定实物的照片组，照片数据库更新生成新的实物识别标记的照片组；

学习子模块，用于输入人脸新样本至深度学习神经网络进行神经网络学习，生成新的人脸识别模型，将其加入人脸识别模型形成新的人脸识别模型，

或输入场景新样本至深度学习神经网络进行神经网络学习，生成新的场景识别模型，将其加入场景识别模型形成新的场景识别模型，

或输入实物新样本至深度学习神经网络进行神经网络学习，生成新的实物识别模型，将其加入实物识别模型形成新的实物识别模型。

优选地，所述人脸识别子模块包括：

人脸检测单元，用于将照片输入人脸识别模型，采用至少两个预先训练好的人脸检测模型对照片进行交叉检测，以检测是否具有人脸图像；

第一获取单元，用于若检测具有人脸图像，将该人脸图像与具有人脸分类标识的照片组相对比，获取人脸相似度；

第二获取单元，用于根据人脸相似度获取人脸图像的确认指令，更新照片数据库；

聚类单元，用于将人脸图像传送到人脸聚类器按rank order或KNN的聚类算法进行聚类；

分类识别单元，用于若已聚类的该人脸图像数量超过一定数量时，提取已聚类的该人脸图像的特征值进行训练学习，生成该人脸图像对应的分类器，以后每张新的人脸图像都要经过该分类器进行识别，把照片分入相似度在设定值范围内的照片组；

生成单元，用于若该人脸图像在人脸分类器中无法识别，则该人脸图像累积在人脸聚类器重新进行聚类，以生成新的人脸分类类别及标识；

更正单元，用于接收人脸分类标识的更正操作，人脸分类器重新训练学习，生成更正后的人脸分类器，其中所说的更正操作包括：

若聚类时将同一个人分成2个或多个人脸识别标识，合并相同人脸的人脸识别标识；

若具有相同人脸识别标识的照片组内出现不同2个或多个不同人脸，将分错的人脸删除除或转移到正确的照片组。

本发明通过在照片数据库生成图像对象标识的照片组和拍摄信息的照片组，再由图像对象标识与照片的拍摄信息生成照片数据库的查询调用，用户可通过按时间、地点、人物、场景、实物等信息更快捷方便地查询照片数据库，提高用户体验；图像对象标识由深度学习神经网络进行图像识别、聚类和分类提取，具有较高的照片识别精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明照片的智能管理方法一实施例的方法流程图；

图2为本发明照片的智能管理方法另一实施例的方法流程图；

图3为所述S30一实施例的方法流程图；

图4为所述S301一实施例的方法流程图；

图5为所述S301另一实施例的方法流程图；

图6为所述S30另一实施例的方法流程图；

图7为本发明照片的智能管理装置一实施例的功能模块图；

图8为本发明照片的智能管理装置另一实施例的功能模块图；

图9为所述第二写入模块一实施例的功能细化图；

图10为所述人脸识别子模块一实施例的功能细化图，

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明公开了一种照片的智能管理方法，包括如下步骤：

S10接收各个终端上传的照片；

S20在照片数据库生成具有拍摄信息的照片组，其中拍摄信息至少包括照片拍摄的时间、地点或终端型号；

S30根据拍摄信息和图像对象标识生成照片数据库的查询调用至少包括人脸分类标识、场景识别标识和实物识别标识；

S40根据拍摄信息和图像对象标识生成照片数据库的查询调用。

在本发明实施例中，本发明通过集合接收各个终端上传的照片，再对照片统一进行存储管理，具体存储管理方法通过提取照片的拍摄信息和图像对象标识分别写入照片数据库生成查询调用，这样用户可以随时在任意终端按时间、地点、人物、场景或实物等标识查询到对应的照片组。应用场景：与各个终端建立P2P对等网络连接，各个终端如手机、移动硬盘、个人PC、IPD等等，均可通过P2P对等网络上传照片，通过本发明的方法对各个终端的照片智能化地统一管理。

优选地，所述S10之后，所述S20之前还包括：

S50去重处理：每张上传照片对应生成一个散列函数MD5，散列函数MD5对应每张上传照片产生一个128位哈希值的信息摘要，若出现相同的MD5，则停止照片上传。

在本发明实施例中，本发明进一步地在照片存储管理上增添了去重处理，对每张上传照片对应生成一个散列函数MD5，若出现相同的MD5，表示照片有重复或过于相似，则停止照片继续上传，节省照片存储的冗余空间。

优选地，所述深度学习神经网络包括人物聚类模型、预先经过深度学习神经网络训练的人脸识别模型、场景识别模型及实物识别模型，所述S30具体为：

S301将照片输入人脸识别模型，对照片上是否有人脸图像进行检测，若检测到人脸图像，对人脸图像进行人脸标识，并将人脸图像及人脸标识写入照片数据库；将人脸图像传送至人物聚类模型，以将人脸图像采用有历史记录的结构式聚类算法以类分组，把照片分入相似度在设定值范围内的照片组，照片数据库更新生成新的人脸分类标识的照片组；

S302将照片输入场景识别模型进行分析处理，给出照片的场景相似度值，视最高相似度值的场景标识为照片的场景识别标识，照片分入同一场景标识的照片组，照片数据库更新生成新的场景识别标识的照片组；

S303将照片输入实物识别模型进行识别，若照片中的实物与实物识别模型的指定实物相匹配，照片分入匹配的指定实物的照片组，照片数据库更新生成新的实物识别标记的照片组。

优选地，所述人物聚类模型包括人脸聚类器、分类器和至少两个人脸识别子模型，所述S301包括：

S3011将照片输入人脸识别模型，采用至少两个预先训练好的人脸识别子模型对照片进行交叉检测，以检测是否具有人脸图像；

S3012若检测具有人脸图像，将该人脸图像与具有人脸分类标识的照片组相对比，获取人脸相似度；

S3013根据人脸相似度获取人脸图像的确认指令，更新照片数据库；

S3014将人脸图像传送到人脸聚类器按rank order或KNN的聚类算法进行聚类；

S3015若已聚类的该人脸图像数量超过一定数量时，提取已聚类的该人脸图像的特征值进行训练学习，生成该人脸图像对应的分类器，以后每张新的人脸图像都要经过该分类器进行识别，把照片分入相似度在设定值范围内的照片组；

S3016若该人脸图像在人脸分类器中无法识别，则该人脸图像累积在人脸聚类器重新进行聚类，以生成新的人脸分类类别及标识。

优选地，所述S301还包括如下步骤：

S3017接收人脸分类标识的更正操作，人脸分类器重新训练学习，生成更正后的人脸分类器，其中所说的更正操作包括：

若聚类时将同一个人分成2个或多个人脸识别标识，合并相同人脸的人脸识别标识；

若具有相同人脸识别标识的照片组内出现不同2个或多个不同人脸，将分错的人脸删除除或转移到正确的照片组。

在本发明实施例中，本发明的深度学习神经网络具有AI人工智能分析功能，照片输入人脸识别模型，对照片上是否有人脸进行检测，人脸识别模型预先训练好的人脸模型，若检测到人脸的照片，将人脸标识及人脸图片写入照片数据库。优选地，采用两种以上的人脸识别子模型进行交叉检测降低对人脸的误判，提高人脸的识别精度。

人脸图像传至人物聚类模型进行聚类、分类，完成后人物分类标识写入照片数据库。当已聚类的该人脸图像数量超过一定数量时，启动小数据训练对此人脸生成一个人脸分类顺，以后每张新的人脸都要经过已有的人脸分类器来进行识别，无法识别或匹配的人脸照片将累积到聚类器，重新进行聚类，发现新的人脸类别及标识。若用户发现查询照片分错，手动更改照片的图像对象标识，比如合并不同人物分类标识的相同人物，或移动分错的照片等，若某个人脸标识的数量增加或减少时，系统会对人脸分类器自动进行再训练学习，改进人脸分类器，以进一步提高识别精度。

对于照片的场景识别，场景识别模型是预先通过深度学习神经网络系统训练好的，按预设的场景模型对照片进行分析处理，给出场景相似度，视相似度最高的场景标记为照片的场景标识，如海滩、塔、球场等，并将照片归入场景标识的照片组，在照片数据库生成新的照片组。

对于照片的实物识别，实物分为无生命物、动物和植物，实物识别模型预先训练好的模型，用户可以选择进行指定实物的识别，识别出的实物标识会自动写入照片数据库。

优选地，所述S30还包括S304，具体如下：

输入人脸新样本至深度学习神经网络进行神经网络学习，将其加入人脸识别模型形成新的人脸识别模型，

或输入场景新样本至深度学习神经网络进行神经网络学习，将其加入场景识别模型形成新的场景识别模型，

或输入实物新样本至深度学习神经网络进行神经网络学习，将其加入实物识别模型形成新的实物识别模型。

在本发明实例中，深度学习神经网络还具有自学习的功能，输入人脸新样本、场景新样本或实物新样本后，进行神经网络自学习，生成新的识别模型，用户激活新生成的识别模型，对照片进行识别，识别后的标识将写入照片数据库以供查询。

本发明还公开了一种照片的智能管理装置，用于实现上述方法，采用了上述全部实施例，故不再累述，本装置包括：

接收模块10，用于接收各个终端上传的照片；

第一写入模块20，用于在照片数据库生成具有拍摄信息的照片组，其中拍摄信息至少包括照片拍摄的时间、地点或终端型号；

第二写入模块30，用于根据拍摄信息和图像对象标识生成照片数据库的查询调用至少包括人脸分类标识、场景识别标识和实物识别标识；

生成模块40，用于由照片的拍摄信息数据和图像对象的标识数据生成照片数据库的查询调用。

优选地，还包括：

去重模块50，用于每张上传照片对应生成一个散列函数MD5，散列函数MD5对应每张上传照片产生一个128位哈希值的信息摘要，若出现相同的MD5，则停止照片上传。

优选地，所述深度学习神经网络包括人物聚类模型、预先经过深度学习神经网络训练的人脸识别模型、人场景识别模型及实物识别模型，所述第二写入模块30包括：

人脸识别子模块301，用于将照片输入人脸识别模型，对照片上是否有人脸图像进行检测，若检测到人脸图像，对人脸图像进行人脸标识，并将人脸图像及人脸标识写入照片数据库；将人脸图像传送至人物聚类模型，以将人脸图像采用有历史记录的结构式聚类算法以类分组，把照片分入相似度在设定值范围内的照片组，照片数据库更新生成新的人脸分类标识的照片组；

场景识别子模块302，用于将照片输入场景识别模型进行分析处理，给出照片的场景相似度值，视最高相似度值的场景标识为照片的场景识别标识，照片分入同一场景标识的照片组，照片数据库更新生成新的场景识别标识的照片组；

实物识别子模块303，用于将照片输入实物识别模型进行识别，若照片中的实物与实物识别模型的指定实物相匹配，照片分入匹配的指定实物的照片组，照片数据库更新生成新的实物识别标记的照片组；

学习子模块304，用于输入人脸新样本至深度学习神经网络进行神经网络学习，生成新的人脸识别模型，将其加入人脸识别模型形成新的人脸识别模型，

或输入场景新样本至深度学习神经网络进行神经网络学习，生成新的场景识别模型，将其加入场景识别模型形成新的场景识别模型，

或输入实物新样本至深度学习神经网络进行神经网络学习，生成新的实物识别模型，将其加入实物识别模型形成新的实物识别模型。

优选地，所述人脸识别子模块301包括：

人脸检测单元3011，用于将照片输入人脸识别模型，采用至少两个预先训练好的人脸检测模型对照片进行交叉检测，以检测是否具有人脸图像；

第一获取单元3012，用于若检测具有人脸图像，将该人脸图像与具有人脸分类标识的照片组相对比，获取人脸相似度；

第二获取单元3013，用于根据人脸相似度获取人脸图像的确认指令，更新照片数据库；

聚类单元3014，用于将人脸图像传送到人脸聚类器按rank order或KNN的聚类算法进行聚类；

分类识别单元3015，用于若已聚类的该人脸图像数量超过一定数量时，提取已聚类的该人脸图像的特征值进行训练学习，生成该人脸图像对应的分类器，以后每张新的人脸图像都要经过该分类器进行识别，把照片分入相似度在设定值范围内的照片组；

生成单元3016，用于若该人脸图像在人脸分类器中无法识别，则该人脸图像累积在人脸聚类器重新进行聚类，以生成新的人脸分类类别及标识；

更正单元3017，用于接收人脸分类标识的更正操作，人脸分类器重新训练学习，生成更正后的人脸分类器，其中所说的更正操作包括：

若聚类时将同一个人分成2个或多个人脸识别标识，合并相同人脸的人脸识别标识；

若具有相同人脸识别标识的照片组内出现不同2个或多个不同人脸，将分错的人脸删除除或转移到正确的照片组。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。