基于图片内容分析的相片集分类系统及分类方法
【专利摘要】本发明公开了一种基于图片内容分析的相片集分类系统及分类方法，其中，分类系统包括：图片接收模块、图像预处理模块、人物检测模块、分类结果输出模块，前述图像预处理模块包括：缩小图片尺寸子模块、获取图片属性子模块、旋转图片子模块、提取颜色直方图子模块、过滤子模块；前述人物检测模块包括：形变部件模型子模块、特征金字塔子模块、窗口扫描子模块、判断子模块、返回子模块。本发明的分类系统通过图像预处理模块实现了快速分类、通过人物检测模块实现了精准自动分类；本发明的分类方法能够直接识别图片内容，即使是没有预先进行内容标注的用户图片，也可以进行自动分类，大幅度提高了相片集分类的自动化程度和效率。
【专利说明】基于图片内容分析的相片集分类系统及分类方法
【技术领域】
[0001] 本发明涉及一种相片集分类系统及分类方法，具体涉及一种基于图片内容分析的 相片集分类系统及分类方法，属于模式识别与机器智能【技术领域】。
【背景技术】
[0002] 随着电子成像技术和互联网的发展，人们创造图片、分享图片和获得图片的途径 越来越方便且多样。目前，众多的新型设备（包括移动电话）都有数码相机的功能，普通用 户可能积攒了一大批数字图片。
[0003] 传统的相片集分类系统，是以关键词的形式对图片内容做出注释，这不仅不能很 好的匹配到对应的图片上，同时还会增加用户的工作量。
[0004] 另外，现有的人体检测方法存在运算效率低下的缺点，导致用户体验降低。
【发明内容】
[0005] 为解决现有技术的不足，本发明的目的在于提供一种基于图片内容分析的相片集 分类系统及分类方法，该相片集分类系统和分类方法对即使是没有预先进行内容标注的用 户图片也能够自动有效的进行组织和管理，减少用户交互并帮助用户更好的使用和分享自 己拍摄的图片。
[0006] 为了实现上述目标，本发明采用如下的技术方案：
[0007] -种基于图片内容分析的相片集分类系统，其特征在于，分类系统能够对照片内 是否存在人物自动进行判断，并根据检测的位置对用户个人照片集进行自动分类，前述分 类系统包括：
[0008] 图片接收模块：用于接收用户通过网络传输的个人照片集；
[0009] 图像预处理模块：用于对图像进行预处理，快速过滤掉不符合系统算法预定义条 件的非人物图像，筛出备选的感兴趣图片；
[0010] 人物检测模块：用于确定图片的正确类别；
[0011] 分类结果输出模块：根据图像预处理结果和人物检测结果，图片集合被分为人物 图像和非人物图像两部分，分类结果输出模块用于将结果返回至用户。
[0012] 前述的基于图片内容分析的相片集分类系统，其特征在于，前述图像预处理模块 包括以下子模块：
[0013] 缩小图片尺寸子模块：用于缩小图片接收模块接收到的图片的尺寸；
[0014] 获取图片属性子模块：用于获得图片的属性信息和拍摄数据，前述拍摄数据包括 拍摄时间、地点和旋转参数；
[0015] 旋转图片子模块：用于获取图片的拍摄方向并将图片旋转至后续算法需要的角 度；
[0016] 提取颜色直方图子模块：用于在原图像的三种空间分布中提取直方图或者积分直 方图；
[0017] 过滤子模块：用于初步过滤掉不符合系统算法预定义条件的非人物图像。
[0018] 前述的基于图片内容分析的相片集分类系统，其特征在于，前述人物检测模块包 括以下子模块：
[0019] 形变部件模型子模块：用于获取已经过训练并存储在存储介质中的形变部件模 型，并将表征人体不同部位和姿态的形变部件模型进行组合，每一个形变部件模型均由全 局根模板、部件模板、形变模型三部分组成；
[0020] 特征金字塔子模块：用于得到特征金字塔；
[0021] 窗口扫描子模块：用于获得每个扫描窗口总响应；
[0022] 判断子模块：用于确定窗口响应是否包含人体；
[0023] 返回子模块：用于将判断结果返回至用户。
[0024] -种基于图片内容分析的相片集分类方法，其特征在于，包括以下步骤：
[0025] (1)、接收图片：接收用户通过网络传输的个人照片集；
[0026] (2)、预处理图像：先提取图片携带的辅助信息，再结合图像颜色空间对图像进行 预处理，快速过滤掉不符合算法预定义条件的非人物图像，筛出备选的感兴趣图片；前述辅 助信息包括图片的拍摄时间、地点和旋转参数；
[0027] (3)、检测人物：先提取备选的感兴趣图片的图像特征，再结合形变部件模型分析 图像的内容，确定图片的正确类别；
[0028] (4)、输出结果：根据图像预处理结果和人物检测结果，图片集合被分为人物图像 和非人物图像两部分，将结果返回至用户。
[0029] 前述的基于图片内容分析的相片集分类方法，其特征在于，在步骤（2)中，对图像 进行预处理的具体过程如下：
[0030] (2a)、缩小接收到的图片的尺寸；
[0031] (2b)、通过相片中携带的可交换图像文件格式获得图片的属性信息和拍摄数据， 前述拍摄数据包括拍摄时间、地点和旋转参数；
[0032] (2c)、根据图片的旋转参数获取图片的拍摄方向，并将图片旋转至后续算法需要 的角度；
[0033] (2d)、在原图像的三种空间分布中提取直方图或者积分直方图，前述三种空间：第 一种空间为完整的原图像空间，第二种空间为对原图像空间进行上下两部分均匀划分所形 成的两个子空间，第三种空间为对原图像空间进行上下左右四部分均匀划分所形成的四个 子空间；在第二种空间和第三种空间中，对每一个子空间提取独立的直方图或者积分直方 图；
[0034] (2e)、对于第一种空间和第二种空间提取的直方图或者积分直方图，筛除颜色单 一的图片；对于第二种空间和第三种空间提取的直方图或者积分直方图，对比各部分图像 块的直方图相似度，筛除各个部分为均一重复模式的图像。
[0035] 前述的基于图片内容分析的相片集分类方法，其特征在于，在步骤（3)中，确定图 片的正确类别的具体过程如下：
[0036] (3a)、获取已经过训练并存储在存储介质中的形变部件模型，并将表征人体不同 部位和姿态的形变部件模型进行组合，每一个形变部件模型均由全局根模板、部件模板、形 变模型三部分组成；
[0037] (3b)、通过计算输入图像金字塔中每层图像的HOG特征得到特征金字塔；
[0038] (3c)、通过逐窗口扫描，获取模板在特征图的各个位置的响应，并自底向上逐层返 回响应结果并对各部分的响应进行加和，获得每个扫描窗口总响应；
[0039] (3d)、根据预先设置的阈值，确定窗口响应是否包含人体；
[0040] (3e)、获得检测结果并返回。
[0041] 本发明的有益之处在于：
[0042] 1、本发明的相片集分类系统通过增加图像预处理模块，并采用一系列图像处理、 机器学习及模式识别的方法，对用户图片内容进行自动分类，不仅有效的提高了算法的精 度以及效率，提高了用户体验，而且还满足了系统实时性的要求，鲁棒性能好，可以用于其 他类别的分类识别；
[0043] 2、本发明的相片集分类系统不需要用户手动设置图像类别或对图片内容进行文 字标注，减少了用户的交互；
[0044] 3、本发明的相片集分类方法依据一定的算法直接去识别图片内容，即使是没有预 先进行内容标注的用户图片，也可以进行自动分类，大幅度提高了相片集分类的自动化程 度和效率；
[0045] 4、本发明的相片集分类方法采用了形变部件模型，增加了对人体姿态遮挡尺度变 化的适应性，提高了算法的精确度；
[0046] 5、本发明的相片集分类方法利用了图像直方图的特性，对待处理图片进行了预处 理，提高了算法的整体效率。
【专利附图】
【附图说明】
[0047] 图1是本发明的相片集分类系统的组成示意图；
[0048] 图2是本发明的相片集分类方法的主要流程图；
[0049] 图3是图像预处理的流程图；
[0050] 图4是旋转图片示意图；
[0051] 图5是三种空间的示意图；
[0052] 图6是某一图像与图5中的三种空间对应的灰度直方图；
[0053] 图7是人物检测的流程图；
[0054] 图8是获得特征金字塔的示意图。
【具体实施方式】
[0055] 首先介绍本发明的相片集分类系统。
[0056] 本发明的相片集分类系统，根据图片的拍摄时间、地点和内容等信息，能够对照片 内是否存在人物自动进行判断，并根据检测的位置对用户个人照片集进行自动分类。
[0057]以下结合附图和具体实施例对本发明的相片集分类系统作具体的介绍。
[0058] 参照图1，本发明的相片集分类系统包括：图片接收模块、图像预处理模块、人物 检测模块、以及分类结果输出模块，其中：
[0059] 1、用户通过网络将图片上传至云端服务器，并以用户的ID将图片合并成该用户 个人的相片集合，图片接收模块用于接收用户通过网络传输的个人照片集。
[0060] 2、图像预处理模块用于对图像进行预处理，先提取图片携带的辅助信息，再结合 图像颜色空间对图像进行处理，从而快速过滤掉不符合系统算法预定义条件的非人物图 像，筛出备选的感兴趣图片，最终实现对大量图片集快速分类。
[0061] 图像预处理模块包括以下子模块：
[0062] (1)、缩小图片尺寸子模块：用于缩小图片接收模块接收到的图片的尺寸。
[0063] (2)、获取图片属性子模块：用于获得图片的属性信息和拍摄数据，拍摄数据包括 拍摄时间、地点和旋转参数等。根据相片的拍摄时间，系统对相片集进行重新排序。
[0064] (3)、旋转图片子模块：用于获取图片的拍摄方向并将图片旋转至后续算法需要的 角度。
[0065] (4)、提取颜色直方图子模块：用于在原图像的三种空间分布中提取直方图或者积 分直方图。
[0066] 参照图5,三种空间：第一种空间为完整的原图像空间，第二种空间为对原图像空 间进行上下两部分均匀划分所形成的两个子空间，第三种空间为对原图像空间进行上下左 右四部分均匀划分所形成的四个子空间。
[0067] 在第二种空间和第三种空间中，提取颜色直方图子模块对每一个子空间提取独立 的直方图或者积分直方图。
[0068] 提取的直方图并不限于灰度直方图，还可以采用颜色RGB等。
[0069] (5)、过滤子模块：用于初步过滤掉不符合系统算法预定义条件的非人物图像。
[0070] 3、人物检测模块用于确定图片的正确类别，即确定图片中是否存在人物（这是图 片自动分类的主要依据），并精确定位人物的位置以及尺度大小。
[0071] 人物检测模块包括以下子模块：
[0072] (1)、形变部件模型子模块：用于获取已经过训练并存储在存储介质中的形变部件 模型，并将表征不同人体部分以及姿态的形变部件模型进行组合。
[0073] 每一个形变部件模型均由三部分组成：第一部分为一个较为粗糙的覆盖整个人体 目标的全局根模板（或叫根滤波器，root filter);第二部分为若干（该系统中设置为8个） 高分辨率的部件模板（或叫部件滤波器，part filter);第三部分为形变模型，该形变模型 为部件模板相对于全局根模板相对空间位置发生形变的代价。
[0074] 为了适应人体在不同图片中出现的不同姿态以及遮挡，系统将表征人体不同部位 和姿态的形变部件模型进行组合，用以提高系统检测率。
[0075] 例如：存储的形变部件模型，主要表征3种人体部分：1、人体肩部以上；2、上半身； 3、全身。因而，形变部件模型包含3种人体部分左右不同姿态共6种，用于适应人体不同姿 态以及不同程度遮挡情况下的识别。
[0076] 这样的设置提高了系统的运行效率，结合预处理模块的快速筛查，从而保证了整 体的实时性。
[0077] (2)、特征金字塔子模块：用于得到特征金字塔。
[0078] 系统采用36维的HOG特征，并通过计算输入图像金字塔中每层图像的HOG特征得 到特征金字塔。
[0079] 特征金字塔包含的特征图个数由输入图像的分辨率、下采样率以及模板的大小共 同决定。
[0080] (3)、窗口扫描子模块：用于获得每个扫描窗口总响应。
[0081] 窗口扫描子模块通过逐窗口扫描，获取模板在特征图的各个位置的响应，并自底 向上逐层返回响应结果并对各部分的响应进行加和，从而获得每个扫描窗口总响应。
[0082] (4)、判断子模块：用于确定窗口响应是否包含人体。
[0083] 根据预先设置的阈值，确定窗口响应是否包含人体。若高于阈值，则保留该窗口的 尺度位置等相关信息。
[0084] (5)、返回子模块：用于将判断结果返回至用户。
[0085] 4、根据图像预处理结果和人物检测结果，图片集合被分为人物图像和非人物图像 两部分，分类结果输出模块用于将结果返回至用户。
[0086] 由此可见，本发明的相片集分类系统通过增加图像预处理模块，并采用一系列图 像处理、机器学习及模式识别的方法，对用户图片内容进行快速、自动分类，不仅有效的提 高了算法的精度以及效率，提高了用户体验，而且还满足了系统实时性的要求，鲁棒性能 好，可以用于其他类别的分类识别。
[0087] 接下来介绍上述相片集分类系统对图片进行快速、自动分类的方法。
[0088] 本发明的相片集分类方法依据一定的算法直接去识别图片内容，即使是没有预先 进行内容标注的用户图片，也可以进行快速、自动分类（分类的主要依据：图片中是否包含 人物）。
[0089]由于用户拍摄的图片中，人物的位置、姿态、尺度大小等多样且随机化，给人物检 测算法的精确度及效率带来了极大挑战。同时，随着用户上传图片的不断增多，云端服务器 的计算压力也不断增加。为了克服上述问题，本发明的方法提供了一种图片预处理算法对 图片集进行快速筛选、并将可能含有人物的图片做进一步的人物检测，从而最终实现对大 量图片集快速自动分类。
[0090] 以下结合附图和具体实施例对本发明的相片集分类方法作具体的介绍。
[0091] 参照图2,本发明的相片集分类方法包括以下步骤：
[0092] 步骤1、接收图片
[0093] 接收用户通过网络传输的个人照片集。该步骤通过图片接收模块实现。
[0094] 步骤2、预处理图像
[0095] 由于用户拍摄的图片中，人物的位置、姿态、尺度大小等多样且随机化，给人物检 测算法的精确度及效率带来了极大挑战，同时，随着用户上传图片的不断增多，云端服务器 的计算压力也不断增加。
[0096] 所以，本发明的方法先对图像进行了预处理，即先提取图片携带的辅助信息（包 括图片的拍摄时间、地点和旋转参数），再结合图像颜色空间对图像进行预处理（初步筛 选），快速过滤掉不符合算法预定义条件的非人物图像，筛出备选的感兴趣图片。该步骤通 过图像预处理模块实现。
[0097] 参照图3,图像预处理模块对图像进行预处理的具体过程如下：
[0098] (2a)、缩小接收到的图片的尺寸
[0099] 随着技术以及硬件的不断更新换代，即使普通用户亦能利用个人的拍照设备（包 括手机以及数码相机）获取高质量的相片。用户在通过网络将图片上传至服务器时，为了 节约网络带宽已经对图片内容进行了压缩（例如转成JPG格式），但是仍然保留了较高分辨 率。基于过高分辨率的图片进行后续算法，将造成不必要的运算负担，因而本发明的方法首 先缩小图片的尺寸，以提高算法效率。
[0100] (2b)、获取图片属性
[0101] 通过相片中携带的可交换图像文件格式（Exchangeable image file format，Exif)获得图片的属性信息和拍摄数据，拍摄数据包括拍摄时间、地点和旋转参数 等。
[0102] (2C)、旋转图片
[0103] 根据图片的旋转参数获取图片的拍摄方向，并将图片旋转至后续算法需要的角 度。
[0104] 例如，当拍摄异常时，可通过对图片进行水平翻转或垂直翻转等操作，使其旋转至 后续算法需要的角度，如图4所示。
[0105] (2d)、提取图片金字塔颜色直方图
[0106] 由于直方图计算高效，不涉及复杂运算，因而适用于图像的初步筛选。
[0107] 本发明的方法在原图像的三种空间分布中提取直方图（包括：颜色RGB、灰度直方 图等）或者积分直方图。
[0108] 下面以灰度直方图为例进行说明。
[0109] 直方图的表示，IIi表示灰度i出现的次数，这样图像中灰度i的像素的出现概率 是：
【权利要求】
1. 一种基于图片内容分析的相片集分类系统，其特征在于，分类系统能够对照片内是 否存在人物自动进行判断，并根据检测的位置对用户个人照片集进行自动分类，所述分类 系统包括： 图片接收模块：用于接收用户通过网络传输的个人照片集； 图像预处理模块：用于对图像进行预处理，快速过滤不符合系统算法预定义条件的非 人物图像，筛出备选的感兴趣图片； 人物检测模块：用于确定图片的正确类别； 分类结果输出模块：根据图像预处理结果和人物检测结果，图片集合被分为人物图像 和非人物图像两部分，分类结果输出模块用于将结果返回至用户。
2. 根据权利要求1所述的基于图片内容分析的相片集分类系统，其特征在于，所述图 像预处理模块包括以下子模块： 缩小图片尺寸子模块：用于缩小图片接收模块接收到的图片的尺寸； 获取图片属性子模块：用于获得图片的属性信息和拍摄数据，所述拍摄数据包括拍摄 时间、地点和旋转参数； 旋转图片子模块：用于获取图片的拍摄方向并将图片旋转至后续算法需要的角度； 提取颜色直方图子模块：用于在原图像的三种空间分布中提取直方图或者积分直方 图； 过滤子模块：用于初步过滤掉非人物图像。
3. 根据权利要求1所述的基于图片内容分析的相片集分类系统，其特征在于，所述人 物检测模块包括以下子模块： 形变部件模型子模块：用于获取已经过训练并存储在存储介质中的形变部件模型，并 将表征人体不同部位和姿态的形变部件模型进行组合，每一个形变部件模型均由全局根模 板、部件模板、形变模型三部分组成； 特征金字塔子模块：用于得到特征金字塔； 窗口扫描子模块：用于获得每个扫描窗口总响应； 判断子模块：用于确定窗口响应是否包含人体； 返回子模块：用于将判断结果返回至用户。
4. 一种基于图片内容分析的相片集分类方法，其特征在于，包括以下步骤： (1) 、接收图片：接收用户通过网络传输的个人照片集； (2) 、预处理图像：先提取图片携带的辅助信息，再结合图像颜色空间对图像进行预处 理，快速过滤掉不符合算法预定义条件的非人物图像，筛出备选的感兴趣图片；所述辅助信 息包括图片的拍摄时间、地点和旋转参数； (3) 、检测人物：先提取备选的感兴趣图片的图像特征，再结合形变部件模型分析图像 的内容，确定图片的正确类别； (4) 、输出结果：根据图像预处理结果和人物检测结果，图片集合被分为人物图像和非 人物图像两部分，将结果返回至用户。
5. 根据权利要求4所述的基于图片内容分析的相片集分类方法，其特征在于，在步骤 (2)中，对图像进行预处理的具体过程如下： (2a)、缩小接收到的图片的尺寸； (2b)、通过相片中携带的可交换图像文件格式获得图片的属性信息和拍摄数据，所述 拍摄数据包括拍摄时间、地点和旋转参数； (2c)、根据图片的旋转参数获取图片的拍摄方向，并将图片旋转至后续算法需要的角 度； (2d)、在原图像的三种空间分布中提取直方图或者积分直方图，所述三种空间：第一种 空间为完整的原图像空间，第二种空间为对原图像空间进行上下两部分均匀划分所形成的 两个子空间，第三种空间为对原图像空间进行上下左右四部分均匀划分所形成的四个子空 间；在第二种空间和第三种空间中，对每一个子空间提取独立的直方图或者积分直方图； (2e)、对于第一种空间和第二种空间提取的直方图或者积分直方图，筛除颜色单一的 图片；对于第二种空间和第三种空间提取的直方图或者积分直方图，对比各部分图像块的 直方图相似度，筛除各个部分为均一重复模式的图像。
6.根据权利要求4所述的基于图片内容分析的相片集分类方法，其特征在于，在步骤 (3)中，确定图片的正确类别的具体过程如下： (3a)、获取已经过训练并存储在存储介质中的形变部件模型，并将表征人体不同部位 和姿态的形变部件模型进行组合，每一个形变部件模型均由全局根模板、部件模板、形变模 型三部分组成； (3b)、通过计算输入图像金字塔中每层图像的HOG特征得到特征金字塔； (3c)、通过逐窗口扫描，获取模板在特征图的各个位置的响应，并自底向上逐层返回响 应结果并对各部分的响应进行加和，获得每个扫描窗口总响应； (3d)、根据预先设置的阈值，确定窗口响应是否包含人体； (3e)、获得检测结果并返回。
【文档编号】G06K9/64GK104361357SQ201410643010
【公开日】2015年2月18日 申请日期:2014年11月7日 优先权日:2014年11月7日
【发明者】吴莉婷, 白波, 周薇 申请人:北京途迹科技有限公司