图像处理装置以及方法
【技术领域】
[0001] 本发明涉及一种生成图像的显著性图表（map)的技术。
【背景技术】
[0002] 以往，在图像处理的领域中，已知有如下的技术，即，从图像中，检测出（提取出） 在该图像中被认为人类会关注的图像区域或应该关注的图像区域（将这些称为显著区 域）。另外，利用这种检测显著区域的技术，计算出图像中的各像素的显著度（saliency measure)，由此，还创建用于显示该图像的各像素的显著度的显著性图表。
[0003] 这种检测显著区域的技术例如用于从图像中检测主要拍摄对象。
[0004] 那么，作为用于上述的检测显著区域的算法，现有作为学习基础的算法。例如，在 专利文献1中记载有如下的内容，即，基于作为学习对象的多个图像数据，事先学习并决定 特征的种类，并基于所决定的特征的种类和作为显著度的计算对象的对象图像数据，提取 该对象图像数据中的各部的特征。根据该技术，通过将学习效果虚拟为人的经验或记忆，从 而能够判断更近似于人的感觉的显著度。
[0005] 然而，在上述学习基础的算法中，作为针对对象图像数据的事先知识，需要事先准 备作为学习对象的多个图像数据。因此，在不具备这种事先知识的情况下，不能够评价显著 度。
[0006] 另一方面，在专利文献2中记载有如下的技术，即，不需要事先知识，利用构成影 像的各帧之间的信息来检测显著区域。
[0007] 专利文献1 :日本特开2001 - 236508号公报
[0008] 专利文献2 :日本特开2010 - 258914号公报
[0009] 然而，在专利文献2的技术中，虽然不需要事先知识，但仅将由多个帧构成的动态 图像作为对象，而并不适用于评价静态图像的显著度。
【发明内容】
[0010] 本发明是用于解决上述问题的，其目的在于，提供不需要基于学习的事先知识，就 能够针对一张静态图像高精度地评价其显著度的图像处理技术。
[0011] 为了达成上述目的，基于在大多数情况下背景区域（不是显著区域的区域）存在 于图像的周缘部或显著区域不存在于图像的周缘部的假设，来计算显著度。
[0012] 具体来说，本发明的图像处理装置具有：图像获取部，其获取图像；类似度图表生 成部，其将由所述图像的一个或多个像素构成的区域作为单位结构，基于第一算法，计算表 示所述区域与所述图像的周缘部的区域之间的类似度的第一类似度图表，基于第二算法， 计算表示所述区域与所述图像的周缘部的区域之间的类似度的第二类似度图表；显著性图 表生成部，其综合所述第一类似度图表以及所述第二类似度图表来生成显著性图表。
[0013] 图像的周缘部的区域是包括图像的端部（上下左右端）的区域。就与这种周缘部 区域类似度高的区域而言，能够判断为其作为背景的可能性高、显著程度低。相反地，就上 述类似度低的区域而言，能够判断为其作为前景的可能性高、显著程度高。在此，通过利用 不同的算法至少生成两个类似度图表，并对这些类似度图表进行综合，由此，与基于一个类 似度图表进行生成的情况相比，能够生成更高精度的显著性图表。
[0014] 在本发明中，所述类似度图表生成部，基于所述周缘部的区域来重新构成对象的 区域，以使得重新构成误差越小则类似度越大的方式，生成所述第一类似度图表以及第二 类似度图表。这是因为，在基于周缘部区域表现对象的区域时，在能够高精度地复原出原区 域的情况下，对象的区域与周缘部区域类似度高。
[0015] 在本发明中，优选地，第一算法和第二算法各自的特征不同。例如，优选采用如下 的算法，即，即使有可能判断为显著区域以外的类似度也低（显著度高），也能够可靠地将 显著区域判断为类似度低的算法；即使有可能将显著区域的类似度判断为高（显著度低）， 也能够可靠地将显著区域以外判断为类似度高的算法。
[0016] 例如，举出了基于利用主成分分析（PCA)的重新构成的方法，来作为第一算法。具 体来说，能够采用如下的算法来作为第一算法：所述第一算法对所述周缘部的区域的特征 量实施主成分分析，计算多个固有矢量，通过对多个所述固有矢量进行线性结合来重新构 成对象的区域的特征量，重新构成误差越小，计算出类似度越大。
[0017] 另外，举出了基于利用稀疏编码（sparse coding)的重新构成的方法，来作为第二 算法。具体来说，能够采用如下的算法来作为第二算法：以利用尽量少的周缘部的区域的特 征量的组合来近似对象的区域的特征量的方式，利用成本函数最小的系数，通过对所述周 缘部的区域的特征量进行线性结合来重新构成对象的区域的特征量，重新构成误差越小， 计算出类似度越大。
[0018] 在本发明中，作为前置处理，优选对输入图像实施超像素化处理。即，本发明的图 像处理装置还能够具有超像素图像生成部，所述超像素图像生成部将由所述图像获取部获 取的图像划分成由基于像素的特征量连结的多个像素构成的区域，来生成超像素图像。在 该情况下，类似度图表生成部只要基于由所述超像素图像生成部生成的超像素图像，以超 像素为单位生成所述第一类似度图表以及第二类似度图表即可。
[0019] 像这样，通过将特征量类似的相邻区域作为一个像素（超像素），能够获得因削减 数据量而实现高速化以及节省存储空间的效果和能够抑制噪声的效果。
[0020] 在超像素化的处理中，具有对超像素的大小即将图像划分成多少个超像素进行调 整的参数。在本发明中，生成超像素数不同的多个超像素图像，以根据多个超像素图像生成 类似度图表。就生成类似度图表而言，只要基于第一算法，根据多个所述超像素图像分别生 成类似度图表，对这些多个类似度图表进行综合，来生成所述第一类似度图表即可。同样 地，只要基于第二算法，根据多个所述超像素图像分别生成类似度图表，对这些多个类似度 图表进行综合，以生成所述第二类似度图表即可。
[0021] 像这样，根据多个超像素图像分别生成类似度图表，并对这些类似度图表进行综 合，由此，能够抑制噪声的影响，从而能够生成更高精度的类似度图表。
[0022] 在本发明中，优选地，对根据多个超像素图像得到的类似度图表分别实施平滑处 理。此时，优选地，采用如下的处理来作为平滑处理，即，作为计算类似度图表的基础的超像 素图像进行聚类（grouping)，并在各类内扩散重新构成误差的处理。在显著物体存在于输 入图像的周缘部的情况下，即使与周缘部之间的类似度很高，也不能确定为背景。通过实施 上述这种在类内的平滑处理，能够获取在类内的其它区域的类似度，因此，即使在显著物体 存在于周缘部的情况下，也能够高精度地检测显著区域。
[0023] 在本发明中，在利用根据多个超像素图像生成的类似度图表生成第一以及第二类 似度图表的情况下，优选实施基于输入图像中的像素的特征量和与该像素对应的超像素的 特征量之间的类似度的加权平均处理。即，优选地，所述类似度图表生成部对基于所述第一 算法以及第二算法而根据多个所述超像素图像生成的多个类似度图表进行加权平均处理， 以生成所述第一以及第二类似度图表，所述加权平均处理的权重是指，由所述图像获取部 获取的图像中的像素的特征量与该像素所具有的超像素的特征量越近则该加权平均处理 的权重越大的权重。
[0024] 通过这种方法，能够根据以超像素为单位求出的类似度图表，高精度地求出以像 素为单位的类似度图表。
[0025] 在本发明中，优选地，所述类似度图表生成部，针对计算出的类似度，进行以在所 述图像中检测出的物体的位置为中心的加权处理，以生成所述第一类似度图表以及第二类 似度图表。此外，能够求出物体位置来作为类似度图表的类似度小的区域。
[0026] 像这样，并不对图像的中心加很大的权重，而是通过越靠近物体的中心加越大的 权重，由此，能够改善反映了物体的中心的类似度图表。
[0027] 在本发明中，优选地，所述显著性图表生成部用所述第一类似度图表作为事先准 确率，根据所述第一类似度图表和所述第二类似度图表计算似然度，并根据该事先准确率 和似然度计算表示显著区域的事后准确率的第一显著性图表，用所述第二类似度图表作为 事先准确率，根据所述第二类似度图表和所述第一类似度图表计算似然度，并根据该事先 准确率和似然度计算表示显著区域的事后准确率的第二显著性图表，对所述第一显著性图 表和所述第二显著性图表进行综合，生成最终的显著性图表。
[0028] 像这样，将第一类似度图表和第二类似度图表彼此作为事先准确率，来分别求出