图像处理装置及图像处理方法
【专利摘要】本发明提供一种图像处理装置及图像处理方法，从局部的边缘信息除去噪声边缘并能够得到强调了重要的物体轮廓的轮廓图像。图像处理装置（1）具有：局部轮廓提取部（23），生成局部边缘图像（P12）；整体轮廓提取部（26），生成整体边缘图像（P22）；局部边缘图像（P12）；通过与整体边缘图像（P22）的加权和来生成轮廓图像（P30）。
【专利说明】图像处理装置及图像处理方法
[0001]相关申请的交叉引用
[0002]本申请要求在2012年9月13日递交的日本专利申请第2012-201971号的优先权，其全部内容援引于此，用于所有目的。
【技术领域】
[0003]本发明涉及一种生成表示输入图像所示的物体的轮廓的轮廓图像的图像处理装置、图像处理程序、记录有图像处理程序的计算机可读记录介质及图像处理方法。
【背景技术】
[0004]以往，在图像处理的领域中，已知有提取包含在图像中的物体的轮廓的技术。以往的大部分轮廓提取技术根据图像的局部的对比度信息来检测边缘，从而提取物体的轮廓(计算边缘的方向和强度(专利文献I);在外周像素中就任意的浓度值进行轮廓提取处理(专利文献2);通过两个阶段来判定边缘部/非边缘部(专利文献3);对规定的扫描线上的像素判定边缘强度(专利文献4))。在这种技术中，为了定义“对比度”，提出了多种方法。
[0005]并且，以往，已知有所谓的边缘的分组技术。边缘的分组技术是指根据局部的对比度信息来尽可能多检测边缘，导出检测出的边缘与边缘之间的相关关系，并除去相关关系较低的边缘的同时连接相关关系较高的边缘，从而最终提取轮廓。例如，提出了如下技术，即，检测规定方向上的线段，并根据与规定方向的连续性和/或强度来强调或去掉该检测的线段，从而提取轮廊线(专利文献5)。
[0006]现有技术文献
[0007]专利文献
[0008]专利文献1:日本特开2000-11188 (2000年I月14日公开)
[0009]专利文献2:日本特开2000-76468 (2000年3月14日公开)
[0010]专利文献3:日本特开2007-318408 (2007年12月6日公开)
[0011 ] 专利文献4:日本特开2008-205603 (2008年9月4日公开)
[0012]专利文献5:日本特开平5-307537 (1993年11月19日公开)
[0013]但是，在如上所述的现有技术中，在检测边缘时仅仅利用了局部的对比度信息，并且未考虑到成为边缘检测处理对象的区域(像素)是不是图像整体中人类的视觉特性上重要的区域(像素)。
[0014]因此，存在如下情况，S卩，即使是人类的视觉特性上不重要的区域(B卩，认为不包含显著物体的区域)，也仅根据局部的对比度信息来检测边缘。因此，在以往的技术中，有时在边缘检测处理及轮廓提取处理中得不到足够的精度。
【发明内容】
[0015]根据本发明的至少一个实施例的一个方案，提供一种图像处理装置，用于生成表示输入图像中所示的物体的轮廓的轮廓图像，该图像处理装置包括:局部边缘图像生成单元，被配置为基于输入图像中的区域与邻近该区域的区域之间的对比度，来生成表示上述输入图像中的物体的局部边缘的局部边缘图像；显著边缘图像生成单元，被配置为生成表示上述输入图像内的显著区域的对比图图像，以及生成表示包括在所生成的对比图图像中的边缘的显著边缘图像；以及轮廓图像生成单元，被配置为通过组合该局部边缘图像和显著边缘图像来生成轮廓图像。
[0016]根据本发明的至少一个实施例的另一个方案，提供一种非暂存性计算机可读介质，其具有存储在其上的计算机可读指令，该计算机可读指令用于通过计算机执行一种用于生成表示输入图像中所示的物体的轮廓的轮廓图像的图像处理方法，该图像处理方法包括:基于输入图像中的区域与该区域的邻近区域之间的对比度，来生成表示上述输入图像的局部边缘的局部边缘图像；生成表示上述输入图像内的显著区域的对比图图像，以及生成表示包括在所生成的对比图图像中的边缘的显著边缘图像；以及通过组合该局部边缘图像和显著边缘图像来生成轮廓图像。
[0017]根据本发明的至少一个实施例的再一个方案，提供一种图像处理方法，用于生成表示输入图像中所示的物体的轮廓的轮廓图像，该图像处理方法包括:基于输入图像中的区域与邻近该区域的区域之间的对比度，来生成表示上述输入图像中的物体的局部边缘的局部边缘图像；生成表示上述输入图像内的显著区域的对比图图像，以及生成表示包括在所生成的对比图图像中的边缘的显著边缘图像；以及通过组合该局部边缘图像和显著边缘图像来生成轮廓图像。
【专利附图】
【附图说明】
[0018]图1是表示本发明的一实施方式的图像处理装置的简要结构的一例的功能框图。
[0019]图2是表示上述图像处理装置所具有的显著图图像生成部的结构例的功能框图。
[0020]图3是表示上述显著图图像生成部所处理的图像的一例的图。其中，Ca)表示向显著图图像生成部输入的输入图像，(b)表示其输出的显著图图像。
[0021]图4是表示上述显著图图像生成部所处理的图像的另一例的图。
[0022]图5是表示在一个分区包含边缘部分的输入图像和放大该分区的放大图的图。
[0023]图6是分别表示上述分区的左侧区域及右侧区域的统计信息的图。其中，Ca)是将表现左侧区域的各个像素的颜色的数值作为横轴并且将其频率作为纵轴来表示的曲线图(直方图)。(b)是将表现右侧区域的各个像素的颜色的数值作为横轴并且将其频率作为纵轴来表示的曲线图(直方图)。
[0024]图7是例示上述图像处理装置的轮廓提取处理的流程的流程图。
[0025]图8是表示一变形例的上述图像处理装置的简要结构的功能框图。
[0026]图9是表示通过上述变形例的图像处理装置执行的轮廓提取处理的各个步骤来得到的图像图数据的流程的图。
[0027]图10是详细地示出上述变形例的图像处理装置根据输入图像生成整体轮廓的处理的图。
[0028]图11是详细地示出上述变形例的图像处理装置根据输入图像生成局部轮廓的处理的图。
[0029]图12是表示上述变形例的图像处理装置所具有的各颜色通道图像生成部执行的子流程(Sub-Process)的处理的流程的图。
[0030]附图标记说明
[0031]1:图像处理装置
[0032]10:存储部
[0033]20:控制部
[0034]21:轮廓检测部
[0035]22:输入图像取得部
[0036]23:局部轮廓提取部(局部边缘图像生成单元)
[0037]24:灰度图像生成部(局部边缘图像生成单元)
[0038]25:局部边缘计算部(局部边缘图像生成单元)
[0039]26:整体轮廓提取部(显著边缘图像生成单元)
[0040]27:显著图图像生成部(显著边缘图像生成单元)
[0041]28:整体边缘计算部(显著边缘图像生成单元)
[0042]29:加权和计算部(轮廓图像生成单元)
[0043]30:轮廓图像输出部
【具体实施方式】
[0044]本发明的实施例旨在解决如上所述的问题，并提供一种图像处理装置，其能够从局部的边缘信息除去噪声边缘并由此获得重要的物体轮廓被增强的轮廓图像。
[0045]将参照图1?图12，对本发明的一实施方式进行说明。首先，利用图1来对本实施方式的图像处理装置I进行的说明如下。
[0046]图1中所示的图像处理装置I取得输入图像P1，并根据取得的输入图像Pl来提取包含在该输入图像Pl的物体(object)的轮廓，并输出其提取结果。此外，输入图像Pl可以是静态图像，也可以是动态图像。
[0047]如图1所示，图像处理装置I具有存储部10、控制部20、操作部41及显示部42。
[0048]存储部10用于存储各种数据及程序。例如，可通过组合只读存储器(ROM，ReadOnly Memory)、随机存取存储器(RAM,Random Access Memory)及非易失性存储器(例如，闪存器)等存储装置来实现存储部10。在存储部10中例如存储有控制部20中执行的程序或该程序中处理的各种数据等。
[0049]控制部20用于控制图像处理装置I的各种功能。通过使中央处理单元(CPU，Central Processing Unit)等处理装置执行控制程序,来实现控制部20的控制功能。例如，控制部20具有执行将输入图像Pl作为输入的轮廓提取处理的功能。此外，用于使控制部20执行轮廓提取处理的结构见后续部分。
[0050]操作部41从用户接收各种输入，例如，可通过输入用按钮、键盘、数字键、鼠标等指示器、触摸面板、其他输入装置来实现。操作部41根据所接收的用户操作来生成操作数据，并将生成的操作数据发送到控制部20。
[0051]显示部42对用户显示用于提供各种信息的画面。显示部42根据从控制部20接收的画面数据，将文字或图像等各种信息显示在显示画面。例如，可通过液晶显示器(LCD, Liquid Crystal Display)、等离子显不器(PDP, Plasma Display Panel)、有机 EL(Electroluminescence)显示器等显示装置来实现显示部42。例如,在显示部42显示控制部20中执行的轮廓提取处理的执行结果。
[0052]控制部的详细内容
[0053]接着，将进而参照图1，对控制部20的详细内容进行说明。如图1所示，控制部20具有轮廓检测部21及图像应用程序31。
[0054]轮廓检测部21提供用于实现轮廓提取处理的功能。
[0055]图像应用程序31利用轮廓检测部21中执行的轮廓提取处理的执行结果，来进行进一步的图像处理。例如，图像应用程序31提供如下功能:利用轮廓提取结果来进行图案识别，从而检测及确定物体。
[0056]更加具体地，例如，图像应用程序31能够检测构成轮廓的物体是脸部、人物、地标(landmark)、文字及其他物体中的哪一个。
[0057]并且，在输入图像Pl包含人物的情况下，图像应用程序31也可以进行进一步的图像处理，来对检测出的人物进行核对处理及认证处理。
[0058]轮廓检测部的详细内容
[0059]下面，将进而参照图1来对轮廓检测部21的详细内容进行说明。如图1所示，更加详细地，轮廓检测部21具有输入图像取得部22、局部轮廓提取部23 (或已知为局部边缘检测器)、整体轮廓提取部26 (或已知为显著边缘图像产生器)、加权和计算部29 (或已知为轮廓图像产生器)及轮廓图像输出部30。
[0060]输入图像取得部22取得彩色的输入图像P1。示例性地，输入图像取得部22根据操作部41的输入操作从与图像处理装置I相连接的数码相机或数码摄像机等拍摄装置实时地(同步地)或非同步地取得输入图像P1。但是，输入图像Pl的供给源不受特别的限制。例如，输入图像取得部22也可以取得存储在存储部10的图像数据来作为输入图像P1，也可以从与图像处理装置I相连接的外围设备取得输入图像P1，也可以经由有线或无线的通信网络取得输入图像Pl。
[0061]局部轮廓提取部23根据输入图像Pl的局部的图像特性，来提取包含在输入图像Pl的物体的轮廓。更加详细地说，局部轮廓提取部23具有灰度图像生成部24及局部边缘计算部25。
[0062]灰度图像生成部24从输入图像Pl提取灰度信息，并根据提取的灰度信息来生成灰度图像。就灰度信息的提取而言，例如，可以基于颜色空间来计算(例如，RGB的平均值)得到，也可以利用颜色空间的一个通道(例如，R)来构成图像。
[0063]局部边缘计算部25利用灰度图像生成部24生成的灰度图像的局部的对比度信息，来进行对比度计算(边缘计算)，由此生成局部边缘图像。局部边缘计算部25的对比度计算的详细内容见后续部分。
[0064]整体轮廓提取部26根据输入图像Pl的整个区域的(整体的)图像特性，来提取包含在输入图像Pl的物体的轮廓。更加详细地说，整体轮廓提取部26具有显著图图像生成部27及整体边缘计算部28。
[0065]显著图图像生成部27对输入图像Pl的各个部分计算人类在视觉上应该关注的程度即显著性(Saliency)，并根据计算的显著性来生成显著图图像(对比图(contrastmap ))。[0066]示例性地，显著图图像生成部27根据图3的(a)中所示的输入图像Pl生成图3的(b)中所示的显著图图像P21。在图3的(a)中所示的输入图像Pl中发现一只狗。
[0067]从显著性的观点来说，包含在输入图像Pl的狗为整个输入图像Pl中的显著物体。显著图图像生成部27计算包含这种显著物体的区域的显著性，并进行图像区域与显著性的映射。例如，在图3的(b)中所示的显著图图像P21中，显著性更高的区域更明亮，显著性更低的区域更黑暗。关于显著图图像生成部27生成显著图图像的方法见后续部分。
[0068]整体边缘计算部28利用显著图图像生成部27生成的显著区域图图像所表示的整体的图像信息，来进行对比度计算(边缘计算)，从而生成整体边缘图像。关于整体边缘计算部28计算对比度的详细内容见后续部分。
[0069]加权和计算部29计算局部轮廓提取部23生成的局部边缘图像及整体轮廓提取部26生成的整体边缘图像的加权和，由此生成最终的轮廓图像。下面，将上述最终的轮廓图像称为最终的轮廓图像。此外，在加权和计算部29计算加权和的处理中，可以利用任意的加权系数。例如，可以使对局部边缘图像的加权系数小于对整体边缘图像的加权系数，相反，也可以使对局部边缘图像的加权系数大于对整体边缘图像的加权系数。
[0070]并且，加权系数的和可以等于1、也可以大于或小于I。此外，以下说明的一些处理中利用了加权系数，而对这些也相同。
[0071]轮廓图像输出部30向规定的场所输出加权和计算部29生成的最终的轮廓图像。例如，轮廓图像输出部30可以向显示部42或图像应用程序输出最终的轮廓图像。并且，轮廓图像输出部30可以将最终的轮廓图像存储在存储部10中。
[0072]显著图图像生成部的详细结构
[0073]接着，将利用图2来对显著图图像生成部27的详细结构进行说明。图2是表示显著图图像生成部27的功能结构的功能框图。
[0074]如图2所示，显著图图像生成部27具有区域分割部271及显著性值计算部272。
[0075]区域分割部271通过任意的图像自动分割算法，将输入图像Pl (如图4的(a)所示)分割为多个区域。作为用于自动地分割输入图像Pl的自动分割算法，例如，可通过Felzenszwalb和Huttenlocher,来采用2004年所提出的非专利文献“Efficientgraph-based image segmentation (基于图像分割的有效图)” (IJCV, 59 (2):167_181)中所公开的方法。应理解的是，算法使用不限于这一自动分割算法，也可以利用其他现有的图像自动分割算法。此外，虽然未图示，但是，区域分割部271向局部边缘计算部25及整体边缘计算部28供给表示如何分割了输入图像Pl的信息即分割信息。
[0076]显著性值计算部272关于区域分割部271中通过图像自动分割算法来分割为多个区域的输入图像(如图4的(b)所示)，按照所分割的每个区域计算该区域与其他区域的颜色的差分的加权和，由此计算(检测)该区域的显著性值。若显著性值计算部272对所有的区域分别计算显著性值，则可以得到图4的(c)中所示的图像的显著性。显著性值计算部272根据通过如上所述的方法来得到的图像的显著性值，来生成显著图图像，并向整体边缘计算部28供给所生成的显著图图像。
[0077]如上所示，根据上述图像处理装置1，能够迅速且有效地分析图像像素的显著性值。根据图像处理装置1，能够有效地分析复杂且变化多的自然图像，而且满足实时处理中所要求的处理能力的重要条件。[0078]并且，在上述图像处理装置I中，将所分割的多个区域(1、2、..々…m)中的区域rk的显著性S (rk)定义为以下的公式(I)。
[0079]
【权利要求】
1.一种图像处理装置，用于生成表示输入图像中所示的物体的轮廓的轮廓图像，其特征在于，具有: 局部边缘图像生成单元，被配置为根据上述输入图像中的区域与邻近该区域的区域之间的对比度,来生成表示上述输入图像中的物体的局部边缘的局部边缘图像； 显著边缘图像生成单元，被配置为生成表示上述输入图像内的显著区域的对比图图像，以及生成表示包括在所生成的对比图图像中的边缘的显著边缘图像； 轮廓图像生成单元，被配置为通过组合上述局部边缘图像与上述显著边缘图像来生成上述轮廓图像。
2.根据权利要求1所述的图像处理装置，其特征在于，对于上述输入图像中的多个区域，上述显著边缘图像生成单元被配置为计算上述输入图像中的多个区域的每一个与输入图像整体之间的对比度，并被配置为针对上述多个区域中的各个区域生成对比图图像。
3.根据权利要求1或2所述的图像处理装置，其特征在于，当上述输入图像中的预定区域被分割为两个子区域时， 上述局部边缘图像生成单元被配置为利用计算一个子区域的主色与另一个子区域的主色之差得到的差值，来生成上述局部边缘图像。
4.根据权利要求3所述的图像处理装置，其特征在于，上述局部边缘图像生成单元被配置为利用将上述差值和第二值相乘而得的结果来生成上述局部边缘图像，其中，上述第二值是指将一个子区域的主色的优势度与另一个子区域的主色的优势度相乘而得的值。
5.根据权利要求1或2所述的图像处理装置，其特征在于， 上述输入图像被逐步进`行平滑处理以得到多个平滑化图像； 上述显著边缘图像生成单元被配置为计算每个平滑化图像中的多个区域的每个区域与平滑化图像整体之间的对比度，针对每个平滑化图像生成对比图图像，生成表示包括在所生成的对比图图像中的边缘的边缘图像，并通过组合为多个上述平滑化图像中的每个平滑化图像生成的上述边缘图像来生成上述显著边缘图像。
6.根据权利要求1或2所述的图像处理装置，其特征在于， 上述输入图像被逐步进行平滑处理以得到多个平滑化图像； 上述局部边缘图像生成单元被配置为根据该平滑化图像中的区域与该平滑化图像中邻近该区域的区域之间的对比度，来生成表示上述平滑化图像中的每个平滑化图像的局部边缘的边缘图像，并通过组合为多个上述平滑化图像中的每个平滑化图像生成的上述边缘图像来生成上述局部边缘图像。
7.根据权利要求6所述的图像处理装置，其特征在于，当根据上述平滑化图像中的区域与邻近该区域的区域之间的对比度来生成表示该平滑化图像中的每个的局部边缘的边缘图像时， 上述局部边缘图像生成单元被配置为生成针对上述平滑化图像的每个颜色通道分别执行对比度计算而得的边缘图像即颜色通道边缘图像，并且通过组合为各个颜色通道生成的颜色通道边缘图像来生成上述平滑化图像的局部边缘图像。
8.根据权利要求5所述的图像处理装置，其特征在于，每个上述平滑化图像是通过双边滤波进行平滑处理而得的图像。
9.根据权利要求6所述的图像处理装置，其特征在于，每个上述平滑化图像是通过双边滤波进行平滑处理而得的图像。
10.根据权利要求7所述的图像处理装置，其特征在于，每个上述平滑化图像是通过双边滤波进行平滑处理而得的图像。
11.一种图像处理方法，用于生成表示输入图像中所示的物体的轮廓的轮廓图像，其特征在于，包括如下步骤: 局部边缘图像生成步骤，根据上述输入图像中的区域与邻近该区域的区域之间的对比度,来生成表示上述输入图像中的物体的局部的边缘的局部边缘图像； 显著边缘图像生成步骤，生成表示上述输入图像内的显著区域的对比图图像，以及生成表示包括在所生成的对比图图像中的边缘的显著边缘图像； 轮廓图像生 成步骤，通过组合上述局部边缘图像与上述显著边缘图像来生成上述轮廓图像。
【文档编号】G06T7/00GK103679697SQ201310416847
【公开日】2014年3月26日 申请日期:2013年9月13日 优先权日:2012年9月13日
【发明者】阮翔, 陈林, 杨明玄 申请人:欧姆龙株式会社