图像处理装置、图像处理方法、图像处理程序、摄像装置的制作方法

专利名称：图像处理装置、图像处理方法、图像处理程序、摄像装置的制作方法
技术领域：
本发明涉及高精度地显示特定区域(例如面部区域)的检测结果的图像处理技 术。
背景技术：
近年，在数字摄像机(数字静像摄像机、数字视频摄像机、带摄像机的便携式电 话等)和监控摄像机、门上通话机摄像机等摄像装置和图像处理装置中，面部区域检测 功能的搭载变得很普遍。在数字静像摄像机中，对检测出的面部区域进行自动对焦控制 (Automatic Focus :AF)或自动曝光修正(Automatic Exposure :AE)，另外，在监控摄像机 中，通过存储检测出的面部区域来使用于可疑者的确定。在面部区域的检测中，设计了如下众多的技术根据标准的面部要素(眼或口等) 的位置关系来进行检测的方法；以面部的颜色和边缘信息为基础来进行检测的方法；通过 与预先准备的面部的特征数据的比较来进行检测的方法等。此外，无论在上述哪种方法 中，检测结果都受到作为检测对象的面部区域的微小的位置变化、亮度变化、视角变化的影 响。在此，在假设针对连续的帧的检测的情况下，作为检测对象的被摄体即使静止，检测结 果也根据每帧而不同。在以该检测结果为基础来作成面部边框信息，并使用0SD(0n Screen Display)功能等来显示于取景图像(监视图像)上的情况下，面部边框的位置或大小总是 变化，非常不易看清。作为与本发明相关的在先技术文献，存在专利文献1，在图2中表示专利文献1的 装置结构的概要。在专利文献1中，面部检测部206从拍摄到的图像中检测面部区域，在内 部存储器207中保存由面部区域的过去的检测结果和最新的检测结果构成的检测履历，判 定部208参照检测履历，在最新取得的图像中判定是否当作检测出面部区域。再次参照检 测履历，实施当作检测出的面部区域的平滑化，并显示于取景图像上。像这样，面部边框的 位置或大小发生变化而不易看清的问题得到了解决。专利文献1 JP特开2008-54295号公报在搭载了面部区域检测功能的数字静像摄像机或监控摄像机中，对连续帧实施面 部区域的检测，并将检测结果显示在取景图像上的情况也不少。在专利文献1中，提出了 如下技术通过将过去和最新的M次面部的检测结果作为检测履历存储在内部存储器207 中，并通过参照检测履历来对N(M ^ N)次以上被联系起来的检测结果实施平滑化并显示 在取景图像上，从而解决了面部边框的位置或大小发生变化而不易看清的问题。在此，各 次的检测结果由检测出的面部的个数以及由特征信息和联系信息构成的各面部的信息构 成。此外，特征信息是指，由面部检测部206所输出的面部的中心位置、大小、倾斜度、朝向、 表示检测出的面部的面部似然度(face likelihood)的面部似然度值构成的信息，联系信 息是指，根据特征信息来将过去和最新的检测结果对应起来的信息。但是，在连续得了到图 3(a) (c)所示的那种检测结果的情况下，无法正确地进行联系信息的更新，因此在面部 边框的显示中产生缺陷。图3是连续拍摄了 3帧亮度值不同的被摄体(A)302、305、308和被摄体(B)303、306、309的情况。图3 (a)表示2帧前的帧数据，图3 (b)表示1帧前的帧数 据。图3 (c)表示最新帧的帧数据，图3 (b)所示的1帧前的被摄体(A) 305和被摄体(B) 306 如被摄体(A) 308和被摄体(B) 309所示那样移动。在此，在专利文献1中，若假设M = 3、 N = 2，并假设2帧前的被摄体(A) 302、和1帧前的被摄体(A) 305以及2帧前中的被摄体 (B) 303、和1帧前中的被摄体(B) 306分别被联系起来，则在基于最新帧的检测结果的联系 信息的更新中，被摄体(A) 308被与被摄体(B)303、306的检测结果联系起来。在此，在判定 部208参照图3(a) (c)中的检测履历，在最新帧307中判定是否当作检测出面部区域， 并根据判定结果而显示了面部边框的情况下，图3(c)所示的面部边框310、311被显示。在 此，面部边框310是与被摄体(A)对应的面部边框，面部边框311是与被摄体(B)对应的面 部边框。由于像这样进行错误的联系，无法进行正确的面部边框显示。此外，在假设根据 面部检测结果来设定AF目标那样的摄像机系统的情况下，若假设在图3(a)、(b)中被摄体 (B)303、306被设定为AF目标，则由于进行了错误的联系，从而AF目标的设定发生变化。

发明内容
本申请发明是鉴于上述而作的发明，其课题在于在取景图像上容易看清并且正确 地显示基于特定区域(例如面部区域)的检测结果的特定区域信息(例如面部边框)。为了解决上述课题，本发明的某实施方式是存储输入图像数据中的特定区域 (例如面部区域)的检测结果和亮度信息，在输入了最新的图像数据的情况下，根据存储的 检测结果和亮度信息以及最新的图像数据中的特定区域的检测结果和亮度信息来计算重 要度，并根据重要度来判定是否显示特定区域信息。根据某实施方式，在根据图像数据来计 算亮度信息时，根据特定区域的检测结果来进行计算。通过本发明，能够在直通图上容易看清并且正确地显示基于特定区域(例如面部 区域)的检测结果的特定区域信息(例如面部边框)。


图1是表示本发明的第1实施方式的摄像装置的全体结构的模块图。图2是表示专利文献1的装置的概要结构的模块图。图3是用于说明以往技术的课题的图。图4是表示在图1所示的图像处理装置113中进行的处理流程的流程图。图5(a)是表示由面部检测部106所输出的数据结构的图。图5 (b)是表示存储于 信息存储部109中的数据的结构的图。图6是表示将图像数据分割为FXG个模块，并根据最新的图像数据的检测结果来 计算亮度信息的处理流程的流程图。图7是表示根据最新的图像数据的检测结果来对图像数据进行模块分割，并根据 最新的图像数据中的检测结果来计算亮度信息的处理流程的流程图。图8是表示信息存储部109中的初始化处理的流程的流程图。图9是表示重要度计算部108中的重要度计算处理的流程的流程图。图10是表示信息删除判定部111中的面部信息删除处理的流程的流程图。图11是表示显示判定部110中的显示判定和显示控制部112中的面部边框显示处理的流程的流程图。图12是用于说明第1实施方式中的问题点的图。图13是表示第2实施方式的面部信息更新处理的流程的流程图。
具体实施例方式以下，参照附图对本发明的实施方式进行说明。另外，以下说明的实施方式不过 是一个例子，可以进行各种各样的改变。此外，在以下的实施方式中，作为作为本发明的构 成要素的特定区域检测部的具体的一个例子，举例说明了检测人物的面部区域的面部检测 部，而且，随之将特定区域信息作为面部信息进行了说明。(第1实施方式)图1是表示本发明的第1实施方式的摄像装置的整体结构的图。该摄像装置114 具备光学透镜(光学系统)101 ；摄像元件102 ；模拟信号处理部103 ；数字信号处理部 104 ；图像处理装置113。光学透镜101将被摄体像聚光于摄像元件102上。摄像元件102拍摄由光学透镜 101聚光的被摄体像(以下作为摄像元件102，以CXD为例进行说明)。模拟信号处理部103 对从摄像元件102输出的模拟摄像信号施加规定的处理，变换为数字摄像信号。数字信号 处理部104对从模拟信号处理部103输出的数字摄像信号施加规定的处理。图像处理装置 113对从数字信号处理部104输出的被施加了规定的处理的数字摄像信号(图像数据)施 加规定的处理，并在图像数据上显示面部边框。图像处理装置113具备帧存储器105 ；面部检测部106 ；亮度信息计算部107 ；重 要度计算部108 ；信息存储部109 ；显示判定部110 ；信息删除判定部111 ；显示控制部112。帧存储器105存储被实施了数字信号处理的图像数据。面部检测部106在图像数 据中检测人物的面部区域。亮度信息计算部107在图像数据中计算任意的区域的亮度信 息。重要度计算部108计算由面部检测部106所输出的检测结果的重要度。信息存储部 109存储由面部检测部106所输出的检测结果和由亮度信息计算部107所输出的亮度信息 以及由重要度计算部108计算出的重要度构成的面部信息、和面部信息的个数。显示判定 部110根据重要度，对是否显示存储于信息存储部109中的面部信息进行判定。信息删除 判定部111根据重要度，对是否删除存储于信息存储部109中的面部信息进行判定。显示 控制部112按照显示判定部110的判定，在图像数据上显示面部边框。另外，由重要度计算部108计算出的重要度是指，根据多个图像数据的各自的检 测结果而计算出的三维的评价值，与由面部检测部106所输出的1枚图像数据中的检测结 果的或然性(probability)不同。接下来，对如上那样构成的摄像装置114的动作进行说明。以下，关于作为本发明 的特征性的处理，即基于检测结果和亮度信息的重要度的计算处理和基于重要度的显示处 理进行说明。该处理在图1的图像处理装置113中进行。以下，参照图4的流程图进行说 明。首先，将从数字信号处理部104输入到图像处理装置113中的图像数据存储于帧 存储器105中(S401)，并用面部检测部106检测该图像数据内的面部区域(S4(^)。此外， 用亮度信息计算部107对从数字信号处理部104输入到图像处理装置113中的图像数据计算亮度信息(S403)。接下来，判断是否对信息存储部109进行初始化(S404)。在对信息存储部109进 行初始化的情况下(在S404中为是)，存储于信息存储部109中的面部信息和面部信息的 个数被初始化(S405)，接着进入步骤S408。另一方面，在不对信息存储部109进行初始化 的情况(在S404中为否)下，根据存储于信息存储部109中的面部信息、面部检测部106 针对最新的图像数据所输出的检测结果、和亮度信息计算部107针对最新的图像数据所输 出的亮度信息，用重要度计算部108计算重要度(S406)。然后，根据计算出的重要度，用信 息删除判定部111判断是否删除存储于信息存储部109中的面部信息(S407)。接下来，用显示判定部110根据重要度来进行是否显示存储于信息存储部109中 的面部信息的判断(S408)，并按照该显示判定部110的判定，用显示控制部112显示面部边 框(S409)。以下说明上述步骤S403 S409的各处理的详细内容。另外，关于上述步骤S401 和S402的处理，由于存在各种各样的公知技术所以省略说明。在图5(a)中表示由面部检测部106所输出的面部区域和面部区域的个数(检测 面部数)，在图5(b)中表示存储于信息存储部109中的面部信息和面部信息的个数(存储 面部数)。如图5(a)所示，由面部检测部106所输出的检测结果518，由检测面部数501和检 测面部数501个面部区域502构成。各面部区域502由面部的中心位置503、面部的大小 504、面部的朝向505、面部的倾斜度506、面部的面部似然度值507构成。在此，面部的中心 位置503有时也用面部区域的四角位置，或在图像数据上的χ坐标和y坐标来表示。此外， 有时也将面部的朝向505和面部的倾斜度506的信息合起来作为面部的朝向。如图5(b)所示，在信息存储部109中存储有存储面部数508和存储面部数508个 面部信息509。各面部信息509由面部的中心位置510、面部的大小511、面部的朝向512、 面部的倾斜度513、面部似然度值514、由亮度信息计算部107计算出的亮度信息515、由重 要度计算部108计算出的重要度516、表示是否更新了重要度的更新标志517构成。与由面 部检测部106所输出的检测结果518相同，面部的中心位置510有时也用面部区域的四角 的位置，或在图像数据上的χ坐标和y坐标来表示，此外，有时也将面部的朝向512和面部 的倾斜度513的信息合起来作为面部的朝向。参照图6、7来说明上述步骤S403的处理的详细内容。在图6中表示将图像数据分割为FXG个(F、G:任意的整数)模块，并根据最新的 图像数据的检测结果来计算亮度信息的流程。首先，将输入的图像数据分割为FXG的模块(S601)，将计数用变量i初始化 (S602)。接下来，判断变量i是否大于最新的图像数据中的检测面部数501(S603)。在变 量i为检测面部数501以上的情况下(在步骤S603中为否)，结束亮度信息计算部107中 的亮度信息的计算处理。另一方面，在变量i小于检测面部数501的情况下(在步骤S603 中为是)，计算面部区域[i] 502的含有面部的中心位置503的模块的亮度信息(S604)，并 对变量i进行增量660 ，返回步骤S603。通过如上这样实施步骤S601 S605的处理来计算亮度信息。在图7中表示根据最新的图像数据的检测结果来对图像数据进行模块分割，并根据最新的图像数据的检测结果来计算亮度信息的流程。首先，将计数用变量j和模块大小设定用变量BlockSize初始化(S701)，并判断变 量j是否大于最新的图像数据中的检测面部数501 (S702)。在变量j小于检测面部数501的情况下(在步骤S702中为是)，判断变量 BlockSize是否大于面部区域[j]502的面部的大小504(S703)。在变量BlockSize大于面 部区域[j]502的面部的大小504的情况下(在步骤S703中为是)，将面部区域[j]502的 面部的大小504代入(substitute)变量BlockSize (S704)，并对变量j进行增量(S705)， 返回步骤S702。另一方面，在变量BlockSize为面部区域[j] 502的面部的大小504以下的 情况下(在步骤S703中为否)，对变量j进行增量(S705)，返回步骤S702。此外，在变量j为检测面部数501以上的情况下(在步骤S702中为否)，对图像数 据进行模块分割，以使得模块大小为BlOCkSizeXBlOCkSize(S706)。接着步骤S706的处 理，将计数用变量i初始化(S707)，并判断变量i是否大于检测面部数501(S708)。在变量 i为检测面部数501以上的情况下(在步骤S708中为否)，结束亮度信息计算部107中的 亮度信息的计算处理。在变量i小于检测面部数501的情况下(在步骤S708中为是)，计 算面部区域[i] 502的含有面部的中心位置503的模块的亮度信息(S709)，并对变量i进行 增量(S710)，返回步骤S708。通过如上这样实施步骤S701 S710的处理来计算亮度信息。在图7所示的流程中，通过将步骤S702中的检测面部数501替换为存储于信息存 储部109中的存储面部数508，并且将步骤S703和S704中的面部区域[j]502的面部的大 小504替换为面部信息[j]509的面部的大小511，能够根据存储于信息存储部109中的检 测结果来对图像数据进行模块分割，并计算亮度信息。此外，按照图6和图7所示的流程计算出的亮度信息，被使用于后述的重要度计算 部108中的重要度计算。特别是，因为在图7所示的流程中，根据从面部检测部106输出的 检测结果来分割模块，并计算亮度信息，所以可以成为有效的重要度计算处理。另外，在步 骤S701中的模块大小设定用变量BlockSize的初始化中，优选设定检测出的面部的大小的 最大值(INI_BL0CK)。接下来，说明上述步骤S405(图4)的处理的详细内容。在图8中表示信息存储部 109的初始化流程。将计数用变量k初始化(S801)，并判断变量k是否小于存储于信息存储部109中 的存储面部数508 (S802)。在变量k小于存储面部数508的情况下(在步骤S802中为是)，将面部信息 [k] 509的面部的中心位置510、面部的大小511、面部的朝向512、面部的倾斜度513、面部似 然度值514、亮度信息515、重要度516、和更新标志517初始化(S803)，并对变量k进行增 量(S804)，返回步骤S802。另外，在本实施方式中，在重要度516被更新了的情况下将更新标志517设为 0N(FLG_0N)，在没有被更新的情况下将更新标志517设为0FF(FLG_0FF)。在变量k为存储面部数508以上的情况下(在步骤S802中为否)，将存储面部数 508和计数用变量1初始化(S805)，并判断变量1是否小于最新的图像数据中的检测面部 数 50US806)。
在变量1为检测面部数501以上的情况下(在步骤S806中为否)，将检测面部数 501代入存储面部数508 (S810)，并结束信息存储部109的初始化处理。在变量1小于检测面部数501的情况下(在步骤S806中为是)，将面部区域 [1]502的面部的中心位置503、面部的大小504、面部的朝向505、面部的倾斜度506以及面 部似然度值507分别代入面部信息[1]509的面部的中心位置510、面部的大小511、面部的 朝向512、面部的倾斜度513以及面部似然度值514(S807)，将从亮度信息计算部107输出 的亮度信息代入面部信息[1]509的亮度信息515，将重要度的初始值INI_SC0RE代入面部 信息[1]509的重要度516(S809)。接下来对变量1进行增量(S810)，返回步骤S806。通过如上这样实施步骤S801 S810的处理来实施信息存储部109的初始化处 理。另外，假定信息存储部109的初始化，在摄像机系统的电源接通时或摄像机系统 的模式的变更时等，在任意的定时实施。接下来，说明上述步骤S406(图4)的处理的详细内容。在图9中表示重要度计算 部108中的重要度计算流程。将计数用变量m和追加在信息存储部109中的面部信息计数用变量AddJmfo初 始化(S901)，并判断变量m是否小于最新的图像数据中的检测面部数501 (S902)。在变量m为检测面部数501以上的情况下(在步骤S902中为否)，在存储于信息 存储部109中的存储面部数508上累加变量AddJmfo (S916)，并结束重要度计算处理。在变量m小于检测面部数501的情况下(在步骤S902中为是)，将计数用变量η 初始化(S903)，并判断变量η是否小于存储面部数508 (S904)。在变量η小于存储面部数508的情况下(在步骤S904中为是)，将从亮度信息计 算部107输出的亮度信息与面部信息[η]509的亮度信息515的差的绝对值代入变量￥_ DIFF (S906)，并判断变量Y_DIFF是否小于阈值C (C 任意的自然数)(S907)。在变量Y_DIFF为阈值C以上的情况下(在步骤S907中为否)，对变量η进行增量 (S912)，返回步骤S904。在变量Y_DIFF小于阈值C的情况下(在步骤S907中为是)，将面部区域[m]502 的面部的大小504与面部信息[n]509的面部的大小511的差的绝对值代入变量SIZE_ DIFF(S908)，并判断变量SIZE_DIFF是否小于阈值B_SUE(B_SUE 任意的自然数)(S909)。在变量SIZE_DIFF为阈值B_SUE以上的情况下(在步骤S909中为否)，对变量η 进行增量(S912)，返回步骤S904。在变量SIZE_DIFF小于阈值B_SUE的情况下(在步骤S909中为是)，根据面部 区域[m]502的面部的中心位置503和面部信息[η] 509的面部的中心位置510计算出中心 间距离并代入变量DIST_DIFF(S910)，并且判断变量DIST_DIFF是否小于阈值B_DIST(B_ DIST 任意的自然数)(S911)。在变量DIST_DIFF为阈值B_DIST以上的情况下(在步骤S911中为否)，对变量η 进行增量(S912)，返回步骤S904。在变量DIST_DIFF小于阈值8_0151的情况下(在步骤S911中为是)，对面部信 息[η] 509的重要度516累加ADD_SC0RE (ADD_SC0RE 任意的自然数)，将FLG_0N代入面部 信息[η] 509的更新标志517(S913)，并对变量m进行增量(S914)，返回步骤S902。
此外，在变量η为存储面部数508以上的情况下(在步骤S904中为否)，对变量 AddJmfo进行增量(S905)，将面部区域[m]502追加到信息存储部109中(S915)。在步骤 S915中，将面部区域[m]502的面部的中心位置503、面部的大小504、面部的朝向505、面 部的倾斜度506和面部似然度值507分别代入面部信息[(存储面部数-1)+AddJmfo] 509 的面部的中心位置510、面部的大小511、面部的朝向512、面部的倾斜度513和面部似然度 值514，将从亮度计算部107输出的亮度信息代入面部信息[n+AddJmfo] 509的亮度信息 515，将重要度516的初始值INI_SC0RE(INI_SC0RE 任意的自然数)代入面部信息[n+Add_ Imfo] 509的重要度516。继步骤S915的处理之后对变量m进行增量(S914)，返回步骤S902。通过如上这样实施步骤S901 S916的处理来实施重要度计算处理。另外，虽然在图9中，是按照亮度信息的差的绝对值与阈值的比较(S906和S907)、 面部的大小的差的绝对值与阈值的比较(S908和S909)、面部的中心间距离与阈值的比较 (S910和S911)的顺序来实施处理的，但即使这些处理顺序调换也没有问题。此外，虽然在 图9中，是通过实施亮度信息的差的绝对值与阈值的比较(S906和S907)、面部的大小的差 的绝对值与阈值的比较(S908和S909)、面部的中心间距离与阈值的比较(S910和S911)来 计算重要度516的，但也可以在这些处理中追加面部似然度值(507和514)的差的绝对值 与阈值的比较、面部的朝向(505和512)的差与阈值的比较、面部的倾斜度(506和513)的 差与阈值的比较，来计算重要度。接下来，说明上述步骤S407(图4)的处理的详细内容。在图10中表示是否删除 存储于信息存储部109中的面部信息的、信息删除判定部111中的判定流程。将计数用变量ρ初始化(S1001)，并判断变量ρ是否小于存储于信息存储部109中 的存储面部数508(S1002)。在变量ρ为存储面部数508以上的情况下(在步骤S1002中为否)，结束面部信息 的删除判定处理。在变量ρ小于存储面部数508的情况下(在步骤S1002中为是)，判断面部信息 [P] 509的更新标志517是否为FLG_0FF(S1003)。在面部信息[ρ] 509的更新标志517为FLG_0N的情况下(在步骤S1003中为否)， 将面部信息[P] 509的更新标志517设为FLG_0FF(S1004)，并对变量ρ进行增量(S1005)， 返回步骤S1002。在面部信息[ρ] 509的更新标志517为FLG_0FF的情况下(在步骤S1003中为是)， 从面部信息[ρ]509的重要度516中减去DEC_SC0RE(DEC_SC0RE 任意的自然数)(S1006)， 并判断面部信息[P]509的重要度516是否小于阈值E(E 任意的自然数)(S1007)。在面部信息[p]509的重要度516为阈值E以上的情况下(在步骤S1007中为否)， 对变量P进行增量6100 ，返回步骤S1002。在面部信息[ρ] 509的重要度516小于阈值E的情况下(在步骤S1007中为是)， 将P代入计数用变量q (S1008)，并判断变量q是否小于存储面部数508 (S1009)。在变量q小于存储面部数508的情况下(在步骤S1009中为是)，将面部信息 [q+1]509代入面部信息[q]509 (S1010)。在步骤S1010中，将面部信息[q+l]509的面部的 中心位置510、面部的大小511、面部的朝向512、面部的倾斜度513、面部似然度值514、亮度 信息515、更新分数516、更新标志517分别代入面部信息[q]509的面部的中心位置510、面部的大小511、面部的朝向512、面部的倾斜度513、面部似然度值514、亮度信息515、更 新分数516、更新标志517。继步骤S1010的处理后，对变量q进行增量(S1011)，返回步骤 S1009。在变量q为存储面部数508以上的情况下(在步骤S1009中为否)，对存储面部数 508进行减量(S1012)，返回步骤S1002。通过如上这样实施步骤S1001 S1012的处理，来判定是否删除存储于信息存储 部109中的面部信息。接下来，说明上述步骤S408、S409(图4)的处理的详细内容。在图11中，表示是 否显示存储于信息存储部109中的面部信息的显示判定部110中的判定和显示控制部112 中的面部边框显示的流程。将计数用变量r初始化(SllOl)，并判断变量r是否小于存储于信息存储部109中 的存储面部数508 (Si 102)。在变量r为存储面部数508以上的情况下(在步骤S1102中为否)，结束显示判定 和面部边框显示的处理。在变量r小于存储面部数508的情况下(在步骤S1102中为是)，判断面部信息 [r]509的重要度516是否大于阈值D(D 任意的自然数)(S1103)。在面部信息[r]509的重要度516为阈值D以下的情况下(在步骤S1103中为否)， 对变量r进行增量(S1105)，并返回步骤S1102。在面部信息[r]509的重要度516大于阈值D的情况下(在步骤S1103中为是)， 根据面部信息[r]509用显示控制部112显示面部边框(S1104)，并对变量r进行增量 (S1105)，返回步骤 S1102。通过如上这样实施步骤SllOl S1105的处理，来实施是否显示面部信息的判定 和面部边框显示。(第2实施方式)在按照在第1实施方式中说明的流程显示了面部边框的情况下，存储于信息存储 部109中的面部信息509的面部的中心位置510、面部的大小511和亮度信息515没有被 更新。在如图12(a) (b)所示那样连续输入了被摄体前后移动了的图像数据的情况下，如图 12(b)所示，在实际的面部的大小和面部边框的大小产生差异，变的难以看清。为了解决该 问题，对图9所示的重要度计算流程进行改良，实施面部的中心位置510、面部的大小511 和亮度信息515的更新。在图13中表示面部的中心位置510、面部的大小511和亮度信息 515的更新流程。在图9中的步骤S904被肯定了的情况下，将从亮度信息计算部107输出的亮度信 息和面部信息[η] 509的亮度信息515的差的绝对值代入变量Y_DIFF (S1301)，并判断变量 Y_DIFF是否小于阈值C(S1302)。在变量Y_DIFF为阈值C以上的情况下(在步骤S1302中为否)，返回步骤S912。在变量Y_DIFF小于阈值C的情况下(在步骤S1302中为是)，判断变量Y_DIFF是 否小于阈值C_RENEW(C_RENEW 任意的自然数)(S1303)。在变量Y_DIFF小于阈值C_RENEW的情况下(在步骤S1303中为是)，将从亮度信 息计算部107输出的亮度信息代入面部信息[η] 509的亮度信息515(S1304)。
在变量Y_DIFF为阈值C_RENEW以上的情况下(在步骤S1303中为否)，或者，接着 步骤S1304的处理，将面部区域[m]502的面部的大小504与面部信息[η] 509的面部的大 小511的差的绝对值代入变量SIZE_DIFF(S1305)，并判断变量SIZE_DIFF是否小于阈值Β_ SIZE(S1306)。在变量SIZE_DIFF为阈值B_SUE以上的情况下(在步骤S1306中为否)，返回步 骤 S912。在变量SIZE_DIFF小于阈值B_SUE的情况下(在步骤S1306中为是)，判断变量 SIZE_DIFF 是否小于阈值 B_SIZE_RENEff (B_SIZE_RENEff :任意的自然数)(S1307)。在变量SUE_DIFF小于阈值B_SIZE_RENEW的情况下(在步骤S1307中为是)，将 面部区域[m]502的面部的大小504代入面部信息[η] 509的面部的大小511 (S1308)。在变量SUE_DIFF为阈值B_SIZE_RENEW以上的情况下(在步骤S1307中为否)， 或者，接着步骤S1308的处理，根据面部区域[m]502的面部的中心位置503和面部信息 [η] 509的面部的中心位置510计算出中心间距离并代入变量DIST_DIFF(S1309)，并且判断 变量DIST_DIFF是否小于阈值B_DIST(S1310)。在变量DIST_DIFF为阈值B_DIST以上的情况下(在步骤S1310中为否)，返回步 骤 S912。在变量DIST_DIFF小于阈值B_DIST的情况下(在步骤S1310中为是)，判断变量 DIST_DIFF 是否小于阈值 B_DIST_RENEff (B_DIST_RENEff :任意的自然数)(S1311)。在变量DIST_DIFF小于阈值B_DIST_RENEW的情况下(在步骤S1311中为是)， 将面部区域[m]502的面部的中心位置503代入面部信息[n]509的面部的中心位置 510(S1312)。在变量DIST_DIFF为阈值B_DIST_RENEW以上的情况下(在步骤S1311中为否)， 或者接着步骤S1312，实施步骤S914。通过如上这样实施步骤S1301 S1312的处理，来实施面部信息509的更新判定。另外，虽然在图13中，是按照亮度信息的差的绝对值与阈值的比较(S1301、 S1302、S1303、S1304)、面部的大小的差的绝对值与阈值的比较(S1305、S1306、S1307、 S1308)、面部的中心间距离与阈值的比较(S1309、S1310、S1311、S1312)的顺序来实施处理 的，但即使这些处理顺序调换也没有问题。此外，虽然在图13中，通过实施亮度信息的差的绝对值与阈值的比较(S1301、 S1302、S1303、S1304)、面部的大小的差的绝对值与阈值的比较(S1305、S1306、S1307、 S1308)、面部的中心间距离与阈值的比较(S1309、S1310、S1311、S1312)来更新亮度信 息515、面部的大小511、面部的中心位置510，但也可以在这些处理中，追加面部似然度值 (507和514)的差的绝对值与阈值的比较、面部的朝向(505和512)的差与阈值的比较、和 面部的倾斜度(506和51 的差与阈值的比较，来更新面部似然度值514、面部的朝向512、 和面部的倾斜度513。接下来，对存储于信息存储部109中的数据大小进行说明。在专利文献1中，采用 将多个图像数据中的检测结果全部存储的方式，若在各图像数据中检测出的面部区域的个 数增加，则必须存储的数据大小也变大。但是，在本发明的实施方式中，因为采取下述方式， 即针对最新的图像数据的检测结果，实施亮度信息的差的绝对值与阈值的比较、面部的大小的差的绝对值与阈值的比较、面部的中心间距离与阈值的比较，并更新存储于信息存储 部109中的亮度信息515、面部的大小511、面部的中心位置510、重要度516，所以存储的数 据大小变小。以上，作为本发明的实施方式，对图像处理装置113和具备图像处理装置113的摄 像装置114进行了说明，但使计算机起到与图1所示的面部检测部106、亮度计算部107、重 要度计算部108、显示判定部110、信息删除判定部111、显示控制部112所对应的单元的作 用，并使其进行图4所示的处理的程序也是本发明的实施方式之一。此外，在实施方式1、2中说明了的面部边框的显示方法只不过是一个例子，当然 可以进行各种各样的改变。本发明不限于上述实施方式，可以不脱离其思想或主要特征地以其他各种形式实 施。上述实施方式在任何点上都只不过是举例说明，不应被限定性地理解。本发明的范围 应通过权利要求书来规定，不限定于说明书所记载的详细内容。属于与权利要求书同等范 围的变形或变更也全部在本发明的范围内。根据本发明各种各样的实施方式，能够在取景图像上显示容易看清并且正确的面 部边框，因此若将本发明应用于数字摄像机，监控摄像机等则很有用。符号说明
101. 光学系统
102. 摄像元件
103. 模拟信号处理部
104. 数字信号处理部
105. 帧存储器
106. 面部检测部
107. 亮度计算部
108. 重要度计算部
109. 信息存储部
110. 显示判定部
111. 信息删除判定部
112. 显示控制部
113. 图像处理装置
114. 摄像装置。
1权利要求
1.一种图像处理装置，其具备 帧存储器，其存储输入的图像数据；显示判定部，其以所述图像数据内的亮度信息为基础，来判定是否显示所述图像数据 内的特定区域；和显示控制部，其按照所述显示判定部的判定，来显示所述特定区域信息。
2.一种图像处理装置，其具备 帧存储器，其存储输入的图像数据；特定区域检测部，其检测所述图像数据内的特定区域； 亮度信息计算部，其计算所述图像数据内的亮度信息； 重要度计算部，其计算由所述特定区域检测部输出的检测结果的重要度； 信息存储部，其存储由所述检测结果和所述亮度信息以及所述重要度构成的特定区域 信息、以及所述特定区域信息的个数；显示判定部，其判定是否显示所述特定区域信息；和 显示控制部，其按照所述显示判定部的判定来显示所述特定区域信息。
3.根据权利要求2所述的图像处理装置，其特征在于，还具备信息删除判定部，其判定是否从所述信息存储部删除所述特定区域信息。
4.根据权利要求2所述的图像处理装置，其特征在于，所述重要度计算部根据存储于所述信息存储部中的所述检测结果与在最新的输入图 像数据中用所述特定区域检测部检测出的检测结果之间的比较结果，来计算所述重要度。
5.根据权利要求2所述的图像处理装置，其特征在于，所述重要度计算部根据存储于所述信息存储部中的所述亮度信息与在最新的输入图 像数据中用所述亮度信息计算部计算出的亮度信息之间的比较结果，来计算所述重要度。
6.根据权利要求2所述的图像处理装置，其特征在于，所述显示判定部根据所述重要度来判定是否显示所述特定区域信息。
7.根据权利要求3所述的图像处理装置，其特征在于，所述信息删除判定部根据所述重要度来判定是否从所述信息存储部删除所述特定区 域信息。
8.根据权利要求2所述的图像处理装置，其特征在于，所述亮度信息计算部将所述图像数据分割为FXG个模块，计算所述模块中的亮度信 息，其中F、G为任意的整数。
9.根据权利要求2所述的图像处理装置，其特征在于，所述亮度信息计算部根据存储于所述信息存储部中的所述检测结果、或者在最新的输 入图像数据中用所述特定区域检测部检测出的检测结果，来将所述图像数据分割为模块， 计算所述模块中的亮度信息。
10.根据权利要求8或9所述的图像处理装置，其特征在于，所述亮度信息计算部根据在最新的输入图像数据中用所述特定区域检测部检测出的 检测结果来计算任意的模块中的亮度信息。
11.根据权利要求2所述的图像处理装置，其特征在于， 所述特定区域为人的面部的区域。
12.—种摄像装置，其具备摄像元件，其接收通过光学透镜而入射的被摄体光，将其变换为摄像信号并输出； 模拟信号处理部，其将从所述摄像元件输出的摄像信号变换为数字信号； 数字信号处理部，其对从所述模拟信号处理部输出的数字信号实施规定的信号处理；和权利要求2所述的图像处理装置，其将由所述数字信号处理部输出的图像数据作为输 入图像数据来进行处理。
13.一种图像处理方法，其具备 步骤(a)，存储输入的图像数据；步骤(b)，检测所述图像数据内的特定区域； 步骤(c)，计算所述图像数据内的亮度信息； 步骤(d)，计算所述步骤(b)中的检测结果的重要度；步骤(e)，存储特定区域信息和所述特定区域信息的个数，所述特定区域信息包含所述 步骤(b)中的检测结果、由所述步骤(c)计算出的亮度信息以及由所述步骤(d)计算出的重要度；步骤(f)，根据所述重要度来判定是否显示所述特定区域信息；步骤(g)，根据所述重要度来判定是否删除在步骤(e)中存储的所述特定区域信息；和步骤(h)，按照所述步骤(f)中的判定来显示所述特定区域信息。
14.根据权利要求13所述的图像处理方法，其特征在于， 所述特定区域为人的面部的区域。
15.一种图像处理程序，其用于使计算机执行如下步骤 步骤(a)，存储输入的图像数据；步骤(b)，检测所述图像数据内的特定区域； 步骤(c)，计算所述图像数据内的亮度信息； 步骤(d)，计算所述步骤(b)中的检测结果的重要度；步骤(e)，存储特定区域信息和所述特定区域信息的个数，所述特定区域信息包含所述 步骤(b)中的检测结果、由所述步骤(c)计算出的亮度信息以及由所述步骤(d)计算出的重要度；步骤(f)，根据所述重要度来判定是否显示所述特定区域信息；步骤(g)，根据所述重要度来判定是否删除在步骤(e)中存储的所述特定区域信息；和步骤(h)，按照所述步骤(f)中的判定来显示所述特定区域信息。
16.根据权利要求15所述的图像处理程序，其特征在于， 所述特定区域为人的面部的区域。
全文摘要
本发明提供一种图像处理装置，其特征在于，预先存储特定区域的检测结果和亮度信息，在输入了最新的图像数据的情况下，根据存储的检测结果和亮度信息以及最新的图像中的特定区域的检测结果和亮度信息来计算重要度，并根据重要度来判定是否显示特定区域信息。此外，在根据图像数据计算亮度信息时，根据特定区域的检测结果来进行计算。
文档编号G06T1/00GK102138322SQ20098013383
公开日2011年7月27日 申请日期2009年7月22日 优先权日2008年9月8日
发明者宫腰隆一, 小仓康伸 申请人:松下电器产业株式会社