专利名称：图像显示方法、程序及图像显示装置的制作方法
技术领域：
本发明涉及在电视画面上再现数字图像数据的图像显示方法。
背景技术：
随着数字高清晰度电视广播的开始、适应高清晰度电视的电视接收机的普及，和以往相比，家庭中迫切要求用高画质的图像进行娱乐。随着电子静物照相机的普及，不仅在个人计算机上而且在电视机的监视器屏幕上显示电子化的静止画和动画来娱乐的用户也增加了。
通过电视接收机看静止画和动画时，用户通常是浏览监视器屏幕上显示的缩略像的一览表，通过选择缩略像，选择重现数据。
另一方面，近年来，随着利用存储容量迅速增大的存储器成为可能，能存储的图像数量也迅速增大。例如，存储卡能存储超过500张的数字照片。
从如此大量的图像数据中找出用户期望的图像数据非常不容易。
作为更有效地在画面上配置大量数据对象、用户利用自己的眼睛能容易选择的技术，例如，在特开2001-306375号公报中公开了这样一种技术把缩略像摞起来那样边显示边移动，容易找到期望的数据。在特开平9-259130号公报中公开了这样的技术在3D空间中显示图像数据，通过移动假定的视点，找到期望的数据。
但是，在现有技术中，有时缩略像彼此重叠地显示，会掩盖用于判别照片的重要部分。例如图14所示的有照片A和照片B的情况下，照片A中位于图像左部分的“赛跑”的孩子们是重要部分，照片B中位于图像右侧的人物是重要的。如图14(a)所示，这些照片和其他照片摞起来显示时，仍有重要部分被掩盖起来显示的情况。
因此，在上述特开2001-306375号公报和特开平9-259130号公报中公开的方案中，用户只能进行滚动显示图像或者移动假定视点位置等操作，来观看到该照片的重要部分，以便能判别照片。
鉴于上述问题，本发明的目的是提供一种图像显示方法，在画面上更有效地配置大量图像的状态下，用户能很容易地找到希望的图像。
几乎拍摄的所有数字图像都能分割为拍摄者将其视为被摄对象的区域和除此之外的区域。这里，将前者区域称为关注区域，后者区域称为非关注区域。
图像显示装置的操作者在考虑从大量的数据图像中检索想要的图像的状况时，要考虑判断各个数据图像内的关注区域。
以前，当生成缩略像时，不区分关注区域·非关注区域地一律缩小图像数据。因此，当用缩略像一览表显示多个图像时，关注区域显示得很小。因此，利用这种方法，把关注区域作为判断基准，很难通过俯瞰从大量数字图像中找到想要的图像。
因此，在特开2002-358522号公报中，提出一种方法检索图像的脸部区域，扩大检索出的脸部区域后进行缩略像的一览显示。根据这种构成，检测到脸部区域作为关注区域，扩大显示该部分，从而能得到提高数字图像的检索性的系统。
但是，用这种方法，为了一览显示扩大了关注区域后的缩略像，要预先固定在一个画面上可显示的图像个数。因此，当显示超过可显示图像个数的图像时，必须另外有滚动功能或翻页功能等，用户操作烦琐。
在以缩略像显示扩大了的关注区域和原图像时，可在一个画面上显示的图像个数就更少了。
而且，在不能从对象图像中检测到脸部区域时，就有不能应付等问题。
发明内容
为了解决上述问题，本发明提供了一种图像显示方法，包含使多个图像中的至少两个图像部分重合地同时显示在画面上的步骤，其特征在于，包含取得与上述至少两个图像中的每个图像相关的关联信息的步骤；根据上述取得的关联信息确定上述至少两个图像重叠的前后关系的步骤。
本发明提供一种图像显示方法，包含使多个图像中的至少两个图像部分重合地同时显示在画面上的步骤，其特征在于，包含取得与上述至少两个图像中的每个图像相关的关联信息的步骤；根据上述取得的关联信息，确定上述至少两个图像中由于一个图像的重叠而具有被掩盖的部分和露出部分的另一个图像的露出量和/或露出位置的步骤。
本发明提供一种图像显示方法，包含使多个图像中的至少两个图像部分重合地同时显示在画面上的步骤，其特征在于，包含脸部检测步骤，检测上述至少两个图像中每个图像的脸部区域；基于脸部区域的大小来确定上述至少两个图像重叠的前后关系的步骤。
本发明提供一种图像显示方法，包含使多个图像中的至少两个图像部分重合地同时显示在画面上的步骤，其特征在于，包含脸部检测步骤，检测上述至少两个图像中每个图像的脸部区域；基于脸部区域的位置，确定上述至少两个图像中由于一个图像的重叠而具有被掩盖的部分和露出部分的另一个图像的露出量和/或露出位置的步骤。
根据本发明的图像显示装置和图像显示方法，在多个图像重叠地一览显示的情况下，通过检测被视为关注区域的部分，进行控制以使该关注区域不重叠。从而，由于各图像的关注区域必须露出，变成用户能同时实现图像检索性和图像大量显示的构成。
在多个图像重叠起来一览显示的情况下，进行控制以按照图像关注区域大小的降序依次重叠。从而，通过在画面上重叠显示用户用数字照相机拍摄的大量数字图像，能更有效地配置关注区域的露出比率高的一览显示。即使在更有效配置图像的状态下，也能以各个图像的固有信息为基础，不重叠地显示用户用于判别照片的重要部分。
即，根据本发明，用户能很容易地找到期望的照片。
即使在多个图像重叠地一览显示的情况下，通过检测被认为是关注区域的部分，进行控制以使该关注区域不重叠。从而，由于各图像的关注区域必须露出，变成用户能同时实现图像检索性和图像大量显示的构成。
而且，在多个图像重叠地一览显示的情况下，进行控制以按照图像关注区域大小的降序依次重叠图像。从而，能进行关注区域的露出比率高的一览显示。
图1是本发明第一实施例中电视接收机的结构方框图；图2是本实施例的电视接收机遥控器的方框图；图3是第一实施例中显示控制部110的操作流程图；图4示出了第一实施例中显示控制部110为了进行重叠控制而使用的信息表中包含的布局信息；图5示出了第一实施例中显示控制部110为了进行重叠控制而使用的信息表的内容；图6示出了第一实施例中的重叠控制的作用；图7是第二实施例中显示控制部110的操作流程图；图8示出了第二实施例中显示控制部110为了进行重叠控制而使用的露出控制遮罩(mask)的种类；图9是第二实施例中显示控制部110的操作流程图；图10示出了第二实施例中重叠控制的操作例；图11示出了未使用本发明时的重叠显示例和本发明第二实施例中重叠控制的作用；图12是第三实施例中显示控制部110的操作流程图；图13示出了第三实施例中重叠控制的操作例；图14是未使用本发明时的图像一览显示例和使用本发明的图像一览显示例；图15示出了在本实施例中使用的数字照相机的液晶屏幕上显示的画面例；
图16示出了可记录本发明第一、第二实施例中使用的焦点位置的数字照相机的、拍摄时的液晶监视器的状态；图17是根据本发明实施例的图像显示装置的结构方框图；图18是用作关注区域检测的一种方法的脸部检测处理的处理流程图；图19(a)是一例图像数据，图19(b)是一例判定脸部检测处理后的脸部区域的结果例；图20(a)是一例图像数据，图20(b)示出了一例根据拍摄信息对关注区域的范围进行确定处理；图21是第四实施例的关注区域确定处理流程图；图22(a)是随机地重叠显示图像的一个例子，图22(b)是重叠显示考虑了关注区域大小的图像时的一个例子；图23是重叠显示处理的处理流程图；图24是重叠一览显示的一个实施例；图25是第五实施例的关注区域确定处理的处理流程图；图26示出了第六实施例的关注区域检测后的结果；图27是第七实施例中显示控制部110的操作流程图。
具体实施例方式
第一实施例首先，说明本发明的第一实施例。图1是作为适用本发明的图像显示装置的数字电视接收装置100的结构图。
图1中，由未图示的天线接收的信号被输入到调谐部101中。调谐部101对输入的信号实施解调、纠错等处理，生成被称为传输流(TS)的形式的数字数据。调谐部101还对生成的TS数据进行解扰处理后，将其输出到多路分离器102中。
多路分离器102从对通过调谐部101输入的多个信道的图像、声音数据和电子节目向导(EPG)数据、数据广播数据等进行时分多路复用的TS数据中取出图像数据和声音数据，并输出到图像·声音解码器103。在图像·声音解码器中处理完的图像数据被写入视频存储器107中，经显示合成部108输出给显示器。另一方面，通过声音输出部104输出声音数据。
109是卡槽，连接可拆除的存储卡等，在本实施例中，用于进行数字电视接收装置100和数字照相机之间的数据交换。105是图像数据输入部，从连接卡槽109的存储卡中读出数字图像数据。106是图像处理部，对由图像数据输入部输入的数字图像数据实施图像处理，并写入视频存储器107。
110是显示控制部，指示图像数据输入部105读入图像，指示图像处理部106执行处理，指示向视频存储器107写入显示数据，指示显示合成部108进行合成处理，指示存储部113存储信息。而且，显示控制部110经用户输入部111取得遥控器114发出的输入数据，经图像数据输入部105取得附加在数字图像数据中的拍摄数据。在本实施例中，显示控制部110相当于重叠确定部和露出确定部。
遥控器114的例子如图2所示。其中，本图仅示出了用于进行说明实施本实施例所必须的功能操作的按钮，实际接收装置不限于此。
图2中，201是发光部，用于进行遥控器114与图1的用户输入部111的红外通信，202是电源键，用于开关电源，203是取消/确定键，在上下左右按钮正中配置确定键，204、205是上下键，由2个上/下键组成，206是数字键，1～9、0数字排成矩阵，207是颜色键，蓝、红、绿、黄4色按钮排成一行。
208是监视器模式键，切换电视接收机的监视器的显示模式，209是“查看”键，用于调用图像浏览功能。
在本实施例中使用的数字图像是用数字照相机拍摄的静止图像和动画数据，通过数字照相机对静止图像数据进行JPEG压缩处理后，作为静止图像数据文件记录在存储卡中。而且，同样地，通过数字照相机以帧为单位对动画数据实施JPEG压缩处理后的图像组也作为动画图像数据文件记录在存储卡中。在以后的说明中，“图像文件”表示静止图像数据或动画图像数据。
通过数字照相机拍摄时的信息作为与图像相关联的关联信息附加在各个图像文件中。所谓拍摄时的信息是指除了拍摄日期时间和照相机机型名称之外的拍摄场景模式、表示拍摄时取景器内的焦点位置的焦点位置信息、闪光灯发光状态信息、表示与被摄体的距离的信息、变焦状态信息等。
在本实施例中使用的数字照相机中，拍摄时，用“左”、“中”、“右”其中之一这样的记录作为拍摄时取景器内的焦点位置信息。
图15是本实施例中使用的数字照相机的液晶屏幕上显示的画面例，图中，(a)表示手触到快门按钮前的状态，(b)表示轻按快门按钮后、焦点对到左侧矩形区域的状态。
(处理操作)根据本实施例，用户在卡槽109中安装存储卡，并通过遥控操作调用图像查看功能，以启动数字电视接收装置100中的数字图像一览显示。
图3是集中表示数字电视接收装置中图像查看功能的一部分操作即显示控制部110的操作的图。图5是显示控制部110进行图像数据一览显示的布局控制时使用的表数据。图4是表示与图5的各索引对应的图像显示位置的例子。以下，使用这些图说明显示控制部110的操作处理。
当用户按下图2所示遥控器的“查看”键209时，显示控制部110开始图3所示的处理。
首先，显示控制部110通过图像数据输入部105读出插入卡槽109中的存储卡中的图像文件总数并存储起来(S301)。接着，读出第一个图像文件的Exif头信息(S302，S303)。
然后，读出图5所示表中的第一条内容(S304)，如果图像文件未注册(S305)，则将先读出的Exif头信息中的焦点位置信息和表中的“非露出部分”相比较(S307)，如果相同(S308)，读出下一表内容(S306，S304)。如果图像文件未注册(S305)，则将Exif头信息中包含的焦点位置信息和表中的“非露出部分”相比较。这里，如果不相同，则在该位置的表中注册当前处理中的图像文件(S309)。
图5中，带所谓“左”焦点位置信息的IMG001.JPG的图像表示因为在第一个索引处非露出部分也为“左”而未被注册，而在第二个索引处不同于非露出部分，因而已在表中注册的状态。
这样，显示控制部110从表索引小的方向找到为空的位置，如果发现为空，则把与索引对应的非露出部分和图像文件的焦点位置信息相比较，如果相同，则对表的下一索引进行同样的处理。
同样，继续执行对存储卡中的第二、第三...和后续图像文件的处理，如果第M(＝图像总数)个图像文件的处理结束，则根据表中注册的内容进行各图像的显示处理。显示控制部110通过图像数据输入部105从存储卡中读出该图像文件的数据(S314)，进行送往图像处理部106的处理以及解码处理后(S318)，通过在视频存储器107中写入显示数据来显示图像(S319)。
此外，尽管未图示，但通过图3的处理显示全部图像文件时，用户操作遥控器的上下左右键来移动游标，选择所看到的图像文件。当针对想看的图像文件按下确定键时，可以在屏幕上仅显示该图像文件。
(作用·效果)通过以上说明的显示控制部110的处理，说明所得到的作用。图6(a)示出了带所谓“左”焦点位置信息的图像文件IMG001.JPG通过上述处理不在图6的“1”(本文中，图4，5，6，10，11，13中用带圆圈的数字来表示)的位置而配置在“2”的位置的样子。从而，该图像文件左侧的被摄部分被露出，和例如图6(b)中所示的配置在“1”位置的情况相比，能够容易地找到该照片。
即，根据本发明的第一实施例，能使适于以照片固有信息为基础来判别该照片的部分露出来。在上述说明中，虽然以用所谓拍摄时记录的焦点位置信息的信息为例进行了介绍，但除此之外，例如在数字照相机可以把固定被摄体位置或焦点位置的模式设定为拍摄场景模式时，可以用该拍摄场景模式的信息。例如，如图16那样，用带“人物右”“人物左”这种拍摄场景模式的数字照相机拍摄，在图像的Exif头信息中有“人物右”这种信息时，通过控制一览显示位置使得露出图像的右侧部分，得到和上述说明相同的作用。
此外，在上述说明中，为了简化说明，在画面上显示了12张照片，但还可以显示更多张。
(第二实施例)下面，说明本发明的另一个实施例。在本实施例中使用的数字电视接收装置的结构和图1相同，因此，说明从略。
在本实施例中，使用用同于前一实施例中所使用的数字照相机拍摄的数字图像，但在本实施例中使用的数字照相机中，使用了记录拍摄日期时间的信息、表示拍摄时的照相机方向的信息(即表示横向照片/纵向照片)、作为拍摄时的拍摄场景模式的“室外模式”，“风景模式”，“人物模式(肖像模式)”，“夜晚(夜间拍摄)模式”等模式设定信息。这里，与拍摄场景模式有关的设定信息相当于与拍摄模式有关的信息。
(处理操作)用户通过在卡槽109中安装存储卡、进行遥控操作以调用图像查看功能来启动本实施例的数字电视接收装置100中的数字图像一览显示。
图7是集中表示数字电视接收装置中图像查看功能的一部分操作即显示控制部110的操作的图。图8示出了在图7的处理中使用的露出控制遮罩的种类。根据焦点位置和拍摄场景模式准备露出量和露出位置不同的露出控制遮罩。以下，用这些图进行说明。
首先，显示控制部110取得存储卡中记录的图像文件的总数(S701)，读出第一个图像数据的Exif头信息(S702)。
在该图像数据的Exif头信息中加入了焦点位置信息时(S704)，确定图8(a)所示的左露出用遮罩、中央露出用遮罩、右露出用遮罩这三个露出控制遮罩中与焦点位置信息对应的焦点位置的露出控制遮罩(S705)。另一方面，在图像数据的Exif头信息中没有焦点位置信息的情况下(S706)，在有拍摄场景模式信息时(S706)，确定图8(b)所示的露出控制遮罩中与拍摄场景模式信息对应的露出控制遮罩(S707)。而且，在Exif头信息中不包含焦点位置信息和拍摄场景模式信息的情况下，确定使用图8(c)所示的标准露出遮罩(S708)。
这样，对后面的图像数据也进行同样的处理，确定露出控制遮罩(S709、S710、S703～)。
图9示出了显示控制部110进行的显示处理的内容。图10示出了本实施例中使用的图像数据和显示控制部110利用图9的显示控制而在画面上的样子。图中，(a)表示本实施例中使用的图像文件。使用的图像“1”～“10”是焦点位置信息为左、中、右的顺序排列的图像。
以下，用这些图进行说明。
首先，显示控制部110从存储卡中读出第一个图像数据的缩略像(S901～S902)，进行图像的解码处理(S903)，使用在图7的处理中确定的露出控制遮罩进行遮罩处理(S904)。作为遮罩处理，就是进行在各像素的数据中嵌入表示是否为露出部分的标志数据的处理。
在本实施例中，使用各像素的蓝色分量(0～255的值)的下1位作为标志数据。即，在图像中，蓝色的下1位为0的像素表示非露出部分，为1的表示露出部分。
接着，显示控制部110在画面上的预定基准位置配置处理中的图像(S905)。在本实施例中，将基准位置定为在画面上进行一览显示的区域的左端。这时，检查在如此配置的区域下方有无包含表示露出部分的标志数据的像素(S906)。在第一个图像数据的情况下，因为没有其他图像，所以配置在原来的基准位置。
同样，在处理第二个图像数据的步骤中，在配置的图像下方有表示露出部分的标志数据，即重叠在其他图像的露出部分之上的情况下(S907，S908)，将配置的图像位置向右移动一定像素量后重新进行配置(S909)。
图中(b)是表示到第二个为止的显示处理结束后的状态，在第二个图像数据的配置处理中，因为重叠在了配置在最初基准位置上的第一个图像的露出部分上，所以将第二个图像向右移动到和第一个图像的露出部分不重叠的位置上，结束配置处理。
接着，在处理第三个图像数据的步骤中，在配置在基准位置的时刻，因为和第一个图像的露出部分重叠，所以为了重新配置而移动图像。其中，从图(a)可见，在该例中，第三个图像是焦点位置信息为右侧的照片，是通过图7的处理确定使用右露出用遮罩的图像。在显示控制部中，从此时的基准位置向左移动图像(S910)，移至不和其他图像的露出部分重叠的位置进行重新配置。这时，显示控制部使配置完的图像组(这里是第一个和第二个)向右滑动，使第三个图像不从图中虚线包围的一览显示区域中突显出来。基准位置也向右移动同样的像素量(S913)。图10(c)示出了此时的状态。
对第四个以后的图像数据也进行同样的处理，进行图10(d)～(f)那样的配置处理。
(作用·效果)下面，说明了本实施例通过显示控制部110的处理所起的作用，但说明了之前使用图11而未使用本发明时的显示例。图11(a)是不用本发明而单纯地重叠图像来显示时的显示例。这时，全部图像象图中(b)那样焦点位置位于中央部分时，如图中(c)那样差不多都露出。但是，如图中(d)那样，一览显示混杂了焦点位置不在中央的图像的图像组时，如图中(e)所示，在一部分图像中，露出部分有相当一部分被掩盖。
通常，用户用本实施例中使用的具有多个焦点位置的数字照相机拍摄时，一边确认将焦点聚焦在用户自身认为重要的部分上一边进行拍摄是很普通的。即，所谓距焦点位置近的区域被掩盖起来显示是指在很多情况下，用于判别用户认为重要的被摄体、即照片的重要部分被掩盖起来了。
另一方面，在上述本实施例中进行显示控制部110的处理时，如图中(f)那样，对任一个图像都能不掩盖距焦点位置近的区域地进行显示。
尽管在图11中未做详细说明，但在确定用图7和图8所示的露出控制遮罩的处理中，通过“风景”“人物”这种拍摄场景模式来切换露出控制遮罩，从而，即使没有焦点位置信息时，也能与该照片拍摄场景相符地控制露出部分和露出量。例如，在风景照片的情况下，对于用户来说，整个风景多作为“印象”而残留，为了判别和选择图像，需要露出部分较多。另一方面，在人物照片的情况下，只露出脸部以便能判别即可，从而有露出部分不必太多的倾向。
这样，通过进行反映拍摄场景模式的控制，在维持易于判别的同时，能够进行符合图像特性的有效图像配置。
此外，在上述说明中，作为一览显示的方法，仅对图像重叠且横着排成一排的情况进行了说明，但根据本发明的主旨，当然不限于图像的这种重叠方式，无论纵向重叠还是横向重叠都是一样的。
在上述说明中使用露出控制遮罩的遮罩处理的说明中，蓝色分量数据的下1位用作标志，但根据本发明的主旨，不限于此，可以在每个像素中设置专用的标志位，也可以用表示α混合比的数据位。
在上述说明中，仅以“风景”“人物”这2个种类作为拍摄场景模式的例子，但当然不限于此，也可以有“夜景”“宏观”等拍摄场景。
(第三实施例)在上述第二实施例中，根据焦点位置信息、所谓拍摄场景模式信息的Exif头信息进行更有效且容易判别的图像配置，但从本发明的本质来说当然不限于此，例如可以根据拍摄日期时间信息进行有效的图像配置。
在本实施例中使用的数字电视接收装置的构成和图1相同，因此说明从略。
(处理操作)图12是示出了以显示控制部110的操作为主的数字电视接收装置100的图像查看功能的流程的流程图。图13(a)示出了本实施例中使用的图像数据。图像是按时间序列排列的，在图像下方显示了拍摄时间。
首先，显示控制部110从存储卡中读出第一个图像数据的Exif头信息(S1001～S1002)，而且，读出第一个图像数据的缩略像(S1003)。将读出的图像数据送给图像处理部106，进行解码处理(S1004)。
接着，读出第(N-1)个图像的拍摄时间(S1005)。这里，如果第N个图像的拍摄时间和第(N-1)个图像的拍摄时间相差10秒以内(图13中的“5”，“6”)，则进行控制以加大第N个和第(N-1)个图像的重叠量(S1006～S1007)。另一方面，当第N个图像的拍摄时间和第(N-1)个图像的拍摄时间之差超过10秒时，将第N个和第(N-1)个图像的重叠量控制为规定的通常量(S1006，S1008)。
同样，对第(N+1)个以后的图像数据也进行同样的处理，对存储卡中记录的全部图像数据进行同样的处理后结束处理(S1009～S1010)。
通过这种控制，用图13(c)所示的配置进行一览显示。
(作用·效果)通过上述处理，和全部图像重叠相同重叠量的情况(图13的(b))相比，能配置更多的图像。通过这种处理，在拍摄时间相差10秒以内的图像组的情况下，仅1张露出多(如图13(c)中的“6”)，而剩下的(“4”和“5”)图像露出少。虽然为了判别照片不希望考虑减少露出部分，但通常，在拍摄时间相差非常近的图像的情况下，用户能根据露出多的图像(“6”)的内容推测露出少的图像(“4”“5”)的内容，因此，不会对选择图像造成障碍。
即，根据本实施例的显示控制部110的处理，可根据图像的拍摄时间差进行有效的一览显示。
(第四实施例)图17是根据本发明实施例的图像显示装置的结构方框图。
这里，1101表示整个图像显示装置。1201是控制CPU，进行整个图像显示装置1101的控制。1203是图像显示部，由能实现液晶和等离子显示器等薄型屏幕的显示器构成。图像显示部1203显示由控制CPU1201指示的图像。在本实施例中，控制CPU1201相当于重叠确定部和露出确定部，图像显示部1203相当于显示器。
图像显示装置1101是显示作为本发明特征的多个图像数据的重叠一览显示的装置。
1205是图像存储部，由硬盘等非易失性存储装置组成。可以大量存储保存通过用户的操作用数字照相机或数字摄像机等拍摄的、取入图像显示装置中的图像。
1207是存储卡。存储卡1207是可拆卸的结构。存储卡1207能和数字照相机或数字摄像机等图像摄影设备连接，可经由存储卡1207把拍摄的图像数据取入图像显示装置1101内。
1209是外部输入端子，经由该端子，可直接将数字照相机或数字摄象机等图像摄影设备的图像数据取入图像显示装置1101内。
1211是图像解码部。从图像存储部1205或存储卡1207、外部输入端子1209取入的图像数据在此被变换为在控制CPU1201等的图像显示装置1101内部可处理的数据格式。
1213是脸部检测处理部。判断取入的图像数据内是否有人像，在有人像时，进行指定其区域的处理。下面将详述该处理。
1215是高速缓冲存储器。用于临时保持在图像解码部1211中解码的图像数据、保持图像显示部1203中显示的图像数据、保持脸部检测处理部1213的临时数据等。
图18示出了用作检测关注区域的一个方法的脸部检测处理的处理流程图。
本处理在重叠一览显示之前执行，在脸部检测处理部1213中对作为显示对象的图像数据执行本处理。处理开始后，进入步骤1101。
在步骤1101中，脸部检测处理部执行从图像数据内的颜色数据中找出包含肌肤颜色数据的区域的处理。处理后，进入步骤1103。
在步骤1103中，脸部检测处理部执行表示脸部特征的图案、即眼睛和嘴形状的图像图案与对象图像的图案匹配处理。处理后，进入步骤1105。
在步骤1105中，根据步骤1101和步骤1103的处理结果，即根据在对象图像内是否存在脸部区域进行分支处理。即，有脸部区域，则处理进入步骤1107。若无脸部区域，则本处理结束。
在步骤1107中，脸部检测处理部将根据步骤1101和步骤1103的处理结果而判断为脸部区域的区域信息写入高速缓冲存储器215，处理返回控制CPU1201，从而本处理结束。
图19(a)是一例图像数据的图。图19(b)是表示根据脸部检测处理后的脸部区域的判定结果的一例关注区域的范围确定处理的图。
如图19(a)所示，由脸部检测处理部1213按照图18说明的处理流程对人像的图像数据执行脸部检测处理。如图19(b)所示，判断为脸部区域的区域是1303和1305的部分。如图所示的脸部区域被识别为圆形图形数据。
适用于把脸部检测处理中检测的脸部区域判断为关注区域、并控制重叠一览显示。
脸部检测处理在作为被摄体的脸部占全部图像数据的比例大时检测率好。但是，比例低时，有时不能检测到脸部。对于这时的处理，用图20(a)和图20(b)说明。
图20(a)示出了一例图像数据。图20(b)是一例根据拍摄信息进行关注区域的范围确定处理的图。
在用数字照相机等拍摄的图像数据中，能在图像数据内保持拍摄时的信息(Exif信息)。在该Exif信息中包含拍摄时的位置信息。因此，在本发明中，脸部检测处理失败时，读取Exif信息中的焦点位置信息。焦点位置信息在图20(a)中是1403和1405表示的范围。
根据该焦点位置信息把包含位置信息的用圆形表示的范围识别为关注区域。关注区域是图20(b)的1407所表示的范围。
在不能根据对象图像检测到脸部区域时，根据该Exif信息中的焦点位置信息来判断关注区域。
图21是关注区域确定处理的处理流程图。
在重叠一览显示控制的前一处理阶段执行本处理。处理开始后，进入步骤1201。
在步骤1201中，从图像存储部1205、存储卡1207、外部输入端子1209读入图像数据，在图像解码器1211中进行解码后，把图像数据存储到高速缓冲存储器1215中。处理后，进入步骤1203。
在步骤1203中，把读出的图像作为对象，通过图像显示部1203调用图18说明的脸部检测处理。处理后，进入步骤1205。
在步骤1205中，利用脸部检测处理结果按照是否有脸部区域进行分支处理。即，有脸部区域时，处理进入步骤1207。无脸部区域时，处理进入步骤1209。
在步骤1207中，因为判断出在对象图像内有脸部区域，进行把位于高速缓冲存储器内的脸部区域数据作为对象图像的关注区域数据注册的处理。该注册处理后，本处理结束。
在步骤1209中，按照在对象图像中是否有Exif信息进行分支处理。即，有Exif信息时，处理进入步骤1211。如果没有，处理进入步骤1215。
在步骤1211中，根据对象图像数据读入Exif信息，进一步进行读出焦点位置信息的处理。处理后，进入步骤1213。
在步骤1213中，执行从图20(a)和图20(b)中说明的焦点位置信息变换为关注区域的处理。把该区域作为关注区域注册。该注册处理后，本处理结束。
在步骤1215中，在脸部区域不存在并且不能从对象图像中取得Exif信息的情况下，进行把图像的中心位置作为关注区域来注册的处理。该注册处理后，本处理结束。
对作为重叠一览显示的显示对象的全部图像数据进行这里说明的处理。
图22(a)示出了随机地重叠显示图像时的一个例子。图22(b)示出了重叠显示考虑了关注区域大小的图像时的一个例子。
本发明的多个图像的重叠一览显示必须把各图像1501、1503、1505各自的关注区域部分1701、1703、1705的区域作为保护区域显示在画面上。由此提高用户的检索性。其他区域作为非关注区域配置在其他图像下面，从而能更有效地显示图像。
如图22(a)所示，和随机地重叠显示图像的情况相比，图22(b)把关注区域大的重叠显示在上面，能有效地使用画面。通过取入该处理，能更有效地显示图像。
图23是重叠显示处理的处理流程图。
当用户选择重叠一览显示时执行本处理。处理开始后，进入步骤1301。
在步骤1301中，调用图21中说明的执行关注区域确定处理的处理。对于一切作为显示对象的图像，执行该处理。处理后，进入步骤1303。
在步骤1303中，接受步骤1301的关注区域确定处理，按各图像的关注区域的大小顺序执行重新排列的处理。处理后，进入步骤1305。
在步骤1305中，把表示图像的变量N设定为表示开头图像的1。随着N的数字变大，表示重叠在下方显示。处理后，进入步骤1307。
在步骤1307中，执行确定以变量N表示的图像的位置的处理。配置位置的确定方法是通过随机数求坐标值的方式。这里，在确定配置位置时，选择坐标值使关注区域最大限度露出且非关注区域最大限度地隐藏在上位图像中。处理后，进入步骤1309。
在步骤1309中，判断配置的图像是否位于额定角度范围内。这是因为图像显示角度太大时，用户就会有不容易找到的印象。判断为规定范围外时，处理返回步骤1307。如果是规定范围内，则处理进入步骤1311。
在步骤1311中，判断在配置对象图像的关注区域上是否重叠了上位图像。判断出有重叠时，处理返回步骤1307。判断为无重叠时，处理进入步骤1313。
在步骤1313中，根据变量N中值是否表示显示对象的最终图像来进行分支处理。即，如果是最终图像，则处理进入步骤1317。如果不是最终图像，处理进入步骤1315。
在步骤1315中，把变量N的值加1，反复进行确定下一个图像的配置位置的处理。
在步骤1317中，通过确定作为显示对象的全部图像的配置位置，调用在图像显示部1201中执行重叠一览显示的处理。显示结束后，本处理结束。
图24是重叠一览显示的一个实施例。显然，在图像显示部1201上必须显示各图像的关注区域。
(第五实施例)根据本实施例的图像显示装置的基本构成和第四实施例相同。但是，对于图21中说明的关注区域检测来说，是焦点位置信息优先于脸部检测处理的结构。
图25是本实施例的关注区域确定处理的处理流程图。
在重叠一览显示控制的前一处理阶段执行本处理。处理开始后，进入步骤1401。
在步骤1401中，从图像存储部1205、存储卡1207、外部输入端子1209中读入小数据，在图像解码器1211中解码后，把图像数据存储到高速缓冲存储器1215中。处理后，进入步骤1403。
在步骤1403中，根据对象图像中是否有Exif信息进行分支处理。即，有Exif信息时，处理进入步骤1407。如果没有，处理进入步骤1405。
在步骤1405中，把读取的图像作为对象，通过脸部检测处理部1203调用图18中说明的脸部检测处理。处理后，进入步骤1411。
在步骤1407中，根据对象图像数据读入Exif信息，进一步进行读出焦点位置信息的处理。处理后，进入步骤1409。
在步骤1409中，执行从图20(a)和图20(b)中说明的焦点位置信息变换为关注区域的处理。把该区域作为关注区域来注册。该注册处理后，本处理结束。
在步骤1411中，根据脸部检测处理结果按照是否有脸部区域进行分支处理。即，有脸部区域时，处理进入步骤1413。无脸部区域时，处理进入步骤1415。
在步骤1413中，因为判断出在对象图像内有脸部区域，所以进行把位于高速缓冲存储器内的脸部区域数据作为对象图像的关注区域数据来注册的处理。该注册处理后，本处理结束。
在步骤1415中，在不存在脸部区域并且不能从对象图像中取得Exif信息时，进行把图像的中心位置作为关注区域来注册的处理。该注册处理后，本处理结束。
(第六实施例)根据本实施例的图像显示装置的基本结构和第四实施例相同。其中，关注区域取脸部检测区域和拍摄信息的逻辑和。
图26示出了本实施例的关注区域检测后的结果。区域1501是通过脸部检测的关注区域，区域1503是焦点区域，区域1505是从焦点区域1503变换的关注区域。本实施例由区域1501和区域1505的逻辑和确定关注区域。
(第七实施例)根据本实施例的图像显示装置的基本结构和第二实施例相同。但是，显示控制部110的操作流程不同。图27是本实施例中表示显示控制部110的操作流程的流程图。图27的处理中使用的露出控制遮罩的种类和图8所示的相同。根据焦点位置和拍摄场景模式准备露出量和/或露出位置不同的露出控制遮罩。以下，使用这些图来说明。
首先，显示控制部110取得存储卡中记录的图像数据的总数(S1501)，执行第一个图像数据的脸部检测(S1503、S1505)。
在对象的图像数据内检测到脸部时(S1507)，确定图8(a)所示的左露出用遮罩、中央露出用遮罩、右露出用遮罩这三个露出控制遮罩中与焦点位置信息对应的焦点位置的露出控制遮罩(S1509)。
另一方面，不能在对象的图像数据内检测到脸部时，读取Exif头信息(S1511)，判断其中有无焦点位置信息(S1513)。有焦点位置信息时，以焦点位置信息为基础确定图8(a)所示的露出遮罩(S1515)。
没有焦点位置信息时，判断有无拍摄场景信息(S1517)，有拍摄场景时，确定与拍摄场景信息对应的露出控制遮罩(S1519)。
这样，对以后的图像数据进行同样的处理，确定露出控制遮罩(S1523，S1505～)。
权利要求
1.一种图像显示方法，包含使多个图像中的至少两个图像的一部分重合地同时显示在画面上的步骤，其特征在于，包含取得与上述至少两个图像中的每个图像相关的关联信息的步骤；根据上述取得的关联信息确定上述至少两个图像重叠的前后关系的步骤。
2.一种图像显示方法，包含使多个图像中的至少两个图像的一部分重合地同时显示在画面上的步骤，其特征在于，包含取得与上述至少两个图像中的每个图像相关的关联信息的步骤；根据上述取得的关联信息，确定上述至少两个图像中具有由于一个图像的重叠而被掩盖的部分和露出部分的另一个图像的露出量和/或露出位置的步骤。
3.一种图像显示方法，包含使多个图像中的至少两个图像的一部分重合地同时显示在画面上的步骤，其特征在于，包含脸部检测步骤，检测上述至少两个图像中每个图像的脸部区域；基于脸部区域的大小确定上述至少两个图像重叠的前后关系的步骤。
4.一种图像显示方法，包含使多个图像中的至少两个图像的一部分重合地同时显示在画面上的步骤，其特征在于，包含脸部检测步骤，检测上述至少两个图像中每个图像的脸部区域；基于脸部区域的位置，确定上述至少两个图像中具有由于一个图像的重叠而被掩盖的部分和露出部分的另一个图像的露出量和/或露出位置的步骤。
5.一种图像显示方法，包含使多个图像中的至少两个图像的一部分重合地同时显示在画面上的步骤，其特征在于，包含取得与上述至少两个图像中的每个图像相关的关联信息的步骤；根据上述取得的关联信息确定上述至少两个图像重叠的前后关系的步骤，其中上述关联信息包含拍摄信息。
6.一种图像显示方法，包含使多个图像中的至少两个图像的一部分重合地同时显示在画面上的步骤，其特征在于，包含取得与上述至少两个图像中的每个图像相关的关联信息的步骤；根据上述取得的关联信息，确定上述至少两个图像中具有由于一个图像的重叠而被掩盖的部分和露出部分的另一个图像的露出量和/或露出位置的步骤，其中上述关联信息包含拍摄信息。
7.一种图像显示方法，包含使多个图像中的至少两个图像的一部分重合地同时显示在画面上的步骤，其特征在于，包含取得与上述至少两个图像中的每个图像相关的关联信息的步骤；根据上述取得的关联信息确定上述至少两个图像重叠的前后关系的步骤，其中上述关联信息包含拍摄信息，上述拍摄信息包含与焦点位置有关的信息，在确定上述至少两个图像重叠的前后关系时，根据包含上述焦点位置的区域的大小来确定。
8.一种图像显示方法，包含使多个图像中的至少两个图像的一部分重合地同时显示在画面上的步骤，其特征在于，包含取得与上述至少两个图像中的每个图像相关的关联信息的步骤；根据上述取得的关联信息，确定上述至少两个图像中具有由于一个图像的重叠而被掩盖的部分和露出部分的另一个图像的露出量和/或露出位置的步骤，其中上述关联信息包含拍摄信息，上述拍摄信息包含与焦点位置有关的信息，确定上述露出量和/或露出位置以露出包含上述焦点位置的区域。
9.一种图像显示方法，包含使多个图像中的至少两个图像的一部分重合地同时显示在画面上的步骤，其特征在于，包含取得与上述至少两个图像中的每个图像相关的关联信息的步骤；根据上述取得的关联信息，确定上述至少两个图像中具有由于一个图像的重叠而被掩盖的部分和露出部分的另一个图像的露出量和/或露出位置的步骤，其中上述关联信息包含拍摄信息，上述拍摄信息包含与上述图像的拍摄时间日期有关的信息，在确定上述露出量和/或露出位置时，将露出量确定为使得重合的两个图像的拍摄日期时间相同或接近时的上述另一个图像的露出量比拍摄日期时间相隔远时上述另一个图像的露出量少。
10.一种图像显示方法，包含使多个图像中的至少两个图像的一部分重合地同时显示在画面上的步骤，其特征在于，包含取得与上述至少两个图像中的每个图像相关的关联信息的步骤；根据上述取得的关联信息，确定上述至少两个图像中具有由于一个图像的重叠而被掩盖的部分和露出部分的另一个图像的露出量和/或露出位置的步骤，其中上述关联信息包含拍摄信息，上述拍摄信息包含与上述图像的拍摄模式有关的信息，在确定上述露出量和/或露出位置时，将露出量和/或露出位置确定为使得露出与上述拍摄模式对应的区域。
11.一种执行包含使多个图像中的至少两个图像的一部分重合地同时显示在画面上的步骤的图像显示方法的程序，其特征在于，所述程序执行包含如下步骤的图像显示方法取得与上述至少两个图像中的每个图像相关的关联信息的步骤；根据上述取得的关联信息确定上述至少两个图像重叠的前后关系的步骤。
12.一种执行包含使多个图像中的至少两个图像的一部分重合地同时显示在画面上的步骤的图像显示方法的程序，其特征在于，所述程序执行包含如下步骤的图像显示方法取得与上述至少两个图像中的每个图像相关的关联信息的步骤；根据上述取得的关联信息，确定上述至少两个图像中具有由于一个图像的重叠而被掩盖的部分和露出部分的另一个图像的露出量和/或露出位置的步骤。
13.一种执行包含使多个图像中的至少两个图像的一部分重合地同时显示在画面上的步骤的图像显示方法的程序，其特征在于，所述程序执行包含如下步骤的图像显示方法脸部检测步骤，检测上述至少两个图像中每个图像的脸部区域；基于脸部区域的大小确定上述至少两个图像重叠的前后关系的步骤。
14.一种执行包含使多个图像中的至少两个图像的一部分重合地同时显示在画面上的步骤的图像显示方法的程序，其特征在于，所述程序执行包含如下步骤的图像显示方法脸部检测步骤，检测上述至少两个图像中每个图像的脸部区域；基于脸部区域的位置，确定上述至少两个图像中具有由于一个图像的重叠而被掩盖的部分和露出部分的另一个图像的露出量和/或露出位置的步骤。
15.一种向图像显示器提供图像信号以使多个图像中的至少两个图像的一部分重合地同时显示在画面上的图像显示装置，具有关联信息取得部，取得与上述至少两个图像中的每个图像有关联的关联信息；重叠确定部，根据上述取得的关联信息，确定上述至少两个图像重叠的前后关系。
16.一种向图像显示器提供图像信号以使多个图像中的至少两个图像的一部分重合地同时显示在画面上的图像显示装置，具有关联信息取得部，取得与上述至少两个图像中的每个图像有关联的关联信息；露出确定部，根据上述取得的关联信息，确定上述至少两个图像中具有由于一个图像的重合而被隐藏起来的部分和露出部分的另一个图像的露出量和/或露出位置。
17.一种向图像显示器提供图像信号以使多个图像中的至少两个图像的一部分重合地同时显示在画面上的图像显示装置，具有脸部检测部，检测上述至少两个图像中每个图像的脸部区域；重叠确定部，根据脸部区域的大小确定上述至少两个图像重叠的前后关系。
18.一种向图像显示器提供图像信号以使多个图像中的至少两个图像的一部分重合地同时显示在画面上的图像显示装置，具有脸部检测部，检测上述至少两个图像中每个图像的脸部区域；露出确定部，根据脸部区域的位置，确定上述至少两个图像中具有由于一个图像的重合而被隐藏起来的部分和露出部分的另一个图像的露出量和/或露出位置。
全文摘要
本发明提供一种图像显示方法、程序及图像显示装置。为与画面上的各显示位置对应设置的表赋予索引，保持在该显示位置表示非露出部分的数据。从图像数据的Exif头信息中取得焦点位置信息，按照索引的顺序检索图像数据未注册的表。如果未注册，则将该表中保持的非露出部分和图像的焦点位置相比较，不同，在该表中注册该图像数据，相同，则对下一个索引的表进行同样的处理。根据表，配置、显示图像，使得各图像的焦点位置和各显示位置的非露出部分处于不同位置。
文档编号G09G5/14GK1573755SQ200410059
公开日2005年2月2日 申请日期2004年6月18日 优先权日2003年6月20日
发明者吉川智康, 荒谷俊太郎, 大野智之, 宫本胜弘 申请人:佳能株式会社