摄像装置及图像文件的数据结构的制作方法

专利名称：摄像装置及图像文件的数据结构的制作方法
技术领域：
本发明涉及数码相机等的摄像装置。另外，本发明涉及图像文件的数据结构。
背景技术：
近年来，随着记录介质的大容量化而将大量的图像记录于记录介质已经成为可 能。因此，谋求一种用于从大量的图像中高效地发现期望图像的检索方法或分类方法。鉴于此，在某一现有方法中，利用拍摄对象图像时的信息将适用图像分类的分类 信息附加在对象图像上。通过在图像再生时利用该分类信息，从而容易发现期望图像。但是，在上述的现有方法中，由于在对象图像的检索或分类时仅仅利用了拍摄对 象图像本身时的信息，故检索或分类的高效率化受到限制。

发明内容
本发明相关的摄像装置，具备通过拍摄生成图像的图像数据的摄像部、和将由所 述摄像部生成的主图像的图像数据与由所述主图像得到的主附加信息一同记录于记录介 质中的记录控制部，其特征在于，所述记录控制部将由副图像得到的副附加信息与所述主 图像的图像数据及所述主附加信息建立关联后记录于所述记录介质，其中所述副图像是在 与所述主图像不同的时刻所拍摄到的。在本发明相关的图像文件的数据结构中，将通过拍摄得到的主图像的图像数据、 由所述主图像得到的主附加信息、和由在所述主图像之前所拍摄到的副图像得到的副附加 信息相互建立关联后存储。本发明的意义及效果通过以下所示的实施方式的说明变得更加清楚。其中，以下 的实施方式终究只是本发明的一个实施方式，本发明及各构成要件的术语的意义并不限定 于以下的实施方式所述的意义。


图1是表示本发明的一个实施方式相关的摄像图像的构成的框图。图2是图1的摄像部的内部构成图。图3是表示应记录于记录介质上的图像文件的结构的图。图4是表示在本发明的一个实施方式的具体例中所假设的主输入图像、主标志 (tag)信息及图像文件的图。图5是表示在本发明的一个实施方式的具体例中所假设的副输入图像、主输入图 像、主标志信息、及副标志信息的图。图6是表示第一副输入图像及主输入图像的拍摄时刻关系的图。
图7是表示在预览图像内设定出AF评价区域的状态的图。图8是表示第二副输入图像及主输入图像的拍摄时刻关系的图。图9是表示第三副输入图像及主输入图像的拍摄时刻关系的图。
图10是表示第四副输入图像及主输入图像的拍摄时刻关系的图。图11是与图像文件的作成动作相关的图1的摄像装置的动作流程图。
具体实施例方式以下，参照附图对本发明的实施方式进行具体地说明。在所参照的各图中，对同一 部分附同一符号，原则上省略同一部分相关的重复的说明。图1是表示本发明的一个实施方式相关的摄像装置1的构成的框图。摄像装置1 具备基于符号11 21所参照的各部位。摄像装置1是可拍摄静止图像及运动图像的数码 摄像机。其中，摄像装置1也可以是只可拍摄静止图像的数码相机。摄像部11通过利用摄像元件进行被摄物体的拍摄从而取得被摄物体的图像的 图像数据。图2是摄像部11的内部构成图。摄像部11:具有光学系统35、光圈32、由 CCD (Charge Coupled Device) ^cCMOS (Complementary Metal Oxide Semiconductor)图像 传感器等构成的摄像元件(固体摄像元件)33、用于驱动控制光学系统35或光圈32的驱动 器34。光学系统35由数枚透镜形成，其中所述透镜包括用于调节摄像部11的视场角的变 焦透镜30、及用于对焦的聚焦透镜31。变焦透镜30及聚焦透镜31可在光轴上移动。摄像元件33对经由光学系统35及光圈32入射来的表示被摄物体的光学像进行 光电变换，并输出由该光电变换得到的模拟电信号。未图示的AFE (Analog Front End)对 从摄像元件33输出的模拟信号进行放大后变换为数字信号。得到的数字信号作为被摄物 体的图像的图像数据被记录于由SDRAM (Synchronous Dynamic Random Access Memory)等 形成的图像存储器12。以下，将由记录于图像存储器12上的1帧周期份的图像数据所表示的1枚份的图 像称为“帧图像”。且有，在本说明书中，有时将图像数据只称为“图像”。帧图像的图像数据作为输入图像的图像数据被送入到摄像装置1内的必要部位 (例如，图像分析部14)。此时，也可对帧图像的图像数据实施必要的图像处理(噪声降低 处理、边缘强调处理等)，并将该图像处理后的图像数据作为输入图像的图像数据送入到图 像分析部14等。摄影控制部13将用于适当调节变焦透镜30及聚焦透镜31的各位置以及光圈32 的开度的控制信号输出于驱动器34(参照图2)。驱动器34基于该控制信号来驱动控制这 些位置及开度，从而调节摄像部11的视场角(焦点距离)及焦点位置以及向摄像元件33 的入射光量。图像分析部14基于输入图像的图像数据进行在输入图像中所包括的特定类型的 被摄物体的检测。在特定类型的被摄物体中包括人物的面部及人物本身。图像分析部14通过面部 检测处理来检测输入图像中的面部及人物。在面部检测处理中，基于输入图像的图像数据 从输入图像的图像区域中检测并提取包括人物的面部部分在内的区域、即面部区域。在从 某一输入图像中提取出P个面部区域时，图像分析部14判断为在该输入图像中存在P个面部或存在P个人物(P为自然数)。图像分析部14可通过包括公知方法在内的任意方法来 执行面部检测处理。且有，以下，将通过面部检测处理提取出的面部区域内的图像称为“提 取面部图像”。另外，也可以以可执行面部识别处理的方式形成图像分析部14。在面部识别处理 中，识别具有由面部检测处理从输入图像中提取出的面部的人物，是预先设定的一个或多 个登记人物内的哪一个人物。作为面部识别处理的方法已知各种方法，图像分析部14可通 过包括公知方法在内的任意方法来执行面部识别处理。例如，能基于提取面部图像的图像数据和对照用的面部图像数据库进行面部识别 处理。在面部图像数据库中存储有与互不相同的多个登记人物相关的面部图像的图像数 据。能将面部图像数据库预先设在图像分析部14内。将存储于面部图像数据库内的登记 人物的面部图像称为“登记面部图像”。通过按照每个登记面部图像进行基于提取面部图像 的图像数据及登记面部图像的图像数据的提取面部图像及登记面部图像间的相似度评价， 从而能实现面部识别处理。
且有，也可以基于提取面部图像的图像数据来推断与该提取面部图像对应的人 物的性别、人种及年龄层等。作为该推断方法能够利用包括公知方法(例如，日本特开 2004-246456号公报、日本特开2005-266981号公报及日本特开2003-242486号公报所述的 方法)在内的任意方法。进而，图像分析部14也能基于输入图像的图像数据来检测存在于输入图像上的 面部或人物以外的特定类型的被摄物体。为了方便起见，将用于进行该检测的处理称为“物 体检测处理”。若认为应检测的物体是面部或人物，则物体检测处理是面部检测处理。由物体检测处理应检测的被摄物体的类型是任意的。例如，利用物体检测处理能 检测图像上的车、树、作为高层建筑的大厦等。对于图像上的车、树、大厦等的检测而言，能 利用边缘检测、轮廓检测、图像匹配、图案识别等各种图像处理，可利用包括公知方法在内 的任意方法。例如，在特定类型的被摄物体为车的情况下，通过基于输入图像的图像数据来 检测输入图像上的轮胎从而能检测输入图像上的车，或者通过利用了输入图像的图像数据 和预先准备的车的图像的图像数据的图像匹配从而能够检测输入图像上的车。进而，图像分析部14也能够基于输入图像的图像数据来检测输入图像的图像特 征。将用于进行该检测的处理称为“图像特征检测处理”。在图像特征检测处理中，例如能 够基于输入图像的亮度等级来检测输入图像是在暗处所拍摄到的图像、还是在明处所拍摄 到的图像、或是在逆光下所拍摄到的图像等。以下，将包括上述的面部检测处理、面部识别处理、对人物的性别和人种及年龄层 进行推断的处理、物体检测处理、以及图像特征检测处理在内的处理统称为“图像分析”。记录介质15是由磁盘或半导体存储器等构成的非易失性存储器。能够将输入图 像的图像数据存储于图像文件中的基础上记录于记录介质15上。图3示出一个图像文件的结构。对一个静止图像或运动图像作成一个图像文件。 能使图像文件的结构依据于任意标准。图像文件由应存储有静止图像或运动图像的图像数 据的主体区域和应存储有附加信息的头部区域构成。在本例子中，在主体区域中存储有输 入图像的图像数据本身或该图像数据的压缩数据。且有，在本说明书中，“数据”和“信息” 是同一意思。
由于一个图像文件中的主体区域和头部区域应当是相互建立关联的记录区域，故 存储于同一图像文件的主体区域及头部区域上的数据彼此之间必然相互建立关联。以后， 对应当存储于头部区域上的附加信息进行详细说明。记录控制部16进行用于使记录介质15记录数据所需的各种记录控制。显示部17 由液晶显示器等构成，其显示由摄像部11的拍摄得到的输入图像或记录于记录介质15上 的图像等。操作部18是用于用户对摄像装置1进行各种操作的部位。在操作部18中包括 用于进行静止图像的拍摄指示的快门按钮18a、用于指示运动图像的拍摄开始及结束的录 像按钮(未图示)。主控制部19按照对操作部18进行的操作内容来统一控制摄像装置1 内的各部位的动作。发光部20是将氙管或发光二极管作为光源的发光装置，其按照快门按 钮18a的按下时刻，在由摄影控制部13所指示的时刻，根据需要将由该光源生成的闪光照 射到被摄物体上。图像检索部21从记录于记录介质15上的多个图像文件中检索满足特定条件的图 像文件。检索结果被反映于显示部17的显示内容中。在图像检索部21的检索模式中存在 包括通常检索模式在内的多个检索模式。按照与操作部18相对的操作内容来指定实际执 行的检索模式。参照图4对通常检索模式进行说明。现在，根据快门按钮18a的按下操作，通过摄 像部11的拍摄取得作为4枚静止图像的4枚输入图像IM[1] Im[4]。此时，记录控制部 16在记录介质15内作成4个图像文件FL[1] FL[4]，在图像文件FL[1] FL[4]的主体 区域分别记录输入图像IM[1] Im[4]的图像数据。且有，将在图像文件的主体区域应记录 图像数据的输入图像特别地称为“主输入图像”。快门按钮18a的按下操作是对作为主输入 图像的静止图像的拍摄进行指示的操作。一方面，图像分析部14对输入图像IM[1] Im[4]分别进行图像分析。记录控制 部16将由与输入图像IM[i]相对的图像分析得到的信息作为主标志信息记录于图像文件 FL[i]的头部区域。在此，i为自然数。因此，由输入图像IM[1]的图像分析得到的主标志 信息被记录于图像文件FL[1]的头部区域，由输入图像Im[2]的图像分析得到的主标志信 息被记录于图像文件FL[2]的头部区域(对于输入图像Im[3]及Im[4]也同样)。且有，在 图像文件FL[i]的头部区域中除了与输入图像IM[i]相关的主标志信息以外，记录有表示 输入图像IM[i]的拍摄时刻的信息、输入图像IM[i]的缩略图像的图像数据等与输入图像 I [i]关联的各种信息。在以下的说明中，为了说明的简单，在摄像装置1的被摄物体中只包括人物、大 厦、树及车(即、无视人物、大厦、树及车以外的被摄物体的存在)。另外，假设记录于记录介 质15上的图像文件只是图像文件FL[1] FL[4]。在输入图像IM[1]的被摄物体中只包括人物，在输入图像IM[2]的被摄物体中只包 括人物和车，在输入图像IM[3]的被摄物体中只包括人物、大厦及车，在输入图像IM[4]的被 摄物体中只包括人物。 记录控制部16将由对输入图像IM[i]的图像分析所检测出的被摄物体的类型写 入到输入图像IM[i]的主标志信息中。因此，在输入图像IM[1]的主标志信息中只写入“人 物”，在输入图像IM[2]的主标志信息中只写入“人物”及“车”，在输入图像IM[3]的主标志 信息中只写入“人物”、“大厦”及“车”，在输入图像IM[4]的主标志信息中写入“人物”并写入“肖像”。
在提取面部区域的大小占据关注输入图像的整个图像区域中的比例在规定的基 准比例以上的情况下，图像分析部14判断出关注输入图像是肖像图像。由于被判断为输入 图像Im[4]是肖像图像，故记录控制部16根据该判断结果将“肖像”写入到输入图像Im[4] 的主标志信息中。而且，根据面部识别处理检测出输入图像IM[4]中所包括的人物是登记人物Ha。此 时，记录控制部16将“人物Ha”写入到输入图像IM[4]的主标志信息中。对在存储有各输入图像的图像数据及主标志信息的图像文件FL[1] FL[4]被记 录于记录介质15的状态下的通常检索模式的动作进行说明。通过用户在摄像装置1中设 定检索条件，从而能按照检索条件来进行图像文件的检索。检索条件是通过指定检索用语 而设定的。检索用语的指定例如通过对操作部18的操作来实现的。在显示部17具备所谓 的触摸面板功能的情况下，也可以利用该功能进行检索用语的指定。用户也能够通过一个 文字一个文字的文字输入来进行检索用语的指定，也能够从准备的多个候补用语中选择指 定检索用语。在通常检索模式下，图像检索部21分别关注图像文件FL[1] FL[4]的每一个。 并且，在与由检索条件指定出的检索用语一致(或大致一致)的用语包括在所关注的图像 文件的主标志信息中的情况下，作为检索文件而选择所关注的图像文件。在选择检索文件 后，图像检索部21使与检索文件相关的信息显示于显示部17。能显示该信息的方法是任意 的。例如，能够将作为检索文件而选择出的图像文件的名称、和/或基于作为检索文件而选 择出的图像文件内的图像数据的图像(例如，缩略图像)显示于显示部17。在通常检索模式下在作为检索用语而指定“人物”的情况下，作为检索文件而选择图像文件FL[1] FL[4]；在作为检索用语而指定“车”的情况下，作为检索文件而只选择出图像文件FL[2] 及 FL[3]；在作为检索用语而指定“大厦”的情况下，作为检索文件而只选择出图像文件 FL [3]；在作为检索用语而指定“肖像”的情况下，作为检索文件而只选择出图像文件 FL[4]；在作为检索用语而指定“人物Ha”的情况下，作为检索文件而只指定出图像文件 FL [4]。另外，也能在检索条件中指定多个检索用语。例如，在作为检索条件而设定了第一 检索用语“车”及第二检索用语“大厦”一起包括在主标志信息中的这一条件的情况下，作为 检索文件而只选择出图像文件FL[3]。另外，例如，在作为检索条件而设定了第一检索用语 “车”或第二检索用语“大厦”包括在主标志信息中的这一条件的情况下，作为检索文件而选 择出图像文件FL[2]及FL[3]。接着，参照图5对在作为图像检索部21的检索模式之一的扩大检索模式中所利用 的副标志信息的生成方法进行说明。在扩大检索模式下，除了利用从作为主输入图像的输 入图像IM[1] Im[4]中得到的主标志信息之外，还利用从在主输入图像之前所拍摄到的输入图像中得到的副标志信息。将用于得到副标志信息的、在主输入图像之前所拍摄到的输 入图像，称为“副输入图像”。认为主输入图像和副输入图像是密切相关的图像，通过并用由 主输入图像得到的主标志信息和由副输入图像得到的副标志信息，从而容易检索期望的图 像文件。扩大检索模式下的检索动作与通常检索模式的检索动作类似。扩大检索模式下的 检索动作在后面说明，首先对副输入图像的取得方法及副标志信息的生成方法进行说明。
通过记号Is[l] Is[4]分别表示与主输入图像IM[1] Im[4]相对的副输入图 像。图像分析部14分别对副输入图像Is[l] Is[4]进行图像分析。记录控制部16将通 过对副输入图像Is[i]的图像分析得到的信息作为副标志信息而记录于图像文件FL[i]的 头部区域。在此，i为自然数。因此，由副输入图像Is[l]的图像分析得到的副标志信息被 记录于图像文件FL[1]的头部区域，由副输入图像Is[2]的图像分析得到的副标志信息被 记录于图像文件FL[2]的头部区域(对于副输入图像Is[3]及Is[4]也同样)。通过进行 这种记录，从而主输入图像IM[1]的图像数据和由主输入图像IM[1]及副输入图像Is[l]得 到的主标志信息及副标志信息在记录介质15内相互建立关联。摄像部11在规定的帧周期(例如，1/30秒)周期地进行输入图像(帧图像)的拍 摄，依次得到的输入图像被更新显示于显示部17(即、依次得到的输入图像的集合作为运 动图像显示于显示部17)。用户通过观看该显示内容来确认摄像部11的拍摄范围，并在期 望的时刻进行基于快门按钮18a的按下操作的静止图像的拍摄指示。在进行了该拍摄指示 之后，基于由摄像部11得到的图像数据生成主输入图像。主输入图像以外的各输入图像作 为拍摄范围确认用的图像起作用，将主输入图像以外的输入图像称为“预览图像”。副输入 图像是在主输入图像的拍摄之前所拍摄到的某一预览图像。且有，在主输入图像与预览图 像之间，图像的分辨率可能不同。以下，作为第一 第四具体例，按照每个副输入图像对副输入图像Is[l] Is[4] 的拍摄时刻等进行说明。第一具体例首先，参照图6对与Is[l]及IM[1]对应的第一具体例进行说明。在第一具体例中， 假设在副输入图像的拍摄时刻与主输入图像的拍摄时刻之间进行了摄像部11的视场角的 变更。按照对操作部18的规定的变焦倍率变更操作，摄影控制部13使变焦透镜30在光学 系统35内移动，从而能变更摄像部11的视场角(参照图2)。通过记号1[1]及TM[1]分别表示输入图像Is[l]及IM[1]的拍摄时刻。拍摄时刻 Ts[l]是比拍摄时刻TM[1]更前的时刻。所谓关注输入图像的拍摄时刻例如是指用于得到 关注输入图像的图像数据的摄像元件33的曝光期间的开始点。在先于主输入图像IM[1]的拍摄之前进行了摄像部11的视场角的变更的情况下， 在该变更之前基于由摄像部11得到的图像数据的输入图像(预览图像)被作为副输入图 像Is [1]对待。具体地说，能够如下进行处理。在进行了对摄像部11的视场角的变更进行指示的 变焦倍率变更操作时，将实际变更视场角之前的时刻作为拍摄时刻TS[1]对待并且将在拍 摄时刻TS[1]所拍摄到的输入图像作为副输入图像Is[l]对待，预先将表示对副输入图像 Is[l]的图像分析的结果的信息Qs[l]暂时记录于在记录控制部16等设置的存储器(未图 示)中。
其后，在视场角的变更结束后固定视场角之后，在规定期间Pth内进行了快门按钮 18a的按下操作的情况下，将该按下操作之后的时刻作为拍摄时刻TM[1]对待以进行主输入 图像IM[1]的拍摄。该拍摄后，记录控制部16将主输入图像IM[1]的图像数据及主标志信 息和基于上述信息Qs[l]的副标志信息记录于图像文件FL[1]中。且有，在视场角固定之后，经过了具有期间Pth以上长度的期间之后，在进行了快 门按钮18a的按下操作的情况下，由于预测输入图像IM[1]及Is[l]间的相关性低，故也可 以在图像文件FL[1]中不记录由副输入图像Is[l]得到的副标志信息(其中，也能进行该 记录)。副输入图像Is[l]是以较宽的视场角所拍摄到的图像，主输入图像IM[1]是以较窄 的视场角所拍摄到的图像。此时，副输入图像IS[1]中多包括在主输入图像IM[1]中不包括 的关注被摄物体(在本例中为人物)的周边被摄物体。若作为副标志信息而包括与该周边 被摄物体相关的信息，则能提高检索的便利性。
图5及图6中，为了放大拍摄作为关注被摄物体的人物而假设用户在时刻 TS[1]-TM[1]间进行减小视场角的操作。另外，假设在该人物的周围存在树。因此，虽然在 以较窄的视场角所拍摄到的主输入图像IM[1]的被摄物体中只包括人物，但是在以较宽的 视场角所拍摄到的副输入图像IS[1]的被摄物体中不只包括人物还包括树。因此，记录控 制部16基于信息唤[1]将“人物”和“树”写入到图像文件FL[1]内的副标志信息中。第二具体例接着，参照图7及图8对与Is[2]及Im[2]对应的第二具体例进行说明。在第二具 体例中，假设在主输入图像的拍摄之前进行自动聚焦控制(以下，称为AF控制)。且有，并 不限定于第二具体例，也能在主输入图像的拍摄之前进行AF控制。AF控制是按照对快门按钮18a的操作内容执行的。快门按钮18a能进行2阶段 的按下操作，若用户轻轻按下快门按钮18a则快门按钮18a处于半按状态，若从该状态进一 步按下快门按钮18a则快门按钮18a处于全按状态。以下，将使快门按钮18a处于半按状 态的按下操作称为“半按操作”，将使快门按钮18a处于全按状态的按下操作称为“全按操 作”。摄影控制部13接收进行了半按操作并开始AF控制，接收在AF控制结束后进行的全 按操作并使摄像部11取得主输入图像的图像数据。且有，在本说明书中，在单称为按下操 作的情况下，其指的是全按操作。在AF控制中，以对焦到摄像装置1的整个拍摄范围内的一部分的拍摄范围中存在 的被摄物体的方式调整聚焦透镜31的位置。该调整结束后，在固定了聚焦透镜31的位置 的时刻AF控制结束。作为AF控制的方法，能够利用包括公知的方法在内的任意方法。现在，为了说明的具体化，假设采用了 AF控制，其中所述AF控制利用了 TTL(Through The Lends)方式的对比度检测法。如图7所示，摄影控制部13或未图示的 AF评价值计算部在预览图像内设定AF评价区域，利用高通滤波器计算AF评价值，其中AF 评价值具有与AF评价区域内的对比度相应的值。摄像装置1的整个拍摄范围的拍摄图像 是预览图像本身(即、预览图像的整个图像区域内的图像)，上述一部分的拍摄范围的拍摄 图像是AF评价区域内的图像。AF评价区域被视为预览图像的整个图像区域的一部分。例 如，AF评价区域被视为位于预览图像中央附近的规定的一部分区域。也可以以包括位于预 览图像中央附近的面部区域的方式设定AF评价区域。
AF评价值随着AF评价区域内的对比度的增大而增大。边一规定量一规定量地偏移聚焦透镜31的位置边依次进行这种AF评价值的计算，并对得到的多个AF评价值内的最 大AF评价值进行特定。并且，通过将实际的聚焦透镜31的位置固定于与最大AF评价值对 应的聚焦透镜31的位置，从而AF控制结束。在AF控制结束时，摄像装置1进行包括该意 思的通知(声响的输出等)。用户大多考虑这种AF控制的特性来进行以下的相机操作。首先，在将想要对焦的 关注被摄物体配置在拍摄范围的中央附近的状态下，进行半按操作。由此，在对关注被摄物 体对焦的位置固定聚焦透镜31的状态下，AF控制结束。其后，以将关注被摄物体包括在拍 摄范围内并得到真正想要拍摄的取景的方式移动摄像装置1 (进行摇镜头、俯仰等)，在取 景确定之后进行全按操作。在进行了这种相机操作的情况下，在半按操作后且全按操作前得到的预览图像中 多包括在主输入图像中不包括的关注被摄物体的周边被摄物体。若作为副标志信息而包括 与该周边被摄物体相关的信息，则提高检索的便利性。考虑此，如下进行具体地处理。参照图8。通过记号Ts[2]及Tm[2]分别表示输入 图像Is[2]及Im[2]的拍摄时刻。拍摄时刻1[2]是比拍摄时刻Tm[2]更前的时刻。在半按 操作后，将AF控制的执行中的时刻或AF控制的结束之后的时刻作为拍摄时刻1[2]对待并 且在拍摄时刻Ts [2]所拍摄到的输入图像作为副输入图像Is [2]对待，预先将表示对副输入 图像Is[2]的图像分析结果的信息延[2]暂时记录于在记录控制部6等设置的存储器(未 图示)。其后，在进行了全按操作的情况下，将该全按操作之后的时刻作为拍摄时刻TM[2] 对待以进行主输入图像Im[2]的拍摄。在该拍摄后，记录控制部16将主输入图像Im[2]的 图像数据及主标志信息和基于上述信息Qs [2]的副标志信息记录于图像文件FL [2]。在图5及图8中，为了拍摄对人物对焦、且包括人物及车作为被摄物体的图像，来 作为主输入图像，而假设用户在时刻1[2]-1 [2]间使取景变化。另外，在时刻Ts[2]，假设 人物和树包括在拍摄范围内。因此，在副输入图像Is[l]的被摄物体中不只包括人物还包 括树(其中，不包括车)。因此，记录控制部16基于信息延[2]将“人物”和“树”写入图像 文件FL[2]内的副标志信息中。第三具体例接着，参照图9对与Is [3]及Im[3]对应的第三具体例进行说明。在第三具体例 中，假设在拍摄主输入图像时进行了闪光的照射。在第三具体例中，在进行了快门按钮18a的按下操作的情况下，该按下操作之后 的时刻作为主输入图像IM[3]的拍摄时刻对待以进行主输入图像IM[3]的拍摄。如上述，在 拍摄主输入图像Im[3]时(换言之，在用于得到主输入图像Im[3]的图像数据的摄像元件33 的曝光期间中)，利用发光部20将闪光照射到被摄物体。此时，将主输入图像Im[3]的ρ帧周期前得到的预览图像作为副输入图像Is [3]对 待。在此，P为整数，例如1或2。在拍摄副输入图像Is[3]时，闪光未照射到被照射物体。表示对依次得到的各预览图像的图像分析的结果的信息被暂时存储到设置在记 录控制部16等上的存储器(未图示)。记录控制部16通过在主输入图像IM[3]的拍摄之 后读取出基于副输入图像Is[3]的图像数据而已经导出的信息、即表示对副输入图像Is[3]的图像分析的结果的信息Qs[3]从而生成副标志信息。图像分析部14基于副输入图像Is[3]的图像数据来判断副输入图像是在暗处所拍摄到的图像或是在逆光下所拍摄到的图像，并将该检测结果包括在信息Qs[3]中。在只有关注被摄物体所处的副输入图像的中央附近暗、周围亮的情况下，能判断 出该副输入图像是在逆光下所拍摄到的图像。更具体地说，例如，在副输入图像Is[3]的中 央附近的规定图像区域内的平均亮度在规定的基准亮度Ythi以下且从副输入图像Is[3]的 整个图像区域中除去该规定图像区域后得到的图像区域内的平均亮度在规定的基准亮度 Yth2以上的情况下，判断出副输入图像是在逆光下所拍摄到的图像。此时，在由副输入图像 Is[3]得到的副标志信息中包括“逆光”这一用语信息。在此，基准亮度Yth2比Ythi大。且 有，也可以基于由面部检测处理提取出的面部区域的位置及大小来设定上述的规定图像区 域的位置及大小。在副输入图像整体暗的情况下，能判断出该副输入图像是在暗处所拍摄到的图 像。更具体地说，例如，在副输入图像Is[3]的整个图像区域中的平均亮度在规定的基准亮 度Yth3以下的情况下，能判断出副输入图像是在暗处所拍摄到的图像。此时，在由副输入图 像Is[3]得到的副标志信息中包括“暗处”这一用语信息。记录控制部16按照主输入图像IM[3]的图像数据及主标志信息和对副输入图像 Is[3]的图像分析结果将写入有“逆光”或“暗处”的副标志信息记录于图像文件FL[3]。在 图5的例子中，在图像文件FL[3]的副标志信息中包括“逆光”这一用语信息。另外，对于副 输入图像Is[3]也进行分类“暗处”和“逆光”的图像分析以外的图像分析(上述的面部检 测处理或物体检测处理等)，该图像分析的结果也包括在图像文件FL[3]的副标志信息中。 在本例子中，假设人物、大厦及车包括在副输入图像Is[3]的拍摄范围内。因此，“人物”、“大 厦”及“车”也被写入图像文件FL[3]的副标志信息中。第四具体例接着，参照图10对与Is[4]及Im[4]对应的第四具体例进行说明。如图10所示，第 四具体例将在主输入图像IM[4]的拍摄前的规定的一定期间内所拍摄到的一个或多个预览 图像分别作为副输入图像Is[4]对待。现在，假设η枚预览图像分别作为副输入图像Is[4] 对待的情况，并通过记号Isi [4] Isn[4]表示作为副输入图像的η枚预览图像。η为2以 上的整数。按照副输入图像IS1[4]、IS2[4]、IS3[4]、……,Isn[4]的顺序依次进行拍摄，在副 输入图像Isn[4]的拍摄结束后拍摄主输入图像Im[4]。图像分析部14对依次得到的各预览图像进行面部检测处理及面部识别处理，并 只暂时存储η枚以上份的面部识别处理的结果。因此，在有用于拍摄主输入图像Ιμ[4]的快 门按钮18a的按下操作的时刻，存储与副输入图像IS1[4] Isn[4]对应的面部检测处理及 面部识别处理的结果。记录控制部16由该存储内容生成与图像文件FL[4]对应的副标志 信息。在主输入图像Im[4]的拍摄之后，记录控制部16将主输入图像Im[4]的图像数据及 主标志信息、和由副输入图像IS1[4] Isn[4]得到的副标志信息记录于图像文件FL[4]。在对副输入图像ISj[4]的面部检测处理及面部识别处理的结果中，包括表示副 输入图像ISj[4]中是否包括人物的信息、和若包括人物的信息则表示该人物是否是某一个 登记人物的信息(j为自然数)。现在，假设在由面部识别处理应识别的登记人物中，包括作 为互不相同的人物的登记人物Ha、Hb、Hc及Hd。
在识别为副输入图像IS1[4] Isn[4]的其中一个中作为被摄物体而包括登记人物 队的情况下，在图像文件FL[4]的副标志信息中写入“人物Ha”。同样地，在识别为副输入 图像IS1[4] Isn[4]的其中一个中作为被摄物体而包括登记人物压的情况下，在图像文件 FL[4]的副标志信息中写入“人物HB”。对于登记人物而言HC、HD也同样。现在，假设在识别为副输入图像IS1[4]、IS2[4]及IS3[4]中作为被摄物体而包括登 记人物HA、HB、氏且在识别为副输入图像IS1[4] Isn[4]的其中一个中作为被摄物体而不包 括登记人物HD的情况。于是，如图5所示，在图像文件FL[4]的副标志信息中写入了“人物 HA”、“人物HB”、“人物Hc”，但是却未写入“人物Hd”。另外，单称为“人物”的用语信息也写入 到图像文件FL[4]的副标志信息中。且有，图5所示的副输入图像Is[4]表示副输入图像 IS1[4] Isn[4]的其中一个，并假设在图5的副输入图像Is[4]与主输入图像Im[4]的拍摄 之间进行了视场角的减小。另外，在图像文件FL[4]的副标志信息中写入一定人数以上的人物的情况下或者 在通过面部检测处理而判断出副输入图像IS1 [4] Isn[4]的其中一个中作为被摄物体而包 括规定人数以上的人物的情况下，也可以将“集合写真”写入到图像文件FL[4]的副标志信 息中。且有，在第一 第四具体例中所述的任意的图像文件中，也可以从副标志信息中 除去与主标志信息中所包括的用语信息重复的用语信息。例如，在图像文件FL[1]中，也可 以将写入于主标志信息中的“人物”不写入到副标志信息中。此时，在图像文件FL[1]的副 标志信息中只写入“树”。图像文件的作成流程接着，参照图11对实现上述的图像文件作成的摄像装置1的动作流程进行说明。 图11是表示该动作的流程的流程图。首先，在步骤S11中利用摄像部11取得预览图像，在步骤S12中对该预览图像进 行图像分析，在步骤S13中基于该图像分析的结果生成标志信息。该标志信息被暂时存储 于摄像装置1内。若在某一时刻取得的预览图像成为副输入图像，则对该预览图像生成的 标志信息成为应记录于图像文件中的副标志信息。在步骤S13后的步骤S14中检测有无快门按钮18a的按下操作，在进行了快门按 钮18a的按下操作的情况下，在步骤S 15中进行主输入图像的拍摄以取得主输入图像的图 像数据。另一方面，在未进行快门按钮18a的按下操作的情况下，返回到步骤S11并反复进 行步骤S11 S13的处理。在主输入图像的拍摄后，在步骤S16中基于主输入图像的图像数据进行主标志信 息的生成，进而在步骤S17中根据在步骤S13中生成的标志信息生成副标志信息。关于在 某一时刻所拍摄到的预览图像是否作为副输入图像起作用、在某一时刻所拍摄到的预览图 像的标志信息是否作为副标志信息起作用，遵从上述的各具体例。在生成副标志信息后，以 可将主标志信息和副标志信息写入到图像文件中的方式进行合成，并将他们与主输入图像 的图像数据一起记录于记录介质15内的图像文件中(步骤S18)。扩大检索模式下的检索动作接着，对扩大检索模式下的检索动作进行说明。如上述，扩大检索模式下的检索动 作与通常检索模式的检索动作类似。在通常检索模式下只从主标志信息中检索检索用语，而在扩大检索模式下从主标志信息及副标志信息的双方检索检索用语，或只从副标志信息 检索检索用语。对从主标志信息及副标志信息双方检索检索用语的情况下的动作进行说明。此 时，在作为检索用语而只指定“人物”、只指定“车”、只指定“大厦”、只指定“肖像”时作为检 索文件而选择出的图像文件，与通常检索模式相同。但是，在作为检索用语而指定出“树”的 情况下，在通常检索模式下作为检索文件而未选择出其中一个图像文件，但是在扩大检索 模式下作为检索文件而选择出图像文件FL[1]及FL[2]。
另外，在扩大检索模式下，与通常检索模式同样地，也能指定多个检索用语。若在 检索用语中单单只包括“人物”的情况下，作为检索文件而选择出图像文件FL[1] FL[4] 的全部，但是若作为检索条件而设定在主标志信息及副标志信息中包括第一检索用语“人 物”及第二检索用语“树”这一条件，则检索文件限定于图像文件FL[1]及FL[2]。这在要 检索作为被摄物体的用户进入森林时所拍摄到的图像的情况下等是有益的。另外，例如若 用户存储在逆光下拍摄人物的图像，则也可以在检索用语中包括“人物”和“逆光”。由此， 检索文件限定于图像文件FL[3]。在只依赖主标志信息的通常检索模式下，无法实现这种限定。在本例子中，为了说 明的简单，虽然只关注4个图像文件，但是由于实际上在记录介质15中记录有非常多的图 像文件，故通过利用副标志信息从而易于发现期望的图像文件。在主标志信息及副标志信息中应包括的用语类型并不限定于上述的类型，能够基 于图像分析的结果将各种类型的用语包括在主标志信息及副标志信息中。例如，在图像分 析中，若进行了推断人物的性别、人种及年龄层的处理，则既能将对主输入图像所推断出的 性别、人种及年龄层包括在主标志信息中，也能将对副输入图像所推断出的性别、人种及年 龄层包括在副标志信息中。通过与摄像装置不同的电子设备(例如，图像再生装置；未图示)能实现基于记录 介质15的记录数据的上述检索处理(摄像装置也是电子设备的一种)。此时，只要在上述 电子设备中设置显示部17及图像检索部21，将记录有多个图像文件的记录介质15的记录 数据提供给电子设备内的图像检索部21即可。由此，在电子设备内能够实现与上述的通常 检索模式及扩大检索模式同样的动作。且有，在上述说明内容中所示的具体的数值只是一个例示，当然也可以将他们变 更为各种数值。在一般的数码相机及数码摄像机中，多数将电源启动时的拍摄视场角设定在广角 端视场角或较宽角度侧。这也适用于摄像装置1。也可以在摄像装置1的电源启动时将摄 像部11的视场角设定在广角端视场角或较宽角度侧。并且，也可以将摄像装置1的电源启 动之后得到的输入图像(例如，作为预览图像而得到的输入图像)作为副输入图像对待，并 根据该副输入图像生成与其后得到的主输入图像相对的副标志信息。所谓广角端视场角是 指摄像部11的视场角的可变范围内最宽的角度侧的视场角(即、最大视场角)。另外，虽然以副输入图像是在主输入图像之前所拍摄到的输入图像为前提说明了 本发明的一个实施方式，但是副输入图像也可以是在主输入图像之后所拍摄到的输入图 像。能将在主输入图像的拍摄之后所拍摄到的其中一个预览图像(对于在该主输入图像之 后取得的主输入图像来说的预览图像)作为副输入图像对待，例如能单纯地将从主输入图像的拍摄时刻经过了规定时间后的时刻作为拍摄时刻的预览图像，作为副输入图像对待。
能够通过硬件或硬件与软件的组合构成图1的摄像图像1。特别是，图像分析部 14、记录控制部16及图像检索部21的功能能够只通过硬件来实现、能只通过软件来实现、 或能通过硬件与软件的组合来实现。也可以将这些功能的全部或一部分作为程序记述，并 通过在程序执行装置(例如，计算机)上执行该程序来实现该功能的全部或一部分。
权利要求
一种摄像装置，具备摄像部，其通过拍摄生成图像的图像数据；和记录控制部，其将由所述摄像部生成的主图像的图像数据与由所述主图像得到的主附加信息一同记录于记录介质中，其特征在于，所述记录控制部将副附加信息与所述主图像的图像数据及所述主附加信息建立关联后记录于所述记录介质中，其中所述副附加信息是由在与所述主图像不同的时刻所拍摄到的副图像得到的。
2.根据权利要求1所述的摄像装置，其特征在于，所述摄像装置还具备图像分析部，所述图像分析部基于对象图像的图像数据来检测所 述对象图像中所包括的特定类型的被摄物体，或者基于对象图像的图像数据来检测所述对 象图像的图像特征，所述记录控制部，将以所述主图像作为所述对象图像时的所述图像分析部的检测结果 包括在所述主附加图像中，并且将以所述副图像作为所述对象图像时的所述图像分析部的 检测结果包括在所述副附加图像中。
3.根据权利要求1所述的摄像装置，其特征在于，所述记录控制部，在所述主图像的拍摄之前进行了拍摄视场角的变更的情况下，将在 该变更前由所述摄像部所拍摄到的图像作为所述副图像加以利用。
4.根据权利要求1所述的摄像装置，其特征在于，还具备摄影控制部，所述摄影控制部在对该摄像装置进行了规定的第一操作时执行自 动聚焦控制，在执行所述自动聚焦控制后对该摄像装置进行了规定的第二操作时使所述摄 像部进行所述主图像的拍摄，所述记录控制部将在所述第一操作与所述第二操作间由所述摄像部所拍摄到的图像 作为所述副图像加以利用。
5.根据权利要求2所述的摄像装置，其特征在于，所述图像分析部检测或识别人物的面部作为所述特定类型的被摄物体。
6.根据权利要求1所述的摄像装置，其特征在于，所述记录控制部，在以闪光照射被摄物体的状态进行了所述主图像的拍摄的情况下， 将在照射该闪光之前由所述摄像部所拍摄到的图像作为所述副图像加以利用。
7.一种图像文件的数据结构，将通过拍摄得到的主图像的图像数据、由所述主图像得 到的主附加信息、和由在所述主图像之前所拍摄到的副图像得到的副附加信息相互建立关 联后存储。
全文摘要
本发明提供一种摄像装置及图像文件的数据结构。其中，摄像装置具备通过拍摄生成图像的图像数据的摄像部、和将由所述摄像部生成的主图像的图像数据与由所述主图像得到的主附加信息一同记录于记录介质中的记录控制部，其中，所述记录控制部将副附加信息与所述主图像的图像数据及所述主附加信息建立关联后存储于所述记录介质中，其中所述副附加信息是由在与所述主图像不同的时刻所拍摄到的副图像得到的。
文档编号H04N5/225GK101867706SQ20101014331
公开日2010年10月20日 申请日期2010年3月19日 优先权日2009年4月20日
发明者山田晶彦 申请人:三洋电机株式会社