显示控制装置和方法、计算机程序以及记录介质的制作方法

专利名称：显示控制装置和方法、计算机程序以及记录介质的制作方法
技术领域：
本发明涉及一种显示控制装置、显示控制方法、计算机程序、以及记录介质，具体地，涉及用于显示期望图像的显示控制装置、显示控制方法、计算机程序、以及记录介质。
背景技术：
日本未审查专利申请公开第2005-269605号披露用于检索并查看相似图像的技术。

发明内容
如果简单地检索并显示相似图像，那么用户只能以相似性的顺序查看图像。图像将以不符合人类记忆中支配因素的时间流的方式显示。结果，用户无法以可行方式来检索期望图像。
如果同时显示多个经过分组的窗口，则一般具有小显示屏的数码照相机无法同时显示所有窗口。
相似图像基于使用统计技术计算的相似性结果来检索。人类认为是相似图像的图像在统计学上并不总是相似的。难以使用相似图像检索技术针对相同的数据来检索以不同角度、不同照度拍摄的相同对象的图像。
因此，希望通过简单操作来快速显示期望的图像。
根据本发明的一个实施例，显示控制装置包括计算单元，用于计算多个第二图像中的每一个与所选第一图像的相似程度；显示控制单元，用于控制以相似性顺序显示第二图像；以及选择单元，用于响应于来自用户的指令，从以相似性顺序显示的多个第二图像中选择一个第二图像。响应于该一个第二图像的选择，显示控制单元控制第二图像和与所选第二图像属于相同组的第三图像的显示，使得第三图像和第二图像根据预定顺序在该组内显示。
显示控制单元可响应于第二图像的选择，控制第二图像和第三图像的显示，使得第二图像和第三图像以图像拍摄时间的顺序显示。
计算单元可基于表示第一图像和第二图像中每一个的颜色数目减小至的预定数目的颜色中的每一个的出现频率的直方图，计算多个第二图像中的每一个与所选第一图像的相似程度。
计算单元可计算多个第二图像中的每一个与所选第一图像的相似程度，该相似程度为将直方图中每种颜色的出现频率作为其元素的矢量的距离。
计算单元可基于直方图计算多个第二图像中的每一个与所选第一图像的相似程度，直方图表示在第一图像和第二图像中每一个被分割成的预定数目的块中的每一个的最大频率分量的出现频率。
计算单元可计算多个第二图像中的每一个与所选第一图像的相似程度，该相似程度为将直方图中图像的每个频率分量的出现频率作为其元素的矢量的距离。
计算单元可基于存储在数据库中的特征量来计算多个第二图像中的每一个与所选第一图像的相似程度，特征量为第一图像和第二图像中的每一个的特征量。
显示控制单元可以以来自用户的指令在以与第一图像的相似性的顺序显示第二图像和以预定顺序显示第二图像和属于该组的第三图像之间进行切换的方式来控制第二图像和第三图像的显示。
根据本发明的一个实施例，显示控制方法包括以下步骤计算多个第二图像中的每一个与所选第一图像的相似程度；控制以相似性顺序显示第二图像；以及响应于来自用户的指令从以相似性顺序显示的多个第二图像中选择一个第二图像，响应于该一个第二图像的选择，控制第二图像和与所选第二图像属于相同组的第三图像的显示，使得第三图像和第二图像根据预定顺序在组内显示。
根据本发明的一个实施例，计算机程序用于使计算机执行以下步骤计算多个第二图像中的每一个与所选第一图像的相似程度；控制以相似性顺序显示第二图像；以及响应于来自用户的指令从以相似性顺序显示的多个第二图像中选择一个第二图像，响应于该一个第二图像的选择，控制第二图像和与所选第二图像属于相同组的第三图像的显示，使得第三图像和第二图像根据预定顺序在组内显示。
根据本发明的一个实施例，记录介质存储有该计算机程序。
根据本发明的一个实施例，计算多个第二图像中的每一个与所选第一图像的相似程度，控制第二图像以相似性顺序显示，以及响应于来自用户的指令从以相似性顺序显示的多个第二图像中选择一个第二图像。响应于该一个第二图像的选择，控制第二图像和与所选第二图像属于相同组的第三图像的显示，使得第三图像和第二图像根据预定顺序在组内显示。
这样，图像可以相似性顺序显示。
因此，能以少量操作快速地显示期望图像。


图1是根据本发明一个实施例的信息处理系统的框图；图2是数码照相机的框图；图3是服务器的框图；图4示出了执行程序的微处理器单元(MPU)的功能；图5示出了执行程序的中央处理单元(CPU)的功能；图6是图像分析器的框图；图7是图像拍摄处理的流程图；图8示出了原图像和缩小图像之间的关系；图9是示出备份处理的流程图；图10是示出图像分析处理的流程图；
图11示出了颜色直方图的生成；图12示出了垂直分量直方图和水平分量直方图的生成；图13A和图13B示出了垂直分量直方图和水平分量直方图的生成；图14示出了图像备份和元数据重写；图15示出了元数据的具体实例；图16示出了存储在内容数据库上的元数据的结构；图17示出了存储在内容数据库上的元数据或者存储在相似特征数据库上的元数据的结构；图18示出了相似特征项的结构；图19是示出图像获取处理的流程图；图20示出了图像的获取以及元数据的重写；图21是示出检索处理的流程图；图22示出了数码照相机和服务器共用的元数据与图像之间的联系；图23是示出检索处理的流程图；图24示出了缩小图像的显示；图25示出了缩小图像的显示；
图26是示出检索相似图像的检索处理的流程图；图27示出了元数据和距离的结构；图28示出了内容数据库、相似特征数据库、和时间组数据库的联系以及各个记录内容；图29示出了相似性顺序的显示；图30示出了相似性顺序的显示和时间序列的显示之间的切换；图31是示出检索处理的流程图；图32示出了相似性顺序的显示和时间序列的显示之间的切换；图33是示出颜色特征提取器的框图；图34示出了相关度提取器对应存储器上记录的对应信息；图35示出了在提取特征存储器上记录的相关度的逻辑结构；图36是详细示出颜色特征提取处理的流程图；图37是详细示出相关度提取处理的流程图；图38示出了RGB颜色空间；图39示出了L*a*b*空间；图40示出了白色子空间和黑色子空间；图41示出了色饱和度边界和亮度边界；
图42示出了绿色、蓝色、红色、以及黄色的子空间；图43是详细示出另一相关度提取处理的流程图；图44是详细示出又一相关度提取处理的流程图；图45示出了确定数据；图46是详细示出又一相关度提取处理的流程图；图47是示出检索处理的流程图；图48示出了检索处理中的GUI图像；以及图49A～图49D示出了检索处理中的图像命中。
具体实施例方式
在描述本发明的实施例之前，以下论述了权利要求的元件与在说明书或附图中公开的特定元件之间的对应关系。该描述内容的目的是确保在说明书或附图中描述了支持要求保护的发明的实施例。因此，即使以下实施例中的元件没有被描述为与本发明的特定特征相关，这并不意味该元件与权利要求的特征不相关。相反，即使元件在文中被描述为与权利要求的特定特征相关，这也并不必然意味着该元件不与权利要求的其他特征相关。
根据本发明的一个实施例，显示控制装置包括计算单元(例如，图4的距离计算器121)，用于计算多个第二图像中的每一个与所选第一图像的相似程度；显示控制单元(例如，图4的显示控制器106)，用于控制以相似性顺序显示第二图像；以及选择单元(例如，图4的检索单元107)，用于响应于来自用户的指令，从以相似性顺序显示的多个第二图像中选择一个第二图像。响应于该一个第二图像的选择，显示控制单元控制第二图像和与所选第二图像属于相同组的第三图像的显示，使得第三图像和第二图像根据预定顺序在组内显示。
根据本发明的一个实施例，显示控制方法和计算机程序中的一个包括以下步骤计算多个第二图像中的每一个与所选第一图像的相似程度(例如，图26的步骤S135)；控制以相似度顺序显示第二图像(例如，图23的步骤S104)；以及响应于来自用户的指令，从以相似度顺序显示的多个第二图像中选择一个第二图像，响应于该一个第二图像的选择(例如，图23的步骤S105)，控制第二图像和与所选第二图像属于相同组的第三图像的显示，使得第三图像和第二图像根据预定顺序在组内显示(例如，图23的步骤S110)。
图1示出了根据本发明的一个实施例的图像处理系统。作为成像设备实例的数码照相机11拍摄图像，并将所拍摄的图像提供给作为图像处理装置实例的服务器13。作为成像设备另一个实例的手机12拍摄图像，随后将所拍摄的图像提供给服务器13。数码照相机11和手机12中的每一个都由所拍摄的图像生成缩小图像。
数码照相机11、手机12、以及服务器13中的每一个也是显示控制器的一个实例。
服务器13包括个人计算机、非便携式记录器、游戏机、以及专用设备，并记录从数码照相机11和手机12中的一个提供的图像。服务器13处理从数码照相机11和手机12中的一个提供的图像，并提取图像的特征。服务器13将作为处理结果而得到的数据提供给数码照相机11和手机12中的一个。
服务器13从网络服务器15-1和网络服务器15-2中的一个获取图像，并将所获取的图像记录在其上。服务器13处理从网络服务器15-1和网络服务器15-2中的一个获取的图像，并根据所获取的图像生成缩小图像。服务器13将作为处理结果得到的数据与缩小图像一起提供给数码照相机11和手机12中的一个。
数码照相机11和手机12中的一个基于作为图像处理结果得到并通过服务器13提供的数据，从所记录的图像中检索期望的图像。服务器13也基于作为图像处理结果得到的数据来检索所记录图像中的期望图像。
由于数码照相机11、手机12、以及服务器13中的每一个都基于作为图像处理结果得到的相同数据来检索图像，所以期望的图像可以相同的方式检索。
图2是示出数码照相机11的结构的框图。数码照相机11包括成像透镜31、光圈32、成像器件33、模拟信号处理器34、模数(A/D)转换器35、数字信号处理器36、微处理器(MPU)37、存储器38、数模(D/A)转换器39、监视器40、压缩/解压缩器41、卡接口42、存储卡43、AF电机和变焦电机44、控制电路45、电可擦可编程只读存储器(EEPROM)46、通信单元47、通信单元48、以及输入单元49。
成像透镜组31通过光圈32将对象的光学图像聚焦在成像器件33的光聚焦表面上。成像透镜31包括至少一个透镜。成像透镜31可以为单一焦距透镜或者诸如变焦透镜的可变焦距型透镜。
光圈32调节在成像器件33的聚焦表面上聚焦的光学图像的光量。
成像器件33可以包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器中的一个，并将在其聚焦表面上聚焦的光学图像转换为电信号。成像器件33将作为转换结果获得的电信号提供给模拟信号处理器34。
模拟信号处理器34包括采样保持电路、色分离电路、增益控制电路等。模拟信号处理器34对来自成像器件33的电信号执行相关双采样(CDS)处理，同时将电信号分离成R(红色)、G(绿色)、以及B(蓝色)的颜色信号，并(在白平衡处理中)调节每个颜色信号的信号电平。模拟信号处理器34将颜色信号提供给A/D转换器35。
A/D转换器35将各个颜色信号转换成数字信号，然后将数字信号提供给数字信号处理器36。
数字信号处理器36包括亮度及色差信号发生器、清晰度校正器、对比度校正器等。数字信号处理器36在MPU 37的控制下将数字信号转换成亮度信号(Y信号)和色差信号(Cr和Cb信号)。数字信号处理器36将经过处理的数字信号提供给存储器38。
MPU 37为嵌入式处理器，通常通过执行其程序来控制数码照相机11。
存储器38包括动态随机存取存储器(DRAM)。存储器38在MPU 37的控制下临时存储从数字信号处理器36提供的数字信号。D/A转换器39从存储器38读取数字信号，将读出的信号转换成模拟信号，并将模拟信号提供给监视器40。诸如液晶显示器(LCD)或场致发光(EL)显示器的监视器40响应于从D/A转换器39提供的模拟信号来显示图像。
从成像器件33提供的电信号定期更新存储器38中的数字信号，并且根据更新的数字信号生成的模拟信号提供给监视器40。结果，在成像器件33上聚焦的图像能够实时地在监视器40上显示。
监视器40在其屏幕上显示图形用户界面(GUI)图像。为了这个目的，MPU 37在存储器38中写入用以显示GUI图像的视频数据，使D/A转换器39将视频数据转换成模拟信号，然后使监视器40显示基于该模拟信号的GUI图像。
压缩/解压缩器41在MPU 37的控制下根据联合图像专家组(JPEG)或JPEG 2000标准来对存储在存储器38上的数字信号进行编码。压缩/解压缩器41通过卡接口42将经过编码的视频数据提供给存储卡43。包括半导体存储器或硬盘驱动器(HDD)的存储卡43可移动地装载于数码照相机11中。当被装载于数码照相机11中时，存储卡43被电连接至卡接口42。存储卡43存储从卡接口42提供的视频数据。
响应于来自MPU 37的命令，卡接口42控制视频数据向与其电连接的存储卡43的记录以及视频数据从存储卡43的读取。
记录在存储卡43上的视频数据经由卡接口42读取，并通过压缩/解压缩器41解码成数字信号。
通过控制电路45驱动的AF电机和变焦电机44相对于成像器件33移动成像透镜31，从而改变成像透镜31的焦点和焦距。响应于来自MPU 37的命令，控制电路45驱动AF电机和变焦电机44，同时也控制光圈32和成像器件33。
EEPROM 46存储由MPU 37执行的程序以及各种数据。
通信单元47满足诸如通用串行总线(USB)或电气电子工程师协会(IEEE)1394的标准，并通过有线传输介质与服务器13交换各种数据。
通信单元48满足诸如IEEE 802.11a、IEEE 802.11b、或IEEE802.11g的标准或蓝牙，并通过无线传输介质与服务器13交换各种数据。
输入单元49包括开关、按钮、以及触摸屏，并将响应于用户操作输入的信号提供给MPU 37。
如上所述，存储卡43记录视频数据。其上记录有视频数据的介质不限于半导体存储器或磁盘。介质可以为任何光盘、磁光盘。此外，可以使用的介质可以为允许以电方式、磁方式、光学方式、量子方式、或上述方式的组合写入和读取数据的介质。可以将这些介质中的一种安装在数码照相机11中。
可将视频数据简称为图像。
图3是示出服务器13的结构的框图。CPU 71在存储于只读存储器(ROM)72或存储单元78中的程序的控制下执行各种处理。随机存取存储器(RAM)73存储将被CPU 71执行的程序和数据。CPU 71、ROM 72、以及RAM 73通过总线74互相连接。
CPU 71通过总线74连接至输入-输出接口75。此外，由键盘、鼠标、麦克风等组成的输入单元76以及由显示器和扬声器组成的输出单元77也连接至输入输出接口75。响应于从输入单元76输入的命令，CPU 71执行各种处理。CPU 71将处理结果输出给输出单元77。
连接至输入-输出接口75的存储单元78包括例如硬盘，存储将被CPU 71执行的程序和数据。通信单元79满足诸如USB或IEEE1394的标准，并通过有线传输介质与数码照相机11和手机12中的一个交换各种数据，或者，满足IEEE 802.11a、IEEE 802.11b、或IEEE 802.11g的标准或蓝牙，通过无线传输介质与数码照相机11和手机12中的一个交换各种数据。通信单元80通过诸如互联网或局域网的网络14与网络服务器15-1和网络服务器15-2中的一个进行通信。
可以通过通信单元80获取程序，然后存储在存储单元78中。
当被加载有诸如磁盘、光盘、磁光盘、或半导体存储器的可移动介质82时，连接至输入-输出接口75的驱动器81驱动所加载的介质，以读取记录于其上的程序和数据。根据存储需要，将所读取的程序和数据传输至存储单元78。
图4示出了执行程序的RAM 73的功能。通过执行程序，MPU37实现了成像控制器101、缩小图像生成器102、元数据生成器103、条目生成器104、记录控制器105、显示控制器106、检索单元107、传输控制器108、接收控制器109、图像存储器110、内容数据库111、相似特征数据库112、相似结果数据库113、时间组数据库114、以及检索结果存储器115。
通过由数字信号处理器36控制成像透镜31以及由控制电路45控制存储器38，成像控制器101控制数码照相机11的图像拍摄操作。成像控制器101在起图像存储器110作用的存储卡43的记录区上记录所拍摄的图像。
缩小图像生成器102从存储器38读取所拍摄图像的数字信号，并缩小拍摄的图像，从而生成缩小图像。随后通过卡接口42将生成的缩小图像提供给存储卡43，随后，将其记录在作为图像存储器110的存储卡43的记录区上。
在成像控制器101的控制下拍摄像素数为3000000像素～4000000像素的高清晰图像。缩小图像生成器102根据所拍摄的图像生成适于通过数码照相机11观察的VGA(视频图形阵列)水平的像素数为640×480像素的缩小图像尺寸或等同的图像尺寸。
缩小图像生成器102可从图像存储器110读取图像，并可以缩小所读取的图像从而生成缩小图像。
为了区分缩小图像和拍摄的图像，将拍摄的图像称为原图像。如果不需要区分这两个图像，则将这两个图像都简称为图像。
如将在后面所描述的，原图像和缩小图像通过记录在内容数据库111上的数据而彼此对应。
元数据生成器103生成原图像的元数据。例如，元数据生成器103生成将以通过由日本电子工业发展协会(JEIDA)标准化的可交换图像文件格式(EXIF)指定的格式存储的元数据。
当拍摄原图像时，条目生成器104被构成为数据管理系统，并生成原图像和缩小图像的条目。所生成的条目存储在内容数据库111中。
记录控制器105控制原图像和缩小图像在图像存储器110上的记录。
显示控制器106控制缩小图像和GUI图像在监视器40上的显示。
检索单元107基于记录在内容数据库111、相似特征数据库112、相似结果数据库113、以及时间组数据库114中的数据，从记录在图像存储器110中的缩小图像和原图像中检索期望的缩小图像或期望的原图像。检索单元107使相应于检索结果的数据存储在检索结果存储器115中。
检索单元107包括距离计算器121。距离计算器121根据表示存储在相似特征数据112上的图像的特征的数据，计算表示两个图像之间相似程度的距离。距离计算器121使相似结果数据库113存储计算出的距离。
传输控制器108控制通信单元47，从而通过通信单元47控制原图像或缩小图像向服务器13的传输。通过控制通信单元47，接收控制器109控制从服务器13传输的图像的特征经由通信单元47的接收。图像的特征利用在服务器13中的各种图像处理获得。
设置于存储卡43的记录空间中的图像存储器110存储原图像和缩小图像。
内容数据库111、相似特征数据库112、相似结果数据库113、以及时间组数据库114由存储卡43中的预定记录空间及其数据库管理系统构成。
内容数据库111存储用于识别各个图像的数据和与该数据相关的图像的各种元数据。相似特征数据库112存储表示作为服务器13中图像处理的结果而获得的图像特征的数据。
相似结果数据库113存储通过检索单元107中的距离计算器121计算的表示两个图像之间的相似程度的距离。
当用户将图像分成组时，时间组数据库114存储用于识别属于每个组的图像的信息。
检索结果存储器115存储作为检索结果的数据。例如，检索结果存储器115存储具有相应于某一权重的颜色的图像的检索结果。已经根据通过特定的颜色名想起各个图像的相关度、以及根据通过用户操作输入的颜色名所表示的颜色的权重来执行检索操作。
相关度将在后面详细描述。
图5示出了执行其程序的CPU 71的功能。通过执行程序，CPU71实现了图像分析器131、缩小图像生成器132、元数据生成器133、条目生成器134、记录控制器135、显示控制器136、检索单元137、传输控制器138-1和138-2、接收控制器139-1和139-2、图像存储器140、内容数据库141、相似特征数据库142、相似结果数据库143、时间组数据库144、相关度提取器对应存储器145、提取特征存储器146、以及检索结果存储器147。
图像分析器131提取各个图像的特征。更具体来说，图像分析器131对各个图像执行图像处理，从而分析图像。图像分析器131将作为图像处理结果获得的图像特征提供给相似特征数据库142和传输控制器138-1中的一个。
图6是示出图像分析器131的结构的框图。图像分析器131包括面部图像检测器161和相似特征量提取器162。
面部图像检测器161提取作为与包含在图像中的面部图像相关的信息的图像的特征。例如，面部图像检测器161提取包含在图像中的面部图像的数目、图像中面部图像的位置、面部图像的尺寸、以及图像中面部图像面向的方向。
相似特征量提取器162提取图像的特征量，从而确定图像的相似程度。相似特征量提取器162包括相似特征矢量计算器171和颜色特征提取器172。相似特征矢量计算器171提取两个图像的特征，这两个图像之间的相似程度根据该特征来计算。颜色特征提取器172根据图像中每个像素的颜色，提取通过预定的颜色名想起图像的相关度。换句话说，颜色特征提取器172提取表示以具有预定颜色名的颜色进行分类的像素的数目的特征。
返回到图5，缩小图像生成器132在接收控制器139-2的控制下，缩小通过网络14从网络服务器15-1和网络服务器15-2中的一个获取的原图像。随后，将缩小图像记录在图像存储器140上。
缩小图像生成器132可从图像存储器140中读取图像，并缩小读出的图像，从而生成缩小图像。
元数据生成器133生成原图像的元数据。例如，元数据生成器133生成将被存储为符合由JEIDA标准化的EXIF格式的数据的元数据。
在接收控制器139-1的控制下，被构成为数据库管理系统的条目生成器134生成从数码照相机11获取的原图像的条目。条目生成器134在接收控制器139-2的控制下通过网络14从网络服务器15-1和网络服务器15-2中的一个获取原图像。如果根据原图像获得缩小图像，则条目生成器134生成原图像和缩小图像的条目。生成的条目被存储在内容数据库141上。
记录控制器135控制原图像和缩小图像在图像存储器140中的记录。
显示控制器136控制原图像和GUI图像在作为显示器的输出单元77上的显示。
根据存储在内容数据库141、相似特征数据库142、以及时间组数据库144中的一个中的数据，检索单元137检索存储在图像存储器140上的原图像和缩小图像，得到期望的原图像或期望的缩小图像。根据存储在提取特征存储器146中的数据，检索单元137检索存储在图像存储器140上的原图像和缩小图像，得到期望的原图像或期望的缩小图像。检索出单元137将检索结果数据存储在检索结果存储器147上。
检索单元137包括距离计算器151。距离计算器151根据表示存储在相似特征数据库142上的图像的特征的数据，计算表示两个图像之间相似程度的距离。距离计算器151使相似结果数据库143记录计算出的距离。
通过控制通信单元79，传输控制器138-1使通信单元79将作为图像分析器131中的图像处理结果而获得的图像特征传输给数码照相机11。通过控制通信单元79，接收控制器139-1使通信单元79接收从数码照相机11传输的原图像和缩小图像。
传输控制器138-2控制通信单元80。传输控制器138-2使通信单元80通过网络14将图像请求传输至网络服务器15-1和网络服务器15-2中的一个。通过控制通信单元80，接收控制器139-2使通信单元80接收从网络服务器15-1和网络服务器15-2中的一个传输的原图像和缩小图像。
设置于由硬盘构成的存储单元78的记录空间中的图像存储器140记录原图像和缩小图像。图像存储器140可设置在加载到驱动器81上的可移动介质82(例如磁盘、光盘、磁光盘、或半导体存储器)的记录空间中。
内容数据库141、相似特征数据库142、相似结果数据库143、以及时间组数据库144由存储单元78中的预定记录空间及其数据库管理系统构成。
内容数据库141存储用于识别各个图像的数据和与识别数据相关的各种元数据。相似特征数据库142存储作为图像分析器131中的图像处理结果而获得的图像特征的数据。
相似结果数据库113存储通过检索单元137中距离计算器151计算的表示两个图像之间相似程度的距离。
当用户将图像分成组时，时间组数据库144存储用于识别属于每个组的图像的信息。
相关度提取器对应存储器145存储表示颜色特征提取器172中的颜色名和以颜色为单位提取相关度的相关度提取器(将参照图33详细描述)之间对应关系的对应信息。
提取特征存储器146存储通过预定的颜色名想起图像的相关度。相关度通过颜色特征提取器172提取。
检索结果存储器147存储具有相应于某一权重的颜色的图像的检索结果。已经根据通过特定的颜色名想起每个图像的相关度，以及根据通过由用户操作输入的颜色名所表示的颜色的权重执行了检索操作。例如，检索结果存储器147存储在相关度和检索条件(由颜色名代表的颜色的权重)下检索得到的对应于某一权重的颜色的的图像的检索结果。
从图像中提取特征，随后将提取的特征记录在服务器13和数码照相机11中。下面描述该处理。
下面，参照图7的流程图来描述数码照相机11的图像拍摄处理。
在步骤S11中，成像控制器101通过数字信号处理器36、存储器38、AF电机和变焦电机44、以及控制电路45来控制成像透镜31，从而拍摄对象的图像。在步骤S12中，成像控制器101使压缩/解压缩器41根据JPEG或JPEG 2000标准对存储在存储器38上的数字信号进行编码，从而生成作为视频数据的原图像。成像控制器101将原图像记录在图像存储器110上。
元数据生成器103生成原图像的元数据。例如，元数据生成器103生成嵌入通过JEIDA标准化的EXIF数据中的元数据。例如，元数据可包括原图像的图像拍摄时间或成像条件。
在步骤S13中，缩小图像生成器102从存储器38中读取所拍摄图像的数字信号，并缩小所拍摄的图像，从而生成缩小图像。缩小图像生成器102使图像存储器110记录缩小图像。
在步骤S14中，条目生成器104生成原图像和缩小图像的条目。条目生成器104将所生成的条目与通过元数据生成器103生成的元数据相关联，然后，将条目添加(存储)在内容数据库111中，从而结束其处理。
由于将诸如图像拍摄时间和成像条件的元数据存储在内容数据库111中，所以可根据图像拍摄时间和成像条件来检索原图像和缩小图像。
手机12执行与图7所示的流程图相同的图像拍摄处理。
当如图8所示，数码照相机11和手机12中的一个拍摄图像时，在内容数据库111上存储与原图像201相关的元数据，并由原图像201生成缩小图像202。与原图像201相关并被存储在内容数据库111中的元数据也与缩小图像202相关联。
下面，参照图9的流程图描述服务器13的备份处理。在该备份处理中，由数码照相机11拍摄的图像通过服务器13备份。当将一端连接至数码照相机11的通用串连总线(USB)连接至服务器13时，响应于程序的启动开始服务器13的备份处理。
在步骤S31中，服务器13中的传输控制器138-1和传输控制器138-2通过通信单元79连接至数码照相机11。
在步骤S32中，服务器13中的传输控制器138-1和传输控制器138-2使通信单元79从数码照相机11获取原图像201和缩小图像202。例如，在步骤S32中，传输控制器138-1使通信单元79向数码照相机11发送传输原图像201和缩小图像202的传输请求。数码照相机11传输了原图像201和缩小图像202后，接收控制器139-1使通信单元79从数码照相机11接收原图像201和缩小图像202。接收控制器139-1将所接收的原图像201和缩小图像202提供给图像存储器140。
在步骤S33中，图像存储器140记录从数码照相机11获取的原图像201和缩小图像202。
在步骤S34中，图像分析器131分析记录在图像存储器140上的图像。
图像分析器131可以分析原图像201或缩小图像202。
参照图10的流程图更加详细地描述步骤S34中的分析处理。
在步骤S41中，图像分析器131中的面部图像检测器161从图像中检测面部图像。具体而言，在步骤S41中，面部图像检测器161提取作为与包含在图像中的面部图像相关的信息的图像特征。在步骤S41中，面部图像检测器161提取包含在图像中的面部图像的数目、图像中每个面部图像的位置、面部图像的尺寸、以及面部图像面向的方向。
具体而言，面部图像检测器161识别具有表示落入相应于人类皮肤的预定颜色范围内的颜色的像素值的像素。然后，面部图像检测器161将通过颜色识别的像素中预定数目的连续像素所组成的区域视为面部图像。
面部图像检测器161计算所检测的面部图像数。当将图像的总高度和总宽度中的每一个均设置为1时，面部图像检测器161检测面部图像的垂直位置和水平位置，作为面部图像相对于整个图像的位置。
当将图像的总高度和总宽度中的每一个均设置为1时，面部图像检测器161检测面部图像相对于整个图像的高度和宽度，作为图像中面部图像的尺寸。
面部图像检测器161确定所选择的面部图像在每个面部假定方向上是否与多个预定义图案中的一个相匹配。通过将与面部图像的图案相匹配的方向确定为面部方向，来检测面部方向。在这种情况下，面部图像检测器161检测面部的侧倾角(roll angle)、俯仰角(pitch angle)、及偏转角(yaw angle)，作为所选面部图像的面部方向。
在步骤S42中，图像分析器131中的相似特征量提取器162中的相似特征矢量计算器171计算作为在图像相似程度确定中的特征量的相似特征矢量。具体而言，在步骤S42中，相似特征矢量计算器171提取两个图像的特征，这两个图像的相似程度就通过所述特征来计算。
例如，相似特征矢量计算器171计算作为颜色直方图的相似特征矢量。
具体来说，如图11所示，相似特征矢量计算器171将24位RGB原图像201的167772161色减小至32色，从而生成具有32色的减色图像221。换句话说，生成5位RGB减色图像221。相似特征矢量计算器171从原图像201的像素的像素值中提取预定的较高位，从而生成减色图像221。
相似特征矢量计算器171将由RGB表示的减色图像221的每个像素颜色转化成以L*a*b*表示的像素颜色。相似特征矢量计算器171识别表示减色图像221的像素颜色的L*a*b*空间中的位置。换句话说，识别通过减色图像221的每个像素所表示的32色中的任何颜色(L*a*b*空间中的位置)。
相似特征矢量计算器171进一步确定减色图像221中的32色的每种颜色的像素数，即，每种颜色出现的频率，从而生成颜色直方图。颜色直方图的标度代表颜色，以及颜色直方图的频率代表颜色像素的数目。
例如，相似特征矢量计算器171计算作为垂直分量直方图和水平分量直方图的相似特征矢量。
如图12所示，相似特征矢量计算器171将原图像201分成多个块241，每个块241包括16像素×16像素。在垂直方向和水平方向上对块241执行离散傅立叶变换(DFT)处理。
具体而言，相似特征矢量计算器171对设置于每个块241的垂直列中的16个像素执行DFT处理，从而提取垂直列的16个像素中图像的频率分量。由于块241包括16个垂直列，每个垂直列包括16个像素，因此，相似特征矢量计算器171通过在垂直方向上对块241执行DFT来提取16个图像的频率分量。
相似特征矢量计算器171以频率为单位将作为在垂直方向上对块241执行DFT处理的结果的图像的频率分量相加。相似特征矢量计算器171从相加得到的值中除DC分量之外的八个最低频率分量中选择最大分量。如果该最大值小于预定阈值，则废除块241的处理结果。
相似特征矢量计算器171将图像中每8个频率在每个块241中确定的各个最大值相加。如图13A和图13B所示，相似特征矢量计算器171生成表示每8个频率的最大值的出现频率的垂直分量直方图。垂直分量直方图的标度代表图像的频率，垂直分量直方图的出现频率代表提供最大频率分量的数目。
类似地，相似特征矢量计算器171对设置于块241的一行中的16个像素执行DFT处理，并提取一行中16个像素的图像的频率分量。由于每个块241包括16行，每行包括16个像素，所以相似特征矢量计算器171通过在水平方向上对块241执行DFT处理来提取16个图像的频率分量。
相似特征矢量计算器171将作为在水平方向上对块241执行DFT处理的结果而获得的图像的频率分量相加。相似特征矢量计算器171以频率为单位将作为在水平方向上对块241执行DFT处理的结果的图像的频率分量相加。相似特征矢量计算器171从相加得到的值中除DC分量之外的八个最低频率分量中选择最大分量。如果该最大值小于预定阈值，则废除块241的处理结果。
相似特征矢量计算器171将图像中每8个频率在每个块241中确定的各个最大值相加。如图13A和图13B所示，相似特征矢量计算器171生成表示每8个频率的最大值出现的频率的水平分量直方图。水平分量直方图的标度代表图像的频率，水平分量直方图中的出现频率代表提供最大频率分量的数目。
通过这种方式，相似特征矢量计算器171生成图像的垂直分量直方图和水平分量直方图。
在步骤S42中，相似特征矢量计算器171提取颜色直方图、垂直分量直方图、以及水平分量直方图作为两个图像的特征，根据该特征计算两个图像的相似程度。
返回图10，在步骤S43中，图像分析器131中的相似特征量提取器162内的颜色特征提取器172对图像执行颜色特征提取处理，从而结束处理。通过颜色特征提取处理，基于图像像素的颜色从图像中提取响应于预定颜色名想起图像的相关度。稍后将参照图36的流程图描述颜色特征提取处理。
在步骤S34中，图像分析器131分析记录在图像存储器140上的图像，并提取图像的特征。
在步骤S35中，元数据生成器133生成包含步骤S34中提取的图像特征的元数据。在步骤S36中，条目生成器134生成原图像201和缩小图像202的条目。条目生成器134将所生成的条目与在步骤S35中生成的元数据相关联，并将条目添加(存储)到内容数据库141和相似特征数据库142中。内容数据库141和相似特征数据库142记录含有在服务器13中提取的图像特征的元数据。
在步骤S37中，传输控制器138-1使通信单元79将包含图像特征的元数据记录到数码照相机11的内容数据库111和相似特征数据库112上。具体而言，在步骤S37中，传输控制器138-1使通信单元79将写入内容数据库111和相似特征数据库112的命令和在步骤S35中生成的元数据传输至数码照相机11。当通信单元47接收到元数据和写入内容数据库111和相似特征数据库112的命令时，接收控制器109将元数据和写入内容数据库111和相似特征数据库的命令提供给内容数据库111和相似特征数据库112。一旦接收到写入命令，内容数据库111和相似特征数据库112就记录含有在服务器13中提取的图像特征的元数据。
内容数据库141和相似特征数据库142以及内容数据库111和相似特征数据库112记录了含有在服务器13中提取的图像特征的相同元数据。
在步骤S38中，服务器13中的传输控制器138-1和接收控制器139-1使通信单元79断开与数码照相机11的连接，以结束其处理。
服务器13能够对通过手机12拍摄的图像执行如图9所示的相同备份处理。
如图14所示，当通过服务器13-1和13-2中的一个来备份通过数码照相机11和手机12中的一个所拍摄的图像时，服务器13-1和13-2分析所备份的图像，提取图像特征，并通过包含所提取图像特征的元数据261来重写数码照相机11和手机12中的一个。
图15示出了描述所提取的图像特征并与原图像201和缩小图像202相关联的元数据261的具体实例。
元数据261例如以可扩展标记语言(XML)描述。
<photo>标记和</photo>标记之间设置的是与原图像201和缩小图像202相关的信息以及表示原图像201和缩小图像202的特征的信息。
<guid>标记和</guid>标记之间设置的是作为识别与元数据261相关的原图像201和缩小图像202的识别信息的内容ID。例如，内容ID为128位长。内容ID对原图像201和源于原图像201的缩小图像202是共用的。
<FullImgPath>标记和</FullImgPath>标记之间设置的是包括作为视频数据的原图像201的文件的路径和包括原图像201的文件的文件名。<CacheImgPath>标记和</CacheImgPath>标记之间设置的是包括为视频数据的缩小图像202的文件的路径和包括缩小图像202的文件的文件名。
<TimeStamp>标记和</TimeStamp>标记之间设置的时间信息2003:03:3106:52:32是指原图像201是在2003年3月31日6:52:32时拍摄的。
<Faceinfo>标记和</Faceinfo>标记之间设置的是与包括在通过内容ID识别的原图像201和缩小图像202中的面部图像相关的信息。
<TotalFace>标记和</TotalFace>标记之间设置的1是指包含在通过内容ID识别的原图像201和缩小图像202其中之一中的面部图像数为1。具体而言，设置在<TotalFace>标记和</TotalFace>标记之间的值是指包含在通过内容ID识别的原图像201和缩小图像202其中之一中的面部图像数。
<FaceEntry>标记和</FaceEntry>标记之间设置的是与一个面部图像相关的信息。由于图15中所示的元数据261中的面部图像数为1，所以排列了一对<FaceEntry>标记和</FaceEntry>标记。
<x>标记和</x>标记之间设置的值表示在通过内容ID识别的原图像201和缩小图像202其中之一中面部图像在水平方向上的位置。如图15所示，<x>标记和</x>标记之间的0.328767表示在原图像201和缩小图像202中的一个的左端在0.0，以及原图像201和缩小图像202中的一个的右端在1.0的情况下，面部图像在水平方向上的右端位置为0.328767。
<y>标记和</y>标记之间设置的值表示在通过内容ID识别的原图像201和缩小图像202其中之一中面部图像在垂直方向上的位置。如图15所示，<y>标记和</y>标记之间的0.204082表示在原图像201和缩小图像202中的一个的上端在0.0，以及原图像201和缩小图像202中的一个的下端在1.0的情况下，面部图像在垂直方向上的上端位置为0.204082。
具体而言，<x>标记和</x>标记之间设置的是面部图像的标准化水平位置，<y>标记和</y>标记之间设置的是面部图像的标准化垂直位置。
<width>标记和</width>标记之间设置的值表示通过内容ID识别的原图像201和缩小图像202其中之一中的面部图像的宽度(水平方向上的尺寸)。如图15所示，<width>标记和</width>标记之间的0.408163表示在原图像201和缩小图像202中的一个的宽度为1.0的情况下，面部图像的宽度为0.408163。
<height>标记和</height>标记之间设置的值表示通过内容ID识别的原图像201和缩小图像202其中之一中的面部图像的高度(垂直方向上的尺寸)。如图15所示，<height>标记和</height>标记之间的0.273973表示在原图像201和缩小图像202中的一个的高度为1.0的情况下，面部图像的宽度为0.273973。
具体而言，<width>标记和</width>标记之间设置的是面部图像的标准化宽度。<height>标记和</height>标记之间设置的是面部图像的标准化高度。
<roll>标记和</ro11>标记之间设置的值为面部图像的侧倾角。如图15所示，<roll>标记和</roll>标记之间的0.000000表示面部图像的侧倾角为0.000000度。
<pitch>标记和</pitch>标记之间设置的值为面部图像的俯仰角。如图15所示，<pitch>标记和</pitch>标记之间的0.000000表示面部图像的俯仰角为0.000000度。
<yaw>标记和</yaw>标记之间设置的值为面部图像的偏转角。如图15所示，<yaw>标记和</yaw>标记之间的0.000000表示面部图像的偏转角为0.000000度。
侧倾角为相对于前后轴(x轴)形成的角，表示面部在前后方向上的位置。俯仰角为相对于水平轴(y轴)形成的角，表示面部在左右方向上的位置。偏转角为相对于垂直轴(z轴)形成的角，表示面部在垂直方向上的位置。
<Similarityinfo>标记和</Similarityinfo>标记之间设置的是通过内容ID识别的原图像201和缩小图像202中的一个的特征量。当确定通过内容ID识别的原图像201和缩小图像202中的一个与另一个图像之间的相似程度时，使用该特征量。
如图15所示，<Similarityinfo>标记和</Similarityinfo>标记之间设置的是相关度和特征量。相关度表示响应于预定颜色名想起原图像201和缩小图像202中的一个的关联度，特征量用于计算图像的颜色或频率分量的相似程度。
<Colorinfo>标记和</Colorinfo>标记之间设置的相关度表示基于从通过内容ID识别的原图像201和缩小图像202其中之一中提取的原图像201和缩小图像202中的一个的像素的颜色，响应于特定颜色名想起原图像201和缩小图像202中的一个的关联程度。
<ColorWhite>标记和</ColorWhite>标记之间设置的相关度表示响应于从通过内容ID识别的原图像201和缩小图像202中的一个的像素颜色提取的白色颜色名想起原图像201和缩小图像202中的一个的关联程度。如图15所示，<ColorWhite>标记和</ColorWhite>标记之间的0示出的是表示响应于白色颜色名想起原图像201和缩小图像202中的一个的关联程度为0。
<ColorBlack>标记和</ColorBlack>标记之间设置的相关度表示响应于从通过内容ID识别的原图像201和缩小图像202中的一个的像素颜色提取的黑色颜色名想起原图像201和缩小图像202中的一个的关联程度。如图15所示，<ColorBlack>标记和</ColorBlack>标记之间的0示出的是表示响应于黑色颜色名想起原图像201和缩小图像202中的一个的关联程度为0。
<ColorRed>标记和</ColorRed>标记之间设置的相关度表示响应于从通过内容ID识别的原图像201和缩小图像202中的一个的像素颜色提取的红色颜色名想起原图像201和缩小图像202中的一个的关联程度。如图15所示，<ColorRed>标记和</ColorRed>标记之间的0示出的是表示响应于红色颜色名想起原图像201和缩小图像202中的一个的相关度为0。
<ColorYellow>标记和</ColorYellow>标记之间设置的相关度表示响应于从通过内容ID识别的原图像201和缩小图像202中的一个的像素颜色提取的黄色颜色名想起原图像201和缩小图像202中的一个的关联程度。如图15所示，<ColorYellow>标记和</ColorYellow>标记之间的0示出的是表示响应于黄色颜色名想起原图像201和缩小图像202中的一个的相关程度为0。
<ColorGreen>标记和</ColorGreen>标记之间设置的相关度表示响应于从通过内容ID识别的原图像201和缩小图像202中的一个的像素颜色提取的绿色颜色名想起原图像201和缩小图像202中的一个的关联程度。如图15所示，<ColorGreen>标记和</ColorGreen>标记之间的12示出的是表示响应于绿色颜色名想起原图像201和缩小图像202中的一个的相关度为0.12。相关度以百分率的形式表示。
<ColorBlue>标记和</ColorBlue>标记之间设置的相关度表示响应于从通过内容ID识别的原图像201和缩小图像202中的一个的像素颜色提取的蓝色颜色名想起原图像201和缩小图像202中的一个的关联程度。如图15所示，<ColorBlue>标记和</ColorBlue>标记之间的0示出的是表示响应于蓝色颜色名想起原图像201和缩小图像202中的一个的相关度为0。
<VectorInfo>标记和</VectorInfo>标记之间设置的是通过内容ID识别的原图像201和缩小图像202中的一个的特征，用于确定通过内容ID识别的原图像201和缩小图像202中的一个与另一个图像之间的相似程度。
在一对<VectorInfo>标记和</VectorInfo>标记之间设置的是通过内容ID识别的原图像201和缩小图像202的每一个的单个特征。在图15的元数据261中，描述了两对<VectorInfo>标记和</VectorInfo>标记。
在每对<VectorInfo>标记和</VectorInfo>标记之间设置有<method>标记和</method>标记以及<vector>标记和</vector>标记。<method>标记和</method>标记之间描述的是特征的方式，<vector>标记和</vector>标记之间描述的是其特征量。<vector>标记和</vector>标记之间描述的特征量为矢量。
在图15中最上面的<VectorInfo>标记和</VectorInfo>标记之间设置的<method>标记和</method>标记之间描述的颜色特征表示在随后的<vector>标记和</vector>标记之间设置的特征量为颜色特征量。颜色特征量为参照图11描述的颜色直方图中示出的颜色特征量。
如图15所示，从顶部开始的第二个<VectorInfo>标记和</VectorInfo>标记之间的<vector>标记和</vector>标记之间设置的文本特征表示在随后的<vector>标记和</vector>标记之间的特征量为图案(pattern)的特征量。图案的特征量为通过频率分量的频率直方图(即，参照图12和图13描述的垂直分量直方图和水平分量直方图)所表示的图案特征量。
整个元数据261存储在数码照相机11的内容数据库111和相似特征数据库112以及服务器13的内容数据库141和相似特征数据库142中。具体而言，适当地分割元数据261，将一部分存储在内容数据库111上，剩余部分存储在相似特征数据库112上。在服务器13中，也将存储在内容数据库111中的元数据261的相同部分存储在内容数据库141中，并也将存储在相似特征数据库112中的元数据261的相同部分存储在相似特征数据库142中。
图16示出了存储在内容数据库111和内容数据库141其中之一中的元数据的结构。
存储在内容数据库111和内容数据库141其中之一中的元数据包括内容ID、图像拍摄时间、路径名、文件名、组ID、与包含在图像中的面部图像相关的信息(下文中称作面部图像信息)、标签ID、以及注释。
图像唯一的内容ID可识别图像。内容ID识别原图像201和缩小图像202。内容ID为GUID属性，并以字符串描述。表示拍摄图像的日期和时间的图像拍摄时间以协调世界时(UTC)或地方时描述。用协调世界时描述的图像拍摄时间与以嵌入EXIF格式的日期时间初始数据中的图像拍摄时间(UTC)一致。
以地方时描述的图像拍摄时间为date属性，并以日期格式描述。以地方时描述的图像拍摄时间与以嵌入EXIF格式的日期时间初始数据中的图像拍摄时间(地方时)一致。
诸如ms/CDIM/XXXXX/的路径名表示原图像201文件的目录名(文件名)。路径名为path属性，并以字符串描述。
诸如DSC00001.JPG的文件名表示包含作为视频数据的原图像201的文件的名称。文件名为DCFname属性，并以字符串描述。
诸如/DATA/EVENTTIMAGE/000000000001.JPG的缩小图像202的路径名和文件名表示缩小图像202的文件的目录名和文件名。缩小图像202的路径名和文件名为vgaCachePath属性，并以字符串写入。
组ID识别图像所属的组。用户将图像分类成所期望的组。组ID识别经过分类的图像的组。例如，通过事件(诸如旅行、运动会等)来分类图像，将在每个事件中拍摄的图像分成对应于事件的组。
组ID为groupID属性，并以数字串描述。
例如，面部图像信息表示图像是风景照片(不包括面部图像)、少数人物照片(1～5个人)、还是多数人物照片(6人以上)。如果面部图像信息为1，则图像为风景照片。如果面部图像信息为2，则图像为少数人物照片。如果面部图像信息为3，则图像为多数人物照片。面部图像信息为faceExistence属性，并以数字串描述。
面部图像信息可表示图像中包含的面部图像数、图像中面部图像的位置、面部图像的尺寸、以及面部面向的方向。
标签ID表示附属于图像的标签。标签ID为labels属性，并以数字串描述。
注释为comment属性，并以字符串描述。
保护状态表示诸如删除或添加的图像保护状态。保护状态为protect属性，并以逻辑数据串描述。
交换/输入标志表示是交换还是输入图像。交换/输入标志为exchangeOrImport属性，并以逻辑数据串描述。
为真的元启动标志表示服务器13根据图像生成元数据。元启动标志为metaEnableFlag属性，并以逻辑数据串描述。
为真的备份标志表示服务器13备份图像。备份标志为backUpFlag属性，并以逻辑数据串描述。
图17示出了在数码照相机11中存储的元数据部分和在相似特征数据库112中存储的元数据部分的结构。
内容项以图像为单位存储在内容数据库111上。内容项由元数据261的一部分构成。
例如，内容项281-1对应于通过存储的内容ID所识别的一个图像，并包括内容ID、原图像201的路径名和文件名(图17中的Path)、缩小图像202的路径名和文件名、组ID、地方时格式的图像拍摄时间、以及面部图像信息。对应于另一个图像的内容项281-2包括内容ID、原图像201的路径名和文件名(图17中的Path)、缩小图像202的路径名和文件名、组ID、地方时格式的图像拍摄时间、以及面部图像信息。
如果不需要区分内容项281-1和281-2，则将内容项简称为内容项281。
相似特征项以图像为单位存储在相似特征数据库112中。相似特征项包括除内容项281之外的元数据261的部分。相似特征项包括内容ID。
内容项282-1对应于通过所存储的内容ID识别的内容项281-1，即，对应于通过所存储的内容ID识别的一个图像。内容项282-1由内容ID、颜色直方图、以及频率分量直方图构成。
颜色直方图表示图像中32中颜色中的每一种出现的频率，并且为histogram属性。频率分量直方图包括垂直分量直方图和水平分量直方图，并表示在图像的每个垂直方向和水平方向上的八个频率的频率分量的最大值出现的频率，并且为texture属性。
类似地，内容项282-2对应于通过所存储的内容ID识别的内容项281-2，即，对应于通过存储的内容ID所识别的一个图像。内容项282-2由内容ID、颜色直方图、以及频率分量直方图构成。
如果不需要区分内容项282-1和282-2，则将内容项简称为内容项282。
相应于存储在内容数据库111上的内容项281的内容项282存储在相似特征数据库112上。
图18示出了内容项282的结构。内容项282包括项目291、项目292-1～292-32、以及项目293。项目291包括内容ID、指向项目292-1～292-32的指针、以及指向项目293的指针。指向项目292-1～292-32的指针对应于颜色直方图。指向项目293的指针对应于频率分量直方图。
项目292-1～292-32分别表示颜色直方图出现的频率，即，通过L*a*b*代表的每种颜色以及被那种颜色占据的图像与图像的面积比(例如，32色中的每一种的像素数)。项目292-1表示通过L*a*b*代表的作为32色其中一种的第一色，以及由第一色占据的图像与图像的占有率。项目292-2表示通过L*a*b*代表的作为32色其中一种的第二色，以及由第二色占据的图像与图像的占有率。
项目292-3～292-32(分别通过L*a*b*代表的每种颜色)包括32色中的第3至第32色，并且分别表示图像中第3至第32色的占有率。
项目292-1～292-32通常表示单个图像的颜色直方图。可以通过颜色特征矢量Cv表示颜色直方图。颜色特征矢量Cv可表示为Cv＝{(c1，r1)，...，(c32，r32)}。(c1，r1)～(c32，r32)中的每一个表示通过c1～c32代表的32色的每一种对图像的占有率。
项目293表示垂直分量直方图和水平分量直方图。垂直分量直方图和水平分量直方图的每一个均示出八个出现频率。
由垂直分量直方图和水平分量直方图构成的频率分量直方图可以通过频率分量矢量Tv表示。可将频率分量矢量Tv描述为Tv＝{(t1，1)，...，(t8，1)，(t9，1)，...，(t16，1)}。(t1，1)～(t16，1)中的每一个均表示通过t1～t16中任意一个所表示的频率分量的最大数(出现)。
下面，参照图19的流程图描述服务器13的图像获取处理。在该图像获取处理中，服务器13从网络服务器15-1、网络服务器15-2、以及其他设备中之一来获取图像。
在步骤S61中，服务器13中的传输控制器138-2和接收控制器139-2使通信单元80通过网络14从网络服务器15-1获取原图像201。
例如，在步骤S61中，传输控制器138-2和接收控制器139-2使通信单元80通过网络14连接至网络服务器15-1。传输控制器138-2使通信单元80通过网络14向网络服务器15-1发送传输原图像201的请求。网络服务器15-1通过网络14传输所请求的原图像201。传输控制器138-2使通信单元80接收通过网络服务器15-1传输的原图像201。传输控制器138-2将所接收的原图像201提供给图像存储器140。
在步骤S62中，缩小图像生成器132根据所接收的原图像201生成缩小图像202。例如，缩小图像生成器132通过对原图像201的像素进行臭氧来根据原图像201生成缩小图像202。可选地，缩小图像生成器132可以通过平均多个原图像201的连续像素并通过单个平均像素值代表多个连续像素来生成缩小图像202。
缩小图像生成器132将所生成的缩小图像202提供给图像存储器140。
在步骤S63中，图像存储器140记录接收到的原图像201和通过缩小图像生成器132生成的缩小图像202。
缩小图像生成器132可从图像存储器140读取原图像201，并根据所读取的原图像201生成缩小图像202。
在步骤S64中，图像分析器131分析记录在图像存储器140中上的图像。步骤S64中的图像分析处理与参照图10的流程图所描述的处理一致，此处省略对其的讨论。
在步骤S65中，元数据生成器133生成包括步骤S64中提取的图像特征的图像的元数据。在步骤S66中，条目生成器134生成原图像201和缩小图像202的条目。条目生成器134将生成的条目与在步骤S65中生成的元数据相关联，随后，将条目存储在内容数据库141(和相似特征数据库142)中。
在步骤S67中，传输控制器138-1和接收控制器139-1使通信单元79连接至数码照相机11。
在步骤S68中，检索单元137基于从数码照相机11传输的数据，从记录在图像存储器140上的缩小图像202中选择将被传送至数码照相机11的缩小图像202。检索单元137从图像存储器140读取所选择的缩小图像202，并将读取的缩小图像202提供给传输控制器138-1。
在步骤S69中，传输控制器138-1使通信单元79将选择的缩小图像202传输至数码照相机11。
在步骤S70中，传输控制器138-1使通信单元79以与在步骤S37中相同的方式，将作为被传输的缩小图像202的元数据的图像特征记录在数码照相机11中的内容数据库111和相似特征数据库112中。
在步骤S72中，服务器13中的传输控制器138-1和接收控制器139-1使通信单元79断开与数码照相机11的连接。于是，处理结束。
如图20所示，服务器13-1和服务器13-2中的一个通过网络14从网络服务器15-1、网络服务器15-2、以及其他设备中的一个获取原图像201，并记录所获取的原图像201。服务器13-1和服务器13-2中的一个根据原图像201生成缩小图像202，并分析原图像201，以提取原图像201的特征。服务器13-1和服务器13-2中的一个将缩小图像202与包括所提取的原图像201的特征的元数据261一起写入数码照相机11和手机12中的一个。
下面，参照图21的流程图描述数码照相机11的检索处理。在步骤S81中，检索单元107从存储在数码照相机11和手机12其中之一上的元数据中选择将被用于检索的元数据。例如，检索单元107在作为检索中使用的元数据的相关度和特征之间进行选择。相关度表示响应于基于当用户操作输入单元49时来自输入单元49的信号的图像拍摄时间、成像条件、面部图像信息、以及预定颜色想起图像的关联程度。特征被用于计算颜色或图像的频率分量的相似程度。
在步骤S81中，响应于来自用户所操作的输入单元49的信号，检索单元107选择在检索记录在图像存储器110中的原图像201和缩小图像202中的一个时的检索范围。
在步骤S82中，检索单元107获取作为从用户所操作的输入单元49提供的信号的检索开始命令。
在步骤S83中，检索单元107在检索范围内，从内容数据库111和相似特征数据库112的一个中连续读取原图像201和缩小图像202中的一个的元数据261。
在步骤S84中，检索单元107确定元数据261是否存在，即，确定元数据261是否无效。如果在步骤S84中确定元数据261存在，则处理前进至步骤S85。检索单元107根据元数据261生成检索结果显示控制数据。
在步骤S85中，使用作为表示用于计算颜色或图像的频率分量的相似程度的特征的矢量的元数据。具体而言，基于元数据，检索单元107基于作为所选图像(作为基准图像)的矢量以及作为检索范围内的图像矢量的元数据来计算矢量距离。这样，检索单元107生成作为检索结果显示控制数据的矢量距离。
矢量距离越小，图像看起来越相似。使用检索结果显示控制数据作为矢量距离，读取更加相似的图像，随后，按照相似度的顺序显示图像。
在步骤S85中，检索单元107基于作为表示响应于预定颜色想起图像的关联程度的相关度的元数据来比较相关度与输入阈值，并生成具有高于所输入阈值的相关度的检索结果显示控制数据。
使用具有高于所输入阈值的相关度的检索结果显示控制数据，响应于颜色名读取具有较高关联度的图像，即，具有该颜色更多分量的图像。这样，仅显示具有该颜色名的颜色的图像。
例如，检索单元107基于作为表示响应于预定颜色名建立关联的关联程度的相关度的元数据，通过计算所输入阈值与相关度之间的距离来计算检索结果显示控制数据。
使用检索结果显示控制数据，即，输入阈值与相关度之间的距离，读取并随后显示具有期望颜色名的颜色分量的期望量的图像。
检索结果显示控制数据包括内容ID，内容ID用于识别对应于检索结果显示控制数据的原图像201和缩小图像202的其中之一。
在步骤S86中，检索单元107在检索结果存储器115上存储所生成的检索结果显示控制数据。
在步骤S87中，检索单元107确定是否处理了检索范围内的所有原图像201或所有缩小图像202。如果在步骤S87中确定没有处理检索范围内的所有原图像201或所有缩小图像202，则处理返回步骤S83。检索单元107从内容数据库111和相似特征数据库112中的一个中读取检索范围内的下一原图像201和下一缩小图像202中的一个的元数据261，以重复上述处理。
如果在步骤S84中确定元数据261不存在，即，元数据261为无效，则处理返回到步骤S83。检索单元107从内容数据库111和相似特征数据库112其中之一中读取检索范围内的下一原图像201和下一缩小图像202中的一个的元数据261，并重复上述处理。
如果在步骤S87中确定处理了检索范围内的所有原图像201或所有缩小图像202，则处理前进至步骤S88。显示控制器106从检索结果存储器115读取检索结果显示控制数据。在步骤S89中，显示控制器106基于检索结果显示控制数据从图像存储器110读取原图像201和缩小图像202中的一个，并显示原图像201和缩小图像202的其中之一。于是结束处理。
如果在步骤S85中生成作为表示用于计算颜色或图像的频率分量相似度的特征的矢量的距离的检索结果显示控制数据，则在步骤S89中，显示控制器106在监视器40上以相对于基准图像相似度的顺序显示原图像201和缩小图像202的其中之一。
如果在步骤S85中表示作为响应于预定颜色名而想起的关联程度的相关度的检索结果显示控制数据大于所输入阈值，则在步骤S89中，显示控制器106在监视器40上显示包括更多那个颜色名的颜色的原图像201和缩小图像202中的一个。
如果在步骤S85中生成作为表示响应于预定颜色名而想起的关联程度的相关度与所输入阈值值之间的距离的检索结果显示控制数据，则在步骤S89中，显示控制器106在监视器40上显示包含期望量的具有期望颜色名的颜色的原图像201和缩小图像202中的一个。
手机12执行与参照图21的流程图所描述的处理相同的检索处理。服务器13执行与参照图21的流程图所描述的处理相同的检索处理。
如图22所示，基于存储在数码照相机11和手机12其中之一中的内容数据库111和相似特征数据库112中的元数据261检索缩小图像202，以相同的方式，基于存储在服务器13-1和服务器13-2其中之一中的内容数据库141和相似特征数据库142上的元数据261来检索原图像201。
下面，描述数码照相机11的具体检索处理。
图23是示出数码照相机11另一检索处理的流程图。在步骤S101中，显示控制器106使缩小图像202以时间顺序显示在监视器40上。具体而言，在步骤S101中，图像存储器110响应于来自用户操作的输入单元49的信号，从所记录的缩小图像202中将预定范围内的缩小图像202提供给显示控制器106。内容数据库111将由显示控制器106提供的预定范围内的缩小图像202的元数据261中图像拍摄时的元数据提供给显示控制器106。显示控制器106使监视器40以图像拍摄时序顺序，按照图像拍摄时间显示缩小图像202。
如图24所示，显示控制器106使监视器40以组为单位，按照图像拍摄的时序顺序显示缩小图像202。每个组都通过组ID来识别。图24右侧的每一个方框表示一个缩小图像202，每个方框中的数字表示图像拍摄顺序。显示控制器106在监视器40上以组为单位，按照光栅扫描序列的图像拍摄顺序显示缩小图像202。
在步骤S101中，图像存储器110可在监视器40上对图像进行分群。
现在，对分别在时间t1～t12拍摄的图像p1～p12进行分群。例如，在分群处理中设置条件A和条件B。根据条件A，图像p1～图像p12构成一群。条件A定义低粒度(粗糙)群，条件B定义高粒度(精细)群。条件B在粒度上高于条件A。例如，将事件名“结婚典礼”设置在由条件A定义的群中。
在具有事件名“结婚典礼”的群中，图像的图像拍摄时间的间隔变化程度小于预定阈值。
从图像p1～p12中，条件B定义图像p1～p3的一个群、图像p4～p7的另一个群、以及p8～p12的再一个群。
“教堂仪式”设置在由图像p1～p3构成的群中，“婚宴”设置在由图像p4～p7构成的群中，“二次聚会”设置在由图像p8～p12构成的群中。
在具有事件名“教堂仪式”的群中的图像p1～p3之间，图像的图像拍摄时间的时间间隔的变化程度较小。从图像p3至图像p4出现相对较长的时间间隔，图像p4是由在图像拍摄时间(在时间轴上)的时间间隔上具有较低变化程度的图像p4～p7构成的下一群中的第一个图像。在图像p3和图像p4之间的时间间隔期间内，确定出现频率改变。
在设置有事件名“婚宴”的群中，在图像p4～p7之间，图像拍摄时间的时间间隔的变化程度较小。从图像p7至图像p8出现相对较长的时间间隔，图像p8是由在图像拍摄时间(在时间轴上)的时间间隔上具有较低变化程度的图像p8～p12构成的下一群中的第一个图像。在图像p7和图像p8之间的时间间隔期间内，确定出现频率改变。
在设置有事件名“二次聚会”的群中，在图像p8～p12之间，图像拍摄时间的时间间隔的变化程度较小。从图像p12至下一图像出现相对较长的时间间隔，下一图像为在图像拍摄时间(在时间轴上)的时间间隔上具有较低变化程度的下一群的第一个图像。在图像p12和下一图像之间的时间间隔期间内，确定出现频率改变。
例如，用户手动设置事件名“结婚典礼”、“教堂仪式”、“婚宴”、以及“二次聚会”。
为对图像分群可设置多种条件，并基于条件定义不同粒度等级的群。
将包括在这样定义的每个群中的图像以分层结构的方式展示给用户。
在步骤S101中，图像存储器110可以使监视器40按照日期将显示区分成多个部分，并在预定部分中显示缩小图像202，使得被分配给该部分的数据与图像拍摄的日期匹配。具体而言，在步骤S101中，图像存储器110以日历格式显示缩小图像202。
在步骤S102中，检索单元107基于来自用户操作的监视器40的信号，从在监视器40上显示的缩小图像202中选择一个缩小图像202。
当选择了以时序格式显示的任意一个缩小图像202时，显示控制器106加亮所选择的缩小图像202或如图24所示地增强所选缩小图像202的轮廓。
当选择了以时序格式显示的任意一个缩小图像202时，如图25所示，显示控制器106在监视器40上放大所选择的缩小图像202。
在步骤S103中，检索单元107检索相似图像。
图26是示出在步骤S103中执行的相似图像检索处理的流程图。在步骤S131中，检索单元接收来自用户操作的输入单元49的信号，从而通过选择显示在监视器上的菜单中的“相似性检索”项获取相似性检索指令。
在步骤S132中，检索单元107通过接收来自用户操作的监视器40的信号来接收检索开始指令。
在步骤S133中，检索单元107从相似特征数据库112读取相应于在步骤S102中选择的缩小图像202的内容ID的相似特征矢量。该相似特征矢量是颜色特征矢量Cv和频率分量矢量Tv中的一个。
在步骤S134中，检索单元107从相似特征数据库112读取相应于检索范围内的一个缩小图像202的内容ID的相似特征矢量。
如果在步骤S133中读取是颜色特征矢量Cv的相似特征矢量，则在步骤S134中读出作为颜色特征矢量Cv的相似特征矢量。如果在步骤S133中读取作为频率分量矢量Tv的相似特征矢量，则在步骤S134中读取作为频率分量矢量Tv的相似特征矢量。
在步骤S135中，检索单元107计算在检索范围内的缩小图像202的相似特征矢量与所选缩小图像202的相似特征矢量之间的距离。
下面，描述每个都具有32个元素的颜色特征矢量Cv1＝{(c1_1，r1_1)，...，(c32_1，r32_1)}和颜色特征矢量Cv2＝{(c1_2，r1_2)，...，(c32_2，r32_2)}之间的距离的计算。
这里引入地面距离(ground distance)dij＝d(c1i，c2j)的概念。地面距离dij定义了颜色特征矢量元素之间的距离，是两个颜色之间的欧几里德距离(在三轴L*a*b*空间中的距离)。因此，将地面距离dij描述为dij＝||c1i-c2j||。
颜色特征矢量Cv1与颜色特征矢量Cv2之间的堆土机距离(EMD)通过解决确定从颜色特征矢量Cv1至颜色特征矢量Cv2的流F＝{Fji}的运输问题来计算。此处，颜色特征矢量Cv1为供方，颜色特征矢量Cv2为需求方，dij为单位运输成本。
通过将运输问题的最佳值(全部运输成本的最小值)除以流数并将商归一化，由方程式(1)计算EMD。
EMD=minΣi=132Σj=132dijFijΣi=132Σj=132Fij---(1)]]>此时Σi=132Σj=132Fij=Σi=132r1_iΣi=132r2_i]]>通过方程式(1)计算的EMD为颜色特征矢量Cv1和颜色特征矢量Cv2之间的距离。
以与颜色特征矢量Cv的距离相同的方式来确定频率分量矢量Tv的距离。
可以为颜色特征矢量Cv的距离确定权重Wc，以及可以为频率分量矢量Tv的距离确定权重Wt，并且可以使用方程式(2)计算最终距离。
distance＝EMDcolor×wc+EMDtexture×wt(wc+wt＝1)(2)用户可以确定权重Wc和Wt。权重Wc和Wt可以为固定值。具体而言，权重Wc和Wt的每一个均可以为0.5，并且可通过平均颜色特征矢量Cv的距离和频率分量矢量Tv的距离确定最终距离。
在1998年1月印度孟买Proceedings of the 1998 IEEEInternational Conference on Computer Vision会议上由Y.Rubner、C.Tomasi、以及L.J.Guibas发表的标题为“A Metric for Distributionswith Applications to Image Databases”的论文59～66页中公开了矢量距离计算中使用的EMD(堆土机距离)。矢量距离计算不限于该方法。例如，可以使用欧几里德距离或豪斯多夫距离。在1999年12月1日由Kyoritsu Shuppan出版的Computer Science Magazine bitDecember issue，作者为Michihiro KOBAYAKAWA和MamoruHOSHI的标题为“Interactive Image Retrieval based on WaveletTransform”论文30～41页和2000年5月2日由IECE出版的Technical Report of the Insitute of Electronics、Information andCommunication Engineers(IECE)，作者为K.OH、K.KANEKO、A.MAKINOUCHI、和A.UENO的标题为“Design，Implementationand Performance Evaluation of Similar Image Retrieval System Basedon Self-Organizing Feature Map”卷10、第31号、页数9～16的文章中也公开了一些技术。也可以使用这些技术。
在步骤S136中，检索单元107将距离和在检索范围内与其相关的图像一起存储到相似结果数据库113中。例如，在步骤S136中，检索单元107将距离与在检索范围内与其相关的图像的内容ID一起存储在相似结果数据库113上。
图27示出了存储在内容数据库111和相似特征数据库112中的元数据以及存储在相似结果数据库113中的距离的结构。
如图27所示，数据库记录301-1对应于内容项281-1和内容项281-1的每一个，数据库记录301-2对应于内容项281-2和内容项281-2的每一个。
具体而言，数据库记录301-1和数据库记录301-2的每一个均包括内容ID、相似特征矢量、原图像201的路径名和文件名、组ID、图像拍摄时间、以及其他属性。
存储在相似结果数据库113上的距离记录302包括来自所选图像的内容ID和距离。使用内容ID将距离记录302与数据库记录301-1和数据库记录301-2的每一个相关联。
如果不需要区分数据库记录301-1和数据库记录301-2，则将数据库记录称作数据库记录301。
距离记录302中的距离为distance属性。
存储在时间组数据库114上的时间组记录303包括与组唯一对应的组ID(用于识别组)、以及识别属于通过组ID识别的组的图像的内容ID。在时间组记录303中的内容ID的排列为PhotoIdArray属性。
如图28所示，内容数据库111、相似结果数据库113、以及时间组数据库114都与其记录相关联。一个或多个数据库记录301存储在内容数据库111和相似特征数据库112(未示出)的每一个上，并且一个或多个时间组记录303存储在时间组数据库114上。
返回图26，在步骤S137中，检索单元107确定是否完成了检索范围内的所有图像。如果在步骤S137中确定没有完成所有图像，则处理返回步骤S134。检索单元107读取相应于检索范围内下一个缩小图像202的内容ID的相似特征矢量，并重复上述处理。
如果在步骤S137中确定已经完成了所有图像，则处理前进至步骤S138。检索单元107从相似特征数据库112读取与检索范围内的图像相关的距离。例如，在步骤S138中，检索单元107从相似特征数据库112读取距离和用于识别检索范围内的图像的内容ID。
在步骤S139中，检索单元107根据在步骤S138中读取的距离来分类检索范围内的图像，并结束处理。例如，在步骤S139中，检索单元107通过根据距离顺序分类用于识别检索范围内的图像的内容ID，从而以相似度的顺序分类检索区域内的图像。
返回图23，在步骤S104中，显示控制器106在监视器40上以相似度顺序显示缩小图像202。具体来说，在步骤S104中，显示控制器106从图像存储器110读取缩小图像202，并在步骤S139中，在监视器40上以在步骤S139中分类的相似度顺序显示缩小图像202。
如图29所示，显示控制器106使监视器40以相似度顺序显示与在步骤S102中选择的缩小图像202相似的缩小图像202。例如，显示控制器106在监视器40的显示区的左上部中显示在步骤S102中选择的缩小图像202，随后按照相似度顺序以光栅扫描顺序显示与关键图像相似的缩小图像202。图29右侧的每个小方块表示一个缩小图像202，每个方块中的字母示出缩小图像202的相似度顺序。
在步骤S105中，检索单元107响应于来自用户所操作的输入单元49的信号，从显示在监视器40上的缩小图像202中选择一个缩小图像202。
如图29所示，如果从按照相似度顺序以光栅扫描格式显示在监视器40上的缩小图像202中选择标签为B的缩小图像202，则加亮所选择的缩小图像202或增强所选择缩小图像202的轮廓。同时，显示控制器106在监视器40显示区中的关键图像的下面显示所选缩小图像202的放大视图。
在步骤S106中，检索单元107响应来自用户操作的输入单元49的信号来确定是否取消选择。如果检索单元107确定不取消，则处理前进至步骤S107。检索单元107确定是否输入所选择的缩小图像202。
如果在步骤S107中确定将输入所选缩小图像202，则检索单元107获取在步骤S105中选择的缩小图像202的组ID。具体而言，检索单元107读取通过在步骤S105中选择的缩小图像202的内容ID所识别的元数据261，从元数据261中提取用于识别所选缩小图像202所属组的组ID，并获取所选缩小图像202的组ID。
在步骤S109中，检索单元107从图像存储器110中读取属于通过所获取的组ID识别的组的缩小图像202。具体而言，检索单元107根据所获取的组ID检索时间组数据库114中的时间组记录303。检索单元107根据与所获取的组ID具有相同组ID的时间组记录303，从时间组数据库114中读取识别属于通过组ID识别的组的图像的内容ID串。检索单元107从图像存储器110读取通过内容ID识别的缩小图像202，内容ID为所读取的内容ID串中的元素。检索单元107将读出的缩小图像202提供给显示控制器106。
在步骤S110中，显示控制器106使监视器40以时序格式显示所读取的缩小图像202。处理由此结束。
在步骤S110中，显示控制器106可以使控制器40以分群格式或日历格式来显示缩小图像202。
如果在步骤S107中确定没有输入所选的缩小图像202，则处理返回到步骤S104，以重复步骤S104和后续步骤。
如果在步骤S106中确定将取消选择，则处理返回到步骤S101，重复步骤S101和后续步骤。
在步骤S102和S105中，在屏幕上维持图像被选状态，直至选择下一个图像为止。在步骤S101、S104、以及S110中，以用户可以识别所选图像的方式来显示其轮廓被增强的所选图像。
具体而言，在图像显示过程中，通过维持所选择的图像状态在时序显示格式和相似度顺序显示格式之间执行切换操作。
以这种方式，可以立刻显示在接近于与预定图像相似的图像的图像拍摄时间的时间所拍摄的图像。可以立刻显示相似于在接近于预定图像的图像拍摄时间的时间所拍摄图像的图像。因此，能够以检索顺序来追溯图像，并且通过图像相似度标准或接近时间标准来进行检索。通过有效地结合时间轴检索和相似度检索，即使具有小屏幕尺寸的数码照相机11也允许用户根据相似度和时间来观看并检索图像，这两种方式都是人类记忆中的支配因素。
代表相似度的距离表示统计相似度，会发生检索失败。出现与人类感观相似的图像可能逃过检索。即使发生这样的检索失败，也可以在一个视图中显示接近事件的图像，并且用户仍然可以识别与人类感观相似的图像。
可以每年拍摄诸如观赏樱花、焰火、野餐聚会的事件照片。可以将这样的事件照片聚集起来。在执行相似度检索后，立刻以时序顺序将图像重新排列。以时序顺序显示的相似时间的图像可以作为相册使用，以帮助用户回想事件。
数码照相机11可在图23的流程图的处理中检索原图像201。
在图23的流程图中示出的检索处理中，如图30的上部分所示，缩小图像202以时序顺序按照组在监视器40上显示。如果从以时序格式显示的缩小图像202中选择标签为字母A的缩小图像202，则检索与标签为字母A的缩小图像202相似的缩小图像202，并在监视器40上以相似度顺序显示。
监视器40以放大视图显示关键图像，即，标签为字母A的缩小图像202。
如果从以相似度顺序显示的缩小图像202中选择标签为字母B的缩小图像202，则监视器40以放大视图显示标签为字母B的缩小图像202作为关键图像。
在监视器40上以相似度顺序显示与标签为字母A的缩小图像202相似的缩小图像202。如果取消了标签为字母A的缩小图像202的选择，则以时序格式重新显示缩小图像202。
如果当从以相似度顺序显示的缩小图像202中选择标签为字母B的缩小图像202时选择了回车键，则以时序格式显示属于标签为字母B的缩小图像202的组的缩小图像202。在这种情况下，标签为字母B的缩小图像202以其轮廓被增强的方式被显示。
可通过图像拍摄日期将缩小图像202来分成组。以组为单位，监视器40以时序格式显示具有接近于标签为字母B的缩小图像202的图像拍摄日期的缩小图像202。
下面，描述服务器13的检索处理。图31是示出服务器13的检索处理的流程图。在步骤S161中，服务器13中的显示控制器136使作为显示单元的输出单元77以时序格式显示原图像201。具体来说，在步骤S161中，图像存储器140响应于来自用户操作的输入单元76的信号，从记录在其上的原图像201中，将检索范围内的原图像201提供给显示控制器136。内容数据库141将落入提供给显示控制器136的预定范围内的原图像201的元数据261中图像拍摄时处的元数据261提供给显示控制器136。显示控制器136根据图像拍摄时间，使输出单元77以图像拍摄的时序顺序显示原图像201。
例如，如图32的右部所示，显示控制器136使输出单元77以图像拍摄时间顺序(即，沿时间轴)显示缩小图像202。显示控制器136使输出单元77以组为单位，按拍摄顺序显示原图像201。
在步骤S162中，响应于来自通过用户操作的输入单元76的信号，检索单元137选择显示输出单元77上的原图像201中的一个。
在步骤S163中，检索单元137执行相似图像的检索处理。步骤S163中的检索处理通过检索单元137执行，而不是检索单元107。步骤S163中的检索处理的其余部分与参照图26描述的相同，此处省略对其的讨论。
在步骤S164中，显示控制器136使输出单元77以相似度顺序显示原图像201。具体而言，在步骤S164中，显示控制器136使输出单元77以分类的相似度顺序显示原图像201。
例如，如图32的左部所示，显示控制器136使输出单元77以相似度顺序来显示与在步骤S162中选择的原图像201相似的原图像201。
在步骤S165中，检索单元137响应于来自通过用户操作的输入单元49的信号，从显示在输出单元77上的原图像201中选择一个原图像201。
在步骤S166中，检索单元137响应于来自通过用户操作的通信单元47的信号，确定是否以时序格式显示图像。例如，响应于当用户选择显示在输出单元77上的切换按钮351和切换按钮352中的一个时从输入单元76输入的信号，检索单元137确定是否以时序顺序显示图像。
当在输入单元77上选择使图像以时序格式显示的切换按钮351时，确定在步骤S166中执行时序显示。处理前进至步骤S167。
在步骤S167中，检索单元137从内容数据库141中获取所选原图像201的组ID。具体而言，检索单元137从内容数据库141中读取通过所选原图像201的内容ID所识别的元数据261，并从读取的元数据261中提取识别所选原图像201的组的组ID。这样，检索单元137获得所选原图像201的组ID。
在步骤S168中，检索单元137从图像存储器140中读取属于通过所获取的组ID识别的组的原图像201。检索单元137根据所获取的组ID来检索时间组数据库144的时间组记录303。检索单元137根据包括与所获取的组ID相同的组ID的时间组记录303，从时间组数据库144中读取用于识别属于通过组ID识别的组的图像的内容ID串。检索单元137从图像存储器140中读取通过作为所读取的组ID串的元素的内容ID识别的原图像201。检索单元137将读出的原图像201提供给显示控制器136。
在步骤169中，显示控制器136使输出单元77显示所读取的原图像201。具体而言，在步骤S169中，显示控制器136使输出单元77以时序格式显示原图像201。
在步骤S170中，检索单元137响应于来自通过用户操作的输入单元76的信号，从显示在输出单元77上的原图像201中选择一个原图像201。
在步骤S171中，检索单元137响应于来自通过用户操作的输入单元49的信号，确定是否以时序格式显示图像。例如，检索单元137响应于当通过用户选择显示在输出单元77上的切换按钮351和切换按钮352中的一个时从输入单元76输入的信号，确定是否以时序格式显示图像。
如果通过用户选择了输出单元77上以相似度顺序显示图像的切换按钮352，则在步骤S171中，检索单元137确定以相似度顺序显示图像。如果在步骤S171中确定以时序格式显示图像，则处理返回到步骤S163。
如果通过用户选择了输出单元77上以时序顺序显示图像的切换按钮351，则在步骤S171中，检索单元137确定不以相似度顺序显示图像。处理返回到步骤S167，以重复步骤S167和后续步骤。
如果在步骤S166中选择切换按钮352，则不以时序格式显示图像，处理返回到步骤S163，以重复步骤S163和后续步骤。
响应于显示在输出单元77上的切换按钮351和切换按钮352的选择操作，可随意执行相似度顺序显示和时序顺序显示之间的切换操作。
下面，描述服务器13的相关度提取处理。
数码照相机11、手机12、以及服务器13使用作为图像特征的颜色名和颜色名的相关度来检索图像。服务器13从图像中提取预定颜色名的相关度，作为图像的一个特征。
颜色名的相关度指的是响应于特定颜色名想起图像的关联程度。换句话说，相关度指的是图像被看作具有特定颜色名的颜色的颜色比。
颜色名为红色、蓝色、黄色、白色、黑色、绿色等。
图33是示出用于提取颜色名的相关度的颜色特征提取器172的结构框图。颜色特征提取器172包括图像输入单元401、红色相关度提取器402、蓝色相关度提取器403、黄色相关度提取器404、以及提取特征记录器405。
为了举例，仅描述了红色相关度提取器402、蓝色相关度提取器403、以及黄色相关度提取器404，可以使用用于提取任意颜色相关度的任意数目的相关度提取器。具体而言，能以颜色名为单位预备相关度提取器。
在下面描述的实例中，结合了红色相关度提取器402、蓝色相关度提取器403、以及黄色相关度提取器404。
图像输入单元401从图像存储器140获取原图像201，从原图像201提取相关度。图像输入单元401从相关度提取器对应存储器145中获取颜色名和表示与红色相关度提取器402、蓝色相关度提取器403、以及黄色相关度提取器404的每一个相对应的对应信息。
如图34所示，在相关度提取器对应存储器145上记录的对应信息包括颜色名和用于识别红色相关度提取器402、蓝色相关度提取器403、以及黄色相关度提取器404的信息，从中提取颜色名的相关度。例如，如图34所示，颜色名“红色”对应于红色相关度提取器402，颜色名“蓝色”对应于蓝色相关度提取器403，以及颜色名“黄色”对应于黄色相关度提取器404。
基于对应信息，图像输入单元401将从图像存储器140获取的原图像201提供给红色相关度提取器402、蓝色相关度提取器403、以及黄色相关度提取器404。
红色相关度提取器402从图像输入单元401提供的原图像201中提取表示响应于红色颜色名想起原图像201的关联程度的相关度。随后，红色相关度提取器402将从原图像201提取的、表示响应于红色颜色名的关联程度的相关度提供给提取特征记录器405。
蓝色相关度提取器403从图像输入单元401提供的原图像201中提取表示响应于蓝色颜色名想起原图像201的关联程度的相关度。随后，蓝色相关度提取器403将从原图像201提取的、表示响应于蓝色颜色名的关联程度的相关度提供给提取特征记录器405。
黄色相关度提取器404从图像输入单元401提供的原图像201中提取表示响应于黄色颜色名想起原图像201的关联程度的相关度。随后，黄色相关度提取器404将从原图像201提取的、表示响应于黄色颜色名的关联程度的相关度提供给提取特征记录器405。
提取特征记录器405将分别来自红色相关度提取器402、蓝色相关度提取器403、以及黄色相关度提取器404的表示相应于红色颜色名的关联程度的相关度、表示相应于蓝色颜色名的关联程度的相关度、以及表示相应于黄色颜色名的关联程度的相关度与原图像201相关联，随后，在提取特征存储器146中存储得到的相关度。
如图35所示，提取特征存储器146将表示相应于红色颜色名的关联程度的相关度、表示相应于蓝色颜色名的关联程度的相关度、以及表示相应于黄色颜色名的关联程度的相关度与用于识别原图像201的内容ID一起存储。
如上所述，图像输入单元401输入记录在图像存储器140上的原图像201。不仅可以输入并处理原图像201，而且还可以输入并处理缩小图像202或减色图像221。除图像之外，可通过图像输入单元401输入与用于提取各个相关度的图像相关的颜色直方图。随后，红色相关度提取器402、蓝色相关度提取器403、以及黄色相关度提取器404可以从输入的直方图中提取其相关度。
图35示出了记录在提取特征存储器146上的相关度的逻辑结构。如图所示，与内容ID 000相关，提取特征存储器146存储有表示相应于红色颜色名的关联程度的相关度0.80、表示相应于蓝色颜色名的关联程度的相关度0.00、以及表示相应于黄色颜色名的关联程度的相关度0.10，它们都根据通过内容ID 000识别的原图像201提取。与内容ID 001相关联，提取特征存储器146存储有表示相应于红色颜色名的关联程度的相关度0.00、表示相应于蓝色颜色名的关联程度的相关度0.25、以及表示相应于黄色颜色名的关联程度的相关度0.20，它们都由通过内容ID 001识别的原图像201提取。此外，与内容ID 002相关，提取特征存储器146存储了表示相应于红色颜色名的关联程度的相关度0.15、表示相应于蓝色颜色名的关联程度的相关度0.05、以及表示相应于黄色颜色名的关联程度的相关度0.00，它们都由通过内容ID 002识别的原图像201提取。
提取特征记录器405将分别由红色相关度提取器402、蓝色相关度提取器403、以及黄色相关度提取器404提供的表示相应于红色颜色名的关联程度的相关度、表示相应于蓝色颜色名的关联程度的相关度、以及表示相应于黄色颜色名的关联程度的相关度作为元数据261，在与原图像201相关联的情况下存储到相似特征数据库142上。
相关度可嵌入作为EXIF数据的原图像201的预定区域中。
检索单元137检索作为图像特征的颜色名和颜色名的相关度。在这种情况下，检索单元137可以包括检索条件输入单元421和条件匹配单元422。
检索条件输入单元421响应于来自通过用户操作的输入单元76的信号来接收相关度的检索条件。检索条件输入单元421将相关度的检索条件提供给条件匹配单元422。
条件匹配单元422将由检索条件输入单元421提供的检索条件与记录在提取特征存储器146上的相关度进行匹配。条件匹配单元422将匹配结果，即，相应于满足检索条件的相关度的内容ID存储至检索结果存储器147。
图36是详细示出相应于步骤S43的颜色特征提取处理的流程图。在步骤S201中，图像输入单元401从图像存储器140接收原图像201，作为提取相关度的目标图像。图像输入单元401还从相关度提取器对应存储器145接收对应信息。
在步骤S202中，图像输入单元401接收颜色名。在步骤S203中，响应于对应信息，图像输入单元401识别红色相关度提取器402、蓝色相关度提取器403、以及黄色相关度提取器404中的哪一个对应于所输入的颜色名。
例如，如果在步骤S202中输入红色颜色名，则图像输入单元401响应于步骤S203中的对应信息识别红色相关度提取器402。
图像输入单元401将输入的原图像201提供给红色相关度提取器402、蓝色相关度提取器403、以及黄色相关度提取器404中识别出的任意一个。
在步骤S204中，在步骤S203中识别出的红色相关度提取器402、蓝色相关度提取器403、以及黄色相关度提取器404的其中一个执行相关度提取处理。稍后将详细描述相关度提取处理。
将所提取的相关度提供给提取特征记录器405。
在步骤S205中，提取特征记录器405在提取特征存储器146上存储提取出的相关度，作为与用于提取相关度的目标图像的原图像201相关的颜色特征矢量。
在步骤S206中，图像输入单元401确定是否已经从所有颜色名的原图像201中提取了相关度。如果没有完成所有颜色名，则处理返回到步骤S202，以输入下一颜色名并重复后续步骤。
如果在步骤S206中确定当前颜色名为最后的颜色名，即，已经从所有颜色名中的原图像201中提取了相关度，则处理结束。
图37是详细示出相应于当在步骤S203中识别红色相关度提取器402时执行的图36中步骤S204的相关度提取处理的流程图。
在步骤S221中，红色相关度提取器402对其内部计数器清零。在将被首先执行的步骤S222中，红色相关度提取器402接收第一像素的颜色，即，原图像201的第一像素的像素值。在步骤S223中，红色相关度提取器402计算像素的颜色在颜色空间中的位置。
在步骤S224中，红色相关度提取器402确定算出的在颜色空间中的位置是否在对应于红色颜色名的子空间内。
下面，描述计算像素的颜色在颜色空间中的位置。
例如，通过RGB表示原图像201中每个像素的像素值。像素值由R值、G值、以及B值构成。通过相互垂直的三个轴(即，R轴、G轴、以及B轴)来定义RGB空间。一个像素值确定一个在RGB颜色空间中的位置。
在RGB颜色空间中，很难通过单个区域描述被人类感知为某一颜色名的颜色的颜色位置。
现在，考虑通过在L*a*b*空间中的位置来描述像素的颜色。如图39所示，将L*a*b*空间定义为互相垂直的三个轴，即，L*轴，a*轴、及b*轴。在L*a*b*空间中，L*轴中的值L*越大，亮度越高，L*轴中的值L*越小，亮度越低。给定恒定的L*值，随着其越接近L*轴，颜色饱和度越低。
一个像素值确定L*a*b*空间中的一个位置。
在L*a*b*空间中，通过一个区域描述被人类感知为某一颜色名的颜色的颜色位置。包括由人类感知为预定颜色名的颜色的颜色位置的区域称作子空间。子空间为在L*a*b*空间中具有宽度的区域。
下面，描述白色和黑色子空间的实例。
图40示出了白色子空间441和黑色子空间442。白色子空间441为具有与L*轴共线的一个轴的椭圆体部分。椭圆体的形心(graphical center)位于L*a*b*空间的顶部位置(给出L*轴最大值的位置)。白色子空间441为椭圆体的内部空间部分，也为L*a*b*空间所共有。白色子空间441提供低色饱和度，同时提供高亮度。处于白色子空间441内的位置所表示的颜色被人类感知为白色。
黑色子空间442为具有与L*轴共线的一个轴的椭圆体部分。椭圆体的形心位于L*a*b*空间的底部位置(给出L*轴最小值的位置)。黑色子空间442为椭圆体的内部空间部分，也为L*a*b*空间所共有。黑色子空间442提供低色饱和度，同时提供低亮度。处于黑色子空间442内的位置所表示的颜色被人类感知为黑色。
下面，描述红色、黄色、绿色、以及蓝色的子空间。
由于红色、黄色、绿色、以及蓝色为彩色，所以从L*a*b*空间中排除色饱和度边界461内的空间、亮度下限边界462以下的空间、亮度上限边界463以上的空间。色饱和度边界461内的空间提供低色饱和度，由该空间内的位置所代表的任何颜色都无法被人类感知为红色、黄色、绿色、或蓝色。
亮度下限边界462以下的空间提供低亮度，由处于该空间内的位置所代表的任何颜色都无法被人类感知为红色、黄色、绿色、或蓝色。
亮度上限边界463以上的空间提供高亮度，处于该空间内的位置所代表的任何颜色都无法被人类感知为红色、黄色、绿色、或蓝色。
在除色饱和度边界461内的空间、亮度下限边界462以下的空间、亮度上限边界463以上的空间之外的L*a*b*空间内的任何颜色可以被人类感知为红色、黄色、绿色、或蓝色。
如图42所示，通过从垂直于由a*轴和b*轴构成的平面的L*轴放射性延伸的边界来分割除色饱和度边界461内的空间、亮度下限边界462以下的空间、亮度上限边界463以上的空间之外的L*a*b*空间的空间。例如，如果从L*轴正值部分以上的位置观看L*a*b*空间，则绿色子空间481为沿着a*轴并被在a*轴负值部分以上从L*轴延伸的边界和在a*轴负值部分以下从L*轴延伸的边界所包围的空间。
如果从L*轴正值部分以上观看L*a*b*空间，则蓝色子空间482为沿着b*轴并被向b*轴负值部分右侧从L*轴延伸的边界和向b*轴负值部分左侧从L*轴延伸的边界所包围的空间。通过蓝色子空间482内的位置代表的颜色被人类感知为蓝色。
如果从L*轴正值部分以上观看L*a*b*空间，则红色子空间483为沿着a*轴并被向a*轴正值部分以上延伸的边界和向a*轴负值部分以下延伸的边界所包围的空间。红色子空间483内的位置所代表的颜色被人类感知为红色。如果从L*轴正值部分之上观看L*a*b*空间，则黄色子空间484为沿着b*轴并被向b*轴正值部分右侧延伸的边界和向b*轴正值部分左侧延伸的边界所包围的空间。黄色子空间484内的位置所表示的颜色被人类感知为黄色。
在步骤S223中，红色相关度提取器402计算对应于像素颜色的在L*a*b*空间内的位置。在步骤S224中，红色相关度提取器402确定所计算的在L*a*b*空间内的位置是否落入对应于红色颜色名的红色子空间483中。具体而言，在步骤S224中，红色相关度提取器402确定像素的颜色是否为能被人类感知为红色的颜色。
如果在步骤S224中确定所计算的在L*a*b*空间内位置在对应于红色颜色名的红色子空间483内，则像素颜色为能被人类感知的颜色，处理前进至步骤S225。红色相关度提取器402将计数器加1，随后前进至步骤226。
如果在步骤S224中确定所计算的在L*a*b*空间中位置不在对应于红色颜色名的红色子空间483内，则像素的颜色不是被人类感知为红色的颜色。处理跳过步骤S225前进至步骤S226，即，不增加计数器。
在步骤S226中，红色相关度提取器402确定是否已经处理了原图像201中的所有像素。如果在步骤S226中确定没有处理完原图像201中的所有像素，则处理返回到步骤S222。输入颜色(即，原图像201中下一像素的像素值)，随后重复上述处理。
如果在步骤S226中确定已经处理了原图像201中的所有像素，则处理前进至步骤S227。红色相关度提取器402将计数器的计数值除以原图像201的像素值。以这种方式，计算在原图像201中被确定为红色的颜色的比率。
在步骤S228中，红色相关度提取器402将除法结果视为红色相关度，并将红色相关度提供给提取特征记录器405，从而完成其处理。
已经讨论了L*a*b*空间的子空间。本发明不限于L*a*b*空间。可以采用使用空间来描述颜色名的颜色的颜色空间。使用这样的颜色空间，可基于颜色空间中的子空间来确定相关度。
在图37的相关度提取处理中，执行关于确定每个像素的颜色是否落入子空间内的二进制值确定处理。各个像素的颜色是否接近于子空间中心附近或是否接近于子空间的外围可用于确定相关度。
下面，描述在该情况下的相关度提取处理。
图43是详细示出当在步骤S203中识别出红色相关度提取器402时执行的图36的步骤S204中的另一相关度提取处理的流程图。在步骤S241中，红色相关度提取器402清除所存储的相关度。在将被第一次执行的步骤S242中，红色相关度提取器402接收颜色(即，原图像201的像素中的第一像素的像素值)。在步骤S243中，红色相关度提取器402计算对应于像素颜色的在颜色空间中的位置。
在步骤S244中，红色相关度提取器402计算所计算的在颜色空间中的位置落入对应于颜色名的子空间内的确信因子。具体来说，在步骤S244中，红色相关度提取器402计算所计算的在颜色空间中的位置落入对应于红色颜色名的子空间483内的确信因子。
确信因子(certainty factor)为表示每个像素的颜色接近于子空间的中心附近或接近于子空间的外围的确定性程度，并随着所计算的位置向外远离子空间的中心而从1～0持续减小。
例如，在步骤S244中，当所计算的位置接近于红色子空间483的中心时，红色相关度提取器402得出确信因子接近于1，当所计算的位置接近于红色子空间483的外围时，得到确信因子接近于0。
在步骤S245中，红色相关度提取器402将确信因子与相关度相加。在步骤S246中，红色相关度提取器402确定当前的像素是否为最后的像素，即，是否已经处理了原图像201中的所有像素。如果在步骤S246中确定像素不是最后一个，则处理返回到步骤S242。输入颜色(即，原图像201中下一像素的像素值)，并重复上述处理。
如果在步骤S246中确定当前像素为最后的像素，即，已经处理了原图像201中的所有像素，则红色相关度提取器402将红色相关度提供给提取特征记录器405，并完成其处理。
如果基于确信因子计算相关度，则所得的相关度更接近于人类感观。特别地，当图像包括大量更接近于子空间边界的颜色时，得出更可靠的相关度。
在参照图37描述的相关度提取处理的步骤S224中的处理为二进制分类处理，用于确定像素颜色是否为特定颜色名的颜色，可以用各种模式识别技术来代替。
下面，描述使用这种技术的相关度提取处理图44是详细示出当在步骤S203中识别出红色相关度提取器402时在图36的步骤S204中执行的另一相关度提取处理的流程图。步骤S261和S262分别与图37的步骤S221和S222相同，此处省略对其的讨论。
在步骤S263中，红色相关度提取器402识别像素颜色的模式。
例如，在步骤S263中，红色相关度提取器402使用神经网络识别像素的颜色。例如，在由CORONA PUBLISHING CO.LTD出版的作者为Junichiro TORIWAKI的“Recognition Engineering-Pattern Recognition and Applications thereof”中描述了使用神经网络的模式识别技术。
在该模式识别中，预先人工收集表示具有特定颜色值(L*a*b*)的颜色是否为特定颜色名的颜色的多条确定数据，对所收集的确定数据执行神经网络学习处理，以生成识别所需的参数。
图45示出了表示颜色值是否为蓝色的确定数据的实例。在图45的确定数据中，通过L*值0.02、a*值0.04、b*值0.10识别的颜色不是蓝色，通过L*值0.72、a*值0.00、b*值0.12识别的颜色是蓝色，而通过L*值0.28、a*值-0.02、b*值0.15识别的颜色不是蓝色。
神经网络的使用允许根据这样生成的参数将像素的颜色确定为特定颜色名的颜色。
只要能够确定像素的颜色是否为特定颜色名的颜色，就可以采用任意模式识别技术。例如，可使用支持向量机(SVM)技术。
在步骤S264中，红色相关度提取器402确定关于像素的颜色是否属于红色的识别结果。如果在步骤S264中确定像素的颜色属于红色，则处理前进至步骤S265。红色相关度提取器402将计数器加1，随后前进至步骤S266。
如果在步骤S264中确定像素的颜色不属于红色，则处理跳过步骤S265前进至步骤S266，即，不增加计数器。
步骤S266～S268分别与步骤S226～S228相同，此处省略对其的讨论。
此外，可以使用模式识别技术来计算确信因子。
图46是详细示出当在步骤S203中识别出红色相关度提取器402时在图36的步骤S204中执行的相关度提取处理的流程图。步骤S281与图43的步骤S241相同，此处省略对其的讨论。步骤S282和S283分别与图44的步骤S262和S263相同，此处省略对其的讨论。
在步骤S284中，红色相关度提取器402计算像素的颜色属于一定颜色名的颜色的确信因子，作为识别结果。具体而言，在步骤S284中，红色相关度提取器402计算像素的颜色属于红色的确信因子作为识别结果。例如，可将输入到神经网络输出层的值作为确信因子。
步骤S285和步骤S286分别与图43的步骤S245和S246相同，此处省略对其的讨论。
除蓝色相关度提取器403和黄色相关度提取器404的操作和子空间不同之外，当在步骤S203中识别蓝色相关度提取器403时在图36的步骤S204中执行的相关度提取处理和当在步骤S203中识别黄色相关度提取器404时在图36的步骤S204中执行的相关度提取处理分别与当在步骤S203中识别红色相关度提取器402时在步骤S204中执行的相关度处理相同。其余处理与参照图37、43、44、以及46讨论的处理保持不变，此处省略对其的讨论。
图47是示出检索处理的流程图。在步骤S311中，检索条件输入单元421响应于来自通过用户操作的输入单元76的信号，获取与相关度相关的检索条件。检索条件输入单元421将与相关度相关的检索条件提供给条件匹配单元422。
如图48所示，在作为显示单元的输出单元77上显示图形用户界面(GUI)图像。如图48所示，由用户操作的滑动条491指定每种颜色的粒度(阈值)作为检索条件。当通过用户选中复选框492时，在步骤S311中获取对应于所选复选框492的由滑动条491指定的颜色名的粒度作为检索条件。
当选中黑色复选框492、红色复选框492、以及绿色复选框492时，在步骤S311中获取通过黑色滑动条491指定的黑色粒度、通过红色滑动条491指定的红色粒度、以及通过绿色滑动条491指定的绿色粒度作为检索条件。
当选择AND查找单选按钮493时，将通过滑动条491指定的颜色粒度的逻辑“与”设置为最终检索条件。当选择OR查找单选按钮494时，将通过滑动条491指定的颜色粒度的逻辑“或”设置为最终检索条件。
具体而言，在步骤S311中，检索条件输入单元421获取以针对多个颜色名的逻辑式所表示的检索条件，例如，(“红色”＞0.5)AND(“蓝色”≥0.5)AND(“绿色”＜0.1)。
用户可能希望检索蓝色天空的照片。于是，用户输入检索条件“蓝色”≥0.3。在步骤S311中，检索条件输入单元421获取检索条件“蓝色”≥0.3。
用户可能希望检索摘草莓的照片，并输入检索条件(“红色”＞0.1)AND(“绿色”≥0.3)。在步骤S311中，检索条件输入单元421获取检索条件(“红色”＞0.1)AND(“绿色”≥0.3)。
检索条件中颜色的颜色名不一定是通过相关度提取器所定义(预备)的颜色名。具体而言，检索条件中颜色的颜色名可以为所定义的颜色名的一部分或一个颜色名。
可以直接以数字输入颜色名，随后获取。
在步骤S312中，条件匹配单元422从提取特征存储器146获取将被检索的原图像201的颜色特征矢量。
在步骤S313中，条件匹配单元422确定所获取的颜色特征矢量是否满足检索条件。在步骤S313中，将获取的颜色特征矢量的元素中相对于所选中的复选框492的颜色名的元素与通过滑动条491指定的颜色名的粒度进行比较。如果颜色特征矢量的颜色名的元素高于所指定的粒度，则条件匹配单元422确定颜色特征矢量满足检索条件。
例如，颜色粒度的逻辑“与”可以为最终检索条件。如果颜色特征矢量的颜色名的元素高于在对应于所选中复选框492的颜色名的所有元素中的所指定的粒度，则条件匹配单元422在步骤S313中确定颜色特征矢量满足检索条件。例如，颜色粒度的逻辑“或”可以为最终检索条件。如果颜色特征矢量的颜色名的元素高于在对应于所选中复选框492的颜色名的任意元素中的所指定的粒度，则条件匹配单元422在步骤S313中确定颜色特征矢量满足检索条件。
如果在步骤S313中确定所获取的颜色特征矢量满足检索条件，则处理前进至步骤S314。条件匹配单元422额外将用于识别对应于在步骤S312中获取的颜色特征矢量的原图像201的内容ID存储至检索结果存储器147，随后，前进至步骤S315。
如果在步骤S313中确定所获取的颜色特征矢量不满足检索条件，则处理跳过步骤S314前进至步骤S315，即，不另外将内容ID存储在检索结果存储器147上。
在步骤S315中，检索条件输入单元421确定当前图像是否为最后的图像，即，是否已经完成了所有图像。如果在步骤S315中确定没有检索所有的图像，则处理返回到步骤S312。随后获取下一原图像201的颜色特征矢量，以重复上述处理。
如果在步骤S315中确定当前图像为最后的图像，即，已经检索了所有图像，则处理结束。
在上面的处理之后，在检索结果存储器147中存储识别满足检索条件的原图像201的内容ID。
图49A～图49D示出了存储在检索结果存储器147上并显示在作为显示单元的输出单元77上的通过内容ID识别的原图像201的实例。例如，绿色复选框492可能被选中，绿色滑动条491可以指定粒度。如图49A所示，在输出单元77上显示包括大量绿色的原图像201。可以通过在绿色滑动条491上指定的粒度来选中绿色复选框492，可以通过在红色滑动条491上指定的粒度来选中红色复选框492，并且可以选择AND查找单选按钮493。如图49B所示，在输出单元77上显示包括大量绿色和红色的原图像201。
可以通过在蓝色滑动条491上指定的粒度来选中蓝色复选框492。如图49C所示，在输出单元77上显示包括大量蓝色的原图像201。可以通过在蓝色滑动条491上指定的粒度来选中蓝色复选框492，可以通过在白色滑动条491上指定的粒度来选中白色复选框492，并且可以选择AND查找单选按钮493。在这种情况下，如图49C所示，在输出单元77上显示包括大量蓝色和白色的原图像201。
用户很容易估计在期望的图像中包括什么颜色。因此，用户能够容易地查找并检索期望的图像根据检索结果，用户能够通过缩小了的检索条件(即，修改后的粒度)来检索图像。因此，用户能够更加容易地检索期望的图像。
因此，用户能够根据每个图像的颜色印象和环境直观地检索图像。
由于在图像收集上设置了多种检索条件，所以可以以任意粒度获取图像检索结果。
可以从图像中提取包括相关度的颜色特征矢量，使得可以根据与相关度大小比较的结果或逻辑计算来检索图像。因此，能够快速检索图像。
由于以相对较小位数的数值来描述相关度，因而减小了颜色特征矢量的数据大小。实现了颜色特征矢量的较小记录空间。
数码照相机11和手机12作为设备进行描述。只要设备能够处理图像就可以采用任何设备。例如，可以采用移动播放器或移动取景器作为设备。
当算出了图像的相似程度时，能够以相似性顺序显示图像。计算多个第二图像中的每一个相对于所选第一图像的相似程度，并控制第二图像的显示，使得以相似性顺序来显示第二图像。响应于来自用户的指令，从以相似性顺序显示的第二图像中选择一个第二图像。控制第二图像和与所选第二图像属于相同组的第三图像的显示，使得第三图像和第二图像根据预定顺序在组内显示。在这个配置中，期望图像可通过涉及的少量操作而快速显示。
可以使用硬件或软件执行上面的系列处理步骤。如果使用软件执行上面的系列处理步骤，则可以在包含于硬件结构中的计算机中或执行多种处理的通用个人计算机中安装构成该软件的计算机程序。
如图2和图3所示，记录将被安装在计算机中并将被计算机执行的程序的记录介质包括包括磁盘(包括软盘)、光盘(包括压缩光盘只读存储器(CD-ROM)、数字通用光盘(DVD)、及磁光盘)、或半导体存储器的可移动介质82、以及诸如用于临时或永久存储程序的存储单元78的ROM 72、EEPROM 46、或硬盘。可以使用包括通信单元47、通信单元48、通信单元79、以及通信单元80(例如包括路由器和调制解调器的接口)的有线或无线通信介质、以及局域网、互联网、和数字广播卫星来执行在记录介质上存储程序。
可以以如上所述相同的时序顺序来执行描述将被存储在记录介质上的程序的处理步骤。也可以不以所述时序顺序来执行处理步骤。可选地，可以并行或独立地执行处理步骤。
在本说明书的上下文中，系统指的是包括多个装置的整个系统。
本领域的技术人员应该理解，根据设计要求和其他因素，可以有多种修改、组合、再组合和改进，均应包含在本发明的权利要求或等同物的范围之内。
权利要求
1.一种显示控制装置，包括计算装置，用于计算多个第二图像中的每一个与所选第一图像的相似程度；显示控制装置，用于控制以相似性顺序显示所述第二图像；以及选择装置，用于响应于来自用户的指令，从以相似性顺序显示的所述多个第二图像中选择一个第二图像，响应于所述一个第二图像的选择，所述显示控制装置控制所述第二图像和与所选第二图像属于相同组的第三图像的显示，使得所述第三图像和所述第二图像根据预定顺序在所述组中显示。
2.根据权利要求1所述的显示控制装置，其中，所述显示控制装置响应于所述第二图像的选择，控制所述第二图像和所述第三图像的显示，使得所述第二图像和所述第三图像以图像拍摄时间的顺序显示。
3.根据权利要求1所述的显示控制装置，其中，所述计算装置基于表示所述第一图像和所述第二图像中每一个的颜色数目被减小至的预定数目的颜色中的每一个的出现频率的直方图，计算所述多个第二图像中的每一个与所选第一图像的相似程度。
4.根据权利要求3所述的显示控制装置，其中，所述计算装置计算所述多个第二图像中的每一个与所选第一图像的相似程度，所述相似程度为将所述直方图中每种颜色的出现频率作为其元素的矢量的距离。
5.根据权利要求1所述的显示控制装置，其中，所述计算装置基于直方图计算所述多个第二图像中的每一个与所选第一图像的相似程度，所述直方图表示所述第一图像和所述第二图像中每一个被分割成的预定数目的块中的每一个的最大频率分量的出现频率。
6.根据权利要求5所述的显示控制装置，其中，所述计算装置计算所述多个第二图像中的每一个与所选第一图像的相似程度，所述相似程度为将所述直方图中图像的每个频率分量的出现频率作为其元素的矢量的距离。
7.根据权利要求1所述的显示控制装置，其中，所述计算装置基于存储在数据库中的特征量来计算所述多个第二图像中的每一个与所选第一图像的相似程度，所述特征量为所述第一图像和所述第二图像中每一个的特征量。
8.根据权利要求1所述的显示控制装置，其中，所述显示控制装置以来自所述用户的指令在以与所述第一图像的相似性的顺序显示所述第二图像和以预定顺序显示所述第二图像和属于所述组的所述第三图像之间进行切换的方式，来控制所述第二图像和所述第三图像的显示。
9.一种显示控制方法，包括以下步骤计算多个第二图像中的每一个与所选第一图像的相似程度；控制以相似性顺序显示所述第二图像；以及响应于来自用户的指令，从以相似性顺序显示的所述多个第二图像中选择一个第二图像，响应于所述一个第二图像的所述选择，控制所述第二图像和与所选第二图像属于相同组的第三图像的显示，使得所述第三图像和所述第二图像根据预定顺序在所述组中显示。
10.一种用于使计算机执行以下步骤的计算机程序计算多个第二图像中的每一个与所选第一图像的相似程度；控制以相似性顺序显示所述第二图像；以及响应于来自用户的指令，从以相似性顺序显示的所述多个第二图像中选择一个第二图像，响应于所述一个第二图像的所述选择，控制所述第二图像和与所选第二图像属于相同组的第三图像的显示，使得所述第三图像和所述第二图像根据预定顺序在所述组中显示。
11.一种记录介质，用于存储根据权利要求10所述的计算机程序。
12.一种显示控制装置，包括计算单元，用于计算多个第二图像中的每一个与所选第一图像的相似程度；显示控制单元，用于控制以相似性顺序显示所述第二图像；以及选择单元，用于响应于来自用户的指令，从以相似性顺序显示的所述多个第二图像中选择一个第二图像，响应于所述一个第二图像的选择，所述显示控制单元控制所述第二图像和与所选第二图像属于相同组的第三图像的显示，使得所述第三图像和所述第二图像根据预定顺序在所述组中显示。
全文摘要
一种显示控制装置，包括计算单元，用于计算多个第二图像的每一个与所选第一图像的相似程度；显示控制单元，用于控制以相似性顺序显示第二图像；以及选择单元，用于响应于来自用户的指令，从以相似性顺序显示的多个第二图像中选择一个第二图像。响应于该一个第二图像的选择，显示控制单元控制第二图像和与所选第二图像属于相同组的第三图像的显示，使得第三图像和第二图像根据预定顺序在组中显示。
文档编号G06F3/048GK101013433SQ20071000754
公开日2007年8月8日 申请日期2007年2月1日 优先权日2006年2月1日
发明者儿岛环, 泷本裕士, 竹松克浩 申请人:索尼株式会社