显示与检索对象类似的图像的图像处理装置、以及图像处理方法与流程

本发明涉及对与检索对象类似的图像进行显示的图像处理装置以及图像处理方法。

背景技术：
以往，用户发现未知的植物时，使用摄像装置拍摄该植物，之后，通过将拍摄有该植物的拍摄图像与拍摄有已知植物的多个图像(例如、百科辞典中所刊载的图像)进行比较，能够进行确定该植物的种类等的作业。为了支援像这样用户的作业，存在如下技术：使用存储有拍摄了各种各样植物的多个图像数据的数据库，对拍摄了想要确定种类等的植物的拍摄图像的数据、以及数据库内各图像的数据进行比较处理。在这里，将拍摄有想确定种类等的植物的拍摄图像等的数据，以称为比较处理的对象的数据这样的意味，在以下称为“对象图像数据”。在日本专利特开2007-133816号公报中，公开有如下技术：从存储在数据库的多个图像数据中，减少可能拍摄有与对象图像同一种类的植物的图像数据的个数、换言之，减少成为与对象图像类似的图像(更准确地说是类似的植物的像)的候补的图像数据(以下，称为“候补图像数据”)的个数，将被减少后的多个候补图像与对象图像一起使之显示。但是，植物一般因为颜色具有多样性，所以在应用上述专利文献1记载的技术时，存在用户从多个候补图像中难于以目视确定与对象图像拍摄了同一种类的植物的图像的情况。因此，用户要求实现易于确定检索对象的显示方式，但是在包含日本专利特开2007-133816号公报所记载的技术的以往的技术中，存在该要求不能充分满足的可能。

技术实现要素：
本发明是鉴于这样的状况而完成的，其目的是使用户易于在成为与对象图像和检索图像类似的图像候补的多个图像中，确定检索对象的图像。本发明的一个形态的图像处理装置，其特征在于，具有：图像取得单元，将包含被拍摄体的图像作为对象图像来取得；信息比较单元，对与由所述图像取得单元取得的对象图像有关的第一信息、和与在规定的记录单元中所记录的多种图像组有关的第二信息进行比较；第一选择单元，基于所述信息比较单元的比较结果，选择与所述被拍摄体对应的所述图像组的种类；第二选择单元，基于与由所述图像取得单元取得的对象图像有关的第二信息，按照由所述第一选择单元选择的图像组的每一种，选择代表图像；以及显示控制单元，使由所述第二选择单元选择的代表图像分别显示。附图说明图1是示出本发明的一个实施方式涉及的图像处理装置的硬件构成的框图。图2是示出在图1的图像处理装置的功能性构成中、用于执行代表图像显示处理的功能性构成的功能框图。图3是对具有图2的功能性构成的图1的图像处理装置执行的代表图像显示处理的流程进行说明的流程图。图4A是示出在图1的图像处理装置的输出部中显示对象图像的具体例的图，图4B是示出在图1的图像处理装置的输出部中选择与对象图像对应的代表图像的具体例的图，图4C是示出在图1的图像处理装置的输出部中显示代表图像的具体例的图。具体实施方式以下，对于本发明的实施方式使用附图进行说明。图1是示出本发明的第一实施方式涉及的图像处理装置的硬件构成的框图。图像处理装置1例如可构成为能够与互联网连接的便携式电话。图像处理装置1具有CPU(CentralProcessingUnit)11、ROM(ReadOnlyMemory)12、RAM(RandomAccessMemory)13、总线14、输入输出接口15、输出部16、输入部17、摄像部18、存储部19、通信部20、以及驱动器21。CPU11按照ROM12所记录的程序、或由存储部19向RAM13所加载的程序执行各种处理。RAM13适宜地存储CPU11执行各种处理所需要的数据等。该总线14另外也连接有输入输出接口15。在输入输出接口15连接有输出部16、输入部17、摄像部18、存储部19、通信部20以及驱动器21。输出部16由显示器或扬声器等构成，输出图像或声音。输入部17由各种按钮构成，根据用户的指示操作来输入各种信息。另外，在这里所说的各种按钮等不仅是硬件按钮，也包含在输出部16的画面显示的软件按钮。即，输入部17构成为也包含层叠在输出部16的显示器的触摸面板。摄像部18拍摄被拍摄体，将包含该被拍摄体像的图像(以下，称为“拍摄图像”)的数据供给到CPU11。存储部19由硬盘或DRAM(DynamicRandomAccessMemory)等构成，存储各种图像数据、拍摄图像的数据之外，存储有应用程序等的各种程序等。通信部20通过包含互联网的网络控制与其他装置(未图示)之间进行的通信。在驱动器21适宜地安装由磁盘、光盘、光磁盘、或者半导体存储器等构成的可移动介质31。由驱动器21从可移动介质31读出的程序根据需要安装到存储部19。另外，可移动介质31与存储部19相同，也能够存储存储部19所存储的图像的数据等的各种数据。图2是示出在图1的图像处理装置1的功能性构成中、用于执行代表图像显示处理的功能性构成的功能框图。所说的代表图像显示处理是指以由用户按下未图示的电源按钮为契机而开始的如下的处理。即所谓代表图像显示处理，是指基于在对象图像上包含作为被拍摄体的物体的形态的特征信息，选择一个以上每个品种的候补，并基于被拍摄体的颜色的特征信息，从选择出的候补中进一步选择代表图像，并将该代表图像作为候补图像与对象图像一起进行显示之前的一系列处理。在这里，包含用户想要确定种类的物体作为被拍摄体的图像在本实施方式中称为“对象图像”。另外在数据库等事先存储的、将包含各种各样的物体作为被拍摄体的多个图像中，存在包含与对象图像同一种类的物体的可能性的图像的候补在本实施方式中称为“候补图像”。在CPU11，在控制代表图像显示处理的执行的情况下，图像取得部41、一次选择部42、二次选择部43、以及显示控制部44发挥功能。另外，作为图像处理装置1的存储部19的一部分区域，设置有信息存储部51、以及图像存储部52。另外，信息存储部51以及图像存储部52作为存储部19的一部分区域而被设置的情况仅为例示，此外也可以例如设置为可移动介质31的一部分区域。图像取得部41例如将从摄像部18输出的拍摄图像的数据作为对象图像的数据来取得。对象图像所包含的被拍摄体未被特别限定，但在本实施方式中，假设为在自然物中颜色具有多样性的植物的“花”。即，对图像处理装置1进行操作，将想要确定的花作为被拍摄体进行拍摄。于是，从拍摄部18输出将包含该花作为被拍摄体的拍摄图像的数据。图像取得部41将该拍摄图像的数据作为对象图像数据来取得。像这样，图像取得部41例如以受理用户针对输入部17的图像取得操作为契机，从摄像部18取得拍摄图像的数据作为对象图像的数据。图像取得部41向一次选择部42供给取得了的对象图像的数据。另外，在图2的例子中，对象图像的数据的供给源被设为拍摄部18，但没有被特别限定，可以是任意。例如，图像取得部41能将在互联网等的网络上的其他的装置所保持的图像的数据经由通信部20作为对象图像数据来取得。另外，例如图像取得部41能将在可移动介质31所存储的图像数据经由驱动器21作为对象图像的数据来取得。一次选择部42首先确定与对象图像相关联的颜色具有多样性的花的种类的候补，作为针对从图像取得部41供给的对象图像的候补图像的一次选择。具体地说，在候补信息取得部51中存储有可将花的种类进行分类的信息。在这里，所说的信息是指形状、模样、或色彩或它们的组合。但是，在本实施方式中，在该品种中，从具有代表性的形态的花的图像的数据中提取出的与形态有关的特征信息按照每N(N是整数)种类的品种各设置一个候补信息，存储在信息存储部51。于是，一次选择部42从N种类的品种中确定与对象图像中所包含的花是同一品种的可能性高的m种类(m是N以下的整数值)的品种。更具体地说，一次选择部42基于对象图像的数据，提取与该对象图像所包含的花的形态有关的特征信息。并且，一次选择部42对于提取出的特征信息，通过计算信息存储部51中所存储的各种类的候补信息(特征信息)的欧几里得距离等来计算针对对象图像的类似度。并且一次选择部42基于一次选择结果，将类似度与上位1～m位的特征信息的各个对应的1～m位的品种作为与对象图像所包含的花是同一品种的可能性高的候补来进行选择。另外，对于由一次选择部42选择的品种的候补的具体例子，参照后述的图4进行说明。二次选择部43基于由图像取得部41取得的对象图像的数据中所包含的与被拍摄体的颜色有关的信息，按照各品种的每个候补，在预先存储的同一品种中，从在被拍摄体中包含的颜色不同的花的多个图像(图像组)的数据中，分别选择与对象图像的花同一颜色或类似颜色的花的图像的数据，作为代表数据。具体地说，在图像存储部52中存储有可将花的颜色分类的颜色信息以及与此对应的图像。图像存储部52所存储的信息没有被特别地限定，例如也可以是每个品种的图像数据的形态。但是在本实施方式中，将M(M为整数值)种类的品种当中各品种所包含的1个以上的图像的颜色的特征信息分别存储在图像存储部52中。于是，二次选择部43对于由一次选择部42选择的品种的候补中1～m位的品种的候补的每一个选择代表图像。更具体地说，二次选择部43基于对象图像的数据，提取该对象图像所包含的有关被拍摄体的颜色的特征信息。并且，二次选择部43对于提取出的特征信息，通过计算与在图像存储部52所存储的各种类中的1个以上的图像所具有的颜色信息(特征信息)的欧几里得距离等，来计算针对对象图像的类似度。并且，二次选择部43作为二次选择结果，对由一次选择部42所选择的品种的候补中1～m位的品种的每一个，将与类似度上位一位的特征信息的每一个对应的1～m位的品种对应的图像选择为与对象图像所包含的花为同一颜色的可能性高的代表图像。另外，对于由二次选择部43选择代表图像的具体例子参照后述的图4进行说明。二次选择部43将选择出的代表图像的数据提供给显示控制部44。显示控制部44将由二次选择部43所选择的代表图像作为候补图像，执行在输出部16显示按照每个品种配置的候补图像与对象图像的控制。接着，参照图3，对像这样的图2的功能性构成的图像处理装置1执行的代表图像显示处理进行说明。图3是对具有图2的功能性构成的图1的图像处理装置1执行的代表图像显示处理的流程进行说明的流程图。代表图像显示处理以由用户按下图像处理装置1的输入部17(参照图1)的电源按钮为契机而开始，反复执行如下的处理。在步骤S11中，图像取得部41基于用户的输入部17的操作，判断是否受理了图像取得操作。在未受理图像取得操作的情况下，在步骤S11判断为否，处理返回到步骤S11。即，在受理图像取得操作之前的期间，反复执行步骤S11的处理，代表图像显示处理成为待机状态。与此相对，在受理了图像取得操作的情况下，在步骤S11判断为是，处理进入到步骤S12。在步骤S12中，图像取得部41从摄像部18取得对象图像的数据。在步骤S13中，一次选择部42提取与在步骤S12所取得的对象图像所包含的被拍摄体的形态有关的特征信息。在步骤S14中，一次选择部42基于在步骤S13所提取的与被拍摄体的形态有关的信息来选择多个品种。具体地说，一次选择部42将与对象图像类似度高的1～m位的特征信息的每一个对应的1～m位的品种，作为与对象图像所包含的花为同一品种的可能性高的候补进行选择。在步骤S15中，二次选择部43提取与在步骤S12所取得的拍摄图像所包含的被拍摄体的颜色有关的特征信息。在步骤S16中，二次选择部43基于与在步骤S15提取出的颜色有关的特征信息，从在步骤S14所选择的每个品种的候补中选择代表图像。具体地说，二次选择部43在步骤S14所选择的1～m位的品种的候补的母集团中，从图像存储部52选择与在步骤S13提取出的颜色有关的特征信息类似度高的图像作为代表图像。在步骤S17中，显示控制部44执行将在步骤S16所选择的代表图像作为候补图像在输出部16显示的控制。此时，显示控制部44执行将在步骤S12取得的拍摄图像与代表图像一起在输出部16显示的控制。对于由显示控制部44显示代表图像的具体例子参照后述的图4进行说明。在步骤S18中，CPU11判断是否受理了代表图像显示处理的结束指示。在未受理结束指示的情况下，在步骤S18判断为否，处理再次返回到步骤S11。与此相对，在接受了结束指示的情况下，在步骤S18判断为是，代表显示处理结束。接着，对显示代表图像的处理的具体例子参照图4进行说明。图4是示出在输出部16显示代表图像的具体例子。通过用户进行的输入部17的操作来进行图像取得处理操作时，如图4A所示，由图像取得部41从摄像部18取得对象图像111的数据。在本实施方式中，在对象图像111包含有颜色多样性的紫红色的松叶菊的花121。在取入对象图像111时，一次选择部42提取与拍摄图像所包含的松叶菊的花121的形态有关的特征信息。一次选择部42基于与提取出的形态有关的特征信息、以及与信息存储部51所存储的多个品种的候补的形态有关的特征信息，进行图形匹配，计算针对各品种候补的类似度。并且，一次选择部42以算出的类似度从高到低的顺序选择3种。在本实施方式中，作为选择的品种，按照类似度从高到低的顺序，选择第一位的“松叶菊”、第二位的“牵牛花”、以及第三位的“向日葵”。在选择品种的候补时，二次选择部43提取与对象图像所包含的松叶菊的花121的颜色有关的特征信息。二次选择部43基于与提取出的颜色有关的特征信息，以及图像存储部52所存储的多个图像中的、由一次选择部42所选择的一个以上的品种的候补对应的图像所包含的被拍摄体的颜色有关的特征信息，进行图形匹配，从而计算针对各图像的类似度。并且，二次选择部43对于由一次选择部42所选择的品种的候补(在本实施方式中，从第一位到第三位的三个品种)，从在同一品种的多个颜色不同的图像中选择一个图像作为代表图像。具体地说，如图4B所示，二次选择部43从与由一次选择部42所选择的作为第一位的品种的“松叶菊”对应的颜色不同的图像131a、131b、131c中选择与颜色有关的类似度最高的图像131a作为代表图像。同样地，二次选择部43从由一次选择部42所选择的与作为第二位的品种“牵牛花”对应的颜色不同的图像141a、141b中选择与颜色有关的类似度最高的图像141b作为代表图像。与作为由一次选择部42所选择的第三位品种的“向日葵”对应的图像151a因为仅存在一个，所以二次选择部43选择该图像151a作为代表图像。在图4的例子中，示出了按照每种阴影线的类别而颜色不同。松叶菊的花121、图像131a以及图像141b表示“紫红色”，图像131b表示“橙色”，图像131c表示“白色”，图像141a表示“蓝色”，图像151a表示“黄色”。如图4C所示，显示控制部44执行将由二次选择部43所选择的各代表图像131a、141b、151a以及由图像取得部41所取得的对象图像111在输出部16显示的控制。显示控制部44在输出部16的上侧的区域A1配置对象图像111并进行显示。另外，显示控制部44在输出部16的下侧的区域A2，按照由一次选择部42判断为类似度从高到低的顺序配置“松叶菊”的代表图像131a、“牵牛花”的代表图像141b、以及“向日葵”的代表图像151a并进行显示。另外，在各代表图像131a、141b、151a的旁边同时显示各代表图像的品种名“松叶菊”、“牵牛花”、“向日葵”。如以上说明，本实施方式的图像处理装置1具有图像取得部41、一次选择部42、以及二次选择部43。图像取得部41取得包含被拍摄体(自然物)的图像的数据作为对象图像的数据。一次选择部42对由图像取得部41所取得的对象图像作为被拍摄体而被包含的与该自然物的形态有关信息(第一信息)、和在规定的存储部19所存储(记录)的预先准备的多个种类的各个形态有关的信息进行比较，来选择一个以上与被拍摄体对应的品种的候补。并且，二次选择部43在由图像取得部41所取得的对象图像中基于与该自然物颜色有关的信息(第二信息)，按照由一次选择部42所选择的图像组的每个种类对应的一个以上的品种的每个候补，从预先准备的相同品种的颜色不同的多个图像数据中，选择代表图像的数据。由此，即使对在用户的检索对象的对象图像与代表图像之间存在背离这样的、颜色存在多样性的在同一种内的位移大的花等的自然物进行鉴别的情况下，也能够更加容易地确定对象图像内的被拍摄体。即，通过一次选择，能够进行检索对象的品种的鉴别，并且，进一步通过二次选择，能够在选择的品种内进一步进行颜色对比。由此，能更容易地确定成为检索对象的对象图像。另外，在通过一次选择而进行一定程度的母集团的对象的缩减之后，能够进行二次选择，因此可实现处理速度的提高。进而，图像处理装置1的一次选择部42基于与形状有关的信息，选择自然物的品种的候补作为与被拍摄体的形态有关的信息。另外，二次选择部43基于与被拍摄体的颜色有关的信息，按照图像组的每个种类来选择代表图像。由此，在品种内，即使将方差大的自然物(例如、花的颜色或形状等)设置为被拍摄体的情况下、或在拍摄方向上看法存在很大不同的情况下，通过一次选择，能够基于形状进行检索对象的品种的鉴别。并且，鉴别的结果，进一步通过二次选择，在被选择的品种内能够进一步进行颜色匹配。由此，可更易于确定成为检索对象的对象图像。另外，图像处理装置1还具有显示控制部44。显示控制部44对显示图像的显示进行控制，该显示图像包含代表图像、和由二次选择部43所选择的一个以上的每个品种的该代表图像的每一个。由此，能够将对用户提示的代表图像与所取得的花等的自然物的对象图像一起提示。因此，即使是具有颜色多样性的花等的自然物，用户也能够不漏看、容易地鉴别。这样，即使将在品种内方差大的花等的自然体作为被拍摄体的情况下、或在拍摄方向观察角度存在大的不同的情况下，用户也能够容易地把握。因此，能够以易于确定检索对象的形态向用户显示成为与对象图像和检索对象类似的图像的候补的候补图像。另外，由图像处理装置1的图像取得部41所取得的包含被拍摄体的图像是花的图像。由此，可更容易将在颜色上具有多样性的花确定为被拍摄体。即，通过一次选择，进行检索对象的品种的鉴别，并且通过二次选择可与在颜色上具有多样性的花的颜色进行匹配地选择代表图像，因此能够更容易地确定成为检索对象的花的图像。另外，本发明不限于上述的实施方式，在能够实现本发明的目的的范围内的变形、改良等也包含于本发明。尽管在上述的实施方式中，将对象图像和代表图像的被拍摄体作为花来进行说明，但不限于此，以形态的观点，可判断是否为同一种类即可，例如能够采用花以外的植物、动物、人物等各种各样的对象。另外，尽管在上述的实施方式中，二次选择部43从多个颜色不同的图像中，将与对象图像的被拍摄体的颜色有关的类似度最高的图像选择为代表图像，但不限于这些。例如，二次选择部43可将与被拍摄体的颜色有关的类似度为p(1≤p≤n)位的图像选择为代表图像。另外，尽管在上述的实施方式中，应用本发明的图像处理装置1以能够与互联网连接的便携式电话为例进行了说明，但没有特别限定于此。例如，本发明通常可应用于具有显示功能的电子设备。具体地说，本发明可应用于笔记本电脑、数码摄像机、电视机、录像机、便携式导航装置、便携式电话、以及便携式游戏机等。上述的一系列的处理既可以通过硬件执行，也能够通过软件使其执行。换言之，图2的功能性的结构只不过是例示，未特别限定于此。即，图像处理装置1具备可将上述一系列处理作为整体来执行的功能即可，为了实现该功能而使用怎样的功能块未特别限定于图2的例子中。另外，一个功能块可以由硬件单体构成，也可以由软件单体构成，还可以由它们组合构成。在由软件执行了一系列的处理的情况下，构成该软件的程序从网络或记录介质被安装到计算机等。计算机也可以是嵌入至专用硬件的计算机。另外，计算机也可以是通过安装各种程序而可执行各种功能的计算机，例如通用个人计算机。包含像这样程序的记录介质为了向用户提供程序，不仅可由与装置主体单独分发的图1的可移动介质31构成，也能够以预先嵌入装置主体的状态而提供给用户的记录介质等构成。可移动介质31例如由磁光盘(包含软盘)、光盘、或光磁盘等构成。光磁盘例如由CD-ROM(CompactDisk-ReadOnlyMemory)、DVD(DigitalVersatileDisk)等构成。光磁盘由MD(Mini-Disk)等构成。另外，以预先嵌入装置主体的状态向用户提供的记录介质例如由记录有程序的图1的ROM12或包含于图1的存储部19的硬盘等构成。另外，在本说明书中，记述记录在记录介质的程序的步骤可以是沿着该顺序在时序上进行的处理，当然也不一定是时序上的处理，也包含并行的或单独执行的处理。以上尽管对本发明的几个实施方式进行了说明，但这些实施方式只不过是例示，不是对本发明的技术范围的限定。本发明可采用其他的各种各样的实施方式，进而，在不脱离本发明的主旨的范围内，可进行省略或置换等各种各样的变更。这些实施方式或其变形不仅包含在本说明书等所记载的发明的范围和主旨内，并且包含在与权利要求书记载的发明均等的范围内。