专利名称：信息检索系统、信息检索方法、信息检索装置、信息检索程序、图像识别装置、图像识别方 ...的制作方法
技术领域：
本发明涉及一种用户易于对感兴趣的信息进行检索、基于检索到的信息进行商品购买等的信息检索系统、信息检索方法、信息检索装置、信息检索程序、图像识别装置、图像识别方法及图像识别程序、以及销售系统。
背景技术：
例如考虑通过例如作为宣传画或杂志刊登等纸媒体的广告、将电视播送或收音机播送的广告节目的电波作为媒体的广告，用户发现感兴趣的商品的情况。此时，如果在该广告中示出可购买该商品的商店信息，则用户能够根据商店信息直接到该商店购买该商品。当广告中没有刊登可购买该商品的商店信息时，用户需要根据该商品进行推测来寻找商店。
另外，近年来，因特网等网络环境正在发展，在网络上检索期望物品的详细信息或可购买该物品的商店信息变得容易。用户例如使用个人计算机等访问因特网上的检索站点，利用认为是表示期望商品的关键字来检索目的信息。当在检索到的信息中包含有可购买该商品的商店信息时，用户可以到该商店购买该商品。
并且，伴随这种因特网发展的EC(Electronic Commerce电子商务)的出现，根据因特网上的信息检索站点的检索结果，用户实际上不去该商店，也能够通过因特网订购、结算该商品。用户在家就能够得到期望的商品。
另外，近年来广泛普及了带因特网连接功能的便携式电话终端，并且，迅速普及在便携式电话终端带照相机功能的带照相机功能的便携式电话终端，能够简便地进行拍摄，并将拍摄的图像数据发送到因特网。以此为背景，在特开2003-122757号公报中提出了能够得到可根据由照相机拍摄的图像数据来购买期望商品的商店信息的方法。
在该方法中，用户使用带照相机功能的便携式电话终端拍摄期望的商品，通过因特网将拍摄的摄像图像发送给服务器。在服务器中，分析接收到的摄像图像得到特征量信息，根据得到的特征量信息来检索数据库，输出该商品的详细信息、经营该产品的商店所在地信息等，并返给用户的带照相机功能的便携式电话终端装置。用户即使不知道该商品名称等，也能够得到购买该商品所需的信息。
另外，关于对电视播送、收音机播送等中正在播送的内容的信息检索，如下的方法已被实际应用例如当数字BS播送、地面波数字电视播送时，使用因特网连接型电视接收机来接收电视播送，对应于接收到的电视播送检索通过因特网发送的数据。
如下的系统已被实际应用在普通电视接收机的情况下，用户使用个人计算机、带因特网通信功能的便携式电话终端，通过因特网等网络将表示感兴趣的节目、广告节目被播送的时刻的时刻信息发送给服务器，在服务器侧，根据接收到的时刻信息，检索预先准备的、对每个播送台分别保存各时刻的播送内容关联信息(节目名、广告节目信息、演员、乐曲名、艺术家名等)的数据库，将检索结果返给用户。
在上述的根据广告实际去商店、或从因特网上的检索站点等进行期望商品的检索的方法(第一方法)中，存在如下问题点多数情况下用户需要作为该商品名称等字符信息事先记忆物品信息，当不知道该字符信息时，得到可购买目的商品的信息是非常困难的。
例如假设用户看到新的首次放映的电影宣传画，想知道上映的电影院和上映时间。以往，需要记忆或者记录写在宣传画上的电影的标题等字符信息，根据该字符信息在信息检索站点检索所需的信息。此时，在基于记忆的信息的情况下，存在由于记忆错误或忘记等不能够检索、或只得到不合适的检索结果的问题点。另外，在作记录的情况下，存在准备笔记工具、记录用纸等、取记录本身麻烦的问题点。
另外，例如假设用户从杂志的广告中发现了穿着喜欢的鞋子的人物照片。当用户不知道这个鞋是哪个厂商的哪种型号时，存在甚至不能够得到应该作为在上述信息检索站点进行检索的关键字而使用的字符信息的问题点。
并且，例如有如下的情况购买葡萄酒时，没有该葡萄酒到底是哪种味道、由哪个葡萄酒酿酒厂制造并使用了哪种葡萄等必要的信息，不能决定是否应该买。在想要知道信息的葡萄酒瓶的标签上的字符信息是法语的情况下等，在上述现有方法的检索方法中，存在甚至在输入栏中输入关键字都困难的问题点。另外，用现有方法很难满足想要在当场直接得到信息的要求。
图1A以及图1B表示利用该第一方法检索信息来购买商品时的一例的顺序。首先，用户从纸媒体、电视播送、收音机播送等所谓推送介质(push media)，得到商品的信息(步骤S100)。在该阶段中，考虑用户对该商品只具有“感兴趣”程度的关心。接着，用户利用信息杂志等纸媒体、因特网上的信息检索站点等所谓拉取介质(pull media)的媒体，调查价格、规格等该商品的详细信息(步骤S101)。
当用户得到与商品有关的详细信息时确认信息，在得到了多个可购买信息的情况下，比较这些价格(步骤S102)，调查可购买商店的地点(步骤S103)。在该商店作为实体的商店存在的情况下，使用地图确认商店的地点。另外，在该商店对应于EC并作为因特网上的Web站点而存在商店的情况下，确认该商店的URL(Uniform Resurce Locator统一资源定位器)。并且，用户根据自身的预算和认为自身想要购买的商品列表(需要列表)中的该商品的优先顺序，决定是否实际购买该商品(步骤S104)，当设为购买时，转到实际的购买(步骤S105)。
在基于第一方法的商品购买中，有如下的问题点需要对按该步骤S100～步骤S105的各过程分别检索或判断，用户的负担大，并且，这些过程成为非连续的分别独立的处理，从用户对某商品“感兴趣”的状态到购买之前，非常麻烦。另外，还有可能因此在购买感兴趣的商品之前用户已疲惫而失去购买欲望。这意味着从销售商品一方来看，失去了交易机会。
另外，在使用带照相机功能的便携式电话终端拍摄期望的商品并将摄像图像发送到服务器上来得到商品信息的、特开2003-122757号公报所述的方法(第二方法)中，有如下的问题点期望的商品必须为可实际拍摄的状态，例如用户的熟人拥有期望商品而请其拍摄照片、在展览窗中期望的商品以可拍摄的状态陈列等。当然也考虑使用基于纸媒体的广告、电视播送的广告节目等的图像，但是此时也存在需要将该商品单独或者以接近单独的状态显示、限制多的问题点。
并且，在使用网络连接型的电视接收机得到信息的方法(第三方法)中，有需要专用的电视接收机的问题点。另外，有如下的问题点关联信息由于使用数据信道播送，因此，当再现录像的电视播送时，进行录像和再现的设备需要能够进行数据信道的记录。并且，有如下的问题点为了只检索在播送台侧预先准备的信息、或在播送时由数据信道发送关联信息，由于在对播送进行录像后，记录的关联信息不被更新，因此，存在当再现录像的内容时，记录的关联信息变旧而没有意义的情况。
并且，在收看由普通的电视接收机接收到的播送过程中使用个人计算机或便携式电话终端发送时刻信息而得到信息的方法(第四方法)中，有如下的问题点存在由个人计算机或便携式电话终端访问服务器的期间目的影像结束的情况。另外，有如下的问题点用户需要将自己收看的播送台的信息另外预先登记在服务器，花费功夫。并且，有如下的问题点要从对录像的播送进行再现的影像中得到关联信息时，需要预先将该影像的播送台以及播送时刻信息与该影像一起进行记录，需要为此的特殊的录像设备。
另一方面，通过利用经因特网进行商品关联信息的检索以及购买的系统，例如实施如下的服务。
(1)关联信息提供者对有偿检索者提供信息的服务。
(2)与对检索者(用户)所要求的关联信息的关系的有无无关，根据特定的企业的要求，指定该企业而发布信息，得到其广告效果的等价报酬的交易。
(3)将检索所需的系统、关联数据库，利用许诺给需要它们的企业，得到其等价报酬的交易。
(4)检索者得到检索结果后，根据该检索结果希望购买时，向通信销售商介绍该检索者，得到介绍手续费的交易。
(5)检索者自身成为卖主，向其他检索者销售物品的交易。
然而，以往存在如上所述的各种问题点，因此，无法圆满地执行这些服务、交易，其结果，存在很多企业或用户失去交易机会的问题点。
发明内容
因而，本发明的目的在于，提供一种信息检索系统、信息检索方法、信息检索装置、信息检索程序、图像识别装置、图像识别方法及图像识别程序、以及销售系统，使从用户对某商品感兴趣到购买该商品为止的过程连续化、并使用户能够不疲劳地进行商品购买。
为了解决上述问题，权利要求1的发明是一种信息检索系统，根据图像数据进行信息检索，其特征在于，具有终端装置和服务器装置，服务器装置使得能够通过通信网络用终端装置阅览由元数据抽出单元抽出的元数据，其中，终端装置具备图像数据获取单元，获取图像数据；以及发送单元，向通信网络发送由图像数据获取单元获取的图像数据，服务器装置具备第一数据库，登记具有被检索可能性的识别用图像数据；第二数据库，登记与登记在第一数据库中的识别用图像数据对应的元数据；接收单元，通过网络接收从终端装置发送的图像数据；检索单元，根据由接收单元接收到的图像数据，从第一数据库中检索与该图像数据所包含的图像要素一致度高的识别用图像数据；以及元数据抽出单元，根据检索单元的检索结果，从第二数据库抽出元数据。
另外，权利要求16的发明是一种信息检索方法，根据图像数据进行信息检索，其特征在于，具有图像数据获取步骤，由终端装置获取图像数据；发送步骤，从终端装置向通信网络发送由图像数据获取步骤获取的图像数据；接收步骤，通过网络接收由发送步骤发送的图像数据；检索步骤，根据由接收步骤接收到的图像数据，从登记具有被检索可能性的识别用图像数据的第一数据库中，检索与图像数据所包含的图像要素一致度高的识别用图像数据；以及元数据抽出步骤，根据检索步骤的检索结果，从登记与登记在第一数据库中的识别用图像数据对应的元数据的第二数据库，抽出元数据，通过通信网络，能够用终端装置阅览由元数据抽出步骤抽出的元数据。
另外，权利要求17的发明是一种信息检索装置，根据图像数据进行信息检索，其特征在于，具有第一数据库，登记具有被检索可能性的识别用图像数据；第二数据库，登记与登记在第一数据库中的识别用图像数据对应的元数据；接收单元，通过通信网络接收从终端装置发送的图像数据；检索单元，根据由接收单元接收到的图像数据，从第一数据库中检索与图像数据所包含的图像要素一致度高的识别用图像数据；以及元数据抽出单元，根据检索单元的检索结果，从第二数据库抽出元数据，通过通信网络，能够用终端装置阅览由元数据抽出单元抽出的元数据。
另外，权利要求18的发明是一种信息检索方法，根据图像数据进行信息检索，其特征在于，具有接收步骤，通过通信网络接收从终端装置发送的图像数据；检索步骤，根据由接收步骤接收到的图像数据，从登记具有被检索可能性的识别用图像数据的第一数据库中，检索与图像数据所包含的图像要素一致度高的识别用图像数据；以及元数据抽出步骤，根据检索步骤的检索结果，从登记与登记在第一数据库中的识别用图像数据对应的元数据的第二数据库中，抽出元数据，通过通信网络，能够用终端装置阅览由元数据抽出步骤抽出的元数据。
另外，权利要求19的发明是一种信息检索程序，使计算机装置执行根据图像数据进行信息检索的信息检索方法，其特征在于，信息检索方法具有接收步骤，通过通信网络接收从终端装置发送的图像数据；检索步骤，根据由接收步骤接收到的图像数据，从登记具有被检索可能性的识别用图像数据的第一数据库中，检索与图像数据所包含的图像要素一致度高的识别用图像数据；以及元数据抽出步骤，根据检索步骤的检索结果，从登记与登记在第一数据库中的识别用图像数据对应的元数据的第二数据库，抽出元数据，通过通信网络，能够用终端装置阅览由元数据抽出步骤抽出的元数据。
另外，权利要求20的发明是一种图像识别装置，从图像数据识别特定的形状，其特征在于，具有第一数据库，登记具有被检索可能性的识别用图像数据；第二数据库，登记与登记在第一数据库中的识别用图像数据对应的元数据；检索单元，根据输入的图像数据，从第一数据库中检索与图像数据所包含的图像要素一致度高的识别用图像数据；以及元数据抽出单元，根据检索单元的检索结果，从第二数据库抽出元数据。
另外，根据权利要求29所述的发明是一种图像识别方法，从图像数据识别特定的形状，其特征在于，具有检索步骤，根据输入的图像数据，从登记具有被检索可能性的识别用图像数据的第一数据库中，检索与图像数据所包含的图像要素一致度高的识别用图像数据；以及元数据抽出步骤，根据检索步骤的检索结果，从登记与登记在第一数据库中的识别用图像数据对应的元数据的第二数据库中，抽出元数据。
另外，权利要求30的发明是一种图像识别程序，使计算机装置执行从图像数据识别特定的形状的图像识别方法，其特征在于，图像识别方法具有检索步骤，根据输入的图像数据，从登记具有被检索可能性的识别用图像数据的第一数据库中，检索与图像数据所包含的图像要素一致度高的识别用图像数据；以及元数据抽出步骤，根据检索步骤的检索结果，从登记与登记在第一数据库中的识别用图像数据对应的元数据的第二数据库，抽出元数据。
另外，权利要求31的发明是一种销售系统，其特征在于，具有终端装置，获取图像数据发送给通信网络；服务器装置，能够与通信网络进行通信，根据图像数据输出该图像数据的元数据；以及商品销售部，能够提供与元数据关联的信息以及/或者商品，服务器装置对终端装置进行收费，根据从被收费的终端装置发送的图像数据输出元数据，使得能够用终端装置阅览该元数据，并且，将终端装置作为顾客介绍给商品销售部，商品销售部对于作为顾客介绍的终端装置，提供与设为能够阅览的元数据关联的信息以及/或者商品，从终端装置向商品销售部支付提供的信息以及/或者商品的货款。
另外，根据权利要求32所述的发明是一种销售系统，其特征在于，具有终端装置，获取图像数据发送给通信网络；服务器装置，能够与通信网络进行通信，根据图像数据输出该图像数据的元数据；以及商品销售部，能够提供与元数据关联的信息以及/或者商品，服务器装置根据从终端装置发送的图像数据输出元数据，使得能够用终端装置阅览该元数据，从终端装置向服务器装置支付与设为能够阅览的元数据关联的信息以及/或者商品的货款，从服务器装置向商品销售部支付货款的一部分，从商品销售部向终端装置提供信息以及/或者商品。
另外，权利要求33的发明是一种销售系统，其特征在于，具有终端装置，获取图像数据发送给通信网络；服务器装置，能够与通信网络进行通信，根据图像数据输出图像数据的元数据；以及商品销售部，能够提供与元数据关联的信息以及/或者商品，从终端装置向商品销售部发送图像数据，商品销售部使用服务器装置得到与从终端装置发送的图像数据对应的元数据，并且，向服务器装置支付该服务器装置的使用费，商品销售部能够用终端装置阅览使用服务器装置得到的与从终端装置发送的图像数据对应的元数据，终端装置向商品销售部支付与设为能够阅览的元数据关联的信息以及/或者商品的货款。
如上所述，权利要求1、16、17、18以及19的发明，对于由终端装置获取并通过通信网络发送的图像数据，根据图像数据从登记具有被检索可能性的识别用图像数据的第一数据库中，检索与图像数据所包含的像素要素一致度高的识别用图像数据，根据检索结果从登记与登记在第一数据库中的识别用图像数据对应的元数据的第二数据库抽出元数据，使得通过通信网络用终端装置能够阅览抽出的元数据，因此，只通过从终端装置发送图像数据，就能够在终端装置上阅览与发送的图像数据对应的元数据，用户即使没有针对对象物的知识，也能够当场迅速地得到必要的信息。
另外，权利要求20、29以及30的发明，根据输入的图像数据，从登记具有被检索可能性的识别用图像数据的第一数据库中，检索与图像数据所包含的图像要素一致度高的识别用图像数据，根据检索结果，从登记与登记在第一数据库中的识别用图像数据对应的元数据的第二数据库中，抽出元数据，因此，当输入图像数据时，能够得到与输入的图像数据对应的元数据，即使没有对图像数据的对象的知识，也能够得到与该图像数据关联的信息。
另外，权利要求31的发明，具有终端装置，获取图像数据发送给通信网络；服务器装置，能够与通信网络进行通信，根据图像数据输出该图像数据的元数据；以及商品销售部，能够提供与元数据关联的信息以及/或者商品，服务器装置对终端装置进行收费，根据从被收费的该终端装置发送的图像数据输出元数据，使得能够由终端装置阅览上述元数据，并且，将终端装置作为顾客介绍给商品销售部，商品销售部向作为顾客介绍的终端装置提供与能够阅览的元数据关联的信息以及/或者商品，使得从终端装置向商品销售部支付被提供的信息以及/或者商品的货款，因此，终端装置的用户向服务器装置支有偿用，从而，可通过向服务器装置发送由终端装置拍摄的图像数据而得到与图像数据关联的商品、信息，服务器装置能够得到来自用户的费用，商品销售部能够得到向由服务器装置介绍的顾客销售商品、信息的货款。另外，用户即使没有关于摄影对象的商品、信息的知识也能够得到该商品、信息，商品销售部能够获得没有关于正在销售的商品、信息的知识的新顾客。
另外，权利要求32的发明，具有终端装置，获取图像数据发送给通信网络；服务器装置，能够与通信网络进行通信，根据图像数据输出图像数据的元数据；以及商品销售部，能够提供与元数据关联的信息以及/或者商品，服务器装置根据从终端装置发送的图像数据输出元数据，使得能够由终端装置阅览上述元数据，并使得从终端装置向服务器装置支付与设为能够阅览的元数据关联的信息以及/或者商品的货款，从服务器装置向商品销售部支付货款的一部分，从商品销售部向终端装置提供信息以及/或者商品，因此，终端装置的用户向服务器装置支有偿用，从而，通过向服务器装置发送由终端装置拍摄的图像数据可得到与图像数据关联的商品、信息，服务器装置可得到提供信息的商品、信息的货款的一部分，商品销售部能够得到提供信息的商品、信息的剩余的一部分货款。另外，即使用户没有关于摄影对象的商品、信息的知识，也能够得到该商品、信息，商品销售部能够获得没有关于正在销售的商品、信息的知识的新顾客。
另外，权利要求33的发明，具有终端装置，获取图像数据发送给通信网络；服务器装置，能够与通信网络进行通信，根据图像数据输出图像数据的元数据；以及商品销售部，能够提供与元数据关联的信息以及/或者商品，从终端装置向商品销售部发送图像数据，商品销售部使用服务器装置得到与从终端装置发送的图像数据对应的元数据，并且，向服务器装置支付服务器装置的使用费，商品销售部使得能够用终端装置阅览与从使用服务器装置得到的终端装置发送的图像数据对应的元数据，终端装置向商品销售部支付与成为能够阅览的上述元数据关联的信息以及/或者商品的货款，因此，终端装置的用户向服务器装置支有偿用，从而，可通过向商品销售部发送由终端装置拍摄的图像数据而得到与图像数据关联的商品、信息，商品销售部能够得到提供信息的商品、信息的货款，服务器装置能够从商品销售部得到功能的使用费。另外，即使用户没有关于摄影对象的商品、信息的知识，也能够得到该商品、信息，商品销售部能够获得没有关于正在销售的商品、信息的知识的新顾客。
图1A以及图1B是表示根据现有的第一方法检索信息而购买商品时的一例的顺序的概略图；图2A以及图2B是示意性地表示根据本发明的购买处理的概略图；图3是表示根据本发明的一个实施方式的系统结构的一例的概略图；图4A以及图4B是表示用户侧以及服务器侧系统结构的例子的框图；图5A以及图5B是用于说明根据电视播送的广告节目，收集图像数据以及关联信息的方法的图；图6A以及图6B是用于说明从电视播送以外的介质收集图像数据以及关联信息的方法的图；图7是用于说明识别由用户发送的图像数据、抽出元数据的处理的概略图；图8A以及图8B是用于更详细地说明图像识别处理以及元数据抽出处理的概略图；图9A、图9B、图9C、图9D以及图9E是概要性地表示从图像数据得到信息的例子的概略图；图10A、图10B以及图10C是使用更具体的例子表示图像识别处理以及元数据抽出处理的概略图；图11A以及图11B是用于说明根据本发明的一个实施方式的、使用元数据提供的各种服务的例子的图；图12A以及图12B是用于说明根据刊登在杂志或报纸上的感兴趣的照片或报道的图像数据，接受服务的例子的概略图；图13A以及图13B是用于说明根据刊登在杂志或报纸上的感兴趣的照片或报道的图像数据，接受服务的例子的概略图；图14是用于说明根据刊登在杂志或报纸上的感兴趣的照片或报道的图像数据，接受服务的例子的概略图；图15A以及图15B是用于说明根据建筑物的整体或一部分的图像数据，接受服务的例子的概略图；图16A以及图16B是用于说明根据建筑物的整体或一部分的图像数据接受服务的例子的概略图；图17A以及图17B是用于说明根据葡萄酒瓶等的标签的图像数据，接受服务的例子的概略图；图18A以及图18B是用于说明根据葡萄酒瓶等的标签的图像数据，接受服务的例子的概略图；图19A以及图19B是用于说明根据人物图像数据，接受服务的例子的概略图；图20A以及图20B是用于说明根据人物的图像数据，接受服务的例子的概略图；图21A以及图21B是用于说明根据广告图像的图像数据，接受服务的例子的概略图；图22A以及图22B是用于说明根据广告图像的图像数据，接受服务的例子的概略图；图23A以及图23B是用于说明根据广告图像的图像数据，接受服务的例子的概略图；
图24A以及图24B是用于说明根据广告图像的图像数据，接受服务的例子的概略图；图25是用于说明根据广告图像的图像数据，接受服务的例子的概略图；图26A、图26B以及图26C是概念性地表示根据该发明的一个实施方式的服务、与用户及各企业间的关系的概略图；图27是表示对用户进行收费的会员制有偿服务的例子的概略图；图28是表示图像标记服务通过销售商等进行商品销售、代收费的例子的概略图；图29是表示成为图像标记服务将图像标记服务引擎的功能提供给销售商等的功能ASP的例子的概略图；图30是表示图像标记服务向销售商等提供图像标记服务引擎的许可的例子的概略图。
附图标记说明1带照相机功能的便携式电话终端；2因特网；3服务器；4图像数据库；5关联信息数据库；6关联站点；7、70图像数据；30图像特征抽出部；31图像特征比较部；32关联信息检索部；33关联信息输出部；50数据登记工具；51CM自动检测系统；71图像识别应用程序；72图像数据主表；73元数据抽出应用程序；74元数据主表；200图像标记服务；201用户；204销售商等。
具体实施例方式
下面说明本发明的一个实施方式。首先，在说明本发明之前，概要性地说明由本发明的申请人已经实施的服务。
在该服务中，将由电视播送、收音机播送等播送的乐曲、广告节目的关联信息，与播送的时刻信息相对应而在服务器侧预先进行登记。在街上或自家等处正在收看收听的电视播送、收音机播送中播送了感兴趣的音乐、广告节目等时，用户例如使用带因特网通信功能的便携式电话终端向服务器发送时刻信息。在服务器中，根据接收到的时刻信息检索在该时刻正在播送的乐曲、广告节目的关联信息，将检索结果返给用户。由此，用户能够容易地得到感兴趣的乐曲、广告节目等的关联信息。与此同时，在服务器侧，能够开展与提供给用户的乐曲、广告节目信息关联的交易。
在本发明中，其目的在于，将已经实施的上述服务发展地应用于图像数据，对用户提供连续的购买处理。即，在背景技术中叙述的第一方法中，用户从得到信息后到购买为止的步骤S100～步骤S105的各过程，如图1A以及图1B那样是非连续的。在本发明中，其目的在于，如在图2A以及图2B中示意性地示出那样，将信息获取(步骤S1)、信息检索(步骤S2)、信息确认以及价格比较(步骤S3)、可购买商店或者站点检索(步骤S4)、预算确认(步骤S5)、购买或者下载(步骤S6)的各过程设为连续的处理。
图3表示根据本发明的一个实施方式的系统结构的一例。用户发现感兴趣的信息时，例如使用带照相机功能的便携式电话终端1拍摄该信息。作为一例，假设用户发现了用户感兴趣的商品的照片刊登在某杂志“ABCD杂志”的封面。用户使用带照相机功能的便携式电话终端1拍摄该杂志ABCD杂志的封面，将得到的图像数据7通过因特网2发送到服务器3。
服务器3是可通过例如与普通计算机装置相同的结构实现的装置，具有图像数据的分析功能。服务器3具有图像数据库4以及关联信息数据库5。图像数据库4登记表示各种商品的图像、人物的图像、标识图像、字符信息的图像等各种图像数据。下面将已经登记在图像数据库4中的图像称为已登记图像。关联信息数据库5中，与登记在图像数据库4中的图像关联的信息被作为该图像的元数据进行登记。
此外，服务器3不限于由单独的计算机装置构成，也可以由通过网络连接的多个计算机构成。另外，服务器3的功能由安装到服务器3中的程序执行。通过CD-ROM(Compact Disc-Read OnlyMemory光盘只读存储器)等记录介质或网络提供程序。
当接收图像数据7时，服务器3对接收到的图像数据7进行图像识别处理。在该图像识别处理中，检查与包含在图像数据7中的图像要素一致或者极为类似的图像是否登记在图像数据库4中。如果已登记，服务器3从关联信息数据库5中检索与图像数据库4的该已登记图像对应的关联信息。服务器3通过因特网2，向带照相机功能的便携式电话终端1发送基于作为检索结果得到的关联信息的信息。
此外，图像要素是指构成一个图像的具有意思的各个图像。例如，如果图像由戴帽子的人物和标识图像构成，则帽子的图像、人物的图像以及标识图像分别是该图像的图像要素。
登记在关联信息数据库5中的关联信息中，可包含存在于因特网2上的关联站点6的URL(Uniform Resource Locator统一资源定位器)。用户可使用包含在从服务器3发送的关联信息中的URL，访问关联站点6。如果关联站点6对应于EC，可通过因特网2购买商品，则用户可根据包含在从服务器3发送的关联信息中的URL来访问关联站点6，在关联站点6上进行商品的购买。
下面更详细地说明根据本发明的一个实施方式的系统结构。图4A以及图4B表示用户侧以及服务器侧系统的结构的例子。在用户侧，带照相机功能的便携式电话终端1具有照相机部10、显示部11以及接口(I/F)部12。照相机部10例如将CCD(Charge CoupledDevice电荷耦合器件)作为摄影元件使用，将由摄像元件拍摄的摄像信号按规定变换为图像数据输出。图像数据提供给例如将LCD(Liquid Crystal Display液晶显示器)作为显示元件使用的显示部11进行显示。
与此同时，对由照相机部10输出的图像数据进行灰度等级化后的图像数据被提供给接口部12。图像数据的灰度等级化能够通过例如只取出图像数据的亮度成分来进行。
接口部12使用规定的协议控制带照相机功能的便携式电话终端1和因特网2之间的通信。提供给接口部12的图像数据作为图像数据7，通过因特网2向服务器3发送。此时，也可以将用于确定用户的ID信息等与图像数据一起发送。
此外，也可以如图中虚线框所示，设置特征抽出处理部13，从由照相机部10输出的图像数据按规定进行特征抽出，只将抽出的特征数据提供给接口部12。此时，只向因特网2发送特征数据。
用户侧的图像数据获取以及发送单元不限于带照相机功能的便携式电话终端1，只要是能够获取由信息提供侧提供的图像的单元，也可以使用其他的单元。
例如，可考虑如下情况将由数字照相机1B拍摄的图像数据传送到个人计算机(PC)15，由个人计算机15与因特网2进行通信，从而，作为图像数据7发送到服务器3。此时，对于由数字照相机1B拍摄的图像数据，也能够由特征抽出部16预先进行特征抽出，只将抽出的特征数据作为图像数据7发送。特征抽出部16也可以由个人计算机15上的软件构成。
另外，例如，可以将由数字电视接收机1C接收到的数字电视播送的图像数据作为图像数据7发送到服务器3。通过天线20接收到的数字电视播送信号，由接收部21进行规定的信号处理而变成数字视频信号，由显示部22显示。与此同时，数字视频信号根据例如用户对未图示的操作部的操作，抽出某期间的帧或者某1个帧。被抽出的帧作为图像数据7，通过接口部23经因特网2发送到服务器3。
此外，在该数字电视接收机1C中，也可以与上述带照相机功能的便携式电话终端1相同，如图中虚线框所示，设置特征抽出处理部24，预先抽出由接收部21输出的图像数据的特征，只将特征数据作为图像数据7进行发送。
并且，例如由数字电视接收机25接收并由视频记录器26录像的数字视频信号，也可同样作为图像数据7发送到服务器3。通过视频记录器26，再现数字视频信号的某期间的帧或者某1个帧。考虑如下情况将由视频记录器26再现的帧，例如传送给个人计算机27，由个人计算机27与因特网2进行通信，从而，将该帧作为图像数据7发送到服务器3。
此时，也可以由特征抽出部28对从视频记录器26输出的帧预先进行特征抽出，只将抽出的特征数据作为图像数据7发送。特征抽出部28也可以由个人计算机27上的软件构成。
用户侧的图像数据获取以及发送单元除上述的例子以外，也可以使用例如带图像识别功能的家庭用机器人。
此外，在上述的任何例子中，已灰度等级化的图像数据作为图像数据7被发送到服务器3。在用户侧进行特征抽出时，对已灰度等级化的图像数据进行特征抽出。
另外，上述说明了由数字电视接收机1C将电视播送作为数字电视播送来接收，但是当然也可以将电视播送作为模拟电视播送，对由模拟电视接收机接收到的模拟电视播送信号进行数字变换来使用。
对服务器侧系统进行说明。服务器侧系统具有服务器3、图像数据库4、关联信息数据库5以及数据登记部。通过接口部40以及41使用规定的协议，按规定控队服务器3和因特网2之间的通信。由接口部40接收从用户侧通过因特网2发送的图像数据，提供给服务器3。
在数据登记部中，收集CM(广告节目)自动抽出系统51从各信道的电视播送抽出的广告节目、在公开在因特网2上的普通的Web站点52中刊登的信息等，使用数据登记工具50，将图像登记到图像数据库4中。登记时，给予图像唯一的图像ID。数据登记工具50是对图像数据库4、关联信息数据库5高效地进行数据登记的软件。
图像数据库4预先登记有被用户检索的可能性的图像。在图像数据库4中，例如登记标识图像、物品或建筑物的一部分或者整体的图像、人物的图像等。字符信息也被登记在图像数据库4中，也能够进行字符串的分析。
另外，在数据登记部中，从CM自动抽出系统51、普通Web站点52，收集与登记在图像数据库4中的已登记图像关联的关联信息。使用数据登记工具50，将收集的关联信息与该图像和图像ID相对应，登记到关联信息数据库5中。
服务器3具有图像特征抽出部30、图像特征比较部31、关联信息检索部32以及关联信息输出部33。当由接口部40接收在用户侧没有进行特征抽出的图像数据7时，提供给图像特征抽出部30。此外，当由接口部40接收在用户侧预先进行特征抽出的图像数据7时，提供给后述的图像特征比较部31。另外，上述的用户侧的特征抽出部13、16、24以及28与该服务器侧的图像特征抽出部30进行相同的特征抽出处理。
图像特征抽出部30对提供的图像数据7进行特征抽出，输出该结果得到的特征数据。作为由图像特征抽出部30进行的特征抽出处理，可考虑各种方法。作为一例考虑对图像数据执行边缘检测处理，将边缘更显著的部分作为特征点抽出，并将抽出的特征点的位置关系作为特征数据使用。
特征数据被提供给图像特征比较部31。图像特征比较部31对图像数据库4的已登记图像进行特征抽出，将抽出结果得到的特征数据、与由图像特征抽出部30提供的特征数据进行比较。根据比较结果，从图像数据库4的已登记图像中检索与由图像特征抽出部30提供的特征数据的整体或者一部分一致度高的图像。此时，当检索到多个一致度高的已登记图像时，输出这些多个已登记图像的图像ID。
从图像特征比较部31输出的图像ID被提供给关联信息检索部32。在关联信息检索部32中，根据提供的图像ID检索关联信息数据库5。检索结果的与该图像ID表示的图像对应的关联信息被提供给关联信息输出部33。
在关联信息输出部33中，将由关联信息检索部32提供的关联信息变换为用户可阅览的数据。变换后的元数据被提供给接口部41，通过因特网2返给用户。例如，如果是对从带照相机功能的便携式电话终端1发送的图像数据7的关联信息，则该关联信息通过因特网2被发送到带照相机功能的便携式电话终端1。
此外，上述说明了关联信息输出部33向用户发送关联信息，但是并不限于该例。作为一例，关联信息输出部33能够制作显示由关联信息检索部32提供的关联信息的Web站点，在因特网2上呈现给用户。服务器3向用户(带照相机功能的便携式电话终端1)通知已制作的该Web站点的URL，将该Web站点呈现给用户。接收该通知的用户可通过访问记述在通知内的URL，阅览与最初发送的图像数据7对应的关联信息。
另外，上述说明了使图像特征抽出部30对已灰度等级化的图像数据进行特征抽出处理，但是并不限于该例。例如，图像特征抽出部30可对包含颜色信息的图像数据进行特征抽出处理。此时，从用户侧向服务器3发送没有进行灰度等级化的图像数据。并且，由特征抽出部13、16、24、28等在用户侧预先进行特征抽出处理时，也能够对包含颜色信息的图像数据进行特征抽出处理。不限于此，也可以在用户侧预先进行特征抽出处理情况下，对灰度等级化后的数据进行特征抽出处理，在服务器3侧进行特征抽出处理的情况下，对包含颜色信息的图像数据进行特征抽出处理。
下面说明对图像数据库4以及关联信息数据库5的数据登记。首先，使用图5A以及图5B说明根据电视播送的广告节目，收集图像数据以及关联信息的方法。CM自动抽出系统51具有分别与电视播送的各信道对应的多个调谐器511、511、...和CM检测器512。由调谐器511、511、...接收到的电视播送被提供给CM检测器512。CM检测器512从提供的电视播送自动检测广告节目并抽出。电视播送中的广告节目例如可从广告节目以外的播送节目和广告节目的声音数据的差异、情景转换、节目表等进行检测。
在CM自动检测系统51中，根据检测到的广告节目，制作当日播送的新广告节目的列表。新广告节目的列表与由CM自动检测系统51当日检测到的新广告节目的图像数据(视频数据)一起被提供给数据中心60。此外，CM自动检测系统51除了广告节目之外，还抽出播送台的节目宣传节目、事件告知节目等，提供给数据中心60。
在数据中心60中，根据由CM自动检测系统51提供的新广告节目列表以及新广告节目的视频数据，关于各广告节目调查关联信息。例如，分别关于广告节目，调查广告主、代理店、制作公司、具有广告节目中使用的乐曲版权的音乐作品、关联的Web站点或刊登关联信息的普通Web站点等。调查结果，作为广告节目的关联信息，与广告节目的视频数据一起登记在广告节目(CM)信息数据库61。
在图5A以及图5B的例子中，CM信息数据库61，作为与播送关联的信息(元数据)登记首次播送时刻、播送台、广告节目负责人以及版本信息。作为与广告主相关的信息，登记企业名、企业分类、企业的Web站点的URL。作为与商品相关的信息，登记商品名、商品分类以及商品信息(或者，刊登商品信息的关联Web站点的URL)。作为与演员相关的信息，登记演员名以及该演员的台词。作为与影像等演出相关的信息，登记捕捉复制、场景、影像的特征等。另外，作为与乐曲相关的信息，当乐曲名、演奏者或作词者、作曲者、该乐曲收录在CM中而正在出售时，登记该CD的CD编码。
在CM信息数据库61中还登记一致检索用文件。关于由数据中心60提供的视频数据，分别对影像(图像)以及声音进行特征抽出，得到特征数据文件。这些影像(图像)或声音的特征数据文件与广告节目相关联，作为一致检索用文件登记。
登记在该CM信息数据库61中的各信息被登记到关联信息数据库5。另外，收录了广告节目的视频数据被登记到图像数据库4。优选在图像数据库4中登记与上述的图像数据相关的特征数据文件时，这样易于进行图像数据的检索。
使用图6A以及图6B说明从电视播送以外的介质收集图像数据以及关联信息的方法。在此，作为信息源设想因特网上的Web站点。例如，作为信息源考虑刊登各种宣传文的Web站点、各种新闻站点、各种信息站点、报社的Web站点、出版社的Web站点(特别是与由该出版社出版的杂志关联的Web站点)、关联Web站点、普通Web站点等。并不限于此，也可以将各种杂志、报纸的纸介质作为信息源。
在数据中心60，例如每日监视这些Web站点，当发现了当日新发表的新商品、话题商品、事件等时，制作发现的信息的列表。根据该列表，向信息的发表人、商品的销售店等询问详细信息，或者进一步调查关联Web站点或刊登关联的信息的普通Web站点。根据询问结果或调查结果，在商品(内容)信息数据库62中登记信息。
在图6A以及图6B的例子中，商品(内容)信息数据库62，作为与销售源关联的信息(元数据)登记销售源企业、该企业的分类、该企业的标识图像。作为与销售期间、地区相关的信息，登记销售开始日、销售地区。作为与销售店相关的信息，登记销售店名、该销售店的分类、该销售店的Web站点的URL。作为与商品(内容)相关的信息，登记商品名、该商品的分类、商品编号、JAN代码、与该商品关联的商品信息、与该商品关联的Web站点的URL。作为与价格关联的信息，登记销售价格。
另外，商品(内容)信息数据库62，登记显示企业的标识图像或商品的图像数据、与商品关联的图像数据。
登记在该商品(内容)信息数据库62中的各信息被登记到关联信息数据库5。另外，登记在该商品(内容)信息数据库62中的各图像数据被登记到图像数据库4。优选将进行各图像特征抽出的结果得到的特征数据文件登记到图像数据库4，这样易于进行图像数据的检索。
此外，上述的CM信息数据库61以及商品(内容)信息数据库62的结构是一例，登记的项目不限于上述的例子。并且，上述说明了使CM信息数据库61、商品(内容)信息数据库62、图像数据库4以及关联信息数据库5为各自独立的数据库，但是，数据库的结构并不限于该例。例如，也可以使这四个数据库统一为一个数据库而构成。
下面使用图7概要性地说明识别由用户发送的图像数据、抽出元数据的处理。在图7中，图像识别应用程序71以及元数据抽出应用程序73是在服务器3上可执行的应用程序。
由用户向服务器3发送图像数据70、70、...。在服务器3中，通过图像识别应用程序71，对由用户发送过来的图像数据70、70、...执行特征抽出处理，抽出特征数据。图像识别应用程序71对于图像数据主表72(与图像数据库4对应)，检索特征数据与从图像数据70抽出的特征数据一致或者极为类似的已登记图像，作为检索结果输出图像ID。字符信息也可以作为文本数据输出。在一个图像数据70中例如像人物和商品那样包含有多个图像要素时，分别对这些多个图像要素输出一致或者极为类似的图像的图像ID。图像ID从图像识别应用程序71交给元数据抽出应用程序73。
元数据抽出应用程序73从元数据主表74检索与接收到的图像ID对应的元数据，输出一致图像的元数据75。当接收到多个图像ID时，检索分别与这些多个图像ID对应的元数据，输出各一致图像的元数据75、75、...。此外，元数据主表74对应于关联信息数据库5，元数据对应于关联信息。
使用图8A以及图8B更详细地说明图像识别处理以及元数据抽出处理。此外，由用户发送来由多个帧构成的动态图像数据70’时，作为每帧的图像数据70、70、...进行处理。此时，如果需要，也可以从动态图像数据70’按规定选择性地删除一部分帧而得到每帧的图像数据70、70、...。
在此，包含在图像数据70中的图像要素可分为普通的物体形状、人物(相貌)以及字符的性质各不相同的三类。图像识别应用程序71，为了分别进行对这些性质不同的三类图像要素的识别处理，具有图案识别引擎71A、人物识别引擎71B以及字符识别引擎71C。另外，图像数据主表72也分别对应于三类的数据，具有普通图像主表72A、人物图像主表72B以及字符串主表72C。图像数据70、70、...分别输入到图案识别引擎71A、人物识别引擎71B以及字符识别引擎71C。
图案识别引擎71A进行对普通物体的形状的图像识别处理。图案识别引擎71A将在普通图像主表72A中已登记的图像的特征点的图案、与由用户发送过来的图像数据70的特征点的图案进行比较，抽出一致或者类似度高的、即一致度高于规定值以上的已登记图像。例如，在已登记图像和来自用户的图像数据70的特征点彼此等之间进行比较，算出一致度的评分，将评分为规定值以上的已登记图像作为一致度高的已登记图像抽出。从一个图像数据70得到多个一致度为规定值以上的已登记图像时，分别抽出得到的多个已登记图像。
从图案识别引擎71A输出这样抽出的已登记图像的图像ID 76、76、...。根据这些图像ID 76、76、...，可得到包含在图像数据70中的普通的物体的候选名称。
另外，由用户发送过来的图像数据70，并不限于始终以合适的角度拍摄被摄体。因此，利用图案识别引擎71A进行图案比较时，对多个特征点进行位置关系的运算，从而，即使用户摄影时的角度与已登记图像的角度有某种程度、例如45°左右的差，也能够进行一致检索。
并且，如上所述，由用户发送过来的图像数据7在用户侧被灰度等级化，因此，不受摄影时的照相机装置的颜色差异、照明光的颜色的影响，能够更正确地进行识别。
并且，另外将由用户发送过来的图像数据70和已登记图像进行比较，算出一致度的评分，根据评分判断特征点的一致度，因此，即使图像数据7的一部分与已登记图像不同时，尽管不同也可以作为一致度高的图像抽出。例如，当用户拍摄了建筑物的一部分时，在图像数据70中拍摄有在对应的已登记图像中没有的广告牌等，也能够作为一致度高的图像抽出。另外，即使在由用户发送过来的图像数据70和已登记图像之间相对实物的摄像图像的范围不同，也能够作为一致度高的图像抽出。
人物识别引擎71B对图像数据70进行人物识别处理，识别到类似脸的图像时，进行相貌的识别。该从图像数据70识别类似脸的图像的技术，已经被实际应用。在相貌的识别中，在作为脸识别的部分上设置多个特征点，根据这些多个特征点的位置关系，算出对在人物图像主表72B上已登记的相貌图像的评分，将评分为规定值以上的已登记图像作为一致度高的相貌图像抽出。从一个图像数据70得到多个一致度为规定值以上的相貌图像时，分别抽出得到的多个已登记图像。
从人物识别引擎71B输出这样抽出的已登记图像的图像ID 77、77、...。根据这些图像ID 77、77、...，可得到包含在图像数据70中的人物的候选名字。
作为这种相貌图像的抽出技术，例如可以使用已经实际应用的使用伽柏小波(ガボ一ルウエ一ブレツト)变换以及图形匹配的脸认证技术、使用扰动空间法以及应用区域混合匹配法的脸认证技术等。
与上述相同，由用户发送过来的图像数据70，在用户侧被灰度等级化，因此，不受拍摄时的照相机装置的颜色的差异、照明光的颜色的影响，可更正确地进行识别。
另外，将由用户发送过来的图像数据70和已登记图像进行比较，算出一致度的评分，并根据评分判断一致度，因此，即使图像数据70的一部分与已登记图像不同时，尽管不同也能够作为一致度高的图像抽出。例如，拍摄为图像数据70的人物戴着帽子或眼镜，即使与关于同一人物的已登记图像不同，也能够作为一致度高的图像抽出。
字符识别引擎71C对图像数据70进行字符识别处理，抽出字符信息。字符信息的抽出能够使用通常进行的OCR(OpticalCharacter Reader光符阅读机)的技术。字符串主表72C例如构成单词词典，可根据检测出的字符来检测单词。根据识别结果参照字符串主表72C，检索是否有规定值以上的一致度的字符串。如果有一致的字符串，则输出该字符串数据78。当从一个图像数据70得到多个一致度为规定值以上的字符串时，得到的多个字符串数据78、78、...作为候选分别输出。
从图案识别引擎71A输出的图像ID76、76、...、从人物识别引擎71B输出的图像ID77、77、...、以及从字符识别引擎71C输出的候选字符串78、78、...，分别有对于一个图像得到多个候选的可能性，可以说是不明确的结果。元数据抽出引擎73A根据由这些引擎71A、71B以及71C识别的多个不明确的结果，检索元数据主表74，抽出对应的元数据75、75、...。而且，判断为这些元数据75、75、...之间有共同部分对应于实际包含在图像数据70中的图像。
此外，由用户发送动态图像数据70’、将其分解为每帧的图像数据70、70、...时，可判断为很多个每帧的图像数据70、70、...共同包含的识别结果对应于实际包含在动态图像数据70’中的图像。例如，判断为每帧的图像数据70、70、...的规定值以上比例共同包含的识别结果对应于实际包含在动态图像数据70’中的图像。
图9A、图9B、图9C、图9D以及图9E概要性地表示由各引擎71A、71B以及71C从图像数据70得到的信息的例子。图9A是图像数据70作为图像要素包含标识图像和文本图像的例子。利用图案识别引擎71A识别标识图像。作为物品的形状不详。图像数据70不包含类似脸的图像，因此，人物识别引擎71B不输出识别结果。利用字符识别引擎71C识别配置在标识图像的下部的字符串。
图9B是图像数据70作为图像要素包含物品(鞋)的图像、对于物品附带标识图像的例子。利用图案识别引擎71A识别物品的形状是鞋，并且识别附带在被识别为鞋的物品表面上的标识图像。图像数据70不包含字符，因此，利用字符识别引擎71C，作为识别结果得到“无”。图9C是图像数据70作为图像要素包含建筑物的一部分，在建筑物的附属物上标记有标识图像的例子。利用图案识别引擎71A识别图像数据70的图像要素是建筑物，并且识别出建筑物上标记有标识图像。也可以根据被识别的建筑物图像要素，确定建筑物本身。在图9B以及图9C的任意一个中，图像数据70不包含类似脸的图像，因此，无法进行利用人物识别引擎71B的识别。此外，在图9B以及图9C的例子中，利用图案识别引擎71A的识别的顺序也可以相反。
图9D是图像数据70作为图像要素包含人物图像的例子。人物识别引擎71B识别包含在图像数据70中的类似脸的图像，进一步识别相貌。图像数据70不包含字符，因此，字符识别引擎71C不会输出具有意义的识别结果。图像数据70不包含人物以及人物佩戴物以外的图像要素，因此，图案识别引擎71A不会输出具有意义的识别结果。此外，在该图9D的例子中，也可以输出利用图案识别引擎71A对人物的佩戴物进行的识别结果。
图9E是图像数据70作为图像要素包含物品的图像和字符串的例子。在物品的表面上标记有标识图像。字符串使用了手写或者手写风格的字体。利用图案识别引擎71A识别包含在图像数据70的图像要素中的物品是OO公司制游戏设备，并且，识别标记在被识别出的物品表面上的标识图像。利用字符识别引擎71C识别包含在图像数据70中的字符串。这样，即使字符串由于手写或者手写风格的不均匀的显示而在字符串中的字符识别中产生缺损，也能够利用字符串主表72C所具有的单词词典，推测正确的字符串。图像数据70不包含类似脸的图像，因此，无法利用人物识别引擎71B进行识别。
图10A、图10B以及图10C使用更具体的例子表示上述图8A以及图8B的图像识别处理以及元数据抽出处理。由用户发送过来的图像数据70，对于一个图像数据70，假设作为图像要素包含多个人物图像、标识图像以及产品本身的图像。将该图像数据70分别提供给图案识别引擎71A、人物识别引擎71B以及字符识别引擎71C。
图案识别引擎71A根据图像数据70的特征数据，检索普通图像主表72A。如在图10A、图10B以及图10C中示意性地表示那样，在普通图像主表72A中，各种产品的图像、各种标识图像、建筑物的一部分或者整体的图像(未图示)等作为已登记图像被登记。图案识别引擎71A将图像数据70的特征数据和普通图像主表72A的已登记图像的特征数据进行比较，检索与图像数据70的一部分或者整体一致或者极为类似的已登记图像。在图10A、图10B以及图10C的例子中，假设标识图像“ABC”以及ZZZ公司制造的DVD记录器的图像，设为包含在图像数据70中，从普通图像主表72A检索出它们。被检索出的图像的图像ID76、76、...被提供给元数据抽出引擎73。
此外，在图10A、图10B以及图10C中，为了方便，作为图像数据ID76、76、...，记载有对应的物品(ZZZ公司制DVD记录器)、标识(“ABC”)的名称。
人物识别引擎71B根据图像数据70的特征数据进行人物识别，关于类似脸的图像，检索人物主表72B来进行相貌识别。如在图10A、图10B以及图10C中示意性地表示那样，在人物主表72B中登记有各种人物的相貌图像。人物识别引擎71B将通过人物识别设为类似脸的图像和人物主表72B的已登记的相貌图像进行比较，检索对于设为类似脸的图像一致或者极为类似的已登记相貌图像。在图10A、图10B以及图10C的例子中，设在图像数据70中包含两人的人物图像，由人物主表72B进行检索。被检索出的图像的图像ID77、77、...被提供给元数据抽出引擎73。
此外，在图10A、图10B以及图10C中，为了方便，作为图像数据ID77、77、...，记载有对应的人物的名字(“XX正和”、“YY美纪”)。
字符识别引擎71C对图像数据70执行字符识别处理，检测包含在图像数据70中的字符。在图10A、图10B以及图10C的例子中，作为包含在图像数据70中的字符串，分别检索出“DVD”以及“记录器”。被检索出的这些字符串78、78、...被提供给元数据抽出引擎73。
元数据抽出引擎73根据由图案识别引擎71A及人物识别引擎71B分别提供的图像ID 76、76、...及图像ID 77、77、...、和由字符识别引擎71C提供的字符串，确定图像数据70的内容。
在图10A、图10B以及图10C的例子中，元数据抽出引擎73将基于图案识别引擎71A的识别结果的两个图像ID76、76、基于人物识别引擎71B的识别结果的两个图像ID77、77以及基于字符识别引擎71C的识别结果的两个字符串78、78的六个数据作为关键字，检索元数据主表74。
这六个关键字全部共同(或者包含全部)的元数据被登记在元数据主表74中时，元数据抽出引擎73将该元数据作为与由用户发送过来的图像数据70对应的元数据进行输出。在图10A、图10B以及图10C的例子中，包含所有标识图像“ABC”、ZZZ公司制DVD记录器的图像、人物“XX正和”及“YY美纪”、和字符串“DVD”及“记录器”的元数据，成为与图像数据70对应的元数据。
另外，也可以个别地输出标识图像“ABC”、ZZZ公司制DVD记录器的图像、人物“XX正和”及“YY美纪”、以及字符串“DVD”及“记录器”各自的元数据75、75、...。
在图10A、图10B以及图10C的例子中，与图像数据70对应的元数据中，作为图像数据包含在该图像数据70中的ZZZ公司制DVD记录器包含型号、价格、介绍文章、公开信息的Web站点的URL以及销售该产品的Web站点的URL。当该图像数据70是基于电视播送的广告节目的图像时，还包含演员名、使用的乐器名、该乐曲的演奏者信息等。图像要素各自的元数据75、75、...中，例如与商品图像对应的元数据包含型号、价格、介绍文章、公开信息的Web站点和销售产品的Web站点的URL。另外，与人物对应的元数据包含该人物的名字、人物简介。
在本发明的一个实施方式中，元数据抽出引擎73即使不能够识别输入的六个关键字中的数个、例如1个或者2至3个，也能够进一步估计包含在图像数据70中的、在各引擎71A、71B以及71C中不能够识别的图像要素进行输出。
例如，在图像数据70中，在由各引擎71A、71B以及71C检索的结果得到的上述六个关键字之中，设以高的一致度识别标识图像“ABC”、人物“XX正和”以及人物“YY美纪”，而其他三个一致度低、不能够识别。此时，元数据抽出引擎73使用能够识别的三个关键字，对元数据主表74进行AND检索。通过该检索，作为与该图像数据70对应的元数据，期待以高概率得到与用于宣传ZZZ公司制DVD记录器的图像对应的元数据。元数据抽出引擎73可通过参照这样得到的图像数据70整体的元数据的、与能够识别的图像要素对应的信息以外的部分，得到不能够由各引擎71A、71B以及71C识别的图像要素的元数据。
下面说明可由上述的本发明的一个实施方式提供的服务。在本发明中，如上所述，服务器3预先将图像数据以及该图像数据的元数据登记到数据库，对由用户发送的图像数据进行图像识别处理，参照数据库抽出元数据。在本发明中，可使用该元数据，向用户提供各种服务。
参照图11A以及图11B，使用更具体的例子进行说明。用户用带照相机功能的便携式电话终端1或数字照相机装置2拍摄例如刊登在杂志或报纸上的感兴趣的照片或报道，作为图像数据7A发送到服务器3。服务器3对接收到的图像数据7A进行图像识别处理，分别识别作为图像要素包含在图像数据7A中的字符信息、标识图像、物品的图像等，抽出与各自的图像要素对应的元数据。由此，服务器3能够向用户提供如下服务获取拍摄的报道的快报、获取刊登在拍摄的杂志等上的商品信息、购买该商品。如果在拍摄的杂志、报纸中刊登了其他信息、例如观光地信息或与售票相关的信息，则也能够提供这些信息。
同样，如果由用户拍摄并发送到服务器的图像数据7B是餐厅等建筑物的一部分，则服务器3识别作为图像要素包含在图像数据7B中的建筑物的形状、标识图像等，例如确定餐厅名，与餐厅名一起提供与该餐厅相关的其他信息、例如菜单信息、营业时间、店内影像、预约信息(电话号码)等。
另外，当由用户拍摄并发送到服务器3的图像数据7C作为图像要素包含葡萄酒等饮料或食品等标签时，服务器3识别图像数据7C的标签图像上的标识图像、字符信息等，例如确定葡萄酒名，提供与该葡萄酒的味道相关的信息、销售店、价格信息等。还可以向用户提供该葡萄酒的购买服务。
并且，当由用户拍摄并发送到服务器3的图像数据7D作为图像要素包含人物时，服务器3识别包含在图像数据7D中的相貌，确定该人物的名字。当该人物例如是运动员时，除了该选手自身的信息之外，服务器3可向用户提供其所属的队的信息、该队的比赛快报等。当有与该选手或该选手的所属队等的关联商品时，还能够向用户提供关联商品的购买服务。
并且，另外当由用户拍摄并发送到服务器3的图像数据7E作为图像要素包含CD(Compact Disc光盘)的发售、上映电影的广告图像时，服务器3根据包含在图像数据7E中的广告图像，确定发售的CD的标题、艺术家名、电影的标题。例如，如果图像数据7E是上映电影的广告图像，则服务器可将该电影的情节、演员信息、导演信息、上映信息等与标题名一起提供给用户。还能够向用户提供该电影的购票服务、该电影被收录到DVD(Digital VersatileDisc数字多功能光盘)等中发售时的购买服务。
并且，当由用户拍摄并发送到服务器3的图像数据7F作为图像要素包含有宣传画、电视播送的广告节目等的商品广告的图像时，服务器3识别包含在图像数据7F中的商品图像并确定商品名，将商品信息、商品的购买服务提供给用户。该广告图像除了广告对象的商品之外，例如作为图像要素包含人物图像时，服务器能够识别该人物并将与该人物相关的信息提供给用户。另外，当该广告图像是电视播送的广告节目的图像时，能够向用户提供在该广告节目中使用的乐曲信息。
使用图12A以及图12B、图13A以及图13B、图14、图15A以及图15B、图16A以及图16B、图17A以及图17B、图18A以及图18B、图19A以及图19B、图20A以及图20B、图21A以及图21B、图22A以及图22B、图23A以及图23B、图24A以及图24B、以及图25，说明由图11A以及图11B所示的各例中的用户侧的接口的例子。此外，以下，用户通过因特网2将由带照相机功能的便携式电话终端1拍摄的图像数据10发送到服务器3，服务器3向发送了图像数据10的带照相机功能的便携式电话终端1提供与送来的图像数据10相应的服务。另外，在图12A以及图12B、图13A以及图13B、图14、图15A以及图15B、图16A以及图16B、图17A以及图17B、图18A以及图18B、图19A以及图19B、图20A以及图20B、图21A以及图21B、图22A以及图22B、图23A以及图23B、图24A以及图24B、以及图25中，符号A～I表示转移到分别对应的符号。
例如，如上所述，假设服务器3制作提供与由用户发送的图像数据7相应的服务的Web站点，可通过因特网2访问该Web站点。服务器3例如使用电子邮件功能等，向发送了图像数据7的带照相机功能的便携式电话终端1发送该Web站点的URL。
另一方面，带照相机功能的便携式电话终端1具有通过因特网2的发送接收电子邮件的功能、和访问因特网2上的Web站点的功能。带照相机功能的便携式电话终端1具有用于阅览Web站点的浏览器软件，可通过指定Web站点的URL，访问该Web站点。此时，能够使用在带照相机功能的便携式电话终端1上按规定配置的键，进行项目的选择、数据的输入、数据的发送等。用户通过访问由带照相机功能的便携式电话终端1接收到的URL，能够接受服务器3的服务。此外，作为用户侧的接口，并不限于带照相机功能的便携式电话终端1，也可使用能够与因特网2进行通信的个人计算机。此时，既可以从个人计算机向服务器3发送图像数据7，也可以由带照相机功能的便携式电话终端1发送图像数据7，由个人计算机接受服务。
图12A以及图12B、图13A以及图13B、以及图14，与上述的图像数据7A的例子对应，是拍摄刊登在杂志、报纸上的感兴趣的照片、报道发送到服务器3，并接受服务的例子。在图12A以及图12B中，用户用带照相机功能的便携式电话终端1拍摄刊登了感兴趣的照片、报道的杂志封面，将拍摄的图像数据7A添加到电子邮件发送到服务器3。此外，图像数据7A可以不是实际拍摄该杂志的图像数据，也可以是拍摄了例如该杂志所拍摄的照片的图像数据、电视播送的影像的图像数据等。画面101是此时的带照相机功能的便携式电话终端1的显示部的显示例。以下，画面显示例是对带照相机功能的便携式电话终端1的显示部的显示例。发送图像数据7A时，在主题中不需要任何记述。通过进行按下发送按钮的操作，图像数据7A被发送到服务器3。
服务器3接收图像数据7A，对图像数据7A进行图像识别处理，确定包含在图像数据7A中的图像要素，进行与确定的图像要素对应的元数据的抽出。而且，制作提供基于抽出的元数据的服务的Web站点，将记述该Web站点的URL的电子邮件回信给带照相机功能的便携式电话终端1。该回信的电子邮件如画面102，记述有用于提供服务的Web站点的URL102A。当按规定指定该URL102A时，访问该Web站点，成为画面103的显示。
画面103显示基于图像数据7A的杂志的图像7A’和按钮103A以及103B。在拍摄了该杂志100的例子中，利用服务器3识别表示杂志名“ABCD”的标识图像、和在杂志100的封面上刊登有照片的便携式电话终端，提供与杂志“ABCD”相关的服务、和与便携式电话终端相关的服务。
此外，显示在画面上的按钮，能够通过对带照相机功能的便携式电话终端1的规定操作进行选择，进一步通过规定操作决定选择，从而使与选择按钮相应的选择信息发送到服务器3。以下，将通过规定的操作选择显示在画面上的按钮来决定的操作，适当表达为“按下按钮”等。服务器3将与接收到的选择信息相应的数据发送到带照相机功能的便携式电话终端1。在带照相机功能的便携式电话终端1进行基于接收到的数据的画面显示。
设用户想要接受与杂志“ABCD”有关的服务而选择按钮103A时，该意思被发送到服务器3，显示切换到图13A以及图13B所示的画面104上。画面104根据杂志“ABCD”的元数据，对杂志“ABCD”概要性地显示说明，并且，显示按钮104A、104B、104C以及104D。当选择按钮104A时，显示画面105，关于杂志“ABCD”能够知道更详细的信息。
在画面104中，当按下按钮104B时，显示转换到画面106，能够设定杂志“ABCD”的通信销售中的购买申请。在画面106中输入必要的信息，按下按钮106A时，显示转换到用于确认输入的信息的画面107，通过进一步按下按钮107A，执行通信销售的结算。此外，在画面104中，当按下按钮104C时，显示转换到查找类似信息的画面。
另一方面，在图12A以及图12B的画面103中，当按下按钮103B时，显示转换到提供与从拍摄杂志100的图像数据7A识别的便携式电话终端有关的服务的画面108(参照图14)。画面108根据元数据概要性地显示刊登在杂志上的便携式电话终端的信息，并且，显示按钮108A、108B以及108C。当按下按钮108A时，显示能够阅览与该便携式电话终端有关的更详细的信息的画面(未图示)。
当按下按钮108B时，显示转换到查找类似信息的画面109。例如，在服务器3中，将“便携式电话终端”作为关键字检索元数据，抽出类似信息的候选。该类似信息的候选显示在画面109上。选择显示的候选，按下按钮109A，从而显示转换到与被选择的候选相关的画面(未图示)。与该候选有关的画面例如以和画面108相同结构显示不同机种的便携式电话终端，通过按下规定的按钮，转换到观看详细信息的画面或查找类似信息的画面。
在上述中，例如画面104之后显示的信息、通信销售画面等，既可以由服务器3准备，也可以由该商品的发售源等作为因特网2上的Web站点而准备。作为一例，使画面103的按钮103A链接到与杂志“ACBD”出版社所准备的杂志“ABCD”有关的Web站点，当按钮103A被按下时，使得访问与该杂志“ABCD”有关的Web站点。
此外，画面104的按钮104D、画面106的按钮106B、画面107的按钮107B、画面108的按钮108C以及画面109的按钮109B，分别是用于返回到前一个画面的按钮。
图15A以及图15B、和图16A以及图16B与上述的图像数据7B的例子对应，是拍摄建筑物的整体或者一部分而发送到服务器3、并接受服务的例子。在图15A以及图15B中，用户用带照相机功能的便携式电话终端1拍摄感兴趣的餐厅“XXX”的入口附近，利用画面101将拍摄的图像数据7B添加到电子邮件中而发送到服务器3。此外，图像数据7B也可以不是实际拍摄餐厅“XXX”的图像数据，例如也可以是拍摄杂志照片的图像数据、电视播送的影像的图像数据等。
在服务器3中，对接收到的图像数据7B进行图像识别处理以及元数据抽出处理，确定包含在图像数据7B中的图像要素，检索与图像要素对应的元数据。而且，制作提供基于抽出的元数据的服务的Web站点，将记述了该Web站点的URL的电子邮件回信给带照相机功能的便携式电话终端1。当按规定指定显示在回信的电子邮件的画面102上的URL102A时，访问该Web站点，成为画面111的显示。
画面111显示基于图像数据7B的餐厅“XXX”的图像7B’、和按钮111A。当按下按钮111A时，显示转换到图16A以及图16B的画面112，显示餐厅“XXX”的概要说明、和按钮112A、112B、112C以及112D。当按下按钮112A时，显示转换到画面113，显示餐厅“XXX”的详细信息。
另外，当按下按钮112B时，显示转换到画面114，显示表示餐厅“XXX”的地点的地图。在画面114中，当按下按钮114A时，使用该带照相机功能的便携式电话终端1的电话功能调出餐厅“XXX”，可在用户和餐厅“XXX”之间进行例如预约等的协商。此外，在上述画面112中，通过按规定指定电话号码部分，也能够使用带照相机功能的便携式电话终端1的电话功能调出餐厅“XXX”。
在画面112中，当按下按钮112C时，显示转换到查找类似信息的画面。例如，在服务器3中，根据基于餐厅“XXX”的元数据抽出的、该餐厅“XXX”所属的分类(例如“日本料理店”)，检索元数据，将属于类似分类的其他餐厅一览显示在画面上。
在上述中，例如由画面112之后显示的信息，既可以由服务器3准备，也可以是餐厅“XXX”侧作为因特网2上的Web站点准备，使通过画面111的按钮111A链接。
此外，画面112的按钮112D以及画面114的按钮114B，是分别用于返回到前一个画面的按钮。
图17A以及图17B、和图18A以及图18B对应于上述的图像数据7C的例子，是拍摄粘贴在葡萄酒瓶等上的标签而发送给服务器3，并接受服务的例子。在图17A以及图17B中，用户用带照相机功能的便携式电话终端1拍摄粘贴在感兴趣的葡萄酒瓶等上的标签，利用画面101将拍摄的图像数据7C添加到电子邮件中而发送到服务器3。此外，图像数据7C也可以不是实际拍摄标签的图像数据，例如也可以是拍摄了杂志照片的图像数据、电视播送的影像的图像数据等。
在服务器3中，对接收到的图像数据7C进行图像识别处理以及元数据抽出处理，确定包含在图像数据7C中的图像要素，检索与图像要素对应的元数据。而且，制作提供基于检索的元数据的服务的Web站点，将记述了该Web站点的URL的电子邮件回信给带照相机功能的便携式电话终端1。当按规定指定显示在回信的电子邮件的画面102上的URL102A时，访问该Web站点，成为画面120的显示。
画面120显示图像数据7C的标签的图像7C’、和按钮120A。当按下按钮120A时，显示转换到图18A以及图18B的画面121，显示该葡萄酒的概要说明和按钮121A、121B、121C以及121D。当按下按钮121A时，显示转换到画面122，显示该葡萄酒的详细信息。
在画面121中，当按下按钮121B时，显示转换到画面123，能够设定该葡萄酒的通信销售中的购买申请。在画面123中，当输入必要的信息，按下按钮123A时，显示转换到用于确认输入的信息的画面124，通过进一步按下按钮124A，执行通信销售的结算。
在画面121中，当按下按钮121C时，显示转换到表示类似信息的画面。例如，在服务器3中，根据该葡萄酒的元数据，以规定的项目检索其他葡萄酒的元数据，使与该葡萄酒类似的葡萄酒的一览显示在画面上。
在上述中，例如画面121之后显示的信息既可以由服务器3准备，也可以是该葡萄酒的销售源、输入源等作为因特网2上的Web站点准备，通过画面120的按钮120A链接。
此外，画面121的按钮121D、画面123的按钮123B以及画面124的按钮124B，是用于分别返回到前一个画面的按钮。
图19A以及图19B、和图20A以及图20B对应于上述的图像数据7D的例子，是拍摄人物(假设是职业运动员)并发送给服务器3而接受服务的例子。在图19A以及图19B中，用户用带照相机功能的便携式电话终端1拍摄感兴趣的运动员，利用画面101将拍摄的图像数据7D添加到电子邮件中而发送到服务器3。此外，图像数据7D，也可以不是实际拍摄人物的图像数据，例如也可以是电视播送的影像的图像数据、拍摄杂志照片的图像数据等。
在服务器3中，对接收到的图像数据7D进行图像识别处理、相貌识别以及元数据抽出处理，确定包含在图像数据7D中的图像要素所表示的人物，检索与该人物对应的元数据。而且，制作提供基于检索到的元数据的服务的Web站点，将记述了该Web站点的URL的电子邮件回信给带照相机功能的便携式电话终端1。当按规定指定显示在回信的电子邮件的画面102上的URL102A时，访问该Web站点，成为画面130的显示。
画面130显示基于图像数据7D的图像7D’、和按钮130A以及130B。在拍摄了该运动员的例子中，由服务器3识别运动员的图像、和运动员穿着的队服的标识图像，提供与该运动员有关的服务和与该运动员穿着的队服有关的服务。
设用户想要接受与运动员有关的服务而按下按钮130A时，显示转换到画面131(图20A)，关于该运动员概要性地显示说明，并且，显示按钮131A、131B、131C以及131D。当按下按钮131A时，显示转换到画面132，关于该运动员显示更详细的信息。
当按下按钮131C时，显示转换到查找类似信息的画面133。例如，在服务器3中，将该运动员的名字作为关键字检索元数据，类似信息的候选显示在画面133上。在对象是运动员的该例中，与该运动员所属的队的比赛有关的信息、与队的其他选手有关的信息作为类似信息显示。当选择期望的类似信息，按下按钮133A时，转换到显示选择的信息的画面。
另外，也可以将使用了拍摄该运动员的图像数据的壁纸图像数据(用来作为显示部的背景而使用的图像数据)、该运动员的声音的来信声音数据作为类似信息。此时，当按下按钮133A时，显示转换到通过因特网2下载壁纸图像数据、来信声音数据的画面(未图示)。
在画面131中，当按下按钮131B时，显示转换到用于设定通信销售中的购买申请的画面134。不限于此，在上述的画面130中，设想要接受与队服有关的服务而按下按钮130B，显示也转换到该画面134。
如上所述，在该图19A以及图19B、和图20A以及图20B的例子中，从图像数据7D识别运动员的人物图像和运动员穿着的队服的标识图像。因此，在该画面134中，能够进行与被识别的标识图像关联的运动服的通信销售的购买申请。在该例中，表示可订购的队服的图像134A以及134B分别兼有按钮，通过如按钮显示按下显示期望运动服的图像，显示转换到选择的运动服的购买申请画面135。
在画面135中，当输入必要的信息，按下按钮135A时，显示转换到用于确认输入的信息的画面(未图示)，在该画面中例如通过按下结算按钮，执行通信销售的结算。
在上述中，例如画面131之后表示的信息既可以由服务器3准备，也可以是由该运动员的签约源、标识图像所识别的运动服的销售源等作为因特网2上的Web站点来准备、通过画面130的按钮130A、按钮130B链接。
此外，画面131的按钮131D、画面133的按钮133B以及画面135的按钮135B，分别是用于返回到前一个画面的按钮。
图21A及图21B、和图22A及图22B对应于上述的图像数据7E的例子，是拍摄CD的发布、上映电影的广告图像而发送给服务器3并接受服务的例子。在此，假设图像数据7E为拍摄上映电影的广告宣传画的数据，在图21A以及图21B中，用户用带照相机功能的便携式电话终端1拍摄对感兴趣的上映电影作广告的宣传画，利用画面101将拍摄到的图像数据7E添加在电子邮件中而发送到服务器3。此外，图像数据7E也可以是电视播送的广告节目等的图像数据。
在服务器3中，对接收到的图像数据7E进行图像识别处理以及元数据抽出处理，确定包含在图像数据7E中的图像要素，检索与图像要素对应的元数据。而且，制作提供基于检索到的元数据的服务的Web站点，将记述该Web站点的URL的电子邮件回信给带照相机功能的便携式电话终端1。当按规定指定显示在回信的电子邮件的画面102上的URL102A时，访问该Web站点，成为画面140的显示。
画面140显示图像数据7E的宣传画图像7E’、和按钮140A。当按下按钮140A时，显示转换到画面141(图22A)，显示通过宣传画做广告的上映电影的概要说明、和按钮141A、141B、141C以及141D。当按下按钮141A时，显示转换到142，显示该电影的详细信息。在此，作为详细信息显示有该电影的上映馆、上映时间等与上映有关的信息。
通过按下按钮142A，显示转换到画面144，能够设定该电影票的通信销售中的购买申请。此外，在画面141中通过按下按钮141B，显示转换到画面144，也能够进行通信销售的票购买申请的设定。在画面144中，当输入必要的信息，按下按钮144A时，显示转换到用于确认输入的信息的画面145，通过进一步按下按钮145A，执行通信销售的结算。
在画面141中，当按下按钮141C时，显示转换到表示类似信息的画面143。根据该电影的元数据，作为类似信息显示收录了该电影的DVD的购买信息、情节、分配角色等该电影的关联信息、利用电影影像的壁纸数据的下载、与该电影有关的新闻等。当选择期望的类似信息按下按钮143A时，转换到显示已选择的信息的画面。例如，在选择了DVD的购买信息的情况下，当按下按钮143A时，显示转换到对DVD的通信销售的购买申请进行设定的画面(未图示)。另外，在选择了壁纸数据的情况下，当按下按钮143A时，转换到通过因特网2下载壁纸图像数据之类的画面(未图示)。
在上述中，例如画面141之后显示的信息既可以由服务器3准备，也可以是该电影的配售源等作为因特网2上的Web站点而准备，通过画面140的按钮140A链接。
此外，画面141的按钮141D、画面142的按钮142B、画面143的按钮143B、画面144的按钮144B以及画面145的按钮145B，是分别用于返回到前一个画面的按钮。
图23A及图23B、和图24A及图24B、以及图25对应于上述的图像数据7F的例子，是拍摄宣传画等商品广告的图像而发送给服务器3，并接受服务的例子。在图23A以及图23B中，用户用带照相机功能的便携式电话终端1拍摄对感兴趣的商品进行宣传的宣传画，利用画面101将拍摄到的图像数据7F添加在电子邮件中发送到服务器3。此外，图像数据7F也可以是电视播送的广告节目影像的图像数据等。
在服务器3中，对接收到的图像数据7F进行图像识别处理以及元数据抽出处理，确定包含在图像数据7F中的图像要素，检索与图像要素对应的元数据。而且，制作提供基于检索到的元数据的服务的Web站点，将记述了该Web站点的URL的电子邮件回信给带照相机功能的便携式电话终端1。当按规定指定显示在回信的电子邮件的画面102上的URL102A时，访问该Web站点，成为画面150的显示。
画面150显示图像数据7F的宣传画图像7F’、和按钮150A以及按钮150B。在拍摄了商品广告的宣传画的该例中，通过服务器3识别正在做广告的商品的图像以及该商品的标识图像、和广告中起用的模特的图像，提供与该商品有关的服务和与该模特有关的服务。
在画面150中，当按下按钮150A时，显示转换到画面151(图24A)，显示利用宣传画做广告的商品的概要说明、和按钮151A、151B、151C以及151D。当按下按钮151A时，显示转换到画面152，显示该商品的详细信息。
在画面152中，通过按下按钮152A，显示转换到画面154，能够设定该商品的通信销售中的购买申请。此外，在画面151中，通过按下按钮151B，显示转换到画面154，能够进行通信销售的商品购买申请的设定。在画面154中，当输入必要的信息按下按钮154A时，显示转换到对输入的信息进行确认的确认画面(未图示)，能够进行输入信息的确认以及对设定的购买申请的结算执行。
在画面151中，当按下按钮151C时，显示转换到表示类似信息的画面153。根据该商品的元数据，作为类似信息显示该商品系列的其他商品、与宣传该商品的广告节目有关的信息、与该商品关联的新闻等。当选择期望的类似信息，按下按钮153A时，转换到显示所选择的信息的画面。
在画面150中，当按下按钮150B时，显示转换到画面155(图25)，概要性地显示与该宣传画中起用的模特有关的信息。通过按下按钮155A，转换到显示与该模特有关的详细信息的画面(未图示)。通过按下按钮155B，显示转换到对与该模特有关的商品的通信销售的购买进行申请的画面(未图示)。通过按下按钮155C，转换到显示对该模特的类似信息的画面(未图示)。即，该模特的详细信息的显示画面155之后，可以具有与上述的运动员的详细信息的显示画面131之后相同的结构。
在上述中，例如画面151之后显示的信息既可以由服务器3准备，也可以是商品的宣传源、模特的所属演出公司等作为因特网2上的Web站点而准备，通过画面150的按钮150A以及150B链接。
此外，画面151的按钮151D、画面152的按钮152B、画面153的按钮153B、画面154的按钮154B以及画面155的按钮145D，是分别用于返回到前一个画面的按钮。
这样，根据本发明的一个实施方式的系统，用户只将拍摄的图像数据7发送到服务器3，就能够接受与拍摄的内容相应的各种服务。服务器3根据图像识别处理结果抽出元数据，判断服务的内容。因此，用户即使不具有与摄影的对象有关的知识，也能够接受适当的服务。
另外，服务器3在对由用户发送的图像数据7的图像识别处理中，识别包含在图像数据7中的多个图像要素，分别抽出元数据。因此，关于已拍摄的图像中的自己寻找的内容以外的部分，用户也能够接受服务。另外，对于成为摄影对象的图像(宣传画、电视播送的广告节目影像、杂志的显示等)的本来目的以外的图像要素，也能够接受服务。
由此，通过使用本发明的一个实施方式的系统，可实现如下。
(1)例如，设想用户看到新放映的电影的宣传画，想要知道该电影的上映馆和上映时间。用户使用手中的带照相机功能的便携式电话终端1来拍摄该宣传画，只通过将拍摄的图像数据7发送给服务器3，就能够当场得到想要的信息。得到想要的信息时，用户不仅节省字符输入的功夫，还能够防止由于记忆差错、忘记等而不能进行检索。
(2)例如，设用户对刊登在杂志的广告中的照片的人物所穿的鞋感兴趣。用户即使不知道该鞋的制作厂商、型号，只通过用带照相机功能的便携式电话终端1拍摄该照片发送给服务器3，就能够得到想要的信息。
(3)例如有如下的情况当用户在商店购买葡萄酒时，不知道要购买的葡萄酒到底是什么味道、由哪个葡萄酒酿造厂制作、作为原料使用了哪种葡萄等必要的信息，从而不能决定到底应不应该买。这样的情况下，用户只使用手中的带照相机功能的便携式电话终端1拍摄该葡萄酒的标签部分而发送给服务器3，就能够得到必要的信息。另外，只发送拍摄到的图像，因此，在例如以法语或意大利语记述标签字符而使用户不能读的情况下，也能够没有问题地进行信息的检索，并且，在当场就能够马上得到信息。
考虑对电视播送的内容应用本发明的一个实施方式的情况。在已经实际应用的网络连接型的电视接收机中，可通过网络得到与电视播送相应的信息。本发明的一个实施方式相对于这种网络连接型的电视接收机，有如下的优越性。
(1)在利用网络连接型的电视接收机的服务中，需要专用的电视接收机。另一方面，在根据本发明一个实施方式的服务中，只要用带照相机功能的便携式电话终端1拍摄电视接收机中放映的影像并发送给服务器3即可，因此，接受服务时，不需要准备专用的电视接收机。
(2)在利用网络连接型的电视接收机的服务中，用户只能接受电视播送台预先准备的服务。另一方面，在根据本发明一个实施方式的服务中，根据从影像抽出的元数据提供信息，因此，能够进行各种信息检索。
(3)在利用网络连接型的电视接收机的服务中，在播送时由数据信道发送数据，因此，即使从播送时经过了很长时间也不能进行关联信息的更新。因此，有如下的情况例如在对播送进行录像、之后再现录像的播送时等，与该播送关联的在播送时发送的信息已经变旧变得没有用处。另一方面，在根据本发明一个实施方式的服务中，关联信息始终被更新，因此，从过去的影像也能够进行最新信息的检索。
(4)在利用网络连接型的电视接收机的服务中，在对已录像的播送进行再现过程中要接受与该播送有关的服务的情况下，需要还能够记录与该播送对应的数据信道的特殊录像设备。另一方面，在根据本发明一个实施方式的服务中，根据影像检索信息，因此，普通的录像装置即可。
大多数电视播送电台在因特网2上有Web站点。另外，在因特网2上存在多个与电视播送的节目、广告节目有关的Web站点。用户用没有网络连接功能的普通的电视接收机收看电视播送过程中，当发现了感兴趣的信息时，使用个人计算机、具有因特网连接功能的便携式电话终端等而连接到因特网2，能够检索该信息。本发明的一个实施方式，相对于基于这种电视播送的信息检索有如下的优越性。
(1)有如下情况用户在收看电视播送的过程中发现感兴趣的信息，用个人计算机等访问特定的系统(因特网上的信息检索站点等)的期间，目的影像已经结束。另一方面，在根据本发明一个实施方式的服务中，当放映感兴趣的影像时，只通过当场用带照相机功能的便携式电话终端1等来拍摄该画面而发送给服务器3，就能够得到信息。拍摄画面后也可以通过个人计算机等访问特定的系统，访问过程中即使目的影像已经结束，之后也可通过将拍摄到的图像数据7发送给服务器3，访问该特定的系统。
(2)当通过个人计算机等访问特定的系统来检索信息时，用户在检索基于电视播送的信息时，需要另外输入播送台信息。另一方面，在本发明一个实施方式的服务中，只通过拍摄电视播送的影像而发送给服务器3就能够得到信息，因此，不需要识别播送电台。
(3)在通过个人计算机等访问特定的系统来检索信息的情况下，想要利用已录像的电视播送来检索信息时，必须将该电视播送的播送台信息、播送的时刻信息与电视播送的影像一起录像，需要特殊的录像装置。另一方面，在根据本发明一个实施方式的服务中，只通过拍摄从录像装置再现的电视播送影像而发送给服务器3就能够得到信息，因此，能够使用普通的录像装置。
这样，根据本发明一个实施方式的服务，相对于现有的信息检索方法优越性高，因此，能够展开各种交易。接着，说明利用根据本发明一个实施方式的服务的交易模型。
图26A、图26B以及图26C概要性地表示根据本发明一个实施方式的服务(下面称为图像标记服务)和用户及各企业的关系。图像标记服务200例如对应于使用图4A以及图4B进行说明的服务器侧系统，具有图像标记服务引擎，该图像标记服务引擎由如下部分构成标识图像主表214、普通图像主表215以及人物图像主表等各图像主表(例如对应于图4A以及图4B的图像数据库4)；内容元数据211、商品元数据212及其他元数据213等与登记在图像主表中的各图像相对应的各元数据(例如对应于图4A以及图4B的关联信息数据库5)；以及图像识别引擎210。
图像识别引擎210例如对应于使用图4A以及图4B进行说明的图像特征抽出部30、图像特征比较部31以及关联信息检索部32，对输入的图像数据进行图像识别处理，检索登记在各图像主表中的图像之中一致度高的图像。而且，将与一致度高的图像对应的元数据作为输入的图像数据的关联信息而抽出。
通过上述CM自动抽出系统51从电视播送中自动抽出广告节目、检索普通Web站点52，收集各图像主表以及各元数据，使用登记工具由数据登记中心50进行登记。
用户201拍摄感兴趣的商品、广告等，通过因特网发送给图像标记服务200。图像标记服务200使用图像表设计服务引擎，检索由用户201发送的图像数据的关联信息。检索到的关联信息被发送到用户201。
用户201可根据由图像标记服务200发送的关联信息，通过因特网购买拍摄的商品等。此时，购买手续等可由其他企业202进行。
企业202是例如使用可以阅览以及购买商品的Web站点在因特网上进行电子商务的EC企业。下面将企业202称为EC企业202。作为一例，图像标记服务200将图像标记服务引擎借给EC企业202。换句话说，图像标记服务200是将该图像标记服务引擎的部分借给EC企业202的ASP(Application Service Provider应用服务提供商)。
以往，用户201访问EC企业202的Web站点，从多个商品中检索和选择想要购买的商品，之后进行购买。EC企业202使用图像标记服务引擎，由此，用户201不用访问EC企业202的Web站点选择商品而直接指定商品，从EC企业202购买该商品。通过图像标记服务引擎从EC企业202购买商品的用户201，是EC企业202的潜在顾客，期待将来能够引导到EC企业202的Web站点等。
另一方面，通过图像标记服务引擎可购买的商品的制造厂商等普通企业203，通过积极地对图像标记服务引擎登记商品信息、URL等信息，结果能够增加销售额。图像标记服务200将由数据中心50使用的登记工具借给或者销售给普通企业203，使得普通企业203能够对图像标记服务引擎进行信息登记。
使用图27～图30说明图像标记服务200的交易模型。以下，用户201例如是带照相机功能的便携式电话终端1，并且是使用带照相机功能的便携式电话终端1的用户；图像标记服务200例如是服务器3；销售商等204相当于图26C的EC企业202、普通企业203。用户201以及图像标记服务200可通过因特网2相互通信。例如也可以设为连接在因特网2上的服务器装置，使销售商等204与用户201及图像标记服务器200通过因特网2相互通信。
图27是对用户进行收费的会员制有偿服务的例子。该图27的例子设为图像标记服务200的交易模型的第一阶段。图像标记服务200通过对用户201进行收费，将信息提供服务提供给用户201。即，用户201与图像标记服务200进行会员签约，对图像标记服务200支付服务利用费，通过有偿接受信息提供服务。根据由该信息提供服务提供的信息，当有用户201想要购买的商品时，由图像标记服务200向销售商等204介绍希望购买商品的顾客(用户201)。销售商等204向介绍的用户201提供商品信息，当用户为了购买而支付货款时，将商品、信息发送给用户。
图28是图像标记服务200由销售商等204进行商品销售、代收费的例子。将该图28的例子设为图像标记服务200的交易模型的第二阶段。图像标记服务200进行向用户201提供商品信息等的信息提供服务。用户根据提供的信息购买商品。此时，用户201向图像标记服务200支付商品货款。图像标记服务200将从商品货款中扣除了手续费的金额转给销售商等204。该手续费成为图像标记服务200的收益。销售商等204当收到扣除了手续费的商品货款时，向用户201发送商品。
图29是图像标记服务200是将图像标记服务引擎的功能提供给销售商等204的功能ASP的例子。将该图29的例子设为图像标记服务200的交易模型的第三阶段。图像标记服务200将图像标记服务引擎的功能提供给销售商等204。销售商等204向图像标记服务200支付图像标记服务引擎的功能使用费。由此，销售商等204能够利用对由用户发送的图像数据的图像识别功能、元数据抽出功能。需要在销售商等204侧收集元数据本身。
用户201将拍摄了感兴趣的商品等的图像数据发送给销售商等204。销售商等204使用图像标记服务引擎的功能，将发送的图像数据的关联信息发送给用户201。根据该关联信息，当用户为了购买商品向销售商等204支付货款时，由销售商等204向用户201发送商品。
图30是图像标记服务200向销售商等204提供图像标记服务引擎的许可的例子。将该图30的例子设为图像标记服务200的交易模型的第四阶段。图像标记服务200对销售商等204进行对图像标记服务引擎技术的使用许诺，并且提供元数据。销售商等204向图像标记服务200支付使用技术和使用元数据的使用费。由此，销售商等204能够在使用许诺的范围内自由地利用对由用户发送的图像数据的图像识别功能、元数据抽出功能。另外，也可以在使用许诺的范围内自由地利用元数据本身，在销售商等204侧不需要收集元数据。
用户201将拍摄了感兴趣的商品等的图像数据发送给销售商等204。销售商等204使用图像标记服务引擎的功能，将发送的图像数据的关联信息发送给用户201。根据该关联信息，用户为了购买商品向销售商等204支付货款时，由销售商等204向用户201发送商品。
在上述四个交易模型中，随着第一阶段、第二阶段的阶段推进，期待图像标记服务200的收益变大，并且在销售商等204侧也能够更自由地利用图像标记服务引擎功能。另外，随着阶段的推进，信息、金钱的流动变得简单化，图像标记服务200、用户201以及销售商等204的关系被进一步整理。这意味着更高效率地进行图像标记服务200、用户201以及销售商等204之间的交易。
在本发明中，服务器具有图像识别功能，并且，预先将图像数据以及与图像数据对应的关联信息登记到数据库中。而且，对由用户发送过来的图像数据进行图像识别处理，与登记在数据库中的图像数据进行比较，将与一致度高的图像数据对应的关联信息发送给用户。
因此，有如下的效果用户只通过将拍摄的图像数据发送给服务器，就能够接受与拍摄的内容相应的各种服务。另外，服务器根据图像识别处理结果抽出关联信息，判断服务的内容，因此，有用户即使不具有与摄影的对象有关的知识也能够接受适合的服务的效果。由此，有如下的效果在服务的提供侧，也能够作为新顾客得到不具有与服务有关的知识的用户。
另外，服务器在对由用户发送的图像数据的图像识别处理中，对包含在图像数据中的多个图像要素进行识别，分别抽出关联信息。因此，有如下的效果关于拍摄的图像中的自己寻找的部分以外的部分，用户也能够接受服务。另外，有如下的效果对于成为摄影对象的图像(宣传画、电视播送的广告节目影像、杂志的显示等)的本来目的以外的图像要素，用户也能够接受服务。
并且，根据本发明的一个实施方式，只通过拍摄图像数据发送给服务器，就能够得到与摄影对象有关的关联信息，因此，有如下的效果用户得到想要的信息时不仅节省输入字符的功夫，还能够防止由于记忆差错、忘记等不能进行检索。
并且，另外根据对图像数据的图像识别处理结果得到关联信息，因此，有如下的效果用户即使不知道对象物的制造厂商、型号，只通过拍摄对象物将图像数据发送给服务器，就能够得到想要的信息。当对象物是标签等时，有如下效果即使记载在该标签上的字符是用户不认识的外语等，也能够没有障碍地进行信息的检索。
另外，当在电视播送的图像数据中应用本发明时，只通过拍摄在电视接收机中放映的影像发送给服务器，就能够得到必要的信息，因此，接受服务时，有不需要准备像网络连接型的电视接收机那样的专用的电视接收机的效果。可从图像本身得到关联信息，因此，对于所录像的图像想要接受服务时，也能够使用普通的录像装置，有不需要例如与电视播送对数据信道进行录像的特殊的录像装置的效果。
并且，在利用网络连接型的电视接收机的服务中，用户只能接受电视播送台预先准备的服务。另一方面，在应用本发明的服务中，根据从影像抽出的关联信息提供信息，因此，有能够进行各种信息检索的效果。
并且，另外有如下情况在利用网络连接型的电视接收机的服务中，当播送时由数据信道发送数据，因此，即使从播送时经过了很长时间也不会进行关联信息的更新，例如在录像播送后再现录像的播送时等，与该播送关联的在播送时发送的信息已经变旧从而失去意义。另一方面，有如下效果在应用本发明的服务中，关联信息经常被更新，因此，即使根据过去的影像也能够进行最新信息的检索。
另外，有如下效果在应用本发明的服务中，在收看电视播送过程中发现了感兴趣的信息时，只通过拍摄该画面发送给服务器就能够得到必要的信息，因此，不需要例如像使用个人计算机在因特网的信息检索站点等中检索信息的情况那样，逐一地输入播送台信息，并且，即使在访问过程中该播送结束也不会漏掉信息。并且，从录像的电视播送，同样只通过拍摄再现画面发送给服务器就能够得到必要的信息，因此，有不需要使用将播送时刻、播送台信息与电视播送一起记录那样的特殊的录像装置的效果。
另外，有如下效果通过以上的效果，用户能够以高概率得到想要的信息，并且不强迫地引导从获取信息到购买商品，与此相伴，信息提供侧也不会漏掉交易机会。
权利要求
1.一种信息检索系统，根据图像数据进行信息检索，其特征在于，具有终端装置和服务器装置，其中，上述终端装置具备图像数据获取单元，获取图像数据；以及发送单元，向通信网络发送由上述图像数据获取单元获取的上述图像数据，上述服务器装置具备第一数据库，登记具有被检索可能性的识别用图像数据；第二数据库，登记与登记在上述第一数据库中的上述识别用图像数据对应的元数据；接收单元，通过上述网络接收从上述终端装置发送的上述图像数据；检索单元，根据由上述接收单元接收到的上述图像数据，从上述第一数据库中检索与该图像数据所包含的图像要素一致度高的上述识别用图像数据；以及元数据抽出单元，根据上述检索单元的检索结果，从上述第二数据库抽出上述元数据，上述服务器装置通过上述通信网络，能够用上述终端装置阅览由上述元数据抽出单元抽出的上述元数据。
2.根据权利要求1所述的信息检索系统，其特征在于，上述检索单元根据从上述终端装置发送的上述图像数据的特征数据，算出与上述识别用图像数据的一致度的评分，将该评分为规定值以上的上述识别用图像数据作为上述一致度高的图像数据进行检索。
3.根据权利要求2所述的信息检索系统，其特征在于，在上述服务器装置侧求出上述特征数据。
4.根据权利要求2所述的信息检索系统，其特征在于，上述终端装置预先求出由上述图像数据获取单元获取的图像数据的上述特征数据，作为上述图像数据由上述发送单元发送。
5.根据权利要求1所述的信息检索系统，其特征在于，上述检索单元根据对由上述图像数据获取单元获取的上述图像数据进行灰度等级化得到的数据，进行上述检索。
6.根据权利要求1所述的信息检索系统，其特征在于，上述检索单元根据包含由上述图像数据获取单元获取的上述图像数据的颜色信息的数据，进行上述检索。
7.根据权利要求1所述的信息检索系统，其特征在于，如果由上述接收单元接收到的上述图像数据是动态图像数据，则上述检索单元对将该动态图像数据分解为每帧得到的每个图像数据进行上述检索。
8.根据权利要求7所述的信息检索系统，其特征在于，上述检索单元将规定比例以上的上述分解为每帧的上述图像数据共同包含的上述识别用图像数据，作为对上述动态图像数据的检索结果。
9.根据权利要求1所述的信息检索系统，其特征在于，上述检索单元分别输出对包含在由上述接收单元接收到的上述图像数据中的多个图像要素的检索结果。
10.根据权利要求9所述的信息检索系统，其特征在于，上述检索单元具有识别人物的第一识别单元、识别字符的第二识别单元、识别除上述人物以及上述字符以外的形状的第三识别单元，由上述第一、第二以及第三识别单元分别对上述图像数据进行识别处理，从上述识别用图像数据分别检索作为图像要素包含在该图像数据中的上述人物、上述字符、以及除上述人物及字符以外的形状。
11.根据权利要求9所述的信息检索系统，其特征在于，根据对包含在上述图像数据中的上述多个图像要素之中一部分图像要素的检索结果，从上述第二数据库抽出上述元数据，根据抽出的该元数据，从上述第一数据库中检索上述多个图像要素之中其他的图像要素。
12.根据权利要求1所述的信息检索系统，其特征在于，上述服务器装置将由上述元数据抽出单元抽出的上述元数据的上述通信网络上的地址发送到上述终端装置，在上述通信网络上向上述终端装置呈现该元数据。
13.根据权利要求1所述的信息检索系统，其特征在于，上述服务器装置通过上述通信网络，将由上述元数据抽出单元抽出的上述元数据发送到上述终端装置。
14.根据权利要求1所述的信息检索系统，其特征在于，当用上述终端装置对上述元数据进行上述阅览时，根据该元数据能够从上述终端装置访问与该元数据关联的上述通信网络上的地址。
15.根据权利要求1所述的信息检索系统，其特征在于，上述终端装置是带照相机功能的便携式电话终端。
16.一种信息检索方法，根据图像数据进行信息检索，其特征在于，具有图像数据获取步骤，由终端装置获取图像数据；发送步骤，从上述终端装置向通信网络发送由上述图像数据获取步骤获取的上述图像数据；接收步骤，通过上述网络接收由上述发送步骤发送的上述图像数据；检索步骤，根据由上述接收步骤接收到的上述图像数据，从登记具有被检索可能性的识别用图像数据的第一数据库中，检索与该图像数据所包含的图像要素一致度高的上述识别用图像数据；以及元数据抽出步骤，根据上述检索步骤的检索结果，从登记与登记在上述第一数据库中的上述识别用图像数据对应的元数据的第二数据库，抽出上述元数据，通过上述通信网络，能够用上述终端装置阅览由上述元数据抽出步骤抽出的上述元数据。
17.一种信息检索装置，根据图像数据进行信息检索，其特征在于，具有第一数据库，登记具有被检索可能性的识别用图像数据；第二数据库，登记与登记在上述第一数据库中的上述识别用图像数据对应的元数据；接收单元，通过通信网络接收从终端装置发送的图像数据；检索单元，根据由上述接收单元接收到的上述图像数据，从上述第一数据库中检索与该图像数据所包含的图像要素一致度高的上述识别用图像数据；以及元数据抽出单元，根据上述检索单元的检索结果，从上述第二数据库抽出上述元数据，通过上述通信网络，能够用上述终端装置阅览由上述元数据抽出单元抽出的上述元数据。
18.一种信息检索方法，根据图像数据进行信息检索，其特征在于，具有接收步骤，通过通信网络接收从终端装置发送的图像数据；检索步骤，根据由上述接收步骤接收到的上述图像数据，从登记具有被检索可能性的识别用图像数据的第一数据库中，检索与该图像数据所包含的图像要素一致度高的上述识别用图像数据；以及元数据抽出步骤，根据上述检索步骤的检索结果，从登记与登记在上述第一数据库中的上述识别用图像数据对应的元数据的第二数据库，抽出上述元数据，通过上述通信网络，能够用上述终端装置阅览由上述元数据抽出步骤抽出的上述元数据。
19.一种信息检索程序，使计算机装置执行根据图像数据进行信息检索的信息检索方法，其特征在于，上述信息检索方法具有接收步骤，通过通信网络接收从终端装置发送的图像数据；检索步骤，根据由上述接收步骤接收到的上述图像数据，从登记具有被检索可能性的识别用图像数据的第一数据库中，检索与该图像数据所包含的图像要素一致度高的上述识别用图像数据；以及元数据抽出步骤，根据上述检索步骤的检索结果，从登记与登记在上述第一数据库中的上述识别用图像数据对应的元数据的第二数据库，抽出上述元数据，通过上述通信网络，能够用上述终端装置阅览由上述元数据抽出步骤抽出的上述元数据。
20.一种图像识别装置，从图像数据识别特定的形状，其特征在于，具有第一数据库，登记具有被检索可能性的识别用图像数据；第二数据库，登记与登记在上述第一数据库中的上述识别用图像数据对应的元数据；检索单元，根据输入的图像数据，从上述第一数据库中检索与该图像数据所包含的图像要素一致度高的上述识别用图像数据；以及元数据抽出单元，根据上述检索单元的检索结果，从上述第二数据库中抽出上述元数据。
21.根据权利要求20所述的图像识别装置，其特征在于，上述检索单元根据上述输入的图像数据的特征数据，算出与上述识别用图像数据的一致度的评分，将该评分为规定值以上的上述识别用图像数据作为上述一致度高的图像数据进行检索。
22.根据权利要求20所述的图像识别装置，其特征在于，上述检索单元根据对上述输入的图像数据进行灰度等级化得到的数据，进行上述检索。
23.根据权利要求20所述的图像识别装置，其特征在于，上述检索单元根据包含上述输入的图像数据的颜色信息的数据，进行上述检索。
24.根据权利要求20所述的图像识别装置，其特征在于，如果上述输入的图像数据是动态图像数据，则上述检索单元对将该动态图像数据分解为每帧得到的每个图像数据进行上述检索。
25.根据权利要求24所述的图像识别装置，其特征在于，上述检索单元将规定比例以上的上述分解为每帧的上述图像数据共同包含的上述识别用图像数据，作为对上述动态图像数据的检索结果。
26.根据权利要求20所述的图像识别装置，其特征在于，上述检索单元分别输出对包含在上述图像数据中的多个图像要素的检索结果。
27.根据权利要求26所述的图像识别装置，其特征在于，上述检索单元具有识别人物的第一识别单元、识别字符的第二识别单元、识别除上述人物以及上述字符以外的形状的第三识别单元，由上述第一、第二以及第三识别单元分别对上述图像数据进行识别处理，从上述识别用图像数据分别检索作为图像要素包含在该图像数据中的上述人物、上述字符、以及除上述人物及字符以外的形状。
28.根据权利要求26所述的图像识别装置，其特征在于，根据对包含在上述图像数据中的上述多个图像要素之中一部分图像要素的检索结果，从上述第二数据库抽出上述元数据，根据抽出的该元数据，从上述第一数据库中检索上述多个图像要素之中其他的图像要素。
29.一种图像识别方法，从图像数据识别特定的形状，其特征在于，具有检索步骤，根据输入的图像数据，从登记具有被检索可能性的识别用图像数据的第一数据库中，检索与上述图像数据所包含的图像要素一致度高的上述识别用图像数据；以及元数据抽出步骤，根据上述检索步骤的检索结果，从登记与登记在上述第一数据库中的上述识别用图像数据对应的元数据的第二数据库，抽出上述元数据。
30.一种图像识别程序，使计算机装置执行从图像数据识别特定的形状的图像识别方法，其特征在于，上述图像识别方法具有检索步骤，根据输入的图像数据，从登记具有被检索可能性的识别用图像数据的第一数据库中，检索与上述图像数据所包含的图像要素一致度高的上述识别用图像数据；以及元数据抽出步骤，根据上述检索步骤的检索结果，从登记与登记在上述第一数据库中的上述识别用图像数据对应的元数据的第二数据库，抽出上述元数据。
31.一种销售系统，其特征在于，具有终端装置，获取图像数据发送给通信网络；服务器装置，能够与上述通信网络进行通信，根据图像数据输出该图像数据的元数据；以及商品销售部，能够提供与上述元数据关联的信息以及/或者商品，上述服务器装置对上述终端装置进行收费，根据从被收费的该终端装置发送的上述图像数据输出上述元数据，使得能够用上述终端装置阅览上述元数据，并且，将上述终端装置作为顾客介绍给上述商品销售部，上述商品销售部对于作为上述顾客介绍的上述终端装置，提供与能够阅览的上述元数据关联的信息以及/或者商品，从上述终端装置向上述商品销售部支付上述提供的上述信息以及/或者商品的货款。
32.一种销售系统，其特征在于，具有终端装置，获取图像数据发送给通信网络；服务器装置，能够与上述通信网络进行通信，根据图像数据输出该图像数据的元数据；以及商品销售部，能够提供与上述元数据关联的信息以及/或者商品，上述服务器装置，根据从上述终端装置发送的上述图像数据输出上述元数据，使得能够用上述终端装置阅览上述元数据，从上述终端装置向上述服务器装置支付与设为能够阅览的上述元数据关联的信息以及/或者商品的货款，从上述服务器装置向上述商品销售部支付上述货款的一部分，从上述商品销售部向上述终端装置提供上述信息以及/或者商品。
33.一种销售系统，其特征在于，具有终端装置，获取图像数据发送给通信网络；服务器装置，能够与上述通信网络进行通信，根据图像数据输出该图像数据的元数据；以及商品销售部，能够提供与上述元数据关联的信息以及/或者商品，从上述终端装置向上述商品销售部发送上述图像数据，上述商品销售部使用上述服务器装置得到与从上述终端装置发送的上述图像数据对应的上述元数据，并且，向上述服务器装置支付该服务器装置的使用费，上述商品销售部，使得能够用上述终端装置阅览使用上述服务器装置得到的与从上述终端装置发送的上述图像数据对应的上述元数据，上述终端装置向上述商品销售部支付与设为能够阅览的上述元数据关联的信息以及/或者商品的货款。
全文摘要
使从用户对某商品感兴趣到购买该商品为止的流程连续化，消除购买商品时的疲劳。用户用带照相机功能的便携式电话终端1拍摄感兴趣的商品，通过因特网(2)将图像数据(7)发送给服务器(3)。服务器(3)具有登记各种商品、人物、标识等图像的DB(4)；登记DB(4)内的图像数据的关联信息的DB(5)。服务器(3)对图像数据(7)进行图像识别处理，从DB(4)内的图像数据检索与图像数据(7)一致度高的数据，从DB(5)抽出对应的关联信息。关联信息通过因特网(2)呈现给用户。用户只通过发送图像数据(7)就能够得到感兴趣的商品的关联信息，根据关联信息访问与该商品关联的站点(6)，可得到更详细的信息或购买商品。
文档编号G06Q50/00GK1914611SQ20058000346
公开日2007年2月14日 申请日期2005年1月27日 优先权日2004年1月29日
发明者安藤尚隆 申请人:泽塔普利株式会社