专利名称：集成图像搜索系统及其服务方法
技术领域：
本公开涉及一种集成图像搜索系统及其服务方法，更特别地，涉及这样一种集成图像搜索系统及其控制方法:当输入了期望通过配置有网络摄像头的智能电话或基于个人计算机(PC)的终端而被搜索的对象的图像时，基于特征点提取利用图像识别技术分析输入图像，验证对象的码类型，基于对象的类型自动驱动相应的解码器，并对对象进行解码，从而使得能够不管对象类型针对所有对象进行集成识别。
背景技术：
通常，当在电视机(TV)等上观看电影或广告节目时，在购物的同时找到用户喜欢的对象(例如，人或事物)的情况下，或者在找到用户通常感兴趣的预定对象的情况下，用户期望通过对对象采用备忘录或者当前利用移动终端的相机捕获对象来记住该对象。然而，在第一种情况下，由于用户需要有用备忘录的习惯，并且总携带记事本，还可能丢失写有产品的详细信息的记事本，因此，不容易管理。在第二种情况下，由于用户使用用户总是携带的移动终端，所以容易携带和管理。然而，缺点在于，用户需要手工输入图像中显露的信息，以用于利用所捕获的图像搜索期望的对象。例如，用户需要输入在图像中显露的产品的名称或产品编号、形状、颜色等。这里，针对清楚地显露的信息，例如，产品的名称或产品编号，可明确地执行搜索。然而，当形状、图像等具有特性时，或者当即使观看了图像之后也不知道确切的信息时，难以执行搜索。因此，目前，已将配备有能够利用对象的图像执行识别的解码器(识别引擎)的技术应用于终端。S卩，公开了这样的技术:通过向终端配备条形码解码器，或者通过利用嵌入有快速响应(QR)码解码器的终端从QR码的图像识别出QR码，来从条形码图像识别条形码。然而，在以上技术中，在各个终端中分别配备有用于条形码、QR码、面部识别和图像识别的解码器，因此识别根据对象的类型被限制。另外，为了识别对象，缺点在于，用户需要根据对象的类型直接执行解码器。
发明内容
技术问题进行本发明旨在解决问题，本发明的目的在于提供这样一种系统和方法:当输入了关于期望被搜索的识别目标的对象图像时，终端或服务器基于特征点提取利用图像识别技术从图像中验证对象的类型，自动地调用与所验证的对象类型相对应的解码器，并对相应的对象进行解码，从而使得能够不管对象的码类型而针对所有对象进行集成识别。另外，本发明的另一目的在于提供一种可以通过如下方式执行有效搜索处理的系统和方法:当期望被搜索的识别目标的图像中包括多个对象时，推荐所述多个对象中的具有最高识别率的单个对象，利用与所推荐的对象类型相对应的解码器对所述对象进行解码，然后示出搜索结果，或者通过按识别率的降序推荐所述多个对象，按推荐顺序对搜索结果排序，从而示出搜索结果。技术方案根据本公开的第一方面，提供了一种集成图像搜索系统，该集成图像搜索系统包括:图像搜索设备，其提供与各个对象相关的附加信息；以及终端，其经由通信网络接入所述图像搜索设备，请求搜索关于期望对象的附加信息，接收搜素结果，在所述搜索请求中利用拍摄装置捕获所述期望对象，基于图像识别分析捕获的对象图像，对所述对象的类型进行分类，自动地驱动与所述对象的类型相对应的解码器，对所述对象进行解码，并将解码所得的对象信息发送到所述图像搜索设备。根据本公开的第二方面，提供了一种集成图像搜索系统，该集成图像搜索系统包括:终端，其发送通过捕获期望对象所获得的对象图像，请求搜索与所述对象相关的附加信息，并接收搜索结果；以及图像搜索设备，当从所述终端接收到所述对象图像时，其基于图像识别分析所述对象图像，对所述对象的类型进行分类，自动地驱动与所述对象的类型相对应的解码器，对所述对象进行解码，并将基于解码所得的对象信息而检索到的附加信息提供给所述终端。根据本公开的第三方面，提供了一种终端，该终端包括:拍摄装置，其通过捕获期望对象或附到所述对象的码来创建对象的码图像；图像识别单元，其通过基于图像识别分析利用所述拍摄装置所创建的所述对象的所述码图像来对所述对象的码类型进行分类；集成识别引擎，其通过自动地驱动与利用所述图像识别单元所分类的对象的类型相对应的解码器来对所述对象图像进行解码；以及接口单元，其将利用所述集成识别引擎解码所得的码信息发送到经由通信网络连接的外部设备，请求搜索关于所述码信息的附加信息，并接收搜索结果。根据本公开的第四方面，提供了一种图像搜索设备，该图像搜索设备包括:图像识别模块，当输入了通过捕获期望被搜索的对象而获得的所述对象的图像时，其通过基于图像识别分析所述对象的图像来对所述对象的类型进行分类；集成识别引擎，其通过根据由所述图像识别模块所分类的所述对象的类型自动地驱动解码器来对所述对象的图像进行解码，并请求基于解码所得的对象信息搜索关于所述对象的附加信息；以及接口模块，其从客户的终端接收所述对象的图像，将接收到的所述对象的图像传送到所述图像识别模块，并将关于利用所述集成识别引擎所读取的信息而检索到的附加信息提供给所述终端。根据本公开的第五方面，提供了一种终端的搜索服务方法，该方法包括以下步骤:通过捕获期望对象来创建对象的图像；通过基于图像识别分析所述对象的图像来对所述对象的类型进行分类；请求通过根据所述对象的类型自动地调用解码器来进行驱动；通过利用请求被驱动的解码器对所述对象的图像进行解码来识别所述对象；以及将由所述解码器解码所得的对象信息发送到与通信网络连接的外部设备，请求搜索关于对象信息的附加信息，以及接收搜索结果。根据本公开的第六方面，提供了一种图像搜索设备的搜索服务方法，该方法包括以下步骤:从客户的终端接收通过捕获期望被搜索的对象而获得的所述对象的图像；通过基于图像识别分析所述对象的图像来对所述对象的类型进行分类；请求通过根据所述对象的类型自动地调用解码器来进行驱动；通过利用请求被驱动的解码器对所述对象的图像进行解码来识别所述对象；以及基于由所述解码器解码所得的对象信息搜索关于所述对象的附加信息，并且将搜索结果发送到所述终端。有益效果根据本公开，即使输入了多种对象，例如，条形码、面部图像、快速响应(QR)码、近场通信(NFC)标签、射频识别(RFID)标签等，也能通过经对对象的图像识别自动地识别相应的类型并通过基于所识别出的类型选择和应用解码器，不需要用户直接选择和操纵针对各个对象类型的搜索方案，来进行自动识别。另外，在单个终端或服务器中能够进行针对多种对象的集成识别，因此可提供便利的搜索服务。另外，当在通过捕获识别目标所获得的对象中包括多个对象时，通过推荐在对象识别中所述多个对象之中具有最高识别率的单个对象，或者通过对所述多个对象按识别率的降序排序从而进行推荐，来执行有效的搜索处理。另外，即使没有配备用于搜索的集成解码器的装置也可以利用基于外部服务器的集成识别引擎来提供服务。因此，不管装置，可以提供关于对象的图像识别和搜索服务。此夕卜，即使新添加了对象的类型，也可以容易地扩展相应的解码器，因此能够进行服务扩展。另外，通过利用在线购物商城作为附加服务将本公开与价格比较服务或者购物提供服务相关，可促使购买产品，从而获得收益。
图1是示出根据本公开的示例性实施方式的集成图像搜索系统的网络配置的示图。图2是示出根据本公开的示例性实施方式的终端的构造的框图。图3是示出图2的集成识别引擎的构造的框图。
图4是示出根据本公开的示例性实施方式的图像搜索设备的构造的框图。图5是示出当在终端中配备根据本公开的示例性实施方式的集成识别引擎时该终端的搜索处理的流程图。图6是示出当在连接到通信网络的图像搜索设备中配备有根据本公开的示例性实施方式的集成识别引擎时的图像搜索设备和终端之间的搜索处理的流程图。附图的主要标号的描述100:终端200:通信网络300:图像搜索设备400:附加服务设备110:接口单元120:拍摄装置130:控制单元140:图像识别单元150:存储器160:集成识别引擎162:分类器DB164:解码器310:接口模块320:图像识别模块330:控制模块340:附加信息管理模块350:集成识别引擎
具体实施方式
下面，将参照附图详细描述本公开的示例性实施方式。本公开的结构和由其得出的效果将通过下面的详细描述被清楚地理解。在提供本公开的详细描述之前，应该注意到，即使在不同的附图中，只要可能就用相同的标号标识相同的部件，当确定与公知功能或构造相关的详细描述可以不必要地使得本公开的主题不清晰时，将省略详细描述。以下说明书中中所描述的对象指示作为识别目标的所有输入值。即，针对在购物时用户期望购买的产品或偶然发现的产品，对象可包括该产品的产品图像和标识(ID)码。另外，除了产品、预定的主体部分等之外，对象可包括通过程序所显露的人或事物的图像。产品的ID码可包括产品编号(所述产品编号包括字符/数字等)、条形码、快速响应(QR)码、近场通信(NFC)标签、射频识别(RFID)标签、光学字符识别(OCR)码、色码、商标标记等。如上所述，对象包括附在或打印在产品上的码或产品图像，因此，可通过拍摄对象来获得。然而，对象不限于此，并且可通过使用互联网或其它媒介而获得。例如，在互联网、报纸等上公布的码可通过拍摄来获得。每个对象在特征、形状、使用和功能方面具有特征点(feature point)。在通过拍摄对象所获得的图像中，可存在至少两个特征点。例如，当将ID码附到玻璃时，识别目标是玻璃，并且通过拍摄识别目标所获得的图像包括ID码信息以及关于玻璃的图像信息。在这种情况下，对象是关于玻璃的图像和ID码中的至少一个，并且对象的类型遵循图像或码类型。通过参照此内容，将描述本公开的集成图像搜索的配置。图1是示出根据本公开的示例性实施方式的集成图像搜索系统的网络配置的框图。根据本公开的示例性实施方式的图像搜索系统可以包括终端100和图像搜索设备300，其中，所述终端100接收期望被搜索的对象的图像，所述图像搜索设备300经由通信网络200识别和搜索从终端100所接收到的对象的图像。另外，所述集成图像搜索系统还可以包括附加服务设备400，所述附加服务设备400向图像搜索设备300或终端100提供关于各个对象的附加信息。这里，当对象是事物时，所述附加信息可以包括关于事物的详细信息、购物购买信息(价格信息、销售地点信息等)、价格比较信息等。另外，当对象是人时，所述附加信息可以包括与该人相关的详细信息(例如，该人所穿着的衣服、配饰信息、音乐专辑信息等)。当终端100是能够经由通信网络200发送和接收数据并且获得对象的图像的终端时，终端100可以不管终端100的类型而被采用。例如，个人计算机(PC)、个人数字助理(PDA),数码相机、网络摄像头、移动终端等可被采用。特别地，根据本公开的示例性实施方式的终端100通过捕获在购物的同时发现或者通常偶然发现的对象来创建和存储该对象的图像。当用户期望管理关于该对象的详细信息并且管理该对象时，终端100经由通信网络200将捕获的图像的码图像发送到图像搜索设备300。针对以上操作，终端100可以包括拍摄装置120以捕获(拍摄)对象并创建该对象的图像。另外，根据本公开的示例性实施方式的终端100可通过针对从拍摄装置120所获得的对象图像分析数据类型、颜色、预定图案等来对对象的类型进行分类，并可基于所分类的类型选择和应用解码器，从而使得能够针对多种对象进行集成识别。针对以上操作，终端100可以包括集成识别引擎以执行以上功能。稍后将详细描述该集成识别引擎。另外，根据本公开的示例性实施方式的终端100可接收关于捕获对象的位置的位置信息、作为关于日期(即，捕获感兴趣的产品的时间)的信息的日期信息和其它信息(所述其它信息包括关于对象的销售价格或销售地点等的附加信息)中的至少一个，并可以在对象的图像中附上并从而包括接收到的信息。另外，代替从用户接收关于捕获对象的位置的位置信息，当捕获对象时，根据本公开的示例性实施方式的终端100可以自动验证捕获感兴趣的产品的位置，并且可以通过包括全球定位系统(GPS)将位置信息添加到对象的码图像。另外，根据本公开的示例性实施方式的终端100可以通过使用从通信网络200提供的数据通信服务或互联网服务来接入附加服务设备400，并且可从附加服务设备400接收关于对象的购物服务。在这种情况下，终端100可以从图像搜索设备300接收可接入附加服务设备400的接入信息，并且可以利用接入信息直接接入附加服务设备400。通信网络200是通过有线/无线通信向终端100提供服务的网络。S卩，通信网络200可以是有线互联网，并且可以包括通过移动通信网络(码分多址(CDMA)、宽带码分多址(W-CDMA)等)连接的无线数据网络(互联网、IP多媒体子系统(MS)等)、卫星通信网络、通过无线保真(W1-Fi)连接的互联网等。特别地，在CDMA网络的情况下，终端100可以通过分组数据服务节点(PDSN)接入数据网络。在W-CDMA网络的情况下，终端100可以通过网关GPRS支持节点(GGSN)接入数据网络。另外，在诸如热点等的区域中，终端100可以通过诸如W1-Fi等的NFC接入互联网。当从终端100接收到用于发送对象的图像的请求时，根据本公开的示例性实施方式的通信网络200将从终端100接收到的对象图像发送到图像搜索设备300。相反，通信网络200从图像搜索设备300接收用于发送搜索结果信息的请求，并将该搜索结果信息发送到对应的终端100。图像搜索设备300响应于终端100的请求提供对象识别和搜索功能。即，图像搜索设备300从附加服务设备400接收关于各个对象的附加信息，将该附加信息存储在数据库中并进行更新。当从终端100接收到用于搜索对象的请求时，图像搜索设备300搜索对应对象的附加信息，并将搜索结果发送到终端100。在终端100中能够进行集成识别的系统的情况下，当从终端100接收到搜索对象的请求时，图像搜索设备300可以利用终端100中解码所得的对象信息来执行搜索附加信息并将搜索结果反馈到终端100的功能。另选地，在图像搜索设备300中能够进行集成识别的系统的情况下，图像搜索设备300可以另外执行如下功能:从终端100接收对象的图像，关于码图像分析数据类型、颜色、预定图案等，对对象的类型进行分类，并基于所分类的类型利用最佳解码器对码进行解码。接着，图像搜索设备300搜索对应对象的附加信息，并将搜索结果发送到终端100。其详细构造将参照图4进行详细描述。附加服务设备400可以存储和管理与各种对象相关的附加信息和码信息，并且可以按预定时间间隔向图像搜索设备300提供并从而更新与对象相关的附加信息。另外，根据本公开的示例性实施方式的附加服务设备400管理销售对象的在线购物商场地点。在这种情况下，附加服务设备400响应于终端100的购买请求销售和交付购买产品。根据以上构造的集成图像搜索系统使得终端100或图像搜索设备300能够通过图像识别自动地识别出对象的类型，并且即使输入了多种对象(例如，条形码、QR码、NFC标签、RFID标签、图像(面部图像)等)，也能基于所识别出的类型选择和应用解码器。因此，不需要用户基于对象类型直接选择和操纵识别方案，就能够进行自动识别。另外，在单个终端或服务器中能够进行关于多种对象的集成识别，因此，可以提供方便的搜索服务。图2是示出根据本公开的示例性实施方式的终端的构造的框图。参照图2，终端100通过包括用于自动地进行识别从而对对象的图像进行解码的集成识别弓I擎来执行集成识别功能。终端100包括接口单元110、拍摄装置120、控制单元130、图像识别单元140、存储器150和集成识别引擎160。接口单元110经由图1的通信网络200接入图1的图像搜索设备300或者图1的附加服务设备400，并与其进行通信连接。拍摄装置120通过捕获对象来创建对象的图像。特别地，拍摄装置120可以包括可设置在终端100中的相机、网络摄像头等。存储器150可以存储通过利用拍摄装置120所捕获的对象图像，并且可以存储通过利用图像识别单元140和集成识别引擎160所识别出的信息。图像识别单元140通过基于特征点提取将图像识别方法应用于利用拍摄装置120所创建的对象图像，来分析对象的数据类型、颜色、特征图案(特征点的形状、图案、位置值)等，并通过该分析来对对象的类型进行分类。对象包括基于对象类型的图像特征点。例如，当对象是条形码时，对象包括能够识别条形码的形式的唯一特征点信息。当对象是QR码时，对象包括能够识别QR码的形式的唯一特征点信息。如上所述，当利用图像识别技术从对象的图像中提取出特征点时，可以基于特征点信息来验证各个对象的类型。可以利用集成识别引擎160中所设置的数据库基于对象类型来对特征点信息分类。集成识别引擎160包括识别对象所需的解码器和特征点信息。基于对象的类型对所述特征点信息和解码器进行分类。特征点信息被提供给图像识别单元140，并从而被应用于验证对象的类型。解码器可基于对象的类型选择性地被驱动，由此被应用以对对象进行解码/识别。特别地，根据本公开的示例性实施方式的集成识别引擎160基于各个对象的类型构建所有解码器。因此，即使输入了任何对象，在单个终端中也能进行集成识别。另外，当利用根据本公开的示例性实施方式的图像识别单元140所分类的对象的类型的数量是多个时，例如，当对象图像中包括所有的图像信息和条形码信息时，集成识别引擎160可以关于以上两种对象执行集成识别。另外，在以上示例中，即使图像信息和条形码信息可能被同时识别，但为了搜索的可靠性，也可以通过仅调用具有最佳识别率的解码器或者在与对象的类型相对应的多个解码器中的按识别率的降序顺序地调用解码器来执行识别。关于识别率的解码器的排序可基于性能测试结果，所述性能测试结果基于完成对象识别的结果被周期性地执行。控制单元130控制各个单元的整体操作，并且通过利用接口单元110控制数据的发送和接收。控制单元130控制将利用拍摄装置120所捕获的对象图像存储在存储器150中。另外，当利用图像识别单元140执行图像识别时，可将集成识别单元160中构造的分类器DB162提供给图像识别单元140。因此，根据本公开的示例性实施方式的终端100通过在装置本身内基于对象的类型自动识别对象的图像来提供方便的搜索服务。这里，即使根据本公开的示例性实施方式的终端100可以通过利用拍摄装置120创建和使用对象图像，但本发明不限于此，并且可以通过利用预定网页或单独装置来获得对象图像。图3是示出根据本公开的示例性实施方式的集成识别引擎的构造的框图。集成识别引擎160包括分类器DB162和解码器164，所述分类器DB162包括能够识别各个对象的类型的唯一特征点信息，所述解码器164针对各种类型等对各个对象进行解码。分类器DB162可以包括:条形码分类器DB1621，其包括关于条形码的唯一特征点；QR码分类器DB1622，其包括QR码的特征点信息；面部识别分类器DB1623，其包括在图像识别中用于面部识别的关于面部的特征点信息(眼睛、鼻子、嘴巴等);NFC分类器DB1624，其包括关于NFC标签的特征点信息；RFID分类器DB1625，其包括关于RFID标签的特征点信息；OCR分类器DB1626，其包括关于OCR码的唯一特征点信息；其它分类器DB1627，其包括关于其它码的特征点信息等。关于条形码的唯一特征点信息可以使用包括条形码的黑条和白条的形状。QR码的特征点信息可以使用位于三个角的位置ID码。另外，NFC标签、RFID标签或OCR码也可以使用唯一形式。对应于分类器DB162的构造，解码器164可以包括条形码解码器1641、QR码解码器1642、面部识别解码器1643、NFC解码器1644、RFID解码器1645、0CR解码器1646、其它解码器1647等。这里，当新添加了对象的类型时，集成识别引擎160可以构造新添加的特征点信息和解码器，以从现有的构造是可扩展的。图4是示出根据本公开的示例性实施方式的图像搜索设备的构造的框图。参照图4，图像搜索设备300是这样形式的构造:图2的自动识别并从而在图2的终端中对对象的图像进行解码的集成识别引擎160构造在外部服务器中，而非构造在所述终端中。在这种情况下，图像搜索设备300可以经由包括W1-Fi无线网络或移动通信网络的通信网络将利用集成识别引擎350的集成识别服务提供给所述终端。针对以上操作，图像搜索设备300包括接口模块310、图像识别模块320、控制模块330、附加信息管理模块340和集成识别引擎350。与终端的图1的接口单元110类似，接口模块310在经由通信网络连接的终端和附加服务设备之间进行接口通信。与终端的图2的图像识别单元140类似，当从终端接收到对象图像时，图像识别模块320基于特征点提取通过图像识别从对象图像对对象的类型进行分类。集成识别引擎350包括识别各种对象所需的解码器和特征点信息。特征点信息可以被提供给图像识别模块320，从而被用于对对象的类型进行分类。集成识别引擎350通过基于由图像识别模块320所分类的对象的类型自动驱动光学解码器来对对象图像进行解码，将解码所得的对象信息提供给附加信息管理模块340，从而请求搜索关于对象的附加信息。
这里，图像搜索设备300可以针对集成识别引擎350中设置的解码器354基于关于识别率的排序信息优选地识别具有相对高识别率的码类型，并且可以执行搜索。例如，附有预定品牌的商标和条形码的杯子在单个对象图像中包括针对商标图像、杯形图像和条形码的多个对象。这里，图像搜索设备300假设条形码解码器具有最高识别率，并且按杯形图像和商标图像的顺序设置解码器的识别率排序信息。基于以上假设，当输入了杯子图像时，图像搜索设备300可以通过对对象类型进行初始分类，并基于对象类型调用解码器中的具有最高识别率的条形码解码器，来仅对多个对象中的条形码进行解码。图像搜索设备300利用读取的条形码信息执行搜索，并提供搜索结果。另选地，基于具有良好识别率的解码器的排序，图像搜索设备300可以通过按条形码、杯形图像和商标图像的次序顺序地解码来执行搜索，并且可以基于识别率排序来提供搜索结果。控制模块330控制其整体操作，并且附加信息管理模块340按预定时间间隔接收、存储和更新图1的附加服务设备400中所存储的各个对象的附加信息。同时，这里没有详细描述的构造和功能与以上参照图2描述的图2的终端100的图2的控制单元130、图2的图像识别单元140、图2的集成识别引擎160的构造和功能相同，因此这里将省略重复描述。如上所述，根据本公开的示例性实施方式，可以提供这样的结构:通过向作为客户区域的终端100配备集成识别引擎调用所需信息，以通过识别对象的图像来对图像中所包括的对象的类型进行分类，并且通过基于所分类的对象类型驱动解码器并通过将识别完成对象信息发送到服务器来对对应对象进行解码。另选地，可提供这样的结构:通过为图像搜索设备300配备集成识别引擎，并分析从终端100输入的对象的图像，来将搜索结果实时地提供给对应终端100。不管以上结构，在多个对象的情况下，为了可靠性，利用图像搜索的搜索结果可以基于识别率的良好排序对对象进行解码。下面，将参照图5和图6描述利用基于以上构造的集成图像搜索系统的服务处理。图5是示出当在终端中配备根据本公开的示例性实施方式的集成识别引擎时该终端的搜索处理的流程图。为了参考，将与图2的构成元件相关地描述搜索处理。终端100执行码识别服务，并利用拍摄装置120捕获对象(S10)。终端100基于内部分类器DB中所存储的数据关于对象图像来分析所捕获的对象(例如，数据类型、颜色、预定图案等)的图像的特性(S20)。分析方法可采用基于从对象图像中提取特征点的特征点提取的图像识别技术、基于颜色的图像识别技术等。例如，条形码的图像可以基于特征点通过图像识别来识别出对象为条形码形式，而颜色码可以基于特征点和颜色来识别码。终端100通过以上分析处理对对象的类型进行分类(S30)。为了对所分类的对象进行解码，终端100调用与对象类型相对应的解码器，从而请求驱动该解码器(S40)。即，当从对象的图像中检测到条形码时，终端100可以调用和驱动用于对条形码解码的条形码解码器，并且当检测到关于面部的特征点信息时，可以调用和驱动用于识别面部的面部识别解码器。这里，终端100关于在集成识别引擎160中所构建的解码器管理具有良好识别率排序的解码器信息。因此，当对象图像中包括多个对象时，终端100可以通过初始调用具有相对高的排序识别率的解码器来控制顺序地执行识别，或者可以通过推荐具有最高排序识别率的对象类型并仅调用与所推荐的对象类型相对应的解码器来控制执行识别。接着，终端100利用对应的解码器来分析和识别对象(S50)。接着，终端100将识别出的对象信息发送到图像搜索设备，请求搜索附加信息，并且响应于该请求，从图像搜索设备接收关于对象的附加信息，并显示接收到的附加信息(S60)。图6是示出当在连接到通信网络的图像搜索设备中配备有根据本公开的示例性实施方式的集成识别引擎时图像搜索设备和终端之间的搜索处理的流程图。为了参考，将关于图4的图像搜索设备的构成元件描述图6的操作处理。终端100利用拍摄装置捕获对象，将所捕获的对象的图像发送到图像搜索设备300 (S110 和 S120)。图像搜索设备300利用图像识别模块352关于从终端100发送的对象的图像分析诸如数据类型、颜色、特征图案等的特性(S130)。在分析之后，图像搜索设备300基于所述特性对对象的类型进行分类，并调用与对象类型相对应的解码器并从而对该解码器进行自动驱动，以对所分类的对象进行解码(S140和S150)。图像搜索设备300利用驱动的解码器对对象进行解码并从而识别对象(S160)。在以上码识别处理期间，图像搜索设备300包括解码器信息，所述解码器信息具有关于在集成识别引擎350中构建的解码器的良好识别率排序。因此，当输入了包括多个对象的图像时，图像搜索设备300可以通过从具有相对高识别率的对象类型开始顺序地执行识别，或者通过推荐具有最高识别率的对象类型来调用与相应的对象类型相对应的解码器。另外，图像搜索设备300利用对象信息搜索关于识别出的对象的附加信息，并将搜索结果发送到相应的终端100 (S170和S180)。相应的终端100接收从而显示搜索结果，S卩，从图像搜索设备300发送的关于对象的附加信息。通过以上搜索处理，可以在互联网购物商场中针对价格比较服务采用本公开。在这种情况下，只要用户具有对象的图像，用户就可以通过产品的价格比较以及该产品来使用购物购买服务。另外，可针对与图案识别相关的视觉、图形技术、网络技术、DB构造技术等采用本公开。如上所述，即使已详细描述了本公开的特定示例性实施方式，但本领域技术人员应理解，本公开的精神和范围不限于所述特定示例性实施方式，而是在不脱离本公开的主题的情况下，意在涵盖各种修改和改变。因此，可以针对宽范围的技术领域(例如，与图案识别相关的视觉、图形技术、网络技术、DB构造技术等)采用本公开。因此，本公开的说明书中公开的示例性实施方式不以任何方式限制本公开。本公开的范围将由以下所附权利要求的范围限定，在类似范围内的所有技术将被解释为落入本公开的范围内。工业可用性在根据相关技术的利用图像的搜索服务中，在各个终端中分别配备用于条形码、快速响应(QR)码、面部识别、图像识别等的识别引擎，因此，分别需要针对对象识别所需的各个终端，并且用户需要直接基于对象类型请求对象识别。然而，根据本公开，当输入了对象的图像时，通过经由图像识别验证对象的类型、基于所验证的对象类型选择和应用解码器，并从而对相应对象进行解码，来使得能够针对各种对象进行集成识别。另外，通过在对象识别之前验证对象的类型，不需要用户直接请求对象识别就能够进行自动识别和搜索。因此，当在在线购物商场将本公开中包括的技术应用于价格比较服务、购物购买服务等时，可进一步激活当前图像搜索服务商业。
权利要求
1.一种集成图像搜索系统，该集成图像搜索系统包括: 图像搜索设备，其提供与各个对象相关的附加信息；以及 终端，其经由通信网络接入所述图像搜索设备，请求搜索关于期望对象的附加信息，接收搜素结果，在所述搜索请求中利用拍摄装置捕获所述期望对象，基于图像识别分析捕获的对象图像，对所述对象的类型进行分类，自动地驱动与所述对象的类型相对应的解码器，对所述对象进行解码，并将解码所得的对象信息发送到所述图像搜索设备。
2.一种集成图像搜索系统，该集成图像搜索系统包括: 终端，其发送通过捕获期望对象所获得的对象图像，请求搜索与所述对象相关的附加信息，并接收搜索结果；以及 图像搜索设备，当从所述终端接收到所述对象图像时，其基于图像识别分析所述对象图像，对所述对象的类型进行分类，自动地驱动与所述对象的类型相对应的解码器，对所述对象进行解码，并将基于解码所得的对象信息而检索到的附加信息提供给所述终端。
3.根据权利要求1或2所述的系统，该系统还包括: 附加服务设备，其存储和管理与所述对象相关的附加信息，并响应于所述图像搜索设备的搜索请求将预先存储的附加信息提供给所述图像搜索设备。
4.一种用于集成图像搜索的终端，该终端包括: 拍摄装置，其通过捕获期望对象创建对象图像； 图像识别单元，其通过基于图像识别分析利用所述拍摄装置所创建的对象图像来对所述对象的类型进行分类； 集成识别引擎，其通过自动地驱动与利用所述图像识别单元所分类的对象的类型相对应的解码器来对所述对象图像进行解码；以及 接口单元，其将利用所述集成识别引擎解码所得的对象信息发送到经由通信网络连接的外部设备，请求搜索关于所述对象信息的附加信息，并接收搜索结果。
5.根据权利要求1所述的终端，其中，所述集成识别引擎包括能够根据所述对象的类型进行解码的多个解码器。
6.根据权利要求4所述的终端，其中，当利用所述图像识别单元所分类的对象的类型的数量是多个时，所述集成识别引擎搜索具有关于所述解码器的识别率排序的解码器信息，并且在与所述对象的类型相对应的多个解码器中从具有相对高排序识别率的解码器开始顺序地驱动解码器，并按所述识别率的降序提供所述搜索结果。
7.根据权利要求4所述的终端，其中，当利用所述图像识别单元所分类的对象的类型的数量是多个时，所述集成识别引擎搜索具有关于所述解码器的识别率排序的解码器信息，并仅对在与所述对象的类型相对应的多个解码器中具有最高识别率的解码器进行驱动和解码。
8.根据权利要求4所述的终端，其中，所述图像识别单元基于图像识别从所述对象图像中提取特征点，并基于所提取出的特征点来对所述对象的类型进行分类。
9.根据权利要求5所述的终端，其中，所述多个解码器包括以下全部解码器:条形码解码器、快速响应(QR)码解码器、近场通信(NFC)解码器、射频识别(RFID)解码器、光学字符识别(OCR)解码器、面部识别解码器和图像识别解码器。
10.一种图像搜索设备，该图像搜索设备包括:图像识别模块，当输入了通过捕获期望被搜索的对象而获得的所述对象的图像时，其通过基于图像识别分析所述对象的图像来对所述对象的类型进行分类； 集成识别引擎，其通过根据由所述图像识别模块所分类的所述对象的类型自动地驱动解码器来对所述对象的图像进行解码，并请求基于解码所得的对象信息搜索关于所述对象的附加信息；以及 接口模块，其从客户的终端接收所述对象的图像，将接收到的所述对象的图像传送到所述图像识别模块，并将关于利用所述集成识别引擎所读取的对象信息而检索到的附加信息提供给所述终端。
11.根据权利要求10所述的设备，其中，当利用所述图像识别单元所分类的对象的类型的数量是多个时，所述集成识别引擎搜索具有关于所述解码器的识别率排序的解码器信息，在与所述对象的类型相对应的多个解码器中从具有相对高排序识别率的解码器开始顺序地驱动解码器，并按所述识别率的降序提供搜索结果。
12.根据权利要求10所述的设备，其中，当利用所述图像识别单元所分类的对象的类型的数量是多个时，所述集成识别引擎搜索具有关于所述解码器的识别率排序的解码器信息，并仅对在与所述对象的类型相对应的多个解码器中具有最高识别率的解码器进行驱动和解码。
13.根据权利要求10所述的设备，其中，所述图像识别模块基于图像识别从所述对象图像中提取特征点，并基于所提取出的特征点来对所述对象的类型进行分类。
14.根据权利要求10所述的设备，其中，所述图像识别模块包括以下全部解码器:条形码解码器、QR码解码器、NFC解码器、RFID解码器、OCR解码器、面部识别解码器和图像识别解码器。
15.一种客户终端的搜索服务方法，该方法包括以下步骤: 通过捕获期望对象来创建对象的图像； 通过基于图像识别分析所述对象的图像来对所述对象的类型进行分类； 请求通过根据所述对象的类型自动地调用解码器来进行驱动； 通过利用请求被驱动的解码器对所述对象的图像进行解码来识别所述对象；以及 将由所述解码器解码所得的对象信息发送到与通信网络连接的外部设备，请求搜索关于对象信息的附加信息，以及 接收搜索结果。
16.根据权利要求15所述的方法，当所述对象的类型的数量是多个时，其中，在根据所述对象的类型自动地调用所述解码器的步骤中搜索具有关于所述解码器的识别率排序的解码器信息，并在与所述对象的码类型相对应的多个解码器中从具有相对高排序识别率的解码器开始顺序地执行自动调用。
17.根据权利要求15所述的方法，当所述对象的类型的数量是多个时，其中，在根据所述对象的类型自动地调用所述解码器的步骤中搜索具有关于所述解码器的识别率排序的解码器信息，并仅对在与所述对象的类型相对应的多个解码器中具有最高识别率的解码器进行驱动和解码。
18.根据权利要求15所述的方法，其中，在对所述对象的类型进行分类的步骤中，基于图像识别从所述对象的图像中提取特征点，并通过将所提取出的特征点与预先存储的特征点信息进行比较来对所述对象的类型进行分类。
19.根据权利要求15所述的方法，其中，根据所述对象的类型提供多个解码器。
20.根据权利要求15所述的方法，其中，所述多个解码器包括条形码解码器、QR码解码器、NFC解码器、RFID解码器、OCR解码器、面部识别解码器和图像识别解码器。
21.—种图像搜索设备的集成图像搜索服务方法，该方法包括以下步骤: 从客户的终端接收通过捕获期望被搜索的对象而获得的所述对象的图像； 通过基于图像识别分析所述对象的图像来对所述对象的类型进行分类； 请求通过根据所述对象的类型自动地调用解码器来进行驱动； 通过利用请求被驱动的解码器对所述对象的图像进行解码来识别所述对象；以及 基于由所述解码器解码所得的对象信息搜索关于所述对象的附加信息，并且将搜索结果发送到所述终端。
22.根据权利要求21所述的方法，当所述对象的类型的数量是多个时，其中，在根据所述对象的类型自动地调用所述解码器的步骤中搜索具有关于所述解码器的识别率排序的解码器信息，并在与所述对象的码类型相对应的多个解码器中从具有相对高排序识别率的解码器开始顺序地执行自动调用。
23.根据权利要求21所述的方法，当所述对象的类型的数量是多个时，其中，在根据所述对象的类型自动地调用所述解码器的步骤中搜索具有关于所述解码器的识别率排序的解码器信息，并仅对在与所述对象的类型相对应的多个解码器中具有最高识别率的解码器进行驱动和解码。
24.根据权利要求21所述的方法，其中，在对所述对象的类型进行分类的步骤中，基于图像识别从所述对象的图像中提取特征点，并通过将所提取出的特征点与预先存储的特征点信息进行比较来对所述对象的类型进行分类。
25.根据权利要求21所述的方法，其中，根据所述对象的类型提供多个解码器。
26.根据权利要求21所述的方法，其中，所述多个解码器包括条形码解码器、QR码解码器、NFC解码器、RFID解码器、OCR解码器、面部识别解码器和图像识别解码器。
全文摘要
本发明涉及利用对象的图像进行搜索的图像搜索系统和方法。经由配备有网络摄像头的基于PC的终端或者智能电话输入了期望搜索的对象的图像，然后基于特征点提取利用图像识别技术分析输入的对象图像，使得对象图像中包含的码的类型被分类，并自动地驱动与对象类型匹配的解码器，使得对象被读取，从而提供搜索功能，这使得不管对象的类型能够对所有对象进行集成识别，并且方便了用户。
文档编号G06F17/30GK103119593SQ201180045907
公开日2013年5月22日 申请日期2011年7月15日 优先权日2010年8月9日
发明者罗承元 申请人:Sk 普兰尼特有限公司