检索辅助系统、检索辅助方法以及检索辅助程序的制作方法

检索辅助系统、检索辅助方法以及检索辅助程序的制作方法
【专利摘要】在数据库(16)中储存有商品图像数据。检索部(13)针对输入图像数据，从数据库(16)中取得与表示该输入图像数据的图像所涉及的特征的图像特征数据相同或类似的图像特征信息的商品图像数据。检索服务器(1)将与该商品图像数据所对应的商品不同的其他商品所涉及的信息与由检索部(13)取得的商品图像数据一起输出。
【专利说明】检索辅助系统、检索辅助方法以及检索辅助程序
[0001]本申请是 申请人:于2009年8月7日提出的国际申请号为PCT/JP2009/003823的国际申请进入中国国家阶段后的专利申请(进入中国国家阶段日期:2011年2月9日，国家申请号:200980130948.6、发明名称为检索辅助系统、检索辅助方法以及检索辅助程序)的分案申请。

【技术领域】
[0002]本发明涉及用户借助互联网检索对象物时对所检索的对象物的选择、决定进行辅助的检索辅助系统、检索辅助方法以及检索辅助程序。
[0003]本申请基于2008年08月08日在日本申请的特愿2008-205730号、以及2008年10月08日在日本申请的特愿2008-262035号主张优先权，并在此引用其内容。

【背景技术】
[0004]以往，在用户通过互联网等网络检索进而购入对象物(例如商品等)时，使用对用户欲要检索的对象物的选择、决定进行辅助的系统(例如参照专利文献I)。
[0005]例如，用户在互联网中使用各种检索引擎输入对象物的名称(例如商品名等)或对象物的特征检索符合的对象物。此外，根据需要，用户检索销售上述符合的对象物的店铺。
[0006]然后，具有如上述的检索引擎的服务器装置，在检索到的店铺中借助互联网向用户的终端提示与用户的喜好对应的对象物的图像或其价格、或者提供相关对象物等，从而对用户的对象物的检索进行辅助。
[0007]此外，近几年来，在购买商品的情况下，不用前往进行当面销售的零售店而从互联网上的虚拟商城的虚拟商店购入商品的情况增多。
[0008]其结果，即使在附近没有大型零售店的地区，也能够在自己家中从大量的每个种类的多个商品中选择中意的商品。(例如参照专利文献2)。
[0009]专利文献1:日本特开2004-246585号公报
[0010]专利文献2:日本特开2002-150138号公报
[0011]然而，上述的现有例子等中存在如下问题:用户检索对象物时，输入表示对象物的名称等的文本数据、或者从为检索用而预先准备的对象物的图像中选择对象物，因而在例如用户仅有对象物的图像的信息而不知道对象物的名称的情况下，用户无法检索到实际想要检索的对象物、或者与所检索的对象物类似的对象物。


【发明内容】

[0012]本发明鉴于上述事实而做出，其目的在于，提供例如即使用户不知道对象物的名称也能够根据该对象物的图像数据对用户想要检索的对象物进行检索的检索辅助系统、检索辅助方法以及检索辅助程序。
[0013]本发明的检索辅助系统的特征在于，具有:储存有商品图像数据的数据库；检索部，其针对输入图像数据，从上述数据库中取得与表示该输入图像数据的图像所涉及的特征的图像特征信息相同或类似的图像特征信息的商品图像数据，将与该商品图像数据所对应的商品不同的其他商品相关的信息与由上述检索部取得的商品图像数据一起输出。
[0014]本发明的检索辅助方法的特征在于，具有:检索过程，针对输入图像数据，从数据库中取得与表示该输入图像数据的图像所涉及的特征的图像特征信息相同或类似的图像特征信息的商品图像数据；将与该商品图像数据所对应的商品不同的其他商品所涉及的信息与通过上述检索过程取得的商品图像数据一起输出的过程。
[0015]本发明的检索辅助程序是使计算机执行如下过程的动作的计算机可执行程序，所述的过程包括:检索过程，针对输入图像数据，从数据库中取得与表示该输入图像数据的图像所涉及的特征的图像特征信息相同或类似的图像特征信息的商品图像数据；将与该商品图像数据所对应的商品不同的其他商品所涉及的信息与通过上述检索过程取得的商品图像数据一起输出的过程。
[0016]此外，本发明的检索辅助系统的特征在于，具有:数据库，其储存有用户检索的对象物所涉及的对象物图像数据；抽出部，其抽出所输入的输入图像数据的检索部分；检索部，其将表示上述检索部分的图像数据的图像所涉及的特征的图像特征信息、与表示上述数据库中的上述对象物图像数据的图像所涉及的特征的图像特征信息进行比较，并从上述数据库中取得上述对象物图像数据中与上述检索部分的图像数据一致或类似度高的上述对象物图像数据。
[0017]此外，本发明的检索辅助方法的特征在于，具有:抽出过程，在所输入的输入图像数据中抽出对象物的检索部分；检索过程，将上述检索部分内的图像数据、与储存在数据库中的对象物图像数据进行比较，并从上述数据库中抽出与上述检索部分内的图像数据一致或类似度高的上述对象物图像数据。
[0018]此外，本发明的检索辅助程序是使计算机执行如下过程的动作的计算机可执行程序,所述过程包括:抽出过程,在所输入的输入图像数据中抽出对象物的检索部分；检索过程，将上述检索部分内的图像数据与储存在数据库中的对象物图像数据进行比较，并从上述数据库抽出与上述检索部分内的图像数据一致或类似度高的上述对象物图像数据。
[0019]此外，本发明的检索辅助系统的特征在于，具有:组合商品数据库，其将从图像介质取得的商品条目的属性信息按照每个相同类别进行储存；组合信息数据库，其针对上述商品条目的每个，存储有与和该商品条目组合使用的不同类别的其他商品条目之间的组合信息；商品条目数据库，其储存有正在销售的销售商品条目的属性信息；类似条目检索部，其从上述组合商品数据库中选择由用户输入的商品的图像数据和与该图像数据的属性信息相同或者类似的商品条目的候补组；组合检索部，其与上述候补组中的上述商品条目的各个对应，从上述组合信息数据库中检索与该商品条目组合的其他商品条目；商品条目检索部，其将与用户从上述商品条目和上述其他商品条目的组合中选择的组合中的上述其他商品条目的图像数据相同或者类似的上述销售商品条目的图像数据，根据该图像数据的属性信息，从上述商品条目数据库中检索出，并作为推荐商品进行输出。
[0020]此外，本发明的检索辅助方法的特征在于，具有:类似条目检索过程，从组合商品数据库中选择由用户输入的商品的图像数据、和与该图像数据的属性信息相同或者类似的商品条目的上述候补组，该组合商品数据库中按照每个相同类别储存有从图像介质取得的商品条目的属性信息；组合检索过程，与上述候补组中的上述商品条目的各个对应地按照上述商品条目的每个从组合信息数据库中检索与该商品条目组合的其他商品条目，该组合信息数据库中存储有与和该商品条目组合使用的不同类别的其他商品条目之间的组合信息；商品条目检索过程，将用户从上述商品条目与上述其他商品条目的组合中选择的组合中的上述其他商品条目的图像数据相同或者类似的销售商品条目，根据该图像数据的属性信息，从储存有上述销售商品条目的属性信息的商品条目数据库中检索出，并作为推荐商品进行输出。
[0021]此外，本发明的检索辅助程序是使计算机执行如下过程的动作的计算机可执行程序，所述过程包括:类似条目检索过程，从组合商品数据库中选择由用户输入的商品的图像数据、和与该图像数据的属性信息相同或者类似的商品条目的上述候补组，该组合商品数据库中按照每个相同类别储存有从图像介质取得的商品条目的属性信息；组合检索过程，与上述候补组中的上述商品条目的各个对应地按照上述商品条目的每个从组合信息数据库中检索与该商品条目组合的其他商品条目，该组合信息数据库中存储有与和该商品条目组合使用的不同类别的其他商品条目之间的组合信息；商品条目检索过程，将与用户从上述商品条目与上述其他商品条目的组合中选择的组合中的上述其他商品条目的图像数据相同或者类似的销售商品条目，根据该图像数据的属性信息，从储存有上述销售商品条目的属性信息的商品条目数据库中检索出，并作为推荐商品进行输出。
[0022]如以上说明，根据本发明，能够容易地检索用户想要检索的对象物或与该对象物类似的对象物。

【专利附图】

【附图说明】
[0023]图1式表示基于本发明一个实施方式的检索辅助系统的构成例的框图。
[0024]图2是表示图1的数据库16中存储的商品表格的构成例的示意图。
[0025]图3是表示图1的数据库16中存储的用户登记表格的构成例的示意图。
[0026]图4是表示基于一个实施方式的检索辅助系统中的商品检索的动作例的流程图。
[0027]图5是表示基于一个实施方式的检索辅助系统中的喜好信息收集的动作例的流程图。
[0028]图6是表示本实施方式中的检索辅助系统的构成例的变形例的框图。
[0029]图7是表示基于本发明的一个实施方式的商品检索辅助系统的构成例的框图。
[0030]图8是记录有图7中的商品条目数据库26的类别I (衬衫)的组合商品条目的属性信息的表格。
[0031]图9是记录有图7中的商品条目数据库26的类别2 (裤子)的组合商品条目的属性信息的表格。
[0032]图10是记录有图7中的商品条目数据库26的类别3(短外套)的组合商品条目的属性信息的表格。
[0033]图11是表示使销售中的类别I的销售商品条目、和从与类别I的销售商品条目类似的图像介质中收集的类别I的组合商品条目对应的表格。
[0034]图12是表示使销售中的类别2的销售商品条目、和从与类别2的销售商品条目类似的图像介质中收集的类别2的组合商品条目对应的表格。
[0035]图13是表示销售中的类别3的销售商品条目、和从与类别3的销售商品条目类似的图像介质中收集的类别3的组合商品条目对应的表格。
[0036]图14是表示图7的组合信息数据库28中的、从图像介质收集的组合商品条目的各类别间的组合的表格。
[0037]图15是记录有图7中的组合商品图像信息数据库29的类别I (衬衫)的组合商品条目的属性信息的表格。
[0038]图16是记录有图7中的组合商品图像信息数据库29的类别2(裤子)的组合商品条目的属性信息的表格。
[0039]图17是记录有图7中的组合商品图像信息数据库29的类别3(短外套)的组合商品条目的属性信息的表格。
[0040]图18是表示图7的商品检索辅助系统的动作例的流程图。
[0041]图19是表示图7的历史记录数据库31中的用户表格的构成的示意图。
[0042]图20是表示图7的历史记录数据库31中的购入历史记录表格的构成的示意图。
[0043]图21是对基于Graph-Cut法的图像数据的分割进行说明的示意图。

【具体实施方式】
[0044]<第I实施方式>
[0045]以下，参照附图对基于本发明的一个实施方式的检索辅助系统进行说明。图1是表不基于该实施方式的检索辅助系统的构成例的框图。
[0046]在该图中，检索辅助系统具有检索服务器1、借助由互联网等形成的信息通信网I与上述检索服务器I连接的用户终端2。
[0047]这里，用户终端2是用户所具有的终端，分别通过用户固有的用户识别信息进行识别。
[0048]以下，在本实施方式中，作为用户想要检索的对象物，以对时尚商品、服装、鞋、项链、帽子等商品的检索及购买为例进行说明。另外，在本实施方式中，不局限于时尚商品、服装、鞋、项链、帽子等商品，也可以适用于能够借助互联网或网络进行检索的电器产品、家具、绘画等对象物。此外，所谓本实施方式中的对象物，作为一个例子，可以举出商品、物品、电器产品、家具、绘画、包括店铺或公司的建筑物、植物、动物、不动产(包括公寓的外观、内部装饰、布置等)、风景等。
[0049]检索服务器I是对上述用户在互联网上的店铺等中检索商品进行辅助的服务器，且具有抽出部11、种类判定部12、检索部13、组合抽出部14、喜好抽出部15、数据库16和收发部17。
[0050]如图2所示，在数据库16中，与识别各商品的商品识别信息对应地存储有使以下各种信息相对应的商品表格，该各种信息包括:该商品的名称、该商品的图像数据即商品图像数据(对象物图像数据)、从商品图像数据中抽出的特征信息、销售该商品的店铺信息、该商品的价格、与该商品组合的其他商品的组合信息、表示商品的种类(服装、鞋、帽子、项链等商品类型)的种类识别信息。该数据库16依次储存有例如来自在检索辅助系统中会员登记的店铺的商品的信息。所谓上述特征信息是指将颜色、形状、图案、结构等要素进行数值数据(例如与要素个数对应的维度的向量)化的信息。此外，在以用户想要检索的商品的图像、和数据库16中储存的商品图像(对象物图像)为基础，将上述图像彼此直接进行比较的情况下，也可以省略种类判定部12。
[0051]上述抽出部11借助收发部17输入用户从用户终端2发送过来的输入图像数据(由用户提供的图像数据)，并抽出该输入图像数据内的检索部分。更具体地说，抽出部11抽出该输入图像数据内的商品的图像区域的轮廓(检索部分)，而生成轮廓图像数据(检索部分的图像数据)。这里，在轮廓图像数据的抽出处理中，所谓轮廓是指图像的浓度值急剧地变化的部分，为了获取该轮廓而进行微分运算。但是，在数码图像中，由于数据以一定间隔分散地排列，因而通过取得相邻像素彼此的差的运算(差分)来近似微分，将像素的浓度急激地变化的部分作为轮廓来抽出。
[0052]种类判定部12根据上述轮廓图像数据，从预先存储在数据库16中的商品的轮廓数据表格中的标准图像数据，检索与轮廓图像数据对应的标准图像数据，并与该标准图像数据对应地读取数据库16中设定的种类识别信息。该标准图像数据优选为从多个角度对各种类的多个商品进行拍照，并作为与轮廓相比较的标准而预先存储到数据库16的上述轮廓数据表格中。
[0053]检索部13从与上述种类识别信息对应的种类的存储区域，在进行输入图像数据中的轮廓抽出之后进行检索图像数据的特征抽出，从数据库16中的上述商品表格的具有与所判定的种类对应的种类识别信息的图像数据中，检索与所获得的特征信息一致或类似度高的特征信息，并按照类似度高的顺序从类似度高的商品中抽出预先设定了的个数的其图像数据。这里，在不设置种类判定部12的情况下，检索部13对进行了输入图像数据中的轮廓抽出之后的商品的图像、和商品表格整体中的商品图像数据进行比较，并针对进行了上述轮廓抽出之后的商品的图像抽出类似度高的商品图像数据。
[0054]此外，检索部13将与所检索到的商品图像数据对应的商品信息(对象物信息)发送给用户的用户终端2。另外，上述的商品信息是包括名称(商品名)、销售与商品图像数据对应的商品的销售店铺、该店铺的URL、该店铺的电话编号和地址、以及商品的价格中的至少一个的信息。
[0055]喜好抽出部15将用户检索到的商品的种类中所包括的其他商品(与用户检索到的商品相同种类的商品)的图像数据，从上述商品表格中随机地抽出预先设定了的个数，并发送给用户终端2。
[0056]用户终端2在未图示的显示画面上显示从检索服务器I发送的图像数据。
[0057]此外，喜好抽出部15输入从用户终端2发送的对各商品(例如数据库16中存储的商品图像数据)的喜欢或者讨厌的判定结果，并按每个用户将包括形状、颜色、图案、结构当中的至少一个的喜好信息写入并记录在数据库16的图3所示的用户登记表格中。
[0058]这里，上述用户登记表格中，与用户识别信息对应地存储有表示过去曾购买什么样的商品的购入信息(包括购入的商品识别信息、购入的日期时间、购入的店铺、购入的价格等)、喜好抽出部15所抽出的喜好信息、表示用户所具有的积分数的积分信息。该积分在购买商品而进行支付时能够作为现金来使用。
[0059]S卩，在上述的店铺信息中附加有优惠券信息，并且用户利用该优惠券信息购入了检索到的商品的情况下，检索服务器I将与该商品相关的购入信息存储在数据库16的上述用户登记表格中。然后，检索服务器I将与所购入的商品的价格对应的积分作为上述积分信息的积分数相加到上述用户登记表格内的对象用户。另外，喜好抽出部15也可以针对每个种类从上述购入信息中抽出喜好信息。
[0060]组合抽出部14在与所抽出的商品组合购入的可能性高的其他种类商品中，检索和预先与喜好信息对应地存储的组合信息对应的商品，并发送给用户的终端。
[0061]接下来，结合图1和图4，对本实施方式中的检索辅助系统的动作进行说明。图4是对本实施方式中的检索辅助系统的动作例进行说明的流程图。在以下的说明中，对于设有种类判定部12的情况进行说明。在不设置种类判定部12的情况下，从流程图中省略种类判定部12的处理。
[0062]用户通过与用户终端2连接的彩色扫描仪等从杂志等读取穿着中意的服装的模特的图像，或者利用数码相机拍摄图像、或者从互联网下载图像(步骤Si)。
[0063]然后，用户将所读取的图像、所拍摄的图像、或者所下载的图像作为输入图像数据输入到用户终端2，并通过该输入图像数据中是否有多种商品(步骤S2)，来判定是否选择想要检索的商品的图像的区域。另外，上述的输入图像数据可以预先存储在用户终端2，也可以存储在外部的终端。
[0064]这时，例如在欲要检索裙子的商品名以销售裙子的店铺时，如果是仅映射有裙子的输入图像数据，则使处理进入步骤S4。
[0065]另一方面，在拍摄了模特整体而不仅仅是裙子部分的图像的情况下，使处理进入步骤S3。
[0066]然后，在输入图像数据中，用户利用安装于用户终端2的图像处理工具(如果是能够对输入图像数据进行描线的加工的工具，则可以是任何工具)，用线等标记裙子的区域部分的图像并进行图像选择(步骤S3)，之后使处理进入步骤4。
[0067]用户终端2将用户输入的输入图像数据(包括进行了图像选择之后的数据)与自身的用户识别信息一起作为检索请求信号借助信息通信网I发送给检索服务器I (步骤S4)。
[0068]另外，在上述的步骤S2中，检索服务器I可以针对从用户终端2收到的输入图像数据判定是否有多种商品，并将其判定的种类发送给用户终端2。这种情况下，在步骤S3中，在与从检索服务器I接收到的输入图像数据对应的种类中，对想要检索的种类进行图像选择，并使处理进入步骤S4。
[0069]接着，若从用户终端2接收到上述检索请求信号，则检索服务器I向抽出部11输出上述的输入图像数据。
[0070]抽出部11对所输入的输入图像数据中的商品图像进行轮廓抽出(检索部分的抽出)。
[0071]这时，抽出部11在输入图像数据中未被标记出任意一个区域的情况下，对输入图像数据整体进行轮廓图像数据的抽出，另一方面，如果有被标记的区域部分，则对该区域部分进行图像轮廓图像数据的抽出。
[0072]然后，种类判定部12根据上述轮廓图像数据，从与预先存储在数据库16中的商品的种类对应的轮廓数据表格中，检索与轮廓图像数据对应的标准图像数据，并从轮廓数据表格中读取与该标准图像数据对应的种类识别信息(步骤S5)。
[0073]检索部13与上述轮廓图像数据中的轮廓内部对应地，对在输入图像数据中检索到的图像数据(检索图像数据)进行特征抽出，并从数据库16的商品表格中检索与检索图像数据的特征信息(例如基于颜色或形状的各种信息)类似的商品图像数据(步骤S6)。
[0074]这时，检索部13求出特征信息的各要素(例如如果特征信息是基于颜色的信息，则为蓝色、红色或黄色等)中的向量的距离，并进行是否与该距离一致、该距离是近还是远等类似度的计算。另外，将该距离近的要素作为类似度高的要素。
[0075]此外，检索部13按照类似度高的顺序从上述商品表格中抽出预先设定的个数的商品。
[0076]接着，检索部13将与所检索到的商品图像数据对应的商品信息(包括商品名、商品的价格、商品图像数据销售店铺、URL、店铺的电话编号和地址中的至少一个的信息)借助收发部17发送给用户的用户终端2 (步骤S7)。这里，作为一个例子，收发部17读出从用户终端2发送检索请求信号时所附加的用户终端2的网络上的地址，并向该地址发送上述商品信息。
[0077]然后，用户终端2将从商品销售检索服务器I发送的、检索结果的商品名、图像数据、店铺和价格信息显示到显示画面上。
[0078]另外，在上述的步骤S5中，对于数据库16中的用户登记表格而言，也可以仅在检索到上述用户登记表格中登记有检索请求信号中所包含的用户识别信息的情况下，检索服务器I以检索请求信号中所包含的输入图像数据为基础从数据库16中抽出检索对象的商品图像数据。此外，在检索到上述用户登记表格未登记有检索请求信号中所包含的用户识别信息的情况下，检索服务器I向用户终端2发送例如表示需要进行基于用户识别信息的用户登记的意思的消息。
[0079]由此，用户通过发送图像数据而能够获得所中意的商品或者与该商品类似的商品的商品名、表示销售的店铺的店铺信息、该商品的价格等信息。
[0080]这里，在对店铺信息附加有优惠券信息，并且利用该优惠券信息购入检索到的商品的情况下，商品销售检索服务器I针对该对象店铺收取与商品的价格对应的金额。
[0081]接下来，结合图1和图5，对基于本实施方式的检索服务器I抽出用户的喜好信息，并根据该喜好信息提示能够与上述检索到的商品组合的其他商品的处理进行说明。图5是对收集用户的喜好信息，并根据该喜好信息介绍其他商品的动作例进行说明的流程图。
[0082]在与用户检索到的商品为相同种类、例如用户检索到的商品为鞋的情况下，喜好抽出部15从商品表格中抽出预先设定了的个数的鞋(步骤Sll)，并发送其商品图像数据和商品识别信息(步骤S12)。这时，对用户发送的每一种商品是颜色、形状、图案等不同的特征性商品，并被设定为时尚搭配师能够抽出用户的喜好信息的商品。
[0083]然后，用户终端2在从检索服务器I接收到用于喜好抽出的商品的商品图像数据时，在显示画面上依次显示该商品的商品图像数据(显示图像)。
[0084]这时，对于上述显示画面上所显示的显示图像，如果用户对所显示的商品图像数据的商品中意，则利用鼠标等输入机构点击“是键”，另一方面，如果用户对所显示的商品图像数据的商品不中意，则利用鼠标等点击选择“否键”(步骤S13)。
[0085]若选择“是键”或者“否键”，则用户终端2将后面的商品的商品图像数据显示到显示画面上，并针对接收到的全部商品图像数据或者预定数量的商品图像数据，在用户是否判定的选择结束之前，持续进行上述的处理。
[0086]若对上述商品图像数据的是否判定结束，则用户终端2将按每个商品识别信息对应有该商品的是否判定数据的判定结果信息附加于自身的用户识别信息发送给检索服务器1(步骤S14)。
[0087]若输入判定结果信息，则收发部17判定所附加的用户识别信息是否登记在用户登记表格中，如果登记在用户登记表格中，则向喜好抽出部15输出上述判定结果信息。
[0088]接着，喜好抽出部15若被输入判定结果信息，则从数据库16中的喜好信息表格中选择与是否判定的类型对应的喜好信息。
[0089]这里，所谓是否判定的类型是指，与按照预先确定的顺序排列的商品识别信息对应的是判定和否判定的数据类型。
[0090]然后，喜好抽出部15在数据库16中的用户登记表格中与用户识别信息对应地写入并存储所得到的喜好信息(步骤S15)。
[0091]接着，组合抽出部14从数据库16中的组合信息表格中选择与上述喜好信息对应的商品的组合信息。例如在针对鞋抽出了喜好信息的情况下，在该组合信息表格中选择与该喜好对应的服装、包、帽子等对应的组合信息。
[0092]然后，组合抽出部14抽出与上述组合信息一致或类似的服装、包、帽子等商品图像数据(步骤S16)，并将让模特穿上搭配鞋所选择的服装、包、帽子等的着装图像数据，在只有一个组合的情况下针对单个组合，或者在组合为多个的情况下针对多个组合分别附加组合识别信息后，发送给用户终端2 (步骤S17)。
[0093]若接收到着装图像数据，则用户终端2在显示画面上显示该着装图像数据。由此，用户能够针对已经检索或者购入的商品获得与自身的喜好对应的时尚的组合信息。
[0094]这里，通过用户如上述那样进行是否判定，用户终端2使是否判定数据与每个组合识别信息对应，并作为判定结果信息附加到自身的用户识别信息，发送给检索服务器I。
[0095]然后，若输入判定结果信息，则收发部17判定所附加的用户识别信息是否登记在用户登记表格中，如果登记在用户登记表格中，则向喜好抽出部15输出上述判定结果信肩、O
[0096]喜好抽出部15根据与所输入的组合识别信息对应的是否判定类型生成组合喜好信息。该组合喜好信息与鞋的形状、颜色、图案、结构等对应，且由获得是判定的其他服装、包、帽子等的形状、颜色、图案、结构的组合构成，并在每次用户购入商品时进行学习，提高组合喜好信息的精度。
[0097]S卩，接下来，若用户根据该组合后的着装图像数据购入了包，则检索与包对应的喜好信息，获得与该喜好信息对应的鞋、服装、帽子等的组合喜好信息，因而逐渐筛选各用户的喜好。
[0098]此外，作为挑战性组合(通常不被用户选择的组合、或者与上述喜好信息不同的组合)，针对从喜好信息中选择的组合信息，时尚搭配师可以从商品表格中随机地选择几个与相反极端的组合信息对应的商品，在生成着装图像数据时将该选择的商品插入到几个组
由口卞ο
[0099]由此，用户的喜好多极化，有进一步增加购买期望的可能性。
[0100]此外，如图6所示，本实施方式中的检索辅助系统可以具备用户终端2a和检索服务器la，其中该用户终端2a构成为具有与上述的抽出部11相同的抽出作用的抽出部11a，该检索服务器I去除了抽出部11。这种情况下，抽出部Ila以用户终端2a取得的输入图像数据、或存储在用户终端2a的输入图像数据为基础，抽出该输入图像数据的检索部分(例如商品部分)，并仅将与检索部分相当的图像数据作为输入图像数据发送给检索服务器Ia即可。此外，关于抽出部Ila以外的构成，由于与上述的实施方式相同，因而省略说明。这样，作为发送的图像数据，用户仅向检索服务器Ia发送与输入图像数据当中的检索部分相当的图像数据即可，例如，无需向检索服务器Ia发送与用户的面孔部分或其他人的面孔部分相当的图像数据。
[0101]另外，本实施方式中，不仅对于服装或鞋等商品，对于上述的对象物也能够适用本发明的检索辅助系统。此外，例如本发明的检索辅助系统还能够适用于住宿设施(宾馆或旅馆等)或餐馆等中提供的服务。例如，在上述的住宿设施中，本发明的检索辅助系统能够在选择房间布置的组合、窗口风景的组合、房间或其布置与窗口风景的组合等时适用。此夕卜，例如，在上述餐馆等中，本发明的检索辅助系统能够在选择餐馆室内装饰的组合、窗口风景的组合、音乐的组合、室内装饰与窗口风景的组合、室内装饰与音乐的组合、窗口风景与音乐的组合等时适用。
[0102]〈第2实施方式〉
[0103]以下，参照附图对基于本发明的一个实施方式的商品检索辅助系统进行说明。
[0104]以往，在购入组合多个不同种类(类别)的商品的组合商品(例如服饰、组合家具、组合家电等)的情况下，如果不实际到零售店，则无法直接向店员询问哪个组合适当。
[0105]此外，在针对用户自身已购入的商品或者要购入的商品，从上述虚拟商店的庞大商品组中选择组合时匹配良好的商品的情况下，由于无法让组合商品的搭配师一一确认，且用户自身无法进行选择，因而导致不能进行购入的情况。
[0106]例如，对于服饰而言，存在即使想要选择与用户购入的短外套匹配的裤子或者衬衫，也无法让一流的时尚搭配师确认，担心会选择不可能的组合而放弃购入匹配的裤子或衬衫的情况。
[0107]这里，所谓的服饰是指穿着在人与生俱来的身体上的衣服、服饰用品(装饰品、包、鞋、帽子等)的全部。
[0108]本实施方式为解决如上述的课题而成，其在购入组合商品时，针对用户将要购入或者已购入的商品，从商品组中抽出组合时匹配的商品，并向用户推荐所抽出的商品，从而辅助用户购入组合商品。
[0109]图7是表示基于本实施方式的商品检索辅助系统的构成例的框图。本发明为如下系统，即:在购入由多个类别的销售商品条目构成的商品条目组合中的任意一个类别的销售商品条目时，将与已购入的销售商品条目的组合被视为良好的商品条目组合中的其余类别的销售商品条目作为推荐商品提示给用户，从而辅助以能够从大量的销售商品条目中容易地选择与用户将要购入的销售商品条目的组合被视为良好的销售商品条目。在以下的说明中，使服饰中的各商品(西装外套、衬衫、裤子等类别的商品)全部为商品条目、使虚拟商店实际销售的商品条目为销售商品条目、使在后述的图像介质中被组合的商品条目分别为组合商品条目来进行说明。
[0110]在该图中，商品检索辅助系由商品检索辅助装置100、一个或者多个用户终端200构成。商品检索辅助装置100具有控制部21、类似条目检索部22、组合检索部23、商品检索部24、收发部25、商品条目数据库26、商品条目图像数据库27、组合信息数据库28、组合商品图像信息数据库29以及组合商品图像数据库30。用户终端200是在例如各用户的各家庭中设置的、具备互联网浏览器的个人电脑。商品检索辅助装置100和用户终端200与包括互联网的信息通信网I连接。
[0111]商品条目数据库26针对商品条目的每一种，具有多个表格构成的存储区域。
[0112]S卩，商品条目数据库26如图8所示，作为类别I而针对衬衫的商品条目的识别信息Al?An的每个，具有将所销售的销售商品条目的属性信息进行存储起来的表格构成的存储区域。
[0113]此外，同样，商品条目数据库26如图9所示，作为类别2而针对裤子的商品条目的识别信息BI?Bn的每个，具有将所对应的销售商品条目的属性信息存储起来的表格构成的存储区域。
[0114]此外，同样，商品条目数据库26如图10所示，作为类别3而对短外套的商品条目的识别信息Cl?Cn的每个，具有将所对应的销售商品条目的属性信息存储起来的表格构成的存储区域。
[0115]进而，商品条目数据库26虽然没有图示，但除了上述的各类别以外，作为服饰的其他类别而具有将鞋、罩衫、包等多个表格分别存储起来的存储区域。
[0116]此外，在商品条目数据库26的各表格中，作为属性信息之一而设有类似商品条目栏，并将与销售商品条目相同或者类似的组合商品图像信息数据库29中的商品条目，分别如图11 (类别1-衬衫)、图12 (类别2-裤子)和图13 (类别3-短外套)所示，与各销售商品条目的各个类似的商品条目的组群相对应地进行记载。
[0117]这里，作为属性信息，有以下信息，S卩:作为相同或者类似的组合相对应的组合商品条目(后述的组合商品图像信息数据库29中的商品条目)的识别信息、从销售商品条目的图像数据中抽出的图像的特征数据、销售商品条目的价格和品牌等的销售信息等。关于图像的特征数据的种类和取得方法将在后面进行叙述。
[0118]商品条目图像数据库27中，与上述各销售商品条目的识别信息分别对应地存储有在商品条目数据库26中存储的各类别的销售商品条目每个的图像数据。
[0119]组合信息数据库28，使在时尚杂志、时尚产品目录和互联网上的图像介质中模特等进行组合来穿在身上的服饰商品、即组合着装的商品条目分别为组合商品条目，将与组合商品条目组合后的组合商品条目和各自的对应关系的组合，与各自的识别编号对应地存储起来。例如，在时尚杂志中，在模特着装了识别信息al-Ι的衬衫、识别信息bl-2的裤子和识别信息cl-7的短外套的各商品条目的情况下，如图14的组合信息数据库28中的第一行所示，将识别信息al-Ι、识别信息bl-2和识别信息cl-7的组合商品条目作为一组相对应地进行存储。
[0120]该组合信息中，将时尚设计师制作的组合的商品条目的组合、或者时尚搭配师将时尚设计师制作的商品条目搭配而成的组合，作为组合商品条目的组合。因此，各个组合商品条目成为精练的组合，如果是该组合，则着装时看到其时尚的人不会感到不适感而自然地接受的可能性高。
[0121]组合商品图像信息数据库29中，按照类别储存有从时尚杂志、时尚产品目录、互联网上的设计师收藏信息等图像介质(提示杂志的照片、插图等图像的资料或装置)取得的服饰中的组合商品条目。这里，组合商品图像信息数据库29由例如图15、图16和图17所示的表格构成而构成。
[0122]图15中作为类别I而将衬衫储存为组合商品条目，图16中作为类别2而将裤子储存为组合商品条目，图17中作为类别3而将短外套储存为组合商品条目。组合商品图像信息数据库29中，对组合商品条目赋予识别信息，针对每个识别信息存储有对应的组合商品条目的属性信息。该属性信息为，例如类似的销售商品条目的识别信息、从组合商品条目的图像数据中抽出的图像的特征数据、组合商品条目的价格和品牌等销售信息等。关于特征数据的种类和取得方法将在后面进行叙述。
[0123]此外，在组合商品图像信息数据库29的各表格中，作为属性信息之一而设有类似商品条目栏，如图15(类别1-衬衫)、图16(类别2-裤子)和图17(类别3-短外套)所示，将与组合商品条目相同或者类似的商品条目数据库26中的商品条目相对应地进行记载。
[0124]上述组合商品图像信息数据库29中，在图15的表格中，将识别信息al-Ι?al_k存储为与销售商品条目Al相同或者类似的组合商品条目，将识别信息a2_l?a2_k存储为与销售商品条目A2相同或者类似的组合商品条目，依次地将识别信息an-Ι?an-m存储为与销售商品条目An相同或者类似的组合商品条目。
[0125]同样，在组合商品图像信息数据库29中，在图16的表格中，将识别信息bl-Ι?bl-m存储为与销售商品条目BI相同或者类似的组合商品条目，将识别信息b2-l?b2_r存储为与销售商品条目B2相同或者类似的组合商品条目，依次地到识别信息bn-Ι?bn-m为止，被存储为与销售商品条目Bn相同或者类似的组合商品条目。
[0126]同样，在组合商品图像信息数据库29中，在图17的表格中，将识别信息cl-1?cl-q存储为与销售商品条目Cl相同或者类似的组合商品条目，将识别信息c2_l?c2_k存储为与销售商品条目B2相同或者类似的组合商品条目，依次地到识别信息cn-Ι?cn-m为止，被存储为与销售商品条目Cn相同或者类似的组合商品条目。
[0127]组合商品图像数据库30中，将组合商品图像信息数据库29中存储的各类别的组合商品条目每个的图像数据，与上述各组合商品条目的识别信息分别对应地存储起来。
[0128]此外，上述的商品条目数据库26、商品条目图像数据库27、组合信息数据库28、组合商品图像信息数据库29和组合商品图像数据库30中，根据性别、年龄段、时尚倾向(例如如果是男性则可以是休闲、保守、熟男类、成人类、街头类、里原(原宿)类、时装类，而如果是女性则可以是少女类、熟女类、保守类、青少年类、名品类等)等来进行分类。
[0129]如果如上述那样进行分类，则在进行搭配处理之前，需要从用户那里取得性别、年龄(10岁段、20岁段、30岁段…等)、时尚倾向等作为分类的信息。
[0130]控制部21通过自身管理的虚拟商店被用户终端200访问而启动，并取得性别、年龄段和时尚倾向等分类信息，或将显示后述的组合条目和进行选择操作的处理程序(通过用户终端的浏览器等而动作)发送给用户终端200。这里，控制部21和用户终端200借助信息通信网I和收发部25进行各数据的收发。用户终端200通过内部的浏览器而启动上述处理程序，并与图像显示或者选择销售商品条目或组合商品条目的处理中的商品检索辅助装置100进行数据收发。
[0131]此外，控制部21若从用户终端200接收到针对上述画面数据的回答数据，则从与该性别、年龄段和时尚倾向对应的多个商品条目数据库26中选择任意一个商品条目的表格，并且借助收发部25和信息通信网I向用户终端200发送表示组合商品条目的类别的类别信息，例如衬衫、裤子、短外套、鞋等文字信息、或者图像信息。
[0132]此外，控制部21若接收到从用户终端200发送来的、用户选择的类别的种类、例如表示衬衫的类别信息，则选择商品条目数据库26的以衬衫(类别I)为类别的图8所示的表格，并读取该表格中的商品条目的识别信息Al?An，从商品条目图像数据库27读出直到识别编号Al?An为止的商品条目的图像数据，并变换成缩略图图像的图像数据(降低图像数据的位数)，附加分别对应的销售商品条目的识别编号后发送给用户终端200。
[0133]此外，控制部21若被输入用户根据缩略图图像选择购入后的销售商品条目的识别编号，则进行针对订购的接收订购处理，并且将所输入的识别编号发送给类似条目检索部22。这里，接收订购处理为，针对用户终端200请求与属性信息中记载的价格对应的费用、接收订购的销售商品条目的库存确认、向用户输入的地址配送销售商品条目的配送手续等。
[0134]类似条目检索部22从组合商品图像信息数据库29的表格(类别I)中检索在类似商品条目栏中记载有与所输入的销售商品条目的识别编号一致的识别编号的多个组合商品条目，并将与上述销售商品条目相同或者类似的组合商品条目作为类似商品条目抽出，输出给组合检索部23。
[0135]组合检索部23从组合信息数据库28中检索与从类似条目检索部22输入的识别编号的类似商品条目分别对应的、不同类别、例如裤子(类别2)的商品条目，并抽出所对应的组合商品条目，并将该组合的识别信息作为第2组合商品条目输出给控制部21。
[0136]此外，控制部21将与从组合检索部23输入的类似商品条目的识别信息、和第2组合商品条目的识别信息的多个组合的识别信息对应的图像数据，与各个识别信息对应地从组合商品图像数据库30中读出，并发送给用户终端200，若输入用户选择的组合中的组合商品条目的识别信息，则将接收到的识别信息输出给商品检索部24。
[0137]商品检索部24从商品条目数据库26中检索出与所输入的第2组合商品条目的识别信息对应的、实际上正在销售的销售商品条目，并作为与用户购入的销售商品条目组合的不同类别的推荐销售商品条目，根据识别信息从商品条目图像数据库27中读出该推荐销售商品条目的图像数据，发送给用户终端200。
[0138]此外，商品检索部24也可以构成为:将作为推荐商品的销售商品条目的金额与用户购入的销售商品条目的金额进行比较，判定是否在已设定的范围内(例如在购入的组合商品的金额的0.5?2倍以内)，如果在购入金额以下，则发送给用户终端200，如果在范围夕卜，则不发送推荐商品。
[0139]接着，参照图7和图18对基于本实施方式的商品检索辅助系统的动作进行说明。图18是表示图7中的商品检索辅助系统的动作例的流程图。以下，将用户输入的商品作为商品条目，将虚拟商店上实际销售的商品作为销售商品条目(商品条目数据库26)，将从选择商品组合时使用的图像介质中抽出的商品作为组合商品条目(组合商品图像信息数据库29)来进行说明。
[0140]若通过用户的操作，用户终端200借助信息通信网I访问商品检索辅助装置100所管理的虚拟商店，则控制部21向用户终端200发送用于取得性别、年龄段和时尚倾向的信息、和显示后述的组合条目或者对所显示的图像进行选择操作的处理程序。在用户终端200内，在互联网浏览器内通过上述处理程序而具备图像显示处理部和选择处理部，从而显示从商品检索辅助装置100发送的图像数据，或者进行图像数据的编集处理、图像数据的选择处理。
[0141]然后，控制部21若从用户终端200接收到针对被输入到上述画面数据的性别、年龄段和时尚倾向的回答数据(例如从画面上所显示的各个选项中选择的数据)，则从与该性别、年龄段和时尚倾向对应的商品条目数据库26的多个表格中选择对应的表格，并且借助收发部25和信息通信网I向用户终端200发送表示销售商品条目的类别的类别信息，例如衬衫、裤子、短外套、鞋等文字信息或者图像信息。
[0142]若输入文字信息或者图像信息，则用户终端200按照上述处理程序在显示部上显示基于文字信息或者图像信息的类别(例如衬衫、裤子、短外套等)，进行促使用户选择购入哪个的显示(例如“请选择”等)。
[0143]若用户选择任意一个类别，则用户终端200将表示用户选择的类别的类别信息、例如表示衬衫的类别信息发送给商品检索辅助装置100 (步骤Fl)。
[0144]S卩，若接收到用户想要购入的商品条目的类别信息，则控制部21从图8至图10所示的商品条目数据库26的表格中选择以衬衫为类别(类别I)的图8所示的表格，读取该表格中的销售商品条目的识别信息Al?An的全部，从商品条目图像数据库27读出到识别编号Al?An为止的销售商品条目的图像数据，并作为缩略图图像的图像数据，附加与缩略图图像分别对应的销售商品条目的识别编号，然后发送给用户终端200。
[0145]若输入缩略图图像的图像数据，则用户终端200在显示部上显示识别编号Al?An的销售商品条目的缩略图图像(步骤F2)。
[0146]然后，若用户选择所显示的缩略图图像的任意一个，则用户终端200将所选择的缩略图图像的识别信息发送给商品检索辅助装置100。
[0147]若接收到所选择的缩略图图像的识别信息，则控制部21针对用户根据缩略图图像而选择为购入对象的选择销售商品条目，进行对于订购该识别编号的销售商品条目、即衬衫的接收订购处理，并且将所输入的识别编号发送给类似条目检索部22。
[0148]然后，若被输入例如用户购入的销售商品条目的识别编号Al，则类似条目检索部22从图15至图17所示的组合商品图像信息数据库29的表格中进行抽出，并作为由与该识别编号Al —致或者类似的单个或者多个组合商品条目形成的候补组(步骤F3)。
[0149]这里，类似条目检索部22例如若从组合商品图像信息数据库29被输入销售商品条目的识别编号Al，则将在属性数据中的类似商品条目的栏中记载有识别编号Al的上述识别编号al-Ι?al-q的组合商品条目，作为类似的组合商品条目的候补组抽出，并输出给组合检索部23。
[0150]组合检索部23从图14所示的组合信息数据库28中，检索与从类似条目检索部22输入的上述候补组中的识别编号的组合商品条目分别对应的、不同类别、例如裤子的组合商品条目，并抽出对应的裤子的组合商品条目(例如与图14所示的al-1、al-2、al-3、…对应的bl-2、b2-3、bl-4、…)作为第2组合商品条目，将该组合中的各个识别信息输出给控制部21 (步骤F4)。这里，作为与用户购买的销售商品条目组合的销售商品条目而推荐的类别，可以预先与所购买的商品对应地进行设定，但是也可以最初使用户从多个类别中进行选择。
[0151]然后，控制部21将与从组合检索部23输入的组合商品条目的识别信息、和第2组合商品条目的识别信息的多个(与候补组对应的组合商品条目的数量)组合识别信息分别对应的图像数据，与各个识别信息对应地从组合商品图像数据库30中读出，并对各个组合商品条目的图像数据附加各自的识别信息，然后发送给用户终端200。
[0152]若被输入组合商品条目的识别信息(与衬衫对应)、和与第2组合商品条目(与裤子对应)的识别信息的多个组合的识别信息、以及与其对应的图像数据，则用户终端200在显示部上显示各个组合的图像数据(步骤F5)。
[0153]此外,在显示画面的端部,显示多个与由CG(Computer Graphics ;计算机图形)制作而成的每个体型对应的三维人体图像，并通过选择任意一个，用户终端200与上述人体图像重叠地显示组合商品条目的衬衫和裤子。此外，用户终端200可以用户利用所搭载的摄像头对用户自身的面孔进行拍摄，并进行将用户选择的面孔区域与上述CG的人体图像的面孔部分重叠地显示的图像处理。
[0154]接着，若用户从显示部上显示的多个组合中选择任意一个(步骤F6)，例如若选择识别信息al-Ι与识别信息bl-2的组合，则用户终端200将用户选择的组合中的第2组合商品条目(与裤子对应)的识别信息bl-2发送给商品检索辅助装置100。
[0155]若借助控制部21输入上述第2组合商品条目的识别信息bl-2，则商品检索部24检索与商品条目数据库26的裤子类别对应的图9所示的表格(步骤F7)，并抽出与该识别信息bl-2对应的识别信息BI即销售商品条目(步骤F8)。
[0156]然后，控制部21将与商品检索部24抽出的组合销售商品条目的识别信息BI对应的图像数据，从商品条目图像数据库27中检索并读出。
[0157]此外，控制部21将与用户购入的识别信息Al对应的图像数据，从商品条目图像数据库27中检索并读出，并且与识别信息BI的销售商品条目的图像数据一起发送给用户终端 200。
[0158]若被输入销售商品条目的图像数据，则用户终端200在显示部上显示组合的图像数据(步骤F9)。
[0159]这时，与上述的步骤F5同样，在显示画面的端部，显示多个与通过CG制作而成的每个体型对应的三维人体图像，并通过选择任意一个，用户终端200与上述人体图像重叠地显示销售商品条目的衬衫(识别信息Al)和裤子(识别信息BI)。此外，用户终端200可以利用所搭载的摄像头对用户面孔进行拍摄，将用户选择的面孔区域与上述人体图像的面孔部分重叠地进行显示。
[0160]然后，若用户从显示画面的选项中选择购入或不购入识别信息BI即销售商品条目的推荐商品(步骤F10)，则用户终端200将识别信息Al和识别信息BI与表示购入或者不购入的信息一起发送给商品检索辅助装置100。
[0161]若与表示购入或者不购入的信息一起被输入识别信息Al和识别信息BI，则控制部21在购入的情况下，与识别信息Al的销售商品条目的情况同样地进行接收订购处理。
[0162]此外，可以在商品检索辅助装置100中设置图7中由虚线表示的历史记录数据库31。
[0163]历史记录数据库31由形成图19所示的表格构成的用户表格、和各用户每个的由图20所示的表格构成的购入历史记录表格构成。
[0164]图19的用户表格构成为:针对进行了会员登记的用户或者购入了销售商品条目的用户，将赋予给各用户的以识别各用户的用户识别信息、和与该用户识别编号对应地，至少用户的姓名和用户的用户邮箱地址相对应。
[0165]此外，图20的购入历史记录表格针对各用户的每个而设置，并且通过上述用户识别信息进行识别，并与访问虚拟商店的访问日期时间对应地，作为历史记录而存储在访问日期时间所购入的销售商品条目的识别信息、虽然检索了但未购入的销售商品条目的识别信息、以及针对所购入的销售商品条目进行了推荐但未被购入的组合商品条目的识别信息。如果没有已购入的销售商品条目，则存储“-”。
[0166]例如，若用户从用户终端200访问虚拟商店，并在会员登记页面上输入姓名和邮箱地址而进行会员登记，则控制部21赋予识别信息并追加登记到用户表格中。
[0167]然后，如果在用户选择的类别中检索销售商品条目并购入了该销售商品条目，则控制部21将所购入的销售商品条目存储在所购入的商品条目的识别信息的区域中，另一方面，虽然检索了但未购入时，将检索到的销售商品条目的识别信息存储到虽然检索了但未购入的商品条目的识别信息的区域中。
[0168]此外，若用户购入与上述购入的销售商品条目组合的推荐商品即销售商品条目，则控制部21在上述购入历史记录表格中，将所购入的销售商品条目存储到所购入的商品条目的识别信息的区域中，另一方面，如果没有购入上述推荐商品即销售商品条目，则存储到虽然进行了推荐但未被购入的商品条目的识别信息的区域中。
[0169]然后，在用户再次访问虚拟商店并检索到销售商品条目的情况下，控制部21根据用户输入的用户识别信息，从购入历史记录数据库31中选择该用户的购入历史记录表格，并根据该销售商品条目的识别信息检索所选择的购入历史记录表格。
[0170]这时，在所购入的商品条目的识别信息的区域中检索出用户正在检索的销售商品条目的识别信息的情况下，控制部21对相同的销售商品条目附加所购入的日期时间，并发送给用户终端200，在显示画面上进行显示来通知用户已经购入的组合商品化条目。
[0171]此外，在虽然检索了但未购入的商品条目的识别信息的区域中检索到正在检索的销售商品条目的识别信息，则控制部21对相同的销售商品条目附加检索到的日期时间并发送给用户终端200，在显示画面上进行显示，向用户通知“是之前检索过的商品条目，是您中意的类型吗”等刺激购入意欲的信息。
[0172]此外，在虽然进行了推荐但未被购入的商品条目的识别信息的区域中检索到正在检索的销售商品条目的识别信息的情况下，控制部21对相同的销售商品条目附加进行了推荐的日期时间和当时购入的销售商品条目的图像数据，并发送给用户终端200，在显示画面上进行显示，来向用户通知“是与之前您购买的商品条目组合起来很好的商品条目哦”等刺激购入意欲的信息。
[0173]接下来，对特征数据进行说明。如图8至图10以及图15至图17中所述，特征数据是针对例如R(红)G(绿)B(蓝)的颜色空间每个将服饰质地的花样进行了二维傅立叶变换之后的数据。控制部21通过二维傅立叶变换而生成该特征数据的要素数据RD、GD和BD。这时，如果销售商品条目或者组合商品条目为衬衫或短外套，则将服装的宽度或者肩宽作为进行二维傅立叶变换时的长度的基准值，对各销售商品条目和组合商品条目间的处理中的数据进行整合。
[0174]此外，如果是裤子，则将腰部分的宽度作为进行二维傅立叶变换时的长度的基准值，对各销售和组合商品条目间的处理中的数据进行整合。
[0175]S卩，为了确认类似性、以及准确地判定体格的大小等，需要根据特征数据，且以装饰品的任意一个位置的尺寸作为基准值，将整体的各部的尺寸标准化，对相同类别内的组合商品的二维傅立叶变换结果进行整合。在拍摄进行二维傅立叶变换的图像数据时，将衬衫、短外套和裤子等放在平坦的地板上，整平之后用数码相机等进行拍摄。
[0176]此外，作为特征数据的要素数据的形状，例如如果是衬衫或短外套则为袖子相对于肩宽的袖子的长度之比，如果是裤子则为裤腿根宽度与裤脚宽度之比。
[0177]接下来是结构，将具有最大面积的质地部分放大，并对质地的形状进行二维傅立叶变换。这时，使放大率一定，获得由不同组合条目间的图像数据而得到的二维傅立叶变换的数据的整合性。
[0178]如上所述，虚拟商店的店员利用控制部21从正在销售的销售商品条目的图像数据中收集特征数据，并且在从时尚产品目录或者互联网等图像介质中收集的组合商品条目的图像数据中收集属性数据。
[0179]然后，对于具有类似性的组合商品条目，以实际正在销售的销售商品条目的特征数据作为块的重心数据，进行从图像介质收集的组合商品条目的聚类。这里，控制部21例如求出比较特征向量与基准特征向量的距离，并进行如下处理，即:将相对于各销售商品条目和各个其他组合商品条目的基准特征向量而言具有距离近的特征向量的组合商品条目，作为与被视为近的销售商品条目具有类似性的块的处理，从而生成图15、图16和图17的表格中的组合商品条目与类似商品条目栏的销售商品条目之间的对应关系，其中，该比较特征向量由从店员输入的图像介质收集的各个组合商品条目的图像数据的特征数据形成，该基准特征向量由实际上正在销售的各个销售商品条目的图像数据的特征数据形成。同样，生成图8、图9和图10的表格中的销售商品条目与类似商品条目栏的组合商品条目之间的对应关系。即，图8、图9和图10中的表格的类似商品条目栏中记载的识别信息，是相对于所对应的识别信息的正在销售的销售商品条目而言，距离比其他正在销售的销售商品条目短、即具有类似性的组合商品条目的识别信息。
[0180]这里，控制部21例如可以在图8、图9、图10各个图中的类似商品条目栏中，按照距离短的顺序、即类似性高的顺序进行排列存储。由此，在选择与销售商品条目最类似的组合商品条目的情况下，类似条目检索部22能够按照图15至图17容易地在从图像介质收集的组合商品条目中，抽出最类似的组合商品条目、或者从类似度最高开始到第h个(h被预先设定)为止的组合商品条目。
[0181]此外，如上所述，也可以不是将各个销售商品条目的基准特征向量、与从具有处于近距离的比较特征向量的图像介质中收集的组合商品条目的特征数据进行比较来预先进行聚类，而设置记载类似商品条目的识别信息栏，而是在每次检索类似的组合商品条目时计算类似度。
[0182]例如，在步骤F3中的从与销售商品条目类似的图像介质中取得的组合商品条目的检索中，可以构成为，类似条目检索部22根据上述的基准特征向量与比较特征向量的距离来算出类似度(距离越短类似度越高)，并抽出从与销售商品条目具有类似性的图像介质中收集的组合商品条目。
[0183]这时，同样，在步骤F7中的与从图像介质取得的组合商品条目类似的销售商品条目的检索中，可以构成为，商品检索部24根据上述的基准特征向量与比较特征向量的距离来算出类似度，并抽出与从图像介质中收集的组合商品条目具有类似性的销售商品条目。
[0184]进而，类似条目检索部22和商品检索部24可以算出销售商品条目与从图像介质中收集的组合商品条目的距离，并抽出类似度最高的组合商品条目、或者从类似度最高开始到第h个的组合商品条目。
[0185]如上所述，根据本实施方式，在购入组合商品时，在对用户将要购入或者已购入的商品而言，从正在销售的商品组中抽出进行组合时匹配的商品，并向用户推荐所抽出的商品，因而在从互联网的虚拟商店中的大量商品中选择匹配的商品时，自己无需烦恼是否匹配而能够容易地选择组合商品。
[0186]〈第3实施方式〉
[0187]在第2实施方式中，商品检索辅助装置100根据缩略图图像将销售商品条目发送给用户终端200，使用户在用户终端200的画面上进行选择。
[0188]在第3实施方式中，可以在用户访问虚拟商店之后，将借助扫描仪等从图像介质读入的、或者通过互联网下载的想要购入的服饰的图像数据，作为商品条目的图像数据输入到用户终端200，用户终端200将该图像数据发送给商品检索辅助装置100，商品检索辅助装置100抽出与该图像数据的组合商品条目类似的销售商品条目。抽出销售商品条目之后的动作，与在第2实施方式中用户根据缩略图图像选择销售商品条目之后的动作相同。
[0189]基于第3实施方式的商品检索辅助装置100的构成与第2实施方式相同。以下，仅对与第2实施方式不同的动作进行说明。
[0190]若用户利用用户终端200访问虚拟商店，则商品检索辅助装置100启动，控制部21将输入画面(利用鼠标等点击选项并进行检索)的图像信息发送给用户终端200，其中该输入画面向用户终端200询问是根据缩略图图像选择销售商品条目，还是根据用户输入的服饰的图像数据从商品条目数据库26中抽出类似的销售商品条目。
[0191]然后，若用户决定根据缩略图图像选择购入的商品而从用户终端
[0192]200根据缩略图图像输入表示选择的响应信号，则控制部21与第2实施方式同样地，对各个图像数据附加销售商品条目的识别信息，并将多个销售商品条目的缩略图图像发送给用户终端200。之后，在用户从缩略图图像中选择了任意一个之后，则为与第2实施方式同样的处理。
[0193]另一方面，若用户选择根据自身输入的图像数据从商品条目数据库26中抽出类似的销售商品条目，则用户终端200向商品检索辅助装置100发送表示根据用户输入的图像数据进行选择的响应信号。由此，控制部21将输入图像数据的输入画面的信息发送给用户终端200。
[0194]用户利用扫描仪使用户终端200读入想要购入的服饰的图像数据(时尚杂志、或者时尚产品目录等纸质图像介质)，或者使用户终端200读入利用数码相机进行拍摄而得的图像数据或通过互联网而得的图像数据。
[0195]若读入图像数据，则在用户终端200中的输入画面的图像数据显示区域上，如图21所示地显示该图像数据，用户利用虚线Hl来选择图像数据的想要购入的服饰部分、例如想要抽出的衬衫部分，用虚线2选择想要抽出的衬衫部分(该衬衫的外周部附近的部分)，利用组合框选择类别名，并通过用户点击显示画面中的发送键，用户终端200检测出请求发送处理图像数据的处理的要求，而将被划上虚线Hl和虚线H2的服饰的图像数据、未被划线的服饰的图像数据、表示所选择的服饰的类别名的类别信息发送给商品检索辅助装置100。
[0196]而且，若接收到划上虚线Hl和虚线H2的服饰的图像数据、和未被划上虚线的服饰的图像数据，则控制部21对上述服饰的图像数据，通过Graph-Cut法进行将衬衫部分与其以外的部分分割的处理，而抽出衬衫部分。
[0197]S卩，控制部21将具有与在衬衫部分划上的虚线Hl所涉及的像素同样的像素值的区域、和具有与在衬衫部分以外划上的虚线H2所涉及的像素同样的像素值的区域之间的边界，作为因灰度等级形成的误差函数的误差最小的位置来求出，从而进行分割。
[0198]这里，控制部21若抽出衬衫部分，则如上所述地进行二维傅立叶变换，并且抽出作为特征数据中的要素的形状数据，并作为检测对象特征数据进行输出。
[0199]而且，控制部21从商品条目数据库26中选择与所抽出的服饰的类别对应的表格、例如本实施方式中为衬衫的表格。
[0200]选择了衬衫的表格之后，控制部21算出由表格的各销售商品条目的特征数据形成的基准特征向量、与由上述检测对象特征数据形成的对象特征向量之间的距离，并从上述衬衫的表格中抽出具有与检测对象特征数据类似的特征数据的销售商品条目，即抽出从类似度的上数第h个、例如上数第5个为止的销售商品条目。这里，控制部21在特征数据中，难以从用户发送的图像数据中抽出结构，因而根据特征数据生成特征向量时，从向量的要素中除去结构，算出进行比较的两者的特征向量的距离。
[0201]接着，控制部21根据该上数5种商品的识别信息，从商品条目图像数据库27中读出各个销售商品条目的图像数据，并且作为缩略图图像，分别与识别信息对应地发送给用户终端200。在此之后的处理与在第2实施方式中的图18的流程图中的步骤F2中发送缩略图图像之后的处理相同。
[0202]〈第4实施方式>
[0203]在第3实施方式中进行如下处理，S卩:从存储有正在销售的销售商品条目的商品条目数据库26中检索出与用户输入的商品条目的图像数据相同或者同样的销售商品条目，并将检索到的销售商品条目提示给用户，并且推荐与检索到的销售商品条目组合的其他类别的销售商品条目的处理。
[0204]在第4实施方式中，进行检索与用户已经具有的服饰组合的销售商品条目的动作。
[0205]用户利用数码相机拍摄自身所具有的服饰、例如衬衫，并在用户终端200利用数码相机读入上述衬衫的图像数据。
[0206]然后，若用户利用用户终端200访问虚拟商店，则商品检索辅助装置100启动，控制部21向用户终端200发送输入画面(利用鼠标等点击选项并进行检索)的图像信息，该输入画面向用户终端200询问是根据缩略图图像选择销售商品条目、还是根据用户输入的服饰的图像数据从商品条目数据库26中抽出类似的销售商品条目、还是针对用户输入的图像数据的服饰推荐组合的销售商品条目。
[0207]然后，若用户决定根据缩略图图像选择要购入的商品而从用户终端200根据缩略图图像输入表示选择的响应信号，则控制部21与第2实施方式同样地，对各个图像数据附加销售商品条目的识别信息，并将多个销售商品条目的缩略图图像发送给用户终端200。然后，在用户从缩略图图像中选择了任意一个之后，则为与第2实施方式同样的处理。
[0208]另一方面，若用户选择根据自身输入的图像数据从商品条目数据库26中抽出销售商品条目，则用户终端200向商品检索辅助装置100发送表示根据用户输入的图像数据进行选择的响应信号。在此之后的处理为与第3实施方式同样的处理。
[0209]此外，若用户选择推荐与自身输入的图像数据的服饰组合的其他类别的销售商品条目，则用户终端200向商品检索辅助装置100发送表示选择了推荐与用户输入的图像数据的服饰组合的销售商品条目的响应信号。
[0210]以下，对之后的基于第4实施方式的、推荐与用户输入的图像数据的服饰组合的销售商品条目的处理进行说明。基于第4实施方式的商品检索辅助装置100的构成与第2实施方式相同。以下，仅对与第I和第3实施方式不同的动作进行说明。
[0211]如上所述，若用户选择推荐与自身输入的图像数据的服饰组合的销售商品条目，则用户终端200向商品检索辅助装置100发送表示推荐与用户输入的图像数据的服饰组合的销售商品条目的响应信号。由此，控制部21向用户终端200发送输入图像数据的输入画面的信息。
[0212]用户利用数码相机等摄像装置拍摄想要推荐进行组合的销售商品条目的自身所具有的服饰(例如衬衫)的图像数据，并且在用户终端200读入由该摄像装置拍摄上述服饰而得的图像数据。
[0213]若用户终端200显示所读入的图像数据，则用户在位于上述图像数据显示区域附近的类别输入栏中，从组合框中选择并输入在图像数据显示区域上所显示的图像数据的服饰类别。
[0214]然后，若用户利用鼠标等定位设备选择输入画面中的发送键，则用户终端200检测到请求发送处理图像数据的处理，并将图像数据显示区域上显示的图像数据与表示上述类别的类别信息一起发送给商品检索辅助装置100。
[0215]若被输入图像数据，则控制部21对图像数据的服饰、例如衬衫的图像数据进行二维傅立叶变换，并且抽出作为特征数据中的要素的形状数据,并作为检测对象特征数据,与类别信息一起输出到类似条目检索部22。
[0216]然后，类似条目检索部22从组合商品图像信息数据库29中选择与所抽出的服饰的类别对应的表格、例如衬衫的表格。
[0217]在选择了衬衫的表格之后，类似条目检索部22算出由表格的各组合商品条目的特征数据形成的基准特征向量、与由上述检测对象特征数据形成的对象特征向量之间的距离，并将具有与检测对象特征数据类似的特征数据的组合商品条目，从上述衬衫的表格中，抽出从类似度的上数第h个、例如上数第5个为止的组合商品条目。这里，控制部21在特征数据中，难以从用户发送的图像数据中抽出结构，因而在根据特征数据生成特征向量时，从向量的要素中除去结构而生成基准特征向量和检测对象特征向量。
[0218]然后，类似条目检索部22向组合检索部23输出与所检测的类似度为上数第5个为止的组合商品条目、例如衬衫的5个识别信息。
[0219]若被输入组合商品条目的识别信息，则组合检索部23在组合信息数据库28中，读出与所输入的组合商品条目的5个识别信息分别对应地存储的其他类别、例如裤子的组合条目的识别信息。
[0220]接下来，组合检索部23向控制部21发送衬衫与裤子的5个组合中的各个识别信息的组合。在此之后的处理与图18的流程图中的步骤F5以后的处理相同。
[0221]〈第5实施方式〉
[0222]在组合商品图像信息数据库29中，可以与识别信息对应地存储有从过去例如10年前、或者20年前等的旧时尚杂志或者时尚产品目录等中收集的、旧服饰的图像数据的属性数据。
[0223]此外，在组合商品图像数据库30中，与上述识别信号对应地存储有旧服饰的图像数据。
[0224]而且，在组合信息数据库28中，与过去的时尚杂志或者时尚产品目录等中的组合商品条目的组合对应地，制作图14所示的不同类别间的组合商品条目的组合的表格。
[0225]如上所述，通过构成组合商品图像信息数据库、组合商品图像数据库30和组合信息数据库28，而在销售了与过去的设计相似的新销售商品条目时，可以利用过去的设计中的组合，从现在销售的销售商品条目中，容易地抽出与过去的设计相似的新组合商品条目组合的销售商品条目。
[0226]本实施方式中，作为商品条目以服饰为例进行了说明，但是能够容易地适用于组合多个不同种类(类别)的商品的组合商品、例如组合家具、组合家电等全部商品。
[0227]另外，在上述各实施方式中，可以将用于实现检索服务器l、la、和商品检索辅助装置100各部的功能的程序记录在计算机可读取的记录介质上，并通过使计算机系统读入并执行该记录介质上记录的程序来进行商品检索的辅助处理。另外，这里所说的“计算机系统”是包括OS、周边设备等的硬件的系统。此外，“计算机系统”还包括具备主页提供环境(或者显示环境)的WWW系统。此外，“计算机可读取的记录介质”是指，软盘、光磁盘、ROM、CD-ROM等可搬介质、计算机系统中内置的硬盘等存储装置。而且，所谓“计算机可读取的记录介质”，还包括在借助互联网等网络或电话线路等通信线路发送程序时的、服务器或作为用户机的计算机系统内部的易失性存储器(RAM)那样保持一定时间程序的介质。
[0228]此外，上述程序可以从将该程序存储在存储装置等中的计算机系统中借助传输介质或者、通过传输介质中的载波而传输到其他计算机系统。这里，传输程序的“传输介质”，是指如互联网等网络(通信网)或电话线路等通信线路(通信线)那样具有传输信息的功能的介质。此外，上述程序可以用于实现前述功能的一部分。而且，可以是与已经将前述功能记录在计算机系统中的程序组合来实现的、所谓的差分文件(差分程序)。
[0229]产业上的可利用性
[0230]本发明适合用于在用户借助互联网检索对象物时，辅助用户进行选择或决定所检索的对象物的检索辅助系统、以及与其类似的技术中，且能够利用该对象物的图像数据对用户想要检索的对象物进行检索。
[0231]附图标记说明如下:
[0232]I…检索服务器；2…用户终端；11…抽出部；12…种类判定部；13…检索部；14...组合抽出部；15…喜好抽出部；16…数据库；7…收发部；18…收发部；1…信息通信网；100…商品检索辅助装置；200…用户终端；21…控制部；22…类似条目检索部；23...组合检索部；24…商品检索部；25…收发部；26…商品条目数据库；27…商品条目图像数据库；28…组合信息数据库；29…组合商品图像信息数据库；30…组合商品图像数据库；31...历史记录数据库。
【权利要求】
1.一种检索辅助系统，其特征在于，具有: 组合商品数据库，其将从图像介质取得的商品条目的属性信息按照每个相同类别进行储存； 组合信息数据库，其针对上述商品条目的每个，存储有与和该商品条目组合使用的不同类别的其他商品条目之间的组合信息； 商品条目数据库，其储存有正在销售的销售商品条目的属性信息； 类似条目检索部，其从上述组合商品数据库中选择由用户输入的商品的图像数据和与该图像数据的属性信息相同或者类似的商品条目的候补组； 组合检索部，其与上述候补组中的上述商品条目的各个对应，从上述组合信息数据库中检索与该商品条目组合的其他商品条目；和 商品条目检索部，其将与用户从上述商品条目和上述其他商品条目的组合中选择的组合中的上述其他商品条目的图像数据相同或者类似的上述销售商品条目的图像数据，根据该图像数据的属性信息，从上述商品条目数据库中检索出，并作为推荐商品进行输出。
2.根据权利要求1所述的检索辅助系统，其特征在于， 还具有控制部，该控制部当用户输入了上述商品条目的类别时，通过缩略图图像显示该类别的商品条目， 上述控制部向上述类似条目检索部通知用户选择的上述商品条目。
3.根据权利要求1或2所述的检索辅助系统，其特征在于， 在上述组合商品数据库中，将从上述图像介质取得的商品条目预先按照每个类似的种类分组并按照该每个组进行存储； 上述类似条目检索部将属于与由用户输入的商品条目相同的组的商品条目作为商品条目的候补组进行抽出。
4.根据权利要求或2所述的检索辅助系统，其特征在于， 在上述组合商品数据库中，按照从上述图像介质取得的每个商品条目，的相对应地存储属性信息； 上述类似条目检索部根据用户选择的商品条目的属性信息，从上述组合商品数据库检索具有类似性的商品条目，并将检索结果作为上述商品条目的候补组进行抽出。
5.根据权利要求1?4中任意一项所述的检索辅助系统，其特征在于， 在上述商品条目数据库中，预先相对应地存储有与上述组合商品数据库中的商品条目相同或者类似的组合商品条目， 上述商品条目检索部将与用户选择的组合中的上述其他商品条目相同或者类似的上述销售商品条目作为上述推荐商品进行抽出。
6.根据权利要求1?4中任意一项所述的检索辅助系统，其特征在于， 在上述商品条目数据库中，将与上述组合商品数据库对应的商品条目，按照商品条目的每个种类，与属性信息相对应地进行存储； 上述类似条目检索部根据用户选择的其他商品条目的属性信息，从上述商品条目数据库中检索具有类似性的上述销售商品条目，并将检索结果作为上述推荐商品进行抽出。
7.根据权利要求1?6中任意一项所述的检索辅助系统，其特征在于， 还具有购入历史记录数据库，其与识别上述用户的识别信号对应，存储有该用户已购入的商品条目； 上述控制部对购入组合商品条目的用户赋予上述识别信号，并与该识别信号对应地，在上述购入历史记录数据库中存储曾推荐的商品条目、和表示是否购入了该商品条目的信肩、O
8.根据权利要求7所述的检索辅助系统，其特征在于， 在上述用户选择了上述商品条目时，对于与上述用户的识别信息对应地存储在上述历史记录数据库中的上述推荐商品，在未购入的推荐商品与上述商品条目相同或者类似的情况下，上述控制部向上述用户通知该商品条目与过去购入的组合条目组合起来很好。
9.根据权利要求7或8所述的检索辅助系统，其特征在于， 在上述用户选择了上述商品条目时，对于与上述用户的识别信息对应地存储在上述历史记录数据库中的上述推荐商品，在已购入的推荐商品与上述商品条目相同或者类似的情况下，上述控制部向上述用户通知该商品条目与过去购入的销售商品条目相同或者类似。
10.根据权利要求1或9中任意一项所述的检索辅助系统，其特征在于， 上述商品条目是服饰品； 检索辅助系统输出在与不同体型对应的人体图像上合成上述服饰品的图像后的且在人体上穿上了上述装饰品的合成图像。
11.一种商品检索辅助方法，其特征在于，具有: 类似条目检索过程，从组合商品数据库中选择由用户输入的商品的图像数据、和与该图像数据的属性信息相同或者类似的商品条目的上述候补组，该组合商品数据库中按照每个相同类别储存有从图像介质取得的商品条目的属性信息； 组合检索过程，与上述候补组中的上述商品条目的各个对应地按照上述商品条目的每个从组合信息数据库中检索与该商品条目组合的其他商品条目，该组合商品数据库中存储有与和该商品条目组合使用的不同类别的其他商品条目之间的组合信息；和 商品条目检索过程，将与用户从上述商品条目与上述其他商品条目的组合中选择的组合中的上述其他商品条目的图像数据相同或者类似的销售商品条目，根据该图像数据的属性信息，从储存有上述销售商品条目的属性信息的商品条目数据库中检索出，并作为推荐商品进行输出。
【文档编号】G06F17/30GK104408076SQ201410612514
【公开日】2015年3月11日 申请日期:2009年8月7日 优先权日:2008年8月8日
【发明者】井上英也, 岩冈彻, 登坂道子, 羽鸟正之, 浜田智秀, 岩崎丰, 佐佐木秀贵 申请人:株式会社尼康