使用多路图像检索模块推荐产品的方法和系统的制作方法

专利名称：使用多路图像检索模块推荐产品的方法和系统的制作方法
技术领域：
本发明涉及一种商品推荐系统，更具体地说，涉及一种通过多重图像
搜索来得出推荐商品的商品推荐系统及其方法，其中，通过文本搜索或图 像搜索来提取图像特征信息，从而得出推荐商品。
背景技术：
与传统商品推荐系统有关的技术包括韩国早期公开专利申请第 2005-0017534号(使用虚拟人物服装购买信息的定制服装推荐系统，下 称"现有技术")，并且有多种技术进行了专利申请和注册。如图1所示，现有技术的定制服装推荐系统包括因特网服务器， 其用于操作和管理向用户提供虚拟人物装扮服务和服装推荐服务的因特 网网站；购物中心服装信息收集服务器，其用于收集与因特网上运作的多 个因特网服装购物中心所出售的服装有关的服装商品信息；虚拟人物服装 信息管理服务器，其用于根据虚拟人物装扮服务的使用来收集虚拟人物服 装购买信息；用于提供服装推荐服务的服装推荐服务器，其分析使用虚拟 人物服装购买信息的虚拟人物装扮服务用户的服装购买偏好、从服装商品 信息搜索与该服装购买偏好密切相关的服装并推荐适合用户品味的真实 服装；以及数据库，其用于存储虚拟人物服装购买信息、服装商品信息和 服装购买偏好信息。如上所述，如果用户购买因特网上的虚拟人物服装来装扮虚拟人物， 以使其看起来像他或她自己，则现有技术通过虚拟人物服装购买信息提供 了适合用户的定制服装推荐服务。但是，由于在装扮虚拟人物之后向用户 推荐相应的服装，因此会有一个问题，即用户可以选择的服装范围仅限于 虚拟人物服装。除此之外，在现有技术中，由于只能通过虚拟人物服装购买信息来确 认用户的服装偏好，所以应使用虚拟人物装扮服务，以提供定制服装推荐 服务，因此会有一个问题，即需要额外的成本和时间。同时，虽然网络空间中目前所用的虚拟人物表示网络空间中的用户， 但通过图标(包括饰物、服装等)来表示用户，而不是通过用户的体形、
品味和容貌来真实地表示用户。因此，即使根据虚拟人物服装向用户推荐 适合用户品味的服装，也不能确定所推荐的服装是否适合用户(买家)。换言之，有一个问题，即尽管用户根据自己的偏好来购买服装，但不 能提前确认所购买的服装是否适合用户的体形。

发明内容
因此，为了解决上述问题而提出了本发明，并且本发明的第一个目的 是通过文本搜索或图像搜索提取图像特征信息，从而得出推荐商品。本发明的第二个目的是通过表示用户体形的虚拟人物使用户(买家) 易于确认所推荐的商品的适用性。本发明的第三个目的是执行堆栈程序，以便可以按照优先级的次序依 次得出根据图像特征信息提取的推荐商品。


根据下文结合附图详述的优选实施例，可以清楚地了解本发明的上述 及其他目的、特点和优点。所附图形包括图1是显示使用虚拟人物服装购买信息的传统定制服装推荐系统的 配置的视图；图2a是显示根据本发明的第一实施例的通过多重图像搜索来得出 推荐商品的商品推荐系统的示意配置的框图；图2b是显示根据本发明的第一实施例的通过多重图像搜索来得出 推荐商品的商品推荐系统的配置的视图；图3是显示根据本发明的第一实施例的基于用户的基本信息创建的 虚拟人物的视图；图4是概括说明根据本发明的第一实施例的通过多重图像搜索来得 出推荐商品的商品推荐方法的流程图；图5是显示根据本发明的第一实施例的上传图案的屏幕的视图；图6是详细说明根据本发明的第一实施例的接收"商品搜索请求信 号"的步骤的流程图；图7a是显示根据本发明的第一实施例的轮廓图像注册工具的视图； [20]图7b是显示根据本发明的第一实施例的轮廓创建工具的视图；图8是显示根据本发明的第一实施例的轮廓项目组合工具的视图；图9是显示根据本发明的第一实施例的图案图像注册工具的视图；图10是显示根据本发明的第一实施例的商品注册工具的视图；图11是显示根据本发明的第一实施例的使用文本搜索来得出商品 的屏幕的视图；图12是显示根据本发明的第 图；图13是显示根据本发明的第 的视图；图14是显示根据本发明的第 的屏幕的视一实施例的得出推荐商品的屏幕的视 一实施例的穿着推荐商品的虚拟人物 一实施例的使用图像搜索来得出商品图15是说明根据本发明的第二实施例的择优推荐轮廓、图案和颜色 相匹配的商品的系统的示意配置的视图；图16是说明根据本发明的第二实施例的择优推荐轮廓、图案和颜色 相匹配的商品的方法的流程图。
具体实施例方式通过以下参照附图详述的优选实施例，本发明的特点和优点将变得显 而易见。整份说明书和权利要求书中所用的术语和措辞必须解释为符合本 发明的技术主旨的含义和概念，并遵守以下原则发明人为了以最佳的方 式解释其发明，可以适当地定义术语。除此之外，在以下说明中，应注意， 将不再对己知的功能和构造进行详细说明，以免不必要地混淆本发明的主
旨下面将参照图2a至3说明根据本发明的第一实施例的商品推荐系 统。图2a是显示根据本发明的第一实施例的通过多重图像搜索来得出 推荐商品的商品推荐系统的示意配置的框图，图2b是显示根据本发明的 第一实施例的通过多重图像搜索来得出推荐商品的商品推荐系统的配置 的视图，而图3是显示根据本发明的第一实施例的基于用户的基本信息 创建的虚拟人物的视图。如图2a所示，根据本发明的通过多重图像搜索来得出推荐商品的商
品推荐系统包括用户计算机100、卖家计算机200、管理员计算机300和 操作员服务器400。下面将参照图2b说明其各自的功能。首先，在本实施例中，用户计算机100包括通过商品推荐系统搜索 或购买商品的多个用户或买家。用户可以在入会之后使用商品推荐系统。 入会程序是众所周知的，将不再进行说明。同时，用户计算机100还包 括多个卖家，并且可以上传卖家的商品信息。如图2所示，用户计算机100从用户接收包括个人信息数据、搜索 条件数据和上传数据的用户输入信息，通过文本搜索或图像搜索来搜索商 品，并显示穿着推荐商品图像的虚拟人物视图，以使用户可以确认商品。 用户计算机包括数据输入模块单元110、商品搜索模块单元120、虛拟人 物创建单元130、显示单元140、存储单元150和传输单元160。具体地说，数据输入模块单元110从用户接收用户输入信息，从管 理员计算机300接收用于用户输入信息的"购买批准确认信号"，并从操 作员服务器400接收所提取或推荐的商品图像。除此之外，用户输入信息还包括个人信息数据、搜索条件数据和上传 数据。个人信息数据包含用户的私人信息，例如年龄、身高、体重、胸围、 腰围、臀围、性别、肤色、体形等。搜索条件数据包含商品的使用目的、 使用场所、使用对象、概念等。上传数据包含颜色、图案、轮廓、图像、 商品等。从这一点上讲，当数据输入模块单元110从用户接收用户输入信息 时，最好同时接收"商品搜索请求信号"，因为如上所述，用户输入个人 信息数据、搜索条件数据和上传数据，以搜索商品。这里，由于上传数据中所包括的轮廓、图案、颜色等可以由用户提出， 并且也可以订购，因此另需管理员的批准以将其上传。具体地说，以表示 商品通用形式的轮廓图像和图案数据来构造轮廓数据库(DB)。轮廓图像 和图案数据由管理员或用户制作，并注册在数据库中。注册轮廓时，连同 性别、年龄、季节、款式等信息一起注册轮廓图像。注册图案时，连同材 料、图案特征(水平线、花纹、传统符号、英语字母等)、总体主颜色等 信息一起注册图案图像。除此之外，商品数据库注册与实际交易的商品有 关的基本信息，例如照片、价格、数量、详细说明等，所选的对应轮廓图 像或图案图像，以及附加信息，例如性别、年龄、季节、款式、材料、图 案特征(水平线、花纹、传统符号、英语字母等)、总体主颜色等。如果
是具有适合轮廓、图案、颜色等的详细类别的网站，则预先分析对应的网 站，并使用与轮廓数据库中注册的代码相同的代码系统将类别信息注册在 类别数据库中。预先分析对应的网站并构造数据库的方法是这样的，每天 一次或以特定的时间间隔通过TCP/IP套接字连接来收集对应网站的图 像和数据之后，将数据内容存储在下面将要说明的匹配表中，并将图像存 储在对应的文件夹中。同时，如果注册其他网站中注册的商品信息等，则
通过上述TCP/IP套接字连接并使用商品页面的关键字元标记来收集商
品数据，并根据关键字分类进行注册。商品搜索模块单元120通过文本搜索或图像搜索来搜索商品。具体 地说，为了执行文本搜索，首先根据用户输入信息执行关键字首次搜索， 然后搜索包含关键字的类别。为了执行图像搜索，通过关键字或类别选择 图像，从而搜索商品图像。同时，在图像搜索中，可以使用从本文搜索得出的图像来搜索图像。 也就是说，可以根据所得出的搜索结果从图像特征信息搜索关键字和类 别。从这一点上讲，如果得出了多个图像，则可以使用关键字的数量和最 高层来得出多个最佳图像。虛拟人物创建单元130创建用户适应性虚拟人物图像，其根据个人 信息数据(包括用户的性别、年龄、身髙、体重、胸围、腰围、臀围等) 来表示用户。换言之，如图3所示，虚拟人物创建单元130通过选择或输入用户 的年龄、身高、体重、胸围、腰围、臀围、性别、体形等来创建用户适应 性身体虚拟人物，并通过选择脸形、发型、肤色等或通过上传用户自己的 脸部照片来完成用户自己的虚拟人物。显示单元140显示了所创建的虚拟人物，其穿着通过商品搜索推荐 的商品图像，以使用户可以确认所推荐的商品图像，这也可以通过单独的 输出装置来确认。也就是说，由于虚拟人物类似地表示用户的脸形和体形， 因此用户可以通过观察穿着商品图像的虚拟人物来确定所推荐的商品是 否合适。存储单元150存储所创建的虚拟人物以及从用户接收到的用户输入 信息。传输单元160从用户接收文本搜索或图像搜索的请求，并传输"商 品搜索请求信号"和用户输入信息。也就是说，传输单元将"商品搜索请求信号"传输至操作员服务器400 并将用户输入信息传输至管理员计算机300。接着，卖家计算机200从卖家接收商品信息，以使多个卖家可以出 售商品、将相应的"销售请求信号"和商品信息传输到管理员计算机300， 并根据商品信息的注册从管理员计算机300接收"销售批准确认信号"。从这一点上讲，使用单独的商品注册工具，以通过选择该工具中定义 的商品信息来注册商品，并且商品信息包括性别、年龄、季节、款式、材 料、图案信息和其他详细信息。具体地说，其他详细信息包含与女士有关的信息，例如饰物、裤子、 上衣、外套大衣、皮包、开襟羊毛衫、夹克、背心、短上衣、针织衣物、 帽子、鞋子、衬衫、裙子、袜子等，或者包含与男士有关的信息，例如饰 物、裤子、外套大衣、皮包、开襟羊毛衫、夹克、背心、短上衣、针织衣 物、帽子、鞋子、衬衫、袜子等。同时，注册轮廓时，连同性别、年龄、季节、款式等信息一起注册轮 廓图像。注册图案时，连同材料、图案特征(水平线、花纹、太极符号、 英语字母等)、总体主颜色等信息一起注册图案图像。注册商品时，注册 与商品有关的基本信息，例如照片、价格、数量、详细说明等，并选择适 合商品的轮廓图像和图案图像，其预先注册于操作员服务器400中，并 额外注册性别、年龄、季节、款式、材料、图案、颜色、类别等信息。接着，管理员计算机300批准通过用户计算机100和卖家计算机 200输入的用户输入信息和商品信息，针对每一项信息创建唯一的识别号 码，并构造匹配表，以使用户输入信息与商品信息相互匹配。管理员计算 机包括界面单元310;批准处理单元320，其用于确定是否批准用户输 入信息和商品信息；以及匹配表模块单元330。首先，界面单元310接收通过用户计算机100和卖家计算机200 输入的用户输入信息和商品信息，将用于用户输入信息的"购买批准确认 信号"及用于商品信息的"销售批准确认信号"传输到用户计算机100和 卖家计算机200,并将用户输入信息和商品信息每一者所创建的唯一识别 号码连同相应的匹配表一起传输至操作员服务器400。匹配表模块单元330针对包含于用户输入信息和商品信息中的每一 项数据创建唯一识别号码，并构造匹配表，以顺畅地搜索商品。匹配表模 块单元包含表模块331，其用于包含类别信息、季节、颜色、图案、性
另U、用途、材料等；唯一识别号码创建模块332，其用于为对应于用户输 入信息和商品信息的每一项数据创建可辨别的唯一识别号码；图像处理模 块333，其使用用户输入信息和商品信息中所包含的图像信息将图像特征 信息插入匹配表中；以及匹配模块334，其用于将表模块331与唯一识 别号码相互匹配。下面将详细说明表模块331中所注册的信息。注册轮廓时，连同性 别、年龄、季节、款式等信息一起注册轮廓图像。注册图案时，连同材料、 图案特征(水平线、花纹、太极符号、英语字母等)、总体主颜色等信息 一起注册图案图像。注册商品时，注册与商品有关的基本信息，例如照片、 价格、数量、详细说明等，并选择适合商品的轮廓图像和图案图像，其预 先注册于操作员服务器400中，并额外注册性别、年龄、季节、款式、 材料、图案、颜色、类别等信息。因此，当用户通过选择轮廓、图案和颜 色来构造图像时，推荐适合该图像的商品。也就是说，如果是具有适合轮 廓、图案、颜色等的详细类别的网站，则预先分析对应网站的类别并将其 构造为数据库，并自动推荐与用户所处理的图像匹配的类别下的图像。图像处理模块333通过编码器插入特征信息，并使用解码器来分析 特征信息。也就是说，图像处理模块包括编码器(未示出)，其用于插入特征 信息；以及解码器(未示出)，其用于分析特征信息。作为参考，用于插 入特征信息的技术包括水印、图像标头信息处理、数据文件的分布方法和 分层方法等。同时，操作员服务器400从用户计算机100接收"商品搜索请求信 号，并根据文本搜索或图像搜索得到的图像信息得出商品图像。操作员服 务器包括数据接收单元410、特征信息提取模块单元420、匹配程序模块 单元430、商品推荐模块单元440、数据传输单元450以及数据存储单 元460。数据接收单元410从用户计算机100接收包含文本搜索或图像搜 索(请求)的"商品搜索请求信号"，并从管理员计算机300接收每一项 用户输入信息和商品信息的唯 识别号码以及对应的匹配表。特征信息提取模块单元420响应"商品搜索请求信号"执行文本搜 索或图像搜索，并提取图像特征信息。特征信息提取模块单元包含文本 搜索模块421，其根据用户输入信息执行关键字首次搜索，并根据文本输
入从对应于定义命令的表中搜索文本字信息，以提取图像特征信息；以及
图像搜索模块422，其在图像搜索的情况下从包含图像信息和唯一识别号 码的匹配表提取图像特征信息。另外，图像搜索模块422可以使用通过文本搜索得出的图像来搜索 图像，即图像搜索模块可以根据所得出的搜索结果从图像特征信息搜索关 键字和类别。从这一点上讲，如果得出多个图像，则可以通过分层方法来比较这些 图像，以得出多个最佳图像。接着，匹配程序模块单元430对通过特征信息提取模块单元420搜 索到的搜索关键字执行命令处理，以依次排列图像。匹配程序模块单元包 含匹配程序模块431，其用于根据搜索信息来搜索唯一识别号码；在搜索 结果中再搜索用户输入的关键字，并处理对应于这些关键字的命令；以及 堆栈模块432,其使用图像的特征信息与层值从搜索到的最佳图像开始依 次排列。作为参考，堆桟具有包含图像特征信息、关键字和图像层值的平行和 串行结构。也就是说，基本上，最初根据每个图像所具有的(匹配)搜索 关键字的数量将类别中的图像存储于堆栈中。目的是通过堆桟来共同处理 并有序地显示搜索到的图像，而不是出于快速搜索的目的而随机显示搜索 到的图像。因此，最初通过堆栈来存储根据这些关键字在类别内搜索到的 图像。在堆栈内，使用所存储的每个图像的特征信息及层值，将搜索到的 最佳图像存储于堆栈中的搜索区域的前部，并将具有相同的层值但与这些 关键字对应的图像特征信息较少的图像放在堆栈区域的后部，从而依次排 列图像。将依次排列的图像的堆栈传输至搜索系统，因而将排列好的图像 共同传送给用户。从这一点上讲，按关键字的数量、最高层及图像特征信 息的顺序确定优先级，但本发明不限于此。商品推荐模块单元440根据搜索结果使用图像特征信息来得出推荐 商品。换言之，结合所选的图像信息来比较和检测与注册商品有关的信息。 根据精度和相似性来搜索商品，并按较高精度和相似性的顺序来得出商
P
口卩o数据传输单元450将通过商品推荐模块单元440提取的商品传输 至用户计算机100。数据存储单元460存储用户输入信息、商品信息、唯一识别号码和 匹配表。下文将参照图4至14说明一种商品推荐方法，其通过根据上述本 发明的第一实施例如图2所示配置的系统中的多重图像搜索来得出推荐 商品。图4是概括说明根据本发明的第一实施例的通过多重图像搜索来得 出推荐商品的商品推荐方法的流程图；图5是显示根据本发明的第一实 施例的上传图案的屏幕的视图；图6是详细说明根据本发明的第一实施 例的接收"商品搜索请求信号"的步骤的流程图；图7a是显示根据本发 明的第一实施例的轮廓图像注册工具的视图；图7b是显示根据本发明的 第一实施例的轮廓创建工具的视图；图8是显示根据本发明的第一实施 例的轮廓项目组合工具的视图；图9是显示根据本发明的第一实施例的 图案图像注册工具的视图；图10是显示根据本发明的第一实施例的商品 注册工具的视图；图11是显示根据本发明的第一实施例的使用文本搜索 来得出商品的屏幕的视图；图12是显示根据本发明的第一实施例的得出 推荐商品的屏幕的视图；图13是显示根据本发明的第一实施例的穿着推 荐商品的虚拟人物的视图；图14是显示根据本发明的第一实施例的使用 图像搜索来得出商品的屏幕的视图。首先，如图4所示，操作员服务器400从用户计算机100接收"商 品搜索请求信号"S2。具体来说，在接收"商品搜索请求信号"的步骤S2中，用户计算机 100从用户接收包括个人信息数据、搜索条件数据和上传数据的用户输入 信息，并将用户输入信息传输至管理员计算机300。作为参考，在用户获得管理员的批准之后将图案数据上传到操作员服 务器400的步骤中，如图5所示，如果用户注册图案，则图案作为元素 "用户图案"显示于图案列表中，因而用户可以选择图案。用户也可以选 择图案的位置以及图案本身。这里，由于上传数据中所包括的轮廓、图案、颜色等可以由用户提出， 并且也可以订购，因此另需管理员的批准以将其上传。同时，为了出售商品，卖家计算机200将相应的"销售请求信号" 和商品信息传输到管理员计算机300。也就是说，如图6所示，管理员计算机300接收用户信息和商品信
息S2a。管理员计算机300确定是否批准所接收的用户输入信息和商品信息 S2b，创建包含类别信息、季节、颜色、图案、性别、用途、材料等的表S2c， 为对应于用户输入信息和商品信息的每一项数据创建可辨别的唯一识别 号码S2d，并构造匹配表，以将该表与唯一识别号码相互匹配起来S2e。具体来说，在构造匹配表的歩骤S2e中，首先，为了构造轮廓和图 案数据库及商品数据库，执行注册轮廓图像注册工具、轮廓创建工具、轮 廓项目组合工具、图案图像注册工具和商品注册工具的程序。如图7a所示，轮廓图像注册工具包含轮廓图像注册窗口 202、用于 显示对应轮廓图像类别的类别窗口 204以及注册信息选择窗口 206。从这一点上讲，注册信息优选地包括性别、年龄、季节、款式等。因 此，想要注册轮廓图像的用户使用该工具输入轮廓图像及其特征信息，并 注册轮廓图像。注册过程是这样的，即制作轮廓图像，通过轮廓图像注册窗口 202将 制作的轮廓图像上传，通过注册信息选择窗口 206来选择轮廓特征信息， 并按下注册按钮完成注册。另一方面，如图7b所示，轮廓创建工具不仅 可以创建轮廓的前侧220，而且可以创建轮廓的后侧221、左侧222和 右侧223。除此之外，图8所示的轮廓项目组合工具包含基本服装选择窗口 224、所选服装显示窗口 225、详细选择窗口 226以及详细分类选择窗口 227。除此之外，图9所示的图案图像注册工具包含图案注册窗口 208、 图案类型和尺寸选择窗口 210以及性别和年龄选择窗口 212。因此，想 要注册图案图像的用户使用该工具选择想要注册的图案图像及其特征信 息，并注册图案图像。如图10所示，商品注册工具包含商品图像注册窗口 214、特征信息 选择窗口 216以及性别和年龄选择窗口 218。因此，想要注册商品的用 户使用该工具来注册商品以及与商品有关的信息，例如商品图像、价格、 数量、轮廓、类别、材料、图案、颜色、性别、年龄、季节、款式等。也 就是说，通过拍摄商品来获得商品图像，使用图像注册工具通过商品图像 注册窗口 214来注册商品的照片，通过特征信息选择窗口 216以及性别 和年龄选择窗口 218来选择商品的特征信息，并输入详细信息，以完成 注册。也就是说，如上所述，商品数据库注册与实际交易的商品有关的基本 信息，例如照片、价格、数量、详细说明等，所选的对应轮廓图像及图案 图像，以及附加信息，例如性别、年龄、季节、款式、材料、图案特征(水 平线、花纹、传统符号、英语字母等)、总体主颜色等。如果确认了批准，则已从用户计算机接收用户输入信息的管理员计算 机300将"购买批准确认信号"传输至用户计算机100，将"销售批准 确认信号"传输至卖家计算机200，并将所创建的唯一识别号码和匹配表 传输至操作员服务器400。接着，操作员服务器400确定所接收到的"商品搜索请求信号"是 文本搜索信号还是图像搜索信号S4。如果在步骤S4中接收文本搜索信号，则如图11所示，操作员服务 器400通过文本搜索检测图像特征信息S6。具体来说，在执行文本搜索的步骤S6中，操作员服务器400根据 用户输入信息来执行关键字首次搜索S6a，搜索包含关键字的类别S6b， 并从包含关键字的图像或这些类别内的图像得出图像特征信息S6c。也就是说，如果用户从搜索到的图像选择详细图像，则根据详细图像 的特征信息通过图像搜索来搜索关键字和类别，以检测一组图像，并从检 测到的图像得出图像特征信息，因而使用匹配表来推荐商品。例如，如果通过输入文字"爬山"来搜索图像，则结果显示如下。
爬山-登山工具-(上层登山工具、登山裤、帽子、袜子、鞋子等)
-野营-(野营灯、登山杖、帐篷、装备等)
-背包-(便携包、食物袋等) [92]如上所述，搜索与包括在"爬山"中的类别对应的所有图像。也就是说，如果使用关键字"爬山"来搜索图像，则搜索代表性的图 像"登山工具"、"野营"和"背包"，然后搜索与每一个类别"登山工具"、 "野营"和"背包"下的图像对应的代表性图像。接下来，操作员服务器400使用已提取的图像特征信息依次排列所 有得出的图像S8。具体地说，操作员服务器400根据用户输入信息搜索唯一识别号码
以得出图像S8a，在搜索结果内再搜索用户输入的关键字S8b，处理与这 些关键字对应的命令S8c，并使用图像的特征信息和层值从搜索到的最佳 图像依次进行排列S8d。换言之，从每一个搜索到的代表性图像检测每一图像组的特征信息。 使用检测到的条件，以及以用户输入的关键字为基础的关键字和类别搜索 条件，通过堆栈来排列图像组内的特征信息和类似图像的关键字和类别。如图12所示，操作员服务器400根据搜索结果使用图像特征信息 得出推荐商品SIO。在步骤S10中，根据优先级将步骤S8中排列的图像的特征信息传 输至匹配表。在匹配表中，根据所传输的图像组的特征信息来执行与操作 员服务器400中注册的商品或者电子市场或购物中心所注册的商品组的 匹配。接下来，操作员服务器400将所得出的类似商品传输至用户计算机 100，以使用户可以确认商品S12。具体来说，在步骤S12中，用户计算机100创建用户适应性虚拟人 物图像，其使用个人信息数据(包括用户的性别、年龄、身高、体重、胸 围、腰围、臀围等)来表示用户S12a。用户计算机从操作员服务器40接 收所得出的商品，将商品穿在虚拟人物身上，并如图13所示显示虚拟人 物S12b。从这一点上讲，使用所选的详细图像的特征信息将图案、颜色等详细 项目与虚拟人物结合起来，以显示对用户虚拟人物执行的搭配形式(即装 扮)，并据此传输图像的特征信息，以通过匹配表来推荐类似的商品。另一方面，如果在步骤S4中接收图像搜索信号，则如图14所示， 操作员服务器400通过图像搜索来搜索图像特征信息S14。例如，如果选择属于"爬山"的代表性图像的"登山工具"进行搜索， 则结果显示如下
爬山-登山工具-上层登山工具
-登山裤
-帽子
-袜子
-鞋子也就是说，搜索"登山工具"表中所包含的图像以及"登山工具"的 上层类别，即"爬山"类别，并且可通过该类别内的关键字搜索根据"登 山工具"轮廓的特征信息来搜索该类别内的类似图像组。从这一点上讲，在图像搜索中，可以使用通过本文搜索得出的图像来 搜索图像。也就是说，可以根据所得出的搜索结果从图像特征信息搜索关 键字和类别。从这一点上讲，如果得出了多个图像，则可以使用关键字的 数量和最高层来得出多个最佳图像。下文将参照图15说明本发明的第二实施例。第二实施例基本上采用 与第一实施例的系统和方法类似的形式。因此，将重点说明与第一实施例 的不同之处。图15是说明根据本发明的第二实施例的择优推荐轮廓、图 案和颜色相匹配的商品的系统的示意配置的视图。首先，如图15所示，第二实施例的用户计算机100进一步包括 codi图像创建模块单元170，其通过选择轮廓、图案、颜色等来创建适合 用户品味、意向和体形的codi图像，以及相似性搜索模块单元180,其 用于比较和分析所得出的图像特征信息及注册商品信息，并按最佳匹配的 商品顺序传输商品。这里，优选地，使用codi作为coordination (搭配)的缩写。 codi图像创建模块单元170包含选择模块171，其用于选择注册轮 廓、图案和颜色；转换和校正模块172，其用于校正通过选择模块171选 择的轮廓、图案和颜色；以及cx)di图像创建模块173，其使用校正后的 轮廓、图案或颜色来创建适合用户品味、意向和体形的codi图像。具体地说，转换和校正模块172使用2.9 D图像转换引擎通过图案 映射、颜色校正、尺寸转换、旋转转换、打褶(褶裥的表现形式)等以多 种方式转换图像的图案、颜色、尺寸、皱褶、旋转等，所述2.9D图像转 换引擎采用3维化2维(2D)图像(本发明中称为2.9D)。从这一点上 讲，图像的驱动速度和容量与2D的情况相同。如果使用现有的2D图 像或照片图像，则不能内在地执行图案映射、颜色校正、尺寸转换等，因 而使用数据库中的多个图像来转换图案、颜色等。作为参考，2.9D图像转换引擎将2D图像改进为2.9D图像，其具 有虚拟的z值，以实施3D模型的功能。通过所创建的2.9D图像，2.9D
图像转换引擎可以应用图案映射、颜色校正、尺寸转换、旋转转换等。就 现有3D模型而言，为了执行图案映射、颜色校正、尺寸转换等，需要3D
形式的平面映射模型、3D模型、坐标数据等来源。因此，执行映射很耗
时，并且文件太大，因此2.9D图像转换引擎不适合用在Web上。但是， 本发明的改进式映射算法可以只使用2.9D图像数据执行映射，因此其优 点在于，可以比3D模型更快地执行图案映射、颜色校正、尺寸转换等。 而且，由于改进的映射算法具有与2D图像相同的低容量和高速度的特 点，因此其易于应用于Web上。而且，由于2.9D图像本身具有虚拟的 z值，因此可执行旋转转换，并且可执行图案映射、颜色校正、尺寸转换、 打褶等，同时执行旋转转换。同时，那些操作比旋转时执行的3D模型的 映射更快。也就是说，转换和校正模块172以不同于现有3Dcodi解决方案的 方式，使用本身的2.9D图像(不是3D图像)，来执行图案转换、颜色 转换、尺寸转换、旋转转换和打褶功能。另一方面，相似性搜索模块单元180在第一个位置推荐轮廓、图案 和颜色都与图像特征信息相匹配的商品、在下一个位置推荐轮廓和图案匹 配的商品，并在再下一个位置推荐轮廓匹配的商品。相似性搜索模块单元180的具体操作为相似性搜索模块单元在轮 廓图像中选择与每个品牌名称对应的代表性轮廓图像。在执行codi的情 况下，相似性搜索模块单元在提取轮廓图像的特征信息时将最高优先级放 在关键字信息的品牌名称或电子市场商品名称上，在第一个位置得出品牌 商品组或电子市场商品组中所包括的类似商品，并通过虚拟人物向用户显 示类似的商品。例如，在用户所选的codi图像是表示牛仔裤的轮廓图像的情况下， 如果在提取轮廓图像的特征信息时检测到关键字Levi' s，则在第一个位 置搜索Levi' s的品牌商品组，并得出与Levi' s对应的推荐品牌商品。 从这一点上讲，轮廓图像的特征信息具有Levi' s的关键字信息。从这一点上讲，有一个电子市场商品的商品组，可以通过文本搜索或 图像搜索向用户推荐其中的名牌商品或电子市场商品，因此根据用户所选 的codi项目得出品牌商品。接着，将用户所选的轮廓图像置于用户虚拟人物上。当虚拟人物穿着 轮廓图像时，可以根据用户的需要自由地转换图案或颜色，并且可以将轮 廓图像调整到虛拟人物的尺寸。而且，可以旋转穿着轮廓图像的虚拟人物 的视图，以显示虚拟人物的左、右、前和后侧视图。除此之外，执行图案映射时，也可以转换铍褶(褶裥的表现形式)，使其适合轮廓图像的形状, 并且可以将穿着已转换的轮廓图像的虚拟人物的视图显示于用户计算机 上。下面将通过上述根据本发明的第二实施例的如图15所示构造的系 统，参照图16说明一种择优推荐轮廓、图案和颜色都匹配的商品。这里， 图16是说明根据本发明的第二实施例的择优推荐轮廓、图案和颜色相匹 配的商品的方法的流程图。首先，如图16所示，codi图像创建模块单元170创建了适合用户 品味、意向和体形的codi图像，以与商品一起推荐S22。即具体来说，在创建codi图像的步骤S20中，选择模块171使用 用户输入信息来选择轮廓、图案和颜色S22a。转换和校正模块172通过对所选的轮廓、图案和颜色进行图案映射、 颜色校正、尺寸转换、旋转转换和打褶(褶裥的表现形式)而以多种方式 转换图像的图案、颜色、尺寸、皱褶和旋转S22b。接着，codi图像创建模块173创建了适合用户的品味、意向和体形 的codi图像S22c。 codi图像创建模块单元170通过用户虚拟人物来显示已创建的 codi图像，以使用户可以确认codi图像S24。这里，当用户虚拟人物穿着组合的轮廓图像时，codi图像创建模块 单元170可以根据用户的需要自由地转换和校正图案或颜色，并且可以 将轮廓图像调整到虚拟人物的尺寸。可以旋转穿着轮廓图像的虚拟人物的 视图，以显示虚拟人物的左、右、前和后侧视图。相似性搜索模块单元180使用与存储于商品数据库或类别数据库中 的实际交易的商品有关的基本信息，以及对应于基本信息的轮廓图像、图 案图像和轮廓信息，来搜索与所创建的codi图像相同或类似的商品图像 S26。这里，具体来说，在搜索商品图像的步骤S26中，相似性搜索模块 单元180从轮廓图像得出特征信息S26a，将得出的特征信息与商品图像 的特征信息相比较S26b，并根据比较结果按相似性的顺序搜索相同或类 似的商品S26c。也就是说，将用户组合的轮廓图像传输到操作员服务器400，并且操 作员服务器400使用上述匹配表来提取图像的特征信息并推荐类似的商
PI
Fin 0因此，相似性搜索模块单元180在第一个位置推荐和显示轮廓、图 案和颜色都与图像特征信息相匹配的商品、在下一个位置推荐轮廓和图案 匹配的商品，并在再下一个位置推荐轮廓匹配的商品S28。另外，相似性搜索模块单元在轮廓图像中选择对应于每一品牌名称的 代表性轮廓图像S28a。在执行codi的情况下，相似性搜索模块单元在提 取轮廓图像的特征信息时将最高优先级放在关键字信息的品牌名称或电 子市场商品名称上S28b,在第一个位置得出品牌商品组或电子市场商品 组中所包括的类似商品S28c，并通过虚拟人物向用户显示类似的商品 S28d。尽管本发明已参照具体的说明性实施例说明了一种侧重虛拟人物及 服装商品的商品推荐系统及其方法，但其不受这些实施例的限制，而只受 所附权利要求书的限制。本领域的技术人员应了解，可以在不超出本发明 的范围及主旨的基础上对这些实施例进行改变或修改。根据上述本发明，用户可以在通过文本搜索或图像搜索提取图像特征 信息并确认具有用户体形的虚拟人物穿着的推荐商品之后购买商品，因此 其非常有效，因为用户可以购买适合用户体形的商品或用户想要的商品。也就是说，由于用户可以使用推荐的商品对类似于用户体形的虚拟人 物进行搭配，并目测确认推荐的商品，因此其非常有效，因为用户可以通 过文本搜索或图像搜索购买类似于所需商品的商品。
权利要求
1. 一种商品推荐系统，其包括用户计算机100，其用于接收包括个人信息数据、搜索条件数据和上传数据的用户输入信息，通过文本搜索或图像搜索来搜索商品，并显示穿着推荐商品图像的虚拟人物视图，以使用户可以确认商品；卖家计算机200，其用于从需要出售商品的卖家接收商品信息，传输相应的“销售请求信号”和商品信息，并根据商品信息的注册接收“销售批准确认信号”；管理员计算机300，其用于批准通过用户计算机和卖家计算机输入的用户输入信息和商品信息，针对每一项用户输入信息和商品信息创建唯一的识别号码，并构造匹配表，以使用户输入信息与商品信息相互匹配；操作员服务器400，其用于从用户计算机接收“商品搜索请求信号”，并根据从文本搜索或图像搜索得到的图像信息得出商品图像；其中，操作员服务器400包括数据接收单元410，其用于从用户计算机接收包含文本搜索或图像搜索(请求)的“商品搜索请求信号”，并从管理员计算机接收每一项用户输入信息和商品信息的唯一识别号码以及对应的匹配表；特征信息提取模块单元420，其通过响应“商品搜索请求信号”执行文本搜索或图像搜索而提取图像特征信息；匹配程序模块单元430，其对通过特征信息提取模块单元搜索到的搜索关键字执行命令处理，以依次排列图像；商品推荐模块单元440，其用于根据搜索结果使用图像特征信息来得出推荐商品；数据传输单元450，其用于将通过商品推荐模块单元提取的商品传输至用户计算机；以及数据存储单元460，其用于存储用户输入信息、商品信息、唯一识别号码和匹配表。
2. 如权利要求1所述的系统，其中，该特征信息提取模块单元420 包含文本搜索模块421，其用于根据用户输入信息来执行关键字首次搜索，并根据文本输入从对应于定义命令的表搜索文本字信息以提取图像特征信息；以及图像搜索模块422，其用于在搜索图像的情况下从包含图像信息和唯 一识别号码的匹配表提取图像特征信息。
3. 如权利要求1所述的系统，其中，该匹配程序模块单元430包含匹配程序模块431，其用于根据搜索信息来搜索唯一识别号码，在搜 索结果中再搜索用户输入的关键字，并处理与这些关键字对应的命令；以 及堆栈模块432，其使用图像的特征信息和层值来从搜索到的最佳图像 开始依次排列。
4. 如权利要求1所述的系统，其中，该用户计算机100包括数据输入模块单元110，其用于从用户接收用户输入信息，从管理员 计算机300接收用于用户输入信息的"购买批准确认信号"，并从操作员 服务器400接收所提取或推荐的商品图像；商品搜索模块单元120，其用于在根据用户输入信息执行关键字首次 搜索之后搜索包含已搜索的关键字的类别以执行文本搜索，并通过关键字 或类别来选择图像而搜索商品图像，以执行图像搜索；虚拟人物创建单元130，其使用个人信息数据来创建表示用户的用户 适应性虚拟人物图像；显示单元140，其用于显示已创建的穿着通过商品搜索推荐的商品图 像的虚拟人物，以使用户可以确认推荐的商品图像；'存储单元150,其用于存储所创建的虚拟人物以及从用户接收到的用 户输入信息；传输单元160，其用于从用户接收文本搜索或图像搜索请求，并传输 "商品搜索请求信号"以及用户输入信息。
5. 如权利要求1所述的系统，其中，所述用户输入信息包括个人 信息数据，其包含用户的年龄、身高、体重、胸围、腰围、臀围、性别、 肤色、体形等；搜索条件数据，其包含使用目的、使用场所、使用对象或 概念数据；以及上传数据，其包含颜色、图案、轮廓、图像或商品数据。
6. 如权利要求5所述的系统，其中，就商品数据而言，在注册已在 其他网站等注册的商品信息的情况下，通过TCP/IP套接字连接、使用商 品页面的类别或关键字元标记来收集商品数据，并根据类别或关键字分类 来注册商品信息。
7. 如权利要求1所述的系统，其中，该管理员计算机300包括界面单元310,其用于接收通过用户计算机和卖家计算机输入的用户 输入信息和商品信息，将用于用户输入信息的"购买批准确认信号"及用 于商品信息的"销售批准确认信号"传输到用户计算机和卖家计算机，并 将用户输入信息和商品信息每一者所创建的唯一识别号码连同相应的匹 配表一起传输至操作员服务器；批准处理单元320，其用于确定是否批准用户输入信息和商品信息；以及匹配表模块单元330，其用于针对包含于用户输入信息和商品信息中 的每一项数据创建唯一识别号码，并构造匹配表，以顺畅地执行商品搜索。
8. 如权利要求7所述的系统，其中，该匹配表模块单元330包含表模块331，其用于包含类别信息、季节、颜色、图案、性别、用途、 材料等；唯一识别号码创建模块332，其用于为对应于用户输入信息和商品信 息的每一项数据创建可辨别的唯一识别号码；图像处理模块333，其使用包含于用户输入信息和商品信息中的图像 信息将图像特征信息插入匹配表中；以及匹配模块334，其用于将表模块331和唯一识别号码相互匹配。
9. 如权利要求8所述的系统，其中，该表模块331通过注册轮廓 图像注册工具、轮廓创建工具、轮廓项目组合工具、图案图像注册工具和 商品注册工具的过程来构造匹配表，以构造轮廓和图案数据库以及商品数 据库。
10. —种商品推荐系统，其包括用户计算机100，其用于接收包括个人信息数据、搜索条件数据和上 传数据的用户输入信息，通过文本搜索或图像搜索来搜索商品，并显示穿 着推荐商品图像的虚拟人物视图，以使用户可以确认商品；卖家计算机200，其用于从需要出售商品的卖家接收商品信息，传输 相应的"销售请求信号"和商品信息，并根据商品信息的注册接收"销售 批准确认信号"；管理员计算机300，其用于批准通过用户计算机和卖家计算机输入的 用户输入信息和商品信息，针对每一项用户输入信息和商品信息创建唯一 的识别号码，并构造匹配表，以使用户输入信息与商品信息相互匹配；操作员服务器400，其用于从用户计算机接收"商品搜索请求信号"， 并根据从文本搜索或图像搜索得到的图像信息得出商品图像；其中，用户计算机100包括codi图像创建模块单元170，其包含选择模块171，其用于选择已注册的轮廓、图案和颜色；转换和校正模块172，其用于转换所选的轮廓、图案和颜色；codi图像创建模块173，其使用己转换的轮廓、图案或颜色来创建适 合用户品味、意向和体形的codi图像；以及相似性搜索模块单元180，其用于比较和分析已得出的图像特征信息 和注册的商品信息，并按照最佳匹配商品的顺序来传输商品。
11. 如权利要求10所述的系统，其中，该转换和校正模块172对 2.9D图像执行图案转换、颜色转换、尺寸转换、旋转转换和打褶功能。
12. 如权利要求10所述的系统，其中，该相似性搜索模块单元180 在第一个位置推荐轮廓、图案和颜色都与图像特征信息匹配的商品、在下 一个位置推荐轮廓和图案匹配的商品，并在再下一个位置推荐轮廓匹配的 商品。
13. —种使用权利要求1所述的组成元件来推荐商品的方法，该方 法包括以下步骤(l-a)通过操作员服务器400从用户计算机100接收"商品搜索请 求信号"；(l-b)通过操作员服务器响应接收到的"商品搜索请求信号"而执行 文本搜索；(l-c)通过操作员服务器，根据用户输入信息执行关键字首次搜索， 搜索包含已搜索的关键字的类别，并从包含这些关键字的图像或这些类别内的图像提取图像特征信息；(l-d)通过操作员服务器，使用通过文本搜索提取的图像特征信息来 得出和排列图像；以及(l-e)通过操作员服务器，根据优先级将已排列的图像的特征信息传 输到匹配表，使用匹配表将所传输的图像组的特征信息与已注册的商品组 匹配，并推荐类似的商品。
14. 如权利要求13所述的方法，其在步骤(l-a)之前进一步包括以 下步骤(l-a-l)通过管理员计算机300接收用户输入信息和商品信息；(l-a-2)通过管理员计算机确定是否批准用户输入信息和商品信息；(l-a-3)通过管理员计算机创建包含类别信息、季节、颜色、图案、 性别、用途和材料的表；(l-a-4)通过管理员计算机为对应于用户输入信息和商品信息的每一 项数据创建可辨别的唯一识别号码；以及(l-a-5)通过管理员计算机构造匹配表，以将该表与唯一识别号码匹配。
15. 如权利要求13所述的方法，其中，步骤(l-b)进一步包括以下 步骤通过操作员服务器响应接收到的"商品搜索请求信号"执行图像搜索。
16. 如权利要求13或15所述的方法，其中，步骤(l-b)进一步包 括以下步骤通过操作员服务器使用从文本搜索得出的图像来执行图像搜索；以及通过操作员服务器根据已得出的搜索结果从图像特征信息搜索所述 关键字和类别。
17. 如权利要求13所述的方法，其中，步骤(l-d)进一步包括以下 步骤(l-d-l)通过操作员服务器根据用户输入信息来搜索唯一识别号码；(l-d-2)通过操作员服务器使用用户输入的关键字在搜索结果内再次 进行搜索；(l-d-3)通过操作员服务器处理对应于关键字的命令；以及(l-d-4)通过操作员服务器使用图像的特征信息和层值从搜索到的最 佳图像幵始依次排列。
18. 如权利要求13所述的方法，其在步骤(l-e)之后进一步包括以 下步骤(l-e-l)通过用户计算机从操作员服务器接收推荐的商品；(l-e-2)通过用户计算机创建表示用户的用户适应性虚拟人物图像；以及(l-e-3)给虚拟人物穿上推荐的商品并显示虚拟人物。
19. 如权利要求13或18所述的方法，其在步骤(l-e)之后进一步 包括以下步骤如果得出了多个图像，则可以使用关键字的数量和最高层来得出多个 最佳图像。
20. —种使用权利要求10所述的组成元件来推荐商品的方法，该方 法包括以下步骤(2-a)通过codi图像创建模块单元170根据适合用户体形的用户适 应性虚拟人物图像来创建codi图像，该虚拟人物图像使用用户输入信息 来表示用户；(2-b)通过codi图像创建模块单元以用户虚拟人物来显示已创建的 codi图像，以使用户可以确认codi图像；(2-c)通过相似性搜索模块单元180，使用对应于商品信息的轮廓图 像、图案图像和轮廓信息来搜索与已创建的codi图像相同或类似的商品 图像；以及(2-d)通过相似性搜索模块单元，在第一个位置推荐和显示轮廓、图 案和颜色都匹配的商品、在下一个位置推荐轮廓和图案匹配的商品，并在 再下一个位置推荐轮廓匹配的商品。
21. 如权利要求20所述的方法，其中，步骤(2-a)包括以下步骤 (2-a-l)通过codi图像创建模块单元创建codi图像；(2-a-2)通过codi图像创建模块单元选择轮廓、图案和颜色； (2-a-3)通过codi图像创建模块单元，采用图案、颜色、尺寸、皱褶和旋转转换以多种方式转换和校正图像的所选轮廓、图案和颜色；以及(2-a-4)通过codi图像创建模块单元创建适合用户的品味、意向和体 形的codi图像。
22. 如权利要求20所述的方法，其中，步骤(2-b)进一步包括以下 步骤通过codi图像创建模块单元，在用户虚拟人物穿着组合的轮廓图像 时，根据用户的需要转换和校正图案或颜色；以及通过codi图像创建模块单元旋转穿着轮廓图像的虚拟人物的视图， 以显示左、右、前和后侧视图。
23. 如权利要求20所述的方法，其中，步骤(2-c)包括以下步骤 通过相似性搜索模块单元从轮廓图像得出特征信息； 将得出的特征信息与商品图像的特征信息进行比较；以及 根据比较结果，按照相似性的顺序搜索相同或类似的商品。
24. 如权利要求20所述的方法，其中，步骤(2-d)包括以下步骤(2-d-l)通过相似性搜索模块单元在轮廓图像中选择与品牌名称对应 的代表性轮廓图像；(2-d-2)通过相似性搜索模块单元，在提取轮廓的特征信息时，根据 关键字信息将优先级放在品牌名称或电子市场商品名称上；(2-d-3)通过相似性搜索模块单元在第一个位置得出品牌商品组或电 子市场商品组中所包括的类似商品；以及(2-d-4)通过相似性搜索模块单元，在虚拟人物穿上得出的商品之后， 向用户显示类似的商品。
全文摘要
本发明涉及一种商品推荐系统，并且本发明的一个目的是通过多重图像搜索得出推荐商品，其中，通过文本搜索或图像搜索提取图像特征信息，从而得出推荐商品。为了达到以上目的，根据本发明的一个方面，提供一种操作员服务器，包括数据接收单元，其用于从用户计算机接收包含文本搜索或图像搜索(请求)的“商品搜索请求信号”，并从管理员计算机接收每一项用户输入信息和商品信息的唯一识别号码以及对应的匹配表；匹配程序模块单元，其对已通过特征信息提取模块单元搜索的搜索关键字执行命令处理，从而依次排列图像；商品推荐模块单元，其根据搜索结果使用图像特征信息得出推荐商品；数据传输单元，其用于将通过商品推荐模块单元提取的商品传输到用户计算机；以及数据存储单元，其存储用户输入信息、商品信息、唯一识别号码和匹配表。
文档编号G06Q30/00GK101206749SQ20071010699
公开日2008年6月25日 申请日期2007年5月16日 优先权日2006年12月19日
发明者牟泳一 申请人:株式会社G&G贸易公司