一种基于手持终端的搜索购物方法与流程

本发明属于电子商务技术领域，更为具体地讲，涉及一种基于手持终端的搜索购物方法。

背景技术：
电子商务中，传统搜索购物方法是基于商品分类检索或关键词搜索进行的，然而，由于商品种类繁多，同一种商品也具有多种不同型号，检索或搜索的准确度不高，需要逐个查看检索或搜索到的商品，这样用户对于商品的搜索购物还存在一定的繁琐。随着电子商务的迅速发展，传统的基于文字的搜索购物方法已经不能满足用户的需求，商品对用户的吸引多是基于视觉特征的吸引，用户更加希望可以通过商品图片就能得到商品信息和购买信息，可以在看到心动商品时即时通过手持终端搜索商品信息和购买信息进行购物。

技术实现要素：
本发明的目的在于克服现有技术的不足，提供一种基于手持终端的搜索购物方法，以进一步提高搜索购物的便捷性和准确度。为实现以上目的，本发明基于手持终端的搜索购物方法，包括以下步骤：（1）、索引文件的建立1.1）、通过网络爬取技术，从各大购物网站获得商品图片和商品信息，存入服务器视觉特征数据库中；1.2）、获取视觉特征数据库中商品图片的图像特征属性值；1.3）、图像特征属性值按照爬取得到的商品在购物网站中商品分类的类别，分类别在视觉特征数据库中建立商品图片的索引文件，并存储在服务器上；（2）、相似商品的搜索用户从手持终端上传需要搜索的商品图片至服务器，在服务器端对上传的商品图片进行图像特征属性值提取，使用得到的图像特征值在步骤1.3）获得的商品图片索引文件进行搜索：2.1）、如果用户上传商品图片的同时，也上传有文字信息，服务器首先用文字信息确认用户所要搜索的商品在视觉特征数据库中的类别，再使用用户上传商品图片的图像特征属性值在已经确定的商品类别商品图片索引文件中进行相似商品搜索；2.2）、如果用户只上传了商品图片，则在用户上传商品图片以后，由服务器提供商品类别的选择供用户手动选择，然后使用用户上传的商品图片在用户选择商品类别商品图片索引文件中进行相似商品的搜索；（3）、商品推荐根据相似商品的搜索结果，将搜索到的商品图片以及商品信息推荐给用户。本发明的目的是这样实现的：本发明基于手持终端的搜索购物方法，首先通过对各大购物网站的商品图片以及商品信息的爬取，并以商品图片的图像特征属性值分类别在视觉特征数据库中建立商品图片的索引文件，存储在服务器上；然后，服务器根据上传的商品图片传的图像特征属性值在确定或选择商品类别商品图片索引文件中进行相似商品的搜索；最后根据相似商品的搜索结果，将搜索到的商品图片以及商品信息推荐给用户。这样，用户可以使用手持终端通过拍照获取或终端存储的商品图片，然后上传至服务器，在服务器中，提取商品图片的图像特征属性值，利用获取的图像特征属性值在服务器商品图片的索引文件中进行相应商品的搜索，得到所要的商品图片以及商品信息。由于结合商品图片的图像特征属性值，这样检索时，更为准确地搜索到所需的商品，同时避免了进一步人工基于视觉特征进行检索或搜索，提高了在知道所需商品外观的情况下搜索购物的便捷性和准确度。并且现有的手持终端如智能手机、平板电脑都具有照相功能，用户在商场或其他等场所看到关注的商品可以拍照发到服务器上准确便捷地搜索到商品图片以及商品信息进行购物。附图说明图1是本发明基于手持终端的搜索购物方法一种具体实施方式原理图；图2是相似商品的搜索和商品推荐一种具体实施方式流程图；图3是图2所示图像特征属性值提取的一种具体实施方式流程图；图4是图3所示颜色类型统计步骤一种具体实施方式流程图；图5是图3所示扩散阶段步骤一种具体实施方式流程图；图6是图3所示二次净化步骤一种具体实施方式流程图。具体实施方式下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。图1是本发明基于手持终端的搜索购物方法一种具体实施方式原理图。在本实施例中，如图1所示，本发明通过服务器向用户提供搜索购物服务，一方面在服务器中建立查询器，用户可以通过上传商品图片、文字信息到服务器，然后通过查询器进行图像特征属性值的提取，并依据特性特征属性值在商品图片索引文件中进行商品搜索、依据文字信息在文本索引文件中进行商品搜索，最后根据商品搜索结果即搜索到的商品图片以及商品信息推荐给用户；另一方面服务器首先通过网络爬取技术从各大购物网站上获得商品图片和商品信息，然后提取商品图片的图像特征属性值，商品信息中语义特征数据库没有的未知实体词，并分别保存到视觉特征数据库、语义特征数据库中，最后，通过图像索引器使用视觉特征数据库中的图像特征属性值在服务器中建立商品图片索引文件，通过文本索引器使用语义特征数据库中的实体词在服务器中建立文本索引文件。用户搜索时所用到的索引文件即上述所建立的索引文件。图2是相似商品的搜索和商品推荐一种具体实施方式流程图。在本实施例中，如图2所示，本发明基于手持终端的搜索购物方法中相似商品的搜索和商品推荐包括以下步骤：S01.用户从手持终端输入待搜索商品的图片、文字信息，并上传到服务器；在本实施例中，针对手持终端如手机或平板电脑等拍摄的原始商品图片过大，而手机上网流量较小的矛盾，在具体实施过程中，将依据当前手持终端逐渐增强的本地性能，在手机终端上构建有图片压缩功能，如果输入有商品图片，则利用现有的图像压缩技术，对商品图片进行压缩，然后再上传到服务器，这样充分利用手持终端功能，极大节省网络流量；S02.服务器对上传内容进行判断，在步骤S01中，如果用户输入商品图片和商品的文字信息，则到步骤S03，如果仅输入了商品图片，则到步骤S04，如果仅输入了商品的文字信息，则执行步骤S07；S03.利用用户输入的文字信息确定用户所要搜索的商品所在的最小类别（例如：T恤，衬衣，登山鞋等），然后执行步骤S05；S04.在用户上传商品图片以后，服务器提供商品分类即类别中的大类（例如：上衣，裤子，鞋子等）让用户进行手动选择；之所以选择大类，是因为如果类别过小，用户选择过于繁琐，另外，用户也可能无法对需要搜索的商品进行最小类别的归类，然后执行步骤S05；S05.在服务器中，查询器利用图片特征提取模块对上传的商品图片的图像特征属性值进行提取，图像特征为颜色特征、纹理特征、形状特征或其结合特征，在本实施例中，选择使用颜色和纹理相结合的CEDD（ColorandEdgeDirectivityDescriptor）特征；S06.在服务器中，使用获得的商品图片的CEDD特征属性值在确定或用户选择商品类别商品图片索引文件中进行相似商品的搜索，得到相似商品的搜索结果即具有相似商品图片的商品集合R，转到步骤S08；S07.利用用户输入的文字信息在文本索引文件中进行搜索，得到商品集合R，转到步骤S08；S08.服务器记录每个用户的商品搜索记录，通过分析用户的搜索日志，得到每个用户的搜索特征记录；根据用户的搜索行为特征，服务器分析不同用户之间的搜索行为特征相似性以及用户喜爱商品的相似性，以用户之间的是具有相似的搜索行为特征或者喜爱商品的特征相似为依据，在商品集合R中，对用户进行个性化商品推荐，得到的商品列表R1，然后将商品列表R1对应的压缩商品图片以及商品信息返回到手持终端，手持终端进行解压展示；S09.如果用户对步骤S08返回的商品列表中的商品图片以及商品信息不完全满意时，可以对返回的结果列表中的信息进行评价反馈或者进行搜索条件的二次输入，将用户重新输入的信息再次上传到服务器中，进行二次搜索，搜索的步骤和第一次搜索的步骤一样，在二次搜索之后得到一个新的搜索结果列表，并将其返回给客户端进行展示；在本实施例中，所述的图像特征属性值提取如图3所示，本发明所使用的图像特征提取流程中还涉及一种基于图像背景噪声过滤的图像特征提取方法，图像背景噪声过滤又包括前景图像提取(S051,S052)和图像二次净化(S053)两部分，图像特征属性值提取步骤如下：S051.根据商品图片中商品对象一般集中在图片中间部分的特点，通过图片四个角上的颜色特征的统计，得到图片背景部分的颜色类型统计结果；S052.图像前景提取的扩散阶段：扩散阶段是根据统计阶段统计的图片背景颜色类型在商品图片中去掉图片中的背景颜色，即提取出图像前景；S053.在图像前景提取之后需要商品图片进行二次净化，以去除商品LOGO和商品广告语的小联通区域，留下最大的连通区域，以得到只包含商品图像主体部分的商品图片；S054.获取商品图片的RGB颜色属性值；S055.在本实施例中，所使用的商品图片的特征是在HSV颜色模型下进行计算的，所以在计算商品图片的图像特征属性值之前需先将步骤S054得到的商品图片的RGB颜色属性转换成相应HSV模型下的属性值；用r、g、b分别表示RGB颜色模型中的R，G，B颜色属性值，max表示r、g、b中的最大值，min表示r、g、b中的最小值，则HSV模型中H，S，V三个维度的颜色属性值h、s、v分别为：其中，h的范围为[0，360]，s和v的范围为[0，1]；S056.使用颜色模型转换后的商品图片的HSV颜色属性值提取商品图片特征属性值，在本实施例中，使用颜色特征和边缘特征相结合的图片特征，提取可以按照CEDD算法进行。在计算商品图片特征属性值时，首先计算商品图片的颜色特征向量C=(c1,c2,…,ci)，然后计算图片的边缘特征向量F=(f1,f2,…,fj)，商品图片的特征属性值则用向量表示为X=(c1,c2,…,ci,f1,f2,…,fj)，其中，i表示颜色特征的数量，j表示边缘特征数量。商品图片特征属性值的提取是为了建立图片索引文件以及相似商品图片的搜索提供图片内容特征信息的，用户在进行相似图片搜索时，用如下方法计算商品图片的相似度：Tmn=t(Xm,Xn)=(XmTXn)/(XmTXn+XmTXn-XmTXn)其中Xm、Xn分别表示待比较的两幅商品图片的图像特征值即内容特征的特征向量，Tmn表示内容特征的特征向量为Xm、Xn的两幅商品图片的相似度。在本实施例中，商品搜索所使用的商品图片索引文件是通过服务器的商品视觉特征数据库中的商品图片进行建立的，其步骤如下：S061.通过网络爬取技术从各大电子商务网站，如京东商城、当当网等上爬取商品图片和商品信息，放到视觉特征数据库中；S062.对视觉特征数据库中的商品图片使用图3中的方法进行商品图片特征属性值提取；S063.使用商品图片特征属性值，利用Lucene工具，按照爬取得到的商品在购物网站中商品分类的类别，分类别在视觉特征数据库中建立商品图片的索引文件，每获得一张商品图片的特征属性值，就在商品图片索引文件中添加对应商品图片的索引项；图像索引文件的建立解决了在大量商品中搜索相似商品图片速度太慢的问题，在本实施例中，本发明是一种以图片搜索为主，文字搜索为辅的搜索方法，因此，还需要建立商品文本索引文件，建立文本索引文件的步骤如下：S091.从各大购物网站如京东商城、当当网上爬取它们的网页源文件；S092.对各大购物网站的网页源文件进行未知实体的识别，这样可以将实体词库中没有的相关商品的名字、商品型号参数等词从源文件中提取出来；S093.将识别出的实体词加入到语义特征数据库中，形成新的语义特征数据库；S094.根据得到的新的语义特征数据库，利用Lucene工具对得到的网页源文件建立商品文本索引文件；建立商品文本索引文件在对购物网站的源文件进行爬取时完成，每爬取到一个商品的商品信息，就把它加入到商品文本索引文件中；文本索引文件的建立解决了用户在大量文本信息中检索相关目标商品的检索速度太慢的问题，在进行了商品图片和文本检索之后得到一个相似商品的检索结果集合R；如果用户在接收到系统返回的R中的结果以后，对检索结果并不完全满意时，可以对R中的结果做出评价反馈或者进行搜索条件的二次输入，将用户再次上传的商品图片和商品信息传入服务器，进行二次搜索，得到新的检索结果R1，再将R1中的商品信息打包返回给用户端，在客户端进行解压展示。在将检索结果R和R1返回给用户之前，系统还提供了个性化商品推荐的功能，其步骤如下：S081.从服务器中得到用户的搜索日志记录；S082.对S081得到的用户搜索记录进行分析，得到用户的搜索特征和用户感兴趣的商品属性；S083.根据由S082得到的用户的搜索特征和用户感兴趣的商品属性，在R和R1中对用户进行个性化商品推荐。例如：通过对用户的搜索日志记录的分析得到用户所感兴趣的商品类型为红色高跟鞋，并且用户浏览的此类商品时价格区间一般在200元到300元之间，那么服务器就在商品集合R和商品列表R1中过滤出符合用户搜索习惯的商品推荐给用户；步骤S083可以得到检索结果中用户可能更加喜欢更加兴趣的商品，将这些结果根按照用户可能感兴趣的程度进行排序。与此同时，也从数据库中得到检索结果中商品的同类商品，对其进行比价排序后将结果一起返回给用户。图3中所提到的图像特征属性值提取中，涉及到基于图像背景的噪声过滤，这一过程由商品图片的前景图像提取和图像的二次过滤来完成，经过背景噪声过滤以后的商品图片进行搜索时，可以降低背景和广告语对基于图片的商品搜索准确率的影响。在本实施例中，商品图片的前景图像提取是基于图割理论进行的，而图像的分割问题实际上是图像中每个像素的二值化标号问题。二值化向量A=（A1,A2,A3...A|P|）中每一维代表的是该像素的取值，P是所有像素点的集合，“bkg”代表的是背景标号，“obj”代表的是前景标号。计算一个能量泛函E(A)：E(A)=λR(A)+B(A)其中N表示的是P中相邻像素点对的集合。R(A)表示的是图像分割的区域信息(regionalterm)，它的含义是每个像素点赋予标号“bkg”或者“obj”的代价。而B(A)表示的是分割的边界信息(boundaryterm)，B{p,q}代表相邻点对{p,q}不连续所付出的代价。当像素点p,q相似的时候，B{p,q}很大，反之B{p,q}趋近于0。如此，图像分割转换成为对能量泛函E(A)用组合优化的方法最小化的问题。通过构造一个带权值的图，采用图论中的最大流/最小割理论可以得到E(A)最小化的最优解。因为商品图片中前景即商品一般集中在商品图片的中间部分，因此使用一种无交互的前景自动提取算法进行前景提取，这种前景提取算法又分为统计阶段(S051)和扩散阶段(S052)。在本实施例中，如图4所示，统计阶段的步骤如下：S0511.从商品图片的四个角分别取出一个区间，区间大小为(lx/20)*(ly/20)，其中lx为商品图片的横向像素点数，ly为商品图片的纵向像素点数；S0512.将一个角取的区间第一个像素点作为第一类，记作C1类，并把这个像素的RGB颜色分量即属性值作为C1类的特征值；S0513.将C1类放入类别集合C中；S0514.依次遍历此区间的下一个像素点，计算下一个像素点与C中每个类的RGB特征值的差值，如果它和类别集合C有一Ck类的差值小于设定的阈值，步骤S0516，否则即与所有类的RGB特征值的差值都不小于设定的阈值，就到步骤S0515；S0515.建立新的类别Cn+1类，并加入到类别集合C中，转步骤S0517；S0516.把该像素点归为Ck类，并把Ck类的计数加1，转步骤S0517；S0517.判断是否遍历完整的一个区域，若未遍历完，则到S0514，S0518.若已经遍历完，则对下一个角进行步骤S0512～S0518，直到4个角的背景颜色统计完成，然后对每个角取背景颜色统计数最多的5类作为该角背景区间的颜色统计结果。在本实施例中，如图5所示，扩散阶段的步骤如下：S0521.将一个角的第一个像素点作为背景像素点对整张商品图片进行扩散，依次计算商品图片中背景像素点在扩散方向上的相邻像素点的RGB属性值和它本身的RGB属性值以及此角区间统计的5个类的RGB属性值的差值；S0522.判断是否有差值在阈值范围内，如果有，则将该相邻像素点标记为背景“bkg”，否则，标记前景“obj”；S0523.然后对这些标记为背景“bkg”的相邻像素点在扩展方向上的相邻像素点进行相同的判断和标记，直到遍历完整张商品图片；S0524.选择下一个角的第一个像素，则重复步骤S0521～S0523，直到四个角都完成扩散；S0525.在商品图片中，将四个角扩散过程中标记为背景“bkg”的像素点设定为背景颜色，在本实施例中，设定为黑色，这样可以得到去掉背景颜色后的商品图片。商品图片去掉背景颜色后需要进行二次净化，以降低商品LOGO和广告语对商品图片检索结果的影响，记去掉背景颜色后的商品图片P1，如图6所示，二次净化的步骤如下：S0531.对商品图片P1进行二值化处理，用单通道存储图像副本信息，将商品图片P1中所有的背景像素点设置为0，即纯黑色，前景像素点设置为255，即纯白色，得到二值化后的商品图片P2；S0532.遍历商品图片P2中的像素点，如果像素点为255即前景像素点，就转动步骤S0533，否则，执行步骤S0534；S0533.就从该像素点开始用广度优先搜索算法遍历所有的邻接的具有255像素值的像素点，并用整数i进行标记，用线性表list(i)记录此联通区域的像素点个数，然后，执行步骤S0534；S0534.判断是否遍历完商品图片P2，遍历完转到步骤S0535，没有遍历完，则对下一个像素点执行S0532步骤；S0535.选取线性表list(i)记录像素点最多的那个标记，如果商品图片P2中具有该标号，就把商品图片中对应的像素点保留，其它像素则都设置为背景。经过以上步骤，可以得到二值化以后的图像中所对应的连通区域的信息，在去掉背景颜色后的商品图片中保留最大连通区域所对应的像素点，而将小连通区域对应像素点设置为背景颜色，就可以得到经过背景噪声过滤之后的商品图片。尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。