，…， h18的18个值，将S和V均勾映射到和s p s2, sjP v p v2, v3。颜色特征被表示成24维的向 量：color = (f\，f2, f3，…，f24)，其中 f\~f 18 表示对 H 值的统计，f 19, f2(l，f 22, f23， f24分别表示对S和V值的统计。color的表示方法如下：
[0031]
[0032] 式中N表示图像中总的像素个数，vk分别代表对应值的统计值。
[0033] 2. SIFT 特征
[0034] SIFT (Scale Invariant Feature Transform)描述算子，即尺度不变特征变换，对 尺度空间，图像缩放，旋转和仿射具有不变性。SIFT算法的实现过程主要包括这几步：第一 在尺度空间进行特征检测，以确定关键（Keypoints)的位置和关键点所处的尺度。第二使 用关键点领域梯度的主方向作为该点的方向特征，以实现算子对尺度方向的无关性。第三 每个特征点用一个128维的特征向量描述。
[0035] SIFT特征向量的生成算法包括以下四步：
[0036] 1)检测尺度空间的极值，得到关键点的位置的尺度。为了检测关键点，需要比较 目标像素与它周围8领域的像素和相邻尺度对应的9x 2个像素（一共26个像素）进行比 较。
[0037] 2)通过三维二次函数的拟合来精确确定关键点的位置的尺度，同时通过去除低对 比度的关键点和不稳定的边缘相应点来增强匹配稳定性，提高抗噪能力。
[0038] 3)利用目标关键点领域像素的梯度方向作为关键点的方向参数，这样可以得到旋 转不变性。至此，完成了检测关键点的工作，每个关键点包含三个信息：位置、尺度、方向。
[0039] 4)生成SIFT特征向量，即用SIFT描述算子表示特征点，每个关键点对应一个128 维的特征向量。
[0040] 三、特征匹配
[0041] 1.颜色特征匹配
[0042] 颜色特征被量化为24维的特征向量，形如color = (f\，f2, f3，…，f24)的形式， 用欧式距离对颜色特征进行匹配。若两幅图像分别为1 :和I 2，那么1:和I 2的欧式距离用 下式计質?
[0043]
[0044] 结果越接近0,两幅图像的颜色相差越小。设定一个阈值，小于这个值的两幅图像 认为比较相似。
[0045]2. SIFT特征匹配
[0046] -幅图像有很多个局部特征点，并且每个特征点用128维的向量表示，导致图像 局部特征点的信息量较大。本发明将图像搜索和文本搜索类比，一幅图像可以看作是文 本搜索中的一篇文章，图像中的特征点看作是文章中的单词，将文本搜索的算法Bag of Words (BOW)引入图像匹配上。
[0047]BOW模型是信息检索领域常用的文档表示方法。在信息检索中，BOW模型假定对于 一个文档，忽略它的单词顺序和语法、句法等要素，将其仅仅看作是若干个词汇的集合。例 如有如下两个文档：
[0048] 1 ：Bob likes to play basketball, Jim likes too.
[0049] 2 ：Bob also likes to play football games.
[0050] 基于这两个文本文档，构造一个词典：
[0051] Dictionary={1. "Bob'，，2. "like"，3. "to"，4. "play"，5. "basketball"， 6. "also"，7. "football"，8. "games"，9. "Jim"，10. "too"}
[0052] 这个词典一共包含10个不同的单词，利用词典的索引号，上面两个文档每一个都 可以用一个10维向量表不：
[0053] 1 :[1，2，1，1，1，0,0,0，1，1]
[0054] 2 :[1，1，1，1，0，1，1，1，0,0]
[0055] 将SIFT特征点的128维特征向量进行矢量量化，即将大量训练集中所有图像的所 有特征点进行聚类，将相似的特征点都归为一类，以减少特征点的个数。聚类后的特征点作 为虚拟词汇表。聚类主要使用K-Means算法。
[0056] 聚类后，每一幅图像都可以用一个向量来表示。例如，训练集中的所有图像一共提 取了 10000个特征点，这10000个特征点聚类为1000个，则根据B0W算法，每幅图像可用一 个1000维的向量表示。每一幅图像的SIFT特征都可以用一个向量来表示。我们使用向量 夹角的余弦值来匹配图像的颜色特征。余弦值越接近1，说明两幅图像越相似。
[0057] 系统先使用大量训练集图像进行训练，得到匹配SIFT特征的B0W算法需要使用 的虚拟词汇表。在管理员录入商品数据时从商品图像中提取出商品目标，提取颜色特征和 SIFT特征，将商品信息和提取出的特征保存至数据库。服务端收到移动端上传的商品图像 时也先提取出商品目标，提取颜色特征和SIFT特征，利用欧式距离和B0W分别匹配颜色特 征和SIFT特征，从数据库中检索出相应商品，将商品信息返回给移动端。至此完成整个图 像搜索过程。
【主权项】
1. 一种基于图像搜索的购物搜索系统，其特征在于：系统分为移动端、管理端和服务 端，移动端拍摄商品图片并上传到服务端，服务端根据移动端上传的商品图片从数据库中 检索出相应商品，将检索出的商品信息返回给移动端，供用户查看购买；系统管理员可在管 理端对数据库中的商品进行管理。2. 如权利要求1所述的基于图像搜索的购物搜索系统，其特征在于：移动端为手机客 户端，管理端为浏览器。3. -种基于图像搜索的购物搜索系统的实现方法，其特征在于：利用基于图的快速分 割算法对图像对象的识别能力，以及商品目标的空间位置分布特性和大小特性，提取商品 目标，去除背景干扰；提取图像的颜色特征和SIFT特征，利用欧式距离和Bag Of Words分 别匹配颜色特征和SIFT特征。4. 如权利要求3所述的基于图像搜索的购物搜索系统的实现方法，其特征在于：系统 在管理员录入商品数据时从商品图像中提取出商品目标，提取颜色特征和SIFT特征，将商 品信息和提取出的特征保存至数据库； 服务端收到移动端上传的商品图像时也先提取出商品目标，提取颜色特征和SIFT特 征，利用欧式距离和Bag Of Words分别匹配颜色特征和SIFT特征，从数据库中检索出相应 商品，将商品信息返回给移动端。
【专利摘要】本发明公开一种基于图像搜索的购物搜索系统及其实现方法，系统分为移动端、管理端和服务端，移动端拍摄商品图片并上传到服务端，服务端根据移动端上传的商品图片从数据库中检索出相应商品，将检索出的商品信息返回给移动端，供用户查看购买；系统管理员可在管理端对数据库中的商品进行管理。方法利用基于图的快速分割算法对图像对象的识别能力，以及商品目标的空间位置分布特性和大小特性，提取商品目标，去除背景干扰；提取图像的颜色特征和SIFT特征，利用欧式距离和Bag Of Words分别匹配颜色特征和SIFT特征。本发明提高了购物图像的搜索准确度，和搜索速度。
【IPC分类】G06F17/30
【公开号】CN104991954
【申请号】CN201510427382
【发明人】严祥光, 张雪洁, 朱云
【申请人】河海大学
【公开日】2015年10月21日
【申请日】2015年7月20日