专利名称：一种商品图像主体区域检测方法
技术领域：
本发明涉及图像搜索技术领域和人类视觉心理学领域，尤其涉及一种基于人类视觉特性的商品图像主体区域检测方法。
背景技术：
在图像搜索技术中，当用户上传一幅商品图像并期望搜寻与该图相同或相近的商品时，用户更关注商品本身，如T恤、风衣、靴子、卫衣、半身裙、裤子、包包、连衣裙等，且该商品区域最能表现用户的视觉注意程度，从人类视觉感知模型的角度看，用户感兴趣的区域一定是图像或视频中的显著性区域。为了改善用户的视觉 搜索体验，使用户购物体验更友好，对用户重点关注的“感兴趣区域”进行重点分析，通过自动定位、准确捕捉输入商品图中的显著性的主体区域，有效地提高“以图搜图”的检索精度和效率。
发明内容
本发明的目的在于针对现有技术的不足，提供一种商品图像跨类目检索方法。本发明的目的是通过以下技术方案来实现的一种商品图像主体区域检测方法，其特征在于，该方法包括如下步骤(I)对商品图像进行图像尺寸缩放、过滤肤色像素以及去除颜色聚类生成的具有较小聚类数目的像素等预处理，以排除与商品主体颜色较不相关像素的干扰；(2)对步骤(I)得到的商品图像进行颜色分割，得到初始聚类数目和初始聚类中心；利用颜色聚类计算新聚类中心、每类颜色权重以及每类颜色协方差；(3)将步骤(2)得到的聚类中心、颜色权重、颜色协方差以及步骤(I)得到的商品图像结合，计算主体区域；包括以下子步骤3. I)对步骤(2)得到的聚类中心、颜色协方差以及步骤(I)得到的商品图像的像素样本值计算指定每类颜色类别下观察像素样本的类条件概率密度；利用指定每类颜色类别下观察像素样本的类条件概率密度和步骤(2)得到的颜色权重计算每类颜色的后验概率，得到颜色概率映射图；3. 2)对步骤3. I)得到的颜色概率映射图和步骤(I)得到的商品图像像素样本的空间位置，分别计算每类颜色空间位置的水平方差和垂直方差；3. 3)对步骤(I)得到的商品图像分别计算五个区域的颜色直方图并比较峰值个数，当峰值个数满足某条件时，该图就是复杂背景图；3. 4)只对背景简单的商品图，利用步骤3. I)得到的颜色概率映射图和步骤(I)得到的商品图像像素样本的空间位置与图像中心位置的距离，计算每类颜色空间位置的中心权重；得到每类颜色的空间分布权重；3. 5)将步骤3. I)得到的颜色概率映射图和步骤3. 4)得到的每类颜色的空间分布权重结合，计算图像每个像素样本的概率加权和，得到商品图像中的主体区域并进行显示。本发明的有益效果是，本发明针对服饰类商品，基于人类视觉注意的模型提出了一种商品图像主体区域检测方法，而不依赖人工交互也不再只突出主体的边缘。通过有效地结合Gaussian Mixture Model (GMM)方法、商品图像内容的复杂度以及商品图像中主体颜色的空间信息，自适应地计算图像中每一个像素点的显著性，达到自动检测服饰类商品图像的商品显著区域的目的。方法对非主体区域的背景部分有更好的抑制，对主体区域有更好的突显,对主体本身有更好的强调，并满足图像检索的实时性要求,从而解决了商品图像主体区域检测的问题，能够准 确地定位用户感兴趣的部分，帮助用户快速准确地搜索到目标商品。
图I是商品图像主体区域检测流程图；图2是商品图像预处理流程图；图3是肤色过滤流程图；图4是Hill-climbing方法流程图；图5是颜色聚类流程图；图6是颜色概率映射图生成流程图；图7是颜色空间分布权重计算流程图；图8是商品主体区域显示方式示意图。
具体实施例方式下面以服饰类图像的主体区域检测和显示为例，结合附图详细描述本发明，本发明的目的和效果将变得更加明显。如图I所示，本发明一种商品图像主体区域检测方法包括如下步骤步骤I :对商品图像进行图像尺寸缩放、过滤肤色像素以及去除颜色聚类生成的具有较小聚类数目的像素等预处理，以排除与商品主体颜色较不相关像素的干扰，如图2。在保持原始商品图像的高宽比不变的前提下，将输入图像缩放到图像最大尺寸(图像高度或图像宽度)为128，该尺寸下得到的主体区域与输入原图尺寸得到的主体区域视觉差异不明显。在处理包含人体肤色的服饰类商品图时，用户并非重点关注人体肤色，且该类图中的肤色将会干扰颜色的聚类效果，需要去除肤色对商品主体颜色的影响。在本发明中，米用V. A. Oliveira, A. Conci. Skin Detection using HSV colorspace[J]. Computation Institute-Universidade Federal Fluminense-UFF-Niteroi,Brazil.所述方法，滤除商品图像中的肤色像素。如图3，首先对图像进行肤色检测，由于HSV颜色空间更接近人类的颜色感知，所以将图像从RGB转换到HSV空间，在亚洲人和白种人中肤色的特点是Hue色度通道范围为
且Saturation饱和度通道范围为
。仅使用Hue色度通道范围在[6，38]，认为在该范围内的像素值是肤色，设置为255，不在该范围内的像素值是非肤色，设置为O。其次对图像中的肤色与非肤色进行分类，初步肤色检测后，图像中仍存在一些噪声等干扰因素，因此，使用5X5结构元进行形态滤波处理。首先利用该结构元进行膨胀滤波，扩展肤色区域；然后利用该结构元腐蚀图像，消除膨胀效应；再使用3X3中值滤波进行平滑；最后寻找轮廓，计算每个轮廓区域的面积，小于设定阈值250的面积不属于肤色。在服饰类商品中，商品主体的颜色均较集中或有特定的规律性且在图像中所占比例较大，而在非主体区域中常有一些不同于主体颜色且在图像中所占比例较少的颜色，如头发、背景装饰品等，需要去除数目较少的颜色类型，以消除这些颜色对占比重较大的颜色的影响。对排除肤色像素的图像像素样本，在RGB颜色空间，采用指定聚类数目为7的K-means颜色聚类，得到7类颜色聚类结果，在7类颜色聚类结果中，去除聚类个数小于给定阈值50的聚类，保留其它聚类。步骤2 :对步骤I得到的商品图像进行颜色分割，得到初始聚类数目和初始聚类中心；利用颜色聚类计算新聚类中心、每类颜色权重以及每类颜色协方差。
为了排除干扰颜色的影响，对保留下来的图像像素样本的颜色进行聚类，强化图像中的主要颜色,初步地区分出主要主体和背景。在本发明中，米用S. Bir, A. Kaur. Color Image Segmentation in CIELabSpace Using Hill Climbing Algorithm[J]. International Journal of ComputerApplications (0975-8887), Volume 7-No.3, September 2010.和 R.Achanta,F.Estrada, P. ffils, and S.Susstrunk. Salient Region Detection and Segmentation[J].International Conference on Computer Vision Systems, 2008.所述 Hill-climbing 方法，计算初始聚类数目和初始聚类中心，如图4，在RGB颜色空间下，计算步骤I得到的商品图像的3D彩色直方图，利用3X3X3的搜索窗口寻找10X 10X IObins的直方图中的局部最大值，得到的峰值个数即为初始聚类数目，与峰值对应的bins值即为初始聚类中心。利用非参数方法得到的初始聚类数目和初始聚类中心，采用K-means算法对RGB像素样本值进行颜色聚类，生成新颜色聚类中心和新颜色聚类数目，然后计算每一类的颜色权重，并结合RGB像素样本值计算每类的颜色协方差，如图5。步骤3 :将步骤2得到的聚类中心、颜色权重、颜色协方差以及步骤I得到的商品图像结合，计算主体区域。步骤3. I :对步骤(2)得到的聚类中心、颜色协方差以及步骤(I)得到的商品图像的像素样本值计算指定每类颜色类别下观察像素样本的类条件概率密度；利用指定每类颜色类别下观察像素样本的类条件概率密度和步骤(2)得到的颜色权重计算每类颜色的后验概率，得到颜色概率映射图。利用Roger Jang (张智星)· Data Clustering and Pattern Recognition [Μ] ·Chapter 7 GMM:高斯混合模型· CS Dept. , Tsing Hua University, Tai wan.所述混合高斯模型，平滑地近似图像样本颜色的密度分布，估计图像中每个像素样本属于某类颜色的概率，进一步区分主要的主体颜色和背景颜色。根据图像的RGB像素样本值、颜色聚类中心以及颜色协方差，利用多变量的高斯概率密度函数公式(1)，计算指定颜色类别j下观察像素样本χ的类条件概率密度(即g(y,MP I ))。若要得到更准确的颜色聚类中心、每类颜色的权重和每类颜色的协方差，可以米用 Roger Jang (张智星)· Data Clustering and Pattern Recognition [Μ]. Chapter7 :GMM :高斯混合模型· CS Dept. , Tsing Hua University, Taiwan.所述 ExpectationMaximization (EM)方法,对其三个参数进行迭代更新,计算最佳的颜色聚类中心、每类颜色的权重和每类颜色的协方差。
权利要求
1.ー种商品图像主体区域检测方法，其特征在于，该方法包括如下步骤 (1)对商品图像进行图像尺寸缩放、过滤肤色像素以及去除顔色聚类生成的具有较小聚类数目的像素等预处理，以排除与商品主体颜色较不相关像素的干扰； (2)对步骤(I)得到的商品图像进行顔色分割，得到初始聚类数目和初始聚类中心；利用颜色聚类计算新聚类中心、每类颜色权重以及每类颜色协方差； (3)将步骤(2)得到的聚类中心、颜色权重、颜色协方差以及步骤(I)得到的商品图像结合，计算主体区域；包括以下子步骤 · 3.I)对步骤(2)得到的聚类中心、颜色协方差以及步骤(I)得到的商品图像的像素样本值计算指定每类颜色类别下观察像素样本的类条件概率密度；利用指定每类颜色类别下观察像素样本的类条件概率密度和步骤(2)得到的颜色权重计算每类颜色的后验概率，得到颜色概率映射图； · 3.2)对步骤3. I)得到的颜色概率映射图和步骤(I)得到的商品图像像素样本的空间位置，分别计算每类颜色空间位置的水平方差和垂直方差；· 3.3)对步骤(I)得到的商品图像分别计算五个区域的顔色直方图并比较峰值个数，当峰值个数满足某条件时，该图就是复杂背景图； · 3.4)只对背景简单的商品图，利用步骤3. I)得到的颜色概率映射图和步骤(I)得到的商品图像像素样本的空间位置与图像中心位置的距离，计算每类颜色空间位置的中心权重；得到每类颜色的空间分布权重；· 3.5)将步骤3. I)得到的颜色概率映射图和步骤3. 4)得到的每类颜色的空间分布权重结合，计算图像每个像素样本的概率加权和，得到商品图像中的主体区域并进行显示。
全文摘要
本发明公开了一种商品图像跨类目检索方法，本发明针对服饰类商品，基于人类视觉注意的模型提出了一种商品图像主体区域检测方法，而不依赖人工交互也不再只突出主体的边缘。通过有效地结合GMM方法、商品图像内容的复杂度以及商品图像中主体颜色的空间信息，自适应地计算图像中每一个像素点的显著性，达到自动检测服饰类商品图像的商品显著区域的目的。方法对非主体区域的背景部分有更好的抑制，对主体区域有更好的突显，对主体本身有更好的强调，并满足图像检索的实时性要求，从而解决了商品图像主体区域检测的问题，能够准确地定位用户感兴趣的部分，帮助用户快速准确地搜索到目标商品。
文档编号G06F17/30GK102842135SQ20121024914
公开日2012年12月26日 申请日期2012年7月17日 优先权日2012年7月17日
发明者王海洋, 黄琦, 林建聪, 薛琴, 曾凡涛, 孙凯 申请人:杭州淘淘搜科技有限公司