识别视频图像中的商品和展示其信息的方法、装置及系统的制作方法_3

文档序号:9597535阅读:来源:国知局
务端返回的静态图像的帧数大于1,则可以通过计算边缘点数或者锐度来评价每一帧图像的清晰度,也可以将上述两种方法结合起来,综合评价每一帧图像的清晰度,并从中选择清晰度满足设定要求的一帧静态图像作为继续进行后续处理所采用的静态图像。所述清晰度满足设定要求的一帧静态图像,通常是指通过上述方式评价得到的清晰度最佳的一帧静态图像。
[0131]步骤103:获取所述静态图像中包含商品图像的区域,作为商品图像区域。
[0132]作为一种可行的实施方式,可以直接对整个静态图像进行扫描,识别该图像中包含的商品,例如:所述静态图像中仅显示了一件商品,则可以通过对整个图像的扫描识别所述商品。但是考虑到所述静态图像中可能包含大量与商品无关的图像区域,例如:树林、建筑物、人体等等,这种情况下,对整幅图像进行扫描并从中识别商品的效率就会比较低,为了提高执行效率,本实施例的技术方案提供了一种优选实施方式,即:先获取所述静态图像中包含商品图像的商品图像区域,然后再在所述商品图像区域中进行商品的识别,由于排除了不包含商品图像的区域,因此可以提高整体的识别效率。
[0133]获取所述静态图像中的商品图像区域,包括区域划分、特征值计算、特征值判断这样几个过程,包括下述步骤103-1至103-3。下面,结合附图2对这几个步骤作进一步的说明。
[0134]步骤103-1:采用图像分割算法把所述静态图像划分成若干个图像区域。
[0135]图像分割就是把图像分成若干个特定的、具有独特性质的区域的技术和过程,它是由图像处理到图像分析的关键步骤。本实施例所述的图像分割方法包括:基于区域的分割方法或者基于边缘的分割方法。
[0136]所述基于区域的分割方法是指,将具有相似性质的像素集合起来构成区域。具体说,先对每个需要分割的区域找一个种子像素作为生长的起点,然后将种子像素周围邻域中与种子像素具有相同或相似性质的像素合并到种子像素所在的区域中;将这些新像素当作新的种子像素继续进行上面的过程,直到再没有满足条件的像素可被包括进来,这样,就划分出了一个区域。常见的基于区域的分割方法包括:Meanshift分割方法、测地线活动轮廓模型、JSEG等。
[0137]图像分割的另一种重要途径是通过边缘检测,即检测灰度级或者结构具有突变的地方,这种不连续性也可以称为边缘,通常表明一个区域的终结,同时也是另一个区域的开始。不同的图像灰度不同,边界处一般有明显的边缘,可以利用此特征分割图像,也就是说将边缘检测的结果作为进行图像分割的依据。常见的边缘检测算子包括:laplacian-gaUSS算子、canny算子、log滤波算子、sobel算子、Robert算子、prewitt算子等,利用这些算子进行边缘检测并进行图像分割,是比较成熟的现有技术,此处不再赘述。
[0138]在具体实施过程中,可以根据所述静态图像的特点选取适合的图像分割方法,例如:如果所述静态图像的边界比较分明,可以比较准确地提取到边界,这时候可以选用基于边缘的分割方法;如果所述静态图像比较模糊,轮廓并不是很清晰,不同区域之间颜色比较接近,这种情况下可以选用基于区域的图像分割方法效果会更好一些。具体选择何种区域分割方法,可以根据实际的需要来确定,也可以采用不同于上述的其他分割方法,只要能够将所述静态图像划分为适当的图像区域即可。
[0139]步骤103-2:针对每一个图像区域,获取用于描述该图像区域性质的特征值。
[0140]从已经分割得到的多个图像区域中选取商品图像区域的过程,本质上是一个图像分类的过程,即:将图像中的各个区域按其性质或者特点分为若干类别中的一类的技术过程。为了实现该分类功能,可以针对每一个图像区域,获取用于描述该图像区域性质的特征值。
[0141]本步骤所述的图像区域的特征值,是指用于表示图像区域的形状、灰度、颜色、纹理等特征的值,通过这些值可以定性描述或者表示图像区域的性质或特点,并可以作为对图像区域进行分类的依据。获取图像区域特征值的过程通常也称为特征提取过程。
[0142]在具体实现中,可以针对实际的需求采用相应的特征提取算法,例如:采用小波变换、Hough变换等数学变换方法进行特征提取,采用灰度共生矩阵法、Laws能量纹理法等方法进彳T特征提取等。
[0143]步骤103-3:判断每一个图像区域的特征值是否符合预先设定的商品图像区域的特征;若是,则判定该图像区域为商品图像区域,该区域在所述静态图像中的位置即为其中包含的商品在所述静态图像中的位置。
[0144]判断某个图像区域是否为商品图像区域,实际上就是判断描述该图像区域性质的特征值是否与预先设定的商品图像区域的判别准则相符。
[0145]在本实施例的一个具体例子中,首先收集一定数量的已知类别的训练样本,包括正样本,即:各种商品图像的样本,还有负样本,即:不是商品图像的样本,例如:人体图像样本、环境图像样本等,通过对这些样本特征的提取、学习和训练,确定一个用于判定待检测图像是否为商品图像的判别函数和相应的判别准则(也称分类器)。然后在本步骤中就可以将每一个已经分割好的图像区域的特征值作为该分类器的输入,所述分类器根据预先训练好的判别函数和判别准则判断该图像区域是否为商品图像区域,并输出结果。
[0146]采用上述方式在所述静态图像中检测出商品图像区域后,可以同时记录该商品图像区域在所述静态图像中的位置,该位置也就是所述商品图像区域中包含的商品在所述静态图像中的位置。
[0147]步骤104:识别所述商品图像区域中的商品并获取商品信息。
[0148]本步骤在已经获取的商品图像区域中识别商品并获取商品信息,具体说包括特征提取、特征匹配和获取商品信息这样几个过程,包括下述步骤104-1至104-3。下面,结合附图3对这几个步骤作进一步的说明。
[0149]步骤104-1:提取所述商品图像区域中的图像特征,作为基准特征。
[0150]在步骤103中已经获取了商品图像区域,本步骤则需要提取商品图像区域中的图像特征,为步骤104-2中的匹配识别操作做好准备。
[0151]所述图像特征既包括图像的低层特征,例如:颜色特征、形状特征、纹理特征,以及高层次的特征,例如:语义特征等。在具体实施过程中,可以提取不同于上述列举特征的其他图像特征作为基准特征,这些仅仅是实施方式的变更,并不偏离本申请的核心,都在本申请的保护范围之内。
[0152]对图像特征的提取,可以采用不同的特征提取算法,本实施例的技术方案采用SIFT算法提取所述商品图像区域中的图像特征。
[0153]SIFT (Scale-1nvariant feature Transform-尺度不变特征变换)算法是一种图像特征提取算法,是目前应用比较广泛的局部特征提取算法,SIFT特征在图像发生平移、旋转、尺度变化、光照变化情况下保持不变,并能在一定程度上对视角变化、仿射变化也具备较为稳定的特征匹配能力,即:采用SIFT算法提取图像特征,可以去除尺度变化、旋转等变形因素的影响。
[0154]在具体实施过程中,可以采用OpenCV库提供的方法进行图像特征的提取。OpenCV库是计算机视觉库,它提供了图像处理、计算机视觉、人工智能方面的很多算法。在本实施例的一个具体例子中,采用OpenCV库中的Detector类的detect ()方法来提取所述商品图像区域中的图像特征。
[0155]在商品种类比较少的情况下,可以从所述商品图像区域中提取一种图像特征,例如:颜色特征、纹理特征或者形状特征中的一种,就可以在后续步骤104-2中通过特征匹配过程识别出所述商品。但是考虑视频图像中可能包含的商品种类繁多,很多不同种类的商品可能存在颜色相同、形状相同或者纹理相同的情况,如果仅提取某一种特征,容易出现识别错误的现象,因此为了更为准确地识别出所述商品图像区域中的商品,在本步骤中可以在颜色特征、形状特征、纹理特征,以及语义特征中提取两种甚至更多种类的特征,作为所述基准特征,供后续步骤104-2匹配使用。
[0156]步骤104-2:在预先生成的候选商品特征库中查找与所述基准特征相匹配的候选商品特征,并获取匹配成功的候选商品特征对应的商品索引。
[0157]为了实现在暂停视频图像中识别商品的功能,实现该功能的服务端可以预先采用与步骤104-1类似的方法将用于匹配的各种候选商品的商品图像特征输入到候选商品特征库中。例如:为每一种候选商品图像提取颜色特征、纹理特征、以及形状特征等,并将提取的各个特征值存储在候选商品特征库中。
[0158]在本步骤中就可以根据步骤104-1获取的商品图像区域的图像特征,即:基准特征,在所述预先生成的候选商品特征库中查找与其相匹配的候选商品特征。具体说就是,计算所述基准特征与所述候选商品特征库中的每一个候选商品特征之间的特征值差异;并将所述特征值差异满足设定要求的候选商品特征,作为与所述基准特征相匹配的候选商品特征。在具体实现中,可以选择与基准特征之间的特征值差异最小的候选商品特征,作为与所述基准特征相匹配的候选商品特征。
[0159]所述基准特征与候选商品特征之间的特征值差异,通常也称作是与这两种特征对应的两图像之间的距离,即:待识别商品图像(所述商品图像区域中的图像)与候选商品图像之间的距离,该值是表征上述两图像之间的相似程度的量化数值,如果该数值满足预先设定的条件,则可以认为上述两图像相似度匹配,也就是本步骤所述的基准特征与候选商品特征相匹配。
[0160]在具体实施过程中,计算基准特征与候选商品特征之间的特征值差异,可以分别计算基准特征与候选商品特征的每个相应特征值之间的差异,然后采用预先设定的权重将计算出的各个差异值综合起来,即得到了所述基准特征与候选商品特征之间的特征值差异。在本实施例的一个具体例子中,分别计算基准特征与候选商品特征之间的颜色特征值的差异、纹理特征值的差异、形状特征值的差异,并将上述计算结果按照预先设定的权重相加,就得到了所述特征值差异。
[0161]在具体实施过程中,计算基准特征与候选商品特征之间的特征值差异,还可以采用比较常用的图像距离度量公式。采用这种方式,可以根据所述基准特征中的各个特征值,采用预先设定的权重或者算法生成表征所述基准特征的特征向量,同样,可以根据候选商品特征中的相应特征值,采用与上述同样的方法生成表征候选商品特征的特征向量,然后采用距离度量公式或者函数计算上述两个特征向量之间的距离,计算得到的距离值也就是本步骤所述的基准特征与候选特征之间的特征值差异。常用的距离度量公式有:Minkkowsky 距离,Manhattan 距离,Euclidean 距离,加权 E
当前第3页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1