一种基于矩阵的图像聚类方法与流程

本发明属于图像处理领域，涉及一种图像聚类方法，尤其是一种可以广泛应用于包括机器视觉导航、目标测量、目标追踪与定位等多种领域的图像聚类方法，具体地说是一种利用人类视觉多尺度感知特性的对于彩色图像的基于矩阵计算的聚类方法。
背景技术：
：图像聚类是利用计算机对图像库中的图像进行分析，把图像中的每个像元或区域划归为若干种特征类别中的一种，以代替人类对图像的视觉判别。图像聚类的过程实质上就是基于知识的图像理解过程，同时也是人类对图像的视觉判别的延伸和发展。图像聚类技术就是根据图像的语义和感知特征进行检索，具体实现就是从图像数据中提取出特定的信息线索或特征指标，然后根据这些线索从大量存储在图像数据库的图像中进行查找，检索出具有相似特征的图像数据。图像聚类技术是先对图像按照某种相似性原则进行聚类，把相似的图像聚合为一类，检索过程在类内进行，从而大大的缩小图像检索范围，就能够达到快速准确检索图像的目的。图像聚类技术在各行各业都有着广泛的应用前景。例如在公安行业，随着公安信息化的不断发展，图像识别技术已在公安行业广泛应用，通过摄像头抓拍、图片结构化等手段获取了视频图片，形成了动态资源库。基于图像聚类的机器视觉分析技术可以为公安治安防控、刑侦破案、反恐防暴等工作提供有力支撑。又例如在导航领域，目前有通过安装在车身上的摄像头，利用周围环境信息来导航的视觉自动导航系统。通过摄像头获取的图像信息，经过分析处理可以得到车辆相对于道路的位置与姿态信息，做出相应的路径规划，实现车辆的自动导航。目前常规的图像聚类方法是谱聚类法。谱聚类法的主要优点是谱聚类只需要数据之间的相似度矩阵，因此对于处理稀疏数据的聚类很有效，这点传统聚类算法比如k-means很难做到。并且由于使用了降维，因此在处理高维数据聚类时的复杂度比传统聚类算法好。但是谱聚类法的主要缺点是如果最终聚类的维度非常高，则由于降维的运算复杂度会较高，因此谱聚类的运行速度较慢且最后的聚类效果不够理想。由于当前主流的图像聚类方法采用的视觉特征缺乏自主学习能力，导致图像表达能力不强，而且传统的聚类算法计算复杂度较高，聚类效率低，难以适应当前的大数据环境。因此，当前由于聚类速度低下的限制，很多概念和应用无法实质性开展，而只能停留在技术理论上。因此，寻找一种高效率、方便快捷的对图像进行分类方法，已经成为进行图像处理工作的重要基础和必不可少的重要环节。技术实现要素：针对上述
背景技术：
所提到的目前图像聚类算法计算复杂度较高，聚类效率低下，难以适应当前的大数据环境的问题，本发明提出了一种基于矩阵的图像聚类方法，目的在于实现图像聚类工作的高效率和方便快捷。为了达到上述目的，本发明提供如下技术方案：一种基于矩阵的图像聚类方法，包括以下步骤：第一步、对图像进行超像素图块的分割并提取各个超像素图块中的超像素中心属性；第二步、获得反映各个超像素图块之间相邻关系的邻接矩阵；第三步、根据所述邻接矩阵获得反映相邻超像素图块之间的超像素的相似度的相似度矩阵；第四步、根据所述相似度矩阵对超像素图块完成聚类。优选的，所述超像素中心属性包括如下属性：在图像中的坐标center(x,y)，颜色color_info(l,a,b)，超像素唯一标识idlabels，超像素个数num_pixels。优选的，所述计算邻接矩阵的具体的算法实现如下：其中，i,j分别是代表超像素图块序号；邻接矩阵e中每个元数e(i,j)满足如下函数关系：其中，超像素图块自身与自身之间的关系定义为相邻。优选的，所述计算相似度矩阵的步骤是根据邻接矩阵中超像素图块的相邻关系计算两个超像素的相似度，当相似度必须大于一定阈值时将相应元数值置1，否则置为0，具体的算法实现如下：(1)从cielab色彩空间转换为lθm色彩空间θ′＝atan2(b，a)θ′∈(-π，π](公式3-1)l＝ll∈[0，100](2)相似度计算其中，lth,θth,mth,lth0,θth0分别为lθm色彩空间中三个分量的阈值，mcth为以模长分量区分彩色和黑白颜色空间的阈值，通常取值为小于等于2，li,lj,θi,θj,mi,mj分别为超像素图块i，j在lθm色彩空间中的均值；w(i,j)表示为两个超像素图块的相似度，其中取值为1则为相似，取值为0则为不相似。优选的，所述聚类的步骤是利用相似度w(i,j)生成相似度矩阵w，w即为聚类关系图。优选的，所述基于相似度矩阵w完成聚类的具体的算法实现包括：将相似度矩阵w转换为三角矩阵的步骤，相似度矩阵三角矩阵，将左下角全部置零，优选的，所述基于相似度矩阵w完成聚类的具体的算法实现包括：完成聚类的步骤，对三角矩阵执行聚类算法第一步：从矩阵的第n行n列开始，搜索所有n列上为1的数组，如果第n列上为1的数组只有第n行，则a(n，n)＝1，否则a(n，n)＝0。公式如下：如果a(n，n)＝0则对这些数组按照“行降序”的顺序将其各列(1、2、3……n)进行逻辑或运算，并将结果赋值给n列中行号最小的非零数组[0,0,……a(imin,imin),……,a(imin,n-1),a(imin,n)]中；列的非零项或运算算法如下：a(imin,n)＝a(imin,n)∪...∪a(n,n)a(imin,n-1)＝a(imin,n-1)∪...∪a(n,n-1)…………………………………………a(imin,imin)＝a(imin,imin)∪...∪a(n,imin)赋值运算：a(n，n)＝0本次运算结束；第二步：从矩阵的第n-1行n-1列开始，搜索所有n-1列上为1的数组，如果第n-1列上为1的数组只有第n-1行，则a(n-1，n-1)＝1否则a(n-1，n-1)＝0公式如下：如果a(n-1，n-1)＝0则对这些数组按照“行降序”的顺序将其各列(1、2、3……n-1)进行逻辑或运算，并将结果赋值给n-1列中行号最小的非零数组[0,0,……a(imin,imin),……,a(imin,n-1),a(imin,n)]中；列的非零项或运算算法如下：a(imin,jn)＝a(imin,jn)∪...∪a(n,jn)a(imin,jn-1)＝a(imin,jn-1)∪...∪a(n,jn-1)…………………………………………a(imin,imin)＝a(imin,jmin)∪...∪a(n,imin)赋值运算：a(n-1，n～n-1)＝0，本次运算结束；第三步：以此类推，从矩阵的第i行i列开始，搜索所有i列上为1的数组，如果第i列上为1的数组只有第i行，则a(i，i)＝1否则a(i，i)＝0公式如下：如果a(i，i)＝0则对这些数组按照“行降序”的顺序将其各列(1、2、3……n)进行逻辑或运算，并将结果赋值给i列中行号最小的非零数组[0,0,……a(imin,imin),……,a(imin,n-1),a(imin,n)]中；列中的非零项或运算算法如下：a(imin,jn)＝a(imin,jn)∪...∪a(n,jn)a(imin,jn-1)＝a(imin,jn-1)∪...∪a(n,jn-1)…………………………………………a(imin,imin)＝a(imin,jmin)∪...∪a(n,imin)赋值运算：a(i，n～n-i)＝0，本次运算结束；第四步：根据以上的算法将三角矩阵的每一行都遍历一遍，将得到如下类似矩阵：则矩阵中所有非零的行数组即为聚类图块的数组。由于采用上述方案，本发明的有益效果是：本发明是一种采用全新理念的图像聚类方法，有别于任何传统的图像聚类方法，本发明是模拟人眼对物件识别的过程的聚类方法，首先通过对图像进行超像素图块的分割，提取各个超像素图块中的超像素中心属性，接着计算反映各个超像素图块之间相邻关系的邻接矩阵，然后根据邻接矩阵计算反映相邻超像素图块之间的超像素的相似程度的相似度矩阵，最后根据相似度矩阵对超像素图块完成聚类。本发明方法与传统的谱聚类、直方图聚类方法的运算性能的比较如下：计算机的配置：cpu+gpu其中：cpu型号i5＝4590主频：3.3ghz；gpu的cuda核心数2880主频705mhz。运算图像的分辨率为：1920×1080不同图像聚类方法的运算性能的比较：聚类方法名称迭次数运算时间(单位：秒)谱聚类5180直方图560新型类谱聚类(本专利)10.05由上述对比表格可知，本发明方法在运算性能上，明显优于传统的谱聚类、直方图聚类方法。因此通过本发明的技术方案，可以提高对图像聚类计算的运算速度，从而优化图像聚类技术在视觉导航、目标测量、目标追踪与定位等领域的应用。附图说明图1～图3是本发明第一个实施例：对包含人脸场景图像的聚类处理。图4～图6是本发明的第二个实施例：对道路场景图像的聚类处理。图7～图9是本发明的第三个实施例：对室内场景图像的聚类处理。图10～图12是本发明的第四个实施例：对室外场景图像一的聚类处理。图13～图15是本发明的第五个实施例：对室外场景图像二的聚类处理。具体实施方式下面将结合示意图对本发明的具体实施方式进行更详细的描述。根据下列描述，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。本发明的算法具体步骤如下：步骤一、重算聚类中心seed。这一步骤是对图像中的每个像素加标签的一个过程，该过程使得具有相同标签的像素具有某种共同视觉特性。超像素分割的结果是图像上子区域的集合，这些子区域的全体覆盖了整个图像，或是从图像中提取的轮廓线的集合，例如边缘检测。一个超像素图块中的每个像素在某种特性的度量下或是由计算得出的特性都是相似的，例如颜色、亮度、纹理。邻接区域在某种特性的度量下有很大的不同。在计算机视觉领域，超像素被广泛应用于图像分割与理解的初始阶段，使用超像素可以有效减少图像局部信息的冗余，使图像处理复杂度降低。像素并不是人类视觉的着重点。因为人类获得图像是从许多的像素点的组合的一个区域而来的，单一的某个像素点并不什么实际意义，只有组合在一起对人类而言才有意义。因而在这种情形下有了“超像素”的概念。所谓超像素，即在图像中由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域，这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。所以，以超像素代替原来的像素点作为图的节点进行图像分割可以大大减小图像处理的规模，带来计算上的优势。本发明中定义超像素中心属性如下：代码实现如下：上述代码仅作为参考。步骤二、计算邻接矩阵e。本发明的这一步骤考虑到，由于在对超像素图块的聚类中，只需考虑邻接的超像素图块之间相互聚类，而对于不相邻的超像素图块无需进行计算，所以我们首先给出邻接矩阵e，这一步骤计算邻接矩阵是为后续的相似度聚类服务的。本发明采用并行计算：(注：i,j分别是代表超像素图块序号)邻接矩阵e中每个元数e(i,j)满足如下函数关系：(注：超像素图块自身与自身之间的关系定义为相邻)步骤三、相似度矩阵w相似度量用于比较图像的一个函数。图像与图像之间或者图像的一部分之间的相似度是计算机视觉领域底层十分重要的问题。对于我们提出的图像聚类算法而言，相似度起着决定性的关键作用，不同的相似度量方式会导致截然不同的聚类效果。本发明这一步骤的算法思想是根据邻接矩阵e中超像素图块的相邻关系计算两个超像素的相似度，当相似度必须大于一定阈值时将相应元数值置1，否则置为0，具体的算法实现如下。(注：算法可以根据场景的不同而改变为不同的参数和公式)计算公式如下：首先是色彩空间的变换，即从cielab空间转换为lθm空间。这一步骤有效的模拟了人类对不同色彩饱和度条件下对基于物体表面颜色和亮度的识别方式的转换，实现的对场景图像中不同色彩饱和度物体的有效聚类，提高了图像的聚类效果和抗干扰能力，对图像聚类分割的降维效果明显，可有效提高图像分析的效率和准确度。此色彩空间具体可参见申请人的公开号为cn104063707a、专利号为zl201410334974.3的中国专利申请文件《基于人类视觉多尺度感知特性的彩色图像聚类分割方法》上所述的色彩空间。θ′＝atan2(b，a)θ′∈(-π，π](公式3-1)l＝ll∈[0，100]代码实现如下：然后是，相似度计算其中lth,θth,mth,lth0,θth0分别为lθm色彩空间中三个分量的阈值，mcth为以模长分量区分彩色和黑白颜色空间的阈值，通常取值为小于等于2，li,lj,θi,θj,mi,mj分别为超像素图块i，j在lθm色彩空间中的均值。w(i,j)表示为两个超像素图块的相似度，其中取值为1则为相似，取值为0则为不相似。步骤四、聚类本步骤的算法是利用相似度w(i,j)生成相似度矩阵w(w即为聚类关系图)；基于相似度矩阵w完成聚类的算法步骤如下：首先，相似度矩阵w转换为三角矩阵相似度矩阵三角矩阵(将左下角全部置零)然后，完成聚类对三角矩阵执行聚类算法第一步：从矩阵的第n行n列开始，搜索所有n列上为1的数组，如果第n列上为1的数组只有第n行，则a(n，n)＝1，否则a(n，n)＝0。公式如下：如果a(n，n)＝0则对这些数组按照“行降序”的顺序将其各列(1、2、3……n)进行逻辑或运算，并将结果赋值给n列中行号最小的非零数组[0,0,……a(imin,imin),……,a(imin,n-1),a(imin,n)]中。列的非零项或运算算法如下：a(imin,n)＝a(imin,n)∪...∪a(n,n)a(imin,n-1)＝a(imin,n-1)∪...∪a(n,n-1)…………………………………………a(imin,imin)＝a(imin,imin)∪...∪a(n,imin)赋值运算：a(n，n)＝0本次运算结束。第二步：从矩阵的第n-1行n-1列开始，搜索所有n-1列上为1的数组，如果第n-1列上为1的数组只有第n-1行，则a(n-1，n-1)＝1否则a(n-1，n-1)＝0公式如下：如果a(n-1，n-1)＝0则对这些数组按照“行降序”的顺序将其各列(1、2、3……n-1)进行逻辑或运算，并将结果赋值给n-1列中行号最小的非零数组[0,0,……a(imin,imin),……,a(imin,n-1),a(imin,n)]中。列的非零项或运算算法如下：a(imin,jn)＝a(imin,jn)∪...∪a(n,jn)a(imin,jn-1)＝a(imin,jn-1)∪...∪a(n,jn-1)…………………………………………a(imin,imin)＝a(imin,jmin)∪...∪a(n,imin)赋值运算：a(n-1，n～n-1)＝0，本次运算结束。第三步：以此类推，从矩阵的第i行i列开始，搜索所有i列上为1的数组，如果第i列上为1的数组只有第i行，则a(i，i)＝1否则a(i，i)＝0公式如下：如果a(i，i)＝0则对这些数组按照“行降序”的顺序将其各列(1、2、3……n)进行逻辑或运算，并将结果赋值给i列中行号最小的非零数组[0,0,……a(imin,imin),……,a(imin,n-1),a(imin,n)]中。列中的非零项或运算算法如下：a(imin,jn)＝a(imin,jn)∪...∪a(n,jn)a(imin,jn-1)＝a(imin,jn-1)∪...∪a(n,jn-1)…………………………………………a(imin,imin)＝a(imin,jmin)∪...∪a(n,imin)赋值运算：a(i，n～n-i)＝0，本次运算结束。第四步：根据以上的算法将三角矩阵的每一行都遍历一遍，将得到如下类似矩阵：则矩阵中所有非零的行数组即为聚类图块的数组。以下通过几个实施例对本发明的计算过程以及聚类效果进行验证。实施例一本实施例展示了采用本发明的上述方法对一幅包含人脸场景的图像的聚类处理。图1为该场景的原始图像。图2为聚类前的超像素块图像，此步骤对图像进行了超像素图块的分割并提取了各个超像素图块中的超像素中心属性。图3为聚类完成后的图像，此步骤根据相邻矩阵、相似度矩阵完成了对超像素图块的聚类。从图3可知，采用本发明的聚类算法的，对此类场景图像的聚类效果十分理想，达到了可机器识别的程度。实施例二本实施例展示了采用本发明的上述方法对一幅道路场景的图像的聚类处理。图4为该道路场景的原始图像。图5为聚类前的超像素块图像，此步骤对图像进行了超像素图块的分割并提取了各个超像素图块中的超像素中心属性。图6为聚类完成后的图像，此步骤根据相邻矩阵、相似度矩阵完成了对超像素图块的聚类。从图6可知，采用本发明的聚类算法的，对此类场景图像的聚类效果十分理想，达到了可机器识别的程度。实施例三本实施例展示了采用本发明的上述方法对一幅室内场景的图像的聚类处理。图7为该室内场景的原始图像。图8为聚类前的超像素块图像，此步骤对图像进行了超像素图块的分割并提取了各个超像素图块中的超像素中心属性。图9为聚类完成后的图像，此步骤根据相邻矩阵、相似度矩阵完成了对超像素图块的聚类。从图9可知，采用本发明的聚类算法的，对此类场景图像的聚类效果十分理想，达到了可机器识别的程度。实施例四本实施例展示了采用本发明的上述方法对一幅室外场景的图像的聚类处理。图10为该室外场景的原始图像。图11为聚类前的超像素块图像，此步骤对图像进行了超像素图块的分割并提取了各个超像素图块中的超像素中心属性。图12为聚类完成后的图像，此步骤根据相邻矩阵、相似度矩阵完成了对超像素图块的聚类。从图12可知，采用本发明的聚类算法的，对此类场景图像的聚类效果十分理想，达到了可机器识别的程度。实施例五本实施例展示了采用本发明的上述方法对另外一幅室外场景的图像的聚类处理。图13为该室外场景的原始图像。图14为聚类前的超像素块图像，此步骤对图像进行了超像素图块的分割并提取了各个超像素图块中的超像素中心属性。图15为聚类完成后的图像，此步骤根据相邻矩阵、相似度矩阵完成了对超像素图块的聚类。从图15可知，采用本发明的聚类算法的，对此类场景图像的聚类效果十分理想，达到了可机器识别的程度。上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属
技术领域：
的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。当前第1页12