基于角点特征的图像多目标检测方法及装置的制造方法
【专利摘要】本发明提出了一种基于角点特征的图像多目标检测方法及装置，通过对纤类图像所蕴含的角点、骨架和曲率序列等自然特征进行分析和抽象，研究该类图像可用于计算机理解和高压缩比传输的结构化表示方法；利用角点和骨架特征来描述非规则目标区域，也可推广到涉及图像目标区域探测的其它应用场景，也有利于使得混纺纤维的种类识别朝智能化、自动化方向发展。本发明拟以光学显微镜放大图像为对象探索适合边缘线灰度模糊特征的盲复原算法，以图像局部特征相关的角点检测和提取为目标，研究结构特征层次化表示和基于空间邻域相关性的结构化描述方法，以期形成若干创新突破，为解决图像纹理提取和特征表示问题提供有效技术途径。
【专利说明】
基于角点特征的图像多目标检测方法及装置
技术领域
[0001] 本发明属于图像识别技术领域，具体涉及一种基于角点特征的图像多目标检测方 法及装置。
【背景技术】
[0002] 复杂多因素干扰下的图像多目标提取和有效表达具有广泛的应用背景和重要科 学意义。在多种图像目标的提取和表达方法中，局部特征描述侧重于将全部局域描述子联 合起来实现对图像的最终表达。角点就是描述图像局部目标的重要特征。通常的角点检测 方法包括:基于边缘轮廓的方法、基于图像灰度梯度的方法和基于参数模型的方法。
[0003] 除了角点，非规则形状的纤维图像特征描述还可以借助于骨架来辅助描述，这样 可避免某重叠区域角点较多时造成的分离混乱，这是因为连通域对单个分离实体的标记有 效，但对于重叠纤维图像则常常会无法判断。图像骨架包含了图像特征的有效数字化信息， 能够对图像基本特征进行有效描述，用于重叠纤维中各个个体的标示或分立则需要做较深 入的算法设计。
[0004] 和常规的规则图形轮廓提取不同的是，复杂重叠图像目标如纤类图像中的纤维图 形呈现多样化，单根纤维有一定的弯曲扭转，多根纤维则可能重叠，图形存在多个交叉点和 起伏，需要采集较多的细节特征来描述。主要关键问题如下：
[0005] (1)图像中复杂重叠目标区域的边缘处理和特征点检测问题：
[0006] 常规的图像边缘提取一般采用形态学方法，利用图像膨胀和填充来获取轮廓，但 往往造成图像实际面积的变化和失真，结合Canny算法和多通道滤波可以得到更好的轮廓 提取效果，但仍会给后续纤维参数测量带来一定的失真;对于交叉或重叠纤类图像，获取轮 廓图形中的关键角点是解决问题的关键，采用像素点曲率、椭圆支撑区域法可删除一些伪 点，但在不规则的纤维图形处理中，还需结合一些创新性处理方案。
[0007] (2)多目标区域重叠时的标记问题：
[0008] 利用光学放大镜得到的图像中往往包含多个纤维个体，把这些纤维的个体依次标 识和统计，具有非常重要的实际意义。目前的图形分离和标识技术一般采用"连通域"算法， 该算法对于图像中分离的个体有效，但不适合相互重叠的纤维个体。
[0009] (3)基于角点相关性的结构化表征问题：
[0010] 目前对于纤类图像尚缺乏系统的结构化表达方法论述，研究目标主要集中在纤维 分离和直径的测量。纤类图像作为众多图像成员中的特殊一类，由于纤维本身的柔软特性， 往往导致多个纤维重叠和分离困难，给单根纤维的特征提取带来困难，难以采用传统的数 学建模来实现精确描述。在既往研究中，发现采用区域边缘像素统计法存在准确性不足的 问题。
【发明内容】
[0011] 为解决现有技术中存在的问题，本发明提出了一种基于角点特征的目标检测方 法，以实现检测自动化，代替目前的低效的人工操作，提高对图像中纤维目标识别的准确 率。
[0012] 本发明具体通过如下技术方案实现：
[0013] -种基于角点特征的目标检测方法，所述方法包括以下步骤：
[0014] S1:采集纤类复杂重叠图像；
[0015] S2:对复杂重叠图像进行预处理、角点检测；
[0016] S3:基于角点和骨架知识的特征提取及表征；
[0017] S4:复杂重叠图像的结构化特征建模；
[0018] S5:纤维目标识别；其中，
[0019]所述步骤S2中的图像预处理过程包括:图像的二值化_>图像滤波_>图像重构_>图 像增强，所述图像滤波包括图像形态学处理和边缘平滑；
[0020] 所述步骤S3具体为获取图像的角点序列和骨架描述，角点包括交叉点和其它角 点，利用骨架提取法对多个重叠目标中的单个个体进行标注，但骨架提取中交叉点和端点 之间会出现多个线段，一般公共线段出现在交叉区域，需要将其删除;但重叠纤维较多的时 候会出现"伪公共线段"，此时需要借助于智能识别算法来进行标注;把每幅图像看作一个 集合F，则重叠纤维图形的每根纤维的边缘轮廓曲线对应一个子集合F 1，它包含一系列的相 似点；对重叠纤维图像集FiiF^F2，···，FM}，利用聚类算法对轮廓图像进行分类，找到各像 素点F所属纤维集F 1，对各纤维个体进行标识；
[0021] 所述步骤S4具体为：以纤类图像的局部特征作为基本图像描述特征，进而以局部 特征之间的尺度相关性和空间相关性为依据，实现对图像结构的表达。
[0022] 进一步地，所述步骤S2中，利用基于空域卷积核模版的多通道滤波器组来对图像 的复杂背景噪声进行多尺度多方向抑制。
[0023]进一步地，所述步骤S2中图像形态学处理采用基于光斑扩散模型的图像轮廓探测 算法来实现:搜索目标个体的光斑、扩散光斑到边缘轮廓、记忆轮廓;光斑扩散的实质是通 过搜索闭环域来得到纤维图像的边缘轮廓，为了避免边缘过度膨胀，该算法法也常结合 Sobel、Canny或Roberts算子来改善边缘提取效果。
[0024]进一步地，所述步骤S2中图像形态学处理采用B样条曲面拟合得到纤维图像的背 景，然后将原始纤维图像减去背景得到目标图像，达到去除图像背景和解决光照不均的目 的;再对目标图像进行全局二值化，对二值化图像进行填充处理，标记二值化图像中的各对 象，根据对象所含像素个数的数量进行去噪，得到准确的目标纤维图像。
[0025]进一步地，所述步骤S2中角点的提取基于像素点曲率，统计出曲率由小变大，或者 由大变小的点作为候选拐点，为候选拐点建立椭圆支撑区域，利用支撑区域对该拐点进行 判断。
[0026]进一步地，所述步骤S4具体为:给定局部特征集合F= {fi}，fi=(pi，Vi，i，Si)，其中 口1、^、1和81分别为特征的位置、表观描述子、主方向和尺度值，那么层次化图像结构表达模 型定义如下，
[0027] M= { {vi}，{Rspatial}，{Rscale} } 〇
[0028] 该模型由三个部分组成，表观信息部分{Vl}、特征之间的空间相关关系{Rspatlal：^P 尺度相关关系而后两者可以采用以空间和尺度因素为基础所定义的层次关联关 系。
[0029] 本发明还提出了一种基于角点特征的目标检测装置，其特征在于:所述装置包括： 用于采集纤类复杂重叠图像的模块;用于对复杂重叠图像进行预处理、角点检测的模块;用 于基于角点和骨架知识的特征提取及表征的模块;用于复杂重叠图像的结构化特征建模的 模块;用于纤维目标识别的模块;其中，
[0030] 所述图像预处理过程包括：图像的二值化-> 图像滤波-> 图像重构-> 图像增强，所 述图像滤波包括图像形态学处理和边缘平滑；
[0031] 所述用于基于角点和骨架知识的特征提取及表征的模块获取图像的角点序列和 骨架描述，角点包括交叉点和其它角点，利用骨架提取法对多个重叠目标中的单个个体进 行标注，但骨架提取中交叉点和端点之间会出现多个线段，一般公共线段出现在交叉区域， 需要将其删除；但重叠纤维较多的时候会出现"伪公共线段"，此时需要借助于智能识别算 法来进行标注;把每幅图像看作一个集合F，则重叠纤维图形的每根纤维的边缘轮廓曲线对 应一个子集合F 1，它包含一系列的相似点；对重叠纤维图像集FMF1，，···，FM}，利用聚类 算法对轮廓图像进行分类，找到各像素点F所属纤维集F 1，对各纤维个体进行标识；
[0032] 所述用于复杂重叠图像的结构化特征建模的模块以纤类图像的局部特征作为基 本图像描述特征，进而以局部特征之间的尺度相关性和空间相关性为依据，实现对图像结 构的表达。
[0033] 本发明的有益效果是:本发明通过对纤类图像所蕴含的角点、骨架和曲率序列等 自然特征进行分析和抽象，研究该类图像可用于计算机理解和高压缩比传输的结构化表示 方法;利用角点和骨架特征来描述非规则目标区域，也可推广到涉及图像目标区域探测的 其它应用场景，也有利于使得混纺纤维的种类识别朝智能化、自动化方向发展。本发明拟以 光学显微镜放大图像为对象探索适合边缘线灰度模糊特征的盲复原算法，以图像局部特征 相关的角点检测和提取为目标，研究结构特征层次化表示和基于空间邻域相关性的结构化 描述方法，以期形成若干创新突破，为解决图像纹理提取和特征表示问题提供有效技术途 径。
【附图说明】
[0034]图1是光学显微镜下的棉麻纤维；
[0035]图2是基于光斑扩散模型的图像轮廓探测流程图。
【具体实施方式】
[0036]下面结合【附图说明】及【具体实施方式】对本发明进一步说明。
[0037] 1)复杂重叠图像的预处理和角点检测
[0038]棉麻或羊绒羊毛纤维由于自身的物理特性，在制样过程中会出现纤维图像灰度不 均匀、纤维重叠、形状扭曲等一系列问题，如附图1所示，这些重叠、扭曲的异形纤维对精确 定位和参数提取产生不利的影响。
[0039]图像预处理过程包括：图像的二值化_>图像滤波(平滑处理)_>图像重构_>图像增 强。其中图像形态学处理和边缘平滑是本发明研究的重点。
[0040]图像背景噪声抑制和形态学处理
[0041] 光学显微镜获取的纤类图像常常出现目标区域和背景图像对比度低、无明显边 缘，因此背景信息的存在会对目标区域的分割及特征提取造成严重干扰，本发明设计了基 于空域卷积核模版的多通道滤波器组来对图像的复杂背景噪声进行多尺度多方向抑制。
[0042] 除了二值化处理过程，为了获取图像的轮廓，数学形态学被用于灰度图像领域，可 以利用结构元的灰度信息去获得目标的灰度分布特征，主要运算包括腐蚀、膨胀、开运算和 闭运算，这样可以改善图像边缘模糊化的问题。数学形态学中的开运算常常用来去除细小 的物体(如噪音、毛刺、棱角等），增大目标间的空隙，同时保持大的物体基本外形不变;闭运 算则用来填补物体内部和物体之间的孔洞或缝隙，而保持物体的基本外形不变。上述方法 的不足是膨胀过程导致图形面积增大，导致后续拐点提取和参数测量有误差。
[0043]对于图像的形态学处理，本发明设计了两种算法来实现：
[0044]方法之一是考虑光斑扩散模型，使计算机模拟人眼对截面图像中的纤维个体进行 轮廓探测，基本步骤为如附图2所示。光斑扩散的实质是通过搜索闭环域来得到纤维图像的 边缘轮廓，为了避免边缘过度膨胀，该方法也常结合Sobel、Canny或Roberts算子来改善边 缘提取效果，但国内外研究和发明人的前期研究发现，这种处理有时也会导致纤维粘连处 容易过度膨胀使原有凹点特征消失，以及效果图出现虚假边界和双边缘现象。结果在实际 应用于异形纤维显微图像，提取纤维截面轮廓时失效。这将对后续的纤维几何特征分析和 计算带来很大误差。
[0045]方法之二是采用B样条曲面拟合得到纤维图像的背景，然后将原始纤维图像减去 背景得到目标图像，达到去除图像背景和解决光照不均的目的。再对目标图像进行全局二 值化，对二值化图像进行填充处理，标记二值化图像中的各对象，根据对象所含像素个数的 数量进行去噪。得到准确的目标纤维图像。部分重叠形纤维处理结果表明，该方法比原来的 图像预处理得到的纤维图像轮廓尤其是交叉、粘连处更加清晰，成功解决了图像交叉、粘连 处失真的问题。下一步将考虑该创新算法的通用化，使之应用于更多形状的重叠复杂纤维 的处理。
[0046] 目标区域的角点检测
[0047] 形态学处理后的图像包含有多个拐点（角点），它们是反映图像特征的关键因素， 但是图像中也可能存在一些"毛刺"，给后续拐点提取带来干扰，因此需要对图像进行滤波 处理，消除一些不必要细节。
[0048] 图像中角点的提取基于像素点曲率，统计出曲率由小变大，或者由大变小的点作 为候选拐点。但是这种轮廓图像中往往存在"伪拐点"，本发明为候选拐点建立椭圆支撑区 域，利用支撑区域对该拐点进行判断。实验表明，当支撑区域包含的像素点较多时，判断结 果就越接近真实。进一步的研究需要对非规则纤维图像的拐点进行智能判决，需要对现有 丰旲型进一步完善。
[0049] 2)基于角点和骨架知识的特征提取及表征方法
[0050] 获取图像的角点序列和骨架描述，进而研究图像目标特征点提取方法，包括：
[0051 ]图像交叉角点提取和公共线段标识
[0052]纤类图中重叠轮廓图中会出现较多交叉点，但是这些交叉点和其它角点并列。如 何消除其它角点的影响，提取出这些交叉点，有利于对纤维个体进行分离并进行下一步的 关键参数测量。
[0053]研究骨架提取法来对多个重叠目标中的单个个体进行标注。但骨架提取中交叉点 和端点之间会出现多个线段，一般公共线段出现在交叉区域，需要将其删除;但重叠纤维较 多的时候也会出现一些"伪公共线段"，此时需要借助于智能识别算法来进行标注。
[0054]基于链码的角点序列描述
[0055]把每幅图像看作一个集合F，则重叠纤维图形的每根纤维的边缘轮廓曲线对应一 个子集合?1，它包含一系列的相似点。
[0056] 对重叠纤维图像集:FziF1，^，···^，，
[0057]聚类算法的实质是把轮廓图像进行分类，找到各像素点F所属纤维集F1，对各纤维 个体进行标识。
[0058]由于同一F1中的各像素点F在一定范围内曲率大致接近，本发明尝试利用骨架提 取结合像素点曲率，可以对各点进行归属判决。
[0059] 适合于非规则纤类图像的特征参数检测和表征方法
[0060] 混纺纤维的识别和分类有众多研究，提取特征值仍是目前最有效的手段。从现有 研究成果来看，纤维直径变异系数、纤维骨架方向变化率、纤维片段不匀选择都是有效识别 棉麻纤维的特征，但是棉麻重叠可能导致图形交叉和扭曲异形，给常规的参数检测带来干 扰。
[0061] 通过探索纤类图像的基本纹理元，借鉴现有图像局部特征结构化表示方案，选择 合适的数学表达方式，可以根据它们的这一特性进行波动分析，首先实现对纤类图像不同 目标的结构化描述。
[0062] 3)复杂重叠图像的结构化特征建模研究
[0063] 本发明采用纤类图像的局部特征作为基本图像描述特征，进而以局部特征之间的 尺度相关性和空间相关性为依据，实现对图像结构的表达。
[0064]形式化地，给定局部特征集合F= {fi}，fi=(pi，Vi，i，Si)，其中pi、Vi、i和Si分别为 特征的位置、表观描述子、主方向和尺度值，那么层次化图像结构表达模型定义如下，
[0065] M= { {vi}，{Rspatial}，{Rscale} } 〇
[0066] 该模型由三个部分组成，表观信息部分{Vl}、特征之间的空间相关关系{匕_131}和 尺度相关关系{Rscale}。而后两者可以采用以空间和尺度因素为基础所定义的层次关联关 系。
[0067] 基于上述模型，对具体的基于空间和尺度因素的层次关联关系进行定义，则可以 获得层次化的图像结构特征表达方法，实现对图像信息的多层次表达和刻画。
[0068] 综上所述，本发明从基础理论研究、关键算法设计和实际应用场景检验三个方面 开展项目关键技术研究。其中，基础理论方面主要在图像理解、图像角点/骨架特征、纹理特 征及其稀疏表示的基础上，进一步研究知识域与数据域协同方法，以及图像认知与数学计 算模型;关键算法设计主要在现有角点和骨架检测理论基础上，进一步优化曲率检测函数， 探索纤类非规则目标区域特征检测的核心算法优化和设计实现问题;应用场景检验主要基 于实际采集的图像搭建演示验证系统，实现核心算法性能的测试验证。
[0069] 以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定 本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在 不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的 保护范围。
【主权项】
1. 一种基于角点特征的目标检测方法，其特征在于，所述方法包括W下步骤： S1:采集纤类复杂重叠图像； S2:对复杂重叠图像进行预处理、角点检测； S3:基于角点和骨架知识的特征提取及表征； S4:复杂重叠图像的结构化特征建模； S5:纤维目标识别;其中， 所述步骤S2中的图像预处理过程包括：图像的二值化-〉图像滤波-〉图像重构-〉图像增 强，所述图像滤波包括图像形态学处理和边缘平滑； 所述步骤S3具体为获取图像的角点序列和骨架描述，角点包括交叉点和其它角点，利 用骨架提取法对多个重叠目标中的单个个体进行标注，但骨架提取中交叉点和端点之间会 出现多个线段，一般公共线段出现在交叉区域，需要将其删除;但重叠纤维较多的时候会出 现"伪公共线段"，此时需要借助于智能识别算法来进行标注;把每幅图像看作一个集合F， 则重叠纤维图形的每根纤维的边缘轮廓曲线对应一个子集合FS它包含一系列的相似点； 对重叠纤维图像集。={。1，护，一，。》}，利用聚类算法对轮廓图像进行分类，找到各像素点护 所属纤维集P，对各纤维个体进行标识； 所述步骤S4W纤类图像的局部特征作为基本图像描述特征，进而W局部特征之间的尺 度相关性和空间相关性为依据，实现对图像结构的表达。2. 根据权利要求1所述的方法，其特征在于:所述步骤S2中，利用基于空域卷积核模版 的多通道滤波器组来对图像的复杂背景噪声进行多尺度多方向抑制。3. 根据权利要求1所述的方法，其特征在于:所述步骤S2中图像形态学处理采用基于光 斑扩散模型的图像轮廓探测算法来实现:捜索目标个体的光斑、扩散光斑到边缘轮廓、记忆 轮廓;光斑扩散的实质是通过捜索闭环域来得到纤维图像的边缘轮廓，为了避免边缘过度 膨胀，该算法法也常结合Sobel、&nny或Roberts算子来改善边缘提取效果。4. 根据权利要求1所述的方法，其特征在于:所述步骤S2中图像形态学处理采用B样条 曲面拟合得到纤维图像的背景，然后将原始纤维图像减去背景得到目标图像，达到去除图 像背景和解决光照不均的目的；再对目标图像进行全局二值化，对二值化图像进行填充处 理，标记二值化图像中的各对象，根据对象所含像素个数的数量进行去噪，得到准确的目标 纤维图像。5. 根据权利要求1所述的方法，其特征在于：所述步骤S2中角点的提取基于像素点曲 率，统计出曲率由小变大，或者由大变小的点作为候选拐点，为候选拐点建立楠圆支撑区 域，利用支撑区域对该拐点进行判断。6. 根据权利要求1所述的方法，其特征在于:所述步骤S4具体为:给定局部特征集合F = {fi}，/;二(/;,，V',， ，，.V,)，痒中pi、vi、!'和Si分别为特征的位置、表观描述子、主方向和尺度 值，那么层次化图像结构表达模型定义如下， Μ二{ {vi} , {Rspatial} , {Rscale} }。 该模型由Ξ个部分组成，表观信息部分{Vi}、特征之间的空间相关关系{Rspatial}和尺度 相关关系{Rssale};而后两者可W采用W空间和尺度因素为基础所定义的层次关联关系。 7 . -种基于角点特征的目标检测装置，其特征在于:所述装置包括： 用于采集纤类复杂重叠图像的模块； 用于对复杂重叠图像进行预处理、角点检测的模块； 用于基于角点和骨架知识的特征提取及表征的模块； 用于复杂重叠图像的结构化特征建模的模块； 用于纤维目标识别的模块;其中， 所述图像预处理过程包括：图像的二值化-〉图像滤波-〉图像重构-〉图像增强，所述图 像滤波包括图像形态学处理和边缘平滑； 所述用于基于角点和骨架知识的特征提取及表征的模块获取图像的角点序列和骨架 描述，角点包括交叉点和其它角点，利用骨架提取法对多个重叠目标中的单个个体进行标 注，但骨架提取中交叉点和端点之间会出现多个线段，一般公共线段出现在交叉区域，需要 将其删除；但重叠纤维较多的时候会出现"伪公共线段"，此时需要借助于智能识别算法来 进行标注;把每幅图像看作一个集合F，则重叠纤维图形的每根纤维的边缘轮廓曲线对应一 个子集合F1，它包含一系列的相似点；对重叠纤维图像集F={Fl，F2，…，FM}，利用聚类算法 对轮廓图像进行分类，找到各像素点F所属纤维集P，对各纤维个体进行标识； 所述用于复杂重叠图像的结构化特征建模的模块W纤类图像的局部特征作为基本图 像描述特征，进而W局部特征之间的尺度相关性和空间相关性为依据，实现对图像结构的 表达。
【文档编号】G06T7/00GK106096613SQ201610380344
【公开日】2016年11月9日
【申请日】2016年5月31日
【发明人】王岢, 张海军, 李旭涛, 叶允明
【申请人】哈尔滨工业大学深圳研究生院