一种水下生物检测方法和系统的制作方法

一种水下生物检测方法和系统的制作方法
【专利摘要】本发明涉及一种水下生物检测方法和系统，包括：采集水下生物的样本图像，对样本图像进行超像素分割，形成多个超像素区域；提取每个超像素区域的第一颜色特征向量和第一纹理特征向量；将第一颜色特征向量和第一纹理特征向量输入到支持向量机SVM中进行学习，构建颜色特征分类器和纹理特征分类器；采集水下生物的待测图像的超像素区域的第二颜色特征向量和第二纹理特征向量；将第二颜色特征向量输入颜色特征分类器，将第二纹理特征向量输入纹理特征分类器，判断待测图像的超像素区域是否为水下生物区域。本发明提供的技术方案，实现了水下生物的检测，解决了现有因为水下环境复杂，检测难度大的问题，以及人工捕捞困难的问题。
【专利说明】
一种水下生物检测方法和系统
技术领域
[0001] 本发明涉及图像处理技术领域，尤其涉及一种水下生物检测方法和系统。
【背景技术】
[0002] 海参属海参纲，水下生物的一种，距今已有六亿多年的历史，海参以海底藻类和浮 游生物为食。海参全身长满肉刺，广布于世界各海洋中。海参生长环境在海底，由于海底存 在许多的礁石，所以无法像捕鱼一样用网捞，目前的捕捞方式主要靠人工。由于海参生长环 境特殊，导致捕捞作业非常复杂，需要作业人员带上氧气罩，潜到海底去捕捞，且长久作业 对人体有一定的害处，所以为了实现海参捕捞自动化迫在眉睫。面向近浅海海参捕捞机器 人的需求，迫切需要解决海参目标的检测问题。
[0003] 由于水下环境的影响，之前曾提出过半自动的海参图像分割工作，首先使用了单 尺度Retinex进行了水下预处理。然而，在处理后的图像中自动检测海参对象，但是该检测 工作仍然是具有挑战性的工作，如图la、图lb、图lc、图Id所示。由于在水下环境中光的散射 和吸收造成的照度不均，以及水中不确定性的悬浮物的存在，使得不同图像中海参和背景 有很大的差异。还有暗阴影隐藏了图像细节，使得分析海参表面特征十分困难。海水中还有 大量的水草、纤维袋、砂石以及小贝壳等各种杂质，生成多种噪点，对海参检测造成干扰。部 分图像中，海参会被水草等遮挡，在此情况下，提取海参的特征具有挑战性。
[0004] 目前，因为计算机视觉技术处理图像的自动化和高效，使得它在各个领域的应用 越来越普及。然而，目前还没有研究海参检测的方法的研究者。计算机视觉检测方法用于 人脸检测、行人检测、农产品检测和显著性检测等多种领域。其中将人脸检测方法分为四 类:基于特征的检测方法、基于外观的检测方法、基于知识的检测方法以及模板匹配方法。 但与人脸有区别的是，海参严重的非刚性，没有固定的形状和姿态，由于光照和个体差异的 影响，每个海参在图像中成像也不同。自2005年Dalai等人提出基于H0G特征的行人检测方 法后，行人检测领域发展十分迅速。然而行人检测方法也有很多缺陷，不能处理前景与背景 颜色相近，而海参的皮肤颜色与海底沙地颜色相近。现有技术中也提出了一种基于固定阈 值的茄子采摘机器人快速目标识别方法，通过实验和统计，发现了茄子果实在生长环境中 和周围的颜色特征。G-B颜色模式是茄子图像分割最适合的，然后通过固定的双边阈值完成 图像分割。农产品分级检测中利用农作物在颜色空间中的显著性，例如以绿叶为背景的茄 子、番茄和草莓在一些颜色空间具有显著性，而海参生长的环境复杂，光照也不均匀，大部 分海参图像在颜色空间中没有显著性，所以不适合海参检测。综上所述，由于海参所生长环 境的复杂性和海参个体的差异性，导致上述方法并不适合于海参检测。

【发明内容】

[0005] 本发明所要解决的技术问题是如何克服水下环境的复杂性和水下生物个体的差 异性，以实现水下生物的准确检测。
[0006] 为此目的，本发明提出了一种水下生物检测方法，所述方法包括:分类器训练阶段 和水下生物检测阶段；
[0007] 所述分类器训练阶段包括：
[0008] 采集水下生物的样本图像，对所述样本图像进行超像素分割，形成多个超像素区 域；
[0009] 提取每个超像素区域的第一颜色特征向量和第一纹理特征向量；
[0010]将所述第一颜色特征向量和第一纹理特征向量输入到支持向量机SVM中进行学 习，构建颜色特征分类器和纹理特征分类器；
[0011] 所述水下生物检测阶段包括：
[0012] 采集水下生物的待测图像，对所述待测图像进行超像素分割，形成多个超像素区 域；
[0013] 提取每个超像素区域的第二颜色特征向量和第二纹理特征向量；
[0014] 将所述第二颜色特征向量输入所述颜色特征分类器，将所述第二纹理特征向量输 入所述纹理特征分类器，判断所述超像素区域是否为水下生物区域。
[0015] 优选的，所述对所述样本图像进行超像素分割具体采用简单线性迭代聚类SLIC方 法对样本图像进行超像素分割。
[0016] 优选的，所述采用简单线性迭代聚类SLIC方法对样本图像进行超像素分割包括：
[0017] 将所述样本图像从RGB颜色空间转换到CIELAB颜色空间，将K个聚类中心Ck均匀的 分布在所述样本图像中，每个聚类中心对应一个超像素质心的初始位置，并引入加权距离 度量 Ds来测量颜色距离与空间距离；
[0018] 根据加权距离度量Ds将图像中每个像素和最近的聚类中心Ck关联起来，形成一个 集群；
[0019] 将一个集群中的所有像素的数组的平均值作为新的初始位置，如此反复迭代直到 所有的聚类中心点收敛到稳定位置。
[0020] 优选的，所述引入加权距离度量Ds来测量颜色距离与空间距离，采用以下公式：
[0024]其中，由所述CIELAB颜色空间的[lab]颜色数组和图像像素的坐标[x，y]组成一 个5维空间，Ds为加权距离度量，dxy为空间距离，dxy由S来归一化处理，S为两个聚类中心之间 的距离，d lab为颜色距离，k代表对应的K个可能的聚类中心的索引，i为给定超像素中心k区 域内的像素，m为用来修正空间距离和颜色距离项的贡献。
[0025]优选的，所述提取每个超像素区域的第一颜色特征向量和第一纹理特征向量，具 体包括：
[0026]提取每个超像素区域的颜色直方图特征，其中，每个超像素区域形成48维的RGB颜 色特征向
[0027]提取每个超像素区域的纹理直方图特征，其中，每个超像素区域形成59维的LBP纹 理特征向量。
[0028]优选的，所述提取每个超像素区域的颜色直方图特征，其中，每个超像素区域形成 48维的RGB颜色特征向量，具体包括：
[0029]将每个超像素区域中的所有像素的R、G、B三个通道分别分为16个灰度级数；
[0030]分别计算每个通道的直方图特征；
[0031]将R、G、B三个通道的所述直方图特征合并为所述超像素区域的具有48个灰度级数 的颜色直方图。
[0032]优选的，提取每个超像素区域的纹理直方图特征，其中，每个超像素区域形成59维 的LBP纹理特征向量，具体包括：
[0033] 计算所述样本图像的均匀LBP值;其中，均匀LBP值被分为58类；
[0034] 根据所述每个超像素区域的位置信息，统计每个均匀LBP值出现的概率，得到每个 维度的纹理直方图；
[0035]将每个维度的纹理直方图进行连接成为一个59维的纹理特征向量。
[0036]优选的，所述将所述第二颜色特征向量输入所述颜色特征分类器，将所述第二纹 理特征向量输入所述纹理特征分类器，判断所述超像素区域是否为水下生物区域，还包 括：
[0037]将所述颜色特征分类器的分类结果和所述纹理特征分类器的分类结果进行或运 算，若运算结果为1，则表示所述超像素区域为水下生物区域，若运算结果为0,则表示所述 超像素区域不是水下生物区域。
[0038]优选的，所述将所述第二颜色特征向量输入所述颜色特征分类器，将所述第二纹 理特征向量输入所述纹理特征分类器，判断所述超像素区域是否为水下生物区域，还包括： [0039]去除代表水下生物区域的单个超像素区域;其中，所述单个超像素区域的周围均 为非水下生物区域；
[0040] 对检测结果的二值图像进行闭运算，以填充水下生物区域内的细小空洞，连接最 为临近的超像素区域，以平滑水下生物的边界。
[0041] 另一方面，本发明还提供了一种水下生物检测系统，所述系统包括：
[0042]超像素分割单元，用于采集水下生物的样本图像，对所述样本图像进行超像素分 害J，形成多个超像素区域；
[0043]特征提取单元，用于提取每个超像素区域的第一颜色特征向量和第一纹理特征向 量；
[0044] 训练单元，用于将所述第一颜色特征向量和第一纹理特征向量输入到支持向量机 SVM中进行学习，构建颜色特征分类器和纹理特征分类器；
[0045] 所述超像素分割单元，还用于采集水下生物的待测图像，对所述待测图像进行超 像素分割，形成多个超像素区域；
[0046] 所述特征提取单元，还用于提取每个超像素区域的第二颜色特征向量和第二纹理 特征向量；
[0047] 检测单元，用于将所述第二颜色特征向量输入所述颜色特征分类器，将所述第二 纹理特征向量输入所述纹理特征分类器，判断所述超像素区域是否为水下生物区域。
[0048] 本发明实施例提供的水下生物检测方法和系统，通过获取样本的图像，对图像进 行超像素分割和特征提取，建立颜色特征模型和纹理特征模型，在后续使用时，只需将待测 图像的颜色特征和纹理特征输入颜色特征模型和纹理特征模型中，就可以确定待测图像的 水下生物的区域，从而实现了水下生物的检测，解决了现有因为水下环境复杂，检测难度大 的问题，以及人工捕捞困难的问题。
【附图说明】
[0049] 通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理 解为对本发明进行任何限制，在附图中：
[0050] 图la、图lb、图lc、图Id为现有水下复杂的环境对海参检测的干扰的示意图；
[0051] 图2为本发明实施例提供的一种水下生物检测方法的流程示意图；
[0052]图3a为水下海参图像的示意图；图3b为图3a中的图像经过SLIC超像素过分割后示 意图；
[0053]图4为一种LBP编码模式的示意图；
[0054]图5为采用本发明进行海参检测的效果示意图；
[0055] 图6为现有技术进行海参检测的效果示意图；
[0056] 图7本发明实施例提供的海参检测方法的详细流程示意图。
【具体实施方式】
[0057] 下面将结合附图对本发明的实施例进行详细描述。
[0058]如图2所示，本发明实施例提供了一种水下生物检测方法，所述方法包括:分类器 训练阶段和水下生物检测阶段；
[0059] 所述分类器训练阶段包括：
[0060] S1:采集水下生物的样本图像，对所述样本图像进行超像素分割，形成多个超像素 区域；
[0061] 需要解释的是，过分割是将具有相似性质的像素组成紧凑和相邻的区域的预处理 技术。超像素主要针对子区域而不是孤立像素的处理，这能明显减少图像的复杂性。定义的 超像素遵循一个原则，那就是超像素的面积应该不大于图像中的有关联的图像的子区域。 例如，图3a为912像素 X 608像素水下图像中的海参，图3b为经过超像素分割后的图像。海参 表面的像素聚集在一起，形成几个超像素区域。然而，并没有获得子区域是属于哪部分的， 只是代表有相同颜色的像素簇。这个原则可以避免像素分组过程中的欠分割错误。过分割 就是由于一些大的超像素包含了过多结果，没有注意图像中的细节。
[0062] 为了对图像进行适当的过分割，必须注意在分裂的过程中保留对象的内部边界及 对象的边界。因此，超像素的大小至关重要，应该根据图像分辨率及图像细节适当选择。在 图3b中，一个超像素区域平均包含大约1600个像素。这种选择提供了一个轮廓图，并能准确 的吻合海参的轮廓、阴影、肉刺、皮肤等。这个超像素大小对这种分辨率图像来说，能够很好 的捕捉海参的细节。通过引入尺寸约束，保证避免了超像素区域超过海参大小和过分割错 误的产生。
[0063]其中，在对样本图像进行超像素分割之前还可以将样本图像进行单尺度Retinex 算法增强，对增强后的图像再进行超像素分割。
[0064]优选的，所述对所述样本图像进行超像素分割具体采用简单线性迭代聚类SLIC (Simple Linear Iterative Clustering)方法对样本图像进行超像素分割。其中，所述采 用简单线性迭代聚类SLIC方法对样本图像进行超像素分割包括以下步骤：
[0065] S101:将所述样本图像从RGB颜色空间转换到CIELAB颜色空间，将K个聚类中心Ck 均匀的分布在所述样本图像中，每个聚类中心对应一个超像素质心的初始位置，并引入加 权距离度量Ds来测量颜色距离与空间距离；
[0066] S102:根据加权距离度量Ds将图像中每个像素和最近的聚类中心Ck关联起来，形 成一个集群；
[0067] S103:将一个集群中的所有像素的数组的平均值作为新的初始位置，如此反复迭 代直到所有的聚类中心点收敛到稳定位置。
[0068] 需要说明的是，SLIC是基于k-means的一种超像素提取方法。SLIC超像素方法计算 成本低，具有高质量的分割，并且使用感性的CIELAB颜色空间，并保证所有超像素的紧致 性。SLIC方法基于颜色相似和图像平面的距离需要对像素进行聚类，运行的时候只需要提 供超像素个数K。假设图像中像素的总数为N，则一个超像素区域的大小则近似为S 2 = N/K。 SLIC的超像素提取方法描述如下:首先将图像从RGB颜色空间转换到CIELAB颜色空间，然后 将K个聚类中心Ck均匀的分布在图像中，每个中心对应一个超像素质心的初始位置。由于所 有的超像素的空间范围大约是S 2,所以假设与这个聚类中心关联的像素在2SX2S区域内。 SLIC方法的关键在于像素如何分别被分配给K个聚类中心。
[0069]为了实现这个目标，优选的，引入加权距离度量Ds来测量颜色距离与空间距离：
[0073] 其中，由所述CIELAB颜色空间的[lab]颜色数组和图像像素的坐标[x，y]组成一个 5维空间，Ds为加权距离度量，d xy为空间距离，dxy由S来归一化处理，S为两个聚类中心之间的 距离，dlab为颜色距离，k代表对应的K个可能的聚类中心的索引，i为给定超像素中心k区域 内的像素，m为用来修正空间距离和颜色距离项的贡献。
[0074] 需要解释的是，由CIELAB颜色空间的[lab]颜色数组和图像像素的坐标[x，y]组成 一个5维空间，空间距离dxy由S来归一化处理，S表两个聚类中心之间的距离，由S来归一化 处理的目的是引入一个上界来限制d xy的最大值并减少dxy的量级来和颜色距离dlab匹配。这 里的k代表对应的K个可能的聚类中心的索引，i指的是给定超像素中心k区域内的像素。在 求距离Ds的公式中m值是用来修正空间距离和颜色距离项的贡献。在聚类期间，m值越小，则 颜色距离所占比例越大。之后根据加权测量距离Ds将图像中每个像素和最近的聚类中心C k 关联起来。然后，将一个集群中的所有像素的[labxy]数组的平均值作为新的中心点。可以 认为是中心点移到图像平面中新的xy位置。这个分配过程被反复迭代进行直到所有的聚类 中心点收敛到稳定位置。
[0075] S2:提取每个超像素区域的第一颜色特征向量和第一纹理特征向量；
[0076]需要说明的是，对所有计算机视觉系统来说，特征表示直观重要，通过特征提取可 以将超像素分割的局部区域分类为水下生物区域和背景区域，如海参区域和背景区域。海 参在水下图像中对人眼来说，显著的特征包括颜色和纹理。给定一幅图像I，包含了一组超 像素 SpK^SPiSP% . . .，SPK}，分别提取它们的RGB颜色直方图特征HCKiIHCiHC% . . .，HCk} 和LBP纹理直方图特征HLk= {HL^HL% . . .，HLk}。
[0077] 优选的，提取每个超像素区域的第一颜色特征向量和第一纹理特征向量，具体包 括:提取每个超像素区域的颜色直方图特征，其中，每个超像素区域形成48维的RGB颜色特 征向量;提取每个超像素区域的纹理直方图特征，其中，每个超像素区域形成59维的LBP纹 理特征向量。下面分别对两种特征表示进行简单描述：
[0078] (l)RGB颜色直方图
[0079]优选的，所述提取每个超像素区域的颜色直方图特征，其中，每个超像素区域形成 48维的RGB颜色特征向量，具体包括：
[0080]将每个超像素区域中的所有像素的R、G、B三个通道分别分为16个灰度级数；
[0081 ]分别计算每个通道的直方图特征；
[0082]将R、G、B三个通道的所述直方图特征合并为所述超像素区域的具有48个灰度级数 的颜色直方图。
[0083]举例来说，针对某个超像素区域SPmeSPK，将超像素区域中的所有像素的RGB颜色 通道进行统计形成RGB颜色直方图。将R、G、B三个通道分别分为16个bin(灰度级数），然后分 别计算每个通道的直方图。例如，针对R通道，
这里的hR(i)是指所有在i区间 的像素总数，|hm|指的是超像素区间像素总数。最后将三个通道合并为超像素区域的具有 48个bin的颜色直方图：HCm=[HCR(l); . ? ? ;HCR(16);HCG(1); ? ? . ;HCG(16);HCB(1); ? ? ? ;HCb (16);]。因此一副图像中的一个超像素区域的颜色特征具有48维。
[0084] (2)Uniform LBP((Uniform Local Binary Patterns，均勾局部二值模式）纹理直 方图
[0085] LBP(Local Binary Pattern)是通过分析评估灰度图像像素值分布的一种统计纹 理特征。LBP被编码为一种模式，用于描述中心像素点c和其周围邻域内像素点p的关系。中 心像素点c的灰度值为g。，周围像素点p灰度值为g P，R代表它们之间的距离，则该中心像素点 c的LBP值为：
[0086] LBPi>r=^s(x)2p (4) .产0. f 1 if x > 0 , _ v
[0087] .、tv)= (5)
[0 if x < 0
[0088] x = gp-gc (6)
[0089] 在中心像素 c的邻域，P个像素排列为顺时针的链表。遍历链表上的像素，计算各自 的阈值函数S(x)，得到结果。将此结果每个数乘以2 P。最后得到该中心像素点c的LBP值，遍 历整个图像的像素点，重复此过程，得到整幅图像的LBP纹理特征值图。如图4所示为一个计 算LBP值的例子，最后得到该中心像素点的LBP值为48。如果只考虑区别的符号，无论灰度尺 度如何单调变换，LBP模式都能保持不变。此外，通过与中心像素点c距离为R的P个像素点可 以生成有^种不同的模式。
[0090] 当图像旋转时，中心像素点c的邻域像素随着参数R发生变化。因此，根据新的像素 位置产生了新的LBP值，然而模式却是保持不变的。为了解决旋转产生的影响，保证每个模 式有且只有一个标识符，引入一种旋转不变LBP(Rotation Invariant Local Binary Pattern)，定义如下：
[0091] LBP^^imnlRORiLBP^J) \ P~l} (7)
[0092] 其中，ROR( LBPp, R，i)是对LBPp,R值进行i次的顺时针移位，通过这种方法，找到它们 之中的最小值，从而实现LBP旋转不变性。例如，假设R = 1，P = 8，由于圆对称，总共有36种独 特的旋转不变的二进制模式。通过对比试验证明，在一幅图像中分布出现的频率差 异较大，不能提供很好的纹理识别。
[0093]因此，本发明使用Uniform LBP模式，Uniform指的是均勾环形结构内包含非常少 的空间变换。优选的，所述提取每个超像素区域的纹理直方图特征，其中，每个超像素区域 形成59维的LBP纹理特征向量，具体包括：
[0094] 计算所述样本图像的Uniform LBP值;其中，Uniform LBP值被分为58类；
[0095]根据所述每个超像素区域的位置信息，统计每个Uniform LBP值出现的概率，得到 每个维度的纹理直方图；
[0096]将每个维度的纹理直方图进行连接成为一个59维的纹理特征向量。
[0097] 具体的，将的改进版本定义如下：
[0098]
[P+1 otherwise, ( g) U(LBPp r) - - gj - s(g() - gc)\
[0099] , I ( 9 ) +z.Kgp-gc)-s(gp-1-gc)| p=i
[0100] 该Uniform LBP的个数是P(P-1)+2，P为邻域像素点个数。对于8个采样点，uniform LBP形式有58种输出。我们定义U(LBPp,r)来记录空间转换的数量，即0-1变化的次数。0-1变 化少于等于两次的二进制码形成的LBP看成是一种uniform LBP,比如说11000011，01变化 次数是两次，就是一种uniform LBP。研究者发现他们计算出来的大部分值都在这58种之 中，可达到90 %以上，所以他们把值分为59类，58个uniform pattern为一类，其它的所有值 为第59类。这样直方图从原来的256维变成59维，起到了降维的作用，并且可以减少高频噪 声带来的影响。
[0101] 本发明提取纹理特征的过程中，首先计算整幅图像的Uniform LBP值。然后根据每 个超像素区域的位置信息，统计每个数字出现的概率，同统计RGB颜色直放图一样，对该纹 理直方图进行归一化处理。最后将得到的每个类别的统计直方图进行连接成为一个特征向 量，也就是该超像素区域的LBP纹理特征向量，共59维。
[0102] S3:将所述第一颜色特征向量和第一纹理特征向量输入到支持向量机SVM中进行 学习，构建颜色特征分类器和纹理特征分类器；
[0103]支持向量机的基本思想是:首先将输入向量通过非线性变换映射到一个高维空间 中，通过选取适当的内积函数在这个高维空间中建立最优线分类面。将向量映射到高维空 间中只是改变了内积运算，而算法复杂性并未随着维数的增加而增加。
[0104] SVM(Support Vector Machines)是一种监督学习方法，来解决分类问题。该算法 解决一个优化问题，包括确定高维特征空间内的一组超平面，来区分一组特征数据为两种 或多种类别。该方法的关键是它不仅寻找分类的超平面，而且提供最大可能的边界。在预测 阶段，这赋予了SVM的高泛化能力，并具有一定的灵活性。
[0105] 首先，SVM训练需要一组有代表性的特征数据，即含标签的学习样本，例如分类问 题标签一般为+1和-1，回归问题一般使用真实值。对一组k对训练集A= {(X1，yi)，. . .，（xk， 外)}，其中七￡?"且71^{+1，-1}，为了确定最优超平面( ￥，13)，将数据分为两类，算法使用一 个线性函数^将Xi数组映射到子空间H中。然后，定义样本X的新的类y，y = sign (w*(HX)+b)。如果使得最相近的样本之间的距离最大，则超平面为最优的。
[0106] 例如，将海参区域的超像素标记为+1，非海参区域的超像素标记为-1，使用SVM来 分别训练图像超像素区域的纹理特征向量和颜色特征向量。通过径向基核函数(RBF)，利用 特征向量^和&之间的欧式距离，将这些特征映射到能够分开的特征空间。径向基核函数 (RBF)定义为：
[0107] it(xi,xj)= <i>t(xi) <i> (xj) = exp(-y | | xi-xj | |2) (10)
[0108] 其中y是核参数。相应的对偶问题可以表示为决策函数：
[0109] /(义）=+办 - (11)
[0110] 这里高斯核被定义为iKxi,Xj)=巾（Xi)T<i) (Xj)，{ai}和b对应对偶问题的最优解。 由于软边界模型，SVM允许在训练阶段存在误分类的样本。因此，对偶问题转换为一个约束 条件：
[0112] 受到约束:(Xi)+b)彡l_|i (12)
[0113] 其中L>0是松弛变量，来衡量错误分类的程度，C>0是分类错误惩罚参数，W是支 持向量的超平面，b是超平面到远点的偏离。这些超平面参数UPC是依赖数据的并且必须 通过在训练集上交叉验证方法来确定。
[0114] 通过上述方式构建了基于超像素颜色特征分类器和基于超像素纹理分类器两种 分类器。
[0115] 所述水下生物检测阶段包括：
[0116] S4:采集水下生物的待测图像，对所述待测图像进行超像素分割，形成多个超像素 区域；
[0117] S5:提取每个超像素区域的第二颜色特征向量和第二纹理特征向量；
[0118] 其中，步骤S4和步骤S5可以参照步骤S1和步骤S2进行超像素分割和特征表示。
[0119] S6:将所述第二颜色特征向量输入所述颜色特征分类器，将所述第二纹理特征向 量输入所述纹理特征分类器，判断所述超像素区域是否为水下生物区域。
[0120] 具体的，通过使用上述训练后的两种分类器对每个超像素区域进行分类，就可以 得出哪些区域为水下生物区域。优选的，步骤S6还包括:将所述颜色特征分类器的分类结果 和所述纹理特征分类器的分类结果进行或运算，若运算结果为1，则表示所述超像素区域为 水下生物区域，若运算结果为0,则表示所述超像素区域不是水下生物区域。
[0121]举例来说，设置颜色、纹理特征分类结果分别为RC和Rl，结果值为1则代表判断为正 类，0则代表判断为负类。 " l n fl， 海参区域
[0122] 非海参区域 U3)
[0123] 优选的，步骤S6还包括:S601:去除代表水下生物区域的单个超像素区域;其中，所 述单个超像素区域的周围均为非水下生物区域；
[0124] S602:对检测结果的二值图像进行闭运算，以填充水下生物区域内的细小空洞，连 接最为临近的超像素区域，以平滑水下生物的边界。
[0125] 举例来说，海参目标一般会由多个超像素区域构成。而通过实验发现，会存在误 分类，如代表海参区域的单个超像素区域的周围都是非海参区域，而海参目标面积都大于 1.5S 2,通过该规则可以过滤这样的误分类。然后对检测结果的二值图像进行闭运算，以填 充海参区域内的细小空洞，连接较为邻近的超像素区域，平滑海参边界。将最后连接起来的 分类区域上画最小外接矩形，则为最终检测结果。如图5所示，为海参检测结果效果图，其 中，（a)列为经过单尺度Retinex增强后的图像，其中前三行为来自测试集中的912像素 X 608像素图像，第四行为测试集中的1280像素 X720像素视频帧，最后一行为来自网络图库 的912像素 X608像素图像；（b)列为通过SLIC过分割算法得到的分割图像；（c)列为超像素 区域分类结果；（d)为海参检测结果。
[0126] 以上对超像素级的特征分类的结果进行了分析，下面对海参图像整体检测做分 析。在此需要注意，基于超像素特征的海参检测方法，更能标记出真实海参的形态与位置， 如图6所示，与滑动窗口方式检测物体的方法相比，本发明能够得到更加精确的海参形态和 位置信息，能更好的服务未来海参捕捞机器人的研发。如图5所示，本发明对水草、沙地、纤 维袋及部分小贝壳背景都能很好的区分，并能够解决海参多姿态、多目标检测以及光照不 均的问题。
[0127] 概括来说，本发明对采集的图像，使用基于超像素的方法来获取其特征，预先设定 超像素区域的大约的面积为S2,这最好地能够描述图像的局部特征。超像素非常有利于解 决本发明的问题，因为它通过使用图像颜色和位置对像素分组，简洁和高效地表示图片局 部外观。超像素萃取后，有许多类型的特征来表示一个局部区域。我们专注于用颜色纹理和 纹理特征来代表超像素区域，区分前景和背景。颜色特征对解决本发明的问题是很重要的， 举例来说，它是海参皮肤的重要区分指标。海参颜色与绿色的海草、白色的纤维袋、亮色的 砂石及与部分沙土等的背景能够通过颜色区分，因此颜色特征对区分这些种类的区域非常 有用，进一步对超像素区域的分类有重要的贡献。相似的，纹理特征在上述的区域中也表 现出不同的模式，它能够很好的表现海参皮肤表面的模式。比颜色特征好的一点是，可以将 海参区域和一些与海参皮肤相近的沙土区分开来，达到更好的区分度。所以在本发明中使 用颜色和纹理两种特征来区分海参前景和环境背景。
[0128] 如图7所示，为以海参为例提出的基于超像素特征海参检测方法的流程图。与其他 基于学习的计算机视觉系统一样，本发明也包含训练和测试阶段。在训练阶段，给定一幅图 像，首先利用超像素提取技术，划分为多个区域，然后分别提取各个超像素的纹理和颜色特 征直方图特征。然后将直方图的每个像素分别连接为48维颜色特征向量和59维的纹理特征 向量。对海参区域和非海参的背景区域的两种特征分别训练分类器，生成两种分类模型。在 测试阶段，首先将提取图像的超像素区域，然后提取各个超像素区域的纹理和颜色特征，分 别将这两种特征作为对应的分类器的输入，得到分类结果，接着对两个分类器的分类结果 进行简单的决策，并且去掉明显的错误分类信息，得到最终的检测结果。最后对两个分类器 的性能进行评估，得到两种模型的性能指标。
[0129] 另一方面，采用上述的水下生物检测方法，本发明还提供了一种水下生物检测系 统，所述系统包括：
[0130] 超像素分割单元，用于采集水下生物的样本图像，对所述样本图像进行超像素分 害J，形成多个超像素区域；
[0131] 特征提取单元，用于提取每个超像素区域的第一颜色特征向量和第一纹理特征向 量；
[0132] 训练单元，用于将所述第一颜色特征向量和第一纹理特征向量输入到支持向量机 SVM中进行学习，构建颜色特征分类器和纹理特征分类器；
[0133] 所述超像素分割单元，还用于采集水下生物的待测图像，对所述待测图像进行超 像素分割，形成多个超像素区域；
[0134] 所述特征提取单元，还用于提取每个超像素区域的第二颜色特征向量和第二纹理 特征向量；
[0135] 检测单元，用于将所述第二颜色特征向量输入所述颜色特征分类器，将所述第二 纹理特征向量输入所述纹理特征分类器，判断所述超像素区域是否为水下生物区域。
[0136] 本发明实施例提供的水下生物检测方法和系统，通过获取样本的图像，对图像进 行超像素分割和特征提取，建立颜色特征模型和纹理特征模型，在后续使用时，只需将待测 图像的颜色特征和纹理特征输入颜色特征模型和纹理特征模型中，就可以确定待测图像的 水下生物的区域，从而实现了水下生物的检测，解决了现有因为水下环境复杂，检测难度大 的问题，以及人工捕捞困难的问题。
[0137] 虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发 明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求 所限定的范围之内。
【主权项】
1. 一种水下生物检测方法，其特征在于，所述方法包括:分类器训练阶段和水下生物检 测阶段； 所述分类器训练阶段包括： 采集水下生物的样本图像，对所述样本图像进行超像素分割，形成多个超像素区域； 提取每个超像素区域的第一颜色特征向量和第一纹理特征向量； 将所述第一颜色特征向量和第一纹理特征向量输入到支持向量机SVM中进行学习，构 建颜色特征分类器和纹理特征分类器； 所述水下生物检测阶段包括： 采集水下生物的待测图像，对所述待测图像进行超像素分割，形成多个超像素区域； 提取每个超像素区域的第二颜色特征向量和第二纹理特征向量； 将所述第二颜色特征向量输入所述颜色特征分类器，将所述第二纹理特征向量输入所 述纹理特征分类器，判断所述超像素区域是否为水下生物区域。2. 根据权利要求1所述的一种水下生物检测方法，其特征在于，所述对所述样本图像进 行超像素分割具体采用简单线性迭代聚类SLIC方法对样本图像进行超像素分割。3. 根据权利要求2所述的一种水下生物检测方法，其特征在于，所述采用简单线性迭代 聚类SLIC方法对样本图像进行超像素分割包括： 将所述样本图像从RGB颜色空间转换到CIELAB颜色空间，将K个聚类中心Ck均匀的分布 在所述样本图像中，每个聚类中心对应一个超像素质心的初始位置，并引入加权距离度量 Ds来测量颜色距离与空间距离； 根据加权距离度量Ds将图像中每个像素和最近的聚类中心Ck关联起来，形成一个集群； 将一个集群中的所有像素的数组的平均值作为新的初始位置，如此反复迭代直到所有 的聚类中心点收敛到稳定位置。4. 根据权利要求3所述的一种水下生物检测方法，其特征在于，所述引入加权距离度量 Ds来测量颜色距离与空间距离，采用以下公式：其中，由所述CIELAB颜色空间的[Iab]颜色数组和图像像素的坐标[X，y]组成一个5维 空间，Ds为加权距离度量，dxy为空间距离，dxy由S来归一化处理，S为两个聚类中心之间的距 离，d lab为颜色距离，k代表对应的K个可能的聚类中心的索引，i为给定超像素中心k区域内 的像素，m为用来修正空间距离和颜色距离项的贡献。5. 根据权利要求1所述的一种水下生物检测方法，其特征在于，所述提取每个超像素区 域的第一颜色特征向量和第一纹理特征向量，具体包括： 提取每个超像素区域的颜色直方图特征，其中，每个超像素区域形成48维的RGB颜色特 征向量； 提取每个超像素区域的纹理直方图特征，其中，每个超像素区域形成59维的LBP纹理特 征向量。6. 根据权利要求5所述的一种水下生物检测方法，其特征在于，所述提取每个超像素区 域的颜色直方图特征，其中，每个超像素区域形成48维的RGB颜色特征向量，具体包括： 将每个超像素区域中的所有像素的R、G、B三个通道分别分为16个灰度级数； 分别计算每个通道的直方图特征； 将R、G、B三个通道的所述直方图特征合并为所述超像素区域的具有48个灰度级数的颜 色直方图。7. 根据权利要求5所述的一种水下生物检测方法，其特征在于，提取每个超像素区域的 纹理直方图特征，其中，每个超像素区域形成59维的LBP纹理特征向量，具体包括： 计算所述样本图像的均匀LBP值;其中，均匀LBP值被分为58类； 根据所述每个超像素区域的位置信息，统计每个均匀LBP值出现的概率，得到每个维度 的纹理直方图； 将每个维度的纹理直方图进行连接成为一个59维的纹理特征向量。8. 根据权利要求1所述的一种水下生物检测方法，其特征在于， 所述将所述第二颜色特征向量输入所述颜色特征分类器，将所述第二纹理特征向量输 入所述纹理特征分类器，判断所述超像素区域是否为水下生物区域，还包括： 将所述颜色特征分类器的分类结果和所述纹理特征分类器的分类结果进行或运算，若 运算结果为1，则表示所述超像素区域为水下生物区域，若运算结果为〇,则表示所述超像素 区域不是水下生物区域。9. 根据权利要求8所述的一种水下生物检测方法，其特征在于，所述将所述第二颜色特 征向量输入所述颜色特征分类器，将所述第二纹理特征向量输入所述纹理特征分类器，判 断所述超像素区域是否为水下生物区域，还包括： 去除代表水下生物区域的单个超像素区域;其中，所述单个超像素区域的周围均为非 水下生物区域； 对检测结果的二值图像进行闭运算，以填充水下生物区域内的细小空洞，连接最为临 近的超像素区域，以平滑水下生物的边界。10. -种水下生物检测系统，其特征在于，所述系统包括： 超像素分割单元，用于采集水下生物的样本图像，对所述样本图像进行超像素分割，形 成多个超像素区域； 特征提取单元，用于提取每个超像素区域的第一颜色特征向量和第一纹理特征向量； 训练单元，用于将所述第一颜色特征向量和第一纹理特征向量输入到支持向量机SVM 中进行学习，构建颜色特征分类器和纹理特征分类器； 所述超像素分割单元，还用于采集水下生物的待测图像，对所述待测图像进行超像素 分割，形成多个超像素区域； 所述特征提取单元，还用于提取每个超像素区域的第二颜色特征向量和第二纹理特征 向量； 检测单元，用于将所述第二颜色特征向量输入所述颜色特征分类器，将所述第二纹理 特征向量输入所述纹理特征分类器，判断所述超像素区域是否为水下生物区域。
【文档编号】G06K9/00GK105930815SQ201610289792
【公开日】2016年9月7日
【申请日】2016年5月4日
【发明人】李振波, 郭传鑫, 李晨, 岳峻, 段作栋
【申请人】中国农业大学