一种250ml医药大输液可见异物与气泡的分类识别检测方法
【专利摘要】本发明公开了一种250ml医药大输液可见异物与气泡的分类识别检测方法，包括以下步骤：1)连续获取正在检测大输液多帧图像；2)图像预处理：对图像采用基于Top?Hat形态学滤波；3)图像分割：对滤波后的图像采用基于最大信息熵的帧间差分法得到分割后的图像；4缺陷边缘提取：采用SUSAN算法来提取可见异物与气泡的边缘；5)图像特征提取算法：通过研究分析缺陷的特征提取用于描述可见异物与气泡的形状、灰度、运动特征参数6)缺陷分类识别：运用IDS?ELM算法实现可见异物与气泡的识别与分类。实现了可见异物与气泡的分类识别，能高精度地分类识别各类缺陷并将含有不同类型的缺陷剔除至不同的次品区域。
【专利说明】
一种250m I医药大输液可见异物与气泡的分类识别检测方法
技术领域
[0001]本发明属于图像处理以及自动化技术领域，特别涉及一种250ml医药大输液可见 异物与气泡的分类识别检测方法。
【背景技术】
[0002] 国内外大输液主要的盛装材料玻璃瓶、塑料瓶、塑料软袋。目前玻璃瓶在国内仍是 大输液的主要容器，而由于大输液生产工艺及封装技术的不足，往往容易混入毛发、漂浮物 (塑料、纤维）、玻璃肩等直径大于50um的可见异物，这些杂质严重影响到了输液者的健康甚 至生命安全。目前国内250ml以上的玻璃瓶大输液主要利用人工灯检或进口设备，人工灯检 存在效率低、不利于生产过程的自动化、有安全隐患和标准不同一的缺点，而进口设备的成 本大，维护困难。国内相关企业或研究单位对基于机器视觉的全自动灯检技术开展了研究， 但仅仅在针对125ml容量的药液检测方面有一定的成功，也有部分成果运用于生产实际，目 前市场上针对于250ml以上的医药大输液可见异物检测全自动灯检设备非常罕见。厂家为 了提高250ml以上产品的质量和产能，对相关检测设备有着迫切的需'求。因此，研制一套 250ml的医药大输液可见异物检测系统意义十分重大。
[0003] 在医药液体内异物视觉检测过程中，需用搓瓶装置使沉淀在药液底部的异物带动 到液体上部，以便于摄像机成像，但由于机械装置的运动、温度、光电干扰等因素，成像后的 图像中多少存在有气泡和噪声，而图像中异物目标和气泡识别中所面临的技术难题主要 有：
[0004] 1)设备运行的速度比较快，因此在满足高精度的同时还要匹配设备运转的高速 度，对识别算法提出了较高的要求；
[0005] 2)被识别的目标对象形状，大小、重量不同，体积十分微小，在图像拍摄时异物处 于运动状态且可能发生翻转，姿态不断改变；
[0006] 3)来自瓶壁等外界的干扰十分多；
[0007] 4)设备运行时会不可避免地产生机械振动，且药瓶也不是完全处于静止状态，这 些都可能使得采集的图像发生一定的偏差，一般的视觉检测方法将难以实现合格品和次品 的快速分拣。
【发明内容】
[0008] 本发明所要解决的技术问题是，提供一种250ml医药大输液可见异物与气泡的分 类识别检测方法，通过采用改进的ELM分类算法，为医药检测设备提供一种可靠的检测方 法，从而提高药品可见异物检测精度和重复性，彻底解决250ml以上医药大输液检测中误检 率高的问题，满足国内现有灯检系统的性能需求。
[0009] 一种250ml医药大输液可见异物与气泡的分类识别检测方法，包括以下步骤：
[0010] 步骤1)连续获取正在检测大输液的原始图像；
[0011] 步骤2)图像预处理；
[0012]对步骤1)获取的每一帧大输液图像采用基于Top-Hat形态学滤波处理，得到滤波 图像；
[0013]步骤3)图像分割；
[0014] 对步骤2)获得的滤波图像采用差分法进行图像分割，获得分割图像；
[0015] 步骤4)缺陷边缘提取；
[0016] 从步骤3)获取的分割图像中提取大输液图像中的缺陷边缘；
[0017] 所述缺陷包括可见异物或气泡，所述可见异物包括玻璃肩、毛发或漂浮物，所述漂 浮物包括橡胶肩或纤维；
[0018] 步骤5)提取缺陷的特征向量；
[0019] 从步骤4)获得的缺陷边缘中选取用于描述缺陷的特征参数，形成缺陷的特征向 量；
[0020] 所述特征参数包括形状特征参数、灰度特征参数及运动特征参数；
[0021] 所述形状特征参数包括缺陷目标面积S、缺陷目标占有率K及缺陷的7个几何不变 矩，其中，缺陷目标占有率是指缺陷目标区域的像素个数和与缺陷目标区域的最小外接矩 形面积之比；
[0022] 所述灰度特征参数包括缺陷目标区域的灰度均值及缺陷目标区域的灰度标准差；
[0023] 所述运动特征参数包括缺陷目标的中心点的横坐标和纵坐标；
[0024] 步骤6)可见异物与气泡分类识别；
[0025] 对提取的缺陷目标的特征向量运用ELM网络模型实现缺陷目标的分类识别，若缺 陷目标的分类识别结果为可见异物，则对应的大输液属于不合格品，并依据分类结果获得 大输液中包含的缺陷类别；
[0026] 所述ELM网络模型的构建过程如下：首先设定ELM算法网络模型中输入节点为13 个，输出节点为4个，隐含层节点个数范围为100-400,隐含层节点的激活函数包括Hardlim、 Sin或sigmoid函数；
[0027] 其次，选用已知缺陷类别的训练样本特征向量集输入ELM算法网络模型，对其进行 训练，获得已训练好的ELM网络模型。
[0028]所述步骤6)中运用的ELM网络模型采用IDS-ELM算法构建，具体步骤如下：
[0029] Stepl:给定样本数据集N(xi，ti)，从给定样本数据集中选取训练集，xi表示第i个 样本，^表示第i个样本的分类结果；
[0030] Step2:建立 ELM 网络模型 fL(xi);
[0031] 选定初始网络模型隐含层节点个数L = 400、隐含层偏移值激活函数为sigmoid，在 (〇，1)中随机选取输入层连接隐含层的权值向量ω」和偏移量匕；
[0033]其中，ω j = ( ω ji, ω j2, . . .，ω jn)T表示第j个隐含层节点与输入节点之间的连接权 值向量，h表示第j个隐含层节点的偏移值，&=(?^，^2, . . .，βρ)τ表示第j个隐含层节点与 输出节点之间的连接权值向量;〇i = (〇ii，〇i2，. . .，〇im)T为第i个样本对应的网络模型输出，g (X)为sigmoid激活函数，η取值为13，m取值为4; 〇i表示第i个样本经ELM网络模型输出的分 类结果；
[0034] Step3:令〇i = ti，计算ELM网络模型隐含层输出矩阵Η，根据β = H+T计算ELM网络模 型隐含层与输出层的连接权值，T为ELM网络模型的输出矩阵，计算ELM网络模型的训练精度 trainO和训练时间timeO;
[0035] Step4:计算每个隐含层节点的影响度I」并按降幂排序，获得排序后的隐含层节 占 .
[0038] 其中，gj(xi)=g( ω jXi+bj)，1 < i < N，1 < j < L，a为输入层权值向量影响因子， (0,1);
[0039] Step5:对ELM网络模型进行第一次剪枝；
[0040] 从step4获得的排序后的隐含层节点中，选择前λ个隐含层节点，λΕ[1，5]，且λ为 正整数；将其从E L Μ网络模型中删除，同时，计算第一次剪枝后的E L Μ网络模型训练精度 trainl，并按照step4重新计算第一次剪枝后的ELM网络模型中每个隐含层节点的影响度， 且按降幂排序；
[0042] Step6:对ELM网络模型进行第二次剪枝；
[0043]以η · λ作为第二次剪枝的隐节点个数，从step5得到的降幂排序的隐含层节点中， 选取前η · λ个隐含层节点对step5获得的第一次剪枝后的ELM网络模型进行剪枝，并计算第 二次剪枝后的ELM网络模型训练精度train2;
[0044] step7:找回第二次剪枝操作中，被删除的影响度最大的隐含层节点，将其重新加 入到step6获得的ELM网络模型中，同时计算更新后的ELM网络模型的训练精度train3;
[0045] Step8:从step6获得的ELM网络模型中剪掉一个影响度最小的隐含层节点，得到更 新后的ELM网络模型的训练精度为train4;
[0046] Step9:确定ELM网络模型最终隐节点个数为1/，训练精度为train，并取train = max(train2，train3，train4)，训练时间为time:
[0048] SteplO:利用矛盾线性方程组的最小范数最小二乘解求得网络隐含层与输出层连 接权值矩阵f 4' =(把）*T，并更新输入层连接隐含层的权值向量ω」和偏移量匕，获得已训 练好的最终ELM网络模型；
[0049] 其中，把为最终ELM网络模型的输出层矩阵。
[0050] 所述形态学滤波处理过程中，选用7X7的圆形模板作为结构元素对原图像进行高 帽形态学滤波。
[0051]在所述步骤3)中采用基于最大信息熵的帧间差分法进行图像分割，具体步骤如 下：
[0052]首先将连续获取的序列图像进行差分操作，得到差分图像；
[0053]其次，计算差分后图像二值化阈值T0:
[0054]分别计算待检测图像的目标区域中像素总个数N2和灰度为i的像素点所占的比例 Pl，利用下面两式来计算背景和异物灰度值的分布：
[0057]
】表示灰度i的最大值，则背景和目标的信息熵H(A)、H(B)分别可 由下面两个公式计算：
[0060] 由上两式可求取待检测图像的总信息熵为φ (S)=H(A)+H(B)，当使?(s)取最大 值时，获得差分后图像二值化阈值T0;
[0061] 最后，利用差分后图像二值化阈值το将差分后的图像按下式做二值化处理，将得 到的二值化图像中每个像素点进行与操作，得到的对称差分二值图像，完成图像分割：
[0063]采用SUSAN算法从步骤3)获取的分割图像中提取大输液图像中的缺陷边缘，具体 步骤如下：
[0064]利用掩膜来遍历对称差分二值图像中目标区域的每一个像素，并将掩膜中心像素 点和掩膜区域内每一个像素点做灰度值比较，记录灰度差值小于设定灰度差值阈值的像素 点，并将记录的像素点组成USAN区域；
[0065]掩膜内除中心点外所有像素点的像素值利用下式计算：
[0067] Π )是图像核所在的位置，r表示模板中其余点所处的位置，I(rQ)表示图像核心点的 像素值，I(r)表示图像模板中其它点的像素值；
[0068] 然后利用下式来计算掩膜区域的USAN值：
[0070]其中，（XQ，yQ)表示是当前掩膜中心点，（x，y)表示当前掩膜除中心点外的像素点，η 为USAN区域中像素个数，然后将与预设的USAN阀值相比较，并利用下式来获取可疑特征点， 并以特征点为中心，将特征点与其他的邻域内的8个点灰度值相比较，最大的被保留下来作 为最终的边缘点：
[0072] 其中，g = nmax/2是USAN阀值，nmax是η的最大值，取掩膜的3/4。
[0073] 对于有噪声影响的图像，SUSAN阈值下限值取2-10个像素。
[0074] 有益效果
[0075]本发明提供了一种250ml医药大输液可见异物与气泡的分类识别检测方法，包括 以下步骤：1)连续获取正在检测大输液多帧图像;2)图像预处理:对图像采用基于Top-Hat 形态学滤波;3)图像分割:对滤波后的图像采用基于最大信息熵的帧间差分法得到分割后 的图像;4缺陷边缘提取:采用SUSAN算法来提取可见异物与气泡的边缘;5)图像特征提取算 法:通过研究分析缺陷的特征提取用于描述可见异物与气泡的形状、灰度、运动特征参数6) 缺陷分类识别:运用IDS-ELM算法实现可见异物与气泡的识别与分类。
[0076] 通过采用数学形态滤波获得预处理图像，其算法可通过硬件并行实现，大大提高 了处理速度。对于大输液图像分割，采用基于最大信息熵的帧间差分算法很好的克服了瓶 侧壁可能存在差异、简单序列图像差分对微小异物目标检测效果不好的缺陷，并且显著提 高了输出图像的信噪比，采用SUSAN算法提取可见异物与气泡的边缘，大大简化了后续特征 提取算法的难度。分析研究可见异物与气泡的特征参数并构建了描述缺陷的特征描述子， 减少了图像处理时间，大大提高了算法的实时性和鲁棒性。采用IDS-ELM算法实现了可见异 物与气泡的分类识别，能高精度地分类识别各类缺陷并将含有不同类型的缺陷剔除至不同 的次品区域。
【附图说明】
[0077] 图1是本发明所涉及方法的总流程框图；
[0078] 图2是本发明中获取的250ml的葡萄糖药液含有一个玻璃肩的连续四帧原始图像， 其中，a)为第一帧，b)为第二帧，c)为第三帧，d)为第四帧；
[0079]图3是本发明中对图2中各帧图像进行滤波后的图像，其中，（a)为第一帧，（b)为第 二帧，（c)为第三帧，（d)为第四帧；
[0080] 图4是本发明中对连续五帧图像滤波、帧间差分后做边缘提取后的图像；
[0081] 图5是本发明中四类典型缺陷提取目标区域最小外界矩形的图像，其中（a)为毛 发，（b)
[0082] 为漂浮物，（c)为玻璃肩，（d)为气泡；
[0083] 图6是本发明中四类典型缺陷区域的灰度图，其中，其中（a)为毛发，（b)为漂浮物， (c)为玻璃肩，（d)为气泡；
[0084]图7是本发明中所述IDS-ELM算法流程图；
[0085] 图8是各算法对各类异物的分类实验比较示意图。
【具体实施方式】
[0086] 下面将结合附图和实施例对本发明做进一步的说明。
[0087] 如图1所示，一种250ml医药大输液可见异物与气泡的分类识别检测方法，包括以 下步骤：
[0088]步骤1)连续获取正在检测大输液的原始图像，如图2所示；
[0089] 步骤2)图像预处理，如图3所示；
[0090] 对步骤1)获取的每一帧大输液图像采用7X7的圆形模板作为结构元素进行基于 Top-Hat形态学滤波处理，得到滤波图像；
[0091] 步骤3)图像分割；
[0092] 对步骤2)获得的滤波图像采用差分法进行图像分割，获得分割图像；
[0093]在所述步骤3)中采用基于最大信息熵的帧间差分法进行图像分割，具体步骤如 下：
[0094]首先将连续获取的序列图像进行差分操作，得到差分图像；
[0095]其次，计算差分后图像二值化阈值T0:
[0096]分别计算待检测图像的目标区域中像素总个数N2和灰度为i的像素点所占的比例 Pl，利用下面两式来计算背景和异物灰度值的分布：
[0099]
:，M表示灰度i的最大值，则背景和目标的信息熵H(A)、H(B)分别可 由下面两个公式计算：
[0102] 由上两式可求取待检测图像的总信息熵为?(s)=H(A)+H(B)，当使?(s)取最大 值时，获得二值化阈值TO，TO = 120;
[0103] 最后，利用二值化阈值TO将差分后的图像按下式做二值化处理，将得到的二值化 图像中每个像素点进行与操作，得到的对称差分二值图像，完成图像分割：
[0105] 步骤4)缺陷边缘提取；
[0106] 从步骤3)获取的分割图像中提取大输液图像中的缺陷边缘；
[0107] 所述缺陷包括可见异物或气泡，所述可见异物包括玻璃肩、毛发或漂浮物，所述漂 浮物包括橡胶肩或纤维；
[0108] 采用SUSAN算法从步骤3)获取的分割图像中提取大输液图像中的缺陷边缘，具体 步骤如下：
[0109]利用掩膜来遍历对称差分二值图像中目标区域的每一个像素，并将掩膜中心像素 点和掩膜内每一个像素点做灰度值比较，记录灰度差值小于设定灰度差值阈值的像素点， 并将记录的像素点组成USAN区域；
[0110]掩膜内除中心点外所有像素点的像素值利用下式计算：
[0112] Π )是图像核所在的位置，r表示模板中其余点所处的位置，Kro)表示图像核心点的 像素值，I(r)表示图像模板中其它点的像素值；
[0113] 然后利用下式来计算掩膜区域的USAN值：
[0115]其中，（xq，yo)表示是当前掩膜中心点，（X，y)表示当前掩膜除中心点外的像素点，η 为USAN区域中像素个数，然后将与预设的USAN阀值相比较，并利用下式来获取可疑特征点， 并以特征点为中心，将特征点与其他的邻域内的8个点灰度值相比较，最大的被保留下来作 为最终的边缘点：
[0117] 其中，g = nmax/2是USAN阀值，nmax是η的最大值，取掩膜的3/4。
[0118] 对于有噪声影响的图像，SUSAN阈值下限值取2-10个像素。
[0119] 如图4所示，为对大输液图像滤波、差分后进行边缘提取结果；
[0120] 步骤5)提取缺陷的特征向量；
[0121] 从步骤4)获得的缺陷边缘中选取用于描述缺陷的特征参数，形成缺陷的特征向 量；
[0122] 所述特征参数包括形状特征参数、灰度特征参数及运动特征参数；
[0123] 所述形状特征参数包括缺陷目标面积S、缺陷目标占有率K及缺陷的7个几何不变 矩，其中，缺陷目标占有率是指缺陷目标区域的像素个数和与缺陷目标区域的最小外接矩 形面积之比；
[0124] 所述灰度特征参数包括缺陷目标区域的灰度均值及缺陷目标区域的灰度标准差；
[0125] 所述运动特征参数包括缺陷目标的中心点的横坐标和纵坐标；
[0126] 如图5所示，为可见异物和气泡区域最小外接矩形的提取结果示意图，如图7所示， 为大输液可见异物和气泡区域的灰度图；
[0127] 步骤6)可见异物与气泡分类识别；
[0128] 对提取的缺陷目标的特征向量运用ELM网络模型实现缺陷目标的分类识别，若缺 陷目标的分类识别结果为可见异物，则对应的大输液属于不合格品，并依据分类结果获得 大输液中包含的缺陷类别；否则，对应的大输液为合格品，从而完成大输液中可见异物与气 泡的检测；
[0129] 所述ELM网络模型的构建过程如下：首先设定ELM算法网络模型中输入节点为13 个，输出节点为4个，隐含层节点个数范围为100-400,隐含层节点的激活函数包括Hardlim、 Sin或sigmoid函数，本实施例中选取sigmoid函数作为激活函数；
[0130]其次，选用已知缺陷类别的训练样本特征向量集输入ELM算法网络模型，对其进行 训练，获得已训练好的ELM网络模型。
[0131 ]如图8所示，所述步骤6)中运用的ELM网络模型采用IDS-ELM算法构建，具体步骤如 下：
[0132] Stepl:给定样本数据集N(xi，ti)，从给定样本数据集中选取训练集，Xi表示第i个 样本，^表示第i个样本的分类结果；
[0133] Step2:建立 ELM 网络模型 fL(Xi);
[0134] 选定初始网络模型隐含层节点个数L = 400、隐含层偏移值激活函数为sigmoid，在 (〇，1)中随机选取输入层连接隐含层的权值向量ω」和偏移量匕；
[0136] 其中，ω」=(ω ω」2, . . .，ω jn)T表示第j个隐含层节点与输入节点之间的连接权 值向量，h表示第j个隐含层节点的偏移值，&=(?^，^2, . . .，βρ)τ表示第j个隐含层节点与 输出节点之间的连接权值向量;〇i = (〇ii，〇i2，. . .，〇im)T为第i个样本对应的网络模型输出，g (X)为sigmoid激活函数，η取值为13，m取值为4; 〇i表示第i个样本经ELM网络模型输出的分 类结果；
[0137] Step3:令〇i = ti，计算ELM网络模型隐含层输出矩阵H，根据β = Η+Τ计算ELM网络模 型隐含层与输出层的连接权值，T为ELM网络模型的输出矩阵，计算ELM网络模型的训练精度 trainO和训练时间timeO;
[0138] Step4:计算每个隐含层节点的影响度I」并按降幂排序，获得排序后的隐含层节 占 .
[0141] 其中，gj(xi)=g( ω jXi+bj)，1 < i < N，1 < j < L，a为输入层权值向量影响因子， (0,1);
[0142] Step5:对ELM网络模型进行第一次剪枝；
[0143] 从step4获得的排序后的隐含层节点中，选择前λ个隐含层节点，λΕ[1，5]，且λ为 正整数；将其从E L Μ网络模型中删除，同时，计算第一次剪枝后的E L Μ网络模型训练精度 trainl，并按照step4重新计算第一次剪枝后的ELM网络模型中每个隐含层节点的影响度， 且按降幂排序；
[0145] Step6:对ELM网络模型进行第二次剪枝；
[0146] 以η · λ作为第二次剪枝的隐节点个数，从Step5得到的降幂排序的隐含层节点中， 选取前η · λ个隐含层节点对step5获得的第一次剪枝后的ELM网络模型进行剪枝，并计算第 二次剪枝后的ELM网络模型训练精度train2;
[0147] step7:寻找第二次剪枝操作中，被删除的影响度最大的隐含层节点，将其重新加 入到step6获得的ELM网络模型中，同时计算更新后的ELM网络模型的训练精度train3;
[0148] Step8:从step6获得的ELM网络模型中剪掉一个影响度最小的隐含层节点，得到更 新后的ELM网络模型的训练精度为train4;
[0149] Step9:确定ELM网络模型最终隐节点个数为1/，训练精度为train，并取train = max(train2，train3，train4)，训练时间为time:
[0151] SteplO:利用矛盾线性方程组的最小范数最小二乘解求得网络隐含层与输出层连 接权值矩阵f=(把）*T，并更新输入层连接隐含层的权值向量ω」和偏移量匕，获得已训 练好的最终ELM网络模型；
[0152] 其中，把为最终ELM网络模型的输出层矩阵。
[0153] 根据采集的大输液数据集分析可知，分类器的输入维数为13,输出维数为4,根据 对UCI数据集实验的分类结果结合本实验数据集分析，设定IDS-ELM算法原始网络的初始隐 节点个数为400，影响因子为a取0.6，剪枝步长λ为2，P-ELM初始隐节点个数也为400。为了使 实验结果更具说服性，求取20重复实验次平均值做为最终分类结果。表2给出了相关算法针 对表1样本数据集的总体分类结果，表3给出了各类算法针对各类缺陷分类结果。
[0154] 表1实验样本数据集
[0155]
[0156] 表2 20次重复实验不同算法分类性能比较
[0158] 由上表实验结果可知，在分类精度上，本发明所述的IDS-ELM算法都要明显优于 EM-ELM、P-ELM算法，并且比公开文献中的BP的90.6 %和SVM的93.8分别提高了4.9个百分点 和1.7个百分点，比ELM算法的87.1 %提高了8.4%。虽然在时间方面IDS-ELM算法比其中某 些算法要略长，但单个样本的处理时间达毫秒级，完全满足在线检测要求。
[0159] 表3描述了相关算法针对毛发、漂浮物(纤维、橡胶肩）、玻璃肩和气泡的分类实验 结果。在各类缺陷中，毛发的分类准确率是最高的，达到了99.7%，这是由于毛发的外形特 征是最容易辨识的，在提取外形特征方面具有良好的稳定性，其次纤维和玻璃肩分别为 96.9%、94.1%。虽然对气泡存在一定的错分，但IDS-ELM算法对气泡的分类识别精度达到 了 91.2 %，比EM-ELM和P-ELM算法分别高出12.9 %和9.4 %，比ELM算法高出11.2 %，从总体 来说，还是能将气泡区分出来，从而实现大输液可见异物的分类识别。
[0160] 表3 20次重复实验不同算法对不同类型样本分类结果
[0161]
[0162] 为了说明IDS-ELM分类器在大输液可见异物分类识别时的稳定性，表4给出了实验 1中IDS-ELM针对总体实验数据集样本20次分类的结果。统计表4实验数据标注差仅为 0.064，说明IDS-ELM在可见异物的分类识别检测是极其稳定的。
[0163] 表4IDS-ELM算法对给类缺陷20次重复实验结果
[0164]
[0165] 结合医药大输液四类缺陷的相关数据样本进行了分类识别实验，综合实验结果说 明，本发明所述方法在医药大输液实际生产中可见异物在线识别检测是切实可行的。
【主权项】
1. 一种250ml医药大输液可见异物与气泡的分类识别检测方法，其特征在于，包括以下 步骤： 步骤1)连续获取正在检测大输液的原始图像； 步骤2)图像预处理； 对步骤1)获取的每一帧大输液图像采用基于Top-Hat形态学滤波处理，得到滤波图像； 步骤3)图像分割； 对步骤2)获得的滤波图像采用差分法进行图像分割，获得分割图像； 步骤4)缺陷边缘提取； 从步骤3)获取的分割图像中提取大输液图像中的缺陷边缘； 所述缺陷包括可见异物或气泡，所述可见异物包括玻璃肩、毛发或漂浮物，所述漂浮物 包括橡胶肩或纤维； 步骤5)提取缺陷的特征向量； 从步骤4)获得的缺陷边缘中选取用于描述缺陷的特征参数，形成缺陷的特征向量； 所述特征参数包括形状特征参数、灰度特征参数及运动特征参数； 所述形状特征参数包括缺陷目标面积S、缺陷目标占有率K及缺陷的7个几何不变矩，其 中，缺陷目标占有率是指缺陷目标区域的像素个数和与缺陷目标区域的最小外接矩形面积 之比； 所述灰度特征参数包括缺陷目标区域的灰度均值及缺陷目标区域的灰度标准差； 所述运动特征参数包括缺陷目标的中心点的横坐标和纵坐标； 步骤6)可见异物与气泡分类识别； 对提取的缺陷目标的特征向量运用ELM网络模型实现缺陷目标的分类识别，若缺陷目 标的分类识别结果为可见异物，则对应的大输液属于不合格品，并依据分类结果获得大输 液中包含的缺陷类别； 所述ELM网络模型的构建过程如下：首先设定ELM算法网络模型中输入节点为13个，输 出节点为4个，隐含层节点个数范围为100-400,隐含层节点的激活函数包括Hardlim、Sin或 sigmoid 函数； 其次，选用已知缺陷类别的训练样本特征向量集输入ELM算法网络模型，对其进行训 练，获得已训练好的ELM网络模型。2. 根据权利要求1所述的方法，其特征在于，所述步骤6)中运用的ELM网络模型采用 IDS-ELM算法构建，具体步骤如下： Stepl:给定样本数据集N(xi，ti)，从给定样本数据集中选取训练集，xi表示第i个样本， t表示第i个样本的分类结果； Step2:建立ELM网络模型fL(xi); 选定初始网络模型隐含层节点个数L = 400、隐含层偏移值激活函数为sigmoid，在(0， 1)中随机选取输入层连接隐含层的权值向量ω#Ρ偏移量b,;其中，ω」=(ω dl，ω j2, . . .，ω jn)T表示第j个隐含层节点与输入节点之间的连接权值向 量，bj表不第j个隐含层节点的偏移值，β」=(β」1，β」2, . . .，Pjm)T表不第j个隐含层节点与输出 节点之间的连接权值向量;〇i=(〇il，〇i2, . . .，〇im)T为第i个样本对应的网络模型输出，g(x) 为sigmoid激活函数，η取值为13，m取值为4;〇1表示第i个样本经ELM网络模型输出的分类结 果； Step3:令〇i = ti，计算ELM网络模型隐含层输出矩阵H，根据β = Η+Τ计算ELM网络模型隐 含层与输出层的连接权值，T为ELM网络模型的输出矩阵，计算ELM网络模型的训练精度 trainO和训练时间timeO; Step4:计算每个隐含层节点的影响度I」并按降幂排序，获得排序后的隐含层节点；其中，gj(xi) = g( ω jXi+bj)，1 < i < N，1 < j < L，a为输入层权值向量影响因子，(〇， 1); Step5:对ELM网络模型进行第一次剪枝； 从step4获得的排序后的隐含层节点中，选择前λ个隐含层节点，λΕ [1，5]，且λ为正整 数;将其从ELM网络模型中删除，同时，计算第一次剪枝后的ELM网络模型训练精度trainl， 并按照step4重新计算第一次剪枝后的ELM网络模型中每个隐含层节点的影响度，且按降幂 排序； 计算剪枝系数η:*1为向上取整符号； Step6:对ELM网络模型进行第二次剪枝； 以η · λ作为第二次剪枝的隐节点个数，从step5得到的降幂排序的隐含层节点中，选取 前η · λ个隐含层节点对step5获得的第一次剪枝后的ELM网络模型进行剪枝，并计算第二次 剪枝后的ELM网络模型训练精度train2; step7:找回第二次剪枝操作中，被删除的影响度最大的隐含层节点，将其重新加入到 step6获得的ELM网络模型中，同时计算更新后的ELM网络模型的训练精度train3; Step8:从step6获得的ELM网络模型中剪掉一个影响度最小的隐含层节点，得到更新后 的ELM网络模型的训练精度为train4; Step9 :确定ELM网络模型最终隐节点个数为1/，训练精度为train，并取train = max (train2，train3，train4)，训练时间为time:SteplO:利用矛盾线性方程组的最小范数最小二乘解求得网络隐含层与输出层连接权 值矩阵f，β' = (?Τ )*T，并更新输入层连接隐含层的权值向量ω」和偏移量匕，获得已训练好 的最终ELM网络模型； 其中，把为最终ELM网络模型的输出层矩阵。3.根据权利要求2所述的方法，其特征在于，所述形态学滤波处理过程中，选用7X7的 圆形模板作为结构元素对原图像进行高帽形态学滤波。4. 根据权利要求2所述的方法，其特征在于，在所述步骤3)中采用基于最大信息熵的帧 间差分法进行图像分割，具体步骤如下： 首先将连续获取的序列图像进行差分操作，得到差分图像； 其次，计算差分后图像二值化阈值TO: 分别计算待检测图像的目标区域中像素总个数N2和灰度为i的像素点所占的比例Pl，利 用下面两式来计算背景和异物灰度值的分布：TO. 其中，Ζ ，M表示灰度i的最大值，则背景和目标的信息熵H(A)、H(B)分别可由下 i=0 面两个公式计算：由上两式可求取待检测图像的总信息熵为?(s)=H(A)+H(B)，当使?(s)取最大值时， 获得差分后图像二值化阈值TO; 最后，利用差分后图像二值化阈值TO将差分后的图像按下式做二值化处理，将得到的 二值化图像中每个像素点进行与操作，得到的对称差分二值图像，完成图像分割：5. 根据权利要求4所述的方法，其特征在于，采用SUSAN算法从步骤3)获取的分割图像 中提取大输液图像中的缺陷边缘，具体步骤如下： 利用掩膜来遍历对称差分二值图像中目标区域的每一个像素，并将掩膜中心像素点和 掩膜区域内每一个像素点做灰度值比较，记录灰度差值小于设定灰度差值阈值的像素点， 并将记录的像素点组成USAN区域； 掩膜内除中心点外所有像素点的像素值利用下式计算：ro是图像核所在的位置，r表示模板中其余点所处的位置，1(H))表示图像核心点的像素 值，I(r)表示图像模板中其它点的像素值； 然后利用下式来计算掩膜区域的USAN值：其中，（xq，yo)表示是当前掩膜中心点，（X，y)表示当前掩膜除中心点外的像素点，η为 USAN区域中像素个数，然后将与预设的USAN阀值相比较，并利用下式来获取可疑特征点，并 以特征点为中心，将特征点与其他的邻域内的8个点灰度值相比较，最大的被保留下来作为 最终的边缘点：其中，g = nmax/2是USAN阀值，nmax是η的最大值，取掩膜的3/4。6.根据权利要求5所述的方法，其特征在于，对于有噪声影响的图像，SUSAN阈值下限值 取2-10个像素。
【文档编号】G06T7/00GK105869154SQ201610176153
【公开日】2016年8月17日
【申请日】2016年3月28日
【发明人】张辉, 师统, 阮峰, 吴成中
【申请人】长沙理工大学