基于Facet方向导数的药液异物检测方法及系统与流程

本申请属于医药图像处理领域，尤其涉及基于Facet方向导数的药液异物检测方法及系统。

背景技术：

在药剂的生产过程中，生产环境、工艺以及封装技术等因素都会影响药剂的质量，混入一些来源不同的细小不溶性异物杂质，会污染药品，给患者的生命健康造成严重危害。因此制药企业都会有质量检测环节，瓶装液体质量检测大都采用旋转-急停的方式使瓶中异物运动旋转，采集实时图像，利用机器视觉的方法来判断液体中是否存在异物，这种方法可以实现低成本、高效率、高准确率地检测可见异物，而视觉检测效果会严重影响这项技术。

在药液可见异物检测中，主要的思想是利用多帧图像异物的运动信息，如帧差法、背景消除法以及神经网络分割等方法，这些方法都存在各自的优缺点，帧差法主要用于静止背景，背景消减法对序列前景有限定，神经网络分割的效果比较依赖模型参数的设置。然而，旋转-急停的可见异物检测时，普遍使用夹持装置夹持瓶体，容易造成其与输液瓶存在一定程度的抖动，因此导致帧差法及背景建模等方法很难消除夹持装置、瓶壁刻度、划痕等干扰，而且后续还要辅以多帧目标轨迹来确认目标，相比单帧检测类算法，这种多帧检测类算法的实时性较差。因此，针对多帧检测类算法的缺陷，有必要提供一种应用于药液异物提取的单帧图像检测方法。

技术实现要素：

有鉴于此，本申请提供了一种基于Facet方向导数的药液异物检测方法及系统，通过计算单帧图像感兴趣区域的Facet方向导数特征，可以快速准确地分离气泡、异物与背景，有效地消除瓶壁刻度、划痕等干扰，检测到可见异物。

一种基于Facet方向导数的药液异物检测方法，包括以下步骤：

获取药剂图像，基于所述药剂图像对应的有效待检测区域提取ROI图像；

根据Facet模型获取所述ROI图像的特征点信息，计算单帧药剂图像对应的不同方向的Facet方向导数；

将不同方向的Facet方向导数进行融合，计算方向导数显著图；

将所述方向导数显著图进行自适应阈值二值化分割，得到分割图像；

遍历所述分割图像，对所述分割图像进行孔洞填充与连通区域面积分割处理，识别出非连通点，进而分离出可见异物。

优选的，基于所述药剂图像对应的有效待检测区域提取ROI图像的方法为：

输入药剂图像I(x,y)，根据公式与分别计算行幅值累加曲线和列幅值累加曲线；

设定行、列幅值累加曲线的阈值，进行阈值分割；

求取曲线的最小值，确定边界区域；

其中，上下左右边界点ytop、ybottom、xleft、xright分别为：坐标(i,j)在X、Y轴方向的极大坐标值为m、n，即0＜x≤m，0＜y≤n。

根据边界区域，设定图像感兴趣的有效待检测区域，提取ROI图像；计算函数如下：

IROI＝I(x,y)xleft+Δx＜x＜xright-Δx,ybottom-Δy＜y＜ytop+Δy

其中，Δx,Δy为分别表示x、y方向缩减边界长度，即x∈(xleft+Δx,xright-Δx)，y∈(ybottom-Δy,ytop+Δy)。

优选的，计算单帧药剂图像对应的不同方向的Facet方向导数的方法为：

对ROI图像中任意像素(x,y)，根据Facet区域灰度拟合多项式：

f(r,c)＝K1+K2r+K3c+K4r²+K5rc+K6c²+K7r³+K8r²c+K9rc²+K10c³

在极坐标下求取一阶方向导数fα′(ρ)，求取Facet方向导数特征图；

其中，Ki(i＝1,2,…,10)是拟合系数，Ki＝IROI*wi，为ROI图像IROI与滤波器wi的卷积，拟合区域大小取5×5，(r,c)为该Facet区域的坐标，ρ为极坐标。

优选的，方向导数显著图的计算方法为：

根据公式：

S＝|f′α_1|+|f′α_2|+|f′α_3|+|f′α_4|+...+|f′α_i|

融合各方向导数f′α_i；其中，S表示方向导数显著图，i表示计算方向数，i为任意整数值。

优选的，将计算方向数i取值为4时，求取α为0°、90°、45°、-45°四个方向的一阶方向特征矩阵，得到Facet方向导数f′0、f′90、f′45和f′-45；融合计算得到方向导数显著图S，即S＝|f′0|+|f′90|+|f′45|+|f′-45|。

优选的，将方向导数显著图S进行自适应阈值二值化分割的方法为：

根据灰度信息设定方向导数显著图S的自适应阈值th；

根据自适用阈值th，将方向导数显著图S进行图像分割，得到分割图像Ti，即Ei为灰度值。

本申请还提供了一种药液异物检测系统，包括：

一个或多个处理器；

存储器；以及一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，其中所述一个或多个程序包括用于执行以下操作的指令：

获得包括机器可读码的ROI图像；

处理所述ROI图像，计算单帧药剂图像对应的不同方向的Facet方向导数；

融合不同方向的Facet方向导数，计算方向导数显著图；

自适应阈值二值化以及孔洞填充处理所述方向导数显著图；

提取连通分量，计算每个连通分量的像素数。

与现有技术相比，本申请的优点和积极效果在于：

本申请提供了一种药液异物检测方法及系统，将Facet方向导数理论应用于药液单帧图像中，并进行改进，使其适用于可见异物检测，将异物、气泡与背景很好地分离开来，提取可见异物。本申请通过计算单帧图像感兴趣区域的Facet方向导数特征，有效确定可见异物和气泡等特征点，然后将不同方向的Facet方向导数进行融合，可以有效增强可见异物和气泡，抑制瓶壁刻度、划痕等干扰，快速分离前景与背景，然后通过自适应阈值分割以及孔洞填充、连通区域提取等处理，分离输出可见异物。与传统的人工检测方式相比，本申请检测结果稳定，准确性高。同时，本申请采用单帧检测技术，相较与多帧检测技术，简单有效，实时性高，易于实际应用。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请的药液异物检测方法的流程图；

图2为本申请实施例提供的药剂图像；

图3a为本申请实施例提供的药剂图像行幅值累加曲线；

图3b为本申请实施例提供的药剂图像列幅值累加曲线；

图4为本申请实施例提供的药剂ROI图像；

图5a为本申请实施例中α＝0°时的Facet方向导数特征；

图5b为本申请实施例中α＝90°时的Facet方向导数特征；

图5c为本申请实施例中α＝45°时的Facet方向导数特征；

图5d为本申请实施例中α＝-45°时的Facet方向导数特征；

图6为本申请实施例提供的Facet方向导数特征融合图；

图7为本申请实施例提供的可见异物检测图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一路的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含一系列步骤或单元的过程、方法或系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

参考图1所示，本申请将Facet方向导数理论合理地应用于药液单帧图像中，提供了一种基于Facet方向导数的药液异物检测方法，具体包括以下步骤：

(1)获取药剂图像，基于所述药剂图像对应的有效待检测区域提取ROI图像。

参考图2所示，图2为本实施例中提供的药剂图像，采用旋转-急停的方式使瓶中异物运动旋转，采集实时图像。

①输入药剂图像I(x,y)，图像大小为m×n，根据公式与分别计算行幅值累加曲线和列幅值累加曲线。

②设定行、列幅值累加曲线的阈值，进行阈值分割，根据曲线的最小值，确定药瓶的瓶壁与液面边界，确定图像的边界区域；

如图3a与图3b所示，上下左右边界点ytop、ybottom、xleft、xright分别为：坐标(i,j)在X、Y轴方向的极大坐标值为m、n，即0＜x≤m，0＜y≤n。

③根据边界区域，设定图像感兴趣的有效待检测区域，提取ROI图像；如图4所示，图4为本实施例提供的药剂ROI图像。

计算函数如下：

IROI＝I(x,y)|xleft+Δx＜x＜xright-Δx,ytop+Δy＜y＜ybottom-Δy

其中，Δx,Δy为正整数，表示缩减边界长度，以保证ROI图像不包含瓶壁和液面区域。

(2)根据Facet模型获取ROI图像的特征点信息，计算单帧药剂图像对应的不同方向的Facet方向导数。

图4为本实施例提供的药剂ROI图像，为含有多种大小和不同属性的典型特征的BMP图像，作为测试特征点检测的原始图像。为了将特征点从背景中监测出，本申请中通过建立药剂ROI图像的Facet模型，采用二阶方向导数的极大值来表示特征点与背景的差异。Facet模型运用分段的思想，在以某个像素为中心的规则区域内找到最佳逼近该临域强度值的解析函数，Facet模型局部邻域R×C上的图像表面灰度强度可以由区域灰度拟合多项式表述：

f(r,c)＝K1+K2r+K3c+K4r²+K5rc+K6c²+K7r³+K8r²c+K9rc²+K10c³

其中，R和C为ROI图像中某个像素(r,c)的对称邻域，r∈R,c∈C，Ki(i＝1,2,…,10)是拟合系数，Ki＝IROI*wi，为ROI图像IROI与滤波器wi的卷积。f(r,c)在极坐标下变换，求取一阶方向导数f′α(ρ)，即可计算单帧图像的Facet方向导数。其中，Ki(i＝1,2,…,10)是拟合系数，Ki＝IROI*wi，为ROI图像IROI与滤波器wi的卷积，拟合区域大小取5×5，(r,c)为该Facet区域的坐标，ρ为极坐标。

实际计算Ki的算法的复杂度高，考虑到二维离散正交多项式的向量积可以分解为两个方向的一维正交多项式的向量积，并且高于三阶函数基可以被忽略，因此采用二维正交多项式表达拟合曲面f(r,c)，以减少运算量。

具体的，本实施例中针对图像任一个像素(x,y)，其所在邻域进行具体阐述，另R＝{-2 -1 0 1 2}，C＝{-2 -1 0 1 2}，对每个像素形成的邻域，像素点(x,y)在这个5×5邻域对应中心点(0,0)，则f(r,c)用二元三次多项式拟合其灰度强度曲面可以表示为：

Facet模型在0o、90o以及任意α角度方向的一阶导数为：

f′0＝K3-2K8-3.4K10

f′90＝K2-2K9-3.4K7

根据正交特性可以求出任意角度方向的一阶导数：

f′α＝f′0×cosα+f′90×sinα

本实施例中Facet方向导数特征图的计算方向数具体采用四方向，计算0°、90°、45°、-45°四个方向的方向导数特征图。

由于拟合系数Ki＝IROI*wi，为ROI图像IROI与滤波器wi的卷积，且滤波器wi为：

分别计算α为0°、90°、45°、-45°四个方向的一阶方向特征矩阵，得到Facet方向导数特征图f′0、f′90、f′45和f′-45分别为：

f′0＝K3-2K8-3.4K10

f′90＝K2-2K9-3.4K7

并将其归一化到[-1,1]区间，得到Facet方向导数特征图，如图5a、图5b、图5c、图5d所示。

(3)将不同方向的Facet方向导数进行融合，计算方向导数显著图。

将方向导数特征图f′0、f′90、f′45和f′-45进行融合，计算公式为：

S＝|f′0|+|f′90|+|f′45|+|f′-45|

得到方向导数显著图S，如图6所示，图6为本申请实施例提供的Facet方向导数特征融合图。

本实施例中通过计算单帧图像感兴趣区域的Facet方向导数特征，可以有效确定特征点(即可见异物或气泡等)，然后进行融合，可以有效增强特征点的特性，进而提取可见异物和气泡，抑制瓶壁刻度、划痕等干扰，快速分离前景与背景。

(4)将方向导数显著图S进行自适应阈值二值化分割，得到分割图像Ti。

根据灰度信息设定方向导数显著图S的自适应阈值th；

根据自适用阈值th，将方向导数显著图S进行图像分割，得到分割图像Ti，即Ei为灰度值。

(5)遍历分割图像，对分割图像进行孔洞填充以及连通区域面积分割处理，识别非连通点，分离输出可见异物，图7为本实施例中最终的可见异物检测图。

具体的，先选取十字形结构作为结构元；接着生成一个由0组成的阵列X，大小与二值图像Ti相同，随机选取Ti中一个灰度值为1的点，将X中相应位置的灰度值也设置为1；多次迭代，直到Ti不再变化，就停止迭代；最后对Ti和X求并集则得到了填充的图像Ti'。

找到Ti'中灰度值为1的点，把第一个点作为初始点，迭代计算，得到该点所在的连通分量，将该连通分量存储在图像B中，并计算图像B中的像素数；接着用Ti'与B相减后作为Ti'，再对Ti'重复以上操作，则可以找到图像Ti'中的所有连通分量，并计算每个连通分量的像素数。

遍历方向导数显著图S，确定方向导数显著图S中的连通区域，识别出非连通点，即为气泡点或异物。

本实施例通过孔洞填充、连通区域提取的方式对Facet方向导数特征融合图进一步处理，去除气泡，最终分离输出可见异物。与传统的人工检测方式相比，本申请检测结果稳定，准确性高。同时，本申请采用单帧检测技术，相较与多帧检测技术，简单有效，实时性高，易于实际应用。值得注意的是，本申请对Facet方向导数特征融合图的处理并非仅限于自适应阈值分割以及孔洞填充、连通区域等图像处理方式。

本申请还提供了一种药液异物检测系统，检测系统具体可通过CCD图像传感器对图像信息进行采集。系统设置有一个或多个处理器；包括前端光学系统，图像采集模块，模数转换模块，Flash程序存储模块，DSP图像处理模块，SDRAM数据存储模块，图像显示模块，以及后端PC机等。根据不同的应用要求，可以进行具体模块的设置。其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，执行以下操作的指令：获得包括机器可读码的ROI图像；处理ROI图像，计算单帧药剂图像对应的不同方向的Facet方向导数；融合不同方向的Facet方向导数，计算方向导数显著图；自适应阈值二值化以及孔洞填充处理所述方向导数显著图；提取连通分量，计算每个连通分量的像素数。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。