基于动态背景建模的油烟图像处理方法与流程

本发明涉及厨房油烟处理技术领域，特别是涉及一种基于动态背景建模的油烟图像处理方法。

背景技术：

厨房是居家必备的配置之一，厨房油烟处理的效果直接影响人们的生活品质。现有技术中，针对厨房油烟浓度的检测，主要有红外投射法和物理检测法。红外投射法通过一端发射红外光，另一端进行接收，通过接收到的红外光强度来判断油烟浓度大小。但是，由于油烟飘散具有不确定性，实际中还会存在人手遮挡等干扰，故，需在不同位置安装多个红外发射器才能保证油烟检测的相对准确，成本较高，对安装位置要求也较高。物理检测法类似于烟雾报警器的原理，通过检测空气中漂浮颗粒数来判断油烟浓度，但此法有两个缺点，一是必须当油烟接触到报警器时才能进行检测，不能实现远距离检测；二是当空气中飘浮的不是油烟而是水雾时就无法检测。

油烟图像浓度判断的关键在于对油烟图像的处理效果。图像分割是指根据相似和均匀的准则将图像分为互相不重叠、本身相连的图像组元的过程，是从图像处理到图像分析的关键步骤，图像分割质量的好坏，很大程度决定着后续图像分析的效果。现阶段对油烟图像的分割处理主要以手工进行，这种分割方法不仅效率低而且容易受到干扰出现标错的情况。

由于厨房油烟飘忽不定，而且容易受到手臂、锅铲等干扰，图像分割的难度在于不能找到合适的参照图片进行比对，无法得到准确的油烟区域信息。

因此，针对现有技术不足，提供一种基于动态背景建模的油烟图像处理方法以克服现有技术不足甚为必要。

技术实现要素：

本发明的目的在于避免现有技术的不足之处而提供一种基于动态背景建模的油烟图像处理方法，能够对灶台油烟进行动态背景建模，进行分割得到油烟区域，具有油烟区域信息准确的特点。

本发明的目的之一通过以下技术措施实现。

提供一种基于动态背景建模的油烟图像处理方法，油烟机的视觉成像模块对灶台目标区域s进行连续成像，并将成像图片发送至处理模块，处理模块将所接收的成像图片进行帧列标记，建立动态背景模型图像，将待进行油烟分割的当前成像图片与对应的动态背景模型图像进行处理，分割出当前成像图片中的油烟区域。

优选的，所述的基于动态背景建模的油烟图像处理方法，处理模块将所接收的成像图片进行帧列标记具体是：按照成像时刻和帧序对成像图片进行标记，第y帧成像图片p对应的成像时刻是ty、对应的帧序是y，y为自然数；

待进行油烟处理的成像图片对应的帧序是η，建立动态背景模型图像所采用的背景建模采样图像的数量为f，动态背景模型图像m的序号为ψ，ψ为大于等于f的自然数，η为大于等于ψ的自然数，f为自然数，f为大于3的自然数；

处理模块建立动态背景模型图像的过程如下：

s1，选择第1至f帧成像图片作为背景建模采样图像组，选取背景建模采样图像中每个像素点处的灰度最小值，得到背景模型图像mψ，ψ＝f；

s2，判断η-ψ的差值是否大于1，如果是，则进入步骤s4，如果η-ψ的差值等于1，则进入步骤s3；

s3，以背景模型图像mψ作为与当前成像图片对应的背景模型图像；

s4，令ψ＝ψ+1，进入步骤s5；

s5，选择f帧成像图片作为背景建模采样图像组，所选择的f帧成像图片的帧序为ψ、ψ-1、......、ψ-f+1，选取背景建模采样图像中每个像素点处的灰度最小值，得到背景模型图像mψ；

s6，返回步骤s2。

优选的，所述的基于动态背景建模的油烟图像处理方法，背景建模采样图像组包括背景建模采样图像b1、背景建模采样图像b2、......、背景建模采样图像bf；

背景建模采样图像b1为第ψ帧成像图片，背景建模采样图像b2为第ψ-1帧成像图片，......，背景建模采样图像bf为第ψ-f+1帧成像图片；或者

背景建模采样图像b1为第1帧成像图片，背景建模采样图像b2为第2帧成像图片，......，背景建模采样图像bf为第f帧成像图片；

每帧成像图片p由m*n个像素构成，成像图片p的像素灰度值以矩阵ph表示，ph＝{phi,j}，phi,j代表成像图片p中第i行、第j列像素对应的灰度值，m、n均为自然数，1≤i≤m，1≤j≤n；

背景建模采样图像b1的像素灰度值以矩阵b1h表示，b1h＝{b1hi,j}，b1hi,j代表背景建模采样图像b1中第i行、第j列像素对应的灰度值；

背景建模采样图像b2的像素灰度值以矩阵b2h表示，b2h＝{b2hi,j}，b2hi,j代表背景建模采样图像b2中第i行、第j列像素对应的灰度值；

......

背景建模采样图像bf的像素灰度值以矩阵bfh表示，bfh＝{bfhi,j}，bfhi,j代表背景建模采样图像bf中第i行、第j列像素对应的灰度值；

背景模型图像m的像素灰度值以矩阵mh表示，mh＝{mhi,j}，mhi,j代表背背景模型图像m中第i行、第j列像素对应的灰度值；

mhi,j＝min(b1hi,j、b2hi,j、......、bfhi,j)。

优选的，f大于等于8小于等于100。

优选的，f小于等于20。

优选的，f等于10。

优选的，将待进行油烟分割的当前成像图片与动态背景模型图像进行处理，分割出当前成像图片中的油烟区域，具体步骤过程如下：

(1)将当前成像图片与对应的背景模型图像mψ进行帧差处理得到帧差图像，η-ψ＝1；

(2)以开运算方式对帧差图像进行去噪处理，得到去噪图像；

(3)对去噪图像进行边缘检测，标记运动区域作为初始感兴趣区域；

(4)对初始感兴趣区域进行灰度均值计算和区域平滑度计算，将同时满足灰度均值和平滑度要求的区域作为油烟区域，其它的区域作为干扰排除。

优选的，步骤(1)中，进行帧差操作得到帧差图像具体是：将当前成像图片与对应的背景模型图像mψ做差，得到动态区域高亮的帧差图像；

所述步骤(2)对帧差图像采用开运算进行去噪处理，得到去噪图像，具体通过如下方式进行：先对帧差图像进行腐蚀操作，以消除图像中的噪点和细小尖刺，断开窄小的连接；再对腐蚀后的图像进行膨胀操作，恢复原帧差图像中的明显特征；

所述步骤(3)对去噪图像进行边缘检测，标记运动区域作为初始感兴趣区域，具体是：利用小波变换，检测帧差图像高亮区域的边缘并进行标记，将标记出的区域作为初始感兴趣区域；

所述步骤(4)具体是对每个初始感兴趣区域进行灰度均值、区域平滑度计算，得到每个初始感兴趣区域对应的灰度均值和灰度平滑度，将同时满足计算得到的灰度均值小于灰度阈值、灰度平滑度小于灰度平滑度阈值的初始感兴趣区域作为感兴趣区域，将其它初始感兴趣区域判定为干扰区域。

优选的，当前成像图片以当前成像图片a表示，当前成像图片a的像素的灰度值以矩阵ah表示，ah＝{ahi,j}，ahi,j代表前成像图片a中第i行、第j列像素对应的灰度值；当前成像图片a中第i行、第j列像素所在的子区域为asi,j；

背景模型图像m的像素灰度值以矩阵mh表示，mh＝{mhi,j}，mhi,j代表背背景模型图像m中第i行、第j列像素对应的灰度值，背景模型图像m中第i行、第j列像素所在的子区域为msi,j；

帧差图像d的像素灰度值以矩阵dh表示，dh＝{dhi,j}＝{|ahi,j-mhi,j|}，dhi,j代表帧差图像d中第i行、第j列像素对应的灰度值，帧差图像d中第i行、第j列像素所在的子区域为dsi,j；

在帧差图像中，|dhi,j|＝0的区域，呈黑色；|dhi,j|≠0的区域呈高亮显示；

步骤(2)中对帧差图像进行腐蚀操作，具体包括如下步骤：

2-11，任意定义一个卷积核α；

2-12，将卷积核α与帧差图像进行卷积；在卷积核α遍历帧差图像时，提取卷积核所覆盖区域内卷积结果的像素灰度最小值x以及与卷积核中心重合的像素点c；

像素点c的灰度通过矩阵ch＝{ck,q}表示，k、q为像素点c的行序号和列序号，

获得在卷积核α遍历帧差图像过程中得到的卷积结果最小值像素点矩阵x，最小值像素点矩阵x的灰度通过矩阵xh＝{xk,q}表示；

2-13将像素点矩阵x的灰度对应覆予像素点c，得到腐蚀图像；

步骤(2)中对腐蚀图像进行膨胀操作，具体包括如下步骤：

2-21，任意定义一个卷积核β；

2-22，将卷积核β与腐蚀图像进行卷积；在卷积核β遍历腐蚀图像时，提取卷积核所覆盖区域内卷积结果的像素灰度最大值o以及与卷积核中心重合的像素点r；

像素点r的灰度通过矩阵rh＝{rl,v}表示，l、v为像素点r的行序号和列序号，

获得在卷积核β遍历腐蚀图像过程中得到的卷积结果最大值像素点矩阵o，最大值像素点矩阵o的灰度通过矩阵oh＝{ol,v}表示；

2-13将最大值像素点矩阵o的灰度对应覆予像素点r，得到膨胀图像，得到的膨胀图像即为去噪图像；

所述步骤(3)通过如下步骤进行：

3-1，定义一个滤波器y，滤波器为t*t矩阵，t为奇数；

3-2，使滤波器y遍历去噪图像，计算滤波器在每一位置处的中心像素点所在的去噪图像的灰度值以及中心像素点邻域内其它像素点的灰度值，并根据公式(ⅰ)计算滤波器在每一位置处的中心像素点的边缘检测值wz，z为滤波器y遍历去噪图像时的标记，

f、g为为像素点的矩阵序号，1≤f≤t，1≤g≤t，e为滤波器在每一位置处的像素点所在的去噪图像的灰度值；γ为权重系数，与滤波器位置相对应；

3-3，将滤波器在每一位置处的中心像素点边缘检测值wz与中心像素点邻域的其它像素点的灰度值相减，并判断差值的绝对值是否大于阈值δ；

统计大于阈值的数量，如果数量超过判定滤波器所处位置的中心像素点对应的去噪图像的像素点位置为边缘点，并进行标记；

3-4，滤波器遍历完整个去噪图像，得到所有标记的边缘点，获得初始感兴趣区域。

优选的，t为3；所述步骤(4)中，灰度阈值为5-70，灰度平滑度阈值为0.05。

本发明的基于动态背景建模的油烟图像处理方法，油烟机的视觉成像模块对灶台目标区域s进行连续成像，并将成像图片发送至处理模块，处理模块将所接收的成像图片进行帧列标记，建立动态背景模型图像，将待进行油烟分割的当前成像图片与对应的动态背景模型图像进行处理，分割出当前成像图片中的油烟区域。本发明能够对灶台油烟进行动态背景建模，进行分割得到油烟区域，几乎不受检测距离的影响，通过算法对图像进行处理，排除人手及锅铲运动的干扰，得到准确的油烟区域，具有油烟区域信息准确的特点。

说明书附图

利用附图对本发明作进一步的说明，但附图中的内容不构成对本发明的任何限制。

图1是通过本发明基于油烟图像处理的动态背景建模方法分割的油烟区域示意图。

图2是本发明方法的油烟机的结构示意图。

具体实施方式

结合以下实施例对本发明作进一步说明。

实施例1。

一种基于动态背景建模的油烟图像处理方法，油烟机的视觉成像模块对灶台目标区域s进行连续成像，并将成像图片发送至处理模块，处理模块将所接收的成像图片进行帧列标记，建立动态背景模型图像，将待进行油烟分割的当前成像图片与对应的动态背景模型图像进行处理，分割出当前成像图片中的油烟区域。

处理模块将所接收的成像图片进行帧列标记具体是：按照成像时刻和帧序对成像图片进行标记，第y帧成像图片p对应的成像时刻是ty、对应的帧序是y，y为自然数。

待进行油烟处理的成像图片对应的帧序是η，建立动态背景模型图像所采用的背景建模采样图像的数量为f，动态背景模型图像m的序号为ψ，ψ为大于等于f的自然数，η为大于等于ψ的自然数，f为自然数，f为大于3的自然数。f的取值以大于等于8小于等于100为优，以小于等于20更佳。多选f等于10，既能兼顾样品的信息，又能兼顾运算量。

处理模块建立动态背景模型图像的过程如下：

s1，选择第1至f帧成像图片作为背景建模采样图像组，选取背景建模采样图像中每个像素点处的灰度最小值，得到背景模型图像mψ，ψ＝f；

s2，判断η-ψ的差值是否大于1，如果是，则进入步骤s4，如果η-ψ的差值等于1，则进入步骤s3；

s3，以背景模型图像mψ作为与当前成像图片对应的背景模型图像；

s4，令ψ＝ψ+1，进入步骤s5；

s5，选择f帧成像图片作为背景建模采样图像组，所选择的f帧成像图片的帧序为ψ、ψ-1、......、ψ-f+1，选取背景建模采样图像中每个像素点处的灰度最小值，得到背景模型图像mψ；

s6，返回步骤s2。

背景建模采样图像组包括背景建模采样图像b1、背景建模采样图像b2、......、背景建模采样图像bf；

背景建模采样图像b1为第ψ帧成像图片，背景建模采样图像b2为第ψ-1帧成像图片，......，背景建模采样图像bf为第ψ-f+1帧成像图片；或者

背景建模采样图像b1为第1帧成像图片，背景建模采样图像b2为第2帧成像图片，......，背景建模采样图像bf为第f帧成像图片；

每帧成像图片p由m*n个像素构成，成像图片p的像素灰度值以矩阵ph表示，ph＝{phi,j}，phi,j代表成像图片p中第i行、第j列像素对应的灰度值，m、n均为自然数，1≤i≤m，1≤j≤n；

背景建模采样图像b1的像素灰度值以矩阵b1h表示，b1h＝{b1hi,j}，b1hi,j代表背景建模采样图像b1中第i行、第j列像素对应的灰度值；

背景建模采样图像b2的像素灰度值以矩阵b2h表示，b2h＝{b2hi,j}，b2hi,j代表背景建模采样图像b2中第i行、第j列像素对应的灰度值；

......

背景建模采样图像bf的像素灰度值以矩阵bfh表示，bfh＝{bfhi,j}，bfhi,j代表背景建模采样图像bf中第i行、第j列像素对应的灰度值；

背景模型图像m的像素灰度值以矩阵mh表示，mh＝{mhi,j}，mhi,j代表背背景模型图像m中第i行、第j列像素对应的灰度值；

mhi,j＝min(b1hi,j、b2hi,j、......、bfhi,j)。

本发明将待进行油烟分割的当前成像图片与动态背景模型图像进行处理，分割出当前成像图片中的油烟区域，具体步骤过程如下：

(1)将当前成像图片与对应的背景模型图像mψ进行帧差处理得到帧差图像，η-ψ＝1；

(2)以开运算方式对帧差图像进行去噪处理，得到去噪图像；

(3)对去噪图像进行边缘检测，标记运动区域作为初始感兴趣区域；

(4)对初始感兴趣区域进行灰度均值计算和区域平滑度计算，将同时满足灰度均值和平滑度要求的区域作为油烟区域，其它的区域作为干扰排除。

步骤(1)中，进行帧差操作得到帧差图像具体是：将当前成像图片与对应的背景模型图像mψ做差，得到动态区域高亮的帧差图像。

步骤(2)对帧差图像采用开运算进行去噪处理，得到去噪图像，具体通过如下方式进行：先对帧差图像进行腐蚀操作，以消除图像中的噪点和细小尖刺，断开窄小的连接；再对腐蚀后的图像进行膨胀操作，恢复原帧差图像中的明显特征。

步骤(3)对去噪图像进行边缘检测，标记运动区域作为初始感兴趣区域，具体是：利用小波变换，检测帧差图像高亮区域的边缘并进行标记，将标记出的区域作为初始感兴趣区域。

步骤(4)具体是对每个初始感兴趣区域进行灰度均值、区域平滑度计算，得到每个初始感兴趣区域对应的灰度均值和灰度平滑度，将同时满足计算得到的灰度均值小于灰度阈值、灰度平滑度小于灰度平滑度阈值的初始感兴趣区域作为感兴趣区域，将其它初始感兴趣区域判定为干扰区域。

具体的，当前成像图片以当前成像图片a表示，当前成像图片a的像素的灰度值以矩阵ah表示，ah＝{ahi,j}，ahi,j代表前成像图片a中第i行、第j列像素对应的灰度值；当前成像图片a中第i行、第j列像素所在的子区域为asi,j；

背景模型图像m的像素灰度值以矩阵mh表示，mh＝{mhi,j}，mhi,j代表背背景模型图像m中第i行、第j列像素对应的灰度值，背景模型图像m中第i行、第j列像素所在的子区域为msi,j；

帧差图像d的像素灰度值以矩阵dh表示，dh＝{dhi,j}＝{|ahi,j-mhi,j|}，dhi,j代表帧差图像d中第i行、第j列像素对应的灰度值，帧差图像d中第i行、第j列像素所在的子区域为dsi,j；

在帧差图像中，|dhi,j|＝0的区域，呈黑色；|dhi,j|≠0的区域呈高亮显示。

由于前后两帧图像中静态区域是不变的，动态区域(例如油烟飘散，人手挥动等)是变化的，所以帧差后静态区域呈现黑色，动态区域帧差后表现为边缘模糊的高亮区域，故通过帧差可以得到动态区域高亮的帧差图像。

步骤(2)中对帧差图像进行腐蚀操作，具体包括如下步骤：

2-11，任意定义一个卷积核α；

2-12，将卷积核α与帧差图像进行卷积；在卷积核α遍历帧差图像时，提取卷积核所覆盖区域内卷积结果的像素灰度最小值x以及与卷积核中心重合的像素点c；

像素点c的灰度通过矩阵ch＝{ck,q}表示，k、q为像素点c的行序号和列序号，

获得在卷积核α遍历帧差图像过程中得到的卷积结果最小值像素点矩阵x，最小值像素点矩阵x的灰度通过矩阵xh＝{xk,q}表示；

2-13将像素点矩阵x的灰度对应覆予像素点c，得到腐蚀图像。

步骤(2)中对腐蚀图像进行膨胀操作，具体包括如下步骤：

2-21，任意定义一个卷积核β；

2-22，将卷积核β与腐蚀图像进行卷积；在卷积核β遍历腐蚀图像时，提取卷积核所覆盖区域内卷积结果的像素灰度最大值o以及与卷积核中心重合的像素点r；

像素点r的灰度通过矩阵rh＝{rl,v}表示，l、v为像素点r的行序号和列序号，

获得在卷积核β遍历腐蚀图像过程中得到的卷积结果最大值像素点矩阵o，最大值像素点矩阵o的灰度通过矩阵oh＝{ol,v}表示；

2-13将最大值像素点矩阵o的灰度对应覆予像素点r，得到膨胀图像，得到的膨胀图像即为去噪图像。

利用开运算可以消除图像噪点，在纤细点处分离物体，平滑较大的物体边界，同时也可保证原来图像中高亮区域的面积基本不变，保证后续检测的准确性不受影响。

由于图像边缘的灰度值与相邻像素点的灰度值会产生较大的灰度值梯度，根据边缘的这一特征，设定一个滤波器，用该滤波器遍历帧差图像。所述步骤(3)通过如下步骤进行：

3-1，定义一个滤波器y，滤波器为t*t矩阵，t为奇数；

3-2，使滤波器y遍历去噪图像，计算滤波器在每一位置处的中心像素点所在的去噪图像的灰度值以及中心像素点邻域内其它像素点的灰度值，并根据公式(ⅰ)计算滤波器在每一位置处的中心像素点的边缘检测值wz，z为滤波器y遍历去噪图像时的标记，

f、g为为像素点的矩阵序号，1≤f≤t，1≤g≤t，e为滤波器在每一位置处的像素点所在的去噪图像的灰度值；γ为权重系数，与滤波器位置相对应；

3-3，将滤波器在每一位置处的中心像素点边缘检测值wz与中心像素点邻域的其它像素点的灰度值相减，并判断差值的绝对值是否大于阈值δ；

统计大于阈值的数量，如果数量超过判定滤波器所处位置的中心像素点对应的去噪图像的像素点位置为边缘点，并进行标记；优选t为3；

3-4，滤波器遍历完整个去噪图像，得到所有标记的边缘点，获得初始感兴趣区域。

因为人在做菜操作时，手会一直在挥动，帧差完之后的图像中会包含油烟和人手操作等运动物体的干扰区域，在进行油烟浓度识别之前需要排除干扰区域的影响，这也是本发明专利的难点所在。

但是油烟的运动方向具有随机性，人手，锅铲的运动方向相对明确，且特征相差较大，从而：

1)帧差后的图像上油烟运动区域比人手、锅铲运动区域的亮度低，所以相应的油烟区域的灰度值均值也低于人手、锅铲运动区域的灰度均值；

2)帧差后的图像上油烟运动区域的灰度值分布较集中，而人手、锅铲的运动区域边界的灰度值较区域的中心区域跳跃较大，所以该区域的图像不够平滑，对应的灰度值的方差较大。

利用这两个特性，步骤(4)具体是对每个初始感兴趣区域进行灰度均值、区域平滑度计算，得到每个初始感兴趣区域对应的灰度均值和灰度平滑度，将同时满足计算得到的灰度均值小于灰度阈值、灰度平滑度小于灰度平滑度阈值的初始感兴趣区域作为感兴趣区域，将其它初始感兴趣区域判定为干扰区域。

步骤(4)中，灰度阈值优选为5-70，灰度平滑度阈值为0.05。需要说明的是，灰度阈值、灰度平滑度阈值的量值可以根据具体需要灵活设置，在此不再赘述。步骤(4)完成油烟区域的识别和干扰区域的排除。

图1示意了一个利用本发明的方法分割的油烟区域和干扰区域的示意图，可见，本发明的方法能够将干扰区域有效排除。

本发明的基于动态背景建模的油烟图像处理方法，能够对灶台油烟进行动态背景建模，进行分割得到油烟区域，几乎不受检测距离的影响，通过算法对图像进行处理，排除人手及锅铲运动的干扰，得到准确的油烟区域，具有油烟区域信息准确的特点。

实施例2。

本实施例是基于实施例1动态背景建模方法的油烟机，其结构如图2所示，烟机主体100设置有：

视觉成像模块，对灶台目标区域进行连续成像，并将成像图片发送至处理模块；

处理模块，接收视觉成像模块发送的成像图片并对成像图片进行处理，处理模块采用实施例1的方法将所接收的成像图片进行帧列标记，建立动态背景模型图像，将待进行油烟分割的当前成像图片与对应的动态背景模型图像进行处理，分割出当前成像图片中的油烟区域。

具体的，视觉成像模块设置有相机200，相机200内置于烟机主体100的壳体，且相机200的镜头正对灶台400目标区域，相机200的输出端与处理模块电连接。相机200用于对灶台400区域进行拍摄成像，并将所拍摄的图片发送至处理模块进行处理。

为了确保成像质量，视觉成像模块还设置有红外补光灯300，红外补光灯300的照射区域覆盖相机200的成像视野范围，红外补光灯300固定于烟机主体100的壳体，且红外补光灯300分布于相机200的两侧位置。红外灯的设置，可在相机200成像时对成像区域进行照射，红外补光灯300可以让烟雾特征更佳明显，在视觉中更容易检测。没有红外补光灯300照射条件下烟雾特征不明显。红外补光灯300的通断通过继电器控制，继电器与处理模块电连接并通过处理模块控制。红外补光灯的波长范围为900-960nm，处理模块可采用stm32芯片，也可以采用其它型号的芯片。

相机200装配有防水、防雾、防烟镜片及防模糊玻璃，避免实际使用中烟罩上方的水汽、油烟对相机200造成影响，方模糊玻璃能够确保相机200在不同环境下都能够有效成像。

此外，烟机主体100外壳也设置有防尘、防水、防油功能层，使烟机主体100在使用中不受到烟、尘、水雾的影响。

本发明的其油烟机，以待处理成像图片之前的多帧成像图片为对象建立背景模型图像，能够及时根据烟雾情况建立背景模型图像，为油烟图像提供了相对准确的比对对象，将待进行油烟分割的当前成像图片与对应的动态背景模型图像进行处理，分割出当前成像图片中的油烟区域。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。