一种前景目标的提取方法和系统的制作方法
【专利摘要】本发明公开了一种前景目标的提取方法和系统，其通过预先在红外光源打开和关闭的情况下分别建立一个背景模型，然后在进行前景目标的提取，避免了背景的干扰，提高了图像处理的准确性；同时，通过对提取后的图像进行去噪处理，进一步提高了图像的清晰度，还在一定程度上保证提取前景目标的效率。
【专利说明】一种前景目标的提取方法和系统
【技术领域】
[0001]本发明涉及数字图像处理、机器视觉【技术领域】，尤其涉及一种利用亮灭交替的红外照明光源配合图像背景差分技术的前景目标的提取方法和系统。
【背景技术】
[0002]在进行数字图像处理时，我们常常需要使用红外摄像技术，以在图像中突出我们感兴趣的目标，而减小甚至去除不相关的背景的干扰。
[0003]例如，当我们需要在连续的图像帧序列中跟踪某个前景目标的运动时，我们当然希望图像中只存在该前景目标的影像，而不出现其余的不相关背景的影像，这样可以给后续的前景目标分割带来极大的便利:只需简单的二值化处理技术即可准确地将前景目标从图像中提取出来。然而，在实际进行红外摄像时，由于场景的复杂多变性，图像中很难完全避免背景的干扰，尤其是场景中的灯光、阳光等一般含有红外成分，会在图像中对前景目标的提取造成较大干扰。
[0004]有鉴于此，现有技术有待改进和提闻。
【发明内容】
[0005]鉴于现有技术中，不能有效地去除背景干扰的的不足，本发明目的在于提供一种前景目标的提取方法和系统。旨在解决现有技术中采用红外摄像技术提取前景目标时由于背景干扰而导致前景目标提取困难的问题。
[0006]本发明的技术方案如下:
一种前景目标的提取方法，其通过红外光源配合红外图像采集装置来实现，其中，所述提取方法包括以下步骤:
A、分别在红外光源点亮和熄灭时建立无前景目标的背景模型，即得到红外光源点亮时的背景模型M和红外光源熄灭时的背景模型N ；
B、红外图像采集装置进行图像采集，且红外图像采集装置每采集一帧图像，红外光源就切换一次亮灭状态，即得到红外光源点亮时的图像mm和红外光源熄灭时的图像nn，其中，mm和nn为相邻两巾贞图像；
C、对mm和M进行背景差分运算，得到红外光源点亮时的背景差分结果ml，即ml=abs (mm-M);对nn和N进行背景差分运算，得到红外光源熄灭时的背景差分结果nl，即nl=abs(nn-N);其中，所述abs O为取绝对值运算；
D、分别对ml和nl进行二值化处理，并对得到的二值化处理结果进行或运算处理，得到二值化图像P;
E、对二值化图像P进行去噪处理，即得到前景目标。
[0007]所述的前景目标的提取方法，其中，所述步骤A中，红外光源点亮时的背景模型M的建立采用以下步骤:
Al、在红外光源点亮时，通过红外图像采集装置连续采集多帧没有前景目标存在的背景图像，并对所采集的多帧图像的像素求平均值，得到红外光源点亮时的背景模型M ； 红外光源熄灭时的背景模型N的建立采用以下步骤:
A2、在红外光源熄灭时，通过红外图像采集装置连续采集多帧没有前景目标存在的背景图像，并对所采集的多帧图像的像素求平均值，得到红外光源点亮时的背景模型N。
[0008]所述的前景目标的提取方法，其中，所述步骤D中对ml进行二值化处理采用如下方式:
D1、预先设定一第一阈值，将ml图像中像素值大于第一阈值的像素设定为前景目标像
素；
在步骤D中对nl进行二值化处理采用如下方式:
D2、预先设定一第二阈值，将nl图像中像素值大于第二阈值的像素设定为前景目标像素。
[0009]所述的前景目标的提取方法，其中，所述步骤E中采用形态学开运算对二值化图像P进行去噪处理。
[0010]所述的前景目标的提取方法，其中，所述形态学开运算包括形态学腐蚀和形态学膨胀。
[0011]一种前景目标的提取系统，其中，所述系统包括:
建模单元，用于分别在红外光源点亮和熄灭时建立无前景目标的背景模型，即得到红外光源点亮时的背景模型M和红外光源熄灭时的背景模型N ；
图像采集单元，用于红外图像采集装置进行图像采集，且红外图像采集装置每采集一帧图像，红外光源就切换一次亮灭状态，即得到红外光源点亮时的图像_和红外光源熄灭时的图像nn,其中，mm和nn为相邻两巾贞图像；
差分运算单元，用于对_和M进行背景差分运算，得到红外光源点亮时的背景差分结果ml，即ml= abs (mm-M);对nn和N进行背景差分运算，得到红外光源熄灭时的背景差分结果nl,即nl= abs(nn-N);其中，所述abs O为取绝对值运算；
二值化及或运算处理单元，用于分别对ml和nl进行二值化处理，并对得到的二值化处理结果进行或运算处理，得到二值化图像P ;
去噪单元，用于对二值化图像P进行去噪处理，即得到前景目标。
[0012]所述的前景目标的提取系统，其中，所述红外图像采集装置上设置有与红外光源的发光波段相对应的带通滤光片。
[0013]所述的前景目标的提取系统，其中，所述红外图像采集装置为红外摄像头。
[0014]有益效果:
本申请的前景目标的提取方法和系统，其通过预先在红外光源打开和关闭的情况下分别建立一个背景模型，然后在进行前景目标的提取，避免了背景的干扰，提高了图像处理的准确性；同时，通过对提取后的图像进行去噪处理，进一步提高了图像的清晰度，还在一定程度上保证提取前景目标的效率。
【专利附图】
【附图说明】
[0015]图1为本发明的前景目标的提取方法的流程图。
[0016]图2为本发明的前景目标的提取方法中同步控制单元同步控制高帧率红外摄像头和红外照明光源的示意图。
[0017]图3为本发明的前景目标的提取方法的实施例中红外光源打开时的背景模型图像的不意图。
[0018]图4为本发明的前景目标的提取方法的实施例中红外光源关闭时的背景模型图像的不意图。
[0019]图5为本发明的前景目标的提取方法的实施例中在红外光源点亮时采集的图像的示意图。
[0020]图6为本发明的前景目标的提取方法的实施例中在红外光源熄灭时采集的图像的示意图。
[0021]图7为图5所示的图像进行背景差分运算后的图像的示意图。
[0022]图8为图6所示的图像进行背景差分运算后的图像的示意图。
[0023]图9为图7所示的图像进行二值化处理后的图像的示意图。
[0024]图10为图8所示的图像进行二值化处理后的图像的示意图。
[0025]图11为图9和图10所示的图像进行或运算后的整体二值化图像的示意图。
[0026]图12为图11所示的图像进行去噪处理后的图像的示意图。
[0027]图13为本发明的前景目标的提取系统的结构框图。
【具体实施方式】
[0028]本发明提供一种前景目标的提取方法和系统，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0029]请参阅图1，其为本发明的前景目标的提取方法的流程图。所述前景目标的提取方法通过红外光源配合红外图像采集装置来实现，如图所示，所述提取方法包括以下步骤:
51、分别在红外光源点亮和熄灭时建立无前景目标的背景模型，即得到红外光源点亮时的背景模型M和红外光源熄灭时的背景模型N ；
52、红外图像采集装置进行图像采集，且红外图像采集装置每采集一帧图像，红外光源就切换一次亮灭状态，即得到红外光源点亮时的图像mm和红外光源熄灭时的图像nn，其中，mm和nn为相邻两巾贞图像；
53、对mm和M进行背景差分运算，得到红外光源点亮时的背景差分结果ml，即ml=abs (mm-M);同样地，对nn和N进行背景差分运算，得到红外光源熄灭时的背景差分结果nl,即nl= abs(nn-N);其中，abs O为取绝对值运算；
54、分别对ml和nl进行二值化处理，并对得到的二值化处理结果进行或运算处理，得到二值化图像P;
55、对二值化图像P进行去噪处理，即得到前景目标。
[0030]下面分别针对上述步骤进行详细描述:
所述步骤SI为分别在红外光源点亮和熄灭时建立无前景目标的背景模型，即得到红外光源点亮时的背景模型M和红外光源熄灭时的背景模型N。因为在实际进行红外摄像时，背景的干扰(比如，场景中的灯光、阳光等)会在图像中对前景目标的提取造成较大干扰。故此，我们要预先建立无前景目标的背景模型。在本实施例中，其采用平均值的方式来建立，即分别通过以下步骤来实现:
S11、在红外光源点亮时，通过红外图像采集装置连续采集多帧没有前景目标存在的背景图像，并对所采集的多帧图像的像素求平均值以得到红外光源点亮时的背景模型M ;如下式所示: M= (II + 12 + 13 +...+ In) / n，其中II，12，13，…，In为光源打开时采集的η帧无前景目标的背景图像；
S12、在红外光源熄灭时，通过红外图像采集装置连续采集多帧没有前景目标存在的背景图像，并对所采集的多帧图像的像素求平均值以得到红外光源点亮时的背景模型N，如下式所示:
N= (J1 + J2 + J3 +…+ Jm) / m，其中J1，J2，J3，…，Jm为光源关闭时采集的m帧无前景目标的背景图像。
[0031]应当理解地是，建立背景模型的方法有许多种，也可以采用更复杂、更精确的背景建模方法得到背景模型。背景建模技术为数字图像处理领域的公知技术，此处不再赘述。
[0032]所述步骤S2为红外图像采集装置进行图像采集，且红外图像采集装置每采集一帧图像，红外光源就切换一次亮灭状态，即得到红外光源点亮时的图像_和红外光源熄灭时的图像nn,其中，mm和nn为相邻两帧图像。在本实施例中,所述红外图像采集装置为高帧率红外摄像头，红外光源可发出某个波段的红外光用于照明，而高帧率红外摄像头的镜头应覆有与红外照明光源的发光波段相对应的带通滤光片，即只允许与红外照明光源处于相同波段的光通过摄像头成像，其余波段的光被截止。此外，还需要一个同步控制单元来同步控制高帧率红外摄像头的曝光和红外照明光源(即红外光源)的亮灭，如图2所示。高帧率红外摄像头每采集一帧图像，红外照明光源就切换一次亮灭状态，这样，摄像头采集的连续图像帧就对应着红外照明光源的亮灭交替状态，即第一帧图像在红外光源点亮时采集，第二帧图像在红外光源熄灭时采集，第三帧图像在红外光源点亮时采集……以此类推。从而得到红外光源点亮时的图像mm和红外光源熄灭时的图像nn,其中，mm和nn为相邻两中贞图像。
[0033]所述步骤S3为对mm和M进行背景差分运算，得到红外光源点亮时的背景差分结果ml ;对1111和N进行背景差分运算，得到红外光源熄灭时的背景差分结果nl，ml=abs (mm-M), nl= abs (nn-N);其中，所述abs ()为取绝对值运算。
[0034]所述步骤S4为分别对ml和nl进行二值化处理，并对得到的二值化处理结果进行或运算处理，得到二值化图像P。在本实施例中，对ml进行二值化处理采用如下方式:预先设定一第一阈值，将ml图像中像素值大于第一阈值的像素设定为前景目标像素，否则为背景像素；同样地，对nl进行二值化处理采用如下方式:预先设定一第二阈值，将nl图像中像素值大于第二阈值的像素设定为前景目标像素。其中，所述第一、第二阈值可以手动设置，也可以采用自适应阈值。然后，对二值化处理结果进行或运算，得到二值化图像P。即对于图像中某一位置，二值化处理结果中任意一个为前景目标，即为前景目标。
[0035]所述步骤S5为对二值化图像P进行去噪处理，即得到前景目标。所述去噪处理的方式有多种，在本实施例中，通过形态学开运算来实现。其具体步骤可以参见下面的具体实施例。
[0036]下面通过一具体的实施例来详细说明上述前景目标提取方法。首先，建立无前景目标的背景模型，请参阅图3和图4，其分别为红外光源打开时的背景模型图像gO和红外光源关闭时的背景模型图像gC。在图3的下方可以看到由于打开了红外照明光源，距离摄像头较近处的背景物体得以在图像中呈现出来；而在图4的下方则看不出该背景物体的存在，因为这时的红外照明光源处于关闭状态。
[0037]然后，对高帧率红外摄像头采集的图像进行前景目标分割。即高帧率红外摄像头每采集一帧图像，红外照明光源就切换一次亮灭状态，摄像头采集的连续图像帧对应着红外照明光源的亮灭交替状态。以该方法采集的相邻两帧图像如图5、图6所示。图5为在红外照明光源点亮时采集的图像，需要分割出来的前景目标为手，其余的较亮部分为背景干扰，这些背景干扰包括摄像场景中的灯管所发的光，以及距离摄像头较近处的背景物体等，由于这些干扰的存在，我们无法简单的利用常规的阈值分割技术将手的主体部分分割出来；图6为在红外照明光源熄灭时采集的图像，由于红外光源熄灭，手所在区域呈现出一片黑暗，距离摄像头较近处的背景物体也变得不可见了，而灯光背景干扰依然存在，只是灯管的一部分由于手指的遮挡而呈现黑暗。接下来需要对图5所示的光源点亮时的图像--和光源点亮时的背景模型图像gO进行背景差分运算，同样，也需要对图6所示的光源熄灭时的图像fC和光源熄灭时的背景模型图像gC进行背景差分运算，如下式所示:
d0 = abs(f0 - gO)；
dC = abs(fC - gC)；
其中，abs(.)为取绝对值运算，d0和dC分别为光源点亮和熄灭时的背景差分结果，附图7所不为d0的图像，附图8所不为dC的图像。
[0038]接着，对d0和dC进行二值化处理，即分别设定两个阈值TO和TC，并将d0图像中像素值大于TO的像素设定为前景目标像素，否则为背景像素，同样地，将dC图像中像素值大于TC的像素设定为前景目标像素，否则为背景像素，二值化处理如下式所示:
【权利要求】
1.一种前景目标的提取方法，其通过红外光源配合红外图像采集装置来实现，其特征在于，所述提取方法包括以下步骤: A、分别在红外光源点亮和熄灭时建立无前景目标的背景模型，即得到红外光源点亮时的背景模型M和红外光源熄灭时的背景模型N ； B、红外图像采集装置进行图像采集，且红外图像采集装置每采集一帧图像，红外光源就切换一次亮灭状态，即得到红外光源点亮时的图像mm和红外光源熄灭时的图像nn，其中，mm和nn为相邻两帧图像； C、对mm和M进行背景差分运算，得到红外光源点亮时的背景差分结果ml，即ml=abs (mm-M);对nn和N进行背景差分运算，得到红外光源熄灭时的背景差分结果nl，即nl=abs(nn-N);其中，所述abs O为取绝对值运算； D、分别对ml和nl进行二值化处理，并对得到的二值化处理结果进行或运算处理，得到二值化图像P; E、对二值化图像P进行去噪处理，即得到前景目标。
2.根据权利要求1所述的前景目标的提取方法，其特征在于，所述步骤A中，红外光源点亮时的背景模型M的建立采用以下步骤: Al、在红外光源点亮时，通过红外图像采集装置连续采集多帧没有前景目标存在的背景图像，并对所采集的多 帧图像的像素求平均值，得到红外光源点亮时的背景模型M ;红外光源熄灭时的背景模型N的建立采用以下步骤: A2、在红外光源熄灭时，通过红外图像采集装置连续采集多帧没有前景目标存在的背景图像，并对所采集的多帧图像的像素求平均值，得到红外光源点亮时的背景模型N。
3.根据权利要求1所述的前景目标的提取方法，其特征在于，所述步骤D中对ml进行二值化处理采用如下方式: D1、预先设定一第一阈值，将ml图像中像素值大于第一阈值的像素设定为前景目标像素； 在步骤D中对nl进行二值化处理采用如下方式: D2、预先设定一第二阈值，将nl图像中像素值大于第二阈值的像素设定为前景目标像素。
4.根据权利要求1所述的前景目标的提取方法，其特征在于，所述步骤E中采用形态学开运算对二值化图像P进行去噪处理。
5.根据权利要求4所述的前景目标的提取方法，其特征在于，所述形态学开运算包括形态学腐蚀和形态学膨胀。
6.一种前景目标的提取系统，其特征在于，所述系统包括: 建模单元，用于分别在红外光源点亮和熄灭时建立无前景目标的背景模型，即得到红外光源点亮时的背景模型M和红外光源熄灭时的背景模型N ； 图像采集单元，用于红外图像采集装置进行图像采集，且红外图像采集装置每采集一帧图像，红外光源就切换一次亮灭状态，即得到红外光源点亮时的图像_和红外光源熄灭时的图像nn,其中，mm和nn为相邻两帧图像； 差分运算单元，用于对_和M进行背景差分运算，得到红外光源点亮时的背景差分结果ml，即ml= abs (mm-M);对nn和N进行背景差分运算，得到红外光源熄灭时的背景差分结果nl,即nl= abs(nn-N);其中，所述abs O为取绝对值运算； 二值化及或运算处理单元，用于分别对ml和nl进行二值化处理，并对得到的二值化处理结果进行或运算处理，得到二值化图像P ; 去噪单元，用于对二值化图像P进行去噪处理，即得到前景目标。
7.根据权利要求6所述的前景目标的提取系统，其特征在于，所述红外图像采集装置上设置有与红外光源的发光波段相对应的带通滤光片。
8.根据权利要求6所述的前景目标的提取系统，其特征在于，所述红外图像采集装置为红外摄像头。
9.根据权利要求6所述的前景目标的提取系统，其特征在于，所述红外图像采集装置和红外光源均与一同步控制 单元连接。
【文档编号】G06T7/00GK103544693SQ201310124658
【公开日】2014年1月29日 申请日期:2013年4月11日 优先权日:2013年4月11日
【发明者】陈永洒, 邵诗强 申请人:Tcl集团股份有限公司