运动阴影消除方法及装置和智能视频分析系统的制作方法
【专利摘要】本发明公开了一种运动阴影消除方法及装置和一种智能视频分析系统，用以消除智能视频分析检测的前景图像中运动目标的阴影，提高智能视频分析的准确性。本发明提供的运动阴影消除方法，包括：根据当前帧图像特征，判断当前帧图像的场景类型；根据所述场景类型，确定当前帧图像的阴影方向；根据所述场景类型和所述当前帧图像的阴影方向，检测并标注当前帧图像的运动目标区域的阴影部分；根据所述场景类型，消除所述阴影部分，从前景图像中提取消除阴影后的运动目标。
【专利说明】运动阴影消除方法及装置和智能视频分析系统
【技术领域】
[0001]本发明涉及智能视频监控领域，尤其涉及一种运动阴影消除方法及装置和一种智能视频分析系统。
【背景技术】
[0002]智能视频分析是利用计算机视觉技术，对输入的视频图像进行处理和分析，目的是为了检测出感兴趣的运动目标，并对其进行目标分类(人、车等)、目标跟踪和后续一系列行为判定，从而进行预警或事后查询。智能视频分析已广泛应用于银行、交通等多种监控场所。
[0003]运动目标的检测是智能视频分析的一个重要基础，在实际监控场景中，由于各种灯光和日照的影响，使目标运动引起的阴影被误检为运动目标，降低了后续处理环节中的准确性，造成虚警。
[0004]通常情况下，智能视频分析系统实现步骤包括:
[0005]对输入视频进行背景建模，输出背景图像。在检测过程中，背景图像不断学习，更新以适应场景的变化；
[0006]背景图像输出后，将当前帧图像与背景图像进行比较，得到前景图像。对前景图像进行形态学滤波，标记当前帧运动目标；
[0007]对运动目标进行实时跟踪，获取运动目标在各帧图像中的坐标位置和状态；
[0008]根据运动目标的信息进行目标分类，归属人、车等；
[0009]根据运动目标的跟踪和分类等信息，对其行为进行分析判断。
[0010]智能视频分析系统实现的具体流程图如图1所示。
[0011]目前已有关于阴影的检测与消除的技术，比如利用图像的色度信息进行阴影的检测、基于模型的方法等，但是均存在一些不足:
[0012]利用图像的色度信息进行阴影的检测，对于目标与阴影颜色相近时无法进行有效处理；同时需要输入三个通道图像数据，方法实现需要占用较多内存空间；
[0013]基于模型的方法，计算复杂，不适合实时监控系统；
[0014]图像清晰度、光线变化和对比度均会对阴影检测产生影响，现有方面没有全面考虑场景信息。
【发明内容】
[0015]本发明公开了一种运动阴影消除方法及装置，用以消除智能视频分析中前景图像中运动目标的阴影，提高智能视频分析的准确性。
[0016]本发明实施例提供的一种运动阴影消除方法，包括:
[0017]根据当前帧图像特征，判断当前帧图像的场景类型；
[0018]根据所述场景类型，确定当前帧图像的阴影方向；
[0019]根据所述场景类型和所述当前帧图像的阴影方向，确定并标注当前帧图像运动目标区域的阴影部分；
[0020]根据所述场景类型，消除所述阴影部分，从前景图像中提取消除阴影后的运动目标。
[0021]本发明实施例提供的一种运动阴影消除装置，包括:
[0022]场景类型判断单元，用于根据当前帧图像特征，判断当前帧图像的场景类型；
[0023]当前帧图像的阴影方向确定单元，根据所述场景类型，确定当前帧图像的阴影方向；
[0024]阴影部分检测单元，用于根据所述场景类型和所述当前帧图像的阴影方向，确定并标注当前帧图像运动目标区域的阴影部分；
[0025]阴影部分消除单元，用于根据所述场景类型，消除所述阴影部分，从前景图像中提取消除阴影后的运动目标。
[0026]本发明实施例提供的一种智能视频分析系统，包括上述运动阴影消除装置。
[0027]本发明实施例提供的运动阴影消除方法及装置和一种智能视频分析系统，应用在常用的背景建模进和运动目标检测的基础上，可有效从前景图像中去除阴影部分，提取出感兴趣的运动目标，提高后续处理和分析的准确性。
【专利附图】
【附图说明】
[0028]图1为现有智能视频分析流程示意图；
[0029]图2为本发明实施例提供的一种运动阴影消除方法流程示意图；
[0030]图3为本发明实施例中所述当前帧图像场景类型判断方法流程示意图；
[0031]图4为本发明实施例中所述确定当前帧图像的阴影方向的方法流程示意图；
[0032]图5为本发明实施例中所述确定运动目标的阴影方向的方法流程示意图；
[0033]图6为本发明实施例中所述阴影部分的检测流程示意图；
[0034]图7为本发明实施例中当当前帧图像的场景类型为第二或第四场景类型时所述阴影部分的切割流程示意图；
[0035]图8为本发明实施例提供的一种运动阴影消除装置的结构示意图。
【具体实施方式】
[0036]本发明提供了一种运动阴影消除方法及装置和一种智能视频分析系统，用以消除智能视频分析中前景图像中运动目标的阴影，提高智能视频分析的准确性。
[0037]通常情况下，智能视频分析系统在获取运动目标前，实现步骤包括:
[0038]对输入视频进行背景建模，输出背景图像。在检测过程中，背景图像不断学习，更新以适应场景的变化；
[0039]背景图像输出后，将当前帧图像与背景图像进行比较，得到前景图像，对前景图像进行形态学滤波，检测出当前帧运动目标。
[0040]本发明提供的对运动目标的阴影的消除实施方法，是在此常用的背景建模和运动目标检测的基础上增加的。
[0041]下面结合附图，对本发明实施例提供的运动阴影消除方法及装置和智能视频分析系统进行说明。[0042]参见图2，本发明实施例提供的运动阴影消除方法，包括:
[0043]步骤S101，根据当前帧图像的特征，判断当前帧图像的场景类型；
[0044]步骤S102，根据所述场景类型，确定当前帧图像的阴影方向；
[0045]步骤S103，根据所述场景类型和所述当前帧图像的阴影方向，确定并标注当前帧图像的运动目标区域的阴影部分；
[0046]步骤S104，根据所述场景类型，消除所述阴影部分，并从前景图像中提取消除阴影后的运动目标。
[0047]较佳地，在步骤SlOl中，所述根据当前帧图像的特征，判断当前帧图像的场景类型，具体包括以下步骤:
[0048]滤除当前帧图像低频部分，提取其高频部分，并将所述高频分量均值作为当前帧图像的对比度数值b;
[0049]当前帧图像和背景图像的非运动目标区域的亮度均值，计算当前帧图像相对于背景图像的亮度均值变化m;
[0050]根据所述对比度数值b和所述亮度均值变化m，判断当前帧图像的场景类型。
[0051]较佳地，所述根据所述对比度数值b和所述亮度均值变化m，判断当前帧图像的场景类型，具体包括:
[0052]所述对比度数值b大于预先设置的阈值Th且所述亮度均值变化m小于预先设置的阈值Tg时，判定当前帧图像的场景类型为第一场景类型；
[0053]所述对比度数值b小于预先设置的阈值Th且所述亮度均值变化m小于预先设置的阈值Tg时，判定当前帧图像的场景类型为第二场景类型；
[0054]所述对比度数值b大于预先设置的阈值Th且所述亮度均值变化m大于预先设置的阈值Tg，判定当前帧图像的场景类型为第三场景类型；
[0055]所述对比度数值b小于预先设置的阈值Th且所述亮度均值变化m大于预先设置的阈值Tg，判定当前帧图像的场景类型为第四场景类型。
[0056]将S设置为场景信息，则上述分类可以表述为:
第一场景类型，b > ThJLm < Tg
第二场景类型，b < ThSLm < Tg
[0057]^^ ,其中b为对比度数值，m为亮度均值变
弟二场景类型，b > 且w > Tg
第四场景类型，b < ThSun > Tg化。
[0058]下面对步骤SlOl的具体实施步骤进行详细描述，参见图3所示的流程图，包括:
[0059]步骤S201，计算对比度数值，即滤除当前帧图像低频部分，提取其高频部分，并将所述高频分量均值作为当前帧图像的对比度数值b ;
[0060]步骤S202，分别统计当前帧图像和背景图像的非运动目标区域的亮度均值，计算当前帧图像相对于背景图像的亮度均值变化m ;
[0061]步骤S203，判断b是否大于预先设置的阈值Th，若是，则进行步骤S204，若为否，则进行步骤S205 ；
[0062]步骤S204，判断m是否小于预先设置的阈值Tg，若是，则当前帧图像的场景类型为第一场景类型，若为否，则当前帧图像的场景类型为第二场景类型；
[0063]步骤S205，判断m是否小于预先设置的阈值Tg，若是，则当前图像的场景类型为第三场景类型，若为否，则当前帧图像的场景类型为第四场景类型。
[0064]下面结合附图，对步骤S102进行说明。
[0065]较佳地，在步骤S102中，所述根据所述场景类型，确定当前帧图像的阴影方向，参见图4所示的流程图，具体步骤包括:
[0066]步骤S301，根据当前帧图像的场景类型，利用当前帧图像的运动目标区域的重心位置和运动目标区域的中心位置，确定当前帧图像的运动目标的阴影方向；
[0067]步骤S302，将确定的每一帧图像的每一所述运动目标的阴影方向的个数进行统计，当其中一个阴影方向所含的运动目标的个数达到预先设置的阈值时，将该所含运动目标的个数达到预先设置的阈值的阴影方向作为当前帧图像的阴影方向；其中，
[0068]若当前帧图像的场景类型为第三场景类型或第四场景类型时，统计清零，并将确定的当前帧图像的每一所述运动目标的阴影方向的个数进行统计，当其中一个阴影方向所含的运动目标的个数最多时，将该所含的运动目标的个数最多的阴影方向作为当前帧图像的阴影方向。
[0069]较佳地，在步骤步骤S301中，根据当前帧图像的场景类型，利用当前帧图像的运动目标区域的重心位置和运动目标区域的中心位置，确定当前帧图像的运动目标的阴影方向，参见图5，具体步骤包括:
[0070]步骤S401，计算运动目标区域的重心位置；
[0071]步骤S402，将运·动目标区域的重心位置与运动目标区域的中心位置对比，根据预先设置的多个阴影方向的区间，确定运动目标的阴影方向。
[0072]其中，在步骤S401中，
[0073]当当前帧图像的场景类型为第一场景类型或第三场景类型，则根据运动目标区域的灰度值计算重心位置；
[0074]当当前帧图像的场景类型为第二场景类型或第四场景类型，则根据运动目标区域的梯度值计算重心位置；
[0075]运功目标区域的重心计算公式如下:
[0076]ΜρΛ =ΣΙ(Χ^*ΧΡ)；<!
area
[0077]xavg = M10/M00 且 yavg = M01/M00
[0078]其中，I (x，y)为运动目标区域中各像素点灰度值或梯度值，Xavg和Yavg为重心坐标位置，P为O或I, q为O或I, M代表灰度值或梯度值。
[0079]其中，在步骤S402中，
[0080]预先设置多个阴影方向的区间，具体例如，以运动目标区域的中心点位置为中心，按照角度区间确定N个阴影方向，N—般取8或者12 ；
[0081]将运动目标区域的重心位置与中心位置对比，判断该重心位置属于哪一个阴影方向的角度区间，并将该角度区间所属阴影方向确定为运动目标的阴影方向。
[0082]下面结合附图对步骤S103进行说明。
[0083]较佳地，在步骤S103中，所述根据所述场景类型和所述阴影方向，检测并标注运动目标区域的阴影部分，参见图6，具体步骤包括:
[0084]步骤S501，获取运功目标区域的灰度值或梯度值分别在水平方向和垂直方向的直方图；
[0085]步骤S502，沿所述当前帧图像的阴影方向，从运动目标区域边缘向运动目标区域中心位置计算上述直方图的变化；
[0086]步骤S503，当上述直方图的变化大于预先设置的阈值Ts时，将此时的位置判定为切割点，并将此切割点与运动目标区域边缘之间的部分均标记为阴影部分。
[0087]较佳地，在步骤S501中，
[0088]当当前帧图像的场景类型为第一场景类型或第三场景类型时，选用运动目标区域的灰度值分别在水平方向和垂直方向进行投影，输出水平方向和垂直方向的直方图；
[0089]当当前帧图像的场景类型为第二场景类型或第四场景类型时，选用运动目标区域的梯度值分别在水平方向和垂直方向进行投影，输出水平方向和垂直方向的直方图。
[0090]下面结合附图对步骤S104进行说明。
[0091]较佳地，在步骤S104中，所述根据所述场景类型，消除所述阴影部分，并提取消除阴影后的运动目标，具体包括:
[0092]若当前帧图像的场景类型为第一场景类型或第三场景类型，将所述阴影部分切割消除，并将阴影部分对应的前景图像对应的数值设置为零，输出消除阴影后的运动目标；
[0093]若当前帧图像的场景类型为第二场景类型或第四场景类型，沿所述当前帧图像的阴影方向，从运动目标区域边缘向运动目标区域的中心位置分别逐行和逐列进行切割，输出输出消除阴影后的运动目标。
`[0094]较佳地，若当前帧图像的场景类型为第二场景类型或第四场景类型，所述从运动目标区域边缘沿阴影方向向运动目标区域的中心位置分别逐行和逐列进行切割的【具体实施方式】包括:
[0095]以点为单位，计算前景图像梯度与背景图像梯度的相似度，当所述相似度高于预先设置的阈值Tx时确定为阴影点；
[0096]分别对所述阴影部分的行和列进行阴影点数统计，判断整行或整列是否为阴影行或阴影列；
[0097]将所述阴影行或阴影列切割，在遇到非阴影行或阴影列时结束切割，输出消除阴影后的运动目标。参见图7所示的流程图，具体步骤如下:
[0098]步骤S601，确定阴影点。即以点为单位，计算前景图像梯度与背景图像梯度的相似度，当所述相似度高于预先设置的阈值Tx时确定为阴影点；
[0099]步骤S602，分别对所述阴影部分的行和列进行阴影点数统计，判断整行或整列是否为阴影行或阴影列，若是，则继续步骤S603，若为否，则继续步骤S604 ;
[0100]步骤S603，将所述阴影行或阴影列切割；
[0101]步骤S604，输出消除阴影后的运动目标。
[0102]下面对本发明实施例提供的一种运动阴影消除装置进行说明.[0103]参见图8所示的结构图，该运动阴影消除装置包括:
[0104]场景类型判断单元Z101，用于根据当前帧图像的特征，判断当前帧图像的场景类型；[0105]当前帧图像的阴影方向确定单元Z102，用于根据所述场景类型，确定当前帧图像的阴影方向；
[0106]阴影部分检测单元Z103，用于根据所述场景类型和所述当前帧图像的阴影方向，确定并标注当前帧图像运动目标区域的阴影部分；
[0107]阴影部分消除单元Z104，用于根据所述场景类型，消除所述阴影部分，并从前景图像中提取消除阴影后的运动目标。
[0108]较佳地，所述场景类型判断单元Z101，具体用于:
[0109]滤除当前帧图像低频部分，提取其高频部分，并将所述高频分量均值作为当前帧图像的对比度数值；
[0110]分别统计当前帧图像和背景图像的非运动目标区域的亮度均值，计算当前帧图像相对于背景图像的亮度均值变化；
[0111]根据所述对比度数值和所述亮度均值变化，判断当前帧图像的场景类型。
[0112]较佳地，所述场景类型判断单元ZlOl预先设置阈值Th和阈值Tg，具体用于:
[0113]所述对比度数值大于预先设置的阈值Th且所述亮度均值变化小于预先设置的阈值Tg时，判定当前帧图像的场景类型为第一场景类型；
[0114]所述对比度数值小于预先设置的阈值Th且所述亮度均值变化小于预先设置的阈值Tg时，判定当前帧图像的场景类型为第二场景类型；
[0115]所述对比度数值大于预先设置的阈值Th且所述亮度均值变化大于预先设置的阈值Tg，判定当前帧图像的场景类型为第三场景类型；
[0116]所述对比度数值小于预先设置的阈值Th且所述亮度均值变化大于预先设置的阈值Tg，判定当前帧图像的场景类型为第四场景类型。
[0117]较佳地，所述当前帧图像的阴影方向确定单元Z102，具体用于:
[0118]根据当前帧图像的场景类型，利用当前帧图像的运动目标区域的重心位置和运动目标区域的中心位置，确定当前帧图像的运动目标的阴影方向；
[0119]将确定的每一帧图像的每一所述运动目标的阴影方向的个数进行统计，当其中一个阴影方向所含的运动目标的个数达到预先设置的阈值时，将该所含运动目标的个数达到预先设置的阈值的阴影方向作为当前帧图像的阴影方向；其中，
[0120]若当前帧图像的场景类型为第三场景类型或第四场景类型时，统计清零，并将确定的当前帧图像的每一所述运动目标的阴影方向的个数进行统计，当其中一个阴影方向所含的运动目标的个数最多时，将该所含的运动目标的个数最多的阴影方向作为当前帧图像的阴影方向。
[0121]较佳地，所述当前帧图像的阴影方向确定单元Z102当根据当前帧图像的场景类型，利用当前帧图像的运动目标区域的重心位置和运动目标区域的中心位置，确定当前帧图像的运动目标的阴影方向时，具体还用于:
[0122]计算运动目标区域的重心位置；其中，
[0123]若当前帧图像的场景类型为第一场景类型或第三场景类型，则根据运动目标区域的灰度值计算重心位置；
[0124]若当前帧图像的场景类型为第二场景类型或第四场景类型，则根据运动目标区域的梯度值计算重心位置；[0125]将运动目标区域的重心位置与运动目标区域的中心位置对比，根据预先设置的多个阴影方向的区间，确定运动目标的阴影方向。
[0126]较佳地，所述阴影部分检测单元Z103，具体用于:
[0127]获取运功目标区域的灰度值或梯度值分别在水平方向和垂直方向的直方图；其中，
[0128]当当前帧图像的场景类型为第一场景类型或第三场景类型时，选用运动目标区域的灰度值分别在水平方向和垂直方向进行投影，输出水平方向和垂直方向的直方图；
[0129]当当前帧图像的场景类型为第二场景类型或第四场景类型时，选用运动目标区域的梯度值分别在水平方向和垂直方向进行投影，输出水平方向和垂直方向的直方图；
[0130]沿所述当前帧图像的阴影方向，从运动目标区域边缘向运动目标区域中心位置计算上述直方图的变化；
[0131]当上述直方图的变化大于预先设置的阈值Ts时，将此时的位置判定为切割点，并将此切割点与运动目标区域边缘之间的部分均标记为阴影部分。
[0132]较佳地，所述阴影部分消除单元Z104，包括:
[0133]第一阴影部分消除子单元，用于当当前帧图像的场景类型为第一场景类型或第三场景类型时，将所述阴影部分切割消除，并将阴影部分对应的前景图像设置为零，输出消除阴影后的运动目标；
[0134]第二阴影部分消除子单元，用于当当前帧图像的场景类型为第二场景类型或第四场景类型时，沿所述当前帧图像的阴影方向，从运动目标区域边缘向运动目标区域的中心位置分别逐行和逐列进行切割。
[0135]较佳地，当当前帧图像的场景类型为第二场景类型或第四场景类型时，所述第二阴影部分消除子单元包括:
[0136]阴影点统计模块，用于以点为单位，计算前景图像梯度与背景图像梯度的相似度，当所述相似度高于预先设置的阈值Tx时确定为阴影点；
[0137]阴影行或阴影列判断模块，用于分别对所述阴影部分的行和列进行阴影点数统计，判断整行或整列是否为阴影行或阴影列；
[0138]运动目标输出模块，用于当连续为阴影行或阴影列时，将所述阴影行或阴影列切害I]，在遇到非阴影行或阴影列时结束切割，输出消除阴影后的运动目标。
[0139]本发明实施例提供的一种智能视频分析系统，包括上述的运动阴影消除装置。
[0140]综上所述，本发明实施例提供的运动阴影消除方法及装置和一种智能视频分析系统，应用在常用的背景建模进和运动目标检测的基础上，可有效从前景图像中去除阴影部分，提取出感兴趣的运动目标，提高后续处理和分析的准确性。本发明仅仅基于图像亮度分量进行计算，且算法简单，适合实时的智能视频分析系统应用。本发明分析了当前监控场景的图像特征，从而可以根据图像信息采用不同的方法来获取阴影方向和区域等相关信息，使算法鲁棒性更强，能自动适应多种监控场景，准确进行阴影的分割，消除运动阴影，提取出有效运动目标，为智能视频分析后续环节提供更为准确的目标信息。
[0141]本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0142]本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0143]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0144]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0145]显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
【权利要求】
1.一种运动阴影消除方法，其特征在于，该方法包括: 根据当前帧图像特征，判断当前帧图像的场景类型； 根据所述场景类型，确定当前帧图像的阴影方向； 根据所述场景类型和所述当前帧图像的阴影方向，确定并标注当前帧图像运动目标区域的阴影部分； 根据所述场景类型，消除所述阴影部分，从前景图像中提取消除阴影后的运动目标。
2.根据权利要求1所述的运动阴影消除方法，其特征在于，所述根据当前帧图像特征，判断当前帧图像的场景类型，具体包括以下步骤: 滤除当前帧图像低频部分，提取其高频部分，并将高频分量均值作为当前帧图像的对比度数值； 分别统计当前帧图像和背景图像的非运动目标区域的亮度均值，计算当前帧图像相对于背景图像的亮度均值变化； 根据所述对比度数值和所述亮度均值变化，判断当前帧图像的场景类型。
3.根据权利要求2所述的运动阴影消除方法，其特征在于，所述根据所述对比度数值和所述亮度均值变化，判断当前帧图像的场景类型，具体包括: 所述对比度数值大于预先设置的阈值Th且所述亮度均值变化小于预先设置的阈值Tg时，判定当前帧图像的场景类型为第一场景类型； 所述对比度数值小于预先设置的阈值Th且所述亮度均值变化小于预先设置的阈值Tg时，判定当前帧图像的场景类型为第二场景类型； 所述对比度数值大于预先设置的阈值Th且所述亮度均值变化大于预先设置的阈值Tg，判定当前帧图像的场景类型为第三场景类型； 所述对比度数值小于预先设置的阈值Th且所述亮度均值变化大于预先设置的阈值Tg，判定当前帧图像的场景类型为第四场景类型。
4.根据权利要求3所述的运动阴影消除方法，其特征在于，所述根据所述场景类型，确定当前帧图像的阴影方向，具体包括以下步骤: 根据当前帧图像的场景类型，利用当前帧图像的运动目标区域的重心位置和运动目标区域的中心位置，确定当前帧图像的运动目标的阴影方向； 将确定的每一帧图像的每一所述运动目标的阴影方向的个数进行统计，当其中一个阴影方向所含的运动目标的个数达到预先设置的阈值时，将该所含运动目标的个数达到预先设置的阈值的阴影方向作为当前帧图像的阴影方向；其中， 若当前帧图像的场景类型为第三场景类型或第四场景类型时，统计清零，并将确定的当前帧图像的每一所述运动目标的阴影方向的个数进行统计，当其中一个阴影方向所含的运动目标的个数最多时，将该所含的运动目标的个数最多的阴影方向作为当前帧图像的阴影方向。
5.根据权利要求4所述的运动阴影消除方法，其特征在于，所述根据当前帧图像的场景类型，利用 当前帧图像的运动目标区域的重心位置和运动目标区域的中心位置，确定当前帧图像的运动目标的阴影方向，包括: 计算运动目标区域的重心位置；其中， 若当前帧图像的场景类型为第一场景类型或第三场景类型，则根据运动目标区域的灰度值计算重心位置； 若当前帧图像的场景类型为第二场景类型或第四场景类型，则根据运动目标区域的梯度值计算重心位置； 将运动目标区域的重心位置与运动目标区域的中心位置对比，根据预先设置的多个阴影方向的区间，确定运动目标的阴影方向。
6.根据权利要求5所述的运动阴影消除方法，其特征在于，所述根据所述场景类型和所述当前帧图像的阴影方向，确定并标注当前帧图像的阴影部分，具体包括以下步骤: 获取当前帧图像的运功目标区域的灰度值或梯度值分别在水平方向和垂直方向的直方图；其中， 当当前帧图像的场景类型为第一场景类型或第三场景类型时，选用运动目标区域的灰度值分别在水平方向和垂直方向进行投影，输出水平方向和垂直方向的直方图； 当当前帧图像的场景类型为第二场景类型或第四场景类型时，选用运动目标区域的梯度值分别在水平方向和垂直方向进行投影，输出水平方向和垂直方向的直方图； 沿所述当前帧图像的阴影方向，从运动目标区域边缘向运动目标区域中心位置计算上述直方图的变化； 当上述直方图的变化大于预先设置的阈值Ts时，将此时的位置判定为切割点，并将此切割点与运动目标区域边缘之间的部分均标记为阴影部分。
7.根据权利要求3所述的运动阴影消除方法，其特征在于，所述根据所述场景类型，消除所述阴影部分，并提取消除阴影后的运动目标，具体包括以下步骤: 若当前帧图像的场景类型为第一场景类型或第三场景类型，将所述阴影部分切割消除，并将阴影部分对应的前景图像对应的数值设置为零，输出消除阴影后的运动目标； 若当前帧图像的场景类型为第二场景类型或第四场景类型，沿所述当前帧图像的阴影方向，从运动目标区域边缘向运动目标区域的中心位置分别逐行和逐列进行切割，输出消除阴影后的运动目标。
8.根据权利要求7所述的运动阴影消除方法，其特征在于，若当前帧图像的场景类型为第二场景类型或第四场景类型，沿所述当前帧图像的阴影方向，从运动目标区域边缘向运动目标区域的中心位置分别逐行和逐列进行切割，具体步骤包括: 以像素点为单位，计算前景图像梯度与背景图像梯度的相似度，当所述相似度高于预先设置的阈值Tx时确定为阴影点； 分别对所述阴影部分的行和列进行阴影点数统计，判断整行或整列是否为阴影行或阴影列； 将所述阴影行或阴影列切割，在遇到非阴影行或阴影列时结束切割，输出消除阴影后的运动目标。
9.一种运动阴影消除装置，其特征在于，所述装置包括: 场景类型判断单元，用于根据当前帧图像特征，判断当前帧图像的场景类型； 当前帧图像的阴影方向确定单元，根据所述场景类型，确定当前帧图像的阴影方向；阴影部分检测单元，用于根据所述场景类型和所述当前帧图像的阴影方向，确定并标注当前帧图像运动目标区域的阴影部分； 阴影部分消除单元，用于根据所述场景类型，消除所述阴影部分，从前景图像中提取消除阴影后的运动目标。
10.根据权利要求9所述的运动阴影消除装置，其特征在于，所述场景类型判断单元，具体用于: 滤除当前帧图像低频部分，提取其高频部分，并将所述高频分量均值作为当前帧图像的对比度数值； 分别统计当前帧图像和背景图像的非运动目标区域的亮度均值，计算当前帧图像相对于背景图像的亮度均值变化； 根据所述对比度数值和所述亮度均值变化，判断当前帧图像的场景类型。
11.根据权利要求10所述的运动阴影消除装置，其特征在于，所述场景类型判断单元预先设置阈值Th和阈值Tg，具体用于: 所述对比度数值大于预先设置的阈值Th且所述亮度均值变化小于预先设置的阈值Tg时，判定当前帧图像的场景类型为第一场景类型； 所述对比度数值小于预先设置的阈值Th且所述亮度均值变化小于预先设置的阈值Tg时，判定当前帧图像的场景类型为第二场景类型； 所述对比度数值大于预先设置的阈值Th且所述亮度均值变化大于预先设置的阈值Tg，判定当前帧图像的场景类型为第三场景类型； 所述对比度数值小于预先设置的阈值Th且所述亮度均值变化大于预先设置的阈值Tg，判定当前帧图像的场景类型为第四场景类型。
12.根据权利要求11所述的运动阴影消除装置，其特征在于，所述当前帧图像的阴影方向确定单元，具体用于: 根据当前帧图像的场景类型，利用当前帧图像的运动目标区域的重心位置和运动目标区域的中心位置，确定当前帧图像的运动目标的阴影方向； 将确定的每一帧图像的每一所述运动目标的阴影方向的个数进行统计，当其中一个阴影方向所含的运动目标的个数达到预先设置的阈值时，将该所含运动目标的个数达到预先设置的阈值的阴影方向作为当前帧图像的阴影方向；其中， 若当前帧图像的场景类型为第三场景类型或第四场景类型时，统计清零，并将确定的当前帧图像的每一所述运动目标的阴影方向的个数进行统计，当其中一个阴影方向所含的运动目标的个数最多时，将该所含的运动目标的个数最多的阴影方向作为当前帧图像的阴影方向。
13.根据权利要求12所述的运动阴影消除装置，其特征在于，所述当前帧图像的阴影方向确定单元，当根据当前帧图像的场景类型，利用当前帧图像的运动目标区域的重心位置和运动目标区域的中心位置，确定当前帧图像的运动目标的阴影方向时，具体还用于: 计算运动目标区域的重心位置；其中， 若当前帧图像的场景类型为第一场景类型或第三场景类型，则根据运动目标区域的灰度值计算重心位置； 若当前帧图像的场景类型为第二场景类型或第四场景类型，则根据运动目标区域的梯度值计算重心位置； 将运动目标区域的重心位置与运动目标区域的中心位置对比，根据预先设置的多个阴影方向的区间，确定运动目标的阴影方向。
14.根据权利要求11所述的运动阴影消除装置，其特征在于，所述阴影部分检测单元，具体用于: 获取当前帧图像的运功目标区域的灰度值或梯度值分别在水平方向和垂直方向的直方图；其中， 当当前帧图像的场景类型为第一场景类型或第三场景类型时，选用运动目标区域的灰度值分别在水平方向和垂直方向进行投影，输出水平方向和垂直方向的直方图； 当当前帧图像的场景类型为第二场景类型或第四场景类型时，选用运动目标区域的梯度值分别在水平方向和垂直方向进行投影，输出水平方向和垂直方向的直方图； 沿所述当前帧图像的阴影方向，从运动目标区域边缘向运动目标区域中心位置计算上述直方图的变化； 当上述直方图的变化大于预先设置的阈值Ts时，将此时的位置判定为切割点，并将此切割点与运动目标区域边缘之间的部分均标记为阴影部分。
15.根据权利要求11所述的运动阴影消除装置，其特征在于，所述阴影部分消除单元，包括: 第一阴影部分消除子单元，用于当当前帧图像的场景类型为第一场景类型或第三场景类型时，将所述阴影部分切割消除，并将阴影部分对应的前景图像设置为零，输出消除阴影后的运动目标； 第二阴影部分消除子单元，用于当当前帧图像的场景类型为第二场景类型或第四场景类型时，沿所述当前帧图像的阴影方向，从运动目标区域边缘向运动目标区域的中心位置分别逐行和逐列进行切割。
16.根据权利要求15所述的`运动阴影消除装置，其特征在于，当当前帧图像的场景类型为第二场景类型或第四场景类型时，所述第二阴影部分消除子单元包括: 阴影点统计模块，用于以点为单位，计算前景图像梯度与背景图像梯度的相似度，当所述相似度高于预先设置的阈值Tx时确定为阴影点； 阴影行或阴影列判断模块，用于分别对所述阴影部分的行和列进行阴影点数统计，判断整行或整列是否为阴影行或阴影列； 运动目标输出模块，用于当连续为阴影行或阴影列时，将所述阴影行或阴影列切割，在遇到非阴影行或阴影列时结束切割，输出消除阴影后的运动目标。
17.一种智能视频分析系统，其特征在于，包括权利要求扩16任一权项所述的运动阴影消除装置。
【文档编号】G06T5/00GK103714552SQ201210379491
【公开日】2014年4月9日 申请日期:2012年9月29日 优先权日:2012年9月29日
【发明者】潘华东, 潘石柱, 吴良健, 李平生, 孙莉, 田建国, 周洪涛, 张兴明, 傅利泉, 朱江明, 吴军, 吴坚 申请人:浙江大华技术股份有限公司