一种运动目标频率检测方法及装置的制造方法

一种运动目标频率检测方法及装置的制造方法
【专利摘要】本发明是关于一种运动目标频率检测方法及装置，通过以第一帧视频图像为基础建立像素值集合形式的背景模型；在后续帧视频图像中根据目标像素点的类型，选择重建或更新背景模型；最后统计所述目标像素点作为相应帧视频图像前景点的出现次数，生成运动目标频率热力图。当背景环境发生扰动时，对应发生扰动的帧视频图像中，背景模型立即采用相应的更新策略进行重建或更新，能够将背景环境的干扰及时纳入背景模型，从而保证运动目标提取的精度，进而提高运动目标频率检测的准确性；而且，所述背景模型是基于第一帧视频图像的邻域像素点像素值建立的像素值集合，无需复杂的数值计算，方便背景模型的构建或更新，从而提高运动目标频率检测的效率。
【专利说明】
-种运动目标频率检测方法及装置
技术领域
[0001] 本发明设及图像处理技术领域，尤其设及一种运动目标频率检测方法及装置。
【背景技术】
[0002] 运动目标频率是指在一定时间跨度上，观察区域内出现运动目标的次数。通过检 测所述运动目标频率，可W分析运动目标的行为规律，例如在商场中检测消费者出现在商 铺的频率，可W对消费者的购买倾向进行分析，从而方便商场规划商铺分布，当然运动目标 频率检测还广泛应用于交通、银行等不同领域，在行业分析中具有重要意义。
[0003] 运动目标频率检测通常包括W下步骤:视频监控设备W固定视角摄取观察区域内 的视频图像，从视频图像中提取运动目标，统计运动目标的出现次数，最终得到运动目标频 率。其中，运动目标的提取过程是保证运动目标频率检测准确性的关键，通常使用背景减除 法进行运动目标提取。在具体实施时，视频图像由多个连续的帖视频图像组成，每个所述帖 视频图像包括前景和背景，所述前景是人们感兴趣的图像区域，运动目标例如人或车等对 应前景，所述背景是需要忽略的图像区域，例如货架或车道等对应背景。背景减除法的具体 步骤包括:选择一个帖视频图像作为背景图像，所述背景图像中只包括背景，使用当前帖视 频图像减去所述背景图像，得到当前帖视频图像对应的前景图像，从而完成运动目标提取。 然而，由于外界环境的干扰，例如背景中物体的移入移出、光照的变化等，背景不断发生变 化，如果相应的背景图像更新不及时，通过背景减除法可能会将背景作为前景提取出来，从 而导致运动目标提取错误，进而造成运动目标频率的检测误差。

【发明内容】

[0004] 为克服相关技术中存在的问题，本发明提供一种运动目标频率检测方法及装置。
[0005] 根据本发明实施例的第一方面，提供一种运动目标频率检测方法，该方法包括W 下步骤：
[0006] 从视频图像序列中获取第一帖视频图像；
[0007] 在所述第一帖视频图像中，根据目标像素点对应邻域像素点的像素值，建立所述 目标像素点的背景模型，所述背景模型为像素值集合；
[000引获取下一帖视频图像，根据当前帖视频图像的目标像素点像素值和目标像素点背 景模型，判断所述目标像素点是否为前景点；
[0009] 如果所述目标像素点为前景点，在当前帖视频图像中，用目标像素点对应邻域像 素点的像素值替换所述像素值集合中的全部元素，W重建背景模型;或者，
[0010] 如果所述目标像素点不为前景点，用当前帖视频图像中目标像素点的像素值随机 替换所述像素值集合中的一个元素，W更新背景模型；
[0011] 在视频图像序列的所有帖视频图像中，统计所述目标像素点作为相应帖视频图像 前景点的出现次数；
[0012] 根据所述出现次数，生成运动目标频率热力图。
[0013] 可选地，所述根据目标像素点对应邻域像素点的像素值，建立所述目标像素点的 背景模型，包括：
[0014] 当所述目标像素点对应邻域像素点为四邻域像素点，且目标像素点的邻域内存在 所有的四邻域像素点时，将像素值集合中相应位置的元素设置为所述四邻域像素点像素 值，W建立背景模型;或者，
[001引当目标像素点的邻域内存在部分四邻域像素点时，将像素值集合中缺失四邻域像 素点对应位置的元素设置为目标像素点的像素值，将像素集合中存在四邻域像素点对应位 置的元素设置为存在四邻域像素点的像素值，W建立背景模型。
[0016] 可选地，所述目标像素点为背景点，使用当前帖视频图像中目标像素点的像素值 随机替换所述像素值集合中的一个元素，W更新所述背景模型，包括：
[0017] 生成随机数；
[0018] 根据所述随机数，确定背景模型的更新元素位置；
[0019] W当前帖视频图像中目标像素点的像素值替换所述更新元素位置的像素值。
[0020] 可选地，所述在视频图像序列的所有帖视频图像中，统计所述目标像素点作为相 应帖视频图像前景点的出现次数，包括：
[0021] 建立各个帖视频图像的初始二值图像矩阵，所述初始二值图像矩阵的矩阵元素与 帖视频图像的像素点相对应;前景点对应的矩阵元素设置为第一数值，背景点对应的矩阵 元素设置为第二数值；
[0022] 对所述初始二值矩阵进行形态学开操作，得到优化二值图像矩阵；
[0023] 累加各个优化二值图像矩阵，得到出现次数矩阵，所述出现次数矩阵的矩阵元素 与所述出现次数相对应。
[0024] 可选地，根据所述出现次数，生成运动目标频率热力图，包括：
[0025] 预设多个次数范围，W及与所述次数范围分别对应的显示颜色；
[0026] 当所述出现次数与所述次数范围相匹配时，将所述出现次数对应的像素点调整为 相应显示颜色。
[0027] 根据本发明实施例的第二方面，提供一种运动目标频率检测装置，该装置包括：
[0028] 第一帖视频图像获取模块，用于从视频图像序列中获取第一帖视频图像；
[0029] 背景模型建立模块，用于在所述第一帖视频图像中，根据目标像素点对应邻域像 素点的像素值，建立所述目标像素点的背景模型，所述背景模型为像素值集合；
[0030] 前景判断模块，用于获取下一帖视频图像，根据当前帖视频图像的目标像素点像 素值和目标像素点背景模型，判断所述目标像素点是否为前景点；
[0031 ]背景模型重建模块，用于如果所述目标像素点为前景点，在当前帖视频图像中，用 目标像素点对应邻域像素点的像素值替换所述像素值集合中的全部元素，W重建背景模 型；
[0032] 背景模型更新模块，用于如果所述目标像素点为背景点，用当前帖视频图像中目 标像素点的像素值随机替换所述像素值集合中的一个元素，W更新背景模型；
[0033] 统计计算模块，用于在视频图像序列的所有帖视频图像中，统计所述目标像素点 作为相应帖视频图像前景点的出现次数；
[0034] 运动目标频率热力图生成模块，用于根据所述出现次数，生成运动目标频率热力 图。
[0035] 可选地，所述背景模型建立模块包括四邻域背景模型建立模块，用于当所述目标 像素点对应邻域像素点为四邻域像素点，且目标像素点的邻域内存在所有的四邻域像素点 时，将像素值集合中相应位置的元素设置为所述四邻域像素点像素值，W建立背景模型;或 者，当目标像素点的邻域内存在部分四邻域像素点时，将像素值集合中缺失四邻域像素点 对应位置的元素设置为目标像素点的像素值，将像素集合中存在四邻域像素点对应位置的 元素设置为存在四邻域像素点的像素值，W建立背景模型。
[0036] 可选地，所述背景模型更新模块包括：
[0037] 随机数生成模块，用于生成随机数；
[0038] 更新元素位置确定模块，用于根据所述随机数，确定背景模型的更新元素位置；
[0039] 像素值替换模块，用于W当前帖视频图像中目标像素点的像素值替换所述更新元 素位置的像素值。
[0040] 可选地，所述统计计算模块包括：
[0041] 初始二值图像矩阵建立模块，用于建立各个帖视频图像的初始二值图像矩阵，所 述初始二值图像矩阵的矩阵元素与帖视频图像的像素点相对应;前景点对应的矩阵元素设 置为第一数值，背景点对应的矩阵元素设置为第二数值；
[0042] 优化二值图像矩阵获得模块，用于对所述初始二值矩阵进行形态学开操作，得到 优化二值图像矩阵；
[0043] 出现次数矩阵获得模块，用于累加各个优化二值图像矩阵，得到出现次数矩阵，所 述出现次数矩阵的矩阵元素与所述出现次数相对应。
[0044] 可选地，所述运动目标频率热力图生成模块包括：
[0045] 显示预设模块，用于预设多个次数范围，W及与所述次数范围分别对应的显示颜 色；
[0046] 显示模块，用于当所述出现次数与所述次数范围相匹配时，将所述出现次数对应 的像素点调整为相应显示颜色。
[0047] 本发明的实施例提供的技术方案可W包括W下有益效果：
[0048] 通过从视频图像序列中获取第一帖视频图像，在所述第一帖视频图像中，根据目 标像素点对应邻域像素点的像素值，建立所述目标像素点的背景模型，所述背景模型为像 素值集合;获取下一帖视频图像，根据当前帖视频图像的目标像素点像素值和目标像素点 背景模型，判断所述目标像素点是否为前景点；如果所述目标像素点为前景点，在当前帖视 频图像中，使用目标像素点对应邻域像素点的像素值替换所述像素值集合中的全部元素， W重建背景模型；如果所述目标像素点不为前景点，使用当前帖视频图像中目标像素点的 像素值随机替换所述像素值集合中的一个元素，W更新背景模型;在视频图像序列的所有 帖视频图像中，统计所述目标像素点作为相应帖视频图像前景点的出现次数，最后根据所 述出现次数，生成运动目标频率热力图。在整个运动目标频率检测过程中，当背景环境发生 扰动时，例如无关物体的移入移出或者光线变化等，在对应发生扰动的帖视频图像中，根据 前景点的判断背景模型立即W不同的更新策略进行重建或更新，能够将背景环境的干扰及 时纳入背景模型，从而保证运动目标提取的精度，进而提高运动目标频率检测的准确性;而 且，所述背景模型是基于第一帖视频图像的邻域像素点像素值建立的像素值集合，无需复 杂的数值计算，方便背景模型的构建或更新，从而提高运动目标频率检测的效率。
[0049] 应当理解的是，W上的一般描述和后文的细节描述仅是示例性和解释性的，并不 能限制本发明。
【附图说明】
[0050] 此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施 例，并与说明书一起用于解释本发明的原理。
[0051] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而 言，在不付出创造性劳动性的前提下，还可W根据运些附图获得其他的附图。
[0052] 图1为根据一示例性实施例示出的一种运动目标方法的流程示意图；
[0053] 图2为根据一示例性实施例示出的一种帖视频图像像素点的结构示意图；
[0054] 图3为根据一示例性实施例示出的一种背景模型更新方法的流程示意图；
[0055] 图4为根据一示例性实施例示出的一种出现次数统计方法的流程示意图；
[0056] 图5为根据一示例性实施例示出的一种运动频率热力图生成方法的流程示意图；
[0057] 图6为根据一示例性实施例示出的一种运动目标频率检测装置的结构示意图；
[0058] 图7为根据一示例性实施例示出的一种背景更新模块的结构示意图；
[0059] 图8为根据一示例性实施例示出的一种统计计算模块的结构示意图；
[0060] 图9为根据一示例性实施例示出的一种运动目标频率热力图生成模块的结构示意 图。
【具体实施方式】
[0061] 运里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述设及 附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。W下示例性实施例 中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附 权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
[0062] 图1是根据一示例性实施例示出的一种运动目标频率检测方法的流程图，该方法 包括W下步骤：
[0063] 步骤SlOl:从视频图像序列中获取第一帖视频图像。
[0064] 在运动目标频率检测过程中，视频监控设备W固定视角拍摄观察区域内的视频图 像，记录运动目标在所述观察区域内的运动情况。其中，所述观察区域可W理解为商场商铺 的口 口区域、超市的货架区域、道路的路口区域W及银行大厅区域等，通过在一定时间内对 所述观察区域的视频图像采集，能够获知人或者车等运动目标在所述观察区域的运动情 况，从而进一步对人们的消费倾向、车行交通规律W及人们的金融行为进行分析，为行业策 略的调整提供重要依据。
[0065] 在具体实施时，视频监控设备通常采集较长时间跨度的视频图像，例如24小时或 者一周的视频图像，为了保证运动目标频率检测的效率，可选地，选择工作或营业时间拍摄 的视频图像进行运动目标频率检测。采集到的视频图像是由大量连续的帖视频图像组成的 视频图像序列，其中的第一帖视频图像对应在工作或者营业时间开始时刻的场景图像，包 含较多的背景和较少的前景，因此从所述视频图像序列中获取第一帖视频图像作为背景模 型的建立基础。
[0066] 步骤S102:在所述第一帖视频图像中，根据目标像素点对应邻域像素点的像素值， 建立所述目标像素点的背景模型，所述背景模型为像素值集合。
[0067] 图2为根据一示例性实施例示出的一种帖视频图像像素点的结构示意图，帖视频 图像被分隔成多个小方格，每个小方格称为一个像素点，所述像素点排列成二维阵列;通过 设置每个像素点的颜色、亮度等显示属性，根据显示属性显示完整帖视频图像。其中，所述 显示属性可W包括像素值，在灰度图像中，所述像素值可W理解为灰度值，所述灰度值取值 范围为0到255，用于表征颜色深度，白色对应灰度值为255，黑色对应灰度值为0;在彩色图 像中，RGB彩色模式通过分配R(Red，红）、G(Green，绿)和B(Blue，蓝)S个颜色通道的亮度值 显示不同颜色，每个颜色通道的亮度值范围为0到255,例如(R=255，G = 0，B = 0)代表红色， (R = 255，G = 255，B = 255)代表白色等，因此彩色图像中的像素值可W理解为由RGB颜色通 道分别对应亮度值组成的亮度值组。
[0068] 如图2所示，第一帖视频图像由3*3的像素点阵列构成，第一像素点至第九像素点 分别对应图2中的编号1至9像素点；所述目标像素点包括所述第一帖视频图像中的所有像 素点，即第一像素点至第九像素点总共9个像素点，为所述9个像素点分别建立相应的背景 模型。当然，在具体实施时，所述目标像素点可W为所述第一帖视频图像中的运动目标活动 区域对应的像素点，所述运动目标活动区域可W理解为商场中的走廊区域或者超市货架之 间的过道区域等;仅为所述运动目标活动区域对应的像素点建立相应的背景模型，能够减 少背景模型建立的计算量，有效提高背景模型的建立效率。
[0069] 当建立第五像素点的背景模型时，将第五像素点作为目标像素点；所述第五像素 点的邻域内存在包括上邻域像素点、下邻域像素点、左邻域像素点和右邻域像素点的四邻 域像素点，其中所述上邻域像素点对应第二像素点，所述下邻域像素点对应第八像素点，所 述左邻域像素点对应第四像素点，所述右邻域像素点对应第六像素点。在帖视频图像为灰 度图的情况下，在第一帖视频图像中，第二像素点的像素值为巧第八像素点的像素值为 巧第四像素点的像素值为巧"，第六像素点的像素值为巧可W建立一个包括4个元素的 像素值集合，上邻域像素点对应所述像素值集合的第一元素位置，下邻域像素点对应所述 像素值集合的第二元素位置，左邻域像素点对应所述像素值结合的第=元素位置，右邻域 像素点对应所述像素值集合的第四元素位置，将上述四邻域像素点对应的像素值分别填入 所述像素值集合的相应位置得到像素值集合{巧。，巧。，巧，巧呼所述像素值集合 {巧，>，巧"，巧U，巧即为第五像素点的背景模型。在帖视频图像为彩色图像的情况下，在 第一帖视频图像中，所述第二像素点的像素值为(Rf ,Gf ,Bf )，所述第八像素点的像素 值为(Rf，Gf，B(s。)，所述第四像素点的像素值为(R八G!/;，巧>)，所述第六像素点的像 素值为(R(gU，Gf，B^)，则第五像素点对应邻域像素点的像素值构建成像素值集合
，所述像素值集合
印为第五像素点的背景模型。
[0070] 当建立第一像素点的背景模型时，将第一像素点作为目标像素点；所述第一像素 点的邻域内存在右邻域像素点和下邻域像素点，所述右邻域像素点对应第二像素点，所述 下邻域像素点对应第四像素点;所述第一像素点的邻域内缺失上邻域像素点和左邻域像素 点。在帖视频图像为灰度图的情况下，在第一帖视频图像中，第一像素点的像素值为巧Ii-第 二像素点的像素值为巧>，第四像素点的像素值为巧缺失上邻域像素点对应像素值集合 中的第一元素位置，将所述像素值集合中的第一元素设置为巧1>，缺失左邻域像素点对应像 素值集合的第=元素位置，将所述像素值集合中的第=元素也设置为巧1>，存在下邻域像素 点对应像素值集合的第二元素位置，将所述像素值集合中的第二元素设置为If >，按照上邻 存在右邻域像素点对应像素值集合的第四元素位置，将所述像素值集合中的第二元素设置 为;Pf，从而得到像素值集合护'，巧11，巧1'.巧叫.将所述像素值集合於'.巧'廿，，巧。1作为第一像素 点的背景模型。在帖视频图像为彩色图像的情况下，在第一帖视频图像中，第一像素点对应 的像素值为扭;。间。3;")，第二像素点的像素值为(叫>妈》成。），第四像素点的像素值为 (Rf,巧>，B則；同样可W得到像素值集合';，)(畔巧 1.B;'，)(畔啤，峨)!'， 并将所述像素值集^
}作为第一 像素点的背景模型。
[0071] 按照上述方法，对其他像素点建立相应的背景模型。另外，需要说明的是，在本发 明的实施例中，所述像素值集合中元素位置与四邻域像素点的对应关系并不局限于上面实 施例的描述，例如所述第一元素位置可W对应左邻域像素点等。
[0072] 当然，在具体实施时，目标像素点对应的邻域像素点还可W为八邻域像素点，根据 所述八邻域像素点的像素值，建立目标像素点的背景模型，详细过程可W参考上述根据四 邻域像素点建立背景模型的过程，在此不再寶述。
[0073] 步骤S103:获取下一帖视频图像，根据当前帖视频图像的目标像素点像素值和目 标像素点背景模型，判断所述目标像素点是否为前景点。
[0074] 从视频图像序列中，按照时间顺序依次获取第一帖视频图像之后的帖视频图像， 例如第二帖视频图像。
[0075] 计算当前帖视频图像中目标像素点像素值与目标像素点对应背景模型的标准差， 并通过所述标准差判断所述目标像素点是否为前景点。具体地，在所述下一帖视频图像中， 由于运动目标的移动或者背景环境的变化，各个像素点的像素值可能发生变化，通过W下 公式计算所述标准差：
[0076] .<
[0077] 其中，为第N帖视频图像中目标像素点的标准差，pW为第N帖视频图像中目标 像素点的像素值，Pl、P2、P3W及P期为目标像素点背景模型化，？2，？3，？4忡的元素。
[0078] 在本发明的实施例中，W第二帖视频图像为例进行详细描述。
[0079] 在所述第二帖视频图像中，所述目标像素点包括所有的像素点，分别计算每个像 素点的当前像素值与相应的背景模型的标准差。
[0080] 同样参见图2,计算第五像素点对应的标准差，则将所述第五像素点作为目标像素 点。在第二帖视频图像为灰度图时，第五像素点的像素值为在步骤S102中得出所述第 五像素点的背景模型为{Pf，巧"，巧"，巧"}，则所述第五像素点对应的标准差为
[0081] 在第二帖视频图像为彩色图像的情况下，第五像素点的像素值为(咚'，G产巧')，在 步骤S102中得出所述第五像素点的背景模型为!帖I啤成'}(畔供>成'}(哗,种與'}似'.化1'成')!，所 述标准差可W表示为标准差组，所述标准差组中的元素分别对应RGBS个颜色通道的标准 差。具体地，第五像素点的标准差片'二(〇"心\旅r-V皆'），其中，诚f第五像素点R颜色通 道的标准差分量，OGf第五像素点G颜色通道的标准差分量，城f第五像素点B颜色通道的 标准差分量，公式如下：
[0082]
[0083]
[0084]
[0085] W同样的上述方式可W计算得出第二帖视频图像中，所有目标像素点对应的标准 差D
[0086] 如果所述标准差大于或等于预设的误差阔值，则表示所述目标像素点与上一帖视 频图像中所述目标像素点邻近的像素点具有很大区别，则所述目标像素点为前景点；如果 所述标准差小于所述误差阔值，则表示所述目标像素点与上一帖视频图像中所述目标像素 点邻近的像素点具有较小区别，则所述目标像素点为背景点。在具体实施时，例如在第二帖 视频图像为灰度图的情况下，第五像素点对应的标准差口产大于或等于误差阔值，所述第五 像素点为前景点，否则所述第五像素点为背景点;在第二帖视频图像为彩色图像的情况下， 第五像素点对应的标准差of' =(〇成2'，〇6'产，O武2'|)，当=个颜色通道的标准差分量均大于 或等于误差阔值时，即诚P、W及诚均大于或等于误差阔值时，将所述第五像素点 判断为前景点，否则所述第五像素点为背景点。
[0087] 另外，为了保证前景点判断的准确性，所述误差阔值可W为动态调整的误差阔值。 在具体实施时，本发明根据一示例性实施例提供一种误差阔值调整方法，该方法包括W下 步骤:计算当前帖视频图像的像素值均值，所述像素值均值为当前帖视频图像所有目标像 素点对应像素值的算术平均值;预设第一阔值和第二阔值，且所述第一阔值大于所述第二 阔值;如果所述像素值均值大于或等于所述第一阔值，增加所述误差阔值;如果所述像素值 均值小于或等于所述第二阔值，减小所述误差阔值。
[0088] 步骤S104:如果所述目标像素点为前景点，在当前帖视频图像中，用目标像素点对 应邻域像素点的像素值替换所述像素值集合中的全部元素，W重建背景模型。
[0089] 在所述目标像素点为前景点的情况下，在当前帖视频图像中，用目标像素点对应 邻域像素点的像素值重建背景模型，同样W第二帖视频图像为例的对本步骤进行详细说 明。
[0090] 如果第五像素点为前景点，所述第五像素点的邻域内存在上邻域像素点、下邻域 像素点、左邻域像素点和右邻域像素点，其中所述上邻域像素点对应第二像素点，所述下邻 域像素点对应第八像素点，所述左邻域像素点对应第四像素点，所述右邻域像素点对应第 六像素点。
[0091] 在第二帖视频图像为灰度图的情况下，在第二帖视频图像中，第五像素点对应的 上邻域像素点的像素值、下邻域像素点的像素值、左邻域像素点的像素值W及右邻域像素 点的像素值分别为巧、巧2'、巧1和巧2，，替换第五像素点背景模型的像素值集合中的像 素值，得到重建后第五像素点的背景模型为{pf，pf，pf，pf>}。
[0092] 在第二帖视频图像为彩色图像的情况下，在第二帖视频图像中，第五像素点对应 的四邻域像素点的像素值分别为(反；^0；^2)3产）、（叫>，0;幻哉:)）、（民产仪:，3尸）和 (民|^0：^]3^)，替换第五像素点背景模型对应像素值集合的所有像素值，重建后第五像素 点的背景模型为{(巧\巧i，Bf)(R42)，巧>3別(r户，巧，辟2)，Bf )}。
[0093] 如果第一像素点为前景点，所述第一像素点的邻域内存在右邻域像素点和下邻域 像素点，所述右邻域像素点对应第二像素点，所述下邻域像素点对应第四像素点;所述第一 像素点的邻域内缺失上邻域像素点和左邻域像素点。
[0094] 在第二帖视频图像为灰度图的情况下，在第二帖视频图像中，将像素值集合中第 一元素和第=元素均替换为第一像素点在第二帖视频图像中的像素值PP，将像素值集合 中第二元素替换为：Pf，W及将像素值集合中第四元素替换为P' '，得到重建后第一像素点 的背景模型{if、，巧2)，巧2)，巧:>}。
[00%]在第二帖视频图像为彩色图像的情况下，将像素值集合中第一元素和第=元素均 替换为第一像素点在第二帖视频图像中的像素值(R尸，G尸，B产)，将像素值集合中第二元 素替换为(Rf，Gf ,Bf )，W及将像素值集合中第四元素替换为(Rf, Gf, Bf),得到重建 后第一像素点的背景模型批/)间。，。辟。3則(畔，巧\B;i>)l(Rf，Gf，B^}。
[0096] 步骤S105:如果所述目标像素点不为前景点，用当前帖视频图像中目标像素点的 像素值随机替换所述像素值集合中的一个元素，W更新背景模型。
[0097] 通过步骤S103的判断，当目标像素点的标准差小于所述误差阔值时，所述目标像 素点为背景点，使用当前帖视频图像中目标像素点的像素值随机替换所述像素值集合中的 一个元素，W更新背景模型。参见图3,为根据一示例性实施例示出的一种背景模型更新方 法的流程示意图，该方法包括W下步骤：
[009引步骤S1051:生成随机数。
[0099] 生成一个随机数，例如可W生成范围1至4内的整数随机数。
[0100] 步骤S1052:根据所述随机数，确定背景模型的更新元素位置。
[0101] 在一个具体实施例中，如果步骤S1051产生的随机数为3,则在目标像素点对应的 背景模型中，将第3个元素所在位置作为所述更新元素位置。
[0102] 步骤S1053: W当前帖视频图像中目标像素点的像素值替换所述更新元素位置的 像素值。
[0103] 根据步骤S1052的确定结果，例如如果确定第3个元素位置为所述更新元素位置， 则将背景模型中的第=元素像素值替换为目标像素点在当前帖视频图像中的像素值。
[0104] 同样W第二帖视频图像为例对本步骤进行详细说明，在第二帖视频图像中，第五 像素点为背景点。
[0105] 在第二帖视频图像为灰度图的情况下，在步骤S1051中生成随机数4;根据所述随 机数4,确定第五像素点对应背景模型中的第4元素位置为更新元素位置;第五像素点在第 二帖视频图像中的当前像素值为Pf，将第五像素点背景模型中的第四元素巧>替换为Pf， 从而得到更新后的背景模型松 >，皆巧"，巧巧}。
[0106] 在第二帖视频图像为彩色图像的情况下，在第二帖视频图像中，第五像素点的像 素值为(Rf, Gf, Bf),通过上述步骤确定需要更新第五像素点对应背景模型中第四元素 位置的像素值，则将所述背景模型中的原第四元素(RL。种。诚。)替换为(Rf, Gf, Bf),得 至惕新后的背景模型{(巧，，巧討帖\巧'>，B則把"，巧，成叫批2，，巧，成-，，)}。
[0107] W上述方式，遍历第二帖视频图像中的所有作为背景点的目标像素点，对所述目 标像素点对应的背景模型分别进行更新。
[0108] 步骤S106:在视频图像序列的所有帖视频图像中，统计所述目标像素点作为相应 帖视频图像前景点的出现次数。
[0109] 将第一帖视频图像中的目标像素点均初始化为背景点，在视频图像的摄取过程 中，运动目标可能从一个位置移动到另一个位置或者环境背景中灯光发生闪动，一个目标 像素点在不同帖视频图像中可能对应为前景点或者背景点，例如目标像素点在第二帖视频 图像中可能为前景点，在第=帖视频图像中就变为背景点，在视频帖数列中，统计所述目标 像素点作为相应帖视频前景点的出现次数。
[0110] 参见图4,为根据一示例性实施例示出的一种出现次数统计方法的流程示意图，该 方法包括：
[0111] 步骤S1061:建立各个帖视频图像的初始二值图像矩阵，所述初始二值图像矩阵的 矩阵元素与帖视频图像的像素点相对应;前景点对应的矩阵元素设置为第一数值，背景点 对应的矩阵元素设置为第二数值。
[0112] 在本发明的具体实施例中，例如视频图像序列中包括3个帖视频图像，每个帖视频 图像包括3*3的像素点阵列，则分别建立第一帖视频图像、第二帖视频图像W及第=帖视频 图像的初始二值图像矩阵;所述初始二值图像矩阵也为3*3为矩阵，且所述初始二值图像矩 阵的第1至9矩阵元素分别对应第一像素点至第九像素点。
[0113] 第一帖视频图像的所有像素点初始化为背景点，则第一帖视频图像的初始二值图 像矩阵中，每个矩阵元素均设置为第二数值，所述第二数值可W为0;第二帖视频图像中的 目标像素点通过步骤S103的判断，如果所述目标像素点为前景点，则将所述前景点对应矩 阵元素设置为第一数值，所述第一数值可W为1，如果所述目标像素点为背景点，相应设置 所述背景点对应矩阵元素为第二数值0,得到第二帖视频图像的初始二值图像矩阵；同样， 按照上述方式建立第=帖视频图像的初始二值图像矩阵。
[0114] 步骤S1062:对所述初始二值矩阵进行形态学开操作，得到优化二值图像矩阵。
[0115] 对所述初始二值图像矩阵进行形态学开操作，所述形态学开操作包括腐蚀和膨胀 两个过程，得到优化二值图像矩阵;所述形态学开操作使得优化二值图像矩阵对应的图像 具有更光滑的轮廓，从而更好表征运动目标的有效运动。
[0116] 步骤S1063:累加各个优化二值图像矩阵，得到出现次数矩阵，所述出现次数矩阵 的矩阵元素与所述出现次数相对应。
[0117] 累加第一帖视频图像、第二帖视频图像W及第=帖视频图像的优化二值图像矩 阵，从而得到出现次数矩阵。所述出现次数矩阵的矩阵元素与所述出现次数相对应，具体 地，如果所述出现次数矩阵的第一矩阵元素为3,则在整个视频图像序列中，所述第一像素 点均是前景点且相应的出现次数为3;如果所述出现次数矩阵的第五矩阵元素为2,则在整 个视频图像序列中，所述第五像素点的前景点出现次数为2;如果所述出现次数矩阵的第= 矩阵元素为0,则在整个视频图像序列中，所述第=像素点均是背景点且相应的出现次数为 0。
[0118] 步骤S107:根据所述出现次数，获得运动目标频率检测结果。
[0119] 所述出现次数表征相应的像素点在整个视频图像序列中作为前景点的次数，即由 前景点组成的运动目标在相应像素点位置上显示的次数，通过所述出现次数，能够得到运 动频率热力图，将所述运动频率热力图作为所述运动目标频率检测结果从而更直观地标识 运动目标频率。
[0120] 参见图5,为根据一示例性实施例示出的一种运动频率热力图生成方法的流程示 意图，该方法包括W下步骤：
[0121] 步骤S1071:预设多个次数范围，W及与所述次数范围分别对应的显示颜色。
[0122] 预设=个次数范围，例如设置第一次数范围为0至20,第二次数范围为21至50,第 =次数范围为50-100;设置第一次数范围对应的显示颜色为蓝色，第二次数范围对应的显 示颜色为黄色，第=次数范围对应的显示颜色为红色。
[0123] 步骤S1072:当所述出现次数与所述次数范围相匹配时，在所述出现次数对应的像 素点位置W相应显示颜色显示。
[0124] 如果第一像素点对应的出现次数为10,所述出现次数与第一次数范围相匹配，贝U 调整第一像素点的显示颜色为蓝色;如果第五像素点对应的出现次数为45,所述出现次数 与第二次数范围相匹配，则调整第五像素点的显示颜色为黄色;如果第六像素点对应的出 现次数为80,则所述出现次数与第=次数范围相匹配，则调整第六像素点的显示颜色为红 色。在具体实施时，可W W所述视频图像序列中的任意一个帖视频图像为基础，通过上述过 程匹配设置每个像素点的显示颜色，从而得到所述下运动频率热力图。
[0125] 当然，在具体实施时，也可W根据目标像素点对应出现次数的比例设置所述目标 像素点的显示颜色，其中所述比例可W理解为在出现次数矩阵中，所述目标像素点对应出 现次数与所述出现次数矩阵元素和的比值。根据所述比例的高低，设置不同的显示颜色。
[0126] 通过上述实施例的描述，本发明提供的运动目标频率检测方法通过从视频图像序 列中获取第一帖视频图像，在所述第一帖视频图像中，根据目标像素点对应邻域像素点的 像素值，建立所述目标像素点的背景模型，所述背景模型为像素值集合;获取下一帖视频图 像，根据当前帖视频图像的目标像素点像素值和目标像素点背景模型，判断所述目标像素 点是否为前景点；如果所述目标像素点为前景点，在当前帖视频图像中，使用目标像素点对 应邻域像素点的像素值替换所述像素值集合中的全部元素，W重建背景模型；如果所述目 标像素点不为前景点，使用当前帖视频图像中目标像素点的像素值随机替换所述像素值集 合中的一个元素，W更新背景模型;在视频图像序列的所有帖视频图像中，统计所述目标像 素点作为相应帖视频图像前景点的出现次数，最后根据所述出现次数，生成运动目标频率 热力图。在整个运动目标频率检测过程中，当背景环境发生扰动时，例如无关物体的移入移 出或者光线变化等，在对应发生扰动的帖视频图像中，根据前景点的判断背景模型立即W 不同的更新策略进行重建或更新，能够将背景环境的干扰及时纳入背景模型，从而保证运 动目标提取的精度，进而提高运动目标频率检测的准确性;而且，所述背景模型是基于第一 帖视频图像的邻域像素点像素值建立的像素值集合，无需复杂的数值计算，方便背景模型 的构建或更新，从而提高运动目标频率检测的效率。
[0127] 关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法 的实施例中进行了详细描述，此处将不做详细阐述说明。
[0128] 图6为根据一示例性实施例示出的一种运动目标频率检测装置的结构示意图，该 装置包括：
[0129] 第一帖视频图像获取模块11，用于从视频图像序列中获取第一帖视频图像；
[0130] 背景模型建立模块12,用于在所述第一帖视频图像中，根据目标像素点对应邻域 像素点的像素值，建立所述目标像素点的背景模型，所述背景模型为像素值集合；
[0131] 前景判断模块13,用于获取下一帖视频图像，根据当前帖视频图像的目标像素点 像素值和目标像素点背景模型，判断所述目标像素点是否为前景点；
[0132] 背景模型重建模块14,用于如果所述目标像素点为前景点，在当前帖视频图像中， 用目标像素点对应邻域像素点的像素值替换所述像素值集合中的全部元素，W重建背景模 型；
[0133] 背景模型更新模块15,用于如果所述目标像素点为背景点，用当前帖视频图像中 目标像素点的像素值随机替换所述像素值集合中的一个元素，W更新背景模型；
[0134] 统计计算模块16,用于在视频图像序列的所有帖视频图像中，统计所述目标像素 点作为相应帖视频图像前景点的出现次数；
[0135] 运动目标频率热力图生成模块17,用于根据所述出现次数，生成运动目标频率热 力图。
[0136] 可选地，所述背景模型建立模块12包括四邻域背景模型建立模块，用于当所述目 标像素点对应邻域像素点为四邻域像素点，且目标像素点的邻域内存在所有的四邻域像素 点时，将像素值集合中相应位置的元素设置为所述四邻域像素点像素值，W建立背景模型； 或者，当目标像素点的邻域内存在部分四邻域像素点时，将像素值集合中缺失四邻域像素 点对应位置的元素设置为目标像素点的像素值，将像素集合中存在四邻域像素点对应位置 的元素设置为存在四邻域像素点的像素值，W建立背景模型。当然，所述背景模型建立模块 还可W包括八邻域背景模型建立模块，用于根据目标像素点对应的八邻域像素点建立所述 背景模型。
[0137] 参见图7,为根据一示例性实施例示出的背景更新模块的结构示意图，可选地，所 述背景更新模块15包括：
[0138] 随机数生成模块151，用于生成随机数；
[0139] 更新元素位置确定模块152,用于根据所述随机数，确定背景模型的更新元素位 置；
[0140] 像素值替换模块153,用于W当前帖视频图像中目标像素点的像素值替换所述更 新元素位置的像素值。
[0141] 参见图8,为根据一示例性实施例示出的统计计算模块的结构示意图，可选地，统 计计算模块16包括：
[0142] 初始二值图像矩阵建立模块161，用于建立各个帖视频图像的初始二值图像矩阵， 所述初始二值图像矩阵的矩阵元素与帖视频图像的像素点相对应;前景点对应的矩阵元素 设置为第一数值，背景点对应的矩阵元素设置为第二数值；
[0143] 优化二值图像矩阵获得模块162,用于对所述初始二值矩阵进行形态学开操作，得 到优化二值图像矩阵；
[0144] 出现次数矩阵获得模块163,用于累加各个优化二值图像矩阵，得到出现次数矩 阵，所述出现次数矩阵的矩阵元素与所述出现次数相对应。
[0145] 参见图9,为根据一示例性实施例示出的运动目标频率热力图生成模块的结构示 意图，可选地，所述运动目标频率热力图生成模块17包括：
[0146] 显示预设模块171，用于预设多个次数范围，W及与所述次数范围分别对应的显示 颜色；
[0147] 显示模块172,用于当所述出现次数与所述次数范围相匹配时，将所述出现次数对 应的像素点调整为相应显示颜色。
[0148] 通过上述实施例的描述，本发明提供的运动目标频率检测装置通过从视频图像序 列中获取第一帖视频图像，在所述第一帖视频图像中，根据目标像素点对应邻域像素点的 像素值，建立所述目标像素点的背景模型，所述背景模型为像素值集合;获取下一帖视频图 像，根据当前帖视频图像的目标像素点像素值和目标像素点背景模型，判断所述目标像素 点是否为前景点；如果所述目标像素点为前景点，在当前帖视频图像中，使用目标像素点对 应邻域像素点的像素值替换所述像素值集合中的全部元素，W重建背景模型；如果所述目 标像素点不为前景点，使用当前帖视频图像中目标像素点的像素值随机替换所述像素值集 合中的一个元素，W更新背景模型;在视频图像序列的所有帖视频图像中，统计所述目标像 素点作为相应帖视频图像前景点的出现次数，最后根据所述出现次数，生成运动目标频率 热力图。在整个运动目标频率检测过程中，当背景环境发生扰动时，例如无关物体的移入移 出或者光线变化等，在对应发生扰动的帖视频图像中，根据前景点的判断背景模型立即W 不同的更新策略进行重建或更新，能够将背景环境的干扰及时纳入背景模型，从而保证运 动目标提取的精度，进而提高运动目标频率检测的准确性;而且，所述背景模型是基于第一 帖视频图像的邻域像素点像素值建立的像素值集合，无需复杂的数值计算，方便背景模型 的构建或更新，从而提高运动目标频率检测的效率
[0149] 本领域技术人员在考虑说明书及实践运里发明的发明后，将容易想到本发明的其 它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，运些变型、用途或 者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识 或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的 权利要求指出。
[0150] 应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并 且可W在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
【主权项】
1. 一种运动目标频率检测方法，其特征在于，包括： 从视频图像序列中获取第一帧视频图像； 在所述第一帧视频图像中，根据目标像素点对应邻域像素点的像素值，建立所述目标 像素点的背景模型，所述背景模型为像素值集合； 获取下一帧视频图像，根据当前帧视频图像的目标像素点像素值和目标像素点背景模 型，判断所述目标像素点是否为前景点； 如果所述目标像素点为前景点，在当前帧视频图像中，用目标像素点对应邻域像素点 的像素值替换所述像素值集合中的全部元素，以重建背景模型;或者， 如果所述目标像素点不为前景点，用当前帧视频图像中目标像素点的像素值随机替换 所述像素值集合中的一个元素，以更新背景模型； 在视频图像序列的所有帧视频图像中，统计所述目标像素点作为相应帧视频图像前景 点的出现次数； 根据所述出现次数，生成运动目标频率热力图。2. 根据权利要求1所述的运动目标频率检测方法，其特征在于，所述根据目标像素点对 应邻域像素点的像素值，建立所述目标像素点的背景模型，包括： 当所述目标像素点对应邻域像素点为四邻域像素点，且目标像素点的邻域内存在所有 的四邻域像素点时，将像素值集合中相应位置的元素设置为所述四邻域像素点像素值，以 建立背景模型;或者， 当目标像素点的邻域内存在部分四邻域像素点时，将像素值集合中缺失四邻域像素点 对应位置的元素设置为目标像素点的像素值，将像素集合中存在四邻域像素点对应位置的 元素设置为存在四邻域像素点的像素值，以建立背景模型。3. 根据权利要求1所述的运动目标频率检测方法，其特征在于，所述目标像素点为背景 点，使用当前帧视频图像中目标像素点的像素值随机替换所述像素值集合中的一个元素， 以更新所述背景模型，包括： 生成随机数； 根据所述随机数，确定背景模型的更新元素位置； 以当前帧视频图像中目标像素点的像素值替换所述更新元素位置的像素值。4. 根据权利要求1所述的运动目标频率检测方法，其特征在于，所述在视频图像序列的 所有帧视频图像中，统计所述目标像素点作为相应帧视频图像前景点的出现次数，包括： 建立各个帧视频图像的初始二值图像矩阵，所述初始二值图像矩阵的矩阵元素与帧视 频图像的像素点相对应;前景点对应的矩阵元素设置为第一数值，背景点对应的矩阵元素 设置为第二数值； 对所述初始二值矩阵进行形态学开操作，得到优化二值图像矩阵； 累加各个优化二值图像矩阵，得到出现次数矩阵，所述出现次数矩阵的矩阵元素与所 述出现次数相对应。5. 根据权利要求1所述的运动目标频率检测方法，其特征在于，根据所述出现次数，生 成运动目标频率热力图，包括： 预设多个次数范围，以及与所述次数范围分别对应的显示颜色； 当所述出现次数与所述次数范围相匹配时，将所述出现次数对应的像素点调整为相应 显示颜色。6. -种运动目标频率检测装置，其特征在于，包括： 第一帧视频图像获取模块，用于从视频图像序列中获取第一帧视频图像； 背景模型建立模块，用于在所述第一帧视频图像中，根据目标像素点对应邻域像素点 的像素值，建立所述目标像素点的背景模型，所述背景模型为像素值集合； 前景判断模块，用于获取下一帧视频图像，根据当前帧视频图像的目标像素点像素值 和目标像素点背景模型，判断所述目标像素点是否为前景点； 背景模型重建模块，用于如果所述目标像素点为前景点，在当前帧视频图像中，用目标 像素点对应邻域像素点的像素值替换所述像素值集合中的全部元素，以重建背景模型； 背景模型更新模块，用于如果所述目标像素点为背景点，用当前帧视频图像中目标像 素点的像素值随机替换所述像素值集合中的一个元素，以更新背景模型； 统计计算模块，用于在视频图像序列的所有帧视频图像中，统计所述目标像素点作为 相应帧视频图像前景点的出现次数； 运动目标频率热力图生成模块，用于根据所述出现次数，生成运动目标频率热力图。7. 根据权利要求6所述的运动目标频率检测装置，其特征在于， 所述背景模型建立模块包括四邻域背景模型建立模块，用于当所述目标像素点对应邻 域像素点为四邻域像素点，且目标像素点的邻域内存在所有的四邻域像素点时，将像素值 集合中相应位置的元素设置为所述四邻域像素点像素值，以建立背景模型;或者，当目标像 素点的邻域内存在部分四邻域像素点时，将像素值集合中缺失四邻域像素点对应位置的元 素设置为目标像素点的像素值，将像素集合中存在四邻域像素点对应位置的元素设置为存 在四邻域像素点的像素值，以建立背景模型。8. 根据权利要求6所述的运动目标频率检测装置，其特征在于，所述背景模型更新模块 包括： 随机数生成模块，用于生成随机数； 更新元素位置确定模块，用于根据所述随机数，确定背景模型的更新元素位置； 像素值替换模块，用于以当前帧视频图像中目标像素点的像素值替换所述更新元素位 置的像素值。9. 根据权利要求6所述的运动目标频率检测装置，其特征在于，所述统计计算模块包 括： 初始二值图像矩阵建立模块，用于建立各个帧视频图像的初始二值图像矩阵，所述初 始二值图像矩阵的矩阵元素与帧视频图像的像素点相对应;前景点对应的矩阵元素设置为 第一数值，背景点对应的矩阵元素设置为第二数值； 优化二值图像矩阵获得模块，用于对所述初始二值矩阵进行形态学开操作，得到优化 二值图像矩阵； 出现次数矩阵获得模块，用于累加各个优化二值图像矩阵，得到出现次数矩阵，所述出 现次数矩阵的矩阵元素与所述出现次数相对应。10. 根据权利要求6所述的运动目标频率检测装置，其特征在于，所述运动目标频率热 力图生成模块包括： 显示预设模块，用于预设多个次数范围，以及与所述次数范围分别对应的显示颜色；
【文档编号】G06T7/20GK106023259SQ201610362076
【公开日】2016年10月12日
【申请日】2016年5月26日
【发明人】史方, 周震, 雷章明
【申请人】史方