一种基于编码切换的混合编码方法和系统的制作方法

一种基于编码切换的混合编码方法和系统的制作方法
【专利摘要】本发明公开了一种基于编码切换的混合编码方法和系统，所述方法及系统通过在原始图像中提取背景图像，检测背景图像是否稳定，当检测到稳定背景图像时，切换为基于背景的编码方法；当检测不到稳定背景图像时，切换为非背景编码方法。本发明采用基于【背景技术】的结构化编码和非【背景技术】的普通编码相结合的方式进行切换编码，在背景固定的情况下利用低码率获取高质量的编码效果，在背景发生变化的情况下仍能保持好的编码质量。
【专利说明】
一种基于编码切换的混合编码方法和系统
技术领域
[0001]本发明属于视频监控领域，特别涉及一种基于编码切换的混合编码方法和系统。
【背景技术】
[0002]伴随着现代社会对突发情况调查、公共安全监控以及智能数据分析的日益增长的需求，视频监控系统越来越广泛地应用于社会生活之中。近年来，以平安城市为核心的“智慧城市”项目开始在全国各大城市大规模的兴起，交通监控、校园监控、楼宇监控、法庭监控、银行监控、场馆监控……视频监控几乎遍布于现代生活之中，为人们的居住安全、交通安全、卫生安全、社会安全和生产安全服务。
[0003]大量的监控视频需要付出巨大的存储成本，为了降低存储成本，现有技术往往以损失视频质量为代价，这和监控视频需满足识别需要的根本目的相违背。因此，面对如此海量的监控视频，从存储成本考虑，需要研究更高压缩率的视频编码技术。
[0004]监控视频拥有其自身的特性，场景的背景信息相对稳定，所以利用智能分析的背景分离技术，把图像中的前景和背景进行分割，然后把此先验信息告知编码器，则在不影响主观质量的前提下，编码可以对背景信息进一步提高压缩率，从而降低视频的存储成本。
[0005]前景主要是指感兴趣的目标、运动的物体以及靠近摄像头的物体。背景主要是指非感兴趣的目标、静止的物体以及远离摄像头的物体。
[0006]在视频监控领域，摄像机分为两类:一类为静态摄像机，另一类为动态摄像机。静态摄像机安装好后，背景可以稳定的获取，利用背景前景分离的结果指导编码，在不降低感兴趣目标编码质量的情况下，码率会大幅降低。对于动态摄像机来说，如果动态摄像机发生转动，背景发生了变化，背景维护会遇到困难，得不到干净的背景，在转动的过程中仍采用前景背景指导编码，码率会大幅增加，同时由于参考的背景已经过期，编码质量也会降低，达不到半结构化编码的目的。

【发明内容】

[0007]本发明的目的是提供一种基于编码切换的混合编码方法和系统，通过采用基于【背景技术】的结构化编码和非【背景技术】的普通编码相结合的方式进行切换编码，在背景固定的情况下利用低码率获取高质量的编码效果，在背景发生变化的情况下仍能保持好的编码质量。
[0008]为实现上述目的，本发明的一个方面提供了一种基于编码切换的混合编码方法，包括:采集图像信息；提取背景图像；检测背景图像是否稳定；根据背景图像是否稳定的检测结果执行编码切换方法，在基于背景的编码方法和非背景编码方法之间切换。
[0009]其中，所述根据背景图像是否稳定的检测结果执行编码切换方法进一步包括:当检测到稳定背景图像时，切换为基于背景的编码方法；当检测不到稳定背景图像时，切换为非背景编码方法。
[0010]其中，所述基于背景的编码方法包括:获取当前时刻的原始图像；基于原始图像获取前景图像；基于原始图像获取背景图像；基于背景图像获取变化区域。
[0011]其中，所述基于原始图像获取背景图像包括:比较前后两帧的帧差图像；判断当前帧图像是否是不包含前景信息的稳定图像；如果是，则将当前帧图像作为背景图像；如果否，则继续获取当前时刻的原始图像。
[0012]其中，所述编码切换方法是基于背景模型的编码切换方法，其包括:计算背景模型的置信度；检测置信度是否小于预定阈值；如果置信度小于预定阈值，切换为非背景编码方法；如果置信度不小于预定阈值，则检测是否存在背景帧；如果检测到背景帧，切换为基于背景的编码方法；如果未检测到背景帧，切换为非背景的编码方法。
[0013]可选的，所述背景模型的置信度是整帧置信度，所述整帧置信度表示整幅背景帧的置信度，是计算背景置信度图像中置信度值大于预定阈值以上的宏块比例。
[0014]其中，所述如果置信度不小于预定阈值，则检测是否存在背景帧进一步包括:获取前景图像的前景点数；获取帧差图像的帧差点数；在预定时间内检测是否存在前景点数小于第一阈值的图像帧；在预定时间内检测是否存在帧差点数小于第二阈值的图像帧；如果在预定时间内检测到存在前景点数小于第一阈值且帧差点数小于第二阈值的图像帧，切换为基于背景的编码方法；如果在预定时间内未检测到前景点数小于第一阈值且帧差点数小于第二阈值的图像帧，切换为非背景编码方法。
[0015]可选的，所述编码切换方法是基于PTZ坐标的编码切换方法，该方法包括:检测图像信息中的PTZ坐标；如果未检测到PTZ坐标发生变化，则采用基于背景的编码方法；当检测到PTZ坐标发生变化时，切换为非背景的编码方法。其中，所述如果未检测到PTZ坐标发生变化，则采用基于背景的编码方法进一步包括:如果未检测到PTZ坐标发生变化，则执行所述基于背景模型的编码切换方法。
[0016]其中，所述编码切换方法是基于码率突变的编码切换方法，该方法包括:记录一段时间内的码率值；检测前后时段的码率突变值是否超过第三阈值，如果是，则执行下一步，如果否，则继续记录一段时间内的码率值；检测码率突变值超过第三阈值的持续时间是否超过第四阈值；如果是，则执行所述基于背景模型的编码切换方法；如果否，则继续记录一段时间内的码率值。
[0017]其中，所述基于背景分离的编码方法中，编码帧分为背景帧、刷新帧和普通帧。
[0018]根据本发明的另一方面，提供了一种基于编码切换的混合编码系统，包括:背景建模模块1，用于在采集的图像信息中提取出背景图像；背景检测模块2，用于检测背景图像是否稳定；编码切换模块3，用于根据所述背景检测模块2的检测结果执行编码切换操作，在基于背景的编码方法和非背景编码方法之间切换；编码器4，用于根据所述编码切换模块3发出的编码方式切换指令执行相应的编码操作。
[0019]其中，当所述背景检测模块2检测到稳定背景图像时，发出稳定背景信号给所述编码切换模块3以切换为基于背景的编码方法；当所述背景检测模块2检测不到稳定背景图像时，发出不稳定背景信号给所述编码切换模块3以切换为非背景编码方法。
[0020]其中，所述背景检测模块2进一步包括:第一背景检测单元21，用于基于背景模型的置信度和背景帧进行背景检测；和/或第二背景检测单元22，用于基于PTZ坐标进行背景检测；和/或第三背景检测单元23，用于基于码率值进行背景检测。
[0021]优选的，所述背景建模模块I进一步包括:图像预处理模块11，用于对获取的原始图像进行预处理以得到符合要求的图像格式；前景图像提取模块12，用于通过背景建模在预处理图像中提取只包含运动目标的前景图像；以及背景图像提取模块13，用于利用所提取的前景图像在预处理图像中提取背景图像。
[0022]优选的，所述第一背景检测单元21进一步包括:置信度计算模块210，用于计算背景模型的置信度，并将置信度发送给置信度检测模块211 ;置信度检测模块211，用于检测置信度是否小于预定阈值，并当检测到置信度不小于预定阈值时，发出背景帧检测指令给背景帧检测模块212 ;和背景帧检测模块212，用于在接收到所述背景帧检测指令时，检测是否存在背景帧。
[0023]其中，所述置信度检测模块211检测到置信度小于预定阈值时，发出不稳定背景信号给所述编码切换模块3以切换为非背景编码方法。
[0024]其中，所述背景帧检测模块212检测到背景帧时，发出稳定背景信号给编码切换模块3以切换为基于背景的编码方法；以及所述背景帧检测模块212未检测到背景帧时，发出不稳定背景信号给编码切换模块3以切换为非背景编码方法。
[0025]可选的，所述第二背景检测单元22进一步包括:PTZ坐标获取模块220，用于获取摄像头当前的PTZ坐标值，并将PTZ坐标值发送给PTZ坐标检测模块221 ;和PTZ坐标检测模块221，用于检测PTZ坐标是否发生变化，其中:当检测到PTZ坐标发生变化时，PTZ坐标检测模块221发出不稳定背景信号给编码切换模块3以切换为非背景的编码方法；如果未检测到PTZ坐标发生变化，PTZ坐标检测模块221发出稳定背景信号给编码切换模块3以切换为基于背景的编码方法。
[0026]可选的，所述第三背景检测单元23进一步包括:码率记录模块230，实时统计一段时间内的码率值；第一码率检测模块231，用于检测前后时段的码率突变值是否超过第三阈值，如果是，则发出第一码率突变信号给第二码率检测模块232 ;第二码率检测模块232，用于在接收到所述第一码率突变信号时，检测码率突变值超过第三阈值的持续时间是否超过第四阈值。
[0027]其中，所述第二码率检测模块232检测到码率突变值超过第三阈值的持续时间超过第四阈值时，发出第二码率突变信号给所述第一背景检测单元21，使得第一背景检测单元21触发基于背景模型的编码切换操作；以及所述第二码率检测模块232检测到码率突变值超过第三阈值的持续时间未超过第四阈值时，发出码率正常信号给所述第一码率检测模块231，第一码率检测模块23继续检测码率是否突变。
[0028]其中，所述基于背景分离的编码方法中，编码帧分为背景帧、刷新帧和普通帧。
[0029]如上所述，本发明通过采用基于背景分离的编码方法和非背景的普通编码方法相结合的方式进行切换编码，在背景固定的情况下利用低码率获取高质量的编码效果，在背景发生变化的情况下仍能够保持好的编码质量。
【附图说明】
[0030]图1是现有技术中基于前景背景分离的结构化编码过程的示意图；
[0031]图2是本发明的基于编码切换的混合编码方法的原理示意图；
[0032]图3是本发明的基于背景分离的编码方法原理示意图；
[0033]图4是本发明的非背景编码方法示意图；
[0034]图5是本发明的基于编码切换的混合编码方法的流程示意图；
[0035]图6是根据本发明的基于背景的编码方法的流程图；
[0036]图7显示了本发明一可选实施例中基于PTZ坐标的编码切换方法流程图；
[0037]图8显示了本发明一可选实施例中基于背景模型的编码切换方法流程图；
[0038]图9是本发明一实施方式中背景帧检测的流程图；
[0039]图10是本发明一可选实施例中基于码率突变的编码切换方法流程图；
[0040]图11是根据本发明另一实施方式的基于编码切换的混合编码系统的结构示意图；
[0041]图12是根据本发明一可选实施方式的背景建模模块的结构示意图；
[0042]图13是根据本发明一优选实施方式的第一背景检测单元的结构示意图；
[0043]图14是根据本发明一可选实施方式的第二背景检测单元的结构示意图；
[0044]图15是根据本发明一优选实施方式的第三背景检测单元的结构示意图。
【具体实施方式】
[0045]为使本发明的目的、技术方案和优点更加清楚明了，下面结合【具体实施方式】并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
[0046]图1是现有技术中基于前景背景分离的结构化编码过程的示意图。
[0047]如图1所示，在现有技术的基于前景背景分离的结构化编码方法中，原始图像经过背景重建技术分成前景和背景两部分，前景和背景的重要程度不一样，在编码时对两者分别处理，编码后将两者形成一个码流。
[0048]现有技术的方案主要适用于监控静态图像，但是对于动态摄像机来说，监控画面的方位、焦距会发生变化，导致背景发生了变化，现有技术的方案如果仍采用前景背景指导编码，码率会大幅增加，同时由于参考的背景已经过期，编码质量也会降低，达不到半结构化编码的目的。基于上述缺陷，本发明提出了基于编码切换的混合编码方法。
[0049]图2是本发明的基于编码切换的混合编码方法的原理示意图。
[0050]如图2所示，和传统的编码方式不同，本发明采用背景分离的编码方法和非背景的普通编码方法相结合的混合编码方法，该方法通过编码切换的方式将两种编码方法混合在一起，一种是基于背景分离的编码方法，一种是非背景的编码方法(如H.264等)。其中，基于背景分离的编码方法是采用了背景和前景指导编码的结构化编码技术，其编码参考关系如图3所示。非背景的编码方法可以是任意的一种传统编码，如H.264等，其编码参考关系如图4所示。
[0051]参见图2，在编码启动时，由于还没有建立稳定的背景，采用非背景的普通编码方法，在to时刻，检测到静止的背景图像，此时从非背景的编码方法切换到基于背景分离的编码方法，在tl时刻，又检测不到静止的背景图像，此时再从基于背景分离的编码方法切换回非背景的普通编码方法。
[0052]图3是本发明的基于背景分离的编码方法原理示意图。
[0053]如图3所示，在本发明的基于背景分离的编码方法中，编码帧分为三类:背景帧，刷新帧和普通帧，与普通编码技术相比，多了一个背景帧。其中，背景帧是通过背景分析提取的图像帧；刷新帧是编码器对输入的视频图像编码而成，编码方式等同于H.264中的P帧编码，刷新帧在编码时，仅参考背景帧；普通帧也是等同于H.264中的P帧编码，同刷新帧的区别在于，普通帧在编码时，会同时参考前一帧和背景帧。
[0054]图4是本发明的非背景编码方法示意图。
[0055]如图4所示，非背景编码方法可以是任意的一种传统编码方法，编码方法包括但不限于 MPEG-1、MPEG-2、MPEG-4、H.261、H.263、H.264。
[0056]图5是本发明的基于编码切换的混合编码方法的流程示意图。
[0057]如图5所示，本发明通过模式切换检测方法，实时判断是否存在稳定的背景图像，来检测t0、tl时刻的发生。如果存在稳定的背景图像(如to时刻)，则采用基于背景分离的编码方式，如果不存在稳定的背景图像(如tl时刻)，则采用非背景的普通编码方式。这里，稳定的背景指的是静止不变或者变动范围处于预定阈值的背景。
[0058]本发明的基于编码切换的混合编码方法包括:
[0059]步骤SI，采集图像信息。
[0060]通过摄像机采集监控场景的图像信息，输入到视频处理装置中的模式切换装置。图像信息包括监控视频中的背景图像的PTZ坐标值，实时码率、置信度、帧差图像等。
[0061 ] 步骤S2，提取背景图像。
[0062]通过基于背景的编码方法对采集的图像信息进行编码，通过背景建模提取出图像信息中的前景图像和背景图像。
[0063]步骤S3，检测背景图像是否稳定。
[0064]本步骤中，通过检测及分析图像信息中的背景图像信息，实时判断是否存在稳定的背景图像。稳定的背景图像的表示监控区域未发生明显变动，因而采集的图像信息的背景图像保持稳定或静止。检测的背景图像信息可以包括但不限于背景图像的PTZ坐标值，实时码率、置信度、背景帧信息等信息。
[0065]步骤S4，根据步骤S3的检测结果执行编码切换方法，在基于背景的编码方法和非背景编码方法之间切换。
[0066]基于检测是否存在稳定的背景图像，采用编码切换方法实现基于背景的编码方法与非背景编码方法之间的切换，编码切换方法具体包括下述两个处理步骤:
[0067]步骤S41，当检测到稳定背景图像时，切换为基于背景的编码方法。
[0068]步骤S42，当检测不到稳定背景图像时，切换为非背景编码方法。
[0069]在编码启动时，还没有建立稳定的背景，可以采用非【背景技术】的编码方式，在某个to时刻，如果检测到稳定的背景，这个时候从非【背景技术】的编码方式切换到基于背景的编码方式，在tl时刻，又检测不到稳定的背景，编码方切换回非【背景技术】编码。
[0070]图6是根据本发明的基于背景的编码方法的流程图。
[0071]如图6所示，本发明的前述步骤S2和步骤S4中使用的基于背景的编码方法，包括下述步骤:
[0072]步骤S61，获取当前时刻的原始图像。
[0073]在编码前，获取当前时刻图像帧的原始图像信息，优选的，对所述原始图像进行降采样处理以得到低分辨率图像，以便于进行后面的前景提取和背景提取。
[0074]步骤S62，基于原始图像获取前景图像。
[0075]对所述低分辨率图像进行背景建模，通过背景建模可以实时得到只包含运动目标的前景图像。本发明中，背景建模例如可采用混合高斯等方法，但不限于混合高斯。
[0076]步骤S63，基于原始图像获取背景图像。
[0077]所述步骤S63通过下述步骤执行:
[0078]步骤S631，比较前后两帧的帧差图像。
[0079]步骤S632，判断当前帧图像是否是不包含前景信息(运动目标)的稳定图像(或静止图像)。
[0080]步骤S633，如果是，则将当前帧图像作为背景图像。
[0081]步骤S634，如果否，则返回，继续获取下一时刻的原始图像信息。
[0082]可选的，还包括步骤S635，将当前帧图像标志为背景帧并输出给编码器。
[0083]编码器根据背景建模模块输出当前帧图像可作为背景图像的标志，告知编码器当前帧为背景帧，作为背景帧编入码流。
[0084]步骤S64，基于背景图像获取当前帧相对背景图像的变化区域。
[0085]背景建模模块利用检测到的静止图像作为背景图像，每帧实时图像和背景图像相减，获取变化区域，通过对变化区域进行连通域分析、形态学操作等处理，实时输出相对于背景帧的前景区域。
[0086]从上述基于背景分离的编码方法中可以看出，如果背景图像不稳定，则提取不到干净的背景帧。此时如果仍然采用基于背景分离的编码方法，由于参考的背景帧不正确，反而会导致编码图像质量下降，码率也没有节省。
[0087]针对这种情况，本发明在后面的步骤S4、步骤S5中采用了基于编码切换的混合编码方法，当未检测到静止的背景图像时，从基于背景分离的编码方法切换到非背景的编码方法。这样，基于背景分离的编码方法和非背景编码方法相结合的混合编码方式就可以和普通编码方式一样，应用在任意的摄像机中，如转动的球机，而不仅限于静止的摄像头，从而扩展了该混合编码方式的应用范围。
[0088]图7显示了本发明一可选实施例中基于PTZ坐标的编码切换方法流程图。
[0089]在本实施例中，可选的采用图像信息的PTZ坐标作为检测背景图像是否稳定的参考因素。PTZ在安防监控应用中是Pan/Tilt/Zoom的简写，表示摄像头全方位(左右/上下)移动及镜头变倍、变焦控制的参数变化。
[0090]如图7所示，所述基于PTZ坐标的编码切换方法包括下述步骤:
[0091 ] 步骤S71，检测图像信息中的PTZ坐标。
[0092]对于动态摄像机来说，例如球机，一般具有PTZ坐标，随着摄像头的运动，相应的PTZ坐标值发生变化，系统会实时记录摄像头的PTZ坐标。
[0093]步骤S72，如果未检测到PTZ坐标发生变化，则采用基于背景的编码方法。
[0094]本步骤的执行包含两种情况，一是摄像机本身不具有PTZ坐标，系统检测不到PTZ坐标信息，此时默认采用基于背景的编码方法，或者触发执行其他类型的编码切换方法，参见下文详细描述。另一种情况是摄像机具有PTZ坐标，但是摄像头保持静止，导致检测到PTZ坐标值没有发生变化，此时也默认采用基于背景的编码方法，直到检测到PTZ坐标发生变化，参见下一步骤。
[0095]步骤S73，当检测到PTZ坐标发生变化时，切换为非背景的编码方法。
[0096]当检测到PTZ坐标发生变化时，从基于背景分离的编码方法切换回非背景的编码方法。
[0097]本实施例中，基于PTZ坐标的编码切换方法可以作为前述基于背景的编码方法独立执行，优选的，也作为一种辅助信息来作为下文的基于背景模型的编码切换方法的补充。也就是说，如果步骤S72中未检测到PTZ坐标发生变化，则可能触发后面的基于背景模型的编码切换方法。
[0098]图8显示了本发明一可选实施例中基于背景模型的编码切换方法流程图。
[0099]本实施例中，基于背景模型的编码切换方法采用了背景模型中背景帧的置信度和帧信息作为检测背景图像是否稳定的参考因素，所述基于背景模型的编码切换方法包括下述步骤:
[0100]步骤S81，计算背景模型的置信度。
[0101]在本步骤中，由于背景图像建立过程中往往会受到场景中运动目标的影响，如果运动目标在场景中的时间超过了运动目标所在位置的背景出现的时间，即运动目标所在位置的真实背景被遮挡，运动目标会被当作背景，则此时建立的背景图像往往是不干净的，会有运动目标的像素值在背景图像里面。为减少运动目标对背景图像的影响，在背景图像建立过程中计算背景模型的置信度(亦称为可靠度)，置信度表示背景模型的历史运动信息情况。置信度值越大表示该处的背景图像越稳定可靠，可以采用基于背景的编码方法。
[0102]在本发明的可选实施例中，背景模型置信度可以采用宏块置信度或整帧置信度。其中，宏块置信度表示背景模型中每个背景宏块的置信度，表示每个背景宏块处历史运动信息情况。所述宏块置信度是基于宏块计算的，宏块是像素级的，可以是一个像素或者是N个像素，计算方式为l_n/1500)*255。整帧置信度表示整幅背景帧的置信度，整帧置信度是计算背景置信度图像中置信度值大于阈值th(如200)以上的宏块比例。其中，整帧置信度是基于整幅背景图像计算，宏块是像素级的，整帧是图像级的，整帧置信度是建立在宏块置信度基础上的，是对大的宏块置信度值的统计。通过宏块置信度仅能判断一个宏块是否可靠，通过整帧置信度判断整幅背景图像是否可靠。
[0103]步骤S82，检测置信度是否小于预定阈值。
[0104]如上所述，背景模型置信度可以用来衡量背景图形的稳定性，置信度值越大表示该处的背景越可靠，置信度值越小，特别是低于某个预定阈值时，表示该处的背景图像明显不稳定，监控画面出现明显变动，此时不宜采用基于背景的编码方法，而应当切换为非背景编码方法。
[0105]例如，对于宏块置信度来说，如果过去的1500帧内，背景宏块处无任何运动，则这个背景宏块的置信度为最大值255 ;如果1500帧内，存在有η帧的背景宏块发生运动，则宏块置信度为(1_η/1500)*255。置信度值越大表示该处的背景越可靠，编码时可以通过宏块置信度来衡量是否参考背景宏块。
[0106]步骤S83，如果置信度小于预定阈值，切换为非背景编码方法。
[0107]如果背景模型的置信度小于预定阈值，则表示获取不到纯净的背景模型，不存在稳定的背景图像，后续的背景帧检测也会受到干扰，此时编码方式切换为普通的非背景编码方式。
[0108]步骤S84，如果置信度不小于预定阈值，则检测是否存在背景帧。
[0109]如果背景模型置信度高于或等于预定阈值，则表示可能存在稳定的背景图像，可以进行背景帧检测，根据背景帧检测情况进行下一步判断。
[0110]背景帧检测是对前景背景分离中的前景图像和帧差图像进行分析，统计每一帧的前景点数和帧差点数，如果在设定的预定时间内存在满足点数要求的静止图像，则表示检测到背景帧，此时输出背景存在标志，采用基于背景的编码方法。
[0111]步骤S85，如果检测到背景帧，切换为基于背景的编码方法。
[0112]在检测到背景帧时，输出背景存在标志，采用基于背景的编码方法。
[0113]步骤S86，如果未检测到背景帧，切换为非背景的编码方法。
[0114]图9是本发明一实施方式中背景帧检测的流程图。
[0115]如图9所示，前述步骤S84用于检测是否存在背景帧，检测方法如下:
[0116]步骤S91，获取前景图像的前景点数。
[0117]对当前图像的前景背景分离中的前景图像和帧差图像进行分析，统计获取前景图像的前景点数。
[0118]步骤S92，获取帧差图像的帧差点数。
[0119]对当前图像的前景背景分离中的前景图像和帧差图像进行分析，统计获取帧差图像的帧差点数。
[0120]这里，步骤S91和步骤S92的执行顺序不唯一，可以先后执行或同时执行。
[0121]步骤S93，在预定时间内检测是否存在前景点数小于第一阈值的图像帧。
[0122]在预先设定的时间段内，检测是否存在前景点数小于第一阈值的图像帧，如果检测到存在前景点数小于第一阈值的图像帧，则转到下一步，在满足条件的这些图像帧中继续检测是否存在帧差点数小于第二阈值的图像帧。
[0123]步骤S94，在预定时间内检测是否存在帧差点数小于第二阈值的图像帧。
[0124]在前述预先设定的时间段内，在前景点数小于第一阈值的图像帧中，检测是否存在帧差点数小于第二阈值的图像帧。
[0125]在本发明的实施例中，步骤S93和步骤S94的执行顺序不唯一，可以先后执行或同时执行。例如，也可以先执行步骤S94，在帧差点数小于第二阈值的图像帧中检测是否存在前景点数小于第一阈值的图像帧。
[0126]步骤S95，如果在预定时间内检测到存在前景点数小于第一阈值且帧差点数小于第二阈值的图像帧，切换为基于背景的编码方法。
[0127]如果在预定时间内检测到存在满足点数要求的静止图像，则表示检测到背景帧，此时输出背景存在标志，采用基于背景的编码方式。
[0128]步骤S96，如果在预定时间内未检测到前景点数小于第一阈值且帧差点数小于第二阈值的图像帧，切换为非背景编码方法。
[0129]如果在预定时间内未检测到存在满足点数要求的静止图像，表示该时间段内不存在可作为背景帧的静止图像，监控场景在该段时间内发生明显变化，此时不适宜采用基于背景的编码方法，而应采用非背景编码方法。预定时间期满后，返回，在下一个预定时间段内重复执行上述步骤。
[0130]图10是本发明一可选实施例中基于码率突变的编码切换方法流程图。
[0131]如图10所示，通过对监控编码过程中的实时码率进行监控实施编码切换，所述基于码率突变的编码切换方法包括下述步骤:
[0132]步骤SlOl，记录一段时间内的码率值。
[0133]实时统计一段时间内的码率值，例如可以记录最近25帧的码率值，以码率值-时间为坐标系生成码率曲线，便于检测码率曲线是否发生突变。
[0134]步骤S102，检测前后时段的码率突变值是否超过第三阈值。
[0135]当检测到前后时段的码率发生突变时，检测突变值是否超过预定的第三阈值，如果是，则继续执行下一步，如果否，则返回步骤S101，继续记录并检测码率突变值。
[0136]步骤S103，检测码率突变值超过第三阈值的持续时间是否超过第四阈值。
[0137]当检测到前后时段的码率突变值超过预定的第三阈值时，进一步检测码率突变值超过第三阈值的持续时间是否超过第四阈值。
[0138]步骤S104，如果是，则执行前文图8所示基于背景模型的编码切换方法；
[0139]步骤S105，如果否，则返回步骤S101，继续记录并检测码率突变值。
[0140]本实施例的基于码率突变的编码切换方法可以作为前述基于背景模型的编码方法独立执行，优选的，也可以在作为前述基于背景模型的编码方法的辅助执行步骤，以触发前面的基于背景模型的编码切换方法。也即，可以选择在前述基于背景模型的编码切换方法之前执行，满足一定条件时触发基于背景模型的编码切换方法，从而使背景图像的检测更加准确。但本发明不限制于此，也可以不执行本实施例的码率监控，直接触发基于背景模型的编码切换方法。
[0141]如上所述，详细介绍了本发明的基于编码切换的混合编码方法，所述编码方式切换检测步骤是贯穿在整个编码过程中的。如图5所示，在采用基于背景编码方式时，如果通过检测，发现不再存在稳定的背景帧，则会切换到非背景的编码方式，反之，在采用非背景编码方式时，如果通过检测，发现存在稳定的背景帧，则切换到基于背景的编码方式。采用这个编码方式，可以解决基于【背景技术】的编码方式的应用瓶颈，既可以保证质量，又可以节省码率。
[0142]图11是根据本发明另一实施方式的基于编码切换的混合编码系统的结构示意图。
[0143]如图11所示，本发明另一实施方式的基于编码切换的混合编码系统包括背景建模模块1、背景检测模块2、编码切换模块3、编码器4。
[0144]背景建模模块I用于在采集的图像信息中提取出背景图像。具体的说，背景建模模块I通过基于背景的编码方法对采集的图像信息进行编码，通过背景建模提取出图像信息中的前景图像和背景图像。
[0145]背景检测模块2连接到所述背景建模模块1，用于检测背景图像是否稳定，并发出稳定背景信号或不稳定背景信号。稳定背景信号表示检测到存在稳定的背景图像，不稳定背景信号表示未检测到存在稳定的背景图像。背景检测模块2通过检测及分析图像信息中的背景图像信息，实时判断是否存在稳定的背景图像。稳定的背景图像的表示监控区域未发生明显变动，因而采集的图像信息的背景图像保持稳定或静止。检测的背景图像信息包括但不限于背景图像的PTZ坐标值，码率值、置信度、背景帧信息等信息。
[0146]在本发明的可选实施例中，背景检测模块2进一步包括第一背景检测单元21、和/或第二背景检测单元22、和/或第三背景检测单元23。其中，第一背景检测单元21基于背景模型的置信度和背景帧进行背景检测，第二背景检测单元22基于PTZ坐标进行背景检测、第三背景检测单元23基于码率值进行背景检测。第二背景检测单元22和第三背景检测单元23是可选的，用于辅助第一背景检测单元21进行背景检测，以提高检测准确度。
[0147]编码切换模块3连接到所述背景检测模块2，用于根据背景检测模块2的检测结果执行编码切换操作，在基于背景的编码方法和非背景编码方法之间切换。具体来说，当背景检测模块2检测到稳定背景图像时，发出稳定背景信号给编码切换模块3，编码切换模块3向编码器4发出编码方式切换指令，切换为基于背景的编码方法。当背景检测模块2检测不到稳定背景图像时，发出不稳定背景信号给编码切换模块3，编码切换模块3向编码器4发出编码方式切换指令，切换为非背景编码方法。所述非背景的普通编码方法为任意的一种传统编码方法，编码方法包括但不限于MPEG-1、MPEG-2、MPEG-4、H.261、H.263、H.264。
[0148]编码器4连接到所述编码切换模块3，用于接收编码切换模块3发出的编码方式切换指令，并根据该编码方式切换指令执行相应的编码操作。
[0149]图12是根据本发明一可选实施方式的背景建模模块的结构示意图。
[0150]如图12所示，在本发明的一可选实施方式中，背景建模模块I进一步包括图像预处理模块11、前景图像提取模块12和背景图像提取模块13。
[0151]图像预处理模块11用于对获取的原始图像进行预处理以得到符合要求的图像格式。优选的，图像预处理模块11对获取的原始图像降采样处理以得到低分辨率图像，以便于进行后面的前景提取和背景提取。
[0152]前景图像提取模块12连接到所述图像预处理模块11，用于对预处理后的低分辨率图像进行背景建模，通过背景建模实时得到只包含运动目标的前景图像。本发明中，背景建模例如可采用混合高斯等方法，但不限于混合高斯。
[0153]背景图像提取模块13连接到所述图像预处理模块11和前景图像提取模块12，用于利用所提取的前景图像在预处理后的低分辨率图像中提取背景图像，提取出不包含前景信息(运动目标)的稳定图像(或静止图像)以作为背景图像。
[0154]图13是根据本发明一优选实施方式的第一背景检测单元的结构示意图。
[0155]如图13所示，在本发明的一优选实施方式中，第一背景检测单元21用于执行基于背景模型的编码切换操作，主要根据背景模型的置信度和背景帧来检测是否存在稳定的背景图像。第一背景检测单元21进一步包括置信度计算模块210、置信度检测模块211和背景帧检测模块212。
[0156]置信度计算模块210用于计算背景模型的置信度，并将置信度发送给置信度检测模块211。具体的说，置信度计算模块210在背景图像建立过程中计算背景模型的置信度(亦称为可靠度)，置信度表示背景模型的历史运动信息情况。置信度值越大表示该处的背景图像越稳定可靠，可以采用基于背景的编码方法。在本发明的可选实施例中，背景模型置信度可以采用宏块置信度或整帧置信度。宏块置信度表示背景模型中每个背景宏块的置信度，表示每个背景宏块处历史运动信息情况。整帧置信度表示整幅背景帧的置信度，整帧置信度是计算背景置信度图像中置信度值大于阈值th(如200)以上的宏块比例，通过整帧置信度判断整幅背景图像是否可靠。
[0157]置信度检测模块211连接到所述置信度计算模块210，用于检测置信度是否小于预定阈值。具体的说，当置信度检测模块211检测到置信度小于预定阈值时，发出不稳定背景信号给编码切换模块3，编码切换模块3向编码器4发出编码方式切换指令，切换为非背景编码方法。当置信度检测模块211检测到置信度不小于预定阈值时，发出背景帧检测指令给背景帧检测模块212，触发背景帧检测模块212执行背景帧检测操作。
[0158]背景帧检测模块212连接到所述置信度检测模块211，用于检测是否存在背景帧。具体的说，当背21景帧检测模块212接收到置信度检测模块211发出的背景帧检测指令时，启动背景帧检测操作，检测是否存在背景帧。当检测到背景帧时，发出稳定背景信号给编码切换模块3，编码切换模块3向编码器4发出编码方式切换指令，切换为基于背景的编码方法。当未检测到背景帧时，发出不稳定背景信号给编码切换模块3，编码切换模块3向编码器4发出编码方式切换指令，切换为非背景编码方法。
[0159]图14是根据本发明一可选实施方式的第二背景检测单元的结构示意图。
[0160]如图14所示，在本发明的一可选实施方式中，第二背景检测单元22进一步包括PTZ坐标获取模块220和PTZ坐标检测模块221。
[0161]PTZ坐标获取模块220用于获取摄像头当前的PTZ坐标值，并将PTZ坐标值发送给PTZ坐标检测模块221。此外，如果PTZ坐标获取模块220没有获取到摄像头的PTZ坐标值，表示摄像机本身不具有PTZ坐标，系统检测不到PTZ坐标信息，此时PTZ坐标获取模块220发出稳定背景信号给编码切换模块3和第一背景检测单元21，系统默认采用基于背景的编码方法，或者触发第一背景检测单元21执行其他类型的编码切换方法。
[0162]PTZ坐标检测模块221连接到PTZ坐标获取模块220，用于检测PTZ坐标是否发生变化。当检测到PTZ坐标发生变化时，PTZ坐标检测模块221发出不稳定背景信号给编码切换模块3，编码切换模块3切换为非背景的编码方法。如果未检测到PTZ坐标发生变化，PTZ坐标检测模块221发出稳定背景信号给编码切换模块3，编码切换模块3切换为基于背景的编码方法。
[0163]图15是根据本发明一优选实施方式的第三背景检测单元的结构示意图。
[0164]如图15所示，在本发明的一优选实施方式中，第三背景检测单元23进一步包括码率记录模块230、第一码率检测模块231、第二码率检测模块232。
[0165]码率记录模块230实时统计一段时间内的码率值，例如可以记录最近25帧的码率值，以码率值-时间为坐标系生成码率曲线，便于检测码率曲线是否发生突变。
[0166]第一码率检测模块231连接到所述码率记录模块230，用于检测前后时段的码率突变值是否超过第三阈值。第一码率检测模块231接受码率记录模块230发出的码率值，检测前后时段的码率是否发生突变，当检测到码率突变时，第一码率检测模块231检测突变值是否超过预定的第三阈值，如果是，则发出第一码率突变信号给第二码率检测模块232，如果否，则继续检测码率值是否突变。
[0167]第二码率检测模块232连接到所述第一码率检测模块231，用于检测码率突变值超过第三阈值的持续时间是否超过第四阈值。第二码率检测模块232接收到第一码率检测模块231发出的第一码率突变信号时，检测码率突变值超过第三阈值的持续时间是否超过第四阈值。如果是，则发出第二码率突变信号给第一背景检测单元21，使得第一背景检测单元21触发基于背景模型的编码切换操作。如果否，则发出码率正常信号给第一码率检测模块231，第一码率检测模块23继续检测码率是否突变。
[0168]如上所述，详细介绍了本发明的基于编码切换的混合编码系统，所述混合编码系统在整个编码过程中贯穿执行了基于背景检测的编码方式切换操作。如果检测不存在稳定的背景帧，则会切换到非背景的编码方式，反之，如果检测发现存在稳定的背景帧，则切换到基于背景的编码方式。通过采用本发明的混合编码系统，可以解决基于【背景技术】的编码方式的应用瓶颈，既可以保证质量，又可以节省码率。
[0169]如上所述，本发明提供了一种基于编码切换的混合编码方法和系统，本发明通过采用基于背景分离的编码方法和非背景的普通编码方法相结合的方式进行切换编码，在背景固定的情况下利用低码率获取高质量的编码效果，在背景发生变化的情况下仍能够保持好的编码质量。
[0170]应当理解的是，本发明的上述【具体实施方式】仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
【主权项】
1.一种基于编码切换的混合编码方法，所述方法包括: 米集图像?目息； 提取背景图像； 检测背景图像是否稳定； 根据背景图像是否稳定的检测结果执行编码切换方法，在基于背景的编码方法和非背景编码方法之间切换。2.根据权利要求1所述的方法，其特征在于，所述根据背景图像是否稳定的检测结果执行编码切换方法的步骤进一步包括: 当检测到稳定背景图像时，切换为基于背景的编码方法； 当检测不到稳定背景图像时，切换为非背景编码方法。3.根据权利要求1所述的方法，其特征在于，所述基于背景的编码方法包括: 获取当前时刻的原始图像； 基于原始图像获取前景图像； 基于原始图像获取背景图像； 基于背景图像获取变化区域。4.根据权利要求3所述的方法，其特征在于，所述基于原始图像获取背景图像的步骤包括: 比较前后两帧的帧差图像； 判断当前帧图像是否是不包含前景信息的稳定图像； 如果是，则将当前帧图像作为背景图像； 如果否，则继续获取当前时刻的原始图像。5.根据权利要求1所述的方法，其特征在于，所述编码切换方法是基于背景模型的编码切换方法，其包括: 计算背景模型的置信度； 检测置信度是否小于预定阈值； 如果置信度小于预定阈值，切换为非背景编码方法； 如果置信度不小于预定阈值，则检测是否存在背景帧； 如果检测到背景帧，切换为基于背景的编码方法； 如果未检测到背景帧，切换为非背景的编码方法。6.根据权利要求5所述的方法，其特征在于，所述背景模型的置信度是整帧置信度，所述整帧置信度表示整幅背景帧的置信度，是计算背景置信度图像中置信度值大于预定阈值以上的宏块比例。7.根据权利要求5或6所述的方法，其特征在于，所述检测是否存在背景帧的步骤进一步包括: 获取前景图像的前景点数； 获取帧差图像的帧差点数； 在预定时间内检测是否存在前景点数小于第一阈值的图像帧； 在预定时间内检测是否存在帧差点数小于第二阈值的图像帧； 如果在预定时间内检测到存在前景点数小于第一阈值且帧差点数小于第二阈值的图像帧，切换为基于背景的编码方法； 如果在预定时间内未检测到前景点数小于第一阈值且帧差点数小于第二阈值的图像帧，切换为非背景编码方法。8.根据权利要求1、5-7中任一项所述的方法，其特征在于，所述编码切换方法是基于PTZ坐标的编码切换方法，该方法包括: 检测图像信息中的PTZ坐标； 如果未检测到PTZ坐标发生变化，则采用基于背景的编码方法； 当检测到PTZ坐标发生变化时，切换为非背景的编码方法。9.根据权利要求8所述的方法，如果未检测到PTZ坐标发生变化，所述采用基于背景的编码方法的步骤进一步包括: 如果未检测到PTZ坐标发生变化，则执行所述基于背景模型的编码切换方法。10.根据权利要求1、5-8中任一项所述的方法，其特征在于，所述编码切换方法是基于码率突变的编码切换方法，该方法包括: 记录一段时间内的码率值； 检测前后时段的码率突变值是否超过第三阈值，如果是，则执行下一步，如果否，则继续记录一段时间内的码率值； 检测码率突变值超过第三阈值的持续时间是否超过第四阈值； 如果是，则执行所述基于背景模型的编码切换方法； 如果否，则继续记录一段时间内的码率值。11.根据权利要求1、2、5、9中任一项所述的方法，其特征在于，所述基于背景分离的编码方法中，所述编码帧是背景帧、刷新帧和/或普通帧。12.—种基于编码切换的混合编码系统，包括: 背景建模模块(I)，用于在采集的图像信息中提取出背景图像； 背景检测模块(2)，用于检测背景图像是否稳定； 编码切换模块(3)，用于根据所述背景检测模块(2)的检测结果执行编码切换操作，在基于背景的编码方法和非背景编码方法之间切换； 编码器(4)，用于根据所述编码切换模块(3)发出的编码方式切换指令执行相应的编码操作。13.根据权利要求11所述的系统，其中， 当所述背景检测模块(2)检测到稳定背景图像时，发出稳定背景信号给所述编码切换模块(3)以切换为基于背景的编码方法； 当所述背景检测模块(2)检测不到稳定背景图像时，发出不稳定背景信号给所述编码切换模块(3)以切换为非背景编码方法。14.根据权利要求11或12所述的系统，所述背景检测模块(2)进一步包括: 第一背景检测单元(21)，用于基于背景模型的置信度和背景帧进行背景检测；和/或 第二背景检测单元(22)，用于基于PTZ坐标进行背景检测；和/或 第三背景检测单元(23)，用于基于码率值进行背景检测。15.根据权利要求11所述的系统，所述背景建模模块(I)进一步包括: 图像预处理模块(11)，用于对获取的原始图像进行预处理以得到符合要求的图像格 式； 前景图像提取模块(12)，用于通过背景建模在预处理图像中提取只包含运动目标的前景图像；以及 背景图像提取模块(13)，用于利用所提取的前景图像在预处理图像中提取背景图像。16.根据权利要求13所述的系统，所述第一背景检测单元(21)进一步包括: 置信度计算模块(210)，用于计算背景模型的置信度，并将置信度发送给置信度检测模块(211)； 置信度检测模块(211)，用于检测置信度是否小于预定阈值，并当检测到置信度不小于预定阈值时，发出背景帧检测指令给背景帧检测模块(212);和 背景帧检测模块(212)，用于在接收到所述背景帧检测指令时，检测是否存在背景帧。17.根据权利要求15所述的系统，所述置信度检测模块(211)检测到置信度小于预定阈值时，发出不稳定背景信号给所述编码切换模块(3)以切换为非背景编码方法。18.根据权利要求15所述的系统，其特征在于: 所述背景帧检测模块(212)检测到背景帧时，发出稳定背景信号给编码切换模块(3)以切换为基于背景的编码方法；以及 所述背景帧检测模块(212)未检测到背景帧时，发出不稳定背景信号给编码切换模块(3)以切换为非背景编码方法。19.根据权利要求13、15-17中任一项所述的系统，所述第二背景检测单元(22)进一步包括: PTZ坐标获取模块(220)，用于获取摄像头当前的PTZ坐标值，并将PTZ坐标值发送给PTZ坐标检测模块(221);和 PTZ坐标检测模块(221)，用于检测PTZ坐标是否发生变化，其中: 当检测到PTZ坐标发生变化时，PTZ坐标检测模块(221)发出不稳定背景信号给编码切换模块(3)以切换为非背景的编码方法； 如果未检测到PTZ坐标发生变化，PTZ坐标检测模块(221)发出稳定背景信号给编码切换模块(3)以切换为基于背景的编码方法。20.根据权利要求13、15-17中任一项所述的系统，所述第三背景检测单元(23)进一步包括: 码率记录模块(230)，实时统计一段时间内的码率值； 第一码率检测模块(231)，用于检测前后时段的码率突变值是否超过第三阈值，如果是，则发出第一码率突变信号给第二码率检测模块(232); 第二码率检测模块(232)，用于在接收到所述第一码率突变信号时，检测码率突变值超过第三阈值的持续时间是否超过第四阈值。21.根据权利要求19所述的系统，其特征在于: 所述第二码率检测模块(232)检测到码率突变值超过第三阈值的持续时间超过第四阈值时，发出第二码率突变信号给所述第一背景检测单元(21)，使得第一背景检测单元(21)触发基于背景模型的编码切换操作；以及 所述第二码率检测模块(232)检测到码率突变值超过第三阈值的持续时间未超过第四阈值时，发出码率正常信号给所述第一码率检测模块(231)，第一码率检测模块(231)继续检测码率是否突变。22.根据权利要求12、13、18任一项所述的系统，其特征在于，所述基于背景分离的编码方法中，所述编码帧是背景帧、刷新帧和/或普通帧。
【文档编号】H04N19/146GK106034237SQ201510126313
【公开日】2016年10月19日
【申请日】2015年3月20日
【发明人】童俊艳, 浦世亮, 沈林杰, 马程, 呼志刚, 任烨, 俞海
【申请人】杭州海康威视数字技术股份有限公司