基于目标检测的感兴趣区域视频编码方法及其装置制造方法
【专利摘要】本发明涉及视频编码【技术领域】，公开了一种基于目标检测的感兴趣区域视频编码方法及其装置。本发明中，该视频编码方法包括以下步骤：对原始图像进行目标检测，生成目标信息，获取目标区域和置信度；将目标区域转换成适合编码的感兴趣区域；根据编码质量等级和置信度计算编码量化参数；根据对应的编码量化参数对感兴趣区域和非感兴趣区域进行量化编码。通过目标检测获取感兴趣区域和非感兴趣区域以及对应置信度，选择相应量化参数对感兴趣区域和非感兴趣区域进行量化编码，可以有效保证感兴趣区域的编码质量及稳定性，同时在不降低感兴趣区域编码质量的前提下，可降低整幅图像的压缩码流，提高视频传输和存储效率。
【专利说明】基于目标检测的感兴趣区域视频编码方法及其装置
【技术领域】
[0001]本发明涉及视频编码【技术领域】，特别涉及基于目标检测的感兴趣区域视频编码方法及其装置。
【背景技术】
[0002]视频监控是安全防范行业的一个重要组成部分。随着视频监控系统的不断扩大，监控点的增多，传输和存储数据都需要付出极大的成本。因此必须对视频信息进行高效的压缩，才能充分利用网络资源，降低存储空间，从而达到节约成本的目的。
[0003]在视频监控的实际应用中，人们一般只对监控场景的某一部分感兴趣，从而潜在的要求感兴趣的区域具备较高的编码质量，而对非感兴趣区域的编码质量没有很高的要求。在以往的监控系统中，都是对整幅图像进行统一的编码质量调整，若想提升编码质量就需要增加编码码率。所以，在其余的条件都不发生变化的前提下，仅对于编码系统存在一对无法解决的矛盾:更好的编码图像质量和更低的编码码率。
[0004]针对上述问题，目前普遍的解决方法就是对感兴趣区域与非感兴趣区域采用不同的编码质量进行编码。这里涉及到两个重要的步骤:感兴趣区域的选择；感兴趣区域和非感兴趣区域的编码。
[0005]对于感兴趣区域的选择，目前较多的解决方式是用户直接预先选定一块固定的区域，并设定该区域的编码质量等级，该类方法的缺点是只能选择固定的区域作为感兴趣区域；
[0006]另外的解决方案是在编码框架中加入运动检测模块，基于运动检测的结果确定感兴趣区域，此方法的缺点在于只能针对运动的物体选定感兴趣区域，而本发明的发明人发现，其实很多实际的应用中感兴趣的不仅仅是运动的部分，或者扰动来自并不关注的部分，或者感兴趣的区域正好处于静止状态。
[0007]选定感兴趣区域之后，视频编码时就是需要对感兴趣区域进行高质量编码，尽可能保留该区域的数据，对非感兴趣区域进行低质量编码，尽可能减少该区域所需的编码比特数。现有技术中有解决方案采用H.264的灵活宏块排序来处理感兴趣区域编码，对感兴趣区域尽量保留数据信息，对非感兴趣区域尽量减少编码比特，但是这种方法仅适用于H.264编码，且需要增加额外的比特开销，一般的解码器不能支持灵活宏块排序，对解码端的接入要求较高。
【发明内容】
[0008]本发明的目的在于提供一种基于目标检测的感兴趣区域视频编码方法及其装置，可以有效保证感兴趣区域的编码质量及其稳定性，同时在不降低感兴趣区域编码质量的前提下，可以降低整幅图像的压缩码流，提高视频传输和存储效率。
[0009]为解决上述技术问题，本发明的实施方式公开了一种基于目标检测的感兴趣区域视频编码方法，包括以下步骤:
[0010]对原始图像进行目标检测，生成目标信息，获取目标区域和对应目标检测的置信度；
[0011]将目标区域转换成适合编码的感兴趣区域；
[0012]根据编码质量等级和置信度计算感兴趣区域和非感兴趣区域的编码量化参数；
[0013]根据对应的编码量化参数对感兴趣区域和非感兴趣区域进行量化编码。
[0014]本发明的实施方式还公开了一种基于目标检测的感兴趣区域视频编码装置，包括:
[0015]目标检测模块，用于对原始图像进行目标检测，生成目标信息，获取目标区域和对应目标检测的置信度；
[0016]感兴趣区域生成模块，用于将目标检测模块生成的目标区域转换成适合编码的感兴趣区域；
[0017]量化参数确定模块，用于根据编码质量等级和置信度计算感兴趣区域和非感兴趣区域的编码量化参数；
[0018]编码模块，用于根据对应的编码量化参数对感兴趣区域和非感兴趣区域进行量化编码。
[0019]本发明实施方式与现有技术相比，主要区别及其效果在于:
[0020]通过目标检测获取感兴趣区域和非感兴趣区域，选择相对应的量化参数对感兴趣区域和非感兴趣区域进行量化编码，可以有效保证感兴趣区域的编码质量及其稳定性，同时在不降低感兴趣区域编码质量的前提下，可以降低整幅图像的压缩码流，提高视频传输和存储效率。
[0021 ] 进一步地，并行处理目标检测和编码前预处理的步骤，可以大大节省视频编码所用的时间，编码效率更高。
[0022]进一步地，在对原始图像进行目标检测，生成目标信息，获取目标区域和对应目标检测的置信度的步骤和所述对原始图像进行编码前的预处理的步骤并行处理的情况下，两个步骤的处理延时可能不同，通过引入同步步骤，将对应同一图像的预处理结果和目标信息匹配起来，可以避免在目标检测出现异常时造成编码的中断。
【专利附图】
【附图说明】
[0023]图1是本发明第一实施方式中一种基于目标检测的感兴趣区域视频编码方法的流程示意图；
[0024]图2是本发明第二实施方式中一种基于目标检测的感兴趣区域视频编码方法的流程示意图；
[0025]图3是本发明第二实施方式中一种基于目标检测的感兴趣区域视频编码方法的优选例的同步机制示意图；
[0026]图4是本发明第三实施方式中一种基于目标检测的感兴趣区域视频编码装置的结构示意图；
[0027]图5是本发明第四实施方式中一种基于目标检测的感兴趣区域视频编码装置的结构示意图。
【具体实施方式】
[0028]在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。
[0029]为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
[0030]本发明第一实施方式涉及一种基于目标检测的感兴趣区域视频编码方法。图1是该基于目标检测的感兴趣区域视频编码方法的流程示意图。
[0031]具体地说，如图1所示，该基于目标检测的感兴趣区域视频编码方法包括以下步骤:
[0032]在步骤101中，对原始图像进行目标检测，生成目标信息，获取目标区域和对应目标检测的置信度。
[0033]目标检测，也叫目标提取，是一种基于目标几何特征或统计特征的目标分割方法。这里的目标可以是人脸、车牌等，但不限于人脸和车牌等。
[0034]置信度，也称为可靠度，或置信水平，即对某个判断确信的程度。
[0035]一般而言，该步骤中包含目标检测和目标稳定两个子步骤，目标检测的作用是通过某些算法分析发现目标，并给出将其判断为目标的确信程度，目标稳定的作用是通过时域滤波等处理提取出稳定的目标及其位置。
[0036]此后进入步骤103，将目标区域转换成适合编码的感兴趣区域。该步骤主要是把步骤101中生成的目标区域转换成合适编码的感兴趣区域。感兴趣区域(Reg1n OfInterest,简称“R0I”),是指图像中比较关注的部分。
[0037]具体地说，将目标区域转换成适合编码的感兴趣区域的步骤，包括以下两个子步骤:
[0038]目标信息映射，即将目标的位置和大小映射为以编码分辨率为基准的位置和大小。由于用于目标检测的图像分辨率和编码分辨率可能不同，需要将目标的位置和大小重新映射为以编码分辨率为基准的位置和大小。目标检测的结果是像素级别的，而编码的最小单元是宏块，所以只要宏块中存在检测到的目标像素即认为该宏块为感兴趣区域。宏块是图像编码的一个基本单元，由亮度数据和色度数据组成。如对于4:2:0格式来说，由一个16x16的亮度块和两个8x8的色度块组成。
[0039]目标大小调整，即根据目标的类型对目标大小进行以目标调整。算法检测出的目标大小与实际期望的感兴趣区域大小可能存在差距，比如目标类型为人脸时，实际期望的感兴趣区域要包含完整的头部，即比算法检测出的目标更大一点。这一步骤即是根据目标的类型对目标大小进行以目标中心点为固定点的重新调整。以目标区域矩形框为例，可选的操作是宽扩大TX (TX ^ I)倍，高扩大TY (TY ^ I)倍，但不以此为限，也可以采用其他方法。
[0040]此后进入步骤104，根据编码质量等级和置信度计算感兴趣区域和非感兴趣区域的编码量化参数。
[0041]量化参数(Quantisat1n Parameter,简称“QP”),量化是在图像质量和压缩比率之间折中的参数，量化参数越大质量越差，压缩码率越低。
[0042]通过外部输入的感兴趣区域及其编码质量等级和置信度，以及编码参数来确定当前帧的量化参数。感兴趣区域的编码等级决定了感兴趣区域的编码量化参数与非感兴趣区域的编码量化参数的差异值可取范围，而感兴趣区域的置信度具体决定了在此范围内感兴趣区域的编码量化参数与非感兴趣区域的编码量化参数的差异值。一般认为感兴趣区域的编码质量等级越高，则感兴趣区域的编码量化参数与非感兴趣区域的编码量化参数的差异值可取范围越大；感兴趣区域的置信度越高，则其编码量化参数与非感兴趣区域的差异值越大。
[0043]在步骤104中，编码量化参数的确定方式可以有多种，优选地，可以通过码率控制来确定。
[0044]码率控制:是指一种编码的优化算法，用于实现对视频码流的大小控制。
[0045]具体地说，当通过码率控制计算感兴趣区域和非感兴趣区域的编码量化参数时，步骤104还包括以下四个子步骤:
[0046]依据外部输入每个宏块的的编码质量等级及其置信度，将其转化为相对量化参数，即感兴趣区域与非感兴趣区域的编码量化参数的相对值QP_0FT(i，j)，感兴趣区域的编码量化参数的相对值QP_0FT(i，j)为非零，非感兴趣区域的编码量化参数的相对值QP_OFT (i，j)为零；
[0047]统计转换后所有宏块的编码量化参数的相对值QP_0FT (i, j)总和；
[0048]依据上一帧的编码量化参数、上一帧统计完成的所有宏块的编码量化参数的相对值QP_0FT (i，j)总和以及当前帧统计得到的所有宏块的编码量化参数的相对值QP_OFT(i，j)总和来预测当前帧的编码量化参数QP ；
[0049]计算感兴趣区域每一个宏块的编码量化参数，计算公式如下:
[0050]R0I_QP (i, j) =QP-QP_0FT (i, j)，
[0051]式中，QP为当前帧的编码量化参数，QP_0FT(i, j)为当前帧每个宏块的编码量化参数的相对值，R0I_QP(i, j)为感兴趣区域每一个宏块的编码量化参数。
[0052]此外，可以理解，码率控制只是一种优选的确定编码量化参数的实施方式，在本发明的其它某些实施方式中，编码量化参数也可以通过其它的方式确定，比如预先设定好固定的编码量化参数，等等。
[0053]此后进入步骤105，根据对应的编码量化参数对感兴趣区域和非感兴趣区域进行量化编码，输出码流。
[0054]此后结束此流程。
[0055]通过目标检测获取感兴趣区域和非感兴趣区域，选择相对应的量化参数对感兴趣区域和非感兴趣区域进行量化编码，可以有效保证感兴趣区域的编码质量及其稳定性，同时在不降低感兴趣区域编码质量的前提下，可以降低整幅图像的压缩码流，提高视频传输和存储效率。
[0056]本发明第二实施方式涉及一种基于目标检测的感兴趣区域视频编码方法。图2是该基于目标检测的感兴趣区域视频编码方法的流程示意图。
[0057]第二实施方式在第一实施方式的基础上进行了改进，如图2所示，主要改进之处在于:
[0058]该基于目标检测的感兴趣区域视频视频编码方法还包括:
[0059]步骤102，对原始图像进行编码前的预处理。
[0060]比如缩放到编码所需要的大小，屏幕菜单式调节方式(On Screen Display，简称“OSD”)、LOGO、菜单等。
[0061]需要进一步说明的是，该步骤也是一个可选步骤，在没有该步骤的情况下，本技术方案仍然可以实施。
[0062]进一步地，优选地，在本实施方式中对原始图像进行目标检测，生成目标信息，获取目标区域和对应目标检测置信度的步骤101和对原始图像进行编码前的预处理的步骤102是并行处理的。
[0063]并行处理，可以大大节省视频编码所用的时间，编码效率更高。
[0064]此外，可以理解，对原始图像进行目标检测，生成目标信息，获取目标区域和对应目标检测的置信度的步骤101和对原始图像进行编码前的预处理的步骤102可以是并行处理的，也可以是串行处理的。
[0065]其次，在本实施方式中，对原始图像进行编码前的预处理的步骤102之后，还包括步骤106，将对应同一图像的预处理结果和目标信息匹配起来。
[0066]该步骤仅在对原始图像进行目标检测，生成目标信息，获取目标区域和对应目标检测的置信度的步骤101和对原始图像进行编码前的预处理的步骤102并行处理的情况下才需要。
[0067]在上述这种并行处理的情况下，上述两个步骤的处理延时可能不同，因此需要在该步骤中通过引入同步步骤，将对应同一图像的预处理结果和目标信息匹配起来，可以避免在目标检测出现异常时造成编码的中断。
[0068]在本发明的一个优选的实施例中，基于目标检测的感兴趣区域视频编码方法的流程示主要包括以下步骤:
[0069]步骤I目标生成:对输入的原始图像进行目标检测，生成目标信息。这里的目标可以是人脸，车牌等。一般而言，该步骤中包含目标检测和目标稳定两个子步骤，目标检测的作用是通过某些算法分析发现目标，并给出将其判断为目标的确信程度，目标稳定的作用是通过时域滤波等处理提取出稳定的目标及其位置。
[0070]步骤2编码前预处理:进行编码前的预处理，比如缩放到编码所需要的大小，叠加0SD、L0G0、菜单等。
[0071]需要说明的是，该步骤作为一个编码系统的常见部分，是一个可选的步骤，在没有该步骤的情况下，本技术方案仍然可以实施。
[0072]步骤3同步机制:该步骤是可选步骤，仅在步骤I和步骤2为并行处理的情况下才需要，在这种情况下，上述两个步骤的处理延时可能不同，因此需要在该步骤中将对应同一图像的预处理结果和目标信息匹配起来。该步骤的基本方法是根据时间戳判断，并引入一定的超时机制，以免在目标侦测模块出现异常时造成编码的中断。为支持该机制，需要在步骤I中为得到的目标信息建立缓冲池，在步骤2中为得到的编码图像建立缓冲池，缓冲池中的每个结果都包含一个对应原始图像的时间戳。步骤4R0I(Reg1n Of Interest,简称“感兴趣区域”)生成:该步骤主要是把目标检测子步骤生成的目标区域转换成合适编码的感兴趣区域。该步骤可划分为以下子步骤:
[0073]子步骤4-1:目标信息映射。由于用于目标检测的图像分辨率和编码分辨率可能不同，需要将目标的位置和大小重新映射为以编码分辨率为基准的位置和大小。目标检测的结果是像素级别的，而编码的最小单元是宏块，所以只要宏块中存在检测到的目标像素即认为该宏块为感兴趣区域。
[0074]子步骤4-2:目标大小调整。算法检测出的目标大小与实际期望的感兴趣区域大小可能存在差距，比如目标类型为人脸时，实际期望的感兴趣区域要包含完整的头部，即比算法检测出的目标更大一点。这一步骤即是根据目标的类型对目标大小进行以目标中心点为固定点的重新调整。以目标区域矩形框为例，可选的操作是宽扩大TX (TX彡I)倍，高扩大TY (TY彡I)倍，也可以采用其他方法。
[0075]步骤5码率控制，确定编码量化参数:通过外部输入的感兴趣区域及其编码质量等级和置信度，以及编码参数来确定当前帧的量化参数。感兴趣区域的编码等级决定了感兴趣区域的编码量化参数与非感兴趣区域的编码量化参数的差异值可取范围，而感兴趣区域的置信度具体决定了在此范围内感兴趣区域的编码量化参数与非感兴趣区域的编码量化参数的差异值。一般认为感兴趣区域的编码质量等级越高，则感兴趣区域的编码量化参数与非感兴趣区域的编码量化参数的差异值可取范围越大；感兴趣区域的置信度越高，则其编码量化参数与非感兴趣区域的差异值越大。
[0076]码率控制，确定编码量化参数的具体步骤还包括以下子步骤:
[0077]子步骤5-1:依据外部输入每个宏块的的编码质量等级及其置信度，将其转化为相对量化参数，即感兴趣区域与非感兴趣区域的编码量化参数的相对值QP_0FT(i，j)，感兴趣区域的QP_0FT(i，j)为非零，非感兴趣区域的QP_0FT(i，j)为零；
[0078]子步骤5-2:统计转换后的所有宏块的QP_0FT (i, j)总和；
[0079]子步骤5-3:依据上一帧的编码量化参数、上一帧统计完成的所有宏块的QP_OFT(i, j)总和以及当前帧统计得到的所有宏块的QP_0FT(i，j)总和来预测当前帧的编码量化参数QP ；
[0080]子步骤5-4:计算感兴趣区域每一个宏块的编码量化参数
[0081]R0I_QP (i, j) =QP-QP_0FT (i, j)；
[0082]式中，QP为当前帧的编码量化参数，QP_0FT(i, j)为当前帧每个宏块的编码量化参数的相对值，R0I_QP(i, j)为感兴趣区域每一个宏块的编码量化参数。
[0083]需要进一步说明的是，步骤5也是一个优选的步骤，在本发明的其它某些实施方式中，也可以采用其它的确定编码量化参数的方式，而不以此为限。
[0084]步骤6编码:依据计算得到的量化参数进行编码输出码流。
[0085]具体地说，将对应同一图像的预处理结果和目标信息匹配起来的基本方法是根据时间戳判断，并引入一定的超时机制，以免在目标侦测出现异常时造成编码的中断。为支持该机制，需要在步骤101中为得到的目标信息建立缓冲池，在步骤102中为得到的编码图像建立缓冲池，如图3所示。缓冲池中的每个结果都包含一个对应原始图像的时间戳。该机制的具体实现方法包括以下步骤:
[0086]1、从编码图像缓冲池中获取一帧编码图像I，如果获取失败，休眠一段时间后重新获取，直到获取成功；
[0087]2、比较I的时间戳Si和当前记录的目标信息T的时间戳St (当前记录的目标信息在初始化时清空，其St=O )。若Si_St>Ta,则认为T是过时目标信息，丢掉该目标信息，进入步骤3 ;若St-Si>Tb，则认为T是将来的目标信息，将待匹配的目标信息Tm清空，进入步骤6 ;其它情况，认为目标信息T和图像I匹配，执行Tm=T,进入步骤6 ；
[0088]3、从目标信息缓冲池中获取一巾贞目标信息，作为当前记录的目标信息T ;如果获取失败(即目标信息缓冲池为空)，则进入步骤4，否则返回步骤2 ；
[0089]4、比较当前时间戳Sc和图像时间戳Si，若Sc-Si>Tc，则认为获取目标信息超时，将Tm清空，进入步骤6 ;否则进入步骤5 ；
[0090]5、休眠一段时间，然后返回步骤3 ;
[0091]6、图像I与目标信息Tm匹配完成，进入ROI生成环节。
[0092]以上步骤中，Ta、Tb、Tc为预先设定阈值，均不小于0，可以根据实际情况(如编码帧率、系统负荷等)进行调整。如果Ta=Tb=O,则为严格匹配。
[0093]本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable ArrayLogic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory,简称“PR0M”)、只读存储器(Read-Only Memory,简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM,简称“EEPR0M”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。
[0094]本发明第三实施方式涉及一种基于目标检测的感兴趣区域视频编码装置。图4是该基于目标检测的感兴趣区域视频编码装置的结构示意图。
[0095]具体地说，如图4所示，该基于目标检测的感兴趣区域视频编码装置包括:
[0096]目标检测模块，用于对原始图像进行目标检测，生成目标信息，获取目标区域和对应目标检测的置信度。目标检测模块的输入为原始图像(与用于编码的图像相比可能经过缩小或放大)，以及与目标检测算法相关的一些参数，输出为目标的位置和判断的置信度。目标位置可以用一个矩形框的左上右下坐标表示，也可以采用其他表示方法，置信度在一般研究中心采用[0，I]区间的若干小数等级，O为确信非目标，I为确信目标，也可以用其他类似方法表达，例如分为10个等级。最简化的表达是2个等级，即O和1，0为非目标及对应非感兴趣区域，I为感兴趣区域。此模块主要是完成目标检测，目标可以是人脸或者车牌，但不仅限于这两者。
[0097]感兴趣区域生成模块，用于将目标检测模块生成的目标区域转换成适合编码的感兴趣区域。感兴趣区域生成模块的输入为目标的位置和大小，以及预处理后待编码的图像，输出为适合编码的感兴趣区域，此模块完成目标检测单元输出的目标位置和大小到编码的感兴趣区域的映射，以及大小的调整。
[0098]具体地说，感兴趣区域生成模块，包括以下两个子模块:
[0099]目标信息映射子模块，用于将目标的位置和大小映射为以编码分辨率为基准的位置和大小。
[0100]目标大小调整子模块，用于根据目标的类型对目标大小进行以目标中心点为固定点的调整。
[0101]量化参数确定模块，用于根据编码质量等级和置信度计算感兴趣区域和非感兴趣区域的编码量化参数。量化参数确定模块的输入为编码的感兴趣区域及其编码质量等级和置信度，以及对编码感兴趣区域的量化参数的统计值，输出为当前帧的非感兴趣区域的编码量化参数，此模块完成感兴趣区域的编码质量等级到编码量化参数的转换，以及非感兴趣区域的编码量化参数预测。
[0102]具体地说，优选地，量化参数确定模块包括以下四个子模块:
[0103]量化参数转换子模块，用于将编码质量等级和置信度转化为感兴趣区域与非感兴趣区域的编码量化参数的相对值。
[0104]量化参数统计子模块，用于统计转换后所有宏块的编码量化参数的相对值总和。
[0105]量化参数预测子模块，用于依据上一帧的编码量化参数、上一帧统计完成的所有宏块的编码量化参数的相对值总和以及当前帧统计得到的所有宏块的编码量化参数的相对值总和来预测当前帧的编码量化参数。
[0106]量化参数计算子模块，用于计算感兴趣区域每一个宏块的编码量化参数。
[0107]编码模块，用于根据对应的编码量化参数对感兴趣区域和非感兴趣区域进行量化编码。编码模块的输入为量化参数确定模块输出的编码量化参数以及编码图像，输出为编码码流。
[0108]在本发明的优选例中，还包括感兴趣区域稳定模块，其输入为连续多帧的编码感兴趣区域，输出为时间域滤波处理后的编码感兴趣区域，此模块的作用是消除偶尔出现的目标，以及填补偶尔消失的目标。
[0109]第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
[0110]本发明第四实施方式涉及一种基于目标检测的感兴趣区域视频编码装置。图5是该基于目标检测的感兴趣区域视频编码装置的结构示意图。
[0111]第四实施方式在第三实施方式的基础上进行了改进，主要改进之处在于:
[0112]该基于目标检测的感兴趣区域视频编码装置还包括:
[0113]预处理模块，用于对原始图像进行编码前的预处理。
[0114]比如缩放到编码所需要的大小，屏幕菜单式调节方式(On Screen Display,简称“OSD”)、LOGO、菜单等。
[0115]在本发明的其它某些实施方式中，预处理模块也可以省略。在本实施方式中，优选地，目标检测模块对原始图像进行目标检测和预处理模块对原始图像进行编码前的预处理是并行处理的。
[0116]并行处理，可以大大节省视频编码所用的时间，编码效率更高。
[0117]此外，可以理解，目标检测模块对原始图像进行目标检测和预处理模块对原始图像进行编码前的预处理可以是并行处理的，也可以是串行处理的。
[0118]其次，该基于目标检测的感兴趣区域视频编码装置还包括:
[0119]图像同步模块，用于将对应同一图像的由目标检测模块和预处理模块处理得到的目标信息和预处理结果匹配起来。
[0120]图像同步模块的输入为目标检测图像和预处理图像时间戳信息，输出结果为两者是否匹配。
[0121]该模块仅在目标检测模块对原始图像进行目标检测和预处理模块对原始图像进行编码前的预处理是并行处理的的情况下才需要。
[0122]在上述这种并行处理的情况下，上述两个模块的处理延时可能不同，因此需要通过引入图像同步模块，将对应同一图像的预处理结果和目标信息匹配起来，可以避免在目标检测出现异常时造成编码的中断。
[0123]第二实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。
[0124]综上所述，本发明的优选例中，一种基于目标检测的感兴趣区域视频编码装置，包含目标检测模块，图像同步模块，感兴趣区域生成模块，感兴趣区域稳定模块，量化参数确定模块，编码模块。
[0125]在基于目标检测的感兴趣区域视频编码方法中，主要包括:
[0126]1、通过“目标检测”获取感兴趣区域和非感兴趣区域，以及对应置信度；
[0127]2、选择相对应的量化参数对感兴趣区域和非感兴趣区域进行量化编码，其中检测所得区域的坐标和置信度会在编码感兴趣区域的坐标和编码量化系数之间形成映射；(具体为某一感兴趣区域量化系数相对非感兴趣区域量化系数差别的幅度，与对应目标检测的置信度呈递增关系)
[0128]本发明带来的有益效果主要体现在:
[0129]针对智能化视频监控的应用，提出一种加入目标检测单元的混合视频编码方法，该方法区别对待目标检测单元获取的感兴趣区域和非感兴趣区域，通过对目标检测单元获取的感兴趣区域的映射与调整，并在时间域上进行滤波处理，获得准确稳定的适合编码的感兴趣区域；通过保持感兴趣区域的编码量化参数与非感兴趣区域的编码量化参数的相对值，可以有效保证感兴趣区域的编码质量及其稳定性；同时在不降低感兴趣区域编码质量的前提下，可降低整幅图像的压缩码流，提高视频传输、存储效率。
[0130]本发明适合应用在视频监控系统，特别适合应用在具有人脸检测，车牌检测功能的视频监控系统，但并不局限于此。
[0131]需要说明的是，本发明各装置实施方式中提到的各模块都是逻辑模块，在物理上，一个逻辑模块可以是一个物理模块，也可以是一个物理模块的一部分，还可以以多个物理模块的组合实现，这些逻辑模块本身的物理实现方式并不是最重要的，这些逻辑模块所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各装置实施方式并没有将与解决本发明所提出的技术问题关系不太密切的模块弓I入，这并不表明上述装置实施方式并不存在其它的模块。
[0132]需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0133]虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
【权利要求】
1.一种基于目标检测的感兴趣区域视频编码方法，其特征在于，包括以下步骤: 对原始图像进行目标检测，生成目标信息，获取目标区域和对应目标检测的置信度； 将所述目标区域转换成适合编码的感兴趣区域； 根据编码质量等级和所述置信度计算所述感兴趣区域和非感兴趣区域的编码量化参数； 根据所述对应的编码量化参数对所述感兴趣区域和所述非感兴趣区域进行量化编码。
2.根据权利要求1所述的基于目标检测的感兴趣区域视频编码方法，其特征在于，还包括以下步骤: 对原始图像进行编码前的预处理； 所述对原始图像进行目标检测，生成目标信息，获取目标区域和对应目标检测的置信度的步骤和所述对原始图像进行编码前的预处理的步骤是并行处理的。
3.根据权利要求2所述的基于目标检测的感兴趣区域视频编码方法，其特征在于，所述对原始图像进行编码前的预处理的步骤之后，还包括: 将对应同一图像的预处理结果和目标信息匹配起来。
4.根据权利要求1至3中任一项所述的基于目标检测的感兴趣区域视频编码方法，其特征在于，所述将所述目标区域转换成适合编码的感兴趣区域的步骤，包括以下子步骤: 将目标的位置和大小映射为以编码分辨率为基准的位置和大小； 根据目标的类型对目标大小进行以目标中心点为固定点的调整。
5.根据权利要求1所述的基于目标检测的感兴趣区域视频编码方法，其特征在于，所述根据编码质量等级和所述置信度计算所述感兴趣区域和非感兴趣区域的编码量化参数的步骤，包括以下子步骤: 将编码质量等级和所述置信度转化为感兴趣区域与非感兴趣区域的编码量化参数的相对值； 统计转换后所有宏块的编码量化参数的相对值总和； 依据上一帧的编码量化参数、上一帧统计完成的所有宏块的编码量化参数的相对值总和以及当前帧统计得到的所有宏块的编码量化参数的相对值总和来预测当前帧的编码量化参数； 计算感兴趣区域每一个宏块的编码量化参数。
6.一种基于目标检测的感兴趣区域视频编码装置，其特征在于，包括: 目标检测模块，用于对原始图像进行目标检测，生成目标信息，获取目标区域和对应目标检测的置信度； 感兴趣区域生成模块，用于将所述目标检测模块生成的目标区域转换成适合编码的感兴趣区域； 量化参数确定模块，用于根据编码质量等级和所述置信度计算所述感兴趣区域和非感兴趣区域的编码量化参数； 编码模块，用于根据所述对应的编码量化参数对所述感兴趣区域和所述非感兴趣区域进行量化编码。
7.根据权利要求6所述的基于目标检测的感兴趣区域视频编码装置，其特征在于，还包括: 预处理模块，用于对原始图像进行编码前的预处理； 所述目标检测模块对原始图像进行目标检测和所述预处理模块对原始图像进行编码前的预处理是并行处理的。
8.根据权利要求7所述的基于目标检测的感兴趣区域视频编码装置，其特征在于，还包括: 图像同步模块，用于将对应同一图像的由所述目标检测模块和所述预处理模块处理得到的目标信息和预处理结果匹配起来。
9.根据权利要求6至8中任一项所述的基于目标检测的感兴趣区域视频编码装置，其特征在于，所述感兴趣区域生成模块，包括以下子模块: 目标信息映射子模块，用于将所述目标的位置和大小映射为以编码分辨率为基准的位置和大小； 目标大小调整子模块，用于根据所述目标的类型对目标大小进行调整。
10.根据权利要求6所述的基于目标检测的感兴趣区域视频编码装置，其特征在于，所述量化参数确定模块包括以下子模块: 量化参数转换子模块，用于将编码质量等级和所述置信度转化为感兴趣区域与非感兴趣区域的编码量化参数的相对值； 量化参数统计子模块，用于统计转换后所有宏块的编码量化参数的相对值总和； 量化参数预测子模块，用于依据上一帧的编码量化参数、上一帧统计完成的所有宏块的编码量化参数的相对值总和以及当前帧统计得到的所有宏块的编码量化参数的相对值总和来预测当前帧的编码量化参数； 量化参数计算子模块，用于计算感兴趣区域每一个宏块的编码量化参数。
【文档编号】H04N19/176GK104427337SQ201310367169
【公开日】2015年3月18日 申请日期:2013年8月21日 优先权日:2013年8月21日
【发明者】沈林杰, 师恩义, 俞海, 黄田, 陈军 申请人:杭州海康威视数字技术股份有限公司