专利名称：实现多通道联合的感兴趣区域视频编码及传输的方法
技术领域：
本发明涉及的是一种视频编码及传输技术领域的方法，具体是一种实现多通 道联合的感兴趣区域视频编码及传输的方法。
背景技术：
随着国际数字视频编码技术的迅速发展，出现了多种视频信息处理和传输系 统，视频通信系统中最重要的是根据信道带宽调整视频编码的码率控制方法，以 得到相应信道带宽下的最佳视觉质量。根据压縮视频的码率特性，可以有固定码 率和可变码率两种码率控制视频编码方法。固定码率视频编码广泛用于具有固定 信道带宽的数字电视和视频会议等视频应用，然而由于视频信息本身的不稳定 性，几乎不可能在固定码率视频中获得恒定的视频质量。而可变码率视频编码可 以提供恒定视频质量。随着视频监控系统的广泛应用，出于安全性原因，视频中
的感兴趣区域(ROI)通常比其他区域需要更多细节更高分辨率，而传统监控系 统不能同时提供全景视频和感兴趣区域视频以满足不同分辨率要求。
经对现有技术的文献检索发现，Ping-Hao Wu等人在《IEEE视频技术电路与 系统汇干U》 (IEEE Transactions on Circuits and Systems for Video Technology), Vol. 17, NO. 7， pp. 857-867， July 2007上发表的"单视频源 多编码器帧层恒定质量的感兴趣区域码率控制方法"(Frame-Layer Constant-Quality Rate Control of Regions of Interest for Multiple Encoders With Single Video Source)中，该文中提出在视频监控系统中利用 一个摄像头多个编码器来同时编码全景视频和感兴趣区域视频，由于多个视频编 码器共用同一个摄像头的视频源数据，利用这些编码器之间的相互关系来改善码 率控制方法，具体为利用一个高清晰度摄像机采集高分辨率视频信号并分为两 路 一路进行水平和垂直1/2下采样得到低分辨率的全景视频，送入基本编码器; 一路进行感兴趣区域检测得到高清晰度的感兴趣区域视频，送入R0I编码器。由 于感兴趣区域与全景视频中的相应区域包含相同内容，唯一区别即分辨率不同， 所以两者之间的特定关系可以预测得到，该方法详细分析了如何利用这些关系来优化感兴趣区域编码器的码率控制方法，实现感兴趣区域视频编码的恒定质量码 率控制。但该方法的不足之处在于没有说明全景基本编码器和ROI编码器的两 路视频流如何选择或复用，当信道带宽发生变化时，仅仅实现感兴趣区域视频的 恒定质量，不能兼顾全景和感兴趣区域视频自适应调整编码和传输方案。
发明内容
本发明针对上述现有技术的不足，提出了一种实现多通道联合的感兴趣区域 视频编码及传输的方法，使其实现全景、感兴趣区域以及红外视频的多通道联合 调整的编码及传输，根据信道条件和带宽变化，采用自适应调整信道非均等保护 传输方法和信源码率控制编码方法，对监控应用提供全景和局部感兴趣区域视 频、可见光和红外视频的全方位监控信息，而且在信道误码增大、带宽下降的情 况下，优先保证局部感兴趣区域的视频质量没有降低。
本发明是通过以下技术方案实现的，具体步骤如下
步骤一，对全景摄像机采集的高分辨率全景视频，对全景视频进行空间下采 样后由全景编码器进行编码，并通过调整帧率实现码率控制；
所述对全景视频进行空间下采样，具体为首先对全景摄像机采集的高分辨 率全景视频进行水平和垂直1/2下采样，得到原始视频1/4大小的低分辨率全景 视频数据。
所述由全景编码器进行编码，具体为全景编码器根据信道分配的码率变化 进行视频编码。
步骤二，对可见光摄像机采集到的视频进行感兴趣区域检测，并根据感兴趣 区域检测的面积和位置，对裁减和下采样两路视频自适应切换，由感兴趣区域编 码器进行编码，并采用基于感兴趣区域的码率控制。
可见光感兴趣区域视频是决定整体主观视觉质量的关键，在监控场景下，既 需要实时了解全景视频信息，又要求对局部高清晰的感兴趣区域实时跟踪。在感 兴趣区域面积较大或运动较剧烈的情况下，难以保证目标的准确完整检测和实时
所述的对可见光摄像机采集到的视频进行感兴趣区域检测，具体如下
① 对高分辨率视频数据进行水平和垂直l/2下采样，得到低分辨率视频；
② 对低分辨率视频数据进行目标检测和跟踪，获得每帧视频图像中感兴趣区域的面积和位置信息，智能调整摄像机姿态以尽可能保持感兴趣区域面积恒 定，并且位于视频中心位置。
所述对裁减和下采样两路视频自适应切换，具体为根据感兴趣区域的面积 和位置，判别是否满足裁剪条件，如果满足则以感兴趣区域为中心对原始高分辨 率数据进行裁剪，获得高分辨率感兴趣区域视频，如果条件不满足，则选择下采 样低分辨率视频。
步骤三，在光线微弱或有遮挡情况下，使用红外热成像仪对感兴趣目标进行 检测跟踪，由红外编码器对原始低分辨率红外感兴趣区域视频进行编码，调整量 化参数实现码率控制；
由于红外热成像仪采集的视频信号本身有其特定格式，只能提供目标的形 状、位置、大小等信息，细节信息不丰富，不需要对红外视频信号进行高分辨率 编码。
所述使用红外热成像仪对对感兴趣目标进行检测跟踪，具体如下
① 对原始低分辨率的红外感兴趣区域视频进行目标检测和跟踪，获得每帧 图像中感兴趣区域的面积和位置信息，调整红外摄像机姿态以尽可能保持感兴趣 区域面积恒定，并且位于视频中心位置；
② 判别红外感兴趣目标的检测结果可靠度，如果可靠度较高，则根据检测 结果调整可见光摄像机姿态，指导可见光摄像机的跟踪。
步骤四，设定步骤一到步骤三中的可见光感兴趣区域视频、红外视频、全景 视频的优先级，根据优先级进行非均等信道保护信道编码，复用成一路码流送入 信道传输，实时监测信道带宽，并根据优先级进行信道带宽的码率分配，以得到 最佳视频质量。
为同时提供可见光全局场景监控和局部感兴趣区域监控，以及红外视频监 控，并在信道误码率随时变化情况下优先保证感兴趣区域的视频流传输。
所述设定可见光感兴趣区域视频、红外视频、全景视频的优先级，具体为-可见光感兴趣区域视频具有最高优先级，进行最强信道保护编码；红外视频具有 最低优先级，进行最弱信道保护编码；全景视频具有中等优先级，进行中等强度 信道保护编码。
所述进行非均等保护信道编码，具体如下① 最高优先级保护采用1/2码率巻积码和分组码；② 中等优先级保护采用3/4码率巻积码和分组码；③ 最低优先级保护采用7/8码率巻积码和分组码。 所述根据优先级进行信道带宽的码率分配，具体如下根据r = 力+ 2r2 + 3r3分配三路通道的码率，其中r表示信道总码率，。，5和6分别表示三路通道码率，A， 《2和《3表示三路通道各自优先级， ,+w2+w3=l，可默认选择^ = 2 =w3 =j^，也可根据需要自行设定；全景视频码率控制采用调整帧率方法；可见光感兴趣区域视频码率控制采用 基于感兴趣区域的码率控制方法，即根据视觉特性，减少背景码率分配，优先保 证前景码率分配的方法；红外视频采用调整量化参数的码率控制方法。与现有技术相比，本发明具有如下有益效果本发明方法通过对全景和感兴 趣区域，以及可见光和红外的多通道视频，采用码率控制和非均等保护的简单灵 活的联合调整方法，来适应信道条件和带宽变化，可以在信道误码率增高、带宽 下降的情况下，在保证完整场景全局监控的同时确保感兴趣区域的准确检测、实 时跟踪、高质量编码和可靠传输，保证整体主观质量不会下降。
图1本发明方法流程图。
具体实施方式
下面结合附图对本发明的实施例作详细说明本实施例在以本发明技术方案 为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于 下述的实施例。如图1所示，本实施例包括如下具体步骤步骤一，全景摄像机固定在监控场景中适当位置，获得高清晰高分辨率的全 局视频数据，并对全局视频采取如下步骤-① 首先进行水平和垂直1/2下采样，得到原始视频1/4大小的低分辨率全 景视频数据；② 然后利用H.264进行视频编码，编码时根据信道分配的码率变化，通过 调整视频帧率实现码率控制；③经过信源编码后的全景视频再进行中等优先级的非均等信道保护编码， 最终形成全景视频码流。由于全景视频实现对场景的全局监控，包括感兴趣目标和环境背景在内的整 个场景，无需对整个全景视频采用高分辨率编码，而且由于环境背景区域变化较 小，前后帧的残差数据也很小，调整量化参数对码率影响不大。因此，使用本实 施例方法，对全景视频首先进行空间分辨率下采样进行低分辨率编码，并且通过 调整帧率实现更有效的码率控制。步骤二，进行可见光感兴趣区域视频编码可见光感兴趣区域视频是整体监 控系统视频质量的关键，实现感兴趣目标的实时稳定检测和跟踪，以及高质量编 码和传输，具体下① 首先利用高清晰摄像机采集高分辨率原始视频数据；② 对高分辨率视频数据进行水平和垂直l/2下采样，得到低分辨率视频；③ 对低分辨率视频数据进行目标检测和跟踪，获得每帧视频图像中感兴趣 区域在相应高分辨率图像中的面积和质心坐标(x， y)，以图像左上角为 坐标原点； 智能调整摄像机姿态以尽可能保持感兴趣区域面积恒定，并且位于视频 中心位置；⑤ 如果感兴趣区域坐标(x， y)满足丄wS;^2w，丄;^^^2/ ，其中w4 44 4表示图像的宽度，h表示图像的高度，则以(x， y)为中心对原始高分辨 率图像进行裁剪，得到图像大小为原始图像的1/4，如图1中开关切换到 位置l;⑥ 如果感兴趣区域坐标(x， y)不满足丄w《j^2w，丄/^j^2/z，则对4 44 4原始高分辨率图像进行水平和垂直1/2下采样，如图1中开关切换到位 置2;⑦ 选择切换后进行视频编码时，采用基于感兴趣区域的码率控制，即背景 和前景采用不同控制方法；⑧ 编码后感兴趣区域视频码流再进行最高优先级的非均等保护信道编码， 最终形成可见光感兴趣区域码流。步骤三，进行红外感兴趣区域视频编码当夜晚、浓雾等视线较差情况下， 或者有遮挡情况下，单纯利用可见光摄像机无法进行目标检测和跟踪，这时利用 红外热成像仪进行监控，并对可见光摄像机进行姿态控制，确保对感兴趣目标的 监控。红外视频数据本身缺乏细节，分辨率较低，直接对其利用H. 264进行视频编码，编码时根据信道分配的码率变化，通过调整量化参数实现码率控制。经过信 源编码后的码流再进行最低优先级的非均等信道保护编码，以节省信道带宽。步骤四，多通道联合编码及传输对全景、可见光感兴趣区域和红外视频三 路视频流进行复用，形成一个码流进行传输，复用过程中进行多源多通道联合编 码传输控制，分别设定不同通道的视频优先级，具体设置如下① 根据人眼视觉特性，感兴趣区域视频质量是整体监控系统的关键，因此 具有最高优先级；② 红外视频用于在可见光无法实现检测跟踪时提供感兴趣目标的大小、位 置、形状信息，但由于红外视频本身缺乏细节信息，所以具有最低优先级；③ 全景视频体现了感兴趣目标在环境背景下的全部场景信息，其中大部分 背景区域对视觉敏感度不高，所以具有中等优先级。所述根据优先级不同进行非均等保护信道编码，具体如下① 最高优先级保护采用1/2码率巻积码和分组码；② 中等优先级保护采用3/4码率巻积码和分组码；③ 最低优先级保护采用7/8码率巻积码和分组码。所述根据优先级不同进行信道带宽的不同码率分配，具体如下根据r = a巧+ 2/ 2 + w力分配三路通道的码率，其中r表示信道总码率，^ ，6和r分别表示三路通道码率，A， 《2和《3表示三路通道各自优先级， A+w2 + 3 = 1 ，可默认选择A = w2 = 3 = X ，也可根据需要自行设定；全景视频码率控制采用调整帧率方法；可见光感兴趣区域视频码率控制采用 基于感兴趣区域的码率控制方法，即根据视觉特性，减少背景码率分配，优先保 证前景码率分配的方法；红外视频采用调整量化参数的码率控制方法。本实施例中只设定一路可见光感兴趣区域视频和一路红外视频，实现一个感兴趣目标的高质量实时监控。如果期望实现多个感兴趣目标的同时检测跟踪监 控，可以将本实施例拓展到多路可见光感兴趣区域视频和多路红外视频。使用沙盘模型、办公室室内场景和校园室外场景等多种场景对本实施例方 法进行仿真，从仿真的统计结果可以得出本实施例方法对背景静止或变化缓慢， 目标运动速度较快以及有树荫等遮挡情况下的监控效果都很好，其带宽恒定条件 下主观视频质量比传统多路多摄像机视频编码复用传输有明显提高。在信道误码 率增高情况下，该方法可以优先保证感兴趣区域视频正确传输。在信道带宽下降 情况下，该方法降低红外和全景视频的码率分配，确保感兴趣区域的高质量视频。 在本实施例方法中，充分利用人眼视觉系统特性进行基于感兴趣区域的多通 道视频编码传输。通常情况下，高分辨率视频序列中包含了较大面积的区域对人 眼并不敏感，在带宽受限条件下降低非感兴趣区域的质量可以在低码率码流中维 持感兴趣区域的高质量，以提高整个视频序列的主观感受。基于这种考虑，本实 施中，针对感兴趣区域和全景视频采用不同的编码传输方法对全景视频进行空 间分辨率和帧率调整，可以大大节省码率，并且不影响全局监控；对可见光感兴 趣区域视频进行裁减和下采样切换，提高感兴趣区域检测跟踪的稳定可靠性，并 进行优先级最高的非均等保护，确保感兴趣区域的高清晰编码和可靠传输。在可见光无法跟踪的场景中，如光线微弱和目标遮挡情况下，红外视频处理 可以指导可见光摄像机调整姿态，保证感兴趣目标的继续跟踪。同时根据红外视 频细节不丰富的特性，对红外视频进行低分辨率编码，直接调整量化参数适应带宽变化，并进行优先级最低的非均等保护，这样兼顾了感兴趣目标的稳定跟踪和 信道带宽的节省。综上所述，本实施例方法具有如下有益效果(1)并不假设监控场景的背景 是不变或变化缓慢的，因此对各种场景的监控效果都很好；(2)同时提供全景、 感兴趣区域，可见光和红外视频在内的全方位多通道视频的编码及传输；(3)在 带宽下降和误码率增高时优先保证感兴趣区域的高视频质量，可大大提高主观视 觉质量；(4)根据感兴趣区域的检测结果，即感兴趣区域的面积和位置，在裁剪 和下采样视频中自适应切换，既能保证感兴趣区域细节的高清晰度，又能保证准 确实时检测跟踪；(5)提供可见光和红外的多源视频信号，更大范围地保证监控 的有效性，并在信道一定的情况下获得较好的主观视频质量。
权利要求
1、一种实现多通道联合的感兴趣区域视频编码及传输的方法，其特征在于，步骤如下步骤一，对全景摄像机采集的高分辨率全景视频，对全景视频进行空间下采样后由全景编码器进行编码，并通过调整帧率实现码率控制；步骤二，对可见光摄像机采集到的视频进行感兴趣区域检测，并根据感兴趣区域检测的面积和位置，对裁减和下采样两路视频自适应切换，由感兴趣区域编码器进行编码，并采用基于感兴趣区域的码率控制；步骤三，在光线微弱或有遮挡情况下，使用红外热成像仪对感兴趣目标进行检测跟踪，由红外编码器对原始低分辨率红外感兴趣区域视频进行编码，调整量化参数实现码率控制；步骤四，设定步骤一到步骤三中的可见光感兴趣区域视频、红外视频、全景视频的优先级，根据优先级进行非均等信道保护信道编码，复用成一路码流送入信道传输，实时监测信道带宽，并根据优先级进行信道带宽的码率分配，得到最佳视频质量。
2、 根据权利要求1所述的实现多通道联合的感兴趣区域视频编码及传输的 方法，其特征是，所述对全景视频进行空间下采样，具体为首先对全景摄像机 采集的高分辨率全景视频进行水平和垂直1/2下采样，得到原始视频1/4大小的 低分辨率全景视频数据。
3、 根据权利要求1所述的实现多通道联合的感兴趣区域视频编码及传输的 方法，其特征是，所述由全景编码器进行编码，具体为全景编码器根据信道分 配的码率变化进行视频编码。
4、 根据权利要求1所述的实现多通道联合的感兴趣区域视频编码及传输的 方法，其特征是，所述的对可见光摄像机采集到的视频进行感兴趣区域检测，具 体如下① 对高分辨率视频数据进行水平和垂直1/2下采样，得到原始视频1/4大 小的低分辨率视频；② 对低分辨率视频数据进行目标检测和跟踪，获得每帧视频图像中感兴趣区域的面积和位置信息，智能调整摄像机姿态以尽可能保持感兴趣区域面积恒 定，并且位于视频中心位置。
5、 根据权利要求1所述的实现多通道联合的感兴趣区域视频编码及传输的 方法，其特征是，所述对裁减和下采样两路视频自适应切换，具体为根据感兴 趣区域的面积和位置，判别是否满足裁剪条件，如果满足则以感兴趣区域为中心 对原始高分辨率数据进行裁剪，获得高分辨率感兴趣区域视频，如果条件不满足， 则选择下采样低分辨率视频。
6、 根据权利要求1所述的实现多通道联合的感兴趣区域视频编码及传输的 方法，其特征是，所述使用红外热成像仪对对感兴趣目标进行检测跟踪，具体如 下① 对原始低分辨率的红外感兴趣区域视频进行目标检测和跟踪，获得每帧图 像中感兴趣区域的面积和位置信息，调整红外摄像机姿态以尽可能保持感兴趣区 域面积恒定，并且位于视频中心位置；② 判别红外感兴趣目标的检测结果可靠度，如果可靠度较高，则根据检测结 果调整可见光摄像机姿态，指导可见光摄像机的跟踪。
7、 根据权利要求1所述的实现多通道联合的感兴趣区域视频编码及传输的 方法，其特征是，所述设定可见光感兴趣区域视频、红外视频、全景视频的优先 级，具体为可见光感兴趣区域视频具有最高优先级、红外视频具有最低优先级， 全景视频具有中等优先级。
8、 根据权利要求1所述的实现多通道联合的感兴趣区域视频编码及传输的 方法，其特征是，所述根据优先级进行非均等保护信道编码，具体如下① 最高优先级保护采用1/2码率巻积码和分组码；② 中等优先级保护采用3/4码率巻积码和分组码；③ 最低优先级保护采用7/8码率巻积码和分组码。
9、 根据权利要求1所述的实现多通道联合的感兴趣区域视频编码及传输的方法，其特征是，所述根据优先级进行信道带宽的码率分配，具体如下根据r = 力+ w2r2 +cv3分配三路通道的码率，其中r表示信道总码率，^ ，G和G分别表示三路通道码率，A， 《2和《3表示三路通道各自优先级，^+W2+6^1， 2和《3可根据需要自行设定；全景视频码率控制采用调整帧率方法；可见光感兴趣区域视频码率控制采用 基于感兴趣区域的码率控制方法；红外视频采用调整量化参数的码率控制方法。
10、根据权利要求9所述的实现多通道联合的感兴趣区域视频编码及传输的方法，其特征是，所述三路通道各自优先级w1, w2和w3, 其值为w1=w2=w3=1/3.
全文摘要
一种视频编码及传输技术领域的实现多通道联合感兴趣区域视频编码及传输方法，步骤一，对全景摄像机采集的高分辨率全景视频，进行空间下采样得到低分辨率视频再进行编码；步骤二，对可见光摄像机采集到的高清晰视频进行感兴趣区域检测，根据感兴趣区域检测的面积和位置，对裁减和下采样两路视频自适应切换；步骤三，使用红外热成像仪对感兴趣目标进行检测跟踪，对原始低分辨率红外感兴趣区域视频编码，调整量化参数实现码率控制；步骤四，设定三路视频的优先级，根据优先级进行非均等信道保护信道编码，复用成一路码流送入信道传输，根据优先级进行信道带宽的码率分配。本发明在保证完整场景全局监控的同时确保感兴趣区域的准确检测、高质量编码。
文档编号H04N7/26GK101252687SQ200810034858
公开日2008年8月27日 申请日期2008年3月20日 优先权日2008年3月20日
发明者利 宋, 张文军, 奕 徐, 杨小康, 蓉 解, 郑世宝 申请人:上海交通大学