基于感兴趣区域的时域可分级编码装置及其方法
【专利摘要】本发明公开了基于感兴趣区域的时域可分级编码装置及其方法，原始图像作为基本层图像，并对原始图像进行感兴趣区域划分处理得到只包含ROI部分的增强层图像，并对两者进行独立编码和译码，在信道条件受限时，增强层编码数据可丢弃并只传输基本层的编码数据，此时终端接收的编码数据有较低的时间分辨率，当信道允许传送增强层编码数据时可传送增强层图像，终端解码输出时，将增强层图像按对应的ROI位置贴到前一帧输出的基本帧图像上。此时增强层图像中ROI有较高的时间分辨率。本发明结合ROI技术和时域可分级编码技术，既能保证ROI区域质量，又能保证视频流畅。
【专利说明】
基于感兴趣区域的时域可分级编码装置及其方法
技术领域
[0001]本发明涉及图像处理技术领域，具体涉及基于感兴趣区域的时域可分级编码装置及其方法。
【背景技术】
[0002]在视频监控场景中，不同的需求导致对不同区域的关注度是不一样的，对其中比较感兴趣的区域(ROI ,reg1n of interest)需要较高的图像质量。因此在视频编码中会采用更高的质量因子来对ROI进行高质量的编码。例如，交通视频监控对于车牌清晰度有很高要求，所以含车牌的区域质量较高，其他部分质量差一些。为保证ROI的视频质量和非ROI的视频质量有差异，一般采用不同的编码质量因子对ROI和非ROI进行量化编码。但是其主观效果一般，且对码字的节约效果有限，实际中信道的状态会受多种因素影响导致视频流无法全部传输到终端客户，此时ROI区域即便采用更高的质量进行编码也无法保障客户端视频接收的流畅。
[0003]为了解决信道的状态会受多种因素影响导致视频流无法全部传输到终端客户的问题，可伸缩编码技术应用而生。图3给出了时域可伸缩编码示意图，图中红色为To层，绿色为!^层，蓝色为!^层。时域可伸缩编码包括基本层和增强层，基本层一般不能参考增强层。在带宽受限时，可只传输基本层图像(低帧率，图3中To层)；在带宽状态较好时，可传输基本层和增强层图像(高帧率)。然后，时域可伸缩虽解决传输不稳定的问题，但没有考虑ROI编码。
【发明内容】
[0004]针对现有技术的不足，本发明旨在提供一种基于感兴趣区域的时域可分级编码装置及方法，通过结合ROI技术和时域可分级编码技术，既能保证ROI区域质量，又能保证视频流畅。
[0005]为了实现上述目的，本发明采用如下技术方案:
[0006]基于感兴趣区域的时域可分级编码装置，包括发送端和接收端；
[0007]所述发送端包括图像输入设备、图像感兴趣区域划分处理器、基本层图像编码器、增强层图像编码器和发送模块;其中，所述图像输入设备和基本层图像编码器电性连接，所述图像输入设备与图像感兴趣区域划分处理器、增强层图像编码器依次电性连接，所述基本层图像编码器和增强层图像编码器均电性连接于发送模块；
[0008]所述接收端包括有基本层图像译码器、增强层图像译码器、图像复合处理器、图像输出设备和接收模块，所述接收模块、基本层图像译码器和图像复合处理器依次电性连接，而所述接收模块、增强层图像译码器和图像复合处理器依次电性连接，所述图像复合处理器电性连接于图像输出设备;所述基本层图像译码器还直接电性连接于所述图像输出设备。
[0009]利用上述基于感兴趣区域的时域可分级编码装置的基于感兴趣区域的时域可分级编码方法，包括如下步骤:
[0010]SI在发送端处，原始图像通过图像输入设备输入；
[0011]S2所述原始图像即为基本层的图像;利用图像感兴趣区域划分处理器对所述原始图像进行感兴趣区域划分，划分为ROI部分和非ROI部分，所述ROI部分的图像作为增强层的图像；
[0012]S3利用基本层图像编码器对所述基本层的图像进行独立编码，另外利用增强层图像编码器对所述增强层的图像进行独立编码；
[0013]S4当信道条件受限时，发送端只通过发送模块发送基本层图像编码器输出的编码数据，当信道条件允许时则发送基本层图像编码器输出的编码数据和增强层图像编码器输出的编码数据；
[0014]S5在接收端处，如果利用接收模块只接收到基本层图像编码器输出的编码数据，则采用基本层图像译码器对该编码数据进行译码得到基本层的译码图像，当同时接收到基本层图像编码器和增强层图像编码器输出的编码数据，则同时利用基本层图像译码器和增强层图像译码器分别对基本层图像编码器和增强层图像编码器输出的编码数据进行译码得到基本层的译码图像和增强层的译码图像；
[0015]S6当步骤S5中只得到基本层的译码图像时，则直接向图像输出设备输出所述基本层的译码图像；当步骤S5中得到基本层的译码图像和增强层的译码图像，利用图像复合处理器将所述增强层的译码图像替换所述基本层的译码图像中与之位置对应的部分，复合得到最终的复合译码图像，并向图像输出设备进行输出。
[0016]需要说明的是，步骤S2中，增强层中只包含原始图像的ROI部分的图像，只包含一层增强层。
[0017]需要说明的是，编码基本层的图像时只能参考基本层的译码图像，编码增强层的图像时参考基本层的译码图像或参考增强层的译码图像。
[0018]本发明的有益效果在于:
[0019]1、本发明结合ROI技术和时域可分级编码技术，既能保证ROI区域质量，又能保证视频流畅。
[0020]2、在信道条件受限时，增强层的编码数据可丢弃并只传输基本层的编码数据，此时终端接收的编码数据有较低的时间分辨率，当信道允许传送增强层编码数据时可传送增强层图像，接收端解码输出时，将增强层图像按对应的ROI位置贴到前一帧输出的基本层的图像上。此时增强层图像中ROI有较高的时间分辨率。
【附图说明】
[0021 ]图1为本发明的装置硬件连接示意图；
[0022]图2为本发明的方法流程图；
[0023]图3为时域可伸缩编码的原理示意图；
[0024]图4为本发明实施一中输入的原始图像的示意图；
[0025]图5为本发明实施例一的基本层和增强层划分示意图。
【具体实施方式】
[0026]以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
[0027]如图1所示，基于感兴趣区域的时域可分级编码装置，包括发送端和接收端；
[0028]所述发送端包括图像输入设备、图像感兴趣区域划分处理器、基本层图像编码器、增强层图像编码器和发送模块;其中，所述图像输入设备和基本层图像编码器电性连接，所述图像输入设备与图像感兴趣区域划分处理器、增强层图像编码器依次电性连接，所述基本层图像编码器和增强层图像编码器均电性连接于发送模块；
[0029]所述接收端包括有基本层图像译码器、增强层图像译码器、图像复合处理器、图像输出设备和接收模块，所述接收模块、基本层图像译码器和图像复合处理器依次电性连接，而所述接收模块、增强层图像译码器和图像复合处理器依次电性连接，所述图像复合处理器电性连接于图像输出设备;所述基本层图像译码器还直接电性连接于所述图像输出设备。
[0030]如图2所示，利用上述基于感兴趣区域的时域可分级编码装置的基于感兴趣区域的时域可分级编码方法，包括如下步骤:
[0031]SI在发送端处，原始图像通过图像输入设备输入;当输入的是图像序列时，则原始图像就是图像序列中的每一帧图像。
[0032]S2所述原始图像即为基本层的图像;利用图像感兴趣区域划分处理器对所述原始图像进行感兴趣区域划分，划分为ROI部分和非ROI部分，所述ROI部分的图像作为增强层的图像；
[0033]S3利用基本层图像编码器对所述基本层的图像进行独立编码，另外利用增强层图像编码器对所述增强层的图像进行独立编码；
[0034]S4当信道条件受限时，发送端只通过发送模块发送基本层图像编码器输出的编码数据，当信道条件允许时则发送基本层图像编码器输出的编码数据和增强层图像编码器输出的编码数据；
[0035]S5在接收端处，如果利用接收模块只接收到基本层图像编码器输出的编码数据，则采用基本层图像译码器对该编码数据进行译码得到基本层的译码图像，当同时接收到基本层图像编码器和增强层图像编码器输出的编码数据，则同时利用基本层图像译码器和增强层图像译码器分别对基本层图像编码器和增强层图像编码器输出的编码数据进行译码得到基本层的译码图像和增强层的译码图像；
[0036]S6当步骤S5中只得到基本层的译码图像时，则直接向图像输出设备输出所述基本层的译码图像；当步骤S5中得到基本层的译码图像和增强层的译码图像，利用图像复合处理器将所述增强层的译码图像替换所述基本层的译码图像中与之位置对应的部分，复合得到最终的复合译码图像，并向图像输出设备进行输出。
[0037]需要说明的是，步骤S2中，增强层中只包含原始图像的ROI部分的图像，只包含一层增强层。
[0038]需要说明的是，编码基本层的图像时只能参考基本层的译码图像，编码增强层的图像时参考基本层的译码图像或参考增强层的译码图像。
[0039]实施例一
[0040]根据ROI和传输要求确定低帧率和高帧率的倍数关系，如1:2，即基础层的图像和增强层的图像隔帧交替出现。
[0041 ]发送端的编码和发送过程
[0042]输入原始图像如图4所示。基本层为输入图像，其分辨率为1920X 1080，对基本层图像进行编码，不区分ROI和非ROI区域，基本层图像为To层，如图5所示；
[0043]如图5所示，增强层为只包含原始图像的ROI部分的图像，只包含一层增强层，增强层为!^层，此时增强帧的大小为ROI大小。编码时可参考基础帧也可参考增强帧。基础层和增强层的编码数据具有独立的编码参数如图像大小、运动信息、变换参数、量化参数等。
[0044]根据传输信道实际状态，增强层编码数据可选择传输(信道条件受限时，如信道带宽小于或等于阈值)，也可以选择不传输(信道条件允许时，如信道带宽大于阈值)。
[0045]接收端译码过程:
[0046]输入为编码后的码流，首先对基本层进行译码，得到的译码图像分辨率为1920X1080，低帧率图像，且基本层图像不区分ROI和非ROI区域。当只接收到基本层图像编码后的编码数据，则在译码后直接输出译码图像。
[0047]当接收到的码流中还包括增强层图像编码后的编码数据，则进行译码，译码得到的为增强层译码图像，即ROI部分的译码图像；
[0048]将译码得到的增强层ROI部分替换基本层图像中对应位置的数据，得到复合后的译码图像;输出译码图像序列。
[0049]对于本领域的技术人员来说，可以根据以上的技术方案和构思，作出各种相应的改变和变形，而所有的这些改变和变形都应该包括在本发明权利要求的保护范围之内。
【主权项】
1.基于感兴趣区域的时域可分级编码装置，其特征在于，包括发送端和接收端； 所述发送端包括图像输入设备、图像感兴趣区域划分处理器、基本层图像编码器、增强层图像编码器和发送模块;其中，所述图像输入设备和基本层图像编码器电性连接，所述图像输入设备与图像感兴趣区域划分处理器、增强层图像编码器依次电性连接，所述基本层图像编码器和增强层图像编码器均电性连接于发送模块； 所述接收端包括有基本层图像译码器、增强层图像译码器、图像复合处理器、图像输出设备和接收模块，所述接收模块、基本层图像译码器和图像复合处理器依次电性连接，而所述接收模块、增强层图像译码器和图像复合处理器依次电性连接，所述图像复合处理器电性连接于图像输出设备;所述基本层图像译码器还直接电性连接于所述图像输出设备。2.—种利用权利要求1所述基于感兴趣区域的时域可分级编码装置的基于感兴趣区域的时域可分级编码方法，其特征在于，包括如下步骤: SI在发送端处，原始图像通过图像输入设备输入； S2所述原始图像即为基本层的图像;利用图像感兴趣区域划分处理器对所述原始图像进行感兴趣区域划分，划分为ROI部分和非ROI部分，所述ROI部分的图像作为增强层的图像； S3利用基本层图像编码器对所述基本层的图像进行独立编码，另外利用增强层图像编码器对所述增强层的图像进行独立编码； S4当信道条件受限时，发送端只通过发送模块发送基本层图像编码器输出的编码数据，当信道条件允许时则发送基本层图像编码器输出的编码数据和增强层图像编码器输出的编码数据； S5在接收端处，如果利用接收模块只接收到基本层图像编码器输出的编码数据，则采用基本层图像译码器对该编码数据进行译码得到基本层的译码图像，当同时接收到基本层图像编码器和增强层图像编码器输出的编码数据，则同时利用基本层图像译码器和增强层图像译码器分别对基本层图像编码器和增强层图像编码器输出的编码数据进行译码得到基本层的译码图像和增强层的译码图像； S6当步骤S5中只得到基本层的译码图像时，则直接向图像输出设备输出所述基本层的译码图像；当步骤S5中得到基本层的译码图像和增强层的译码图像，利用图像复合处理器将所述增强层的译码图像替换所述基本层的译码图像中与之位置对应的部分，复合得到最终的复合译码图像，并向图像输出设备进行输出。3.根据权利要求2所述的方法，其特征在于，步骤S2中，增强层中只包含原始图像的ROI部分的图像，只包含一层增强层。4.根据权利要求2所述的方法，其特征在于，编码基本层的图像时只能参考基本层的译码图像，编码增强层的图像时参考基本层的译码图像或参考增强层的译码图像。
【文档编号】H04N19/31GK106060553SQ201610597116
【公开日】2016年10月26日
【申请日】2016年7月26日 公开号201610597116.7, CN 106060553 A, CN 106060553A, CN 201610597116, CN-A-106060553, CN106060553 A, CN106060553A, CN201610597116, CN201610597116.7
【发明人】陈朝武, 郅晨, 董骞, 余子龙, 欧阳甸, 闫雪, 邢培银, 马莉
【申请人】公安部第一研究所, 北京中盾安全技术开发公司