图像处理方法、装置和电子设备的制造方法
【技术领域】
[0001] 本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、装置和电子设备。
【背景技术】
[0002] 在视频编码技术中，可以通过对原始的视频码流进行压缩编码来得到较高的压缩 t匕，但是，压缩编码产生的码流的码率（Bitrate)会产生波动。在使用固定带宽信道传输码 流时，码流的码率需要保持恒定，因此，可以在视频编码器中设置缓冲器，对码率的波动进 行平滑处理，从而将具有恒定码率的码流输入信道。
[0003] 码率控制的目的就是要使码流的码率保持恒定，从而既不会使缓冲器中的数据产 生溢出，也不会由于数据供应不足而使缓冲器中的数据出现间断。现有的码率控制方法一 般通过调整量化参数（Quantization Parameter,QP)来实现码率控制。量化参数反映了空 间细节的压缩情况，当量化参数较小时，大部分图像细节会被保留，输出的码率会较高。
[0004] 在不同的应用场景中，视频图像帧的不同区域对于使用者的重要性可能是不同 的，如果将视频帧中的所有区域进行相同的码率控制，可能画面中较重要的区域无法被清 楚地呈现。因此，在对监控视频等需要区分不同区域重要的视频进行编码时，可以首先 将视频图像帧中的区域划分为感兴趣区域（Region Of Interest，R0I)和非感兴趣区域 (Non-Region Of Interest，NR0I)，然后对感兴趣区域和非感兴趣区域进行相应的码率控 制，由此，能够在重现画面中清楚地呈现感兴趣区域。
[0005] 应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、 完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的
【背景技术】部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
【发明内容】
[0006] 在现有的基于感兴趣区域的码率控制技术中，感兴趣区域和非感兴趣区域共享同 一个缓冲器，由此，对感兴趣区域进行码率控制的过程会受到非感兴趣区域码率控制的结 果的影响，降低了对感兴趣区域进行码率控制的质量。
[0007] 本发明实施例提供一种图像处理方法、装置和电子设备，能够使感兴趣区域使用 独立的缓冲器进行码率控制，从而不受到非感兴趣区域码率控制结果的影响，提高了对感 兴趣区域进行码率控制的质量。
[0008] 根据本发明实施例的第一方面，提供一种图像处理装置，所述装置包括：
[0009] 码率分配单元，其针对所述图像中的每一帧，为所述帧中的感兴趣区域（R0I)分配 第一码率，为所述帧中的非感兴趣区域（NR0I)分配第二码率；
[0010] 第一控制单元，其基于所述第一码率，对所述感兴趣区域进行第一码率控制；
[0011] 第二控制单元，其基于所述第二码率，对所述非感兴趣区域进行第二码率控制。
[0012] 根据本发明实施例的第二方面，提供一种图像处理方法，所述方法包括：
[0013] 针对所述图像中的每一帧，为所述帧中的感兴趣区域分配第一码率，为所述帧中 的非感兴趣区域分配第二码率；
[0014] 基于所述第一码率，对所述感兴趣区域进行第一码率控制；
[0015] 基于所述第二码率，对所述非感兴趣区域进行第二码率控制。
[0016] 根据本发明实施例的第三方面，提供一种电子设备，其具有如上述第一方面所述 的图像处理装置。
[0017] 本发明的有益效果在于：为感兴趣区域和非感兴趣区域预先分配码率，再基于预 先分配的码率，分别对感兴趣区域和非感兴趣区域进行各自独立的码率控制，由此，能够对 感兴趣区域进行高质量地码率控制。
[0018] 参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原 理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附 权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。
[0019] 针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更 多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特 征。
[0020] 应该强调，术语"包括/包含"在本文使用时指特征、整件、步骤或组件的存在，但 并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
【附图说明】
[0021] 所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部 分，用于例示本发明的实施方式，并与文字描述一起来阐释本发明的原理。显而易见地，下 面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创 造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0022] 图1是本发明实施例1的图像处理装置的组成示意图；
[0023] 图2是连续的三个帧中感兴趣区域和非感兴趣区域的示意图；
[0024] 图3是本发明实施例1的第一控制单元的组成示意图；
[0025] 图4是本发明实施例2的第二控制单元的组成示意图；
[0026] 图5是本发明实施例2的电子设备的系统构成的一示意框图；
[0027] 图6是本发明实施例3的图像处理方法的一流程图；
[0028] 图7是本发明实施例3的第一码率控制方法的流程图；
[0029] 图8是本发明实施例3的第二码率控制方法的流程图。
【具体实施方式】
[0030] 参照附图，通过下面的说明书，本发明的前述以及其它特征将变得明显。在说明书 和附图中，具体公开了本发明的特定实施方式，其表明了其中可以采用本发明的原则的部 分实施方式，应了解的是，本发明不限于所描述的实施方式，相反，本发明包括落入所附权 利要求的范围内的全部修改、变型以及等同物。
[0031] 实施例1
[0032] 本发明实施例1提供一种图像处理装置，该图像处理装置用于对图像进行码率控 制。图1是本发明实施例1的图像处理装置的组成示意图，如图1所示，图像处理装置100 包括：码率分配单元101，第一控制单元102和第二控制单元103。
[0033] 其中，码率分配单元101，针对该图像中的每一帧，为该帧中的感兴趣区域分配第 一码率，为该帧中的非感兴趣区域分配第二码率；第一控制单元102,基于该第一码率，对 该感兴趣区域进行第一码率控制；第二控制单元103,基于该第二码率，对该非感兴趣区域 进行第二码率控制。
[0034] 在本发明实施例中，为感兴趣区域和非感兴趣区域预先分配码率，再基于预先分 配的码率，分别对感兴趣区域和非感兴趣区域进行各自独立的码率控制，由此，能够对感兴 趣区域进行高质量地码率控制。
[0035] 在本发明实施例中，该图像可以是视频图像，该视频图像例如可以是视频监控设 备实时拍摄的视频图像，或者是预先存储在存储设备中的视频图像。
[0036] 该图像可以由多个帧组成，该帧可以被分为三种格式，即，I帧、B帧和P帧，其中， I帧是图像中的关键帧，B帧和P帧是依赖I帧而存在的。该图像可以被划分为若干图像组 (Group of Picture,G0P)，每个图像组中可以包含若干数量的I帧，以及多个B帧和/或P 帧。关于图像组的具体划分方式，可以参考现有技术，本发明实施例不再赘述。
[0037] 在每个帧中，可以划分出感兴趣区域和非感兴趣区域。图2是连续的三个帧中感 兴趣区域和非感兴趣区域的示意图。如图2所示，在该图像的第n帧201、第n+1帧202和 第n+2帧203中，感兴趣区域201U2021和2031位于各自帧的中央，非感兴趣区域2012、 2022和2032位于各感兴趣区域的外围。当然，图2所示只是举例，本发明实施例并不限于 此，可以按照应用场景或用户的设置，划分出其它形状的感兴趣区域和非感兴趣区域。关于 划分感兴趣区域和非感兴趣区域的具体方法，可以参考现有技术，本发明实施例不再赘述。
[0038] 此外，在每个感兴趣区域和非感兴趣区域中，可以包含有多个基本编码单元。对 于H. 264视频编码标准和MPEG-2视频编码标准而目，该基本编码单兀可以是宏块（Macro Block，MB);对于其它的编码标准，如H. 265视频编码标准而目，该基本编码单兀可以是编码 树单元（CodingTreeUnit，CTU)。关于宏块和编码树单元的说明，可以参考现有技术，本发 明实施例不再赘述。
[0039] 下面，结合附图，详细说明本发明实施例的技术方案。
[0040] 在本发明实施例中，码率分配单元101可以根据该帧的码率、感兴趣区域中基本 编码单元的数量、非感兴趣区域中基本编码单元的数量，以及分配给该感兴趣区域中每一 个基本编码单元的比特数与分配给所述非感兴趣区域中每一个基本编码单元的比特数的 比值，确定该第一码率和第二码率。
[0041] 例如，码率分配单元101可以分别根据下式（1)、（2)和（3)计算该第一码率 bitrate_R和该第二码率 bitrate_N,
[0042] b i trate_R=b i trate*rat i o_b i