图像处理方法及装置与流程

本发明实施例涉及图像处理技术，尤其涉及一种图像处理方法及装置。

背景技术：

在视频监控及消费类视频产品领域，用户对图像质量的要求越来越高。在带宽提升受限的情况下，如何提升视频主观视觉质量成为需要解决的问题。

现有技术提供了如下两种提升视频主观视觉质量的方法：方法一、图像处理装置通过设置编码码率来调整图像信号处理(Image Signal Processor，简称：ISP)模块的参数和编码量化系数(Quantisation Parameter，简称：QP)；方法二、图像处理装置根据所处场景调整ISP模块参数和编码QP。其中，编码QP的大小决定编码的有损损失程度和压缩率，编码QP越大编码的有损损失程度越大，压缩率也越高。

在上述方法一中，编码码率并不能反映编码导致的图像失真度，图像失真度用于表示图像处理前后的失真程度。在复杂场景和简单场景，由于场景差异较大，导致同样编码码率下，效果差异较大，如室内监控场景和室外广场场景，其中，室内监控场景相对室外广场场景较简单，因此在相同编码码率下室外广场场景的编码效果会明显比室内差，影响视频主观视觉质量；在上述方法二中，虽能区分不同场景，但同样的场景在不同时间段所含的运动物体存在差异，例如，同样的路口在红灯和绿灯时，运动的车的数量差异较大，因此，图像处理装置即使正确判断出场景，根据场景调整编码QP及ISP模块的参数，但视频主观视觉质量仍较差。

技术实现要素：

本发明实施例提供一种图像处理方法及装置，以提升视频主观视觉质量。

第一方面，本发明实施例提供一种图像处理方法，包括：获取第i+1帧图像的编码量化系数及第1帧图像至第i帧图像共i个帧图像的编码量化系数均值，i大于预设帧数T，该i个帧图像的编码量化系数均值是根据第1帧图像至第i帧图像的编码量化系数获得的；根据第i+1帧图像的编码量化系数及i个帧图像的编码量化系数均值，获得第i+1帧图像对应的图像质量参数；采用第i+1帧图像对应的图像质量参数，配置对第i+1帧图像进行图像处理所需参数；使用配置后的参数对第i+1帧图像进行图像处理。

本发明实施例通过第i+1帧图像的编码量化系数及第1帧图像至第i帧图像共i个帧图像的编码量化系数均值，获得第i+1帧图像对应的图像质量参数，并采用该图像质量参数配置对第i+1帧图像进行图像处理的参数，使用配置后的参数对第i+1帧图像进行图像处理，以通过对每帧图像所需的图像处理参数的调整，在图像处理前期即减少该帧图像在编码时所丢失的内容，从而减小编码导致的图像失真度，实现视频主观视觉质量的提升。

在一种可能的设计中，上述根据第i+1帧图像的编码量化系数及i个帧图像的编码量化系数均值，获得第i+1帧图像对应的图像质量参数，可以包括：根据第i+1帧图像的编码量化系数及i个帧图像的编码量化系数均值，获得第i+1帧图像的图像失真度，该图像失真度可用于表示图像处理前后的失真程度；根据第i+1帧图像的图像失真度，获得第i+1帧图像对应的图像质量参数，其中，图像失真度与图像质量参数的对应关系已预先存储。

在一种可能的设计中，上述根据第i+1帧图像的编码量化系数及i个帧图像的编码量化系数均值，获得第i+1帧图像的图像失真度，可以包括：将第一权重值与i个帧图像的编码量化系数均值的乘积，与第i+1帧图像的编码量化系数与第二权重值的乘积相加，获得第1帧图像至第i+1帧图像共i+1个帧图像的编码量化系数均值，其中，第一权重值与第二权重值之和为1，且，第一权重值和第二权重值均介于0～1之间；将第三权重值与i+1个帧图像的编码量化系数均值的乘积，与第i帧图像的图像失真度与第四权重值的乘积相加，获得第i+1帧图像的图像失真度，其中，第三权重值与第四权重值之和为1，且，第三权重值和第四权重值均介于0～1之间。

在一种可能的设计中，上述图像质量参数可至少包括以下参数的任意组合：去马赛克参数、锐化参数和数字降噪参数等。

在一种可能的设计中，上述使用配置后的参数对第i+1帧图像进行图像处理之后，该图像处理方法还可以包括：检测用户是否输入用于退出的预设操作；若检测到用户输入用于退出的预设操作，则退出图像处理；或者，若未检测到用户输入用于退出的预设操作，则执行获取第i+2帧图像的编码量化系数的步骤。

本发明实施例通过检测用户是否输入用于退出的预设操作来判断是否还有下一帧图像需要做图像处理：当检测到用户输入用于退出的预设操作时，退出图像处理；当未检测到用户输入用于退出的预设操作时，则继续执行图像处理，以防止图像处理进入死循环，保证图像处理的顺利结束。

在一种可能的设计中，上述退出图像处理可以包括：去初始化对第i+1帧图像进行图像处理的参数。

第二方面，本发明实施例提供一种图像处理装置，包括：软件处理模块、图像处理模块和编码模块。其中，编码模块用于向软件处理模块上报第i+1帧图像的编码量化系数。软件处理模块用于从编码模块获取第i+1帧图像的编码量化系数，且获取第1帧图像至第i帧图像共i个帧图像的编码量化系数均值，i大于预设帧数T，该i个帧图像的编码量化系数均值是根据第1帧图像至第i帧图像的编码量化系数获得的；根据第i+1帧图像的编码量化系数及i个帧图像的编码量化系数均值，获得第i+1帧图像对应的图像质量参数；采用第i+1帧图像对应的图像质量参数，配置对第i+1帧图像进行图像处理的图像处理模块和编码模块所需参数。图像处理模块用于使用配置后的参数对第i+1帧图像进行图像处理。另外，编码模块还可以用于使用配置后的参数对第i+1帧图像进行编码。

基于同一发明构思，由于该装置解决问题的原理与第一方面的方法设计中的方案对应，因此该装置的实施可以参见方法的实施，重复之处不再赘述。

第三方面，本发明实施例提供一种图像处理装置。该图像处理装置包括：用于存储可执行指令的存储器和处理器。其中，该处理器用于执行可执行指令，以执行如第一方面中任一项所述的方法。

第四方面，本发明实施例提供一种存储一个或多个程序的非易失性计算机可读存储介质。所述一个或多个程序包括指令，所述指令当被图像处理装置执行时使所述图像处理装置备执行如第一方面中任一项所述的方法设计中的方案，重复之处不再赘述。

本发明的这些和其它方面在以下(多个)实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明应用场景示意图；

图2为视频采集设备内部结构示意图；

图3为本发明图像处理方法实施例一的流程图；

图4为本发明图像处理方法实施例二的流程图；

图5为本发明图像处理方法实施例三的流程图；

图6为本发明图像处理装置实施例一的结构示意图；

图7为本发明图像处理装置实施例二的结构示意图；

图8为本发明图像处理装置实施例三的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1为本发明应用场景示意图。如图1所示，视频采集设备，例如，网络摄像机、运动数码摄像机(Digital Video，简称：DV)等，对着一个场景拍摄采集时，场景里的内容变化被记录进视频采集设备中。

图2为视频采集设备内部结构示意图。参考图2，视频采集设备20通过图像传感器21感光将被拍摄场景中内容转为图像，并将图像传入ISP模块22进行图像处理；ISP模块22优化处理图像后，送入编码模块23进行压缩编码，处理后的图像储存至存储器25或发送给其他设备，例如计算机或手机等终端设备。其中，优化处理的作用主要是将图像的颜色、对比度、边缘纹理、噪声等处理得视觉感受更好。另外，编码模块23可以确定当前图像失真度，并将当前图像失真度上报软件处理模块24；软件处理模块24根据当前图像失真度，调整ISP模块22及编码模块23的参数，使得整体的图像质量达到最佳。

在图2所示结构中，本领域技术人员可以理解，ISP模块22、编码模块23和软件处理模块24的功能具体可以由视频采集装置中的处理器实现。

图3为本发明图像处理方法实施例一的流程图。本发明实施例提供一种图像处理方法，该图像处理方法可以由图像处理装置执行，该图像处理装置可以通过硬件和/或软件的方式实现；且，该图像处理装置可以独立设置，也可以集成于例如网络摄像机、运动DV等视频采集设备中。如图3所示，本实施例的图像处理方法包括：

步骤301、获取第i+1帧图像的编码量化系数及第1帧图像至第i帧图像共i个帧图像的编码量化系数均值，i大于预设帧数T，该i个帧图像的编码量化系数均值是根据第1帧图像至第i帧图像的编码量化系数获得的。

其中，预设帧数T的取值可以为50至250之间任意数值，包括50和250两个数值。预设帧数T对应的调整时间可以介于2秒至5秒之间，包括2秒和5秒。

当i小于预设帧数T时，不对图像做图像处理。该阶段对应上述调整时间，该调整时间是为了保证图2中ISP模块22、编码模块23和软件处理模块24的初始参数与其自身的预设值不一致时，可以平滑切换为各自的预设值。

编码量化系数的大小是由编码码率控制的。当前预设编码码率下，当实际编码码率高于当前预设编码码率时，增大编码量化系数，实际编码码率会下降；当实际编码码率低于当前预设编码码率时，减小编码量化系数，实际编码码率会上升，从而保证实际编码码率与当前预设编码码率相当。

例如，当i等于预设帧数T时，第T-1帧图像的编码量化系数均值为第1至T-1帧图像的编码量化系数的均值。

另外，每一帧图像的编码量化系数是已知的，因此，可直接获取第i+1帧图像的编码量化系数。

例如，上文提及的“编码模块23将当前图像失真度上报软件处理模块24”，在这里，本领域技术人员可以理解为软件处理模块24从编码模块23获取当前图像失真度，即第i+1帧图像的编码量化系数及i个帧图像的编码量化系数均值。

步骤302、根据第i+1帧图像的编码量化系数及i个帧图像的编码量化系数均值，获得第i+1帧图像对应的图像质量参数。

其中，该图像质量参数可以至少包括以下参数的任意组合：码率、去马赛克(Demosaic)参数、锐化(Sharpen)参数和数字降噪(NR)参数，等等。进一步地，数字降噪参数可以包括二维数字降噪(2DNR)参数和三维数字降噪(3DNR)参数等。

编码量化系数、编码量化系数均值以及图像质量参数的直接或间接对应关系可以预先设置，并存储在图像处理装置中。因此，在第i+1帧图像的编码量化系数及i个帧图像的编码量化系数均值确定之后，可以在预设设置的对应关系中查找到对应的第i+1帧图像对应的图像质量参数。

通常情况下，图像质量参数设置的原则是：在编码量化系数越小时，图像编码前保留的细节越多，边缘越自然，使得编码的码率充分用在图像质量提升上；在编码量化系数较大时，图像编码前适当减少树叶、地面纹理等细微细节，轻微增强图像边缘，节省出码率使得编码副作用更小，得到的图像看起来更加自然。

示例性地，去马赛克参数及锐化参数调大可能会使图像轻微细节变得明显，但同码率下图像失真度增加；去马赛克参数及锐化参数调小可能导致图像细节变模糊、甚至消失，但同码率下图像失真度减小；数字降噪参数的调大，将使图像变模糊，同码率下图像失真度减小。

步骤303、采用第i+1帧图像对应的图像质量参数，配置对第i+1帧图像进行图像处理所需的参数。

其中，对第i+1帧图像进行图像处理所需的参数还可以包括宏块级码率控制参数、帧级码码率控制参数、码率失真优化(Rate-Distortion Optimization，简称：RDO)控制相关块模式倾向性参数等，以调整图像分块大小倾向、宏块编码量化系数分布等，来倾向保护不同区域的效果，达到视觉感受收益最大化。

步骤304、使用配置后的参数对第i+1帧图像进行图像处理。

其中，图像处理可以包括去马赛克处理、锐化处理、二维数字降噪处理、三维数字降噪处理及编码处理等。

当码率一定时，按照现有图像处理方案，当运动物体内容增多时，有损编码导致图像出现负面效果，例如大块、部分内容丢失、运动物体拖尾，严重影响图像质量效果；而本实施例的图像处理方法则通过前端图像信号处理模块减少必然会被编码丢失的内容，减小图像失真度，改善了整体图像效果。

本实施例，通过第i+1帧图像的编码量化系数及第1帧图像至第i帧图像共i个帧图像的编码量化系数均值，获得第i+1帧图像对应的图像质量参数，并采用该图像质量参数配置对第i+1帧图像进行图像处理的参数，使用配置后的参数对第i+1帧图像进行图像处理，以通过对每帧图像所需的图像处理参数的调整，在图像处理前期即减少该帧图像在编码时所丢失的内容，从而减小编码导致的图像失真度，实现视频主观视觉质量的提升。

图4为本发明图像处理方法实施例二的流程图。如图4所示，在图3所示实施例的基础上，根据第i+1帧图像的编码量化系数及i个帧图像的编码量化系数均值，获得第i+1帧图像对应的图像质量参数，可以具体包括：

步骤3021、根据第i+1帧图像的编码量化系数及i个帧图像的编码量化系数均值，获得第i+1帧图像的图像失真度，该图像失真度用于表示图像处理前后的失真程度。

一种实现方式中，该步骤可以包括：将第一权重值与i个帧图像的编码量化系数均值的乘积，与第i+1帧图像的编码量化系数与第二权重值的乘积相加，获得第1帧图像至第i+1帧图像共i+1个帧图像的编码量化系数均值，其中，第一权重值与第二权重值之和为1，且，第一权重值和第二权重值均介于0～1之间；将第三权重值与i+1个帧图像的编码量化系数均值的乘积，与第i帧图像的图像失真度与第四权重值的乘积相加，获得第i+1帧图像的图像失真度，其中，第三权重值与第四权重值之和为1，且，第三权重值和第四权重值均介于0～1之间。

设定第一权重值为α，第二权重值为1-α，i个帧图像的编码量化系数均值为第i+1帧图像的编码量化系数为QP_i+1，则第1帧图像至第i+1帧图像共i+1个帧图像的编码量化系数均值为：

设定第三权重值为β，第四权重值为1-β，第i帧图像的图像失真度为QPT_i，则第i+1帧图像的图像失真度QPT_i+1为：

步骤3022、根据第i+1帧图像的图像失真度，获得第i+1帧图像对应的图像质量参数，其中，图像失真度与图像质量参数的对应关系已预先存储。

该实施例，一方面，通过第i+1帧图像的编码量化系数及第1帧图像至第i帧图像共i个帧图像的编码量化系数均值，获得第i+1帧图像对应的图像质量参数，并采用该图像质量增量配置第i+1帧图像对应的图像处理所需的参数，对第i+1帧图像进行图像处理，以通过对每帧图像所需的图像处理参数的调整，在图像处理前期即减少该帧图像在编码时所丢失的内容，从而减小编码导致的图像失真度，实现视频主观视觉质量的提升；另一方面，还通过多层平滑编码量化系数均值，避免快速调整图像处理参数导致新的编码负面问题，且保证同样图像效果下提升了编码压缩率，节省传输带宽及存储设备空间。

图5为本发明图像处理方法实施例三的流程图。如图5所示，在图3或图4所示实施例的基础上(这里以图3为例进行说明)，在步骤304之后，图像处理方法还可以包括：

步骤501、检测用户是否输入用于退出的预设操作。

若检测到用户输入用于退出的预设操作，则执行步骤502、退出图像处理。

可选地，退出图像处理可以包括：去初始化对第i+1帧图像进行图像处理的参数。

或者，若未检测到用户输入用于退出的预设操作，则执行步骤301，此时，步骤301具体为获取第i+2帧图像的编码量化系数及i+1帧图像的编码量化系数均值。

该实施例提供一种结束图像处理方法的实现方式，通过检测用户是否输入用于退出的预设操作来判断是否还有下一帧图像需要做图像处理：当检测到用户输入用于退出的预设操作时，退出图像处理；当未检测到用户输入用于退出的预设操作时，则继续执行图像处理，以防止图像处理进入死循环，保证图像处理的顺利结束。

图6为本发明图像处理装置实施例一的结构示意图。如图6所示，该图像处理装置60包括：软件处理模块61、图像处理模块62和编码模块63。

该编码模块63，用于向软件处理模块61上报第i+1帧图像的编码量化系数。

该软件处理模块61，用于从编码模块63获取第i+1帧图像的编码量化系数，且获取第1帧图像至第i帧图像共i个帧图像的编码量化系数均值，i大于预设帧数T，该i个帧图像的编码量化系数均值是根据第1帧图像至第i帧图像的编码量化系数获得的；根据第i+1帧图像的编码量化系数及i个帧图像的编码量化系数均值，获得第i+1帧图像对应的图像质量参数；采用第i+1帧图像对应的图像质量参数，配置对第i+1帧图像进行图像处理的图像处理模块62和编码模块63所需参数。

该图像处理模块62，用于使用配置后的参数对第i+1帧图像进行图像处理。

该编码模块63，还用于使用配置后的参数对第i+1帧图像进行编码。

本实施例的图像处理装置，可以用于执行图3所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

一种实现方式中，软件处理模块61在用于上述根据第i+1帧图像的编码量化系数及i个帧图像的编码量化系数均值，获得第i+1帧图像对应的图像质量参数时，可具体用于：根据第i+1帧图像的编码量化系数及i个帧图像的编码量化系数均值，获得第i+1帧图像的图像失真度，该图像失真度用于表示图像处理前后的失真程度；根据第i+1帧图像的图像失真度，获得第i+1帧图像对应的图像质量参数，其中，图像失真度与图像质量参数的对应关系已预先存储。

可选地，软件处理模块61在用于上述根据第i+1帧图像的编码量化系数及i个帧图像的编码量化系数均值，获得第i+1帧图像的图像失真度时，可具体用于：将第一权重值与i个帧图像的编码量化系数均值的乘积，与第i+1帧图像的编码量化系数与第二权重值的乘积相加，获得第1帧图像至第i+1帧图像共i+1个帧图像的编码量化系数均值，其中，第一权重值与第二权重值之和为1，且，第一权重值和第二权重值均介于0～1之间；将第三权重值与i+1个帧图像的编码量化系数均值的乘积，与第i帧图像的图像失真度与第四权重值的乘积相加，获得第i+1帧图像的图像失真度，其中，第三权重值与第四权重值之和为1，且，第三权重值和第四权重值均介于0～1之间。

需说明的是，上述图像质量参数可至少包括以下参数的任意组合：去马赛克参数、锐化参数和数字降噪参数等。其中，数字降噪参数可以包括二维数字降噪(2DNR)参数和三维数字降噪(3DNR)参数等。

本实施例的图像处理装置，可以用于执行图4所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图7为本发明图像处理装置实施例二的结构示意图。如图7所示，在图6所示结构的基础上，图像处理装置70还可以包括：检测模块71。

其中，检测模块71可用于检测用户是否输入用于退出的预设操作；若检测到用户输入用于退出的预设操作，则触发图像处理装置70退出图像处理；或者，若未检测到用户输入用于退出的预设操作，则触发编码模块63执行向软件处理模块61上报第i+2帧图像的编码量化系数的步骤。

进一步地，软件处理模块61还可以用于：在图像处理装置70退出图像处理时，去初始化对第i+1帧图像进行图像处理的参数。

本实施例的图像处理装置，可以用于执行图5所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图8为本发明图像处理装置实施例三的结构示意图。参考图8，该图像处理装置80包括处理器810、收发器820、总线830和存储器840。

处理器810、收发器820以及存储器840通过总线830相互连接；总线830可以是外设部件互连标准(Peripheral Component Interconnect，简称：PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称：EISA)总线等。总线830可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

收发器820对应需要具备接收或发送数据功能的模块，用于将图像处理装置80连接到其他终端设备，如计算机或手机。

存储器840用于存放程序等。具体地，程序可以包括程序代码，该程序代码包括计算机操作指令。存储器840可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory，简称：SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称：EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，简称：EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称：PROM)，只读存储器(Read-Only Memory，简称：ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器810执行存储器840所存放的应用程序，实现如上图像处理方法。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由图像处理装置中的处理器执行时，使得图像处理装置能够执行上述对应的图像处理方法。

在本申请所提供的几个实施例中，应该理解到，所揭示的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元或模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。