图像处理方法及其介质和电子设备与流程

本申请涉及图像处理技术领域，尤其涉及图像处理方法及其介质和电子设备。

背景技术：

随着图像处理技术的发展，对成像质量的要求越来越高，需要对拍摄到的图像进行图像处理，以此来减少或消除外部环境的影响对图像的某些参数造成的破坏，例如图像色彩的饱和度和对比度、像素点间离等参数，从而得到满足预期效果的图像。因此，图像处理和图像效果评估非常重要。

现有技术中，一般是在线调试图像质量，通过主观评价认为达到理想指标之后，将图片保存下来，利用离线调试工具再进行客观图像指标分析。如此，图像处理和客观图像分析不是实时配合的，存在一定的时差，评估延迟性大，评估的效率不高；而且，在实际操作过程中，由于人的主观判断存在相当的局限性，以及受图像调优工程师经验的限制，往往主观判断的最优结果和客观指标相差很大，评估结果带有主观性，评估的准确度低，评估的可靠性和效率不高。

技术实现要素：

本申请公开了及其图像处理方法和介质，能够对图像进行客观的质量评估之后得到满足要求的目标图像，提高了评估的可靠性和效率。

第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：电子设备获取待处理图像，在所述电子设备的显示屏上显示所述待处理图像；

所述电子设备确定显示的所述待处理图像中的图像质量参数；所述图像质量参数为根据所述待处理图像中的像素的亮度值利用图像数字处理器计算得到的；

在所述电子设备判断出所述图像质量参数不满足预设图像处理条件的情况下，所述预设图像处理条件包括预设图像质量参数；基于所述预设图像质量参数对显示的所述待处理图像进行图像处理得到满足所述预设图像质量参数的图像，以及

所述电子设备在所述显示屏上显示满足预设图像质量参数的图像。

本申请实施例中，由于外部环境影响，待处理图像在拍摄成像的过程中，亮度、清晰度可能会受到破坏，无法得到满足质量要求的图像。计算出待处理图像中的图像质量参数，以得到能够客观评价待处理图像的质量优劣的客观参数，并根据预设图像质量参数处理图像，提高图像处理的准确度、可靠性和效率。

在上述第一方面的一种可能的实现中，所述图像质量参数包括图像选定区域的对比度值、图像选定区域的信噪比值、图像选定区域的边缘锐利度值、图像选定区域的平均亮度值、图像选定区域的实时直方图中的至少一种。

在上述第一方面的一种可能的实现中，上述方法还包括：

在所述判断出所述图像质量参数满足预设图像质量参数条件的情况下，所将所述满足预设图像质量参数的图像存储在存储器中。

在上述第一方面的一种可能的实现中，上述方法还包括：

所述电子设备在所述显示屏上显示满足预设图像质量参数的图像和预设图像质量参数。

在所述的显示器上的指定区域显示满足预设图像质量参数的图像和预设图像质量参数，便于用户能够实时看到图像处理结果，提高用户体验。

在上述第一方面的一种可能的实现中，所基于预设图像质量参数对显示的所述待处理图像进行图像处理得到满足预设图像质量参数的图像，包括：

所述在所述显示屏上的指定区域显示预设图像质量参数选择菜单；

所述获取图像处理请求，所述图像处理请求包括在预设图像质量参数选择菜单中输入的预设图像质量参数；

所基于预设图像质量参数对显示的所述待处理图像进行图像处理得到满足预设图像质量参数条件的图像。

在所述的显示器上显示图像质量参数选择菜单，便于用户自主选择客观图像处理参数，提高用户体验。

在上述第一方面的一种可能的实现中，上述方法还包括：

在所述判断出所述图像质量参数满足预设图像质量参数条件的情况下，所述电子设备将满足预设图像质量参数条件的图像存储在存储器中。

在上述第一方面的一种可能的实现中，在所述电子设备判断出所述图像质量参数不满足预设图像处理条件的情况下，基于所述预设图像质量参数对显示的所述待处理图像进行图像处理得到满足所述预设图像质量参数的图像，包括：在所述电子设备判断出图像选定区域的平均亮度值不在预设亮度值区间，则通过图像数字处理器对显示的所述待处理图像进行图像处理，将图像的平均亮度值调整在预设的亮度区间内，以使得所述图像质量参数满足预设图像处理条件。

在上述第一方面的一种可能的实现中，上述方法还包括：所述电子设备在所述显示屏的指定区域显示图像测试图卡。

在上述第一方面的一种可能的实现中，上述方法还包括：

在所述显示器上显示根据像素的亮度值得到的图像选定区域的对比度值、图像选定区域的信噪比值、图像选定区域的边缘锐利度值、图像选定区域的平均亮度值、图像选定区域的实时直方图中的至少一种。

第二方面，本申请实施里提供了一种机器可读介质，其特征在于，所述机器可读介质上存储有指令，该指令在机器上执行时使机器执行上述所述的的图像处理方法。

第三方面，本申请实施例还提供了一种电子设备，其特征在于，包括：

存储器，用于存储由所述电子设备的一个或多个处理器执行的指令，以及

处理器，是所述电子设备的处理器之一，用于执行上述的图像处理方法。

附图说明

图1所示为本申请实施例提供的一种图像处理方法应用的场景图。

图2所示为本申请实施例提供的一种相机200的硬件和软件结构示意图。

图3所示为本申请实施例提供的的图像处理方法的流程示意图。

图4a所示为本申请实施例提供的一种的图像处理方法的显示界面图。

图4b所示为本申请实施例提供的又一种的图像处理方法的显示界面图。

图5所示为本申请实施例提供的一种片上系统(systemonchip，soc)的框图。

具体实施方式

下面结合具体实施例和附图对本申请做进一步说明。

本申请的说明性实施例包括但不限于及其图像处理方法和介质等。

本申请公开了及其图像处理方法和介质，能够实时对图像进行客观的质量评估并对图像进行处理得到满足要求的图像，提高了图像处理的可靠性和效率。

下面将结合附图对本申请的实施例作进一步地详细描述。

图1示出了本申请具体实施例提供的一种图像处理方法的应用场景图。如图1所示，该应用场景包括100。

可以理解，图1中虽然示出了照相机100，但适用于本申请的电子设备100可以为具有拍摄图片、视频和对图片、视频处理功能的各种设备，如包括但不限于，照相机100、手机、平板电脑、笔记本电脑、台式计算机、智能电视机等。照相机100通过摄像头100a拍摄得到图像，或者连续的图像形成的视频；在照相机100的显示屏100b上显示拍摄的图像；照相机100计算拍摄的图像中的图像质量参数；例如图像的亮度、信噪比、对比度、清晰度、边缘的锐利度等；在照相机100判断出图像质量参数大于等于预设图像质量参数或者不在预设图像质量参数范围内的情况下，照相机100基于预设图像质量参数对显示的图像进行图像处理得到满足预设图像质量参数的图像，照相机100在显示屏上显示满足预设图像质量参数的图像。

为了便于说明，下面以电子设备100为相机100为例说明本申请的技术方案。

具体的，图2示出了本申请实施例的一种相机100的硬件结构示意图。下面结合图2，介绍相机100的硬件结构示意图

如图2所示，相机200可以包括摄像头101、系统控制逻辑102、显示屏103、处理器104和存储器105。

摄像头101用于拍摄图像。

系统控制逻辑102可以包括任何合适的接口控制器，以向处理器104中的至少一个和/或与系统控制逻辑102通信的任何合适的设备或组件提供任何合适的接口。

显示屏103用于显示图像以及实现和用户的人机交互。在本申请的一些实施例中，显示屏103可以用于显示满足预设图像质量参数的图像。如果是连续的图像形成的视频，则可以在显示屏上呈现满足预设图像质量参数的图像序列形成的视频。

处理器104可以包括一个或多个处理单元，例如：处理器104可以包括图像信号处理器(imagesignalprocessor，isp)，控制器，视频编解码器(videocodec)，数字信号处理器(digitalsignalprocessor，dsp)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。例如，处理器104可以确定待处理图像中的图像质量参数；判断图像质量参数是否满足预设图像质量参数。图像信号处理器(imagesignalprocessor，isp)用于对图像传感器输出的信号做后期处理，主要功能有、图像的亮度处理、清晰度处理、边缘的锐利度处理、线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等。

存储器105用于存储指令和数据。在一些实施例中，存储器105为高速缓冲存储器、静态随机存取存储器(staticrandom-accessmemory，sram))、直接存储器(dma)。该存储器105可以保存处理器104用过或循环使用的指令或数据。如果处理器104需要再次使用该指令或数据，可从存储器105中直接调用。避免了重复存取，减少了处理器104的等待时间，因而提高了系统的效率。在本申请的一些实施例中，存储器105可以存储满足预设图像质量参数的图像。

相机100可以通过摄像头101，系统控制逻辑102、显示屏103、处理器104和存储器105等实现拍摄和图片处理功能。

可以理解的是，本申请实施例示出的相机100的硬件架构并不构成对相机200的具体限定。在本申请另一些实施例中，相机200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。

以电子设备100为照相机100为例，下面结合附图3来详细说明本申请实施例提供的一种的图像处理方法。

图3所示为本申请实施例提供的一种照相机100的图像处理方法的流程示意图。如图3所示，该方法包括：

s301:照相机100获取待处理图像，在照相机100的显示屏上显示待处理图像。

本申请实施例中，照相机100拍摄到目标场景下的待处理图像。

s302:照相机100确定显示的待处理图像中的图像质量参数；图像质量参数为根据待处理图像中的像素的亮度值利用图像数字处理器计算得到的。可以理解，图像数字处理器可以为设置在照相机中的处理器；图像数字处理器也可以为设置在照相机100外部的处理器，与照相机100的外设接口固定连接或者可拆卸连接的处理器。

由于外部环境影响等对待处理图像的影响，待处理图像在拍摄成像的过程中，亮度、清晰度可能会受到破坏，无法得到满足质量要求的图像。因此照相机100需要计算出待处理图像中的图像质量参数，以得到能够客观评价待处理图像的质量优劣的客观参数并对不满足质量要求的图像进行处理，提高图像处理的准确度。

本申请实施例中，所述图像质量参数包括图像选定区域的对比度值、图像选定区域的信噪比值、图像选定区域的边缘锐利度值、图像选定区域的平均亮度值、图像选定区域的实时直方图中的至少一种，选定区域为图像的局部区域或者全部区域，具体如下：

(a)像素的亮度值和对应的像素数量信息(即直方图)；图像亮度通俗理解便是图像的明暗程度，这样可将一幅图像定义为一个二维函数f(x，y)，图像中的每个像素就可以用(x，y)坐标表示，而在任何一对空间坐标(x，y)处的幅值f称为图像在该点的强度或灰度，如果灰度值f在[0，255]之间，则f值越接近0亮度越低，f值越接近255亮度越高。在一些实施例中，像素的亮度值和对应的像素数量信息为每个像素亮度值对应的像素个数，并以直方图形式在显示屏上展示出来，x轴为像素的亮度值，y轴为像素的数量。例如，像素亮度值为200，像素的个数为59。

(b)图像的对比度值；图像的对比度值指的是图像暗和亮的落差值，图像暗和亮的倍数关系，即图像最大灰度级和最小灰度级之间的比值；

(c)图像的信噪比值,信噪比是评估图像噪声的重要指标，信噪比的计算需要对指定矩形区域内的像素点进行均方差的计算。

(d)图像的边缘锐利度值；图像锐化是补偿图像的轮廓，增强图像的边缘及灰度跳变的部分，使图像变得清晰。清晰度，通过调制传递函数(modulationtransferfunction，mtf)计算出图像的清晰度，可以把水平，垂直，45度及135度方向上mtf的计算内容在显示界面显示出来。

(e)图像的平均亮度值；亮度值包括图像的平均亮度值，平均亮度值即为所有像素亮度的平均值。

像素的亮度值和对应的像素数量信息、图像的对比度值、图像的信噪比值、图像的边缘锐利度值和图像的平均亮度值之间并不是彼此独立的，改变其中一个特征可能会同时引起图像其他特征的变化，至于变化的程度取决于图像本身的特性，因此需要对上述图像质量参数同时处理，以得到较优质的图像，而且待处理图像中的像素值较容易得到，从而便于快捷地对待处理图像进行图像处理。

在一些实施例中，为了方便用户看到图像质量参数，照相机100对显示的待处理图像进行图像质量客观指标计算，并通过屏幕菜单式调节方式(on-screendisplay，osd)直接在显示屏上显示出来，从而实时的得到当前评测图像的客观质量指标，来提高图像调优的效率，具体的，包括：

照相机100确定待处理图像中的图像质量参数之后，照相机100在照相机100的显示器上的指定区域显示满足预设图像质量参数的图像和预设图像质量参数。便于用户能够实时看到图像处理结果，提高用户体验。

指定区域可以为待处理图像或已处理图像中的指定区域，或者照相机100显示界面中的操作区域，以便于看到完整的图片。

此外，在一些实施例中，还可以将24色卡、iso12233清晰度图卡、(柯达灰卡(kodakstepchart)等专业图像测试图卡放在显示屏的指定区域显示，以便于根据专业图像测试图卡中的像素值评估待处理图像中的图像质量参数，指定区域可以为待处理图像或已处理图像对应的显示区域，也可以为待处理图像或已处理图像以外的显示区域。

s303:照相机100判断图像质量参数是否满足预设图像处理条件，预设图像处理条件包括预设图像质量参数；若否，则转至s304；若是，则转至s305。

在一些实施例中，满足预设图像处理条件可以为：图像质量参数大于等于预设图像质量参数；或者；图像质量参数在预设图像质量参数的范围内。

例如，像素的亮度值、图像的对比度值、图像的信噪比值、图像的边缘锐利度值等图像质量参数大于等于预设图像质量参数视为满足预设图像处理条件。

平均亮度值在预设图像质量参数的范围内视为图像质量参数满足预设图像处理条件。

图像质量参数不满足预设图像处理条件可以为：图像质量参数小于预设图像质量参数；或者；图像质量参数不在预设图像质量参数的范围内。

例如，像素的亮度值、图像的对比度值、图像的信噪比值、图像的边缘锐利度值等图像质量参数小于预设图像质量参数视为不满足预设图像处理条件。

平均亮度值不在预设图像质量参数的范围内视为不满足预设图像处理条件。

s304:照相机100基于预设图像质量参数通过数字处理器对显示的待处理图像进行图像处理，并跳转至s301；直到得到满足预设图像质量参数的图像，照相机100在显示屏上显示满足预设图像质量参数的图像。

在一些实施例中，照相机100判断出图像中的像素存在像素的亮度值小于或者大于预设亮度值，则将小于或者大于预设亮度值的像素的亮度值调整为预设亮度值。将调整后的图像在显示屏上展示。

对比度，信噪比等都是图像质量客观指标的不同维度的描述，彼此既独立又有相关性，独立是指在调试的时候这些指标都是分离独立调试的，相关是指某一个维度的指标提高了很可能造成另一个指标的降低，如此，需要对对比度，信噪比等都进行相应的调试。

在一些实施例中，照相机100判断出图像的对比度值小于预设对比度值，则提高图像中像素的最大灰度的值，使得图像的对比度值大于等于预设对比度值。将调整后的图像在显示屏上展示。此外，在一些实施例中，照相机100判断出图像的对比度值小于预设对比度值，则降低图像中像素的最小灰度的值，使得图像的对比度值等于预设对比度值。将调整后的图像在显示屏上展示。

此外，在一些实施例中，不同的图像质量参数需要调试对应的不同isp(图像数字处理器)的数字电路模块，比方说，信噪比达不到预期标准时，需要对降噪电路模块中的参数进行调整得到满足预设图像质量参数的图像。降噪处理的数字电路可能是两个串联的低通滤波器，这个滤波器有相应的噪声截止频率，降噪强度，边缘保持阈值等参数，以对待处理图像的电信号进行处理，得到大于等于大于预设信噪比值的待处理图像。

在一些实施例中，通过调制传递函数确定图像水平、垂直、45度和135度方向上的边缘锐利度值。图像锐化是补偿图像的轮廓，增强图像的边缘及灰度跳变的部分，使图像变得清晰。使得图像的边缘锐利度值大于等于预设边缘锐利度值，将调整后的图像在显示屏上展示。

在一些实施例中，在照相机100判断出图像选定区域的平均亮度值不在预设亮度值区间，则通过图像数字处理器对显示的所述待处理图像进行图像处理，将图像的平均亮度值调整在预设的亮度区间内，以使得所述图像质量参数满足预设图像处理条件。将调整后的图像在显示屏上展示。

在一些实施例中，照相机100判断出图像的平均亮度值小于或者大于预设平均亮度值，则图像的像素的亮度值调整为预设平均亮度值。将调整后的图像在显示屏上展示。

此外，在一些实施例中，当在线计算出的平均亮度低于预期时则提高感光器件的放大倍数，高于预期时则降低放大倍数。

图像的对比度值、图像的信噪比值、图像的边缘锐利度值、图像的平均亮度值等图像质量参数可以在数字电路里集成以实时计算和处理。有些图像质量参数的计算非常复杂，不利于图像数字处理器实现，考虑到图像数字处理器实现的可行性以及复杂度，本申请实施例使用的计算客观图像质量指标的电路是使用了图像数字处理器中的亮度信息统计模块的电路，充分利用了图像数字处理器，而不需要在图像数字处理器的基础上增加新的电路，降低成本。图像处理和客观图像分析实时配合的，在一定程度上克服人的主观判断的局限性，以及受图像调优工程师经验的限制，得到客观指标很接近的图像，提高图像评估和图像处理的准确度。

在一些实施例中，将调整后的图像在显示屏上展示。便于用户能够看到满足预设图像参数要求的图像，提高用户体验。

此外，在一些实施例中，基于预设图像质量参数对显示的待处理图像进行图像处理得到满足预设图像质量参数的图像，具体的，包括：

照相机100在显示屏上的指定区域显示预设图像质量参数选择菜单；

照相机100获取图像处理请求，图像处理请求包括在预设图像质量参数选择菜单中输入的预设图像质量参数；

照相机100基于预设图像质量参数对显示的待处理图像进行图像处理得到满足预设图像质量参数条件的图像。

例如：图4a所示为本申请实施例提供的一种照相机100的图像处理方法的显示界面图，如图4a所示,照相机100确定待处理图像中的图像质量参数之后，在显示屏上显示当前图像的图像质量参数401和和预设图像质量参数选择菜单402，图像质量参数选择菜单402包括图像的对比度值、图像的信噪比值、图像的信噪比值、图像的边缘锐利度值和图像的平均亮度值选项。照相机100响应于图像质量参数选择菜单中手势操作确定图像处理请求。在图像质量参数选择菜单中输入预设图像质量参数，点击图像质量参数选择菜单中的确定按钮405，图像处理请求包括在预设图像质量参数选择菜单中输入的预设图像质量参数，照相机100即获取图像处理请求，照相机100基于预设图像质量参数对显示的待处理图像进行图像处理得到满足预设图像质量参数的图像。图4b所示为本申请实施例提供的又一种的图像处理方法的显示界面图。在显示界面图显示24色卡404，便于以24色卡为中的6个灰度色卡为参考标准，根据预设信噪比值将待处理图像处理得到满足预设图像质量参数的图像。此外，还可以在显示界面图显示根据像素的亮度值和对应的像素数量信息得到的直方图。此外，除了在显示界面图显示24色卡404，还可以显示iso12233清晰度图卡、柯达灰卡(kodakstepchart)等图像测试图卡用于不同的图像质量参数调优。

通过设置预设图像质量参数选择菜单，便于用户根据客观需要设置预设图像质量参数，使得相机100能够将图像调整到负荷预设图像质量参数要求的图像。

在照相机100的显示器上显示图像质量参数选择菜单，便于用户自主选择客观图像处理参数，提高用户体验。

照相机100基于预设图像质量参数对待处理图像进行图像处理得到已处理图像。例如，照相机100基于预设图像质量参数对待处理图像进行多次图像处理得到已处理图像。

s305:照相机100在显示屏上显示满足预设图像质量参数的图像，照相机100将满足预设图像质量参数的图像存储在存储器中。

本申请的实施例还提供了一种机器可读介质，机器可读介质上存储有指令，该指令在机器上执行时使机器执行上述的的图像处理方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本申请的实施例还提供了一种，包括：

存储器，用于存储由系统的一个或多个处理器执行的指令，以及

处理器，是的处理器之一，用于执行上述的图像处理方法。该具有实现上述的图像处理方法的功能。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多于一个与上述功能相对应的模块。

根据本申请的另一实施例，提供了一种片上系统(systemonchip，soc)。图5示出了一种片上系统(systemonchip，soc)200的框图。在图5中，相似的部件具有同样的附图标记。另外，虚线框是更先进的soc的可选特征。在图5中，soc200包括：互连单元210，其被耦合至应用处理器110；系统代理单元220；总线控制器单元230；集成存储器控制器单元240；一组或一个或多个协处理器250，其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机存取存储器(staticrandom-accessmemory，sram)单元260；直接存储器存取(directmemoryaccess，dma)单元270。

本申请公开的实施例可以被实现在硬件、软件、固件或这些组合中，本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统可以包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备和至少一个输出设备。

可将程序代码应用于输入指令，以执行本申请描述的确定显示的待处理图像中的图像质量参数；在判断出图像质量参数与预设图像质量参数的情况下，所基于预设图像质量参数对显示的待处理图像进行图像处理得到满足预设图像质量参数条件的图像，以及在显示屏上显示满足预设图像质量参数条件的图像的功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。

为了本申请的目的，处理系统包括具有诸如数字信号处理器(dsp)、图像数字处理器(isp)、微控制器、专用集成电路(applicationspecificintegratedcircuit，asic)或微处理器之类的处理器的任何系统。

程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可以用汇编语言或机器语言来实现程序代码。事实上，本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。在做硬件实现的电路设计时，这里的语言专指可编程逻辑设计语言，如verilog，vhdl等等，所谓节省电路设计成本也是专指这种情况。

虽然通过参照本申请的某些优选实施例，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。