一种图像处理方法、装置、设备和存储介质与流程

本发明实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、设备和存储介质。

背景技术：

随着互联网技术的发展，视频在线业务成为业界研究的重点，但是受于视频录制环境的影响，视频图像在录制时由于光线条件的制约导致录制视频的清晰度较低，为了提高视频录制的效果，常采用暗光增强技术对图像进行处理，提高视频图像的清晰度。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：现有暗光增强技术在实际应用中常设置固定的暗光增强强度，由于不同的视频图像中的光照条件不同，固定设置的暗光增强强度与输入的视频图像不匹配，导致视频图像增强的效果不理想，例如，在光照条件较好的视频图像中使用的暗光增强强度较高，导致视频图像过曝，反而降低了视频图像的清晰度。

技术实现要素：

本发明提供一种图像处理方法、装置、设备和存储介质，通过根据各视频图像的光暗情况动态调整暗光增强强度，提高了视频图像处理过程中暗光增强的匹配度，提高了视频图像的亮度，可增强视频图像的清晰度。

第一方面，本发明实施例提供了一种图像处理方法，该方法包括：

确定视频图像的检测帧对应的光暗分布状况；

根据所述光暗分布状况确定所述视频图像的暗光增强强度；

根据所述暗光增强强度对所述视频图像进行光暗调整。

第二方面，本发明实施例还提供了一种图像处理装置，该装置包括：

分布状态模块，用于确定视频图像的检测帧对应的光暗分布状况；

强度确定模块，用于根据所述光暗分布状况确定所述视频图像的暗光增强强度；

图像调整模块，用于根据所述暗光增强强度对所述视频图像进行光暗调整。

第三方面，本发明实施例还提供了一种设备，该设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的图像处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的图像处理方法。

本发明通过对视频图像光暗分布状况的检测，以视频图像实际的光暗分布状况匹配适合的暗光增强强度后，对视频图像进行光暗调整，解决了视频图像处理后过暗或过曝、显示效果不佳的问题，实现了视频图像处理时动态调整暗光增强强度，有效增强视频图像清晰度的效果。

附图说明

图1是本发明实施例一提供的一种图像处理方法的流程图；

图2是本发明实施例二提供的一种图像处理方法的流程图；

图3是本发明实施例二提供的一种像素块划分方法示意图；

图4是本发明实施例二提供的亮度均值与暗光增强强度对应关系的示意图；

图5是本发明实施例三提供的一种图像处理装置的结构示意图；

图6是本发明实施例四提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构，此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

图1为本发明实施例一提供的一种图像处理方法的流程图，本实施例可适用于提高视频图像清晰度的情况，该方法可以由图像处理装置来执行，该装置可以采用硬件和/或软件的方式来实现，通常可以集成在智能终端中，具体包括如下步骤：

步骤110、确定视频图像的检测帧对应的光暗分布状况。

其中，当图像连续变化每秒超过24帧以上时，根据视觉暂留原理，人眼无法辨别单幅图像的静态画面，而是看到平滑连续的动态画面，这样连续的画面叫做视频。在本发明实施例中，检测帧可以理解为视频图像中的某一帧图像或某几帧图像，可以间接反映整个视频图像的状态。光暗分布状况可以理解为检测帧图像的亮度状况及其明暗程度分布。

具体的，可以在获取到视频图像后，从该视频图像中随机抽取若干帧图像作为检测帧，也可以在获取视频图像的同时，选取该视频图像的前若干帧图像作为检测帧。在确定好检测帧后，对检测帧的光暗分布状况进行计算统计。检测帧的图像格式可以是yuv格式，检测帧的光暗分布状况可以包括检测帧各像素值的亮度情况以及整体亮度较高的检测帧的数量等。本发明实施例对视频图像的检测帧进行光暗分布状况的分析，可以减少数据处理的数量，提高处理速度，实现图像处理的实时性。

步骤120、根据光暗分布状况确定视频图像的暗光增强强度。

其中，暗光增强强度可以理解为对视频图像进行暗光增强时的强度参数，暗光增强强度越高，则对视频图像处理时需要提高的亮度越大。

具体的，可以将步骤110中确定的检测帧对应的光暗分布状况看做视频图像整体的光暗分布状况，可以通过光暗分布状况与暗光增强强度的对应关系，确定出视频图像的暗光增强强度。光暗分布状况与暗光增强强度的对应关系可以预先设定，例如，可以是根据实际经验设置的线性关系或非线性关系，可以通过线性关系或者非线性关系确定出光暗分布状况对应的暗光增强强度，例如，不同的光暗分布状况对应不同的暗光增强强度的数值，可以通过光暗分布状况确定出对应的暗光增强强度。

步骤130、根据暗光增强强度对视频图像进行光暗调整。

其中，光暗调整可以理解为对视频图像进行暗光增强处理，以提高视频图像清晰度。

具体的，根据步骤120确定的暗光增强强度对视频图像进行光暗调整，可以使用任何图像暗光增强方法进行处理，提高视频图像的亮度和清晰度，起到暗光增强的效果，由于暗光增强强度由视频图像确定，可以确保视频图像不会发生过暗或过曝问题。

本发明实施例，通过确定视频图像的检测帧对应的光暗分布状况，得到视频图像的暗光增强强度，根据暗光增强强度对视频图像进行光暗调整，本发明实施例的技术方案，通过动态调整视频图像的暗光增强强度，解决了由于视频图像的暗光增强强度不匹配导致的过暗或过曝问题，提高了视频图像处理过程中视频图像与暗光增强强度的匹配程度，提高了视频图像的亮度和清晰度，可增强用户观看视频的舒适度。

实施例二

图2是本发明实施例二提供的一种图像处理方法的流程图，参见图2，本发明实施例对上述图像处理方法进行了具体化，本发明实施例的提供的图像处理方法包括：

步骤210、在视频图像内选取至少一个图像帧作为检测帧。

其中，图像帧可以理解为视频图像的某一帧图像，相应的，检测帧可以是视频图像中一个或多个图像帧。

具体的，可以根据实际需求选择确定检测帧的方法，可以是在获取到整个视频图像后，从该视频图像中随机抽取或按一定规则抽取若干个图像帧作为检测帧；也可以是在获取视频图像的同时，选取该视频图像的前若干个图像帧作为检测帧。从整个视频图像中选取检测帧可以更加全面的反映出视频图像的真实状态，而选取视频图像的前若干个图像帧作为检测帧则可以在获取视频图像的同时就动态的确定出该视频图像的暗光增强强度，从而保证图像处理的实时性。

步骤220、将检测帧划分为至少一个像素块，并确定各像素块的亮度值。

其中，划分像素块可以理解为将检测帧内的所有像素点依据所在位置进行分组，一个像素块由检测帧某区域内的所有像素点组成。亮度值可以理解为表示其明亮程度的参数数值，具体可以是像素点的亮度分量。

具体的，将每个检测帧分成若干个像素块，可以等比例划分，也可以按其他预设规则进行划分，根据划分好的像素块内部像素点的数值计算其的亮度值。该步骤的主要目的在于，将检测帧分成若干个像素块分别计算亮度值，检测帧局部均值能够突出图像不同区域的亮度信息，从而降低极端亮度值在求均值时相互补偿的影响，使后续分析检测帧的状态更加精准。

进一步的，在上述发明实施例的基础上，确定各像素块的亮度值可以包括：确定各像素块内包括的像素点的y分量之和以及像素点数量；将y分量之和与像素点数量的比值作为各像素块的亮度值。

其中，检测帧的图像格式是yuv格式时，图像像素点中的y分量可以表示该像素点的亮度值。

具体的，确定某一个像素块的亮度值时，可以统计该像素块内包含的像素点的数量，并将该像素块内所有像素点的y分量的数值相加，得到该像素块y分量之和，再将该像素块的y分量之和除以该像素块内包含的像素点的数量，即计算出该像素块内像素点的y分量均值，可以以此值作为该像素块的亮度值。同理，可以计算出所有像素块的亮度值。

示例性的，如图3，将一个检测帧等比例划分成12个像素块，根据公式：

计算出每个像素块的亮度值。其中，pi可以表示像素块内各像素点y分量的值，m可以表示像素块内像素点的数量，lb可以表示像素块的亮度均值。

步骤230、根据亮度值和预设亮度在像素块中确定目标像素块。

其中，目标像素块可以理解为像素块中对后续光暗增强处理过程的参数设定有影响的像素块，例如，可以是过暗的像素块或者是过亮的像素块。

可选的，根据亮度值和预设亮度在像素块中确定出目标像素块，可以包括：将亮度值小于和/或等于预设亮度的像素块作为目标像素块；或，将亮度值大于和/或等于预设亮度的像素块作为目标像素块。

具体的，将步骤220中确定的各像素块的亮度值分别与预设亮度相比，若像素块的亮度值小于或等于预设亮度，则该像素块为暗光块，可以将其确定为目标像素块。另一种情况下，将步骤220中确定的各像素块的亮度值分别与预设亮度相比，若像素块的亮度值大于或等于预设亮度，则该像素块为亮光块，可以将其确定为目标像素块。在实际应用中，可以根据具体需要设定目标像素块的判定条件，例如，在选择亮光块为目标像素块时，可以理解为通过亮光块的数量和分布情况间接反映视频图像的亮度情况，当亮光块数量较多时，视频图像在进行光暗增强处理时可以选择较低的暗光增强强度以防止视频图像出现过曝问题；当亮光块数量较少时，可以认为视频图像较暗，因此可以选择较高的暗光增强强度进行图像光暗增强处理。

步骤240、若检测帧内目标像素块总数与像素块总数之比大于或等于预设比例，则将检测帧作为目标帧，并统计检测帧中目标帧的目标总数。

其中，目标帧可以理解为用于确定后续图像处理参数而特殊标记的检测帧。目标总数可以理解为检测帧中目标帧的数量。

具体的，对于某一检测帧，可以获取到该检测帧中像素块的数量记为像素块总数，统计该检测帧所有像素块中目标像素块的数量记为目标像素块总数，计算目标像素块的总数占像素块总数的比值，若该检测帧中目标像素块的比例不低于预设比例时，则可以将其作为目标帧。同理，可以用该方法对所有检测帧进行判断，统计检测帧中目标帧的数量作为目标总数。

步骤250、根据各目标像素块的亮度值确定检测帧的亮度均值，并将亮度均值和目标总数作为光暗分布状况。

其中，亮度均值可以理解为检测帧亮度情况的参考值。

具体的，可以依据检测帧中各目标像素块的亮度值计算出一个亮度参考值作为该检测帧的亮度均值，其计算方法可以为各目标像素块的亮度值的平均值，也可以是各目标像素块的亮度值的加权之和。可以将检测帧的亮度均值和步骤240中确定的目标总数作为检测帧的光暗分布状况。相比使用图像的全局亮度均值作为图像亮度的判断条件，根据各目标像素块的亮度值确定检测帧的亮度均值这种局部均值的计算方法能够突出图像不同区域的亮度信息，从而降低极端亮度值在求均值时相互补偿的影响。例如，在背光图像中，环境光亮度值通常较高而目标物体亮度值较低，全局亮度均值可能并不低，若使用全局亮度均值作为图像亮度均值，该值反映出的图像亮度与人眼对图像关注点的亮度并不相符。

进一步的，在上述发明实施例的基础上，根据各目标像素块的亮度值确定检测帧的亮度均值，可以包括：根据各目标像素块在对应检测帧的位置确定加权系数；针对各目标像素块将对应的亮度值与对应的加权系数之积记为加权亮度值；将各目标像素块加权亮度值的和与各目标像素块加权系数的和的比值作为检测帧的亮度均值。

具体的，人眼观看视频图像时，对图像不同位置的关注程度有所不同，因此，可以根据目标像素块在检测帧的位置判断该目标像素块可能的受关注程度，根据关注程度确定该目标像素块的加权系数。确定各目标像素块的加权系数后，可以获取目标像素块的亮度值与其对应的加权系数，将目标像素块的亮度值与其加权系数相乘记为该目标像素块的加权亮度值，在计算出该检测帧中所有目标像素块的加权亮度值后，可以将所有加权亮度值之和作为该检测帧的亮度均值。

一般情况下，人眼通常关注图像中间区域而忽略边缘区域，中间区域的亮度更能在视觉上影响人眼对图像亮度的判断，因此在确定目标像素块的加权系数时，可以将检测帧中间位置的目标像素块的加权系数设置高一些，而边缘区域的目标像素块的加权系数设置低一些。

示例性的，人眼通常关注图像中间区域而忽略边缘，中间区域的亮度更能在视觉上影响人对图像亮度的判断，因此，如图3所示，设置检测帧中中间区域像素块亮度的加权系数高于边缘区域像素块亮度的加权系数，这样确定的图像处理参数更符合实际需求。根据公式：

确定检测帧的亮度均值。其中，db可以代表目标像素块，lb可以表示像素块的亮度均值，w可以表示像素块对应位置的加权系数，wdb可以表示目标像素块加权系数的和，ldb可以表示检测帧的亮度均值，t可以表示目标像素块的个数。

步骤260、获取光暗分布状况中的亮度均值和目标总数，根据亮度均值和目标总数在预设强度值集合中选择暗光增强强度。

其中，暗光增强强度可以理解为对视频图像进行暗光增强时的强度参数，强度值集合可以理解为可选择的暗光增强强度的数值集合，可以是一个数值区间，也可以是几个离散数值。

具体的，在获取到光暗分布状况后，从中提取亮度均值和目标总数，根据亮度均值和目标总数与暗光增强强度的对应关系，在预设强度值集合中选择匹配的暗光增强强度。亮度均值和目标总数与暗光增强强度的对应关系可以根据经验和实际情况预先设定，其对应关系的表达形式可以为线性函数、分段函数或其他合理的函数形式，例如，暗光增强强度可以是以亮度均值和目标总数为变量的线性函数值。

进一步的，在上述发明实施例的基础上，根据亮度均值和目标总数在预设强度值集合中选择暗光增强强度，可以包括：若目标总数小于检测帧的总数与调整阈值比例之积，则选择预设强度值集合中最小强度值作为暗光增强强度；否则，根据亮度均值与暗光增强强度的对应关系在预设强度值集合中选择暗光增强强度，其中，亮度均值与暗光增强强度的对应关系可以包括一次比例关系、二次比例关系和正弦比例关系。

具体的，可以获取检测帧的总数与预设的调整阈值比例，将二者相乘，乘积与目标总数进行比较，若目标总数小于检测帧的总数与调整阈值比例之积，可以认为目标帧所占的比例不高，此时视频图像整体亮度偏高，因此可以选择预设强度值集合中最小强度值作为暗光增强强度；若目标总数不小于检测帧的总数与调整阈值比例之积，说明目标帧在检测帧中达到一定比例，此时视频图像整体亮度偏低，此时可以根据检测帧的亮度均值选取暗光增强强度，例如，可以是随着亮度均值的增大，暗光增强强度匀速下降，也可以是亮度均值较大或较小时，暗光增强强度也相应较小，还可以是亮度均值较低时对应较高的暗光增强强度，而随着亮度均值的增大，暗光增强强度迅速下降。

进一步的，在上述发明实施例的基础上，确定暗光增强强度的修正增量，并根据修正增量修正暗光增强强度。

其中，修正增量可以理解为对暗光增强强度进行适当调整时的变化量。

具体的，除了上述确定暗光增强强度所用到的参数外，还有一些对暗光增强强度有影响的参数，因此可以根据这些参数确定修正增量对暗光增强强度进行强度修正，例如，在目标像素块确定为暗光块时，可以根据亮光块的数量和亮度值确定修正增量对暗光增强强度进行微调，在亮光块的数量和亮度值较高时，该操作可以削弱增强强度，不会造成视频图像过曝的问题。

示例性的，可以设定暗光增强强度最大值emax，最小值emin，对应的强度值集合为[emin,emax]，根据以下对应关系确定暗光增强强度：

其中，ndf可以表示目标总数，rdark可以表示调整阈值，ncheckframes可以表示检测帧的总数，f(ldb)可以表示亮度均值与暗光增强强度的对应关系，rpenalty可以为惩罚项系数，wdb可以表示目标像素块加权系数的和，wlb可以表示非目标像素块加权系数的和，可以表示暗光增强强度的修正增量，以此削弱暗光增强强度。

亮度均值与暗光增强强度的对应关系f(ldb)可以有多种表现形式，如图4所示，可以是一次比例关系，可以是二次比例关系，也可以是正弦比例关系，图4所示的一次比例关系，可以表示随着亮度均值的增大，暗光增强强度的取值匀速下降；图4所示的二次比例关系，可以表示亮度均值较高或较低时，暗光增强强度的取值相应较小，在亮度均值适中时，暗光增强强度的取值相对较大；图4所示的正弦比例关系，可以表示在亮度均值较低时，对应较高的暗光增强强度，而随着亮度均值的增大，暗光增强强度迅速下降，在亮度均值较高时，暗光增强强度接近暗光增强强度最小值。还可以是其他合理的对应关系，在此不进行过多展示。

步骤270、根据暗光增强强度对视频图像进行光暗调整。

具体的，可以采用适用的暗光增强方法，根据上述步骤确定的暗光增强强度调整暗光增强方法中相关的参数值，进而对视频图像进行处理，提高视频图像的清晰度，因为暗光增强强度与视频图像相匹配，处理后的视频图像有暗光增强效果的同时，也不会出现处理不到位或处理过度，使视频图像发生过暗或过曝的现象。

本发明实施例的技术方案，通过对检测帧进行分析，采用检测帧中目标像素块的亮度值确定检测帧的亮度均值，能够突出图像目标区域的亮度信息，可以降低非目标区域中极端亮度值对确定亮度均值的影响；同时，通过将检测帧的亮度均值和目标帧的目标总数作为光暗分布状况，提高调整视频图像的暗光增强强度的匹配度，在提高视频图像亮度和清晰度的同时，得到的视频图像不会过暗或过曝，更加适宜人眼观看。

实施例三

图5是本发明实施例三提供的一种图像处理装置的结构示意图。本发明实施例所提供的图像处理装置可执行本发明任意实施例所提供的图像处理方法，具备执行方法相应的功能模块和有益效果。该装置可以由软件和/或硬件实现，具体包括：分布状态模块310、强度确定模块320和图像调整模块330。

分布状态模块310，用于确定视频图像的检测帧对应的光暗分布状况。

强度确定模块320，用于根据所述光暗分布状况确定所述视频图像的暗光增强强度。

图像调整模块330，用于根据所述暗光增强强度对所述视频图像进行光暗调整。

本发明实施例通过对视频图像光暗分布状况的检测，在视频图像进行光暗调整时动态调整暗光增强强度，解决对不同视频图像使用同一暗光增强强度处理显示效果不佳的问题，实现根据视频图像实际的光暗分布状况匹配适合的暗光增强强度，有效增强视频图像清晰度的效果。

实施例四

图6是本发明实施例四提供的一种设备的结构示意图，如图6所示，该设备包括处理器40、存储器41、输入装置42和输出装置43；设备中处理器40的数量可以是一个或多个，图6中以一个处理器40为例；设备中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接，图6中以通过总线连接为例。

存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的图像处理方法对应的程序模块(例如，分布状态模块310、强度确定模块320和图像调整模块330)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的图像处理方法。

存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置42可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置43可包括显示屏等显示设备。

实施例五

本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种图像处理方法，该方法包括：

确定视频图像的检测帧对应的光暗分布状况；

根据所述光暗分布状况确定所述视频图像的暗光增强强度；

根据所述暗光增强强度对所述视频图像进行光暗调整。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的图像处理方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述图像处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。