图像处理方法、装置、计算机可读存储介质和计算机设备与流程

本发明涉及计算机技术领域，特别是涉及一种图像处理方法、装置、计算机可读存储介质和计算机设备。

背景技术：

通常情况下，物体在运动时可根据拍摄运动物体的连续帧图像获取运动物体的轨迹。传统技术中，可通过跟踪连续帧图像中运动物体的位置来获取运动物体的轨迹信息。在雾天环境中，拍摄的含雾图像会导致图像中物体成像不清晰，图像中运动物体难以识别，难以跟踪获取连续帧图像中运动物体的轨迹信息。

技术实现要素：

本发明实施例提供一种图像处理方法、装置、计算机可读存储介质和计算机设备，可以记录连续帧图像中物体的轨迹。

一种图像处理方法，包括：

获取预设数量的连续帧待处理图像，所述待处理图像为同一视角拍摄获取；

获取所述待处理图像中雾浓度参数值，根据所述雾浓度参数值获取待处理图像中物距参数值；

获取所述待处理图像中每相邻两帧图像中物距参数值的差值，若所述差值大于第一阈值，记录所述差值大于第一阈值的像素点的位置信息。

一种图像处理装置，包括：

图像获取模块，用于获取预设数量的连续帧待处理图像，所述待处理图像为同一视角拍摄获取；

参数获取模块，用于获取所述待处理图像中雾浓度参数值，根据所述雾浓度参数值获取待处理图像中物距参数值；

差值模块，用于获取所述待处理图像中每相邻两帧图像中物距参数值的差值；

记录模块，用于若所述差值大于第一阈值，记录所述差值大于第一阈值的像素点的位置信息。

一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行如上所述的图像处理方法。

一种计算机设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如上所述的图像处理方法。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中移动终端的内部结构示意图；

图2为一个实施例中图像处理方法的流程图；

图3为另一个实施例中图像处理方法的流程图；

图4为一个实施例中图像处理装置的结构框图；

图5为另一个实施例中图像处理装置的结构框图；

图6为另一个实施例中图像处理装置的结构框图；

图7为另一个实施例中图像处理装置的结构框图；

图8为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

可以理解，本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本发明的范围的情况下，可以将第一去雾模块称为第二去雾模块，且类似地，可将第二去雾模块称为第一去雾模块。第一去雾模块和第二去雾模块两者都是去雾模块，但其不是同一去雾模块。

以计算机设备为移动终端为例，图1为一个实施例中移动终端10的内部结构示意图。如图1所示，该移动终端10包括通过系统总线连接的处理器、非易失性存储介质、内存储器和网络接口、显示屏和输入装置。其中，移动终端10的非易失性存储介质存储有操作系统和计算机可读指令。该计算机可读指令被处理器执行时以实现一种图像处理方法。该处理器用于提供计算和控制能力，支撑整个移动终端10的运行。移动终端10中的内存储器为非易失性存储介质中的计算机可读指令的运行提供环境。网络接口用于与服务器进行网络通信。移动终端10的显示屏可以是液晶显示屏或者电子墨水显示屏等，输入装置可以是显示屏上覆盖的触摸层，也可以是移动终端10外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该移动终端10可以是手机、平板电脑或者个人数字助理或穿戴式设备等。本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的移动终端10的限定，具体的移动终端10可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

图2为一个实施例中图像处理方法的流程图。如图2所示，一种图像处理方法，包括步骤202至步骤206。其中：

202，获取预设数量的连续帧待处理图像，待处理图像为同一视角拍摄获取。

本发明实施例应用于固定角度拍摄的有雾场景。在有雾的天气中，大气中水滴等粒子较多，物体到成像设备，例如相机、摄影机等的距离较远时，大气粒子对成像的影响较大，因此，在有雾场景拍摄的图像会有图像画质较差、画面不清晰的状况。

在获取到拍摄的连续帧含雾图像后，从中选取预设数量的含雾图像作为待处理图像。在获取到待处理图像后，再依次获取每帧待处理图像的去雾参数值。

对图像的去雾处理包括多种算法，如暗原色先验去雾算法、单幅图像去雾算法等。以单幅图像去雾算法为例，去雾参数值可包括大气光值、透射率和空气光值；以暗原色先验去雾算法为例，去雾参数值包括大气光值和透射率。基于暗原色先验算法获取去雾参数值的步骤包括：

获取大气散射模型

i(x)＝j(x)t(x)+a(1-t(x))(1)

其中，i(x)为观测到的图像信息，j(x)为来自目标的辐射信息，也就是复原后的无雾图像，x表示图像中某一像素的空间位置，t(x)为透射率，a为无穷远处的大气光值。大气光值可通过待处理图像的灰度图计算获取、也可通过大气光值与天气情况和当前时间的对应关系获取。在通常情况下，可选用图像中最大强度的像素作为大气光值的估测。假设a为已知值，待处理图像中rgb三个通道中存在通道值很低的通道，且该通道值接近于零，则可以得到：

由上式可以获取到透射率即为：

其中即为含雾图像在x领域的暗原色值，可以引入一个0到1之间的权值ω对透射率进行调节，则最终求取的去雾参数即透射率表达式如下：

通过以上算法，可依次获取待处理图像中每个像素点的大气光值和透射率。

204，获取待处理图像中雾浓度参数值，根据雾浓度参数值获取待处理图像中物距参数值。

具体地，待处理图像的雾浓度与大气光值和透射率的关系式为：

f(x)＝a*(1-t(x))(5)

其中，f(x)表示雾浓度，在大气光值a为固定已知值时，透射率越小则雾浓度越大，透射率越大则雾浓度越小。在获取到待处理图像中每个像素点的大气光值和透射率后，即可求取待处理图像中每个像素点的雾浓度参数值。

在获取到雾浓度参数值后，可根据雾浓度参数值获取物距参数值。其中，含雾图像的雾浓度与物距满足如下所示的关系式：

f(x)＝1-e^-βd(x)(6)

其中，β表示大气的散射系数，d(x)表示物距，雾浓度f(x)与物距d(x)成指数关系，雾浓度f(x)随着物距d(x)的增加而成指数增加。

则物距d(x)与雾浓度f(x)的关系为：

根据获取的待处理图像中每个像素点的大气光值和透射率可获取待处理图像中每个像素点的雾浓度参数值，在获取到雾浓度参数值后，即可获取待处理图像中每个像素点对应的物距参数值。

206，获取待处理图像中每相邻两帧图像中物距参数值的差值，若差值大于第一阈值，记录差值大于第一阈值的像素点的位置信息。

具体地，在获取到待处理图像中每个像素点对应的物距参数值后，可将连续两帧的待处理图像中对应位置的像素点的物距参数值作差，获取连续两帧的待处理图像中对应位置的像素点的物距参数值差值。若上述差值大于预设的第一阈值，则判定待处理图像中有物体在运动，获取上述差值大于第一阈值的像素点的位置信息，上述位置信息包括像素点所在的待处理图像信息和像素点所在待处理图像中位置信息。其中，第一阈值可为用户设定的值，也可为根据历史数据推算获取的值。

本发明实施例中图像处理方法，通过获取图像中雾浓度参数值，检测同一视角拍摄的连续帧图像中每相邻两帧图像中对应像素点的物距参数值的差值，若差值大于预设的第一阈值，则记录上述差值大于第一阈值的像素点的位置信息。上述方法，通过雾浓度来推算图像中每个像素点对应的物距，在相邻两帧图像的像素点的物距参数值的差值大于预设的第一阈值时，判定图像上存在运动物体，记录差值大于第一阈值的像素点的位置信息，即图像上运动物体的轨迹信息。通过图像上雾浓度的参数值，获取图像上运动物体的轨迹信息，有利于在雾天拍摄图像不清晰的情况下，捕捉图像上的运动物体的轨迹。

在一个实施例中，上述图像处理方法还包括：

(1)获取待处理图像的去雾参数值。

(2)根据像素点的位置信息查找待处理图像中对应的像素，根据去雾参数值对待处理图像中对应的像素进行去雾处理。

具体地，基于暗原色先验算法可获取待处理图像中去雾参数值，上述去雾参数值包括待处理图像的大气光值和透射率。具体求解过程请参见步骤202中式(1)至(4)的算法步骤，在此不再赘述。

在获取到差值大于第一阈值的像素点的位置信息后，可根据获取的像素点的位置信息查找待处理图像上对应的像素，根据获取的去雾参数值对待处理图像中对应的像素进行去雾处理。例如，记录的像素点的位置信息为第3帧图像第5行第5列的像素，根据记录的位置信息查找对第3帧图像上第5行第5列的对应的像素后，根据步骤202中算法步骤求取第3帧图像上第5行第5列的像素的透射率及大气光值。

在求取到像素对应的透射率和大气光值后，根据式(8)即可对第3帧图像上第5行第5列的像素进行去雾处理。

本发明实施例中图像处理方法，根据记录的像素点的位置信息查找待处理图像中对应的像素，并对获取的像素进行去雾处理。其中，记录的像素点的位置信息即图像中运动物体的轨迹信息，在获取到运动物体的轨迹后，对每一帧待处理图像上显示运动物体的像素进行去雾，可以针对性的对图像上的运动物体进行去雾，使得图像上的运动物体成像清晰。

在一个实施例中，上述图像处理方法还包括：若待处理图像中雾浓度参数值大于第二阈值，获取待处理图像的去雾参数值，根据去雾参数值对待处理图像进行去雾处理。

具体地，根据步骤202中式(5)可求取待处理图像中每个像素点的雾浓度参数值，在获取到一帧待处理图像中每个像素点的雾浓度参数值后，可求取该帧待处理图像中像素点的雾浓度参数值的平均值。若该帧待处理图像中像素点的雾浓度参数值的平均值大于预设的第二阈值，则对该帧待处理图像进行去雾处理。对待处理图像进行去雾处理包括：获取待处理图像的去雾参数值，上述去雾参数值包括大气光值和透射率，再根据获取的去雾参数值对待处理图像进行去雾处理。其中，待处理图像的去雾参数值的获取方法请参见步骤202中式(1)至(4)，在获取到待处理图像的去雾参数值后，根据式(8)即可求取复原后的无雾图像，即可对图像进行去雾处理。

在一个实施例中，在获取待处理图像中每个像素点的雾浓度参数值后，可将每个像素点的雾浓度参数值与第二阈值作比较，获取雾浓度参数值大于第二阈值的像素点的个数占总像素点个数的比例，若上述比例超过预设的指定值，则获取待处理图像的去雾参数值，根据获取的去雾参数值对待处理图像进行去雾处理。

本发明实施例中图像处理方法，检测待处理图像中雾浓度参数值是否大于第二阈值，若是，则对待处理图像进行去雾。即在对待处理图像进行去雾之前，首先判定待处理图像的雾浓度，若待处理图像的雾浓度较低，即图像上的雾较薄，雾对成像的影响较小，则不对待处理图像进行去雾。通过在对待处理图像去雾之前判断待处理图像的雾浓度，根据待处理图像的雾浓度判定是否对待处理图像进行去雾处理，可以避免在雾浓度较薄时对图像进行去雾，从而浪费系统资源。

在一个实施例中，去雾参数值包括大气光值和透射率；根据去雾参数值对待处理图像进行去雾处理包括：

302，获取预设的rgb三个通道中每个通道的透射率因子。

304，根据透射率因子获取rgb三个通道中每个通道的透射率。

306，根据大气光值和rgb三个通道中每个通道的透射率分别对rgb三个通道进行去雾处理。

具体地，雾污染对rgb三个通道的影响不同，在采用去雾算法对图像整体去雾时，图像中g通道和b通道上的雾无法完全去除。进一步的，相同浓度的雾对rgb三个通道的影响不同，其中r通道的透射率最高、b通道的透射率最低、g通道的透射率位于两者之间；且在雾浓度增加时，rgb三个通道之间的差值也增大。本实施例中，对rgb三个通道预设透射率因子ωr、ωg、ωb，其中，

ωr＝1

ωg＝(0.9+0.1*t(x))²

ωb＝(0.7+0.3*t(x))²(9)

根据预设的透射率因子可求取rgb三个通道每个通道的透射率tr、tg、tb。

tr＝ωr*t(x)＝t(x)

tg＝ωg*t(x)＝t(x)*(0.9+0.1*t(x))²

tb＝ωb*t(x)＝t(x)*(0.7+0.3*t(x))²(10)

其中，t(x)为待处理图像的透射率，假设待处理图像的大气光值a为已知值，根据公式(8)，将式(8)中t(x)依次替换为tr、tg、tb，即可对待处理影像中rgb三个通道依次进行去雾处理。

本发明实施例中图像处理方法，对待处理图像的rgb三个通道依次进行去雾处理，对rgb三个通道实现不同的去雾强度，突破了传统技术中对图像统一进行去雾处理导致的g通道和b通道上雾无法完全去除的情况，对图像的去雾效果更好，去雾后图像色彩饱和度更高，图像的质量更高。

在一个实施例中，根据去雾参数值对待处理图像进行去雾处理包括：对待处理图像中物距参数值小于第三阈值的像素点进行去雾处理。

具体地，在获取到待处理图像中每个像素的物距参数值后，将待处理图像中每个像素的物距参数值与预设的第三阈值作比较，若待处理图像中像素的物距参数值小于预设的第三阈值，则对上述物距参数值小于第三阈值的像素点进行去雾处理。其中，第三阈值为用户设定值，也可为根据历史数据估算的平均值。对像素点进行去雾处理的步骤包括：根据步骤202中式(1)至式(4)获取像素点的大气光值和透射率，在获取到像素点的大气光值和透射率之后，再根据式(8)对像素点进行去雾处理。

本发明实施例中图像处理方法，在对待处理图像进行去雾之前，获取待处理图像中每个像素的物距参数值，仅对待处理图像中物距参数值小于第三阈值的像素点进行去雾处理。即仅对待处理图像中近景部分图像做去雾处理，通过区分待处理图像中近景与远景的方式，可以实现对获取的图像部分进行去雾处理，节省系统资源。

在一个实施例中，在对待处理图像进行去雾处理之前，可检测获取连续帧待处理图像中其他帧图像与第一帧图像的重合区域，采用去雾处理后第一帧图像替换其他帧图像与第一帧图像的重合区域。例如，以连续帧待处理图像中第一帧图像为标准图像，检测第二帧图像与第一帧图像的重合区域。在检测到第二帧图像与第一帧图像的重合区域后，对第一帧图像进行去雾处理，获取去雾处理后第一帧图像，将第二帧图像中重合区域替换为去雾处理后第一帧图像中对应的区域。以此类推，可将第三帧、第四帧···第n帧图像中重合区域替换为去雾处理后第一帧图像中对应的区域。

本发明实施例中图像处理方法，在检测到连续帧待处理图像中有重合区域后，用去雾处理后第一帧图像替换其他帧图像中对应的重合区域，可减少图像处理的步骤，节约系统资源。

图4为一个实施例中图像处理装置的结构框图。如图4所示，一种图像处理装置，包括图像获取模块402、参数获取模块404、差值模块406和记录模块408。其中：

图像获取模块402，用于获取预设数量的连续帧待处理图像，待处理图像为同一视角拍摄获取。

参数获取模块404，用于获取待处理图像中雾浓度参数值，根据雾浓度参数值获取待处理图像中物距参数值。

差值模块406，用于获取待处理图像中每相邻两帧图像中物距参数值的差值。

记录模块408，用于若差值大于第一阈值，记录差值大于第一阈值的像素点的位置信息。

图5为另一个实施例中图像处理装置的结构框图。如图5所示，一种图像处理装置，包括图像获取模块502、参数获取模块504、差值模块506、记录模块508和第一去雾模块510。其中图像获取模块502、参数获取模块504、差值模块506和记录模块508与图4中对应的模块功能相同。

第一去雾模块510，用于获取待处理图像的去雾参数值；根据像素点的位置信息查找待处理图像中对应的像素，根据去雾参数值对待处理图像中对应的像素进行去雾处理。

图6为另一个实施例中图像处理装置的结构框图。如图6所示，一种图像处理装置，包括图像获取模块602、参数获取模块604、差值模块606、记录模块608和第二去雾模块610。其中图像获取模块602、参数获取模块604、差值模块606和记录模块608与图4中对应的模块功能相同。

第二去雾模块610，用于若待处理图像中雾浓度参数值大于第二阈值，获取待处理图像的去雾参数值，根据去雾参数值对待处理图像进行去雾处理。

在一个实施例中，去雾参数值包括大气光值和透射率；第二去雾模块610还用于获取预设的rgb三个通道中每个通道的透射率因子；根据透射率因子获取rgb三个通道中每个通道的透射率；根据大气光值和rgb三个通道中每个通道的透射率分别对rgb三个通道进行去雾处理。

在一个实施例中，第二去雾模块610还用于对待处理图像中物距参数值小于第三阈值的像素点进行去雾处理。

图7为另一个实施例中图像处理装置的结构框图。如图7所示，一种图像处理装置，包括图像获取模块702、参数获取模块704、差值模块706、记录模块708和替换模块710。其中图像获取模块702、参数获取模块704、差值模块707和记录模块708与图4中对应的模块功能相同。

替换模块710，用于在对待处理图像进行去雾处理之前，检测获取连续帧待处理图像中其他帧图像与第一帧图像的重合区域，采用去雾处理后第一帧图像替换其他帧图像与第一帧图像的重合区域。

上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

本发明实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行如上所述的图像处理方法。

本发明实施例还提供一种计算机设备。上述计算机设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义isp(imagesignalprocessing，图像信号处理)管线的各种处理单元。图8为一个实施例中图像处理电路的示意图。如图8所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。

如图8所示，图像处理电路包括isp处理器840和控制逻辑器850。成像设备810捕捉的图像数据首先由isp处理器840处理，isp处理器840对图像数据进行分析以捕捉可用于确定和/或成像设备810的一个或多个控制参数的图像统计信息。成像设备810可包括具有一个或多个透镜812和图像传感器814的照相机。图像传感器814可包括色彩滤镜阵列(如bayer滤镜)，图像传感器814可获取用图像传感器814的每个成像像素捕捉的光强度和波长信息，并提供可由isp处理器840处理的一组原始图像数据。传感器820可基于传感器820接口类型把原始图像数据提供给isp处理器840。传感器820接口可以利用smia(standardmobileimagingarchitecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

isp处理器840按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，isp处理器840可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

isp处理器840还可从图像存储器830接收像素数据。例如，从传感器820接口将原始像素数据发送给图像存储器830，图像存储器830中的原始像素数据再提供给isp处理器840以供处理。图像存储器830可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括dma(directmemoryaccess，直接直接存储器存取)特征。

当接收到来自传感器820接口或来自图像存储器830的原始图像数据时，isp处理器840可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器830，以便在被显示之前进行另外的处理。isp处理器840还可从图像存储器830接收处理数据，对上述处理数据进行原始域中以及rgb和ycbcr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器880，以供用户观看和/或由图形引擎或gpu(graphicsprocessingunit，图形处理器)进一步处理。此外，isp处理器840的输出还可发送给图像存储器830，且显示器880可从图像存储器830读取图像数据。在一个实施例中，图像存储器830可被配置为实现一个或多个帧缓冲器。此外，isp处理器840的输出可发送给编码器/解码器870，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器880设备上之前解压缩。

isp处理器840处理后的图像数据可发送给去雾模块860，以便在被显示之前对图像进行去雾处理。去雾模块860对图像数据去雾处理可包括获取连续帧待处理图像，获取待处理图像的雾浓度参数值，根据上述雾浓度参数值获取待处理图像中物距参数值，记录上述差值大于第一阈值的像素点的位置信息，并对上述像素点对应的像素进行去雾处理。其中，去雾模块860可为移动终端中cpu(centralprocessingunit，中央处理器)、gpu(graphicsprocessingunit，图形处理器)或协处理器等。去雾模块860将图像数据进行去雾处理后，可将去雾处理后的图像数据发送给编码器/解码器870，以便编码/解码图像数据。编码的图像数据可被保存，并在显示与显示器880设备上之前解压缩。可以理解的是，去雾模块860处理后的图像数据可以不经过编码器/解码器870，直接发给显示器880进行显示。isp处理器840处理后的图像数据还可以先经过编码器/解码器870处理，然后再经过去雾模块860进行处理。上述编码器/解码器870可为移动终端中cpu、gpu或协处理器等。

isp处理器840确定的统计数据可发送给控制逻辑器850单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜812阴影校正等图像传感器814统计信息。控制逻辑器850可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备810的控制参数以及isp处理器840的控制参数。例如，控制参数可包括传感器820控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜812控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。isp控制参数可包括用于自动白平衡和颜色调整(例如，在rgb处理期间)的增益水平和色彩校正矩阵，以及透镜812阴影校正参数。

运用图8中图像处理技术可实现如上所述的图像处理方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。