图像处理方法与流程

本发明涉及显示技术领域，尤其涉及一种图像处理方法。

背景技术：

与人眼能够看到的真实场景中的亮度范围相比，相机等数字成像设备中可用的传感器捕获到亮度范围通常要小得多。传统数字成像设备以单一曝光度对场景进行拍摄一幅图像，因而该图像只包含有限的亮度对比范围，具体为在较长的曝光时间中，曝光度较高，此时虽然被拍摄场景中的低亮度区域能够取得较为清晰的图像细节，但高亮度区域会呈现过度曝光的现象，反之，在较短的曝光时间中，曝光度较低，此时虽然被拍摄场景中的高亮度区域能够取得较为清晰的图像细节，但低亮度区域会呈现过度曝光的现象，取决于采用的曝光度是高或低，场景中过亮或较暗的区域中的很多细节将被丢失，使得数字成像设备拍摄到的图像与真实景象之间存在较大的差异，成像的品质较差。

为解决上述问题，高动态范围(highdynamicrange，hdr)成像技术逐渐成为了数字成像设备中越来越流行的一种成像技术。通过hdr成像获得的图像也被成为hdr图像，此种hdr图像可以提供在场景中较暗区域到完全被照亮的区域之间的高亮度范围。

常用的hdr图像的获取方式为利用数字成像设备进行多次曝光，获取高曝光、中曝光及低曝光的多帧图像，而后对多帧图像进行融合形成hdr图像。然而，现实场景中多含有动态元素，若直接对多帧图像进行融合形成hdr图像，会在图像中形成鬼影，影像图像的品质。为解决这一问题，现有的一种方案基于背景建模的多曝光图像融合去除鬼影，具体利用中值滤波得到背景图，相减得到运动物体，但实际上中值滤波难以准确分离背景图和运动物体，处理效果较差，而现有的另一种方案通过运动物体检测和扩展去除鬼影，具体基于马尔可夫随机场框架的方法来检测运动区域，并使用一种基于图像分割的方法对运动区域进行扩展，此方法的运算复杂，实现较为困难。

技术实现要素：

本发明的目的在于提供一种图像处理方法，能够有效的去除图像中的鬼影，提升图像的品质。

为实现上述目的，本发明提供一种图像处理方法，包括如下步骤：

步骤s1、获取场景的多帧图像，将多帧图像中的一帧图像作为参考图像；

步骤s2、将多帧图像中除了参考图像外的一帧图像作为原始待修正图像；

步骤s3、计算参考图像与原始待修正图像的交叉熵，利用参考图像与原始待修正图像的交叉熵的峰值坐标获取还原位移量；依据所述还原位移量对原始待修正图像进行位移产生位移待修正图像，定义位移待修正图像中与原始待修正图像重合的部分为第一部分，定义位原始待修正图像中与位移待修正图像重合的部分为第二部分，定义参考图像中与第二部分在位原始待修正图像中的位置一致的部分为第三部分，利用第一部分及参考图像中除第三部分以外的其他部分形成初步修正图像；

步骤s4、将参考图像划分为多个替换区块并将初步修正图像划分为分别与多个替换区块对应的多个待替换区块；

步骤s5、计算多个替换区块与对应的待替换区块的交叉熵，获取分别与多个替换区块相对应的多个交叉熵的峰值；

步骤s6、选取多个交叉熵的峰值中的一个与一阈值进行比较，当该一个交叉熵的峰值小于所述阈值时，利用对应的替换区块替换初步修正图像中对应的待替换区块，否则保持初步修正图像中对应的待替换区块不变；

步骤s7、重复步骤s6，直至每一交叉熵的峰值均与阈值完成比较，得到完全修正图像。

在所述步骤s2与所述步骤s3之间还具有将参考图像与原始待修正图像进行灰阶范围统一处理的步骤。

采用归一化的方法对参考图像与原始待修正图像进行灰阶范围统一处理。

采用预设的归一化公式对参考图像的灰阶进行归一化处理使得参考图像与原始待修正图像的灰阶范围统一；

所述预设的归一化公式为：

a’＝(a-min_a)/(max_a-min_a)*(max_b-min_b)+min_b；

其中a为进行归一化处理前参考图像中的一原始灰阶，a’为进行归一化处理后与a相对应的处理灰阶，min_a为进行归一化处理前参考图像中的多个原始灰阶的最小值，max_a为进行归一化处理前参考图像中的多个原始灰阶的最大值，min_b为原始待修正图像中的灰阶的最小值，max_b为原始待修正图像中的灰阶的最大值。

所述步骤s3中计算参考图像与原始待修正图像的交叉熵的具体过程为：

首先，对参考图像及原始待修正图像做二维傅里叶变换，产生尺寸相同的第一傅里叶矩阵及第二傅里叶矩阵；

接着，利用预设的复功率谱计算公式、第一傅里叶矩阵及第二傅里叶矩阵计算复功率谱，该复功率谱为尺寸与第一傅里叶矩阵及第二傅里叶矩阵相同的矩阵；所述预设的复功率谱计算公式为：

fftrn(i，j)＝fftr(i，j)/abs[fftr(i，j)]；fftr(i，j)＝fft_a(i，j)×conj[fft_b(i，j)]；

其中，fftrn(i，j)为复功率谱中第i行第j列的值；fft_a(i，j)为第一傅里叶矩阵中第i行第j列的值，fft_b(i，j)为第二傅里叶矩阵中第i行第j列的值，conj[fft_b(i，j)为对fft_b(i，j)进行共轭后得到的值，abs[fftr(i，j)]为fftr(i，j)的模，i、j均为正整数；

而后，对所述复功率谱进行二维傅里叶逆变换，产生交叉熵。

所述原始待修正图像及参考图像的形状均为矩形；所述步骤s3中利用参考图像与原始待修正图像的交叉熵的峰值坐标计算还原位移量的具体地过程为：建立直角坐标系，原始待修正图像的长边及宽边分别与直角坐标系的x轴及y轴平行，定义参考图像与原始待修正图像的交叉熵的峰值坐标为(move_x，move_y)，若move_x小于原始待修正图像长度的二分之一，则所述还原位移量在x轴上的分量为正向move_x，否则所述还原位移量在x轴上的分量为负向w-move_x，其中w为原始待修正图像的长度，若move_y小于原始待修正图像宽度的二分之一，则所述还原位移量在y轴上分量为负向move_y，否则所述还原位移量在y轴上的分量为正向h-move_x，其中h为原始待修正图像的宽度。

所述阈值为分别与多个替换区块相对应的多个交叉熵的峰值的平均值的二分之一。

所述步骤s1中，多帧图像的曝光量不同。

所述图像处理方法还包括步骤s8、重复步骤s2至s7，直至多帧图像中除了参考图像外的其他图像均完成处理。

所述图像处理方法还包括步骤s9、对参考图像及多个完全修正图像进行图像融合，产生高动态范围图像。

本发明的有益效果：本发明的图像处理方法将场景的多帧图像中的两帧图像分别作为参考图像及原始待修正图像，利用参考图像与原始待修正图像的交叉熵的峰值坐标获取还原位移量，依据所述还原位移量对原始待修正图像进行位移，利用位移待修正图像中与原始待修正图像重叠的部分及参考图像中除与重叠部分对应的部分以外的其他部分形成初步修正图像，而后计算参考图像的多个替换区块与初步修正图像对应的待替换区块的交叉熵，获取多个交叉熵的峰值，找出小于阈值的交叉熵的峰值并利用对应的替换区块替换初步修正图像中对应的待替换区块，从而有效地去除高动态范围图像的鬼影，提升图像的品质。

附图说明

为了能更进一步了解本发明的特征以及技术内容，请参阅以下有关本发明的详细说明与附图，然而附图仅提供参考与说明用，并非用来对本发明加以限制。

附图中，

图1为本发明的图像处理方法的流程图；

图2为本发明的图像处理方法的步骤s1的示意图；

图3为本发明的图像处理方法的步骤s2的示意图；

图4至图8为本发明的图像处理方法的步骤s3的示意图；

图9及图10为本发明的图像处理方法的步骤s4的示意图。

具体实施方式

为更进一步阐述本发明所采取的技术手段及其效果，以下结合本发明的优选实施例及其附图进行详细描述。

请参阅图1，本发明提供一种图像处理方法，包括如下步骤：

步骤s1、获取场景的多帧图像，请参阅图2，将多帧图像中的一帧图像作为参考图像10。

具体地，所述步骤s1中，多帧图像的曝光量不同。

步骤s2、请参阅图3，将多帧图像中除了参考图像10外的一帧图像作为原始待修正图像20。

具体地，所述原始待修正图像20相对于参考图像10偏移。

具体地，所述步骤s2结束后，在进行后续的步骤s3之前，还具有将参考图像10与原始待修正图像20进行灰阶范围统一处理的步骤。

具体地，采用归一化的方法对参考图像10与原始待修正图像20进行灰阶范围统一处理。

优选地，采用预设的归一化公式对参考图像10的灰阶进行归一化处理使得参考图像10与原始待修正图像20的灰阶范围统一。

所述预设的归一化公式为：

a’＝(a-min_a)/(max_a-min_a)*(max_b-min_b)+min_b；

其中a为进行归一化处理前参考图像10中的一原始灰阶，a’为进行归一化处理后与a相对应的处理灰阶，min_a为进行归一化处理前参考图像10中的多个原始灰阶的最小值，max_a为进行归一化处理前参考图像10中的多个原始灰阶的最大值，min_b为原始待修正图像20中的灰阶的最小值，max_b为原始待修正图像20中的灰阶的最大值。

步骤s3、计算参考图像10与原始待修正图像20的交叉熵，利用参考图像10与原始待修正图像20的交叉熵的峰值坐标获取还原位移量。请参阅图4，依据所述还原位移量对原始待修正图像20进行位移产生位移待修正图像20’，请结合图4至图6，定义位移待修正图像20’中与原始待修正图像20重合的部分为第一部分21’，定义位原始待修正图像20中与位移待修正图像20’重合的部分为第二部分21，请结合图7，定义参考图像10中与第二部分21在位原始待修正图像20中的位置一致的部分为第三部分11，利用第一部分21’及参考图像10中除第三部分11以外的其他部分12形成图8所示的初步修正图像30。

具体地，所述步骤s3中计算参考图像10与原始待修正图像20的交叉熵的具体过程为：

首先，对参考图像10及原始待修正图像20做二维傅里叶变换，产生尺寸相同的第一傅里叶矩阵及第二傅里叶矩阵。

接着，利用预设的复功率谱计算公式、第一傅里叶矩阵及第二傅里叶矩阵计算复功率谱，该复功率谱为尺寸与第一傅里叶矩阵及第二傅里叶矩阵相同的矩阵。所述预设的复功率谱计算公式为：

fftrn(i，j)＝fftr(i，j)/abs[fftr(i，j)]；fftr(i，j)＝fft_a(i，j)×conj[fft_b(i，j)]；

其中，fftrn(i，j)为复功率谱中第i行第j列的值；fft_a(i，j)为第一傅里叶矩阵中第i行第j列的值，fft_b(i，j)为第二傅里叶矩阵中第i行第j列的值，conj[fft_b(i，j)为对fft_b(i，j)进行共轭后得到的值，abs[fftr(i，j)]为fftr(i，j)的模，i、j均为正整数。

而后，对所述复功率谱进行二维傅里叶逆变换，产生交叉熵。

具体地，所述原始待修正图像20及参考图像10的形状均为矩形。

具体地，所述步骤s3中利用参考图像10与原始待修正图像20的交叉熵的峰值坐标计算还原位移量的具体地过程为：建立直角坐标系，原始待修正图像20的长边及宽边分别与直角坐标系的x轴及y轴平行，定义参考图像10与原始待修正图像20的交叉熵的峰值坐标为(move_x，move_y)，若move_x小于原始待修正图像20长度的二分之一，则所述还原位移量在x轴上的分量为正向move_x，否则所述还原位移量在x轴上的分量为负向w-move_x，其中w为原始待修正图像20的长度，若move_y小于原始待修正图像20宽度的二分之一，则所述还原位移量在y轴上分量为负向move_y，否则所述还原位移量在y轴上的分量为正向h-move_x，其中h为原始待修正图像20的宽度。

步骤s4、请参阅图9及图10，将参考图像10划分为多个替换区块13并将初步修正图像30划分为分别与多个替换区块13对应的多个待替换区块31。

步骤s5、计算多个替换区块13与对应的待替换区块31的交叉熵，获取分别与多个替换区块13相对应的多个交叉熵的峰值。

步骤s6、选取多个交叉熵的峰值中的一个与一阈值进行比较，当该一个交叉熵的峰值小于所述阈值时，利用对应的替换区块13替换初步修正图像30中对应的待替换区块31，否则保持初步修正图像30中对应的待替换区块31不变。

优选地，所述阈值为分别与多个替换区块13相对应的多个交叉熵的峰值的平均值的二分之一。

步骤s7、重复步骤s6，直至每一交叉熵的峰值均与阈值完成比较，得到完全修正图像。

步骤s8、重复步骤s2至s7，直至多帧图像中除了参考图像10外的其他图像均完成处理。

步骤s9、对参考图像10及多个完全修正图像进行图像融合，产生高动态范围图像。

需要说明的是，本发明的图像处理方法将场景的多帧图像中的两帧图像分别作为参考图像10及原始待修正图像20，利用参考图像10与原始待修正图像20的交叉熵的峰值坐标获取还原位移量，依据所述还原位移量对原始待修正图像20进行位移，利用位移待修正图像20’中与原始待修正图像20重叠的部分及参考图像10中除与重叠部分对应的部分以外的其他部分形成初步修正图像30，而后计算参考图像10的多个替换区块13与初步修正图像30对应的待替换区块31的交叉熵，获取多个交叉熵的峰值，找出小于阈值的交叉熵的峰值并利用对应的替换区块13替换初步修正图像30中对应的待替换区块31，从而有效地去除高动态范围图像的鬼影，提升图像的品质。

综上所述，本发明的图像处理方法将场景的多帧图像中的两帧图像分别作为参考图像及原始待修正图像，利用参考图像与原始待修正图像的交叉熵的峰值坐标获取还原位移量，依据所述还原位移量对原始待修正图像进行位移，利用位移待修正图像中与原始待修正图像重叠的部分及参考图像中除与重叠部分对应的部分以外的其他部分形成初步修正图像，而后计算参考图像的多个替换区块与初步修正图像对应的待替换区块的交叉熵，获取多个交叉熵的峰值，找出小于阈值的交叉熵的峰值并利用对应的替换区块替换初步修正图像中对应的待替换区块，从而有效地去除高动态范围图像的鬼影，提升图像的品质。

以上所述，对于本领域的普通技术人员来说，可以根据本发明的技术方案和技术构思作出其他各种相应的改变和变形，而所有这些改变和变形都应属于本发明权利要求的保护范围。