图像处理方法和相关装置与流程

本技术涉及终端，尤其涉及图像处理方法和相关装置。

背景技术：

1、随着终端设备的普及以及基于相机应用的拍摄功能的增多，用户可以使用各种方式记录所见，比如通过相机应用中的特定功能实现新的记录方式，如夜景拍照、长焦拍照、高动态范围（high dynamicrange，hdr）以及延时摄影等。

2、hdr图像可以提供更多的动态范围和图像细节。具体的，电子设备可以根据不同的曝光时间的低动态范围（low dynamic range，ldr）图像，利用每个曝光时间相对应最佳细节的ldr图像融合得到hdr图像。

3、但是，由于每帧图像的获取时间之间存在时间差，hdr图像可能会存在运动鬼影的问题。

技术实现思路

1、本技术实施例提供一种图像处理方法和相关装置，应用于终端技术领域。n帧第一权重图与n帧完全对齐、s帧第一权重图与s帧完全对齐；在鬼影值较小的区域使用n帧第一权重，保证更好的噪声细节表现，鬼影值较大的区域使用s帧第一权重，减少鬼影。这样能够在对齐较好的区域优先使用n帧，保证噪声细节表现，在对齐不好的区域优先使用s帧，减少鬼影。

2、第一方面，本技术实施例提出一种图像处理方法和相关装置。该方法包括：响应于拍照操作，获取第一类帧图像和第二类帧图像，第一类帧图像的曝光时长和第二类帧图像的曝光时长不同，第一类帧图像的曝光值为0ev；对第一类帧图像和第二类帧图像进行融合，得到目标图像；其中，第一类帧图像的融合权重为第一值，第二类帧图像的融合权重为第二值，第一值和第二值的和为第一固定值，第二值与第二类帧图像的清晰程度，以及偏离程度相关；偏离程度为第一类帧图像与第二类帧图像的偏离程度。

3、第一类帧图像可以对应于下文中的n帧图像，第二类帧图像可以对应于下文中的s帧图像或l帧图像。清晰程度可以理解为曝光程度。

4、这样，在偏离程度较大时优先使用第二类帧图像进行融合，减少由于第一类帧图像和第二类帧图像偏离导致的鬼影。

5、在一种可能的实现方式中，第二值为第三值与第四值之积，第三值用于描述第二类帧图像的清晰程度，第四值用于描述偏离程度。

6、第四值可以是通过一个或多个显示参数得到的。显示参数包括下述一种或多种：亮度、对比度、差异度、饱和度或图像梯度。此处不做具体限定。

7、这样，融合权重与偏离程度正相关，偏离程度越大，第二类帧图像的融合权重越大，减少图像融合时的鬼影。

8、在一种可能的实现方式中，第二值为第五值与第六值之和，第五值为第三值与第四值之积，第六值为第七值与第八值之积，第七值与第三值之和为第二固定值，第八值与第四值之和为第三固定值。

9、这样，在偏离程度较小的区域第一类帧图像的融合权重大，可以保留第一类帧图像的噪声细节表现，偏离程度较小的区域第二类帧图像的融合权重大，减少鬼影。

10、在一种可能的实现方式中，在第二类帧图像的曝光时长大于第一类帧图像的曝光时长时，第三值与第二类帧图像的灰度值正相关，第二类帧图像的灰度值是通过第二类帧图像的亮度；

11、或者，在第二类帧图像的曝光时长小于第一类帧图像的曝光时长时，第三值与第二类帧图像的灰度值负相关。

12、在第二类帧图像为s帧图像时，灰度值越大，s帧图像越清晰，对应的s帧图像的融合权重越大。这样，可以通过s帧图像消除鬼影，以及对n帧图像的过曝区域进行细节补充，提升目标图像的暗部细节。在第二类帧图像为l帧图像时，灰度值越小，l帧图像越清晰，对应的l帧图像的融合权重越大。这样，可以对n帧图像的欠曝区域进行细节补充，提升目标图像的亮部细节。

13、在一种可能的实现方式中，在第二类帧图像的灰度值大于或等于第一阈值时，第三值与第二类帧图像的灰度值正相关，包括：在第二类帧图像的灰度值大于第二阈值时，第三值为1，第二阈值大于第一阈值；在第二类帧图像的灰度值大于或等于第一阈值，且小于或等于第二阈值时，第三值与第二类帧图像的灰度值正相关。

14、可以理解的是，s帧图像中，灰度值过低时，图像的亮度可能较低，图像的细节较少。

15、这样，s帧图像中灰度值过低的区域对应的融合权重为0，该区域n帧图像对应的融合权重较大，该区域在目标图像中可以保留更多的图像细节。

16、在一种可能的实现方式中，第三值与第二类帧图像的灰度值正相关，包括：在第二类帧图像的灰度值小于第一阈值时，第三值为0；在第二类帧图像的灰度值大于第二阈值时，第三值为1；第二阈值大于第一阈值；在第二类帧图像的灰度值大于或等于第一阈值，且小于或等于第二阈值时，第三值与第二类帧图像的灰度值正相关。

17、这样，s帧图像中灰度值较高的区域对应的融合权重为1，该区域不使用n帧图像进行融合。目标图像中可以保留s帧图像中的图像细节，提升融合效果。

18、在一种可能的实现方式中，第三值满足：；其中，为第三值，为第二类帧图像的灰度值，为第一阈值，为第二阈值。

19、这样，通过线性方式进行计算，简单易于实现。

20、在一种可能的实现方式中，第一阈值为第一类帧图像中欠曝点对应的灰度值，第二阈值为第一类帧图像中过曝点对应的灰度值。欠曝点可以理解为图像曝光不足时对应的亮度阈值，过曝点可以理解为图像曝光过度时对应的亮度阈值。

21、这样，通过n帧图像的欠曝点和过曝点设置阈值区间，逐步提高相同偏离程度下s帧图像的融合权重，更好的消除鬼影。

22、在一种可能的实现方式中，第一阈值为第二类帧图像中欠曝点对应的灰度值，第二阈值为第二类帧图像中过曝点对应的灰度值。

23、这样，通过s帧图像的欠曝点和过曝点设置阈值区间，逐步提高相同偏离程度下s帧图像的融合权重，更好的消除鬼影。

24、在一种可能的实现方式中，第三值与第二类帧图像的灰度值负相关，包括：在第二类帧图像的灰度值大于第二阈值时，第三值为0；在第二类帧图像的灰度值小于或等于第二阈值时，第三值与第二类帧图像的灰度值负相关。

25、可以理解的是，l帧图像中，灰度值过高时，图像的亮度可能较高，图像的细节较少。

26、这样，l帧图像中灰度值过高的区域对应的融合权重为0，该区域n帧图像对应的融合权重较大，该区域在目标图像中可以保留更多的图像细节。

27、在一种可能的实现方式中，在第二类帧图像的灰度值小于或等于第二阈值时，第三值与第二类帧图像的灰度值负相关，包括：在第二类帧图像的灰度值小于第一阈值时，第三值为1；在第二类帧图像的灰度值大于第二阈值时，第三值为0；第二阈值大于第一阈值；在第二类帧图像的灰度值大于或等于第一阈值，且小于或等于第二阈值时，第三值与第二类帧图像的灰度值负相关。

28、这样，l帧图像中灰度值较低的区域对应的融合权重为1，该区域不使用n帧图像进行融合。目标图像中可以保留l帧图像中的图像细节，提升融合效果。

29、在一种可能的实现方式中，第三值满足：；其中，为第三值，为第二类帧图像的灰度值，为第一阈值，为第二阈值。

30、这样，通过线性方式进行计算，简单易于实现。

31、在一种可能的实现方式中，偏离程度是通过第一类帧图像与第三类帧图像得到的，第三类帧图像是通过调整第二类帧图像的亮度得到的，第三类帧图像的亮度与第一类帧图像的亮度相同。

32、这样，在第二类帧图像亮度调整后进行偏离程度的计算，提升特征点匹配的准确度，使得偏离程度计算更加准确。

33、在一种可能的实现方式中，偏离程度与第一帧图像的灰度值，以及第三类帧图像的灰度值相关；偏离程度满足：；其中，为第一类帧图像的灰度值；为第三类帧图像的灰度值，h为偏离程度。

34、这样，可以通过灰度值实现对偏离程度的评估。此外，归一化处理，方便后续计算。

35、第二方面，本技术实施例提供一种图像处理装置，该图像处理装置可以是电子设备，也可以是电子设备内的芯片或者芯片系统。该图像处理装置可以包括通信单元和处理单元。当该图像处理装置是电子设备时，该通信单元用于执行第一类帧图像和第二类帧图像的获取的步骤，以使该电子设备实现第一方面或第一方面的任意一种可能的实现方式中描述的一种图像处理方法。当该图像处理装置是电子设备时，该处理单元可以是处理器。该图像处理装置还可以包括存储单元，该存储单元可以是存储器。该存储单元用于存储指令，该处理单元执行该存储单元所存储的指令，以使该电子设备实现第一方面或第一方面的任意一种可能的实现方式中描述的一种图像处理方法。当该图像处理装置是电子设备内的芯片或者芯片系统时，该处理单元可以是处理器。该处理单元执行存储单元所存储的指令，以使该电子设备实现第一方面或第一方面的任意一种可能的实现方式中描述的一种图像处理方法。该存储单元可以是该芯片内的存储单元（例如，寄存器、缓存等），也可以是该电子设备内的位于该芯片外部的存储单元（例如，只读存储器、随机存取存储器等）。

36、示例性的，通信单元，用于获取第一类帧图像和第二类帧图像；第一类帧图像的曝光时长和第二类帧图像的曝光时长不同，第一类帧图像的曝光值为0ev。

37、处理单元，用于对第一类帧图像和第二类帧图像进行融合，得到目标图像。其中，第一类帧图像的融合权重为第一值，第二类帧图像的融合权重为第二值，第一值和第二值的和为第一固定值，第二值与第二类帧图像的清晰程度，以及偏离程度相关；偏离程度为第一类帧图像与第二类帧图像的偏离程度。

38、在一种可能的实现方式中，第二值为第三值与第四值之积，第三值用于描述第二类帧图像的清晰程度，第四值用于描述偏离程度。这样，融合权重与偏离程度正相关，偏离程度越大，第二类帧图像的融合权重越大，减少图像融合时的鬼影。

39、在一种可能的实现方式中，第二值为第五值与第六值之和，第五值为第三值与第四值之积，第六值为第七值与第八值之积，第七值与第三值之和为第二固定值，第八值与第四值之和为第三固定值。

40、在一种可能的实现方式中，在第二类帧图像的曝光时长大于第一类帧图像的曝光时长时，第三值与第二类帧图像的灰度值正相关；第二类帧图像的灰度值是通过第二类帧图像的亮度得到的。或者，在第二类帧图像的曝光时长小于第一类帧图像的曝光时长时，第三值与第二类帧图像的灰度值负相关。

41、在一种可能的实现方式中，在第二类帧图像的灰度值大于或等于第一阈值时，第三值与第二类帧图像的灰度值正相关，包括：在第二类帧图像的灰度值大于第二阈值时，第三值为1，第二阈值大于第一阈值；在第二类帧图像的灰度值大于或等于第一阈值，且小于或等于第二阈值时，第三值与第二类帧图像的灰度值正相关。

42、在一种可能的实现方式中，第三值满足：；其中，为第三值，为第二类帧图像的灰度值，为第一阈值，为第二阈值。

43、在一种可能的实现方式中，第一阈值为第一类帧图像中欠曝点对应的灰度值，第二阈值为第一类帧图像中过曝点对应的灰度值。

44、在一种可能的实现方式中，第三值与第二类帧图像的灰度值负相关，包括：在第二类帧图像的灰度值大于第二阈值时，第三值为0；在第二类帧图像的灰度值小于或等于第二阈值时，第三值与第二类帧图像的灰度值负相关。

45、在一种可能的实现方式中，在第二类帧图像的灰度值小于或等于第二阈值时，第三值与第二类帧图像的灰度值负相关，包括：在第二类帧图像的灰度值小于第一阈值时，第三值为1；在第二类帧图像的灰度值大于第二阈值时，第三值为0；第二阈值大于第一阈值；在第二类帧图像的灰度值大于或等于第一阈值，且小于或等于第二阈值时，第三值与第二类帧图像的灰度值负相关。

46、在一种可能的实现方式中，第三值满足：；其中，为第三值，为第二类帧图像的灰度值，为第一阈值，为第二阈值。

47、在一种可能的实现方式中，偏离程度是通过第一类帧图像与第三类帧图像得到的，第三类帧图像是通过调整第二类帧图像的亮度得到的，第三类帧图像的亮度与第一类帧图像的亮度相同。

48、在一种可能的实现方式中，偏离程度与第一帧图像的灰度值，以及第三类帧图像的灰度值相关；偏离程度满足：；其中，为第一类帧图像的灰度值；为第三类帧图像的灰度值，h为偏离程度。

49、第三方面，本技术实施例提供一种电子设备，包括处理器和存储器，存储器用于存储代码指令，处理器用于运行代码指令，以执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。

50、第四方面，本技术实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序或指令，当计算机程序或指令在计算机上运行时，使得计算机执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。

51、第五方面，本技术实施例提供一种包括计算机程序的计算机程序产品，当计算机程序在计算机上运行时，使得计算机执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。

52、第六方面，本技术提供一种芯片或者芯片系统，该芯片或者芯片系统包括至少一个处理器和通信接口，通信接口和至少一个处理器通过线路互联，至少一个处理器用于运行计算机程序或指令，以执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。其中，芯片中的通信接口可以为输入/输出接口、管脚或电路等。

53、在一种可能的实现中，本技术中上述描述的芯片或者芯片系统还包括至少一个存储器，该至少一个存储器中存储有指令。该存储器可以为芯片内部的存储单元，例如，寄存器、缓存等，也可以是该芯片的存储单元（例如，只读存储器、随机存取存储器等）。

54、应当理解的是，本技术的第二方面至第六方面与本技术的第一方面的技术方案相对应，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。