一种图像处理方法、图像信号处理器及拍摄装置与流程

本技术涉及信号处理，尤其涉及图像处理的方法、图像信号处理器和拍摄装置。

背景技术：

1、当前视频监控应用越来越广。在视频监控中，经常会碰到宽动态场景，即监控的场景中包含的明亮区域和黑暗区域的亮度差异较大。比如，在车辆抓拍场景中，由于车牌反光强，而车窗透光差，使得拍摄得到的图像中的车牌区域和车窗内的人脸区域的亮度相差较大(车牌区域为明亮区域，人脸区域为黑暗区域)。在这种场景下，如果要让拍摄得到的图像中车牌区域的亮度合适，就会使得车窗内的人脸区域太暗，导致看不清车内的人脸；而如果要让拍摄得到的图像中的人脸区域的亮度合适，又会使得车牌区域太亮，导致看不清车牌(车牌区域曝光过度成为白色)。

2、为了使得在宽动态场景下拍摄得到明亮区域和黑暗区域的亮度都合适的图像，相关技术通常采用多次曝光的方案。在该方案中，通过多次拍摄，每次拍摄时的曝光时长不同，以得到多帧亮度不同的图像，再将该多帧亮度不同的图像进行融合得到融合图像，从而使得融合图像中的明亮区域和黑暗区域的亮度都合适。然而，如果拍摄的场景中存在运动的物体，例如，拍摄的场景中存在行驶的车辆等，该方案会使得融合图像中存在伪影或拖尾现象，导致图像不清晰，即，融合图像的质量还是较差。

技术实现思路

1、有鉴于此，本技术提供一种图像处理方法和拍摄装置，有助于提升宽动态场景下拍摄的图像的质量。

2、为达上述目的，本技术提供如下技术方案：

3、第一方面，本技术提供了一种图像处理的方法，该方法包括：获取由图像传感器产生的raw数据，对该raw数据基于第一图像处理参数进行处理得到第一图像、并基于第二图像处理参数进行处理得到第二图像，然后融合该第一图像和第二图像得到融合图像。其中，上述第一图像处理参数与第二图像处理参数不同，以使得第一图像和第二图像的亮度不同。

4、可以理解的是，上述第一图像和第二图像的亮度不同，可以是第一图像的第一区域(比如，宽动态场景中的黑暗区域)的亮度处于期望的第一亮度范围，第二图像的第二区域(比如，宽动态场景中的明亮区域)的亮度处于期望的第二亮度范围，从而使得融合图像的第一区域的亮度处于期望的第一亮度范围且第二区域的亮度处于期望的第二亮度范围。

5、也就是说，通过本技术的第一方面，通过对图像sensor一次曝光产生的一帧raw数据，基于不同的图像信号处理参数进行两路处理得到亮度不同的两帧图像，再将该两帧图像融合，可以使得融合图像的黑暗区域和明亮区域的亮度都合适(都能看清)，从而实现拍摄宽动态场景的目的。并且，相比现有的“多帧宽动态”的方案(基于图像sensor多次曝光产生的多个raw数据分别得到多个图像再融合的方案)，基于该第一方面的技术输出的图像是基于图像sensor一次曝光的raw数据来处理的，不存在在多次曝光的时间间隔期间由于运动引起的图像拖尾或伪影现象，因而可以提升拍摄宽动态图像的质量。

6、在一种可能的实现方式中，上述方法还包括：对该raw数据基于第三图像处理参数进行处理得到第三图像；其中，该第三图像处理参数与上述第一图像处理参数、第二图像处理参数不同，该第三图像的亮度与上述第一图像亮度不同、且与所述第二图像的亮度不同。应理解，在这种实现方式下，上述融合所述第一图像和所述第二图像得到融合图像，包括：融合上述第一图像，第二图像和第三图像得到融合图像。其中，第三图像的亮度与前述第一图像、第二图像的亮度不同，可以是第三图像的第三区域(比如，图像中除上述第一区域和第二区域之外的区域)的亮度处于期望的第三亮度范围，从而使得融合图像的第三区域的亮度处于所述期望的第三亮度范围。

7、也就是说，本技术还可以采用第三图像处理参数对raw数据进行第三路处理得到第三图像，使得第三图像的第三区域的亮度合适，从而最终使得融合图像的第三区域的亮度合适。

8、在一种可能的实现方式中，上述raw数据可以是基于车辆抓拍得到，那么，上述第一区域可以是该车辆的车窗区域，第二区域可以是该车辆的车牌区域，第三区域可以是该车辆的车身区域，或除raw数据中除上述第一区域和第二区域之外的区域。

9、通过这种方式，可以使得在车辆抓拍场景中，得到的融合图像的车窗区域、车牌区域和第三区域的亮度都处于期望的亮度范围，即使得这三个区域的亮度都合适。

10、在一种可能的实现方式中，上述融合第一图像和第二图像得到融合图像，可以是：对该第一图像进行目标轮廓检测得到目标区域，并从该第一图像中获取该目标区域对应的目标子图像，然后融合该目标子图像和第二图像得到该融合图像。通过这种方式，可以提升得到的融合图像的通透性和对比度，因而提升整体的视觉效果。

11、在一种可能的实现方式中，例如在车辆抓拍场景中，可以是对第一图像进行车窗轮廓检测得到车窗区域，并从该第一图像中获取车窗区域对应的车窗子图像，然后融合车窗子图像和第二图像得到融合图像。

12、在一种可能的实现方式中，上述融合第一图像、第二图像和第三图像得到融合图像，可以是：对该第一图像进行第一目标轮廓检测得到第一目标区域，并从该第一图像中获取该第一目标区域对应的第一目标子图像；对该第二图像进行第二目标轮廓检测得到第二目标区域，并从该第二图像中获取该第二目标区域对应的第二目标子图像；然后融合该第一目标子图像、第二目标子图像和第三图像得到该融合图像。通过这种方式，可以提升得到的融合图像的通透性和对比度，因而提升整体的视觉效果。

13、在一种可能的实现方式中，比如，在车辆抓拍的场景下，可以是对第一图像进行车窗轮廓检测得到车窗区域，并从该第一图像中获取车窗区域对应的车窗子图像；对第二图像进行车牌轮廓检测得到车牌区域，并从该第二图像中获取该车牌区域对应的车牌子图像，然后融合车窗子图像、车牌子图像和第三图像得到融合图像。

14、在一种可能的实施方式中，上述基于对第一图像进行目标轮廓检测得到目标区域，在根据目标区域得到目标子图像的过程，可以是细分割(比如，可以是像素级的分割)，使得得到的目标子图像的边缘为目标的轮廓，比如得到的车窗子图像的边缘是车窗的轮廓。应理解，在上述第二图像中分割得到子图像的过程也可以类似处理。

15、通过这种方式，可以避免目标子图像和全局图像(比如，上述的第三图像可以认为是全局图像)融合时，由目标子图像的边缘引起的不平滑效应。

16、在一种可能的实现方式下，在上述融合第一图像和第二图像之前，还可以对该第一图像或第二图像进行如下的一种或多种图像处理：降噪，亮度增强(根据需求提升或降低亮度)或对比度增强。通过这种方式，可以进一步提升融合图像的效果。

17、在一种可能的实现方式下，在上述融合目标子图像和全局图像时，也可以对目标子图像或全局图像进行如下的一种或多种图像处理：降噪，亮度增强，或对比度增强。通过这种方式，可以进一步提升融合图像的效果。

18、第二方面，本技术提供一种图像信号处理器，该图像信号处理器用于调用并运行指令，当该图像信号处理器执行该指令时，使得该图像信号处理器执行上述第一方面中任意一项所述的图像处理方法的流程。

19、第三方面，本技术提供了一种拍摄装置，该拍摄装置包括镜头，图像传感器和图像处理器；其中，该镜头用于基于入射到该镜头的光线得到光学图像，并使得光学图像入射到该图像传感器上；该图像传感器用于基于该镜头传递过来的光学图像得到raw数据，并将该raw数据传递到图像处理器；该图像信号处理器用于调用并运行指令，当该图像信号处理器执行该指令时，使得该图像信号处理器执行上述第一方面中任意一项所述的图像处理方法的流程。

20、在一种可能的实施方式中，该拍摄装置还包括补光灯，该补光灯用于为拍摄装置补光。

21、本技术中第二方面到第三方面及其各种实现方式的具体描述，可以参考第一方面及其各种实现方式中的详细描述；并且，第二方面到第三方面及其各种实现方式的有益效果，可以参考第一方面及其各种实现方式中的有益效果分析，此处不再赘述。

22、第四方面，本技术还提供一种图像融合的方法，该方法包括：获取第一图像和第二图像；对所述第一图像进行第一目标轮廓检测得到第一目标区域；从所述第一图像中获取所述第一目标区域对应的第一目标子图像；融合所述第一目标子图像和所述第二图像得到融合图像。

23、通过本技术的第四方面所提供的图像融合方案，相比现有的全局图像的融合方案，可以提升融合图像的对比度，使得融合图像的通透性更好，进而提升图像的视觉效果。

24、在第一种可能的实现方式中，该方法还包括：获取第三图像，对该第三图像进行第二目标轮廓检测得到第二目标区域；从所述第三图像中获取所述第二目标区域对应的第二目标子图像。在这种实现方式下，上述融合所述第一目标子图像和所述第二图像得到融合图像，包括：融合所述第一目标子图像、所述第二目标子图像和所述第二图像得到所述融合图像。

25、在一种可能的实现方式中，所述从所述第一图像中获取所述第一目标区域对应的第一目标子图像，包括：采用像素级分割，从所述第一图像中获取所述第一目标区域对应的第一目标子图像。其中，所述第一目标子图像的边缘可以与所述第一目标轮廓一致。

26、第五方面，本技术还提供一种图像融合装置，该图像融合装置包括处理器和存储器；该存储器用于存储计算机程序，所述处理器用于通过运行所述存储器中的所述计算机程序执行第四方面所述的图像融合的方法。

27、第六方面，本技术提供了一种图像融合装置。所述装置包括多个功能模块，所述多个功能模块相互作用，实现上述第四方面及其各实施方式中的方法。所述多个功能模块可以基于软件、硬件或软件和硬件的结合实现，且所述多个功能模块可以基于具体实现进行任意组合或分割。

28、第七方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令被处理器执行时，实现上述第四方面及其各实施方式中的方法。

29、第八方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现上述第四方面及其各实施方式中的方法。

30、本技术中第五方面到第八方面及其各种实现方式的具体描述，可以参考第四方面及其各种实现方式中的详细描述；并且，第五方面到第八方面及其各种实现方式的有益效果，可以参考第四方面及其各种实现方式中的有益效果分析，此处不再赘述。