相应色调映射图和光度直方图来生成掩模。4.根据权利要求2所述的方法，其中每个光度直方图包括每个图像的颜色通道的加权 组合。5.根据权利要求3所述的方法，其中融合所述色调映射图像中的两个或更多个图像包 括： 从所述多个色调映射图像中选出第一色调映射图像； 从所述多个色调映射图像中选出第二色调映射图像； 将所述第一色调映射图像及第二色调映射图像中的每个图像分解成第一分解图像及 第二分解图像，每个分解图像都具有相应的多个层； 基于所述第一色调映射图像及第二色调映射图像中的每个图像的所述掩模来将所述 第一分解图像的每个层与所述第二分解图像的相应层结合，以生成相应的多个融合层；以 及 重构所述相应的多个融合层以生成所述HDR合成图像。6. 根据权利要求3所述的方法，其中融合所述色调映射图像中的两个或更多个图像包 括： 从所述多个色调映射图像中选出第一色调映射图像； 从所述多个色调映射图像中选出第二色调映射图像； 将所述第一色调映射图像及第二色调映射图像中的每个图像分解成第一分解图像及 第二分解图像，每个分解图像都具有相应的多个层； 基于所述第一色调映射图像的所述掩模来将所述第一分解图像的每个层与所述第二 分解图像的相应层结合，以生成相应的多个融合层；以及 重构所述相应的多个融合层以生成所述HDR合成图像。7.根据权利要求1所述的方法，其中： 获得用于所述多个图像中的每个图像的相应色调映射图包括获得用于所述多个图像 中的每个图像的相应的多个色调映射图；以及 获得用于所述多个图像中的每个图像的相应光度直方图包括获得用于所述多个图像 中的每个图像的相应的多个光度直方图。8. 根据权利要求7所述的方法，其中生成用于每个色调映射图像的掩模包括： 识别所述相应的多个色调映射图以及相应的多个光度直方图；以及 基于所述相应的多个色调映射图以及所述相应的多个光度直方图来生成掩模。9. 根据权利要求8所述的方法，其中融合所述色调映射图像中的两个或更多个图像包 括： 从所述多个色调映射图像中选出第一色调映射图像； 从所述多个色调映射图像中选出第二色调映射图像； 将所述第一色调映射图像及第二色调映射图像中的每个图像分解成第一分解图像及 第二分解图像，每个分解图像都具有相应的多个层； 基于所述第一色调映射图像的所述掩模来将所述第一分解图像的每个层与所述第二 分解图像的相应层结合，以生成相应的多个融合层；以及 重构所述相应的多个融合层以生成所述HDR合成图像。10. -种非瞬时程序存储设备，包含存储于其上的指令以使得一个或多个处理器进行 以下操作： 获得用于图像采集设备的第一曝光值，其中所述第一曝光值适合于对场景进行相对于 中间曝光值的不足曝光； 使用所述图像采集设备按所述第一曝光值采集所述场景的多个图像； 获得用于所述多个图像中的每个图像的相应色调映射图； 将每个色调映射图应用于其相应图像以生成相应的多个色调映射图像； 基于每个色调映射图像的相应图像的所述色调映射图来生成用于每个色调映射图像 的掩模； 基于每个色调映射图像的掩模来融合所述色调映射图像中的两个或更多个图像，以生 成高动态范围HDR合成图像；以及 将所述HDR合成图像存储于存储器内。11. 根据权利要求10所述的非瞬时程序存储设备，其中使得所述一个或多个处理器获 得用于所述多个图像中的每个图像的相应色调映射图的指令还包括使得所述一个或多个 处理器获得用于所述多个图像中的每个图像的相应光度直方图的指令。12. 根据权利要求11所述的非瞬时程序存储设备，其中使得所述一个或多个处理器生 成用于每个色调映射图像的掩模的所述指令包括使得所述一个或多个处理器进行以下操 作的指令： 识别用于所述每个色调映射图像的相应图像的相应色调映射图和光度直方图；以及 基于所述相应色调映射图和光度直方图来生成掩模。13. 根据权利要求12所述的非瞬时程序存储设备，其中使得所述一个或多个处理器融 合所述色调映射图像中的两个或更多个图像的所述指令包括使得所述一个或多个处理器 进行以下操作的指令： 从所述多个色调映射图像中选出第一色调映射图像； 从所述多个色调映射图像中选出第二色调映射图像； 将所述第一色调映射图像及第二色调映射图像中的每个图像分解成第一分解图像及 第二分解图像，每个分解图像都具有相应的多个层； 基于所述第一色调映射图像的所述掩模来将所述第一分解图像的每个层与所述第二 分解图像的相应层结合，以生成相应的多个融合层；以及 重构所述相应的多个融合层以生成所述HDR合成图像。14. 一种电子设备，包含： 图像采集单元； 显示器； 一个或多个处理器，通信地与所述图像采集单元及所述显示器耦接，并且被配置用 于： 获得第一曝光值，其中所述第一曝光值适合于对场景进行相对于中间曝光值的不足曝 光， 使得所述图像采集单元按所述第一曝光值采集所述场景的多个图像， 获得用于所述多个图像中的每个图像的相应的色调映射图， 将每个色调映射图应用于其相应图像以生成相应的多个色调映射图像， 基于每个色调映射图像的相应图像的所述色调映射图来生成用于每个色调映射图像 的掩模， 基于每个色调映射图像的掩模来融合所述色调映射图像中的两个或更多个图像，以生 成高动态范围HDR合成图像；以及 存储器，通信地与所述图像采集单元、所述显示器及所述一个或多个处理器耦接，所述 存储器被配置用于存储所述HDR合成图像。15. 根据权利要求14所述的电子设备，其中获得用于所述多个图像中的每个图像的相 应色调映射图还包括获得用于所述多个图像中的每个图像的相应光度直方图。16. 根据权利要求15所述的电子设备，其中生成用于每个色调映射图像的掩模包括： 识别用于所述每个色调映射图像的相应图像的相应色调映射图和光度直方图；以及 基于所述相应色调映射图和光度直方图来生成掩模。17. 根据权利要求16所述的电子设备，其中融合所述色调映射图像中的两个或更多个 图像包括： 从所述多个色调映射图像中选出第一色调映射图像； 从所述多个色调映射图像中选出第二色调映射图像； 将所述第一色调映射图像及第二色调映射图像中的每个图像分解成第一分解图像及 第二分解图像，每个分解图像都具有相应的多个层； 基于所述第一色调映射图像的所述掩模来将所述第一分解图像的每个层与所述第二 分解图像的相应层结合，以生成相应的多个融合层；以及 重构所述相应的多个融合层以生成所述HDR合成图像。
【专利摘要】本发明公开了恒定包围的高动态范围(cHDR)操作，具体公开了在适合场景时采集并处理高动态范围(HDR)图像的系统、方法和计算机可读介质。在适合时，按曝光稍微不足的单个曝光值采集多个图像(形成恒定包围HDR采集序列)，并且局部色调映射(LTM)被应用于每个图像。局部色调映射图和直方图信息能够被用来生成能够在融合操作过程中使用的噪声放大掩模。按照所公开的方式来获得并融合的图像提供了具有改善的噪声和去重影特性的高动态范围。
【IPC分类】H04N5/217, H04N5/235
【公开号】CN105323497
【申请号】CN201510247222
【发明人】张雪梅, M·蒂考, 白英俊, F·A·巴卡伊, F·里卡迪, 陈隽青, P·M·胡渤, G·E·威廉姆斯, T·S·萨奇斯, 梁勇方
【申请人】苹果公司
【公开日】2016年2月10日
【申请日】2015年5月15日
【公告号】US9344638, US20150350513, WO2015184208A1