序存储设备，其中用于使得所述可编程控制设备将 来自所述场景的所述第一多层级金字塔表示和所述第二多层级金字塔表示的所识别的一 组像素融合的所述指令包括用于使得所述可编程控制设备将来自所述第一多层级金字塔 表示的一个像素与来自所述第二多层级金字塔表示的两个或更多个像素融合的指令，其中 所述两个或更多个像素的空间坐标在所述第二多层级金字塔表示中处于与所述一个像素 对应的所识别的像素的预先确定的邻域中。7. 根据权利要求1所述的非暂态程序存储设备，其中用于生成所述第一图像的第一多 层级金字塔表示的所述指令包括用于使得所述可编程控制设备生成所述第一图像的高通 金字塔分解的指令。8. 根据权利要求1所述的非暂态程序存储设备，其中用于生成所述第一图像的第一多 层级金字塔表示的所述指令包括用于使得所述可编程控制设备生成所述第一图像的小波 分解的指令。9. 一种系统，包括： 图像捕获设备； 存储器；和 一个或多个可编程控制设备，所述一个或多个可编程控制设备用于与所述图像捕获设 备和所述存储器进行交互并且用于执行操作，所述操作包括： 获取在第一时间处所捕获的场景的第一图像，所述第一图像具有多个像素； 对所述第一图像执行多分辨率分解，以生成所述第一图像的第一多层级金字塔表示； 获取所述场景的第二图像，其中所述第二图像在与所述第一图像不同的时间处被捕 获，并且其中所述第一图像中的所述多个像素中的每个像素在所述第二图像中具有对应像 素； 对所述第二图像执行多分辨率分解，以生成所述第二图像的第二多层级金字塔表示； 根据指令针对所述场景的所述第一多层级金字塔表示和所述第二多层级金字塔表示 中的每个层级来生成所述场景的输出多层级金字塔表示中的层级，所述指令使得所述可编 程控制设备执行操作，所述操作包括： 针对所述场景的所述第一多层级金字塔表示的层级中的一组像素来在所述场景的所 述第二多层级金字塔表示中识别对应的一组像素，以及 将来自所述场景的所述第一多层级金字塔表示和所述第二多层级金字塔表示的所识 别的一组像素融合； 组合所述场景的所述输出多层级金字塔表示以生成表示所述场景的单输出图像；以及 在存储器中存储所述输出图像。10. 根据权利要求9所述的系统，其中将来自所述场景的所述第一多层级金字塔表示 和所述第二多层级金字塔表示的所识别的一组像素融合包括： 确定权重值，所述权重值与来自所述场景的所述第一多层级金字塔表示的所述层级中 的每一组像素以及来自所述场景的所述第二多层级金字塔表示的所述层级中的对应的一 组像素相关联；以及 在所确定的权重值大于指定阈值时，将来自所述场景的所述第一多层级金字塔表示和 所述第二多层级金字塔表示的所识别的一组像素融合，并且在非二元权重值小于或等于所 述指定阈值时，不将第一像素及其来自所述第二图像的对应像素组合。11. 根据权利要求10所述的系统，其中确定权重值包括： 比较所述场景的所述第一多层级金字塔表示的所述层级中的一组像素中的每个像素 与所述场景的所述第二多层级金字塔表示中的对应的一组像素中的对应像素之间的相似 性； 基于所述比较来获取像素相似值； 针对所述场景的所述第一多层级金字塔表示的所述层级中的所述一组像素来获取预 期噪声内容；以及 基于所述像素相似值和所述预期噪声内容来计算所述权重值。12. 根据权利要求10所述的系统，其中确定权重值进一步包括： 在所述权重值小于或等于所述指定阈值时，对所述场景的所述第二多层级金字塔表示 的所述层级执行空间搜索以找到更好的对应的一组像素； 针对所述更好的对应的一组像素来确定权重值；以及 将来自所述第一多层级金字塔表示的所识别的一组像素与来自所述第二多层级金字 塔表示的所述更好的对应的一组像素融合。13. 根据权利要求9所述的系统，其中将来自所述场景的所述第一多层级金字塔表示 和所述第二多层级金字塔表示的所识别的一组像素融合包括： 针对所述第二图像的每个第二多层级金字塔表示来估计运动场，其中所述运动场使来 自所述第一图像的像素与来自所述第二图像的像素相关联；以及 将来自所述第一多层级金字塔表示的每个像素与选自所述运动场的像素融合。14. 根据权利要求9所述的系统，其中将来自所述场景的所述第一多层级金字塔表示 和所述第二多层级金字塔表示的所识别的一组像素融合包括将来自所述第一多层级金字 塔表示的一个像素与来自所述第二多层级金字塔表示的两个或更多个像素融合，其中所述 两个或更多个像素的空间坐标在所述第二多层级金字塔表示中处于与所述一个像素对应 的所识别的像素的预先确定的邻域中。15. -种方法，包括： 获取在第一时间处所捕获的场景的第一图像，所述第一图像具有多个像素； 对所述第一图像执行多分辨率分解，以生成所述第一图像的第一多层级金字塔表示； 获取所述场景的第二图像，其中所述第二图像在与所述第一图像不同的时间处被捕 获，并且其中所述第一图像中的所述多个像素中的每个像素在所述第二图像中具有对应像 素； 对所述第二图像执行多分辨率分解，以生成所述第二图像的第二多层级金字塔表示； 针对所述场景的所述第一多层级金字塔表示和所述第二多层级金字塔表示中的每个 层级来生成所述场景的输出多层级金字塔表示中的层级，其中生成所述层级包括： 针对所述场景的所述第一多层级金字塔表示的层级中的一组像素来在所述场景的所 述第二多层级金字塔表示中识别对应的一组像素，以及 将来自所述场景的所述第一多层级金字塔表示和所述第二多层级金字塔表示的所识 别的一组像素融合； 组合所述场景的所述输出多层级金字塔表示以生成表示所述场景的单输出图像；以及 在存储器中存储所述输出图像。16. 根据权利要求15所述的方法，其中将来自所述场景的所述第一多层级金字塔表示 和所述第二多层级金字塔表示的所识别的所述一组像素融合包括： 确定权重值，所述权重值与来自所述场景的所述第一多层级金字塔表示的所述层级中 的每一组像素以及来自所述场景的所述第二多层级金字塔表示的所述层级中的对应的一 组像素相关联；以及 在所确定的权重值大于指定阈值时，将来自所述场景的所述第一多层级金字塔表示和 所述第二多层级金字塔表示的所识别的一组像素融合，并且在所述权重值小于或等于所述 指定阈值时，不将第一像素及其来自所述第二图像的对应像素组合。17. 根据权利要求16所述的方法，其中确定权重值包括： 比较所述场景的所述第一多层级金字塔表示的所述层级中的一组像素中的每个像素 与所述场景的所述第二多层级金字塔表示中的对应的一组像素中的对应像素之间的相似 性； 基于所述比较来获取像素相似值； 针对所述场景的所述第一多层级金字塔表示的所述层级中的所述一组像素来获取预 期噪声内容；以及 基于所述像素相似值和所述预期噪声内容来计算所述权重值。18. 根据权利要求16所述的方法，其中确定权重值还包括： 在所述权重值小于或等于所述指定阈值时，对所述场景的所述第二多层级金字塔表示 的所述层级执行空间搜索以找到更好的对应的一组像素； 针对所述更好的对应的一组像素来确定权重值；以及 将来自所述第一多层级金字塔表示的所识别的一组像素与来自所述第二多层级金字 塔表示的所述更好的对应的一组像素融合。19. 根据权利要求15所述的方法，其中将来自所述场景的所述第一多层级金字塔表示 和所述第二多层级金字塔表示的所识别的所述一组像素融合包括： 针对所述第二图像的每个第二多层级金字塔表示来估计运动场，其中所述运动场使来 自所述第一图像的像素与来自所述第二图像的像素相关联；以及 将来自所述第一多层级金字塔表示的每个像素与选自所述运动场的像素融合。20.根据权利要求15所述的方法，其中将来自所述场景的所述第一多层级金字塔表示 和所述第二多层级金字塔表示的所识别的一组像素融合包括：将来自所述第一多层级金字 塔表示的一个像素与来自所述第二多层级金字塔表示的两个或更多个像素融合，其中所述 两个或更多个像素的空间坐标在所述第二多层级金字塔表示中处于与所述一个像素对应 的所识别的像素的预先确定的邻域中。
【专利摘要】本发明描述了一种用于改善图像稳定性操作的系统、方法和计算机可读介质。公开了一种用于将一组共同捕获的图像中的非参考图像与预先选择的参考帧融合的新颖方法。该融合方法可通过使用针对鬼影/非鬼影像素的加权平均值来使用软过渡，以避免邻域和几乎相似像素之间的突然过渡。此外，可基于一组相邻像素而不是独立地针对每个像素来进行鬼影/非鬼影决策。替代方法可能涉及使用时间融合、时空融合或它们的组合在每个层级处对所有所捕获的图像执行多分辨率分解，以及组合不同层级以生成输出图像。
【IPC分类】G06T5/10, G06T5/00
【公开号】CN105264567
【申请号】CN201480032024
【发明人】M·蒂考, 周剑平, S·A·纳里亚尼, R·托伏特, P·休布尔, 孙伟
【申请人】苹果公司
【公开日】2016年1月20日
【申请日】2014年5月6日
【公告号】US9262684, US20140363087, WO2014197154A1