全视场参考图像的图像拼接的制作方法

在此所公开的主题整体涉及图像拼接，且尤其是涉及在存在大fov图像的情况下，拼接用小型fov摄影机拍摄的图像的方法。

背景技术：

1、多光圈摄影机(或多摄影机)是高端移动手持装置(“移动装置”，例如智能手机、平板电脑等)的标准。多摄影机通常包括宽视场(wide field of view)(fovw)或“广角”摄影机(“wide”摄影机或“w摄影机”)，以及一个或多个具有相同fov和窄fov的附加摄影机(长焦(telephoto)或“tele”摄影机或具有长焦fovt的“t”摄影机)、或具有fovuw>fovw的极广角(ultra-wide)摄影机(“uw摄影机”)。

2、长焦-广角(tele-wide)或长焦-极广角(tele-ultra-wide)多摄影机(以下可称为长焦-参考“tele-reference”多摄影机)结合了两种摄影机的优点以克服缺点。它使用参考摄影机(reference camera)(“r摄影机”)拍摄场景的大型参考摄影机fovr，所述参考摄影机提供具有参考摄影机分辨率(“resr”)和参考信噪比(snrr)的参考(r)图像，并使用更高的长焦摄影机分辨率(“rest”)和信噪比(snrt)以放大具有fovt的场景。然而，随着长焦摄影机分辨率的提高，fovt变窄，因此只能拍摄到场景的一小部分。

3、最近的发展是有一种扫描长焦摄影机，它可以扫描具有常规(原生)fovt的场景，因此它可以有效地涵盖比原生fovt还大的扫描fovt。例如，在共有的美国专利10,578,948中描述了一扫描长焦摄影机的例子。

4、有必要并且有利于使用参考图像(r图像)数据和长焦(t)图像数据来创建具有满足fovt<fovn≤fovr的“新”视场fovn的新图像的方法，其中，所述新图像的图像分辨率resn>resr和/或其中所述新图像的信噪比snrn>snrr。

技术实现思路

1、在各种实施例中，提供了使用参考图像数据和长焦图像数据来创建具有满足fovt<fovn≤fovr的“新”视场fovn的“新”图像的系统和方法。新图像是无缝、高分辨率、大fov图像。新图像具有大于rest的分辨率resn和/或大于snrr的信噪比snrn。新图像可以是“超级图像”(“si”)，通过拍摄和拼接两个或多个长焦图像获得，也可以是“超广角图像”(“sw”)，通过拍摄和使用一个或多个长焦图像，以使用一超分辨率演算法改进r图像或其片段(segments)而获得。

2、图1示出了已知全景图像(panorama image)(a)(或简称为“全景”)和本文公开的一超级图像(super image)(b)之间的一个差异。全景图像在校正形成它的不同图像的视点(pov)时由于缺乏“地面实况(ground truth)”而具有固有的透视失真，而本文公开的超级图像没有失真。

3、一个超级图像包括至少两个高分辨率的长焦图像和一个具有相同场景的大fov(例如fovw或fovuw)的一参考图像(resr<rest)，参见图1(b)。也就是说，超级图像使用来自较大fov参考图像的关于相同场景的信息。相反地，对于创建本领域已知的一全景图，通常没有参考图像可用。在超级图像中，每个拍摄的长焦图像都经过处理，并匹配到在较大fov参考图像中的相应的位置，从而消除了正常的全景图像的透视失真。此外，可检查每个长焦图像是否存在失焦、大量噪声、临时遮挡等拍摄问题，如有必要，之后会重新拍摄。

4、图2示出了一参考图像(a)和如本文所公开获得的一超级图像(c)之间的另一个差异。图2(b)示出了用来组成超级图像的单个长焦图像。由于使用具有大的有效焦距(efl)的一长焦摄影机来拍摄图像，因此可以在所述超级图像(c)中实现“自然”散景效果(bokeheffect)。自然散景定义为未对焦的fov片段的图像数据中存在的模糊量(blurring)。

5、图3示出了一已知全景和如本文所公开获得的一超级图像之间的又一个差异。可以看到两个长焦图像(长焦1和长焦2)在重叠的fov区域中没有信息的场景，但这些图像并非完全没有信息。在这种情况下，已知全景将无法对齐图像，而所述超级图像将能够使用一参考图像与它们对齐。

6、一已知全景和一超级图像间的其他差异包括所述超级图像获取中自动扫描的能力，从而能够以根据经验的方式决定长焦摄影机的扫描位置和顺序；检测和校正不良图像的能力；以及由于与地面实况更高的重叠而不是不同长焦图像之间的重叠而增加了鲁棒性(robustness)，这需要更少量的图像来覆盖所需的fov，因为长焦图像之间的重叠大小需求减少了。

7、在各种实施例中，提供了一种方法，包括：提供一折叠式长焦摄影机，配置以扫描和拍摄多个长焦图像，每个拍摄的图像具有一长焦图像分辨率(rest)、一长焦图像信噪比(snrt)及一长焦视场(fovt)；获得并分析具有一参考视场(fovr)大于fovt及一参考图像分辨率(resr)小于rest的一参考图像，和/或具有一信噪比(snrr)小于snrt的一参考图像；决定一个或多个扫描fovt位置的一顺序，用于连续拍摄所述多个长焦图像；在各个扫描fovt位置拍摄一长焦图像；将拍摄的多个长焦图像与所述参考图像的多个片段对齐，以获得对齐的长焦图像；以及使用所述对齐的长焦图像和所述参考图像创建具有一视场(fovn)小于或等于fovr的一新图像，其中，所述新图像的图像分辨率(resn)大于resr和/或所述新图像的信噪比(snrn)大于snrr。

8、在一些实施例中，所述参考图像是具有一fovw大于fovt的一广角图像，所述广角图像是由包含在一多摄影机中的一广角摄影机和所述折叠式长焦摄影机所拍摄。

9、在一些实施例中，所述参考图像是具有一fovuw>fovw>fovt的一极广角图像，所述极广角图像是由包含在一多摄影机中的一极广角摄影机和所述折叠式长焦摄影机所拍摄。

10、在一些实施例中，方法更包括在拍摄所述参考图像后及拍摄紧随的下一个长焦图像之前，立即将每个长焦图像与所述参考图像对齐，分析每个长焦图像的缺陷，如果在所述长焦图像中检测到缺陷，则在相同的fovt位置重新拍摄长焦图像，或者，如果在所述长焦图像中未检测到缺陷，则在各自的fovt位置继续拍摄紧随的下一个长焦图像。

11、在一些实施例中，方法更包括分析所述对齐的长焦图像的缺陷，如果在一特定的长焦图像中检测到缺陷，则在相同的fovt位置重新拍摄所述特定的长焦图像，或者，如果未检测到缺陷，则使用对齐的长焦图像和所述参考图像创建所述新图像。

12、在一些实施例中，所述折叠式长焦摄影机在fovr内的两个或多个各自的fovt位置拍摄两个或多个的长焦图像，所述方法还包括组合所述的对齐的长焦图像，以创建一超级图像。

13、在一些实施例中，所述对齐的长焦图像和所述参考图像被输入至一演算法，以创建具有一视场fovsw的一超广角图像，其中被包含在拍摄的长焦图像的至少一个fovt中的fovr内的一fov段具有一视场集合-fovt，其中集合-fovt<fovsw≤fovr。

14、在一些实施例中，所述折叠式长焦摄影机是具有不同变焦状态的一多变焦长焦摄影机，用于拍摄具有不同变焦系数的长焦图像。

15、在一些实施例中，获得所述参考图像包括从互联网、一云数据库或一物联网设备获得所述参考图像。

16、在一些实施例中，输出由一连串的多个新图像所形成的一视频流，而不是输出单个新图像。

17、在一些实施例中，一用户或一演算法选择包含在fovr中的一场景中的fovn的大小和fovn的位置。

18、在一些实施例中，分析所述参考图像包括使用所述参考图像的显著图来自动选择所述扫描fovt位置和/或自动选择fovn。

19、在一些实施例中，对齐拍摄的长焦图像以获得与所述参考图像的片段对齐的多个对齐的长焦图像包括:相对于参考图像数据定位长焦图像数据。

20、在一些实施例中，所述长焦摄影机具有7-10mm、10-20mm或20-40mm的有效焦距。

21、在一些实施例中，所述决定一个或多个扫描fovt位置的顺序被执行，以便一个及多个长焦图像中的每一个都呈现特定量的自然散景。

22、在一些实施例中，所述决定一个或多个扫描fovt位置的顺序被执行，以便根据扫描的机械限制，使构成的新图像涵盖最大的fov。

23、在一些实施例中，所述决定一个或多个扫描fovt位置的顺序被执行，以便所述新图像涵盖一用户或一演算法所选择的一感兴趣区域。

24、在一些实施例中，所述决定一个或多个扫描fovt位置的顺序被执行，以便每个长焦图像中包括具有一特定深度范围的多个场景片段或包括不超过一特定深度临界值的多个场景片段。

25、在一些实施例中，所述决定一个或多个扫描fovt位置的顺序被执行，以便先拍摄移动物体，且在拍摄所述移动物体后，再拍摄静止物体。

26、在一些实施例中，所述决定一个或多个扫描fovt位置的顺序被执行，以便以最快的方式执行具有多个fovt的fovr的一期望涵盖范围。

27、在一些实施例中，所述决定一个或多个扫描fovt位置的顺序包括:使用一物体跟踪器决定跟随一移动物体的顺序。

28、在一些实施例中，所述决定一个或多个扫描fovt位置的顺序包括:拍摄具有特定fovt的长焦图像中的一对象，以改善包含在fovn中但未包含在特定fovt中的一类似对象的res或snr。

29、在一些实施例中，所述决定一个或多个扫描fovt位置的顺序包括:在两个明显不同的时间点拍摄具有超过一个fovt的一移动物体。

30、在一些实施例中，fovn>fovt。

31、在一些实施例中，所述长焦图像另外相对于彼此对齐，以获得对齐的长焦图像，对齐的长焦图像彼此对齐且与所述参考图像对齐。

32、在一些实施例中，所述参考图像包含多个广角图像。

33、在一些实施例中，扫描长焦摄影机涵盖大于fovw和/或fovuw的25％、或大于fovw和/或fovuw的50％的一扫描范围。

34、在一些实施例中，扫描长焦摄影机分辨率rest>2xresw和/或snrt>2xsnrw、或者rest>4xresw和/或snrt>4xsnrw。

35、在一些实施例中，所述缺陷是选自于由运动模糊、电子噪声、卷帘快门、散焦模糊和不正确的图像对齐所组成的群组或障碍物。在一些实施例中，所述缺陷为机械故障。

36、在一些实施例中，将所述对齐的长焦图像构成为所述超级图像包括:将所述对齐的长焦图像与所述参考图像一起合成至所述超级图像。

37、在一些实施例中，所述决定一个或多个扫描fovt位置的顺序被执行，以便需要拍摄最少数量的长焦图像。

38、在一些实施例中，所述决定一个或多个扫描fovt位置的顺序被执行，以便连续拍摄包括其各自fovt中的特定场景特征的长焦图像，其中所述场景特征可为诸如纹理的视觉数据或诸如场景的亮度、深度或光谱组成的物理数据。

39、在一些实施例中，所述决定一个或多个扫描fovt位置的顺序被执行，以便从包含在fovr中的一场景移除一移动物体。

40、在一些实施例中，所述决定一个或多个扫描fovt位置的顺序被执行，以便在包含在fovr中的一场景中创建一移动物体的一副本。

41、在一些实施例中，所述决定一个或多个扫描fovt位置的顺序被执行，以便每个长焦图像与另一个长焦图像重叠。

42、在一些实施例中，所述决定一个或多个扫描fovt位置的顺序被执行，以便一个或多个感兴趣的对象位于fovt的中心区域而不是重叠区域。

43、在一些实施例中，所述多变焦长焦摄影机是一连续变焦长焦摄影机。在一些实施例中，所述多变焦长焦摄影机是一双变焦状态远摄影机。

44、在一些实施例中，所述参考图像为具有第一变焦系数(zf1)的一长焦图像，其中按顺序连续拍摄的长焦图像具有第二变焦系数(zf2)，其中zf1≤1.25xzf2。

45、本文公开的方法不限于一特定的多摄影机模块，且可以用于摄影机的任意组合，只要所述组合由至少一个具有一些扫描能力的摄影机组成，不限于2d扫描。