用于合成图像的系统和方法与流程
本申请涉及和主张2016年7月26日递交的用于“用于合成广角和摄远图像的系统和方法(systemsandmethodsforcompositingwide-angleandtelephotoimages)”的第62/367,016号美国临时专利申请的优先权。
本发明大体上涉及电子装置。更确切地说，本发明涉及用于合成图像的系统和方法。
背景技术：
一些电子装置(例如，摄像机、视频摄录像机、数码摄像机、蜂窝式电话、智能电话、计算机、电视、汽车、个人摄像机、动作摄像机、监控摄像机、安装式摄像机、连接式摄像机、机器人、无人机、智能应用程序、医疗保健装备、机顶盒等)俘获和/或利用图像。举例来说，智能电话可以俘获和/或处理静态图像和/或视频图像。处理图像可能需要相对较大量的时间、存储器和能量资源。所需要的资源根据处理的复杂度可能不同。
一些种类的图像可能是在细节方面有限的，而一些种类的图像可能是在视图方面有限的。如可从此论述观察到，改进图像处理的系统和方法可以是有益的。
技术实现要素：
描述了一种用于通过电子装置合成图像的方法。所述方法包含获得基于来自具有第一焦距的第一镜头的第一图像和来自具有不同的第二焦距的第二镜头的第二图像的第一合成图像。所述方法还包含对第一合成图像进行下采样以产生下采样第一合成图像。所述方法进一步包含对第一图像进行下采样以产生下采样第一图像。所述方法额外包含基于下采样第一合成图像和下采样第一图像产生减少细节混合图像。所述方法还包含基于减少细节混合图像和下采样第一合成图像产生上采样图像。所述方法进一步包含将来自第一合成图像的细节添加到上采样图像以产生第二合成图像。产生减少细节混合图像可以包含用于色彩和强度匹配的泊松编辑。
所述方法可包含确定减少细节混合图像与下采样第一合成图像之间的差异以产生差异图像。上采样图像可以是通过对差异图像进行上采样产生的上采样差异图像。
所述方法可包含基于第一图像和第二图像执行基于网格的图像对准以产生变形的第二图像。执行基于网格的图像对准可以包含最小化匹配的点特征和匹配的线段特征的重新投影误差同时保持硬度。
所述方法可包含基于第一图像和第二图像执行点特征匹配。所述方法还可包含基于第一图像和第二图像执行线段特征匹配。
所述方法可包含确定至少一个第一图像线段特征和至少一个第二图像线段特征。所述方法还可包含通过匹配至少一个第二图像线段特征与至少一个第一图像线段特征对准第二图像和第一图像。
所述方法可包含基于第一图像和第二图像确定缝隙。确定缝隙可基于有利于选择第二图像数据的偏移项。所述方法还可包含基于缝隙合成第一图像和变形的第二图像以产生第一合成图像。
还描述了一种用于合成图像的电子装置。所述电子装置包含存储器和耦合到存储器的处理器。所述处理器经配置以获得基于来自具有第一焦距的第一镜头的第一图像和来自具有不同的第二焦距的第二镜头的第二图像的第一合成图像。所述处理器还经配置以对第一合成图像进行下采样以产生下采样第一合成图像。所述处理器进一步经配置以对第一图像进行下采样以产生下采样第一图像。所述处理器额外经配置以基于下采样第一合成图像和下采样第一图像产生减少细节混合图像。所述处理器还经配置以基于减少细节混合图像和下采样第一合成图像产生上采样图像。所述处理器进一步经配置以将来自第一合成图像的细节添加到上采样图像以产生第二合成图像。
还描述了用于合成图像的计算机程序产品。所述计算机程序产品包含具有指令的非暂时性有形计算机可读媒体。所述指令包含用于使得电子装置获得基于来自具有第一焦距的第一镜头的第一图像和来自具有不同的第二焦距的第二镜头的第二图像的第一合成图像的代码。所述指令还包含用于使得电子装置对第一合成图像进行下采样以产生下采样第一合成图像的代码。所述指令进一步包含用于使得电子装置对第一图像进行下采样以产生下采样第一图像的代码。所述指令额外包含用于使得电子装置基于下采样第一合成图像和下采样第一图像产生减少细节混合图像的代码。所述指令还包含用于使得电子装置基于减少细节混合图像和下采样第一合成图像产生上采样图像的代码。所述指令进一步包含用于使得电子装置将来自第一合成图像的细节添加到上采样图像以产生第二合成图像的代码。
还描述了一种用于合成图像的设备。所述设备包含用于获得基于来自具有第一焦距的第一镜头的第一图像和来自具有不同的第二焦距的第二镜头的第二图像的第一合成图像的装置。所述设备还包含用于对第一合成图像进行下采样以产生下采样第一合成图像的装置。所述设备进一步包含用于对第一图像进行下采样以产生下采样第一图像的装置。所述设备额外包含用于基于下采样第一合成图像和下采样第一图像产生减少细节混合图像的装置。所述设备还包含用于基于减少细节混合图像和下采样第一合成图像产生上采样图像的装置。所述设备进一步包含用于将来自第一合成图像的细节添加到上采样图像以产生第二合成图像的装置。
附图说明
图1是说明可以实施用于对准图像的系统和方法和/或用于合成图像的系统和方法的电子装置的一个实例的框图；
图2是说明用于对准和合成图像的方法的一个配置的流程图；
图3是说明用于对准图像的方法的一个配置的流程图；
图4是说明用于合成图像的方法的一个配置的流程图；
图5是说明用于合成图像的额外的方法的一个配置的流程图；
图6是说明广角图像、摄远图像以及广角图像和摄远图像的合成图像的实例的图式；
图7是说明可以根据本文中所公开的系统和方法的一些配置实施的元件、组件、块和/或算法的实例的框图；
图8是说明可以根据本文中所公开的系统和方法的一些配置实施的用于图像对准的元件、组件、块和/或算法的实例的框图；
图9是说明可以根据本文中所公开的系统和方法的一些配置实施的用于图像合成的元件、组件、块和/或算法的实例的框图；
图10是说明基于网格的图像对准的实例的图式；
图11是说明可以在本文中所公开的系统和方法的一些配置中实施的用于基于网格的图像对准的一些方式的更多细节的图式；
图12是说明用于基于网格的图像对准的一些方式的更多细节的图式；
图13是说明用于基于网格的图像对准的一些方式的更多细节的图式；
图14是说明可以根据本文中所公开的系统和方法的一些配置实施的用于图像混合的元件、组件、块和/或算法的实例的框图；
图15是根据本文中所公开的系统和方法合成广角图像和摄远图像的实例；
图16是说明图像对准器和图像合成器的更具体实例的框图；
图17是说明用于合成摄远图像和广角图像的方法的一个配置的流程图；以及
图18说明可包含在电子装置内的某些组件。
具体实施方式
本文中所公开的系统和方法可涉及来自不同镜头的合成(例如，融合)图像。举例来说，本文中所公开的系统和方法的一些配置可实现融合从具有不同焦距的镜头(例如，广角镜头和摄远镜头)俘获的图像对。本文中所公开的系统和方法可以在多种电子装置中实施。
由于大小限制，智能电话上的摄像机镜头可能不具有光学变焦能力。数码变焦可能无法提供高达光学变焦的图像质量。可以在智能电话上利用双摄像机设置以增加在低光条件之下的图像质量和/或提供场景的三维(3d)信息。
如果智能电话配备有广角摄像机和摄远摄像机，那么摄远摄像机可以用于光学“缩放”(例如，相对于广角摄像机)以提供与数码变焦相比更多的细节和更少的噪声。广角摄像机和摄远摄像机的一些布置可仅允许在使用广角摄像机或摄远摄像机之间切换并且可仅每次用一个相机来俘获图像。
在一些配置中，本文中所公开的系统和方法可提供合成(例如，融合)从多个镜头(例如，具有不同焦距的镜头、广角摄像机和摄远摄像机等)并行或同时俘获的图像对以产生利用多个摄像机(例如，两个摄像机)的单个图像的算法。举例来说，所融合的图像可具有与广角摄像机相同的视角因此俘获更多图像内容。此外，融合图像可具有来自两个摄像机的共同可见区中的摄远摄像机图像的更多细节和更少噪声。
应注意，本文中所公开的系统和方法的一些配置、方式和/或实施方案可以用“广角”和“摄远”术语描述。虽然一些配置可以通过广角和摄远镜头、摄像机和/或图像实施，但是本文中所公开的系统和方法的一些配置可以更一般化地通过两个或大于两个镜头、摄像机和/或图像实施。举例来说，第一镜头可产生第一图像并且第二镜头可产生第二图像。第一镜头(例如，摄像机)可具有与第二镜头(例如，摄像机)相比相同的焦距或不同的焦距(例如，更大或更小)。在其它配置中，可以利用具有相同焦距的两个或大于两个镜头。相应地，本文中以“广角”和“摄远”术语描述的配置、方式和/或实施方案中的每一个也公开类似更一般的配置。举例来说，以“广角”和“摄远”术语描述的配置可以被读作更一般的“第一”和“第二”术语的一个实例。举例来说，替代于“广角图像”可以利用更一般的“第一图像”并且替代于“摄远图像”可以利用更一般的“第二图像”。另外或替代地，更一般的“第一镜头”或“第一摄像机”可以替代“广角镜头”或“广角摄像机”实施或利用并且更一般的“第二镜头”或“第二摄像机”可以替代“摄远镜头”或“摄远摄像机”实施或利用。不同的镜头可具有不同视点和/或视角。
为了合成(例如，融合)由广角摄像机和摄远摄像机俘获的两个图像，在一些方式中两个图像可首先使用基于网格的模型(例如，视差模型、运动模型等)对准。基于网格的模型可在参考图像上界定网格网状物(例如，均匀的网格网状物)并且可假设每个网格单元进行与其它图像的参考图像不同的变换(例如，双线性变换)。所述模型可以通过其它图像中的所有对应的网格顶点的坐标参数化。所述模型可以与全局图像变换模型相比更灵活，例如，仿射变换或单应性变换。此灵活性可以是在处理由两个摄像机的安装位置中的差异所引起的两个图像之间的视差中有用的(例如，有益的、重要的等)。在一些方式中模型的估计(例如，视差模型、运动模型等)可依赖于两个图像之间的点特征(例如，shi-tomasi转角、定向fast(来自加速片段测试的特征)和旋转brief(二进制稳固独立基本特征)(orb)、二进制稳固恒定可缩放关键点(brisk)等)匹配。
在一些配置中，线段特征匹配(例如，线段检测器(lsd))和线带描述符(lbd))可用于进一步有助于估计模型(例如，视差模型、运动模型等)。匹配的线段特征可以是在低纹理区中对准图像中有用的，在所述低纹理区可能存在可以检测到的过于少的点特征。此外，匹配的线段特征可有助于在变形之后维持直线。
在一些配置中，所有变形的网格顶点的坐标可以通过最小化包含三个项的目标函数来计算。第一项可以是点特征的重新投影误差。举例来说，每个重新投影点特征可以使用双线性内插由其包封的网格单元的四个变形的顶点表示。第二项可以是线段特征的重新投影误差的测量值。若干点可以在参考图像中的每个线段特征上采样。在变形之后这些点之间的距离和其它图像中的匹配的线段可用于测量线段的重新投影误差。类似于在一些配置中的点特征，在线段特征上的每个采样的点也可以使用双线性内插由其包封的网格单元的四个变形的顶点表示。第三项可以是形状保持项以保证每个网格单元的变换接近于相似性变换，其可以是有用的(例如，有益的、重要的等)以防止模型(例如，视差模型、运动模型等)过于灵活。公式化的目标函数是二次的并且可以通过稀疏线性系统求解程序(例如，下上(lu)因式分解、共轭梯度下降等)求解。
在估计两个图像之间的变换之后，摄远图像可以变形到广角摄像机图像的视野以覆盖共同可见区。因为图像对准可能并不完美，所以沿变形摄远图像的边界可能仍然存在构造不匹配。合成边界(例如，新最佳合成边界)可以是经由曲线优化选择的使得图像内容沿边界一致。在此步骤之后，可以有效地移除沿边界的构造不匹配。
在合成边界的不同侧上可能仍然存在强度和/或色彩上的不一致。这可以是由于广角和摄远摄像机在它们俘获图像时具有不同的曝光和/或色彩平衡设置。另外或替代地，镜头和/或互补金属氧化物半导体(cmos)传感器中的电位差也可以呈现在两个摄像机之间的辐射测量响应中的差异。此问题可以通过在梯度域中混合变形摄远图像与广角图像来改善和/或解决。举例来说，变形摄远图像的边界值可以被强制与广角图像相同。色彩校正的变形摄远图像可以通过保持色彩梯度获得。这可通过在一些方式中求解泊松方程来得以实现。通过色彩校正，可以沿合成边界成功地移除任何可见的不一致，因此最终合成(例如，融合)图像不含伪影。
梯度域图像混合可以是计算密集型的(例如，耗时)，因为它可能涉及在非常大规模下求解泊松方程。可以观察到原始变形摄远图像与色彩校正图像之间的差异可在空间域中缓慢地改变。因此，此类梯度域图像混合可以应用于下采样图像上并且上采样差异可以被加回到完整分辨率图像。此方式在补偿色差中可以是等效地有效的和/或可更有效地执行(例如，运行的更快)。
本文中所公开的系统和方法的一些配置的一个优点是从广角摄像机和摄远摄像机俘获的图像对可以无缝地合成(例如，融合)。举例来说，广角图像和摄远图像可以没有可见缝隙地合成。合成的(例如，融合的)图像可具有与广角摄像机相同的视角，因此在一些方式中俘获更多图像内容。合成图像可具有在两个摄像机的共同可见区中的更多细节和更少的噪声(举例来说，如通过摄远摄像机图像所提供)。
现在参考图式描述各种配置，其中相同的参考标号可以指示功能上类似的元件。可以多种多样的不同配置来布置且设计如本文中在图式中所大体描述且说明的系统和方法。因此，以下对如图式中表示的若干配置的更详细描述并不意图限制如所主张的范围，而是仅表示系统和方法。
图1是说明可以实施用于对准图像的系统和方法和/或用于合成图像的系统和方法的电子装置102的一个实例的框图。电子装置102的实例包含摄像机、视频摄录像机、数码摄像机、蜂窝式电话、智能电话、计算机(例如，台式计算机、膝上型计算机等)、平板装置、媒体播放器、电视、汽车、个人摄像机、运动摄像机、监控摄像机、安装式摄像机、连接式摄像机、机器人、飞机、无人机、无人驾驶飞行器(uav)、医疗保健装备、游戏控制台、个人数字助理(pda)、机顶盒等。电子装置102可以包含一或多个组件或元件。组件或元件中的一或多个可以在硬件(例如，电路)或硬件与软件的组合(例如，处理器与指令)和/或硬件和固件中实施。
在一些配置中，电子装置102可包含处理器112、存储器126、显示器132、一或多个图像传感器104、一或多个光学系统106和/或通信接口108。处理器112可以耦合到存储器126、显示器132、图像传感器104、光学系统106和/或通信接口108(例如，与它们电子通信)。应注意，图1中所说明的元件中的一或多个可以是任选的。具体地说，在一些配置中电子装置102可不包含图1中所说明的元件中的一或多个。举例来说，电子装置102可包含或可不包含图像传感器104和/或光学系统106。另外或替代地，电子装置102可包含或可不包含显示器132。另外或替代地，电子装置102可包含或可不包含通信接口108。
在一些配置中，电子装置102可在显示器132上呈现用户接口134。举例来说，用户接口134可使得用户能够与电子装置102交互。在一些配置中，显示器132可以是从物理触摸(例如，通过手指、触控笔或其它工具)接收输入的触摸屏。另外或替代地，电子装置102可包含另一输入接口或耦合到另一输入接口。举例来说，电子装置102可包含面向用户的摄像机，且可检测用户示意动作(例如，手部示意动作、臂部示意动作、眼部跟踪、眨眼等)。在另一实例中，电子装置102可耦合到鼠标且可检测鼠标点击。在一些配置中，本文中所描述的图像中的一或多个(例如，广角图像、摄远图像、合成图像等)可以呈现在显示器132和/或用户接口134上。
通信接口108可使得电子装置102能够与一或多个其它电子装置通信。举例来说，通信接口108可提供用于有线和/或无线通信的接口。在一些配置中，通信接口108可以耦合到一或多条天线110以用于发射和/或接收射频(rf)信号。另外或替代地，通信接口108可实现一或多个种类的有线(例如，通用串行总线(usb)、以太网等)通信。
在一些配置中，可实施和/或利用多个通信接口108。举例来说，一个通信接口108可以是蜂窝式(例如，3g、长期演进(lte)、cdma等)通信接口108，另一通信接口108可以是以太网接口，另一通信接口108可以是通用串行总线(usb)接口，且又一通信接口108可以是无线局域网(wlan)接口(例如，电气电子工程师学会(ieee)802.11接口)。
电子装置102(例如，图像获得器114)可获得一或多个图像(例如，数字图像、图像帧、帧、视频、广角图像、摄远图像等)。一或多个图像(例如，帧)可以是场景的图像(例如，一或多个对象和/或背景)。举例来说，电子装置102可以包含一或多个图像传感器104和一或多个光学系统106(例如，镜头)。光学系统106可将位于光学系统106的视野内的对象的图像聚焦到图像传感器104上。在一些配置中，光学系统106可以耦合到处理器112和/或受到处理器112的控制。
摄像机可以包含至少一个图像传感器和至少一个光学系统。相应地，在一些实施方案中，电子装置102可以是一或多个摄像机和/或可以包含一或多个摄像机。在一些配置中，图像传感器104可俘获一或多个图像(例如，图像帧、视频、静态图像、突发模式图像、立体图像、广角图像、摄远图像等)。在一些配置中，图像传感器104可俘获一或多个图像。在一些实施方案中，电子装置102可以包含多个光学系统106和/或多个图像传感器104。举例来说，在一些配置中电子装置102可以包含两个镜头(例如，广角镜头和摄远镜头)。所述镜头可具有相同焦距或不同焦距。在一些配置中镜头(例如，广角镜头和摄远镜头)可各自与单独的图像传感器104配对。替代地，镜头可共享相同图像传感器104。
另外或替代地，电子装置102可从另一装置(例如，耦合到电子装置102的一或多个外部图像传感器、网络服务器、交通摄像机、水下摄像机、汽车摄像机、网络摄像机、智能电话摄像机等)请求和/或接收一或多个图像。在一些配置中，电子装置102可经由通信接口108请求和/或接收一或多个图像。举例来说，电子装置102可包含或可不包含摄像机(例如，图像传感器104和/或光学系统106)并且可从一或多个远程装置接收图像(例如，广角图像和摄远图像)。
存储器126可存储指令和/或数据。处理器112可存取(例如，读取和/或写入)存储器126。可以通过存储器126存储的指令和/或数据的实例可以包含图像数据128(例如，广角图像数据、摄远图像数据等)、特征、特征向量、关键点数据、转角数据、线段数据、变换数据、缝隙数据、减少细节(例如，下采样)图像数据、图像获得器114指令、图像对准器118指令、线段特征匹配器116指令、基于网格的图像对准器120指令、图像合成器122指令和/或用于其它元件的指令等。
在一些配置中，电子装置102(例如，存储器126)可以包含图像数据缓冲器(未示出)。图像数据缓冲器可缓冲(例如，存储)来自图像传感器104的图像数据(例如，图像帧)。经缓冲的图像数据可被提供给处理器112。
在一些配置中，电子装置102可包含摄像机软件应用程序和/或显示器132。当摄像机应用程序在运行中时，位于光学系统106的视野内的场景和/或对象的图像可以由图像传感器104俘获。由图像传感器104俘获的图像可以呈现在显示器132上。在一些配置中，这些图像可以相对较高的帧率快速地连续显示，因此在任何给定时刻处，位于光学系统106的视野内的对象都呈现在显示器132上。通过电子装置102获得的一或多个图像(例如，广角图像、摄远图像等)可以是一或多个视频帧和/或一或多个静态图像。应注意本文中所公开的系统和方法可以应用于一对图像和/或两个系列的图像(例如，广角视频和摄远视频)。
处理器112可以包含和/或实施图像获得器114、图像对准器118和/或图像合成器122。在一些配置中，图像对准器118可以包含点特征匹配器124、全局图像对准器130、线段特征匹配器116和/或基于网格的图像对准器120。在一些配置中，图像合成器122可以包含缝隙选择器136和/或图像混合器138。应注意，在电子装置102和/或处理器112中所说明的元件中的一或多个可以是可选的。举例来说，可以或可以不包含和/或实施图像对准器118、点特征匹配器124、全局图像对准器130、线段特征匹配器116、基于网格的图像对准器120、图像合成器122、缝隙选择器136和/或图像混合器138。另外或替代地，在处理器112中说明的元件中的一或多个可以独立于处理器112实施(例如，在其它电路中、在另一处理器上、在单独的电子装置上等)。
处理器112可以包含和/或实施图像获得器114。一或多个图像(例如，图像帧、视频、急速连拍等)可以提供到图像获得器114。举例来说，图像获得器114可从一或多个图像传感器104获得图像帧。举例来说，图像获得器114可从一或多个图像传感器104和/或从一或多个外部摄像机接收图像数据。如上文所描述，所述图像可以从包含于电子装置102中的图像传感器104俘获或者可以从一或多个远程摄像机俘获。在一些配置中，图像获得器114可获得广角图像和/或可获得摄远图像。
在一些配置中，广角图像可以通过广角镜头俘获。摄远图像可以通过摄远镜头俘获。广角镜头可具有与摄远镜头相比更短的焦距和更宽的视野(fov)(例如，更大角程)。举例来说，摄远镜头可具有与广角镜头相比更窄的fov(例如，更小角程)。摄远镜头与广角镜头相比可实现俘获更多细节和/或放大的图像。举例来说，广角镜头可具有与“普通”镜头相比相等或更短的焦距和/或可提供相等或更大的视野。另外或替代地，摄远镜头可具有与“普通”镜头相比相等或更长的焦距、可提供相等或更大的放大率和/或可提供相等或更小的视野。在一个实例中，相对于完整帧图像传感器的28毫米(mm)镜头可以被视作“普通”镜头。举例来说，在智能电话摄像机中可以利用具有28mm焦距的镜头。具有等于或短于普通镜头(例如，28mm)(例如，相对于完整帧传感器)的焦距的镜头可以被视作“广角”镜头，而具有等于或长于普通镜头(例如，28mm)的焦距的镜头可以被视作“摄远”镜头。在其它实例中，其它镜头焦距(例如，50mm)可以被视作“普通”镜头。应注意本文中所公开的系统和方法可以通过相等或不同焦距的多个镜头实施。本文中参考广角镜头和摄远镜头所描述的配置可以另外或替代地通过具有相等或不同焦距的多个(例如，一对)镜头和/或相同或不同类型的镜头(例如，多个广角镜头、多个摄远镜头、广角镜头和摄远镜头、多个普通镜头、普通镜头和广角镜头、普通镜头和摄远镜头等)实施。
在一些配置中，图像获得器114可请求和/或接收一或多个图像(例如，第一图像、第二图像、图像帧、广角图像、摄远图像等)。举例来说，图像获得器114可经由通信接口108从远程装置(例如，外部摄像机、远程服务器、远程电子装置等)请求和/或接收一或多个图像。
处理器112可以包含和/或实施图像对准器118。图像对准器118可基本上对准至少两个图像(例如，匹配至少两个图像的视点)。在一些配置中，图像对准器118可寄存、矫正、对准和/或变形一或多个图像。举例来说，图像对准可包含在空间上对准图像，使得图像看起来是从同一摄像机姿势拍摄的。举例来说，电子装置102(例如，处理器112)可在图像之间执行一或多个变换(例如双线性变换)。在一些配置中，图像对准器118可执行点特征匹配、全局图像对准、线段特征匹配和/或基于网格的图像对准。一些方式的更多细节提供于图2到3、7到8、10到13和16到17中的一或多个中。
在一些配置中，电子装置102(例如，处理器112、图像对准器118等)可以包含点特征匹配器124、全局图像对准器130、线段特征匹配器116和/或基于网格的图像对准器120。在一些实施方案中，点特征匹配器124、全局图像对准器130、线段特征匹配器116和/或基于网格的图像对准器120中的一或多个可以单独地和/或独立地实施。举例来说，点特征匹配器124、全局图像对准器130、线段特征匹配器116和/或基于网格的图像对准器120可以在与处理器112分开的一或多个块(例如，电路)中实施。在一些配置中，可能并不包含和/或实施线段特征匹配器116、基于网格的图像对准器120、点特征匹配器和/或全局图像对准器。举例来说，在一些配置中图像对准器118可利用另一方式用于图像对准。
点特征匹配器124可确定对应于两个或大于两个图像的一或多个点特征和/或可确定在两个或大于两个图像之间的点特征对应性(例如，匹配点特征)。举例来说，点特征匹配器124可确定第一图像和第二图像的点特征。举例来说，点特征匹配器124可确定广角图像的点特征(例如，广角图像点特征)和摄远图像的点特征(例如，摄远图像点特征)。点特征的实例可以包含关键点、转角、shi-tomasi转角、orb、brisk等。点特征匹配器124可确定第一图像(例如，广角图像)的点特征与第二图像(例如，摄远图像)的点特征之间的点特征对应性。点特征对应性可指示在第一图像的点特征中的一或多个与第二图像的点特征中的一或多个之间的对应性(例如，匹配、关联等)。
全局图像对准器130可对准两个或大于两个图像。举例来说，全局图像对准器130可变换一或多个图像以便近似地对准图像。举例来说，全局图像对准器130可变换第二图像(例如，摄远图像)以对准第二图像与第一图像(例如，广角图像)。全局图像对准器130可利用一或多个变换。可通过全局图像对准器130执行的变换的实例可以包含单应性变换和仿射变换。在一些配置中，全局图像对准器130可基于通过点特征匹配器124提供的点特征对应性对准图像。举例来说，点特征对应性可指示图像之间的视差(例如，距离、差异、“运动”等)。全局图像对准器130可变换图像中的一或多个以便近似地对准图像(例如，广角图像和摄远图像)之间的对应的点特征。
线段特征匹配器116可确定对应于两个或大于两个图像的一或多个线段和/或可确定两个或大于两个图像(例如，第一图像和第二图像)之间的线段特征对应性(例如，匹配线段特征)。举例来说，线段特征匹配器116可确定广角图像的线段特征(例如，广角图像线段特征)和摄远图像的线段特征(例如，摄远图像线段特征)。在一些配置中，线段特征匹配器116可以包含和/或利用线段检测器(lsd)以检测一或多个线段。另外或替代地，线段特征匹配器116可根据线带描述符(lbd)指示和/或描述线段以产生线段特征。线段特征匹配器116可确定第一图像(例如，广角图像)的线段特征与第二图像(例如，摄远图像)的线段特征之间的线段特征对应性。线段特征对应性可指示在第一图像的线段特征中的一或多个与第二图像的线段特征中的一或多个之间的对应性(例如，匹配、关联等)。此匹配可用于对准图像(例如，摄远图像和广角图像)。更多细节关于图3、7到8、12和/或16到17中的一或多个提供。匹配的线段特征可有助于对准低纹理区(例如，具有过于少的点特征)和/或可有助于在变形之后维持直线。还应注意使用全局单应性模型对准图像可增加线段的匹配成功率。
电子装置102(例如，处理器112、图像对准器118等)可以包含和/或实施基于网格的图像对准器120。基于网格的图像对准器120可在图像(例如，第一图像与第二图像)之间执行基于网格的图像对准。举例来说，基于网格的图像对准器120可在广角图像与摄远图像之间执行基于网格的图像对准以产生变形的摄远图像。在一些配置中，基于网格的图像对准可以包含界定图像(例如，广角图像)上的网状网格(例如，均匀的网状网格)并且使用另一图像(例如，摄远图像)上的网格顶点的对应的坐标参数化视差(例如，差异、“运动”等)。举例来说，电子装置102可界定第一图像(例如，广角图像)上的网格网状物(例如，均匀的网格网状物)。网格网状物可以根据网格线和顶点构造。举例来说，网格线可以沿第一图像(例如，广角图像)或第一图像的子集的水平和垂直维度间隔开(例如，均匀地间隔开或非均匀地间隔开)。网格顶点可以位于水平和垂直网格线的交叉点处。电子装置102可确定第二图像(例如，摄远图像)上的对应的顶点。举例来说，电子装置102可确定对应于(例如，匹配)第一图像的网格网状物的顶点的第二图像(例如，摄远图像)上的顶点。由于图像之间的差异，与第一图像的顶点相比第二图像的顶点可以不同地布置(例如，不同地间隔开、非均匀地布置等)。顶点之间的差异可指示(例如，参数化)图像之间的视差(例如，“运动”)。
网格单元可以是在网格线之间的间隔内的图像(例如，广角图像和/或摄远图像)的区段和/或在一些方式中可以包含毗邻的网格线。举例来说，网格单元可以是网格线之间(例如，两个垂直网格线之间和两个水平网格线之间、网格线连接顶点之间等)的图像的块，具有在单元转角处的网格顶点。
在一些配置中，基于网格的图像对准器120可计算变形的网格顶点以最小化目标函数。目标函数可以包含一或多个项。项的实例可以包含点特征重新投影误差、线段特征重新投影误差和形状保持项。举例来说，对准图像(例如，摄远图像到广角图像)可以包含减少(例如，最小化)匹配的点特征和匹配的线段特征的重新投影误差同时保持硬度。更多细节关于图2、7到8、10到13和/或16到17中的一或多个提供。
处理器112可以包含和/或实施图像合成器122。图像合成器122可合成(例如，组合、融合、拼接等)图像以形成合成图像。举例来说，图像合成器122可将来自一个图像(例如，广角图像)的图像数据用来自另一图像(例如，摄远图像)的图像数据替代和/或可组合来自多个图像的图像数据以产生合成图像。举例来说，图像合成器122可合成摄远图像与广角图像。在一些实施方案中，图像(例如，摄远图像)的视野(fov)可以在另一图像(例如，广角图像)的fov内(例如，可以是其子集)。
在一些配置中，图像合成器122可以包含缝隙选择器136和/或图像混合器138。在一些实施方案中，缝隙选择器136和/或图像混合器138中的一或多个可以单独地和/或独立地实施。举例来说，缝隙选择器136和/或图像混合器138可以在与处理器112分开的一或多个块(例如，电路)中实施。在一些配置中，可能并不包含和/或实施缝隙选择器136和/或图像混合器138。举例来说，在一些配置中图像合成器122可利用另一方式用于图像合成。
缝隙选择器136可确定图像(例如，广角图像和摄远图像)之间的缝隙。在一些方式中，确定缝隙可基于有利于选择特定图像(例如，摄远图像数据和/或来自摄远图像的像素)的偏移项。可通过沿着缝隙拼接图像和/或丢弃额外图像数据而合成图像。举例来说，图像合成器122可基于缝隙合成广角图像和变形摄远图像。在一些配置中，缝隙选择器136可合成图像(例如，广角图像和摄远图像)以产生第一合成图像(例如，初始合成图像)。更多细节关于图2、4、7、9和/或15到17中的一或多个提供。
图像混合器138可混合图像(例如，第一和第二图像、广角图像和摄远图像等)。不同图像(例如，来自不同图像传感器104的图像)可呈现不同曝光和/或色彩平衡。图像混合器138可混合图像梯度和/或可沿图像的边界使得色彩一致。在一些方式中，图像混合器138可执行泊松编辑。举例来说，在一些方式中图像混合器138可执行泊松编辑以用于色彩和强度匹配(例如，求解泊松方程)以混合图像。更多细节关于图5、7、9、14和/或16到17中的一或多个提供。
在一些配置中，图像混合器138可混合减少细节图像(例如，下采样图像)。举例来说，图像混合器138可混合减少细节第一合成图像(例如，初始合成图像)与减少细节第一图像(例如，减少细节广角图像)以产生减少细节混合图像。图像混合器138可将来自第一合成图像的细节添加到基于减少细节混合图像的图像以产生第二合成图像(例如，最终合成图像)。更多细节关于图5、7、9、14和/或16到17中的一或多个提供。
在一些方式中，图像混合器138可下采样第一合成图像以产生减少细节第一合成图像。图像混合器138可下采样第一图像(例如，广角图像)以产生减少细节第一图像(例如，广角图像)。图像混合器138可混合减少细节第一合成图像与减少细节第一图像(例如，减少细节广角图像)(例如，在它们上执行梯度域图像混合)以产生减少细节混合图像。图像混合器138可确定减少细节混合图像与减少细节第一合成图像之间的差异以产生差异图像。图像混合器138可对差异图像进行上采样以产生上采样差异图像。图像混合器138可将来自第一合成图像的细节添加到上采样差异图像以产生第二合成图像。更多细节关于图5、7、9、14和/或16到17中的一或多个提供。
应注意，电子装置102的元件或组件中的一或多个可以组合和/或划分。举例来说，可以组合图像获得器114、图像对准器118、点特征匹配器124、全局图像对准器130、线段特征匹配器116、基于网格的图像对准器120、图像合成器122、缝隙选择器136和/或图像混合器138中的一或多个。另外或替代地，可以将图像获得器114、图像对准器118、点特征匹配器124、全局图像对准器130、线段特征匹配器116、基于网格的图像对准器120、图像合成器122、缝隙选择器136和/或图像混合器138中的一或多个划分成执行其操作的子集的元件或组件。
图2是说明用于对准和合成图像的方法200的一个配置的流程图。举例来说，方法200可通过电子装置102执行。在一些配置中，图2可提供算法(例如，合成算法、融合算法等)的高层级方法，其中步骤206可对应于关于图3描述的一或多个过程和/或其中步骤208可对应于关于图4和5中的一或多个描述的一或多个过程。
电子装置102可获得202第一图像(例如，广角图像)。这可如关于图1所描述般实现。举例来说，电子装置102可俘获广角图像(例如，通过广角镜头)或可从另一装置接收广角图像。
电子装置102可获得204第二图像(例如，摄远图像)。这可如关于图1所描述般实现。举例来说，电子装置102可俘获摄远图像(例如，通过摄远镜头)或从另一装置接收摄远图像。
电子装置102可在第一图像与第二图像之间执行206基于网格的图像对准以产生变形的第二图像(例如，变形的摄远图像)。这可如关于图1所描述般实现。举例来说，电子装置102可计算变形的网格顶点以通过一或多个项(例如，点特征重新投影误差、线段特征重新投影误差和/或形状保持项)最小化目标函数。在一些配置中，执行206基于网格的图像对准可以根据关于图3描述的过程中的一或多个实现。更多细节关于图3、7到8、10到13和/或16到17中的一或多个提供。
电子装置102可基于第一图像(例如，广角图像)和变形的第二图像(例如，变形的摄远图像)执行208合成。这可如关于图1所描述般实现。举例来说，电子装置102可基于广角图像和变形的摄远图像执行图像合成(例如，缝隙选择、合成和/或图像混合)。在一些配置中，执行208合成可以根据关于图4到5中的一或多个描述的过程中的一或多个实现。更多细节关于图4到7、9和/或14到17中的一或多个提供。
图3是说明用于对准图像的方法300的一个配置的流程图。举例来说，方法300可通过电子装置102执行。
电子装置102可获得302第一图像(例如，广角图像)。这可如关于图1到2中的一或多个所描述般实现。举例来说，电子装置102可俘获第一图像(例如，通过广角镜头的广角图像)或可从另一装置接收第一图像(例如，广角图像)。
电子装置102可获得304第二图像(例如，摄远图像)。这可如关于图1到2中的一或多个所描述般实现。举例来说，电子装置102可俘获第二图像(例如，通过摄远镜头的摄远图像)或可从另一装置接收第二图像(例如，摄远图像)。
电子装置102可确定306第一图像(例如，广角图像)和第二图像(例如，摄远图像)的一或多个点特征和/或线段特征。这可如关于图1所描述般实现。举例来说，电子装置102可确定(例如，检测)第一图像和第二图像的一或多个点特征。点特征可以用于图像对准。在一些配置中，电子装置102可确定至少一个第一图像(例如，广角图像)线段特征和至少一个第二图像(例如，摄远图像)线段特征。举例来说，线段特征可以是可选的并且可以用于改进对准质量。在一些方式中，电子装置102可基于第一图像(例如，广角图像)和/或第二图像(例如，摄远图像)确定对应于一或多个线段的一或多个点特征和/或点的一或多个集合(例如，端点和/或网格单元边界相交点)。更多细节关于图7到8、11到12和/或16到17中的一或多个提供。
电子装置102可通过匹配第一图像与第二图像之间的点特征和/或线段特征对准308第二图像(例如，摄远图像)和第一图像(例如，广角图像)。这可如关于图1所描述般实现。举例来说，电子装置102可将第二图像(例如，摄远图像)的点特征和/或线段特征匹配到第一图像(例如，广角图像)的点特征和/或线段特征。举例来说，电子装置102可将第二图像(例如，摄远图像)的一或多个检测到的点特征匹配到第一图像(例如，广角图像)的一或多个点特征。另外或替代地，电子装置102可将至少一个第二图像(例如，摄远图像)线段特征匹配到至少一个第一图像(例如，广角图像)线段特征。举例来说，电子装置102可最小化包含点特征重新投影误差项和/或线段特征重新投影误差项的目标函数。更多细节关于图7到8、10到12和/或16到17中的一或多个提供。
图4是说明用于合成图像的方法400的一个配置的流程图。举例来说，方法400可通过电子装置102执行。
电子装置102可获得402第一图像(例如，广角图像)。这可如关于图1到3中的一或多个所描述般实现。举例来说，电子装置102可俘获第一图像(例如，通过广角镜头的广角图像)或可从另一装置接收第一图像(例如，广角图像)。
电子装置102可获得404第二图像(例如，摄远图像)。这可如关于图1到3中的一或多个所描述般实现。举例来说，电子装置102可俘获第二图像(例如，通过摄远镜头的摄远图像)或可从另一装置接收第二图像(例如，摄远图像)。在一些配置中，电子装置102可使第二图像变形以产生变形的第二图像(例如，变形的摄远图像)。举例来说，电子装置102可通过使第二图像变形将第二图像对准到第一图像，如关于图3所描述。
电子装置102可基于第一图像和第二图像(例如，变形的第二图像、变形的摄远图像等)确定406缝隙。对于共同可见区中的一或多个像素(例如，每个像素)，举例来说，电子装置102可从图像(例如，第一图像、广角图像等)或第二图像(例如，变形的第二图像、变形的摄远图像等)中的一个选择像素。每个所选择的像素可以包含于合成图像(例如，第一合成图像、初始合成图像、最终合成图像等)中。在一些配置中，确定406缝隙可基于有利的偏移项选择第二图像(例如，第二图像数据、第二图像像素、变形的第二图像数据等)。这可如关于图1所描述般实现。举例来说，电子装置102可确定来自图像的像素之间的差异最小的缝隙。更多细节关于图7、9和/或15到17中的一或多个提供。
电子装置102可基于缝隙合成408第一图像(例如，广角图像)和变形的第二图像(例如，变形的摄远图像)。这可如关于图1所描述般实现。举例来说，电子装置102可合并来自变形的第二图像的像素与来自第一图像的像素。举例来说，电子装置102可用第二图像的一或多个像素(或其内插)替代共同可见区中的第一图像的一或多个像素(或其内插)并且可抛弃(例如，第一图像的和/或第二图像的)未选择的像素。合成408第一图像(例如，广角图像)和第二图像(例如，摄远图像)可产生第一合成图像(例如，初始合成图像)。更多细节关于图7、9和/或15到17中的一或多个提供。
图5是说明用于合成图像的额外的方法500的一个配置的流程图。举例来说，方法500可通过电子装置102执行。
电子装置102可获得502基于第一图像(例如，广角图像)和第二图像(例如，摄远图像)的第一合成图像。这可如关于图1到4中的一或多个所描述般实现。举例来说，电子装置102可获得第一图像和第二图像、可对准第一图像和第二图像，和/或可执行缝隙选择和合成以获得502第一合成图像(例如，初始合成图像)。在另一实例中，电子装置102可从另一装置接收第一合成图像。举例来说，另一装置可合成第一图像(例如，广角图像)和第二图像(例如，摄远图像)以产生第一合成图像，所述第一合成图像可以被提供到电子装置102。
电子装置102可基于减少细节(例如，下采样)第一图像(例如，减少细节广角图像)混合504减少细节(例如，下采样)第一合成图像以产生减少细节混合图像。这可如关于图1所描述般实现。举例来说，电子装置102可混合图像梯度和/或可沿第一图像数据与变形的第二图像数据之间的边界(例如，缝隙)使得色彩一致。举例来说，共同可见区内的第一合成图像的梯度(例如，共同可见区中的变形的第二图像的梯度)可以通过边界条件传递到混合图像，所述边界条件是在边界(例如，缝隙)处的强度(例如，色彩)与第一图像(例如，减少细节广角图像)的对应的强度相同。在一些配置中，电子装置102可求解泊松方程以执行混合504。更多细节关于图7、9、14和/或16到17中的一或多个提供。
电子装置102可将来自第一合成图像的细节添加506到基于减少细节混合图像的图像以产生第二合成图像。这可如关于图1所描述般实现。举例来说，添加506来自第一合成图像的细节可恢复可能已经在最初减少第一合成图像的细节以用于混合中丢失的细节。更多细节关于图7、9、14和/或16到17中的一或多个提供。应注意在一些配置中可以在本文中所描述的方法200、300、400、500、1700中的一或多个中实施不同次序的操作。
图6是说明广角图像640、摄远图像642以及广角图像640和摄远图像642的合成图像644的实例的图式。本文中所公开的系统和方法的一些配置的一个目标可以是合成(例如，融合)从广角镜头和摄远镜头俘获的图像对。广角镜头的宽视角可俘获更多图像内容。较高质量(例如，更多细节、更少噪声等)可提供于共同可见区中(例如，类似于光学变焦)。相应地，本文中所公开的系统和方法的一些配置可允许合成(例如，融合)图像而没有由视差和/或曝光/色彩不匹配所引起的可见缝隙。
如图6中所说明，摄远图像642可以包含在广角图像640的视野(fov)内的(例如，是其子集的)fov。相应地，本文中所公开的系统和方法的一些配置可提供覆盖广角图像640的fov的合成图像同时在广角图像640与摄远图像642之间的共同可见区646中提供更多细节和/或更少噪声。
图7是说明可以根据本文中所公开的系统和方法的一些配置实施的元件、组件、块和/或算法的实例的框图(例如，用于无缝图像合成)。具体地说，图7说明图像对准器718和图像合成器722。图像对准器718可以是关于图1描述的图像对准器118的实例。在一些配置中，图像对准器718可以包含基于网格的图像对准器和/或可执行基于网格的图像对准。另外或替代地，图像合成器722可以是关于图1描述的图像合成器122的实例。
如图7中所说明，图像对准(例如，基于网格的图像对准)可在广角图像748(例如，宽摄像机图像)和摄远图像750(例如，远摄像机图像)上执行以产生变形的摄远图像752(例如，变形的远摄像机图像)。在一些配置中，图像对准器118可以根据关于图8、10到13和/或16到17中的一或多个提供的描述实施。变形的摄远图像752和广角图像748可以被提供到图像合成器722。图像合成器722可合成(例如，在它们之间执行无缝图像合成)广角图像748和变形的摄远图像752以产生合成图像754。在一些配置中，图像合成器722可以根据关于图9和/或14到17中的一或多个提供的描述实施。
图8是说明可以根据本文中所公开的系统和方法的一些配置实施的用于图像对准的元件、组件、块和/或算法的实例的框图。具体地说，图8说明点特征匹配器824、全局图像对准器830、线段特征匹配器816和基于网格的图像对准器820。举例来说，关于图8描述的元件、组件、块和/或算法中的一或多个可以在关于图7描述的图像对准器718中实施。另外或替代地，点特征匹配器824、全局图像对准器830、线段特征匹配器816和基于网格的图像对准器820中的一或多个可以是关于图1描述的对应的元件的实例。
广角图像848和摄远图像850可以被提供到点特征匹配器824。点特征匹配器824可在广角图像848(例如，宽摄像机图像)和摄远图像850(例如，远摄像机图像)上执行点特征匹配以产生点特征对应性856。举例来说，特征可以用于视差(例如，“运动”)估计(例如，图像对准)。在一些配置中，匹配点特征的实例可以包含shi-tomasi转角、orb特征。brisk关键点等。在一些配置中，点特征匹配器824可检测广角图像848和摄远图像850中的每一个中的一或多个点特征。在一些方式中，点特征检测可仅在一或多个共同区中(例如，在也在摄远图像850中可见的广角图像848的区中且在整个摄远图像850中，在广角图像848和摄远图像850的重叠fov中等)执行。
点特征匹配器824可确定广角图像848和摄远图像850的点特征之间的点特征对应性856。举例来说，点特征匹配器824可基于特征的描述符确定广角图像848的点特征是否对应于(例如，匹配)摄远图像850的点特征。在一些配置中，特征描述符的实例可以包含关于特征、orb描述符、brisk描述符等的图像贴片的强度。点特征对应性856可指示对应于(例如，匹配)摄远图像850的点特征的广角图像848的点特征。点特征对应性856可以用于执行全局图像对准和/或基于网格的图像对准。
全局图像对准器830可在广角图像848与摄远图像850之间执行全局图像对准。举例来说，全局图像对准器830可将摄远图像850近似地对准到广角图像。全局对准可以包含将图像(例如，摄远图像850)变换(例如，平移、旋转和/或改变视角)到近似匹配另一图像(例如，广角图像848)。在一些方式中，全局图像对准器830可执行全局图像变换(例如，单应性变换、仿射变换等)。举例来说，整个图像(例如，摄远图像850)可以变换(例如，刚性地变换)到近似匹配另一图像(例如，在广角图像848中的共同可见区)。全局图像对准可基于点特征对应性856。举例来说，全局图像对准器830可使用可以经由与通过点特征对应性856指示的点特征的随机样本一致性(ransac)估计的全局单应性模型对准广角图像848和摄远图像850。全局图像对准器830可产生一或多个全局对准图像。
一或多个全局对准图像(例如，全局对准广角图像848的摄远图像850)可以被提供到线段特征匹配器816。举例来说，全局对准图像可以用于线段特征匹配以产生线段特征对应性858。举例来说，线段特征匹配器816可检测在广角图像848和/或摄远图像850中的线段(例如，线段端点和/或沿线段的一或多个点)。对应于广角图像848(例如，全局对准广角图像)的线段特征可被称作广角图像线段特征。对应于摄远图像850(例如，全局对准摄远图像)的线段特征可被称作摄远图像线段特征。在一些配置中，线段特征匹配器816可利用和/或包含线段检测器(lsd)以用于检测在广角图像848和/或摄远图像850(例如，全局对准和摄远图像850以及广角图像848)中的线段特征。另外或替代地，在一些方式中线段特征匹配器816可根据线带描述符(lbd)指示和/或描述线段特征。
线段特征匹配器816可匹配图像之间的线段特征以产生线段特征对应性858。举例来说，线段特征匹配器816可确定对应于(例如，匹配)摄远图像线段特征的广角图像线段特征。线段特征对应性858可指示对应于(例如，匹配)摄远图像850的线段特征的广角图像848的线段特征。线段特征对应性858可以被提供到基于网格的图像对准器820。线段特征匹配可有助于对准低纹理区(例如，具有过于少的点特征的区)。另外或替代地，这可有助于在变形之后维持直线。在一些配置中，图像可以使用全局单应性模型(例如，经由具有点特征的ransac估计的)对准以增加线段的匹配成功率。
线段特征对应性858可以由基于网格的图像对准器820利用以用于执行基于网格的图像对准。另外或替代地，基于网格的图像对准器820可利用点特征对应性856以用于执行基于网格的图像对准。举例来说，电子装置102可计算变形的网格顶点以最小化在方程(1)中表达的函数。
在方程(1)中，
图9是说明可以根据本文中所公开的系统和方法的一些配置实施的用于图像合成的元件、组件、块和/或算法的实例的框图。具体地说，图9说明缝隙选择器936和梯度域图像混合器938。举例来说，关于图9描述的元件、组件、块和/或算法中的一或多个可以在关于图7描述的图像合成器722中实施。另外或替代地，缝隙选择器936和图像混合器938中的一或多个可以是关于图1描述的对应的元件的实例。
广角图像948和变形的摄远图像952可以被提供到缝隙选择器936。缝隙选择器936可基于广角图像948和变形的摄远图像952确定(例如，选择)缝隙。在一些配置中，可如下执行缝隙确定(例如，最佳缝隙选择)。在一些情况下即使在对准之后(例如，与基于网格的模型(例如，视差模型、运动模型等))图像可仍然未对准。缝隙选择器936可选择缝隙(例如，合成边界、“最佳”合成边界等)，因此图像沿边界很好地对准。
在一些配置中，缝隙选择器936可根据方程(2)确定(例如，寻找)用于共同可见区中的每个像素的标记。
在方程(2)中，cs是用于减小(例如，最小化)的目标函数，x和y是一对相邻像素，n是图像中的相邻像素的所有对的集合，i0是广角图像，i1是摄远图像(例如，变形的摄远图像)，l是将每个像素分配到广角图像或摄远图像(例如，变形的摄远图像)的二进制标记，并且λ是可调谐的权重。根据方程(2)中的成对项
不连续或缝隙边界可通常在低频区中与在高频区中相比是更显著的。在一些配置中，方程(2)中的成对项(例如，目标函数)可以是修改到方程(3)的以惩罚(例如，更重地惩罚)穿过低频区的缝隙。
在一些配置中，曲线优化问题可以通过最大流求解。举例来说，在一些方式中等式(2)和/或(3)可以通过最大流求解。
缝隙选择器936可基于所选择的缝隙确定(例如，产生)第一合成图像960。举例来说，缝隙选择器936可抛弃共同可见区中的未经选择的像素。在一些方式中，可以将共同可见区外部的广角图像的像素用作第一合成图像的外部部分并且可以将共同可见区内的所选择的像素(例如，来自广角图像948或变形的摄远图像952的像素)用作第一合成图像960的内部部分。可以丢弃其它像素。举例来说，共同可见区中的未经选择的广角图像948像素可被丢弃且由来自变形的摄远图像952的所选择的像素替换以产生第一合成图像960。
第一合成图像960可以被提供到图像混合器938。图像混合器938可在第一合成图像960上执行图像混合以产生第二(例如，最终)合成图像954。两个图像(例如，广角图像948和变形的摄远图像952)可具有非常不同的曝光和/或色彩平衡。在一些方式中，图像混合器938可执行梯度域图像混合。举例来说，图像混合器938可仅混合图像梯度并且沿边界(例如，缝隙)使得色彩一致。在一些配置中，梯度域图像混合可根据方程(4)执行。
在方程(4)中，i输出表示图像混合器938输出图像(例如，第二合成图像954、最终融合图像等)，ω表示共同可见区(例如，其中利用变形的摄远图像952的区)，▽i输出表示输出图像的梯度，▽i输入表示图像混合器938输入图像(例如，第一合成图像960、在缝隙选择之后的初始融合图像等)的梯度，并且i广表示广角图像948。边界条件(例如，
图10是说明基于网格的图像对准的实例的图式。具体地说，图10说明网格网状物1060(例如，均匀的网格网状物)和变形的网格网状物1062的实例。基于网格的图像对准可在本文中所公开的系统和方法的一些配置中执行。基于网格的图像对准可基于(例如，可利用)基于网格的图像变形模型。在处理两个图像之间的视差中基于网格的图像变形模型可以是与全局图像变换(例如，单应性、仿射等)相比更灵活的。基于网格的图像对准可以包含限定图像(例如，摄远图像)中的一个上的网状网格1060(例如，均匀的网状网格)并且使用在其它图像(例如，广角图像)中的所有网格顶点的对应的坐标参数化两个图像之间的位移(例如，“运动”)。
图11是说明可以在本文中所公开的系统和方法的一些配置中实施的用于基于网格的图像对准的一些方式的更多细节的图式。具体地说，图11说明包含网格顶点的网格网状物1160(例如，均匀的网格网状物)和包含变形的网格顶点的变形的网格网状物1162。为了对准图像，变形的网格顶点1168可以经计算以最小化函数(例如，目标函数)。可以经最小化以用于确定变形的网格顶点的函数的一个实例提供于方程(1)中。
如本文中所描述，函数可以包含一或多个点特征的重新投影误差(例如，
根据方程(5)，p表示一个图像中的点特征的坐标，
在图11中所说明的实例中，图像点p1166包封在具有顶点1164的网格单元中。对应的变形的图像点
图12是说明用于基于网格的图像对准的一些方式的更多细节的图式。具体地说，图12说明网格网状物1260(例如，均匀的网格网状物)和变形的网格网状物1162。为了对准图像，变形的网格网状物1262可以经计算以最小化函数(例如，目标函数)。可以经最小化以用于确定变形的网格网状物的函数的一个实例提供于方程(1)中。
如本文中所描述，函数可以包含一或多个线特征的重新投影误差(例如，
根据方程(6)，{线k}表示线上的点的集合(例如，包含两个端点和与网格单元边界的任何相交点)，
在图12中说明的实例中，线1272具有包含端点和与网格单元边界的相交点的点1274的集合。对应的线
图13是说明用于基于网格的图像对准的一些方式的更多细节的图式。具体地说，图13说明用于形状保持项的顶点1378a-c的实例。为了对准图像，变形的网格网状物可以经计算以最小化函数(例如，目标函数)。可以经最小化以用于确定变形的网格网状物的函数的一个实例提供于方程(1)中。
如本文中所描述，函数可以包含形状保持项(例如，
根据方程(7)，
在图13中所说明的实例中，在变换网格单元以保持形状中可以考虑三个顶点
图14是说明可以根据本文中所公开的系统和方法的一些配置实施的用于图像混合的元件、组件、块和/或算法的实例的框图。具体地说，图14说明下采样器1480、梯度域图像混合器1486、差异确定器1490、上采样器1494和加法器1498。举例来说，关于图14描述的元件、组件、块和/或算法中的一或多个可以在关于图7描述的图像合成器722中实施。另外或替代地，下采样器1480、梯度域图像混合器1486、差异确定器1490、上采样器1494和加法器1498中的一或多个可以在关于图1和图9描述的图像混合器138中的一或多个中实施。举例来说，电子装置102可执行梯度域图像混合。
如关于图9所描述，两个图像可具有非常不同的曝光和/或色彩平衡。相应地，可根据方程(4)执行混合。应注意方程(4)说明泊松方程。泊松方程可以是计算上相对复杂的和/或求解缓慢的。可以观察到由曝光和/或色彩平衡所引起的差异可在空间域中缓慢改变。相应地，在一些方式中可在减少细节(例如，缩小大小、下采样等)图像上执行梯度域图像混合。
在图14中所说明的实例中，混合可以应用于一或多个下采样图像并且上采样差异可以加回。细节可以加回到上采样图像。具体地说，第一合成图像1460可以被提供到下采样器1480并且被提供到加法器1498。下采样器1480可对第一合成图像1460进行下采样以产生下采样第一合成图像1482(例如，减少细节图像)。举例来说，下采样器1480可移除图像数据的一部分(例如，可仅保留图像数据、像素的部分或组分等)。下采样第一合成图像1482可以被提供到梯度域图像混合器1486并且被提供到差异确定器1490。
广角图像1448也可以被提供到下采样器1480。下采样器1480可对广角图像1448进行下采样以产生下采样广角图像1484(例如，减少细节图像)。举例来说，下采样器1480可移除图像数据的一部分(例如，可仅保留图像数据、像素的部分或组分等)。下采样广角图像1484可以被提供到梯度域图像混合器1486。
梯度域图像混合器1486可基于下采样第一合成图像1482和下采样广角图像1484执行梯度域图像混合。举例来说，梯度域图像混合器1486可根据方程(4)执行梯度域图像混合。梯度域图像混合器1486可产生下采样混合图像1488，所述下采样混合图像可以被提供到差异确定器1490。
差异确定器1490可基于下采样第一合成图像1482和下采样混合图像1488确定差异图像1492(例如，可减去图像)。差异确定器1490可将差异图像1492提供到上采样器1494。
上采样器1494可对差异图像1492进行上采样。举例来说，上采样器1494可将图像数据(例如，像素数据)添加到差异图像1492。在一些配置中，上采样器1494可将复制值或其它值插入到差异图像1492。上采样器1494可产生上采样差异图像1496，其可以被提供到加法器1498。在一些方式中，上采样可将差异图像的大小增加到与第一合成图像1460相同的大小。
加法器1498可将细节添加到上采样差异图像1496。举例来说，加法器1498可将第一合成图像1460添加到上采样差异图像1496。将第一合成图像1460添加到上采样差异图像1496可产生第二(例如，最终)合成图像1454。在减少细节图像上执行图像混合(例如，梯度域图像混合)可有助于减小处理复杂度和/或处理延迟。举例来说，在减少细节图像上执行图像混合(例如，梯度域图像混合)可增加处理效率和/或速度。
图15是根据本文中所公开的系统和方法合成广角图像和摄远图像的实例。具体地说，图15说明在合成图像a1501a中的共同可见区中将变形的摄远图像1507直接地粘贴到广角图像1505上。如可以在合成图像a1501a中观察到，由于在电话按钮上的未对准且由于不匹配的曝光和色彩，广角图像与变形的摄远图像之间的边界是显而易见的。
根据本文中所公开的系统和方法，缝隙1503可以确定为可有助于避免如由合成图像b1501b说明的图像之间的显而易见的未对准。具体地说，合成图像b1501b说明将变形的摄远图像粘贴到由改进的缝隙1503围绕的区。
合成图像c1501c说明通过梯度域图像混合将变形的摄远图像的色彩匹配到广角图像的色彩的实例。如可以在合成图像c1501c中观察到，在摄远图像与广角图像之间不存在显而易见的缝隙。摄远图像也可以促进广角图像的更多细节。
图16是说明图像对准器1618和图像合成器1622的更具体实例的框图。关于图16所说明的元件、组件和/或算法中的一或多个可以根据关于图1到15中的一或多个描述的一或多个对应的组件实施。
图像对准器1618可以包含点特征匹配器1624、全局图像对准器1630、线段特征匹配器1616和/或基于网格的图像对准器1620。广角图像1648可以被提供到点特征匹配器1624、提供到缝隙选择器1636和/或提供到下采样器1680。摄远图像1650可以被提供到点特征匹配器1624，其可基于摄远图像1650和广角图像1648产生点特征对应性1656。点特征对应性1656可以被提供到全局图像对准器1630和基于网格的图像对准器1620。
全局图像对准器1630可基于点特征对应性1656执行全局图像对准(在摄远图像1650与广角图像1648之间)。线段特征匹配器1616可基于全局图像对准产生线段特征对应性1658。线段特征对应性1658可以被提供到基于网格的图像对准器1620。基于网格的图像对准器1620可基于线段特征对应性1658和点特征对应性1656产生变形的摄远图像1652。
图像合成器1622可以包含缝隙选择器1636和/或图像混合器1638。图像混合器1638可以包含下采样器1680、梯度域图像混合器1686、差异确定器1690、上采样器1694和加法器1698。
变形的摄远图像1652可以被提供到缝隙选择器1636，其可执行缝隙选择并产生第一合成图像1660。第一合成图像1660可以被提供到下采样器1680。下采样器1680可对广角图像1648和第一合成图像1660进行下采样以产生减少细节广角图像1684和减少细节第一合成图像1682，其可以被提供到梯度域图像混合器1686。减少细节第一合成图像1682也可以被提供到差异确定器1690。
梯度域图像混合器1686可基于减少细节广角图像1684和减少细节第一合成图像1682产生减少细节混合图像1688。减少细节混合图像可以被提供到差异确定器1690。差异确定器1690可基于减少细节混合图像1688和减少细节第一合成图像1682产生差异图像1692。差异图像1692可以被提供到上采样器1694，其可产生上采样差异图像1696。上采样差异图像1696可以被提供到加法器1698。加法器1698可基于上采样差异图像1696和第一合成图像1660产生第二合成图像1654。
图17是说明用于合成摄远图像和广角图像的方法1700的一个配置的流程图。关于图17所描述的步骤、过程、功能等中的一或多个可如关于图1到16中的一或多个所描述的执行。举例来说，方法1700可通过关于图1所描述的电子装置102和/或通过关于图16所描述的一或多个元件、组件和/或算法执行。
电子装置102可获得1702广角图像(例如，一个广角图像或一系列广角图像(例如，广角视频))。电子装置102可获得1704摄远图像(例如，一个摄远图像或一系列摄远图像(例如，摄远视频))。
电子装置102可基于广角图像和摄远图像执行1706图像对准以产生一或多个变形的摄远图像。电子装置102可确定1708广角图像与变形的摄远图像之间的缝隙(例如，在每对广角和摄远图像之间)。
电子装置102可对广角图像和第一合成图像进行下采样1712以产生减少细节广角图像和减少细节第一合成图像(例如，一系列减少细节广角图像和减少细节第一合成图像)。电子装置102可混合1714减少细节第一合成图像与减少细节广角图像以产生一或多个减少细节混合图像。
电子装置102可确定1716减少细节混合图像与第一合成图像之间的差异图像(例如，在每对减少细节混合图像与第一合成图像之间)。电子装置102可对差异图像进行上采样1718以产生一或多个上采样差异图像。电子装置102可将细节从第一合成图像添加1720到上采样差异图像以产生一或多个第二合成图像。
图18说明可包含于电子装置1802内的某些组件。电子装置1802可以是关于图1所描述的电子装置102的实例和/或可根据所述电子装置实施。电子装置1802可以是摄像机、视频摄录像机、数码摄像机、蜂窝式电话、智能电话、计算机(例如，桌上型计算机、膝上型计算机等)、平板装置、媒体播放器、电视、汽车、个人摄像机、运动摄像机、监控摄像机、安装式摄像机、连接式摄像机、机器人、飞机、无人机、无人驾驶飞行器(uav)、医疗保健装备、游戏控制台、个人数字助理(pda)、机顶盒等(或可以包含于以上各项内)。电子装置1802包含处理器1875。处理器1875可以是通用单或多芯片微处理器(例如，arm)、专用微处理器(例如，数字信号处理器(dsp))、微控制器、可编程门阵列等。处理器1875可被称作中央处理单元(cpu)。虽然在电子装置1802中示出了仅单个处理器1875，但是在替代配置中，可使用处理器的组合(例如，arm和dsp)。
电子装置1802还包含存储器1855。存储器1855可以是能够存储电子信息的任何电子组件。存储器1855可实施为随机存取存储器(ram)、只读存储器(rom)、磁盘存储媒体、光学存储媒体、ram中的快闪存储器装置、随处理器包含的机载存储器、eprom存储器、eeprom存储器、寄存器等，包含其组合。
数据1859a和指令1857a可存储于存储器1855中。指令1857a可由处理器1875执行以实施本文中所描述的方法200、300、400、500、1700中的一或多个。执行指令1857a可涉及使用存储于存储器1855中的数据1859a。当处理器1875执行指令1857时，指令1857b的各种部分可加载到处理器1875上，并且数据1859b的各种片段可加载到处理器1875上。
电子装置1802还可包含发射器1863和接收器1865，以允许将信号发射到电子装置1802和从电子装置1802接收信号。发射器1863和接收器1865可统称为收发器1869。一或多个天线1867a-b可电耦合到收发器1869。电子装置1802还可包含(未示出)多个发射器、多个接收器、多个收发器和/或额外天线。
电子装置1802可包含数字信号处理器(dsp)1871。电子装置1802还可包含通信接口1873。通信接口1873可启用一或多个种类的输入和/或输出。举例来说，通信接口1873可包含用于将其它装置链接到电子装置1802的一或多个端口和/或通信装置。另外或替代地，通信接口1873可包含一或多个其它接口(例如，触摸屏、小键盘、键盘、麦克风、摄像机等)。举例来说，通信接口1873可使得用户能够与电子装置1802交互。
电子装置1802的各种组件可通过一或多条总线耦合在一起，所述总线可包含电力总线、控制信号总线、状态信号总线、数据总线等。为清楚起见，各种总线在图18中说明为总线系统1861。
术语“确定”涵盖多种多样的动作，且因此“确定”可以包含计算、运算、处理、导出、调查、查找(例如，在表、数据库或另一数据结构中查找)、查实及类似者。并且，“确定”可包含接收(例如，接收信息)、存取(例如，存取存储器中的数据)及类似者。并且，“确定”可包含解析、选择、挑选、建立及类似者。
除非另外明确地规定，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述“仅基于”和“基于至少”两者。
术语“处理器”应广义上解释为涵盖通用处理器、中央处理单元(cpu)、微处理器、数字信号处理器(dsp)、控制器、微控制器、状态机等。在一些情况下，“处理器”可以指专用集成电路(asic)、可编程逻辑装置(pld)、现场可编程门阵列(fpga)等。术语“处理器”可以指处理装置的组合，例如，dsp和微处理器的组合、多个微处理器、一或多个微处理器结合dsp核心，或任何其它此类配置。
术语“存储器”应当广义地解释为涵盖能够存储电子信息的任何电子组件。术语存储器可以指各种类型的处理器可读媒体，例如，随机存取存储器(ram)、只读存储器(rom)、非易失性随机存取存储器(nvram)、可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)、电可擦除prom(eeprom)、快闪存储器、磁性或光学数据存储装置、寄存器等。如果处理器可以从存储器读取信息和/或将信息写入到存储器，那么存储器被称为与处理器进行电子通信。与处理器成一体的存储器与处理器电子通信。
术语“指令”和“代码”应被广义地解释为包含任何类型的计算机可读语句。举例来说，术语“指令”和“代码”可以指一或多个程序(program)、例程、子例程、函数、过程(procedure)等。“指令”和“代码”可以包括单个计算机可读语句或许多计算机可读语句。
本文中所描述的功能可在通过硬件执行的软件或固件中实施。所述功能可存储为计算机可读媒体上的一或多个指令。术语“计算机可读媒体”或“计算机程序产品”是指可由计算机或处理器存取的任何有形的存储媒体。借助于实例而非限制，计算机可读媒体可包括ram、rom、eeprom、cd-rom或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于携带或存储呈指令或数据结构的形式的所期望的程序代码且可由计算机存取的任何其它媒体。如本文中所使用的磁盘和光盘包含压缩光盘(cd)、激光光盘、光学光盘、数字多功能光盘(dvd)、软盘和
还可经由发射媒体发射软件或指令。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(dsl)或无线技术(例如，红外线、无线电及微波)从网站、服务器或其它远程源发射软件，那么同轴电缆、光纤电缆、双绞线、dsl或无线技术(例如，红外线、无线电及微波)包含在发射媒体的定义中。
本文中所公开的方法包括用于实现所描述方法的一或多个步骤或动作。在不脱离权利要求书的范围的情况下，方法步骤和/或动作可以彼此互换。换句话说，除非正在描述的方法的适当操作需要步骤或动作的特定次序，否则在不脱离权利要求书的范围的情况下可修改特定步骤和/或动作的次序和/或使用。
另外，应了解用于执行本文中所描述的方法和技术的模块和/或其它适当装置可以下载和/或以其它方式通过装置获得。举例来说，装置可耦合到服务器以促进用于执行本文中所描述的方法的装置的传递。替代地，本文中所描述的各种方法可以经由存储装置(例如，随机存取存储器(ram)、只读存储器(rom)、例如压缩光盘(cd)或软盘的物理存储媒体等)提供，使得在将存储装置耦合或提供到装置之后装置可获得各种方法。
应理解，权利要求书不限于上文所说明的精确配置和组件。在不脱离权利要求书的范围的情况下，可对本文中所描述的系统、方法和设备的布置、操作和细节作出各种修改、改变和变化。
- 还没有人留言评论。精彩留言会获得点赞！