用于拼接图像的方法和装置以及用于组合图像的方法

用于拼接图像的方法和装置以及用于组合图像的方法
【专利摘要】本公开涉及用于拼接多个图像的方法和装置以及用于组合多个图像的方法。根据某些实施例，该方法可包括对多个图像按顺序进行排序，以使得：相邻图像至少部分彼此重叠；并且第一图像和最后图像至少部分彼此重叠。该方法还可以包括确定图像的重叠区域的平均像素值。该方法还包括确定图像的一致性因子。该方法还可以包括通过将平均像素值乘以相应的一致性因子来生成修正的平均像素值。该方法还可以包括调整一致性因子以减小重叠区域中的修正的平均像素值的差。该方法可以进一步包括基于相应的一致性因子来调整图像的像素值。
【专利说明】
用于拼接图像的方法和装置以及用于组合图像的方法
技术领域
[0001] 本公开总体上涉及图像处理技术，具体涉及用于在多个图像间全局地调整亮度 和/或色度一致性的方法和系统。
【背景技术】
[0002] 图像拼接在许多应用领域日益受到关注，例如，计算机视觉、数字地图、卫星成像、 医学成像以及甚至业余摄影领域。例如，为了创造身临其境的虚拟现实体验，可使用多个相 机来捕捉覆盖了场景的不同部分的源图像。这些源图像然后被"拼接"，即接合在一起，以形 成360度的全景图，其可用在例如交互式全景电影、建筑漫游、多节点电影的应用中，以及与 使用获取自真实世界的图像来生成虚拟3D环境关联的其他应用。
[0003] 由于用于全景图拼接的源图像可能由不同成像装置在不同时间和/或在不同光照 条件下生成，对于全景图拼接来说众所周知的挑战是源图像的图像参数的不一致。为了解 决这个问题，传统的方法逐对地调整两个相邻源图像的对比度，以确保重叠区域中的亮度 和/或颜色直方图是匹配的。由于累积误差，该方法通常能实现局部一致性而不是全局一致 性。例如，当使用该方法拼接两个以上源图像时，最后拼接的源图像和第一源图像仍会有显 著不一致的亮度/色度。这个结果在一些应用中是可以接受的，例如移动电话应用中，其中 所生成的全景图像经常有大于常规视角但小于360度的视角。然而，为了生成高质量的全景 图和/或360度的全景图（即，第一和最后源图像所示的视图实际上重叠），期望第一和最后 源图像具有一致的亮度和色度。因此，需要全局亮度/色度调整方法。
[0004] 所公开的方法和系统解决了以上列出的一个以上问题。

【发明内容】

[0005] 与本公开的一个实施例一致，提供了一种用于拼接多个图像的方法，该图像包括 具有像素值的像素。该方法可包括对多个图像按顺序进行排序，以使得:相邻图像至少部分 彼此重叠；并且第一图像和最后图像至少部分彼此重叠。该方法还可包括确定图像的重叠 区域的平均像素值。该方法还可包括确定图像的一致性因子。该方法还包括通过将平均像 素值乘以相应的一致性因子来生成修正的平均像素值。该方法还可包括调整一致性因子以 减小重叠区域中的修正的平均像素值的差。该方法可进一步包括基于相应的一致性因子来 调整图像的像素值。
[0006] 与本公开的另一个实施例一致，提供了一种用于组合多个图像的方法。该方法可 包括获得η个图像，η为整数且η多2。该方法还包括识别图像中的第一区域和第二区域。该方 法还可包括对图像按顺序进行排序。该方法还包括在η个图像中将第i图像的第二区域与第 i+Ι图像的第一区域进行配对，i为整数且n>i多1。该方法还可包括将第η图像的第二区域与 第一图像的第一区域进行配对。该方法还可包括确定第一区域和第二区域中的平均像素 值。该方法还包括确定用于图像的一致性因子。该方法还可包括通过将平均像素值乘以相 应的一致性因子来生成修正的平均像素值。该方法还可包括调整一致性因子以减小配对区 域中的修正的平均像素值的差。该方法可进一步包括基于相应的一致性因子来调整图像的 像素值。
[0007] 与本公开的另一个实施例一致，提供了一种用于拼接多个图像的装置，该图像包 括具有像素值的像素。该装置可包括用于存储指令的存储器。该装置还可包括处理器，其配 置为执行指令以：对多个图像按顺序进行排序，以使得相邻图像至少部分彼此重叠并且第 一图像和最后图像至少部分彼此重叠;确定图像的重叠区域的平均像素值;确定图像的一 致性因子;通过将平均像素值乘以相应的一致性因子来生成修正的平均像素值;调整一致 性因子以减小重叠区域中的修正的平均像素值的差;基于相应的一致性因子来调整图像的 像素值。
[0008] 与本公开的又一实施例一致，提供了一种非暂时性计算机可读存储介质，其存储 指令，当装置的处理器执行该指令时使得该装置执行用于拼接多个图像的方法，该图像包 括具有像素值的像素。该方法可包括对多个图像按顺序进行排序，以使得:相邻图像至少部 分彼此重叠；并且第一图像和最后图像至少部分彼此重叠。该方法还可包括确定图像的重 叠区域的平均像素值。该方法还包括确定用于图像的一致性因子。该方法还可包括通过将 平均像素值乘以相应的一致性因子来生成修正的平均像素值。该方法还可包括调整一致性 因子以减小重叠区域中的修正的平均像素值的差。该方法可进一步包括基于相应的一致性 因子来调整图像的像素值。
[0009] 要了解的是前述的总体描述和以下详细描述均仅是示例性且说明性的，不对所要 求保护的本发明构成限制。
【附图说明】
[0010] 这里描述的方法、系统和/或程序进一步用示例性实施例进行描述。参照附图来具 体描述这些示例性实施例。这些实施例是非限制性的示例性实施例，其中类似的附图标记 在附图的多个视图中表示类似的结构。
[0011] 图1为根据示例性实施例的图示了用于创建全景图像的成像系统的示意图。
[0012] 图2为根据示例性实施例的使用在图1所示的成像系统中的控制器的框图。
[0013] 图3为根据示例性实施例的用于拼接多个图像的方法的流程图。
[0014]图4为根据示例性实施例的图示了图3示出的方法的实施的示意图。
[0015] 图5为根据示例性实施例的用于确定一致性因子的方法的流程图。
[0016] 图6A是图示出未使用所公开的方法实现的结果的360度全景图像。
[0017]图6B是图示出使用所公开的方法实现的结果的360度全景图像。
【具体实施方式】
[0018] 现在将详细参照所公开的实施例，其例子图示在附图中。只要是方便之处，将在整 个附图中使用相同的附图标记来指代相同或类似的部件。
[0019] 本公开的特征和特性，连同操作方法和相关的结构元件以及部件组合的功能和制 造的经济性，将在考虑如下参照附图的描述后变得显而易见，所有附图构成本说明书的一 部分。然而，应当理解的是，附图仅仅是用于图示和描述的目的，而不旨在对本发明的界限 进行限定。在说明书和权利要求中使用的单数形式的"一"和"该"包括复数指称，除非上下 文另行明确指明。
[0020] 图1为根据示例性实施例的图示了用于创建全景图像的成像系统100的示意图。参 照图1，系统100可包括相机装配件(r ig) 110、一个以上相机120 (例如，图1中示出的相机 120a、120b、...和120h)和控制器130。除非另有注明，否则术语"相机120"应理解成意为相 机120a-120h中的任一个或全部。
[0021] 相机装配件110可以是用于安装相机120的结构。相机装配件110可以构建为形成 特别设计的相机路径。工业标准捆绑和夹紧装置可结合多种定制装配方案使用，以允许定 位、高度和相机移动方面的较大灵活性。相机装配件110可包括复杂的结构，其包括多种直 径的圆和曲线、直轨道、斜/倾角、高架装配(overhead rigging)等。相机装配件110还可以 是简单的直轨道或曲轨道。例如，在360度全景摄影中，相机装配件110可以形成360度的圆 形以对齐相机120。
[0022] 相机120可以是包括下列任一项的图像捕捉装置:光学装置、透镜、电荷耦合器件 (CCD)、互补金属氧化物半导体(CMOS)检测器阵列和驱动电路、以及用于发送和接收多种波 长的光的光学部件、电子部件和控制电路的其他排布。例如，相机120可以是运动型相机、数 字相机、网络相机或数字单镜头反光(DSLR)相机。相机120还可以嵌入其他装置中，例如嵌 入智能手机、计算机、个人数字助理(PDA)、监视装置、视频游戏控制台等。
[0023] 相机120可以配置为以多种方式捕捉一个以上图像。例如，相机120可以配置为，通 过程序、通过硬件设置或其组合而在用户的启动下捕捉图像。在一些实施例中，当相机120 配置为通过软件或硬件程序或通过硬件设置来捕捉图像时，可在一个以上预定条件下执行 图像捕捉。例如，可由控制器120控制多个相机120来同时捕捉图像或以有序的方式捕捉图 像。可选地或另外地，一组预定条件，例如感测到移动对象，可触发相机120捕捉图像。在一 些实施例中，捕捉图像可包括将相机120置于能够捕捉一个以上图像的模式或设定。这里所 用的"图像"可以指部分或整体的静态或动态的视觉表示，其包括但不限于照片、图片、图 形、视频、全息图、虚拟现实图像、增强现实图像、其他视觉表示或其组合。
[0024] 相机120可包括适合于全息图创建的多种特性。在一个实施例中，相机120可使用 能够以加强的颜色和对比度来捕捉高分辨率(例如，4608x3456)照片的16MP(兆像素)光传 感器。相机120还可具有宽视场，例如155度视角。相机120可进一步配置为以多种分辨率和 帧率记录视频，例如30fps帧率下1296p的分辨率，以及30fps或60fps帧率下1080p的分辨 率。
[0025]如图1所示，在一个实施例中，八个相机（即相机120a_120h)均匀地分开并安装在 相机装配件110上以形成圆形。八个相机120可协作实现360度全景覆盖。例如，由相机120同 时或在不同时点获取的源图像可以拼接在一起以生成360度的全景图像。
[0026] 虽然图1示出了系统100包括八个相机120,但能想到还可使用更多个或更少个相 机或甚至单个相机120来创建全景图像。例如，单个相机120可以改变其位置和/或取向来在 不同时点捕捉多个源图像。这些原图像然后可被拼接在一起以形成全景图像。
[0027]然而，不论待拼接的源图像是由不同相机同时捕捉的还是由同一相机在不同时点 捕捉的，由于每个源图像是在不同条件下取得的，不同的源图像会有不同的亮度和/或色 度。例如，由于图像捕捉参数是根据实时成像条件而对每个源图像在相机120中自动设定 的，照度等级的变化会引起待拼接的相邻源图像中的不同的曝光等级，而多种颜色的物体 的不同分布会影响白平衡设定，产生的图像中不同的源图像中的同一物体看起来显得不 同，不是亮了就是暗了，或甚至具有不同的表观颜色。
[0028] 例如，如图1所示，相机120a_120h可用来在光源140(例如闪光单元或太阳）下同时 分别捕捉源图像1^(未示出）。源图像Ma-Mh可然后相继拼接以创建360度全景图像，其中M a 是第一源图像，Mh是最后源图像。相机120a和120b可能工作在逆光条件下使得源图像1和施 将物体显示得更黑，而相机120e和120f工作在反光条件下使得源图像M e和Mf将同一物体显 示得更亮。因此，在作为结果的全景图中，虽然源图像(Ma，M b)并未紧邻源图像Me、Mf，但(Ma， M b)和(Me，Mf)之间的亮度和/或色度的不一致会显著到足以引起观看者的注意。此外，在360 度全景图中，第一源图像Ma和最后一个源图像Mf也需要拼接在一起，因此M4PM b之间任何亮 度和/或色度的不一致也会容易被注意到。
[0029]为了处理上述问题，本公开提供了一种在形成全景图的源图像的一些或全部之间 获得亮度和/或色度一致性的全局调整方法。即，所公开的方法不仅确保两个相邻源图像之 间的局部亮度和/或色度一致性，而且确保非相邻的源图像之中的全局亮度和/或色度一致 性，而且特别是在拼接次序中第一与最后源图像之间的一致性。
[0030] 在示例性实施例中，相机120可将捕捉的源图像发送至控制器130以进一步处理， 包括使用所公开的方法创建全景图像。控制器130可以是为全景图创建而专门设计的独立 装置。备选地，控制器130可以是更大装置(例如计算机）的一部分。而且，控制器130可以通 过硬件、软件或硬件和软件的组合来实施。控制器130可以用有线和/或无线的方式连接至 相机120,例如通过通信电缆和/或WiFi网络。控制器130可以发送控制信号给相机120以控 制相机操作，包括捕捉源图像。控制器130还可以从相机120接收捕捉的源图像和/或视频 帧，并将这些源图像拼接成全景图像。
[0031] 图2为根据示例性实施例的控制器130的框图。例如，控制器130可用在成像系统 100中。参照图2,控制器130可包括输入/输出（I/O)接口 132、处理单元134、存储单元136和/ 或存储器模块138。
[0032] I/O接口 132可配置为在控制器130和多种装置之间进行双向通信。例如，如图2所 示，I/O接口 132可发送和接收给相机120的操作信号，从相机120接收捕捉的图像和/或视频 帧。I/O接口 132可通过通信电缆、网络或其他通信介质发送和接收数据。网络可以是可允许 传送和接收数据的任何类型的有线或无线网络。例如，网络可以是全国性蜂窝网络、局域无 线网络(例如蓝牙?SWiFi)或有线网络。
[0033] I/O接口 132可配置为将其从相机120接收的图像数据合并，并将合并的图像数据 转发给处理单元134。处理单元134可包括任何合适类型的通用或专用微处理器、数字信号 处理器或微处理器。处理单元134可配置为用来创建全景图像的单独的处理器模块。备选 地，处理单元134可配置为共享处理器模块，用于执行与全景图创建无关的其他功能。处理 单元134可执行计算机指令(程序代码)并根据这里描述的技术来执行功能。计算机指令包 括例程、程序、对象、组件、数据结构、过程、模块和函数。
[0034]存储单元136和/或存储器模块138中的每个可包括一个以上配置为存储用于创建 全景图像的指令和/或数据的存储器。存储器可以使用任意类型的易失性或非易失性存储 装置或其组合来实施，例如静态随机存取存储器（SRAM)、电可擦除可编程只读存储器 (EEPR0M)、可擦除可编程只读存储器（EPROM)、可编程只读存储器（PR0M)、只读存储器 (ROM)、磁存储器、闪存、磁盘或光盘。
[0035]存储单元136和/或存储器模块138可配置为存储计算机指令和数据，其可由处理 单元134使用来执行与本公开一致的功能。例如，存储单元136和/或存储器模块138可存储 待拼接的源图像和创建的全景图像。作为另一个例子，存储单元136和/或存储器模块138可 存储计算机指令，其用于执行所公开的在全景图创建期间全局地调整亮度和/或色度的方 法。
[0036]图3为根据示例性实施例的用于拼接多个图像的方法300的流程图。例如，方法300 可在控制器130中执行。参照图3，方法300可包括以下步骤。
[0037] 在步骤310中，控制器130获得η个源图像并将η个源图像按顺序进行排序。这里，η 为整数且η>2。
[0038] 每个已排序的源图像可部分地与其相邻的源图像重叠。例如，在η多3的情况下，当 i为整数且n>i多2时，第i源图像可具有与第（i-Ι)源图像的至少一部分重叠的第一区域和 与第（i + Ι)源图像的至少一部分重叠的第二区域。此外，在360度全景图创建中，第η源图像 还可与第一源图像重叠。如下所具体描述的，控制器130可通过在重叠区域进行合并来拼接 这η个源图像。
[0039] 在上述关于图1的例子中，控制器130可获得8个源图像1_1^并将它们按Ma、Mb、... 和M h的次序排序。每个源图像可包括分别与两个相邻源图像重叠的两个区域。由于Ma-Mh共 同地覆盖360度视图，并且第一图像1和最后一个图像Mh部分地彼此重叠，因此1和也也认 为是"相邻的"源图像。
[0040] 在步骤320中，控制器130确定η个源图像的重叠区域的平均像素值。如本公开中所 使用的，术语"像素值"指的是与源图像中的像素或创建的全景图像中的像素关联的亮度值 和/或色度值。亮度值和色度值可从任何颜色空间获取，例如RGB或YUV颜色空间。因此，所公 开的方法适用于RGB和YUV颜色空间两者。不失一般性地，以下描述将假设像素值为亮度值 (后文指代为?'）。
[0041] 在步骤320中，控制器130可确定每个重叠区域的平均亮度值f。例如，第i源图像 与第（i+Ι)源图像部分重叠。因此，控制器130可分别确定第i和第（i+Ι)源图像中的一对重 叠区域的平均亮度值歹和由于第i和第（i+ι)源图像可能有不一致的亮度，因此f和p 可能不同。
[0042] 在步骤330中，控制器130确定与η个源图像关联的一致性因子(下文讨论）。一致性 因子可用来调整相应源图像的像素值，从而获得η个源图像之间的全局亮度和/或色度一致 性。
[0043]图4为根据示例性实施例的图示了方法300的实施的示意图。参照图4,三个源图像 可进行拼接来创建360度全景图像。每个源图像可包括分别与两个相邻的源图像 重叠的两个区域。即，区域Rib与区域R2a重叠，区域R 2b与区域R3a重叠，并且区域R3b与区域Ria 重叠。六个重叠区域中的每个区域具有分别由Ρ1β、歹1/5、f2t;、? 7#、f3a和表示的 平均亮度值。控制器130可确定分别由表示的每个源图像的一致性因子。
[0044]理想地，对于具有一致亮度的源图像，平均亮度值和一致性因子应当满 足以下公式：
[0048] 然而，在实践中，满足公式2几乎是不可能的。这是因为从源图像中获得的平均亮 度值是随机的，并且彼此没有内在关系。
[0049] 与本公开一致，为了处理上述困难，根据以下公式定义应用于360度全景图的误差 公式：
[0050]
[0051 ]如公式3所表明的，由于第一源图像和第η源图像彼此部分重叠，因此
[0052] f(n+i) = fi 公式 4
[0053] 并且F(ri+1)a = 公式 5
[0054] 控制器130可通过将误差函数最小化来确定一致性因子，即：
[0058] 其中δ!-〇，δ2-0，· · ·，δ?-〇，· · ·，δη-〇 公式8
[0059] 因此，控制器130可运行优化处理来搜索满足公式7和8的较小正数δ。具体而言，控 制器130可调整一致性因子h直到满足公式7和8。最后获取的一致性因子匕是期望的一致性 因子。
[0060] 在步骤340(图3)中，控制器130基于一致性因子调整η个源图像的亮度和/或色度。
[0061] 根据以上关于亮度值的描述，控制器130可通过将与每个源图像中每个像素关联 的亮度值乘以对应的一致性因子Α来调整该每个源图像的亮度。例如，参照图4,控制器130 可确定源图像Ml的一致性因子f 2。控制器130然后可将区域Rla和R2b中的亮度值与Rla和R 2b之 间的中间区域中的亮度值乘以一致性因子f2。控制器130可对源图像MjPM3执行类似的操 作。如此，控制器130可全局地优化所有源图像间的亮度一致性。
[0062]在步骤350中，控制器130将η个源图像拼接为全景图像。
[0063]控制器130可根据任何合适的方法将经优化的源图像拼接为全景图像。例如，控制 器130可按步骤310中确定的顺序依次拼接源图像。为了将第i源图像拼接至已有的全景图 像（即，包括头（i-Ι)个源图像的全景图像），控制器130可在第（i-Ι)和第i源图像的重叠区 域中找到最佳接缝，并沿着该接缝将两个源图像合并在一起。为了减少这些两个源图像之 间的色差并使全景图像中的颜色过渡平滑，控制器130可用误差分散处理来执行图像融合。 即，控制器130可计算接缝上的色差并将亮度(和/或颜色)差在第i源图像侧的所有像素上 扩散开。控制器130可通过增加贡献度来更新这些像素的亮度(和/或颜色)值。控制器130然 后可将第i源图像的更新的像素值进行编码并保存在全景图像文件中。这样，控制器130可 对当前全景图像的颜色过渡进行平滑。控制器130可对所有源图像重复该处理。而且，在360 度全景图的情况下，控制器130可在第一和第η源图像的重叠区域找到最佳接缝，并在该最 佳接缝处合并这两个源图像以创建连续的环形360度全景图像。
[0064]除了亮度一致性，还可想到将上述方法300类似地应用于色度一致性的全局优化。 在一些实施例中，可确定同样的一致性因子并用于亮度和色度两者。在另一实施例中，可确 定不同组的一致性因子并分别用于亮度和色度。
[0065]在示例性实施例中，任何合适的优化处理可用来确定一致性因子fi(步骤340)。图 5为根据示例性实施例的用于确定一致性因子的方法500的流程图。参照图5,方法500可包 括以下步骤。
[0066] 在步骤510中，控制器130计算一致性因子的初始值。
[0067]在执行方法500时，控制器130可使用第一源图像作为参照图像。在一个实施例中， 控制器130可给h分配预定值。例如，控制器130可设定：
[0068] fi = 1 公式 9
[0069] 控制器130然后可根据公式10来计算其他一致性因子的初始值：
[0071] 返回参照公式4，f(n+1)实际上是与第一源图像关联的一致性因子。因此，如果公式 10的计算结果包括f(n+i) = l = f 1，控制器130可确定:该初始计算的一致性因子当应用于相 应源图像时能确保整个全景图像的亮度一致性。在这种情况下，方法500结束。
[0072]然而，如果，可使用方向参数S用于评估调整经排序的源图像之间的亮度 非一致性的期望方向。具体而言，如果f (η+υ>ι，控制器130可设定S=-1，表明亮度等级应在 从第一源图像至第η源图像的方向上进一步调低。如果f( n+1)〈l，控制器130可设定S=l，表明 亮度等级应在从第一源图像至第η源图像的方向上进一步调高。
[0073] 如果f(n+i)辛fi，控制器130进行到步骤520,其中使用预定的步长来计算一致性因 子。控制器130可根据公式11来计算一致性因子：
[0075]其中k是用来量化公式11的步长的迭代参数。如果步长的值表示为p，控制器130可 使得k = p。例如，p可以初始地设定为0.5。使用公式9和10,控制器130可计算整组一致性因 子fi〇
[0076] 在步骤530中，控制器130确定fdPf(n+1)是否会聚。如果fdPf(n+1)会聚，控制器130 进行到步骤540。如果fi和f(n+i)不会聚，控制器130更新步长并重复步骤520。
[0077] 例如，如果| f(n+i)_fi | <0.01，控制器130可确定fi和f(n+i)会聚，并进行到步骤540。 相反，如果I f(n+i)_fi | >0.01，控制器130可确定fi和f(n+i)未会聚，并返回到步骤520。
[0078] 在步骤520的每次迭代之前，控制器130可基于上次迭代的结果更新步长，即迭代 参数k。具体而言，如果在步骤520的上次迭代之后，方向参数S保持同一符号，这表明前次使 用的步长不够大。因此，控制器130可根据公式12增加步长：
[0079] k = k+p 公式 12
[0080] 相反，如果在步骤520的上次迭代之后，方向参数S改变了符号，这表明前次使用的 步长太大。因此，控制器130可先根据公式13更新p:
[0082]并然后根据公式14减少步长：
[0083] k = k-p 公式 14
[0084] 在更新迭代参数后，控制器130可使用更新的迭代参数k和原方向参数S根据公式9 和10重复步骤520。换言之，即使在步骤520的上次迭代后S改变了符号，控制器130仍然使用 从步骤520的第一次迭代获取的S。
[0085] 在步骤540中，控制器130输出会聚的一致性因子。
[0086] 将会聚的一致性因子应用到相应源图像使重叠区域的平均亮度值的差减少到最 终达到的步长k以下，并因此实现了亮度一致性的全局优化。例如，会聚的一致性因子可用 在方法300中来调整每个源图像的亮度等级并类似地调整色度等级，以达到全局亮度和/或 色度一致性。这样，源图像之间的亮度和/或色度非一致性可减少并然后均匀扩散到整个全 景图像中。
[0087] 图6A是图示出未使用所公开的方法实现的结果的360度全景图像。如图6A所示，全 景图像只经过了拼接缝平滑处理，但没有进行亮度和/或色度的全局调整。因此，全景图像 具有明显的亮度不一致性。
[0088]相反，图6B是图示出使用所公开的方法实现的结果的360度全景图像。如图6B所 示，经过亮度和/或色度的全局调整后，进行步骤350中的拼接缝平滑，由此得到的全景图像 在整个360度视野中具有一致的视觉效果。
[0089]虽然在此描述了说明性的实施例，但本领域技术人员基于本公开将能够认识到： 其范围包括具有等同元件、更改、省略、组合(例如多种实施例交叉的方案）、适应性改动和/ 或替换的任一或全部实施例。权利要求中的限定要基于权利要求中使用的语言而宽泛地解 释，而不限于本说明书中描述的或本申请审查期间的例子。上述例子应解读为非排他的。此 外，所公开的过程中的步骤可用任何方式修改，包括对步骤重新排序和/或插入或删除步 骤。因此，说明书和例子旨在视为仅仅是说明性的，而真实范围和精神由随附的权利要求及 其全部的等同范围来表示。
【主权项】
1. 一种用于拼接多个图像的方法，所述图像包括具有像素值的像素，所述方法包括： 对所述多个图像按顺序进行排序，以使得： 相邻的图像至少部分彼此重叠;并且 第一图像和最后图像至少部分彼此重叠； 确定图像的重叠区域的平均像素值； 确定图像的一致性因子； 通过将平均像素值乘以相应的一致性因子来生成修正的平均像素值； 调整一致性因子以减小重叠区域中的修正的平均像素值的差；以及 基于相应的一致性因子来调整图像的像素值。2. 根据权利要求1的方法，其中，调整一致性因子包括： 构建一致性因子的误差函数，该误差函数表示重叠区域中的修正的平均像素值的差； 以及 调整一致性因子以使误差函数最小化。3. 根据权利要求2的方法，其中误差函数为重叠区域中的修正的平均像素值的差的平 方和。4. 根据权利要求1的方法，其中，确定图像的一致性因子包括： 将与图像中的第一图像相关联的一致性因子设定为预定值；以及 基于所述预定值和重叠区域中的平均像素值来确定与图像中的第二图像相关联的一 致性因子。5. 根据权利要求4的方法，其中，调整一致性因子包括： 调整一致性因子以使得每个修正的平均像素值的差小于阈值。6. 根据权利要求1的方法，其中基于相应的一致性因子来调整图像的像素值包括： 将图像的像素值乘以相应的一致性因子。7. 根据权利要求1的方法，其中每个像素值包括色度值或亮度值中的至少一个。8. 根据权利要求1的方法，进一步包括： 在调整了图像的像素值之后，拼接多个图像。9. 根据权利要求8的方法，其中，拼接图像包括： 对相邻的图像之间的像素值的过渡进行平滑。10. 根据权利要求1的方法，其中，所述多个图像联合地呈现360度全景视图。11. 一种用于组合多个图像的方法，包括： 获得η个图像，η为整数且η彡2; 在图像中识别第一区域和第二区域； 对图像按顺序进行排序； 在η个图像中，将第i图像的第二区域与第i+Ι图像的第一区域进行配对，i为整数且n>i 多1; 将第η图像的第二区域与第一图像的第一区域进行配对； 确定第一区域和第二区域中的平均像素值； 确定用于图像的一致性因子； 通过将平均像素值乘以相应的一致性因子来生成修正的平均像素值； 调整一致性因子以减小配对区域中的修正的平均像素值的差；以及 基于相应的一致性因子来调整图像的像素值。12. 根据权利要求11的方法，其中，调整一致性因子包括： 构建一致性因子的误差函数，该误差函数表示配对区域中的修正的平均像素值的差； 以及 调整一致性因子以使误差函数最小化。13. 根据权利要求12的方法，其中误差函数为配对区域中的修正的平均像素值的差的 平方和。14. 根据权利要求11的方法，其中，确定图像的一致性因子包括： 将与图像中的第一图像相关联的一致性因子设定为预定值；以及 基于所述预定值和配对区域中的平均像素值来确定与图像中的第二图像相关联的一 致性因子。15. 根据权利要求14的方法，其中，调整一致性因子包括： 调整一致性因子以使得每个修正的平均像素值的差小于阈值。16. 根据权利要求11的方法，其中基于相应的一致性因子来调整图像的像素值包括： 将图像的像素值乘以相应的一致性因子。17. 根据权利要求11的方法，进一步包括： 在调整了图像的像素值之后，通过合并配对区域来组合所述多个图像。18. 根据权利要求17的方法，其中，组合图像包括： 对合并的图像之间的像素值的过渡进行平滑。19. 一种用于拼接多个图像的装置，所述图像包括具有像素值的像素，所述装置包括： 存储器，存储指令；以及 处理器，被配置为执行所述指令以： 对所述多个图像按顺序进行排序，以使得： 相邻的图像至少部分彼此重叠;并且 第一图像和最后图像至少部分彼此重叠； 确定图像的重叠区域的平均像素值； 确定图像的一致性因子； 通过将平均像素值乘以相应的一致性因子来生成修正的平均像素值； 调整一致性因子以减小重叠区域中的修正的平均像素值的差；以及 基于相应的一致性因子来调整图像的像素值。
【文档编号】G06T3/00GK106097244SQ201610392155
【公开日】2016年11月9日
【申请日】2016年6月3日 公开号201610392155.3, CN 106097244 A, CN 106097244A, CN 201610392155, CN-A-106097244, CN106097244 A, CN106097244A, CN201610392155, CN201610392155.3
【发明人】汪孔桥
【申请人】上海小蚁科技有限公司