图像融合的方法、装置与无人机与流程

本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。

本申请涉及图像处理领域，并且更为具体地，涉及一种图像融合的方法、装置与无人机。

背景技术：

高动态范围图像(high-dynamicrangeimage，hdri)是一种亮度范围非常广的图像。相比普通的图像，高动态范围图像可以提供更多的动态范围和图像细节。

目前，采用多帧曝光融合技术来合成高动态范围图像。多帧曝光融合技术指的是，利用同一场景的多帧不同曝光图像来合成高动态范围图像。其中，在合成图像时，需要保证相同场景。实际情况中，操作者或载体的运动会引起相机的运动，这种运动会使拍摄的多帧图像的场景不一致，从而引起图像模糊，或者，场景中物体的运动会造成其在多帧图像中位置的改变，使最终合成的图像出现鬼影。现有技术通过图像配准来校准图像序列以解决多帧曝光融合技术中出现的图像模糊现象，但是，这种解决方案需要较大的算法资源开销。

针对上述问题，需要提出一种可以克服图像模糊的图像融合方法。

技术实现要素：

本申请提供一种图像融合的方法、装置与无人机，可以避免图像融合时的图像模糊的问题，还可以降低算法资源开销。

第一方面，提供一种图像融合的方法，所述方法包括：对一帧原始图像进行比特平面分层，获得所述原始图像的多个比特平面，所述原始图像的比特位数为m，m为大于1的整数；根据所述多个比特平面，获得多帧重建图像，其中，不同重建图像所对应的比特平面不完全相同，每帧重建图像的比特位数为n，n为小于m的正整数；对所述多帧重建图像进行图像融合，获得所述原始图像的融合图像。

第二方面，提供一种摄像装置，所述摄像装置包括：图像传感器，用于采集一帧原始图像，所述原始图像的比特位数为m，m为大于1的整数；处理器，用于对所述原始图像进行比特平面分层，获得所述原始图像的多个比特平面；所述处理器还用于，根据所述多个比特平面，获得多帧重建图像，其中，不同重建图像所对应的比特平面不完全相同，每帧所述重建图像的比特位数为n，n为小于m的正整数；所述处理器还用于，对所述多帧重建图像进行图像融合，获得所述原始图像的融合图像。

第三方面，提供一种移动设备，所述移动设备包括动力系统与第二方面提供的摄像装置。

第四方面，提供一种无人机，所述无人机包括机身、动力系统、所述机身上设置有双目摄像装置，所述双目摄像装置用于执行第一方面提供的图像融合的方法。

第五方面，提供一种摄像装置，所述摄像装置包括存储器和处理器，所述存储器用于存储指令，所述处理器用于执行所述存储器存储的指令，并且对所述存储器中存储的指令的执行使得所述处理器执行第一方面提供的图像融合的方法。

第六方面，提供一种芯片，所述芯片包括处理模块与通信接口，所述处理模块用于控制所述通信接口与外部进行通信，所述处理模块还用于实现第一方面提供的图像融合的方法。

第七方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被计算机执行时使得所述计算机实现第一方面提供的图像融合的方法。具体地，所述计算机可以为上述摄像装置。

第八方面，提供一种包含指令的计算机程序产品，所述指令被计算机执行时使得所述计算机实现第一方面提供的图像融合的方法。

根据本发明提供的方案，通过对单帧图像数据进行比特平面分层，并基于比特平面分层获得的多个比特平面重构出多帧重建图像，然后对该多帧重建图像进行图像融合，从而可以得到不存在图像模糊的融合图像。其中，由于多帧重建图像直接来源于同一帧图像，则这多帧重建图像之间不存在图像中运动物体的差异，从而保证了图像场景的一致性，无需图像配准就可以直接应用于曝光融合，且得到的融合图像不会存在鬼像。因此，相对于现有技术，本申请提供的方案一方面可以避免图像模糊，另一方面由于无需在图像融合之前对多帧图像进行去模糊或图像配准等处理，从而可以降低图像融合的算法资源开销。

附图说明

图1为比特平面分层的示意图。

图2为本发明实施例提供的图像融合的方法的示意性流程图。

图3为比特平面分层的另一示意图。

图4为本发明实施例提供的图像融合的方法的另一示意性流程图。

图5为本发明实施例提供的图像融合的方法的仿真结果图。

图6为本发明实施例提供的摄像装置的示意性框图。

图7为本发明实施例提供的无人机的示意性框图。

图8为本发明实施例提供的摄像装置的另一示意性框图。

具体实施方式

为了便于理解与描述，下面首先结合图1介绍比特平面分层的概念。

像素是由比特组成的数字，例如，在256级的灰度图中，每个像素是由8比特(即1个字节)组成，如图1中所示的“一个8比特的字节”。

由8比特的像素组成的图像称为8比特图像，也称为8位图像。一幅8比特图像可以认为是由8个1比特平面构成的，如图1所示，一个8比特图像由比特平面1至比特平面8构成，其中，比特平面1上的灰度信息是2⁰～2¹，比特平面2上的灰度信息是2¹～2²，依次类推。这8个比特平面的比特阶数依次增高，或者也可以认为是依次降低，如图1所示，比特平面1的比特阶数最低，比特平面2的比特阶数高于比特平面1的比特阶数，比特平面3的比特阶数高于比特平面2的比特阶数，…,比特平面8的比特阶数高于比特平面7的比特阶数，即比特平面8的比特阶数是最高的。

由8比特图像到8个比特平面的过程，称为比特平面分层。换句话说，通过对多比特图像进行比特平面分层，可以获得多个比特平面。

需要说明的是，图1仅为示例而非限定，本发明实施例中涉及的比特平面分层的方法不限于图1所示的情况，例如，一幅8比特图像可以认为由8个1比特平面构成，也可以认为由小于8个的多比特平面构成，例如，一幅8比特图像也可以认为由4个2比特平面构成，以此类推，本发明实施例对此不作限定。

还需要说明的是，本发明实施例中提及的1比特平面指的是灰度信息为2^x1～2^x2的比特平面，其中，x2-x1＝1。本发明实施例中提及的多比特平面指的是灰度信息为2^x1～2^x2的比特平面，其中，x2-x1＞1。

图2为本发明实施例提供的图像融合的方法的示意性流程图。例如，该方法可以由摄像设备，例如双目摄像头，来执行。如图2所示，该方法包括如下步骤。

210，对一帧原始图像进行比特平面分层，获得该原始图像的多个比特平面，该原始图像的比特位数为m，m为正整数。

具体地，可以由图像传感器获取该原始图像。

具体地，m为大于8的整数，即该原始图像的比特位数大于8，换句话说，该原始图像为多比特图像。

可选地，在一些实施例中，m等于10，即该原始图像为10比特图像；或m等于12，即该原始图像为12比特图像。

可选地，在一些实施例中，该原始图像为黑白图像。

可选地，在一些实施例中，通过对该原始图像经过比特平面分层所得到多个1比特平面。

具体地，在本实施例中，对该原始图像(m比特图像)进行比特平面分层，可以得到l个比特平面(每个比特平面的为1比特平面)，l等于m。

可选地，在一些实施例中，通过对该原始图像经过比特平面分层所得到的每个比特平面为多比特平面。

具体地，在本实施例中，对该原始图像(m比特图像)进行比特平面分层，可以得到l个比特平面(每个比特平面为多比特平面)，l为小于m的正整数。

图3为对原始图像进行比特平面分层的另一示意图。如图3所示，对比特位数为m的原始图像进行比特平面分层，获得l个比特平面。当每个比特平面为1比特平面时，l等于m。当每个比特平面为多比特平面时，l为小于m的正整数。例如，假设m为偶数，使得每个比特平面为2比特平面，从而获得m/2个比特平面。

如图3所示，从比特平面1至比特平面l，比特阶数依次增高。

需要说明的是，图3仅为示例而非限定。图3中各个比特平面的数字编号仅为了便于区分与描述，并不限定本发明实施例的保护范围。

还需要说明的是，经过比特平面分层得到的多个比特平面通常是按照比特阶数从高到低或者从低到高依次排列的，如图3中所示的比特平面l至比平面1(比特阶数从高到低)，或者如图3所示的比特平面1至比特平面l(比特阶数从低到高)。

220，根据经过比特平面分层所得的多个比特平面，获得多帧重建图像。

具体地，每一帧重建图像是步骤210得到的多个比特平面(例如图3中的l个比特平面)中的部分连续比特平面重构得到的图像。不同重建图像所对应的比特平面不完全相同，例如用于重构重建图像1的多个比特平面与用于重构重建图像2的多个比特平面不完全相同。

作为一个示例，以图3为例，假设从比特阶数最高的比特平面l开始，利用连续8个比特平面：比特平面l、比特平面l-1，…，比特平面l-6与比特平面l-7，重构得到一帧重建图像；然后从比特阶数次高的比特平面l-1开始，利用连续8个比特平面：比特平面l-1、比特平面l-2，…，比特平面l-7与比特平面l-8，重构得到另一帧重建图像；以此类推，最后，从比特阶数较低的比特平面8开始，利用连续8个比特平面：比特阶数较低的比特平面8、比特平面7，…，比特平面2与比特平面1，重构得到最后一帧重建图像。

步骤220所得到的多帧重建图像用于后续进行图像融合，则这多帧重建图像的比特位数是一致的，例如，每帧重建图像的比特位数均为8。

需要说明的是，本发明实施例对重建图像的比特位数不作限定，实际应用中，可以根据具体情况，确定重建图像的比特位数。

应理解，一幅8位图像，表示该图像有256(2的8次方)种层次的灰度；一幅2位图像，表示该图像只有4种层次的灰度；一幅1位图像，表示该图像只有两种层次的灰度，即一幅图像非黑即白。换句话说，一幅图像的比特位数越高，该图像可以表示的灰度等级越多，细节越多，图像越清晰。

由重建图像融合处理得到的融合图像的比特位数取决于重建图像的比特位数。从这个角度来说，重建图像的比特位数越高越好。例如，重建图像的比特位数n为7、8、9、10或12。

目前，图像处理设备输出的图像通常为8位，对应地，图像显示设备也设计为支持呈现8位图像。在这种场景下，如果由重建图像融合处理得到的融合图像的比特位数不是8(例如为10或12)，则在输出图像之前，需要将融合图像映射生成8位图像。

可选地，在一些实施例中，每帧重建图像的比特位数n为8。

本实施例，通过将重建图像的比特位数设计为8，则可以直接得到比特位数为8的融合图像，从而可以避免在图像输出之前进行上述的映射处理，可以减小算法资源开销。

还需要说明的是，在上述各个实施例中，每帧重建图像的比特位数n小于原始图像的比特位数m。

应理解，图像融合处理需要至少两帧图像来进行融合处理，即步骤220中得到的多帧重建图像的数量至少为2，相应地，重建图像的比特位数n要小于原始图像的比特位数m。

可选地，在一些实施例中，原始图像的比特位数m减去重建图像的比特位数n的差值大于或等于2。

还应理解，有些图像融合处理技术需要至少三帧图像来进行融合处理，这三帧图像分别代表欠曝光、正常曝光与过曝光。即步骤220中得到的多帧重建图像的数量至少为3，相应地，重建图像的比特位数n至少要比原始图像的比特位数m小2个比特位数。

例如，原始图像的比特位数为10，重建图像的比特位数为8；或，原始图像的比特位数为12，重建图像的比特位数为8或10。

具体地，根据如下因素①和因素②确定需要连续多少个比特平面重构一帧重建图像：①一帧重建图像所要求具备的比特位数，②步骤210得到的每个比特平面的比特位数。

作为一个示例，假设要求一帧重建图像具备的比特位数为8，步骤210得到的每个比特平面为1比特平面，则需要连续8个比特平面来重构一帧重建图像。

作为另一个示例，假设要求一帧重建图像具备的比特位数为8，步骤210得到的每个比特平面为2比特平面，则需要连续4个比特平面来重构一帧重建图像。

具体地，根据如下因素③、因素④与因素⑤，确定对步骤210得到的多个比特平面的分段策略，以重构出多个重建图像：③重构一帧重建图像所需的比特平面的数量，④步骤210得到的多个比特平面的数量，⑤图像融合所需的图像的数量。

作为一个示例，假设步骤210得到的多个比特平面的数量为10，重构一帧重建图像所需的比特平面的数量为8，后续进行图像融合所需的图像的数量为3，则对步骤210得到的多个比特平面的分段策略为：

从比特阶数最高的比特平面10开始，利用比特平面10，比特平面9，…，比特平面3重构得到第一帧重建图像；从比特阶数次高的比特平面9开始，利用比特平面9，比特平面8，…，比特平面2重构得到第二帧重建图像；从比特阶数次次高的比特平面8开始，利用比特平面8，比特平面7，…，比特平面1重构得到第三帧重建图像。这样，得到图像融合所需的3帧重建图像。

作为另一个示例，假设步骤210得到的多个比特平面的数量为10，重构一帧重建图像所需的比特平面的数量为4，后续进行图像融合所需的图像的数量为3，则对步骤210得到的多个比特平面的分段策略为：

从比特阶数最高的比特平面10开始，利用比特平面10，比特平面9，比特平面8与比特平面7重构得到第一帧重建图像；从比特平面7开始，利用比特平面7，比特平面6，比特平面5与比特平面4得到第二帧重建图像；从比特平面4开始，利用比特平面4，比特平面3，比特平面2与比特平面1重构得到第三帧重建图像。这样，得到图像融合所需的3帧重建图像。

上述可知，本发明实施例中用于重构重建图像而对多个比特平面的分段策略不是固定的，可以根据如下因素中的一种或多种进行动态调整：对原始图像经过比特平面分层所得的多个比特平面的数量、每个比特平面的比特位数、每帧重建图像所需具备的比特位数、图像融合所需的图像的数量。

上文仅示例性地描述了两种用于重构重建图像而对多个比特平面的分段策略，为了避免累赘不再枚举，但是本领域技术人员在本实施例基础上想到的各种变换方式，均落入本申请的保护范围。

230，对该多帧重建图像进行图像融合，获得该原始图像的融合图像。

具体地，可以采用现有的图像融合技术，或者将来技术发展得到的图像融合技术，对该多帧重建图像进行融合处理，获得对应的融合图像，本发明实施例对此不作限定。

本发明实施例对单帧图像数据进行比特平面分层，并基于比特平面分层获得的多个比特平面重构出多帧重建图像，然后对该多帧重建图像进行图像融合，得到融合图像。可知，本发明实施例中的多帧重建图像直接来源于同一帧图像，因此，这多帧重建图像之间不存在图像中运动物体的差异，从而保证了图像场景的一致性，无需图像配准就可以直接应用于曝光融合，且得到的融合图像不会存在鬼像。因此，相对于现有技术，本申请提供的方案无需在图像融合之前对多帧图像进行去模糊或图像配准等处理，从而可以降低图像融合的算法资源开销。

此外，根据本申请提供的方案得到的融合图像不会存在鬼像，因此，本申请提供的方案也可以克服，现有技术中利用同一场景的不同曝光图像来进行图像融合易造成图像模糊的问题。

应理解，本发明实施例中的原始图像为多比特图像，因此可以保证图像细节。对应地，由步骤220得到的多帧重建图像进行图像融合所得到的图像可以是高动态范围图像。换句话说，本发明实施例可以合成明暗区域细节丰富的图像。因此，本申请能够解决现有技术中摄像头成像时图像中暗区域和亮区域的细节不明显的问题。

上述可知，本发明实施例提供的方案不受拍摄设备或者被拍对象的运动的影响，因此，相对于现有技术，本发明实施例提供的方案具有较广的应用范围。例如，本发明实施例提供的方案可以使得将曝光融合技术的应用场景拓展至无人机、无人驾驶等高速运动系统中，还可以拓展至机器视觉、机器人、安防监控、遥感成像、摄影测量等领域中。

此外，本发明实施例提供的方案相对于增强拍摄设备的机械固定稳定性，或是提升图像采集速度均具有无法比拟的优点。

可选地，在一些实施例中，步骤220具体包括：按照比特阶数从高到低的顺序，或者，按照比特阶数从低到高的顺序，每次从该多个比特平面中连续选取s个比特平面构成一帧重建图像，s为等于或小于n的正整数。

具体地，以图3为例，并以按照比特阶数从高到低的顺序(即从比特平面l到比特平面1的顺序)进行重构为例。假设要求重构得到的重建图像的比特位数为n，获得多帧重建图像的流程如下：按照比特阶数从高到低的顺序，第一次从比特平面l开始，选取连续s个比特平面(包括比特平面l)重构得到第一帧重建图像；第二次，从比特平面x1(图3中未示出)开始，自比特平面x1开始，选取连续s个比特平面(包括比特平面x1)重构得到第二帧重建图像，其中，该比特平面x1与比特平面l相隔k个比特平面，k的数值可以预先设置；第三次，从比特平面x2(图3中未示出)开始，选取连续s个比特平面(包括比特平面x2)重构得到第三帧重建图像，其中，该比特平面x2与比特平面x1相隔k个比特平面，以此类推，直到从比特平面s(图3中未示出)开始，选取连续s个比特平面(即比特平面s至比特平面1)重构得到最后一帧重建图像，其中，比特平面s与用于重构上一帧重建图像的比特平面中比特阶数最高的比特平面相隔k个比特平面。

具体地，本示例中k的数值可以由如下因素中的至少一种确定：原始图像经过比特平面分层所得的多个比特平面的数量、每个比特平面的比特位数、每帧重建图像所需具备的比特位数、图像融合所需的图像的数量。

具体地，在本示例中，当每个比特平面为1比特平面时，s等于n，当每个比特平面的为多比特平面时，s小于n。

可选地，在一些实施例中，每个比特平面为1比特平面，即对原始图像进行比特平面分层所得的多个比特平面为m个比特平面，s等于n，即步骤220具体包括：按照比特阶数从低到高或从低到高的顺序，每次从多个比特平面中连续选取n个比特平面构成一帧比特位数为n的重建图像。

具体地，作为一个示例，步骤220具体包括：按照比特阶数从高到低或者从低到高的顺序，选取该m个比特平面中的第i个至第i+(n-1)个比特平面构成第i帧重建图像，i为1,…,m-(n-1)。

上述可知，在本实施例中，用于图像融合的多帧重建图像来源于同一帧原始图像，使得这多帧重建图像之间不存在图像中运动物体的差异，从而保证了图像场景的一致性，无需图像配准就可以直接应用于曝光融合，且得到的融合图像不会存在鬼像。此外，由于原始图像为多比特图像，且重构得到的重建图像至少为8比特图像，使得，基于多帧重建图像进行图像融合得到的图像可以保证图像的细节。因此，本申请提供的方案可以解决低动态范围图像中暗区域与亮区域内细节不明显的问题，同时克服了利用同一场景的不同曝光图像合成高动态范围图像时易造成图像模糊的问题。

具体地，在步骤230中，可以采用多种方式来实现图像融合。

可选地，在一些实施例中，步骤230具体包括：对该多帧重建图像进行均值融合，获得该融合图像。

具体地，假设步骤220得到p帧重建图像，通过对p帧重建图像中对应位置的像素求均值，以得到融合图像中对应位置上的像素值。

可选地，在一些实施例中，步骤230具体包括：根据该多帧重建图像中每帧图像的对比度信息或灰度信息，确定对应图像的权重信息；根据该权重信息，对该多帧重建图像进行加权融合，获得该融合图像。

具体地，假设步骤220得到p帧重建图像，首先，根据每帧图像的对比度信息或灰度信息，确定对应图像的权重信息，然后，基于确定的权重信息，对p帧重建图像中对应位置的像素加权相加，以得到融合图像中对应位置上的像素值。

可选地，作为一种实现方式，根据该多帧重建图像中每帧图像的对比度信息或灰度信息，确定对应图像的权重信息，包括：根据该多帧重建图像中每帧图像的对比度信息，确定对应图像的权重信息。

可选地，作为另一种实现方式，根据该多帧重建图像中每帧图像的对比度信息或灰度信息，确定对应图像的权重信息，包括：确定一帧重建图像的明区域和/或暗区域；为该明区域分配第一灰度信息，和/或，为该暗区域分配第二灰度信息；根据该第一灰度信息，确定该明区域上的权重信息，和/或，根据该第二灰度信息，确定该暗区域上的权重信息。

具体地，首先，对多帧重建图像估计明、暗区域，然后分别对明、暗区域灰度进行分配，即为明区域分配第一灰度信息，为暗区域分配第二灰度信息，然后根据明区域分配的灰度信息确定明区域的权重值，根据暗区域分配的灰度信息确定暗区域的权重值。具体地，明区域采用低比特平面图形高权重分配像素值，暗区域采用高比特平面图像高权重分配像素值。

可选地，在一些实施例中，步骤230具体包括：对该多帧重建图像进行非线性映射融合，获得该融合图像。

具体地，假设步骤220得到p帧重建图像，首先，根据非线性函数构建每帧图像的权重信息，然后，基于确定的权重信息，对p帧重建图像中对应位置的像素加权相加，以得到融合图像中对应位置上的像素值。其中，用于构建权重信息的非线性函数可以为现有的非线性映射融合技术中的非线性函数，本发明实施例对此不作限定。

图4为本发明实施例提供的图像融合的方法的另一示意性流程图。例如，该方法可以由摄像设备执行，具体地，由双目摄像头执行。如图4所示，该方法包括如下步骤。

410，输入一帧比特位数为m的原始图像，m为等于或大于10的整数。

具体地，双目摄像头读取该原始图像。

420，通过对原始图像进行比特平面分层，获得多帧8比特图像。

具体地，采用比特平面分层方法，将原始图像按二进制分为l层比特平面，并按照比特阶数自高至低的顺序，分别采用符号l，l-1,…,2,1标号每个比特平面，如图3中所示。然后将l层比特平面分段截取得l-7幅8位图像。

其中，将l层比特平面分段截取得l-7幅8位图像的流程为：对于l层比特平面，自高至低每次连续取8个比特平面，计起始层标号istart，则终止层标号为iend＝istart–7，然后将每层比特平面的数据按二进制右移istart-8构成一幅8位图像，每次向下跳跃一个比特平面，继续依照以上方法构成下一幅8位图像，直至istart＝8截止移动，总共产生l–7幅8位图像。

430，对多帧8比特图像进行融合处理，获得融合图像。

具体地，使用均值融合方法或加权融合方法，对步骤420得到的l-7幅图像进行融合处理。关于图像融合的具体方法详见上文的描述，这里不再赘述。

440，输出融合图像。

具体地，本发明实施例提供的图像融合的方法的仿真结果如图5所示。

场景一：树荫，高增益(如图5中第一行的三幅图像所示)。

图5中第一行的中间一幅图像为比特平面分层所得的多个比特平面中低8位的比特平面(例如，图3中所示的比特平面8至比特平面1)重构出的图像。图5中第一行的靠右边的一幅图像为比特平面分层所得的多个比特平面中高8位的比特平面(例如，图3中所示的比特平面l至比特平面l-7)重构出的图像。图5中第一行的靠左边的图像为通过对图5中第一行的中间的图像与靠右边的图像进行融合处理后获得的融合图像(记为融合图像1)。

从图5可知，该融合图像1为明、暗区域细节丰富的图像。

场景二：街道无车灯直射，低增益(如图5中第二行的三幅图像所示)。

图5中第二行的中间一幅图像为比特平面分层所得的多个比特平面中低8位的比特平面(例如，图3中所示的比特平面8至比特平面1)重构出的图像。图5中第二行的靠右边的一幅图像为比特平面分层所得的多个比特平面中高8位的比特平面(例如，图3中所示的比特平面l至比特平面l-7)重构出的图像。图5中第二行的靠左边的图像为通过对图5中第二行的中间的图像与靠右边的图像进行融合处理后获得的融合图像(记为融合图像2)。

从图5可知，该融合图像2为明、暗区域细节丰富的图像。

场景三：街道无车灯直射，高增益(如图5中第三行的三幅图像所示)。

图5中第三行的中间一幅图像为比特平面分层所得的多个比特平面中低8位的比特平面(例如，图3中所示的比特平面8至比特平面1)重构出的图像。图5中第三行的靠右边的一幅图像为比特平面分层所得的多个比特平面中高8位的比特平面(例如，图3中所示的比特平面l至比特平面l-7)重构出的图像。图5中第三行的靠左边的图像为通过对图5中第三行的中间的图像与靠右边的图像进行融合处理后获得的融合图像(记为融合图像3)。

从图5可知，该融合图像3为明、暗区域细节丰富的图像。

从图5所示的仿真结果可知，本发明实施例可以合成明暗区域细节丰富的图像。因此，本申请能够解决现有技术中摄像头成像时图像中暗区域和亮区域的细节不明显的问题。

上述结合图5的描述提及的高、低增益指的是，手动曝光时调节的曝光增益，也可以理解成曝光程度。

综上所述，本发明实施例对单帧图像数据进行比特平面分层，并基于比特平面分层获得的多个比特平面重构出多帧重建图像，然后对该多帧重建图像进行图像融合，得到融合图像。因为多帧重建图像直接来源于同一帧图像，因此，这多帧重建图像之间不存在图像中运动物体的差异，从而保证了图像场景的一致性，无需图像配准就可以直接应用于曝光融合，因此，相对于现有技术，本申请提供的方案可以降低图像融合的算法资源开销。此外，根据本申请提供的方案得到的融合图像不会存在鬼像，可以克服现有技术中利用同一场景的不同曝光图像来进行图像融合易造成图像模糊的问题。此外，本发明实施例得到的融合图像为明暗区域细节丰富的图像，因此，可以解决现有技术中摄像头成像时图像中暗区域和亮区域的细节不明显的问题。

本发明实施例提供的方案可以使得将曝光融合技术的应用场景拓展至无人机、自动驾驶、无人驾驶等高速运动系统中，还可以拓展至机器视觉、机器人、安防监控、遥感成像、摄影测量等领域中。

上文描述了本申请的方法实施例，下文将描述本申请的装置实施例。应理解，装置实施例的描述与方法实施例的描述相互对应，因此，未详细描述的内容可以参见前面方法实施例，为了简洁，这里不再赘述。

图6为本发明实施例提供的摄像装置600的示意性框图，该摄像装置600包括如下部件。

图像传感器610，用于采集一帧原始图像，该原始图像的比特位数为m，m为大于1的整数。

具体地，该原始图像为多比特图像，对应地，该图像传感器610为可以输出多比特图像的图像传感器。

处理器620，用于对该原始图像进行比特平面分层，获得该原始图像的多个比特平面；根据该多个比特平面，获得多帧重建图像，其中，不同重建图像所对应的比特平面不完全相同，每帧该重建图像的比特位数为n，n为小于m的正整数；对该多帧重建图像进行图像融合，获得该原始图像的融合图像。

可选地，在一些实施例中，该处理器620具体用于，按照比特阶数从高到低或者从低到高的顺序，每次从该多个比特平面中连续选取s个比特平面构成一帧重建图像，s为等于或小于n的正整数。

可选地，在一些实施例中，每个该比特平面的为1比特平面，该多个比特平面为m个比特平面，s等于n。

可选地，在一些实施例中，该处理器620具体用于，按照比特阶数从高到低或者从低到高的顺序，选取该m个比特平面中的第i个至第i+(n-1)个比特平面构成第i帧该重建图像，i为1,…,m-(n-1)。

可选地，在一些实施例中，每个该比特平面为多比特平面，该多个比特平面的总数小于m，s小于n。

可选地，在一些实施例中，该处理器620具体用于，对该多帧重建图像进行均值融合，获得该融合图像。

可选地，在一些实施例中，该处理器620具体用于，根据该多帧重建图像中每帧图像的对比度信息或灰度信息，确定对应图像的权重信息；根据该权重信息，对该多帧重建图像进行加权融合，获得该融合图像。

可选地，在一些实施例中，该处理器620具体用于，确定一帧重建图像的明区域和/或暗区域；为该明区域分配第一灰度信息，和/或，为该暗区域分配第二灰度信息；根据该第一灰度信息，确定该明区域上的权重，和/或，根据该第二灰度信息，确定该暗区域上的权重。

可选地，在一些实施例中，该处理器620具体用于，对该多帧重建图像进行非线性映射融合，获得该融合图像。

可选地，在一些实施例中，m减去n的差值大于或等于2。

可选地，在一些实施例中，m为大于或等于10的整数，n为大于或等于8的整数。

可选地，在一些实施例中，该摄像装置600为双目摄像装置。

本发明实施例还提供一种移动设备，该移动设备包括上述实施例提供的摄像装置600，该移动设备还包括用于实现该移动设备移动的动力系统。

可选地，在一些实施例中，该移动设备为下列设备中的任一种：无人机、无人驾驶车辆、机器人、监控摄像装置、遥感成像装置。

图7为本发明实施例提供的无人机700的示意性框图。该无人机包括机身710、动力系统720、该机身710上设置有双目摄像装置730，该双目摄像装置730用于执行上文方法实施例提供的图像融合的方法。

该双目摄像装置730也可以对应于上文装置实施例提供的摄像装置600。

如图8所示，本发明实施例还提供一种摄像装置800，该摄像装置800包括处理器810与存储器820，该存储器820用于存储指令，该处理器810用于执行该存储器820存储的指令，并且对该存储器820中存储的指令的执行使得，该处理器810用于执行上文方法实施例提供的图像融合的方法。

可选地，如图8所示，该摄像装置800还包括通信接口830，该通信接口830还用于输出处理器810得到的融合图像。

本发明实施例还提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得，该计算机执行上文方法实施例提供的图像融合的方法。

本发明实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上文方法实施例提供的图像融合的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriberline，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digitalvideodisc，dvd))、或者半导体介质(例如固态硬盘(solidstatedisk，ssd))等。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理器中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。