多曝光视频融合方法及装置与流程

本发明涉及视频处理领域，具体而言，涉及一种多曝光视频融合方法及装置。
背景技术：
：多曝光视频融合是指将捕获到的多曝光视频中的多曝光图像序列进行融合，得到曝光良好的融合图像，其中，多曝光视频采用以下方式获得：利用曝光度不同的多个相机对同一个场景进行录像，得到由多曝光图像序列组成的多曝光视频，其中，多曝光图像又称为视频帧。为了得到曝光良好的融合图像，现有技术提供了多种多曝光视频融合方法，例如，用于彩色图像融合的基于拉普拉斯金字塔的融合方法，利用局部对比度和邻域颜色一致性度量，在随机游走框架下提出的概率融合方法，以及采用极大后验概率框架构建概率模型推断融合像素的方法。然而，现有技术中的融合方法都是针对静态场景提出的，没有考虑到运动目标对融合效果的影响，当被捕获的场景中存在运动目标时，通过现有技术的融合方法得到的融合图像存在模糊和重影，无法获得完整清晰的融合图像。技术实现要素：有鉴于此，本发明的目的在于提供一种多曝光视频融合方法及装置，针对被捕获的场景中存在运动目标的情况，能够对多曝光图像序列进行融合，得到清晰无模糊无重影的融合图像。第一方面，本发明实施例提供了一种多曝光视频融合方法，所述方法包括：在获取的多曝光图像序列中确定参考帧和至少一个待处理帧，根据一致性敏感哈希算法分别将各个所述待处理帧对齐至所述参考帧；根据各个对齐后的所述待处理帧的图像特征计算各个对齐后的所述待处理帧的权重图，以及根据所述参考帧的图像特征计算所述参考帧的权重图；利用所述参考帧对各个对齐后的所述待处理帧的权重图进行优化，将各个优化后的权重图和所述参考帧的权重图进行融合，得到融合图像。结合第一方面，本发明实施例提供了第一方面第一种可能的实施方式，其中，根据一致性敏感哈希算法分别将各个所述待处理帧对齐至所述参考帧，包括：分别对各个所述待处理帧和所述参考帧进行尺度分解，得到分别与各个所述待处理帧对应的各个待处理子帧集合，以及与所述参考帧对应的参考子帧集合；分别对所述参考子帧集合中的各个参考子帧和各个所述待处理子帧集合中的各个待处理子帧进行分块；根据一致性敏感哈希算法分别将各个所述待处理子帧集合中的各个分块后的所述待处理子帧对齐至所述参考子帧集合中的各个相应的分块后的所述参考子帧；采用灰度映射函数对各个所述待处理子帧集合中的各个对齐后的所述待处理子帧进行误匹配修正，并采用泊松视频融合方法对所述误匹配修正的结果进行优化；将各个所述待处理子帧集合中的各个优化后的所述待处理子帧进行重构，得到各个对齐后的所述待处理帧。结合第一方面第一种可能的实施方式，本发明实施例提供了第一方面第二种可能的实施方式，其中，根据一致性敏感哈希算法分别将各个所述待处理子帧集合中的各个分块后的所述待处理子帧对齐至所述参考子帧集合中的各个相应的分块后的所述参考子帧，包括：在当前所述待处理子帧集合中的当前分块后的所述待处理子帧中确定待匹配图像块，在所述参考子帧集合中的当前分块后的所述参考子帧中确定所述待匹配图像块对应的多个邻域图像块；根据一致性敏感哈希算法分别计算所述待匹配图像块与各个所述邻域图像块之间的匹配距离，将所述待匹配图像块对齐至最小的所述匹配距离对应的邻域图像块；重复所述确定待匹配图像块、确定邻域图像块、计算匹配距离、待匹配图像块对齐的动作，直至将各个所述待处理子帧集合中的各个分块后的所述待处理子帧对齐至所述参考子帧集合中的各个相应的分块后的所述参考子帧。结合第一方面，本发明实施例提供了第一方面第三种可能的实施方式，其中，根据各个对齐后的所述待处理帧的图像特征计算各个对齐后的所述待处理帧的权重图，以及根据所述参考帧的图像特征计算所述参考帧的权重图，包括：分别计算各个对齐后的所述待处理帧的相位一致性特征、局部对比度特征以及颜色饱和度特征，以及计算所述参考帧的相位一致性特征、局部对比度特征以及颜色饱和度特征；根据各个对齐后的所述待处理帧的相位一致性特征、局部对比度特征以及颜色饱和度特征分别计算各个对齐后的所述待处理帧的初始权重图，以及根据所述参考帧的相位一致性特征、局部对比度特征以及颜色饱和度特征计算所述参考帧的初始权重图；分别对各个对齐后的所述待处理帧的初始权重图进行归一化，得到各个对齐后的所述待处理帧的权重图，以及对所述参考帧的初始权重图进行归一化，得到所述参考帧的权重图。结合第一方面，本发明实施例提供了第一方面第四种可能的实施方式，其中，利用所述参考帧对各个对齐后的所述待处理帧的权重图进行优化，包括：采用指导滤波器通过以下公式利用所述参考帧对各个对齐后的所述待处理帧的权重图进行优化；qi=ΣjW‾ij(G)pj;]]>W‾ij(G)=1|ω|Σz:(i,j)∈ωz(1+(Gi-μz)(Gj-μz)σz2+ϵ);]]>其中，i和j表示像素索引，G表示所述参考帧，表示滤波核，pj表示对齐后的所述待处理帧的权重图，qi表示优化后的权重图，ωz表示中心为z的局部窗口，|ω|表示在ωz像素的数量，μz和分别表示在ωz上的所述参考帧的均值和方差，ε表示正则化参数，Gi是所述参考帧G中的第i个像素，Gj表示所述参考帧G中的第j个像素。结合第一方面，本发明实施例提供了第一方面第五种可能的实施方式，其中，将各个优化后的权重图和所述参考帧的权重图进行融合，得到融合图像，包括：通过以下公式将各个优化后的权重图和所述参考帧的权重图进行融合，得到融合图像；F=Σk=1NW^kfk;]]>其中，F表示得到的融合图像，k表示各个帧的序号，N表示帧的总数量，表示第k个帧的优化后的权重图，fk表示第k个帧的矩阵。第二方面，本发明实施例提供了一种多曝光视频融合装置，所述装置包括：对齐模块，用于在获取的多曝光图像序列中确定参考帧和至少一个待处理帧，根据一致性敏感哈希算法分别将各个所述待处理帧对齐至所述参考帧；权重图计算模块，用于根据各个对齐后的所述待处理帧的图像特征计算各个对齐后的所述待处理帧的权重图，以及根据所述参考帧的图像特征计算所述参考帧的权重图；融合模块，用于利用所述参考帧对各个对齐后的所述待处理帧的权重图进行优化，将各个优化后的权重图和所述参考帧的权重图进行融合，得到融合图像。结合第二方面，本发明实施例提供了第二方面第一种可能的实施方式，其中，所述对齐模块包括：尺度分解单元，用于分别对各个所述待处理帧和所述参考帧进行尺度分解，得到分别与各个所述待处理帧对应的各个待处理子帧集合，以及与所述参考帧对应的参考子帧集合；分块单元，用于分别对所述参考子帧集合中的各个参考子帧和各个所述待处理子帧集合中的各个待处理子帧进行分块；对齐单元，用于根据一致性敏感哈希算法分别将各个所述待处理子帧集合中的各个分块后的所述待处理子帧对齐至所述参考子帧集合中的各个相应的分块后的所述参考子帧；优化单元，用于采用灰度映射函数对各个所述待处理子帧集合中的各个对齐后的所述待处理子帧进行误匹配修正，并采用泊松视频融合方法对所述误匹配修正的结果进行优化；重构单元，用于将各个所述待处理子帧集合中的各个优化后的所述待处理子帧进行重构，得到各个对齐后的所述待处理帧。结合第二方面第一种可能的实施方式，本发明实施例提供了第二方面第二种可能的实施方式，其中，所述对齐单元包括：邻域图像块确定子单元，用于在当前所述待处理子帧集合中的当前分块后的所述待处理子帧中确定待匹配图像块，在所述参考子帧集合中的当前分块后的所述参考子帧中确定所述待匹配图像块对应的多个邻域图像块；图像块对齐子单元，用于根据一致性敏感哈希算法分别计算所述待匹配图像块与各个所述邻域图像块之间的匹配距离，将所述待匹配图像块对齐至最小的所述匹配距离对应的邻域图像块；重复子单元，用于重复所述确定待匹配图像块、确定邻域图像块、计算匹配距离、待匹配图像块对齐的动作，直至将各个所述待处理子帧集合中的各个分块后的所述待处理子帧对齐至所述参考子帧集合中的各个相应的分块后的所述参考子帧。结合第二方面，本发明实施例提供了第二方面第三种可能的实施方式，其中，所述权重图计算模块包括：特征计算单元，用于分别计算各个对齐后的所述待处理帧的相位一致性特征、局部对比度特征以及颜色饱和度特征，以及计算所述参考帧的相位一致性特征、局部对比度特征以及颜色饱和度特征；初始权重图计算单元，用于根据各个对齐后的所述待处理帧的相位一致性特征、局部对比度特征以及颜色饱和度特征分别计算各个对齐后的所述待处理帧的初始权重图，以及根据所述参考帧的相位一致性特征、局部对比度特征以及颜色饱和度特征计算所述参考帧的初始权重图；权重图归一化单元，用于分别对各个对齐后的所述待处理帧的初始权重图进行归一化，得到各个对齐后的所述待处理帧的权重图，以及对所述参考帧的初始权重图进行归一化，得到所述参考帧的权重图。本发明实施例中的方法及装置，首先在获取的多曝光图像序列中确定参考帧和至少一个待处理帧，根据一致性敏感哈希算法分别将各个待处理帧对齐至参考帧，其次根据各个对齐后的待处理帧的图像特征计算各个对齐后的待处理帧的权重图，以及根据参考帧的图像特征计算参考帧的权重图，最后利用参考帧对各个对齐后的待处理帧的权重图进行优化，将各个优化后的权重图和参考帧的权重图进行融合，得到融合图像。由于本发明实施例中的方法及装置根据一致性敏感哈希算法分别将各个待处理帧对齐至参考帧，因此针对被捕获的场景中存在运动目标的情况，能够对多曝光图像序列进行融合，得到清晰无模糊无重影的融合图像。为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，做详细说明如下。附图说明为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图做简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1示出了本发明实施例所提供的多曝光视频融合方法的流程示意图；图2示出了本发明实施例所提供的多曝光视频融合装置的结构示意图。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。考虑到现有技术中的融合方法都是针对静态场景提出的，没有考虑到运动目标对融合效果的影响，当被捕获的场景中存在运动目标时，通过现有技术的融合方法得到的融合图像存在模糊和重影，无法获得完整清晰的融合图像，本发明提供了一种多曝光视频融合方法及装置，下面结合实施例进行具体描述。需要说明的是，本实施例中为了简化描述语言，将视频帧简称为帧，即参考帧等同为参考视频帧，待处理帧等同为待处理视频帧。图1示出了本发明实施例所提供的多曝光视频融合方法的流程示意图，如图1所示，该方法包括以下步骤：步骤S102，在获取的多曝光图像序列中确定参考帧和至少一个待处理帧，根据一致性敏感哈希算法分别将各个待处理帧对齐至参考帧。本实施例中，考虑到当获取的多曝光图像序列中存在运动目标时，最终融合得到图像可能存在模糊和重影，因此需要选取参考帧和待处理帧，将各个待处理帧对齐至参考帧，以避免融合得到图像可能存在模糊和重影。本实施例中，在多曝光图像序列中选择具有最少过饱和像素或最少欠饱和像素的视频帧作为参考帧，一种情况下，将多曝光图像序列中除参考帧以外的视频帧作为待处理帧。另一种情况下，考虑到多曝光图像序列中视频帧数量较多，计算量较大，或者多曝光图像序列中存在不需要进行处理的视频帧时，在多曝光图像序列中选择部分视频帧作为待处理帧。根据一致性敏感哈希算法分别将各个待处理帧对齐至参考帧具体包括以下(1)至(4)四个步骤：(1)分别对各个待处理帧和参考帧进行尺度分解，得到分别与各个待处理帧对应的各个待处理子帧集合，以及与参考帧对应的参考子帧集合。定义参考帧为R，待处理帧为S，通过以下公式(1)分别对各个待处理帧进行尺度分解，得到分别与各个待处理帧对应的各个待处理子帧集合，待处理子帧集合包括对待处理帧尺度分解后得到的多个待处理子帧，通过以下公式(2)对参考帧进行尺度分解，得到与参考帧对应的参考子帧集合，参考子帧集合包括对参考帧尺度分解后得到的多个参考子帧。P(x,y,R,σ-1)＝P2↓(x,y,R,σ)；(1)P(x,y,S,σ-1)＝P2↓(x,y,S,σ)；(2)公式(1)和(2)中，{P(x,y,Δ,σ-1)Δ＝R,S}表示尺度函数，(x,y)表示像素位置，σ表示金字塔层级，σ取值范围为[3，5]，2↓表示下采样因子。(2)分别对参考子帧集合中的各个参考子帧和各个待处理子帧集合中的各个待处理子帧进行分块，该分块方式可以为滑窗分块。(3)根据一致性敏感哈希算法分别将各个待处理子帧集合中的各个分块后的待处理子帧对齐至参考子帧集合中的各个相应的分块后的参考子帧。比如，某待处理子帧集合A中包括按照图像尺寸由小至大的顺序依次排列的5张待处理子帧A1、A2、A3、A4和A5，参考子帧集合B中包括按照尺寸图像由小至大的顺序依次排列的5张参考子帧B1、B2、B3、B4和B5，对A1、A2、A3、A4、A5、B1、B2、B3、B4和B5分块后，将A1对齐至B1，A2对齐至B2……A5对齐至B5，即，分块后的待处理子帧对齐至图像尺寸相同的分块后的参考子帧。该动作(3)中，根据一致性敏感哈希算法分别将各个待处理子帧集合中的各个分块后的待处理子帧对齐至参考子帧集合中的各个相应的分块后的参考子帧，能够分解为如下动作：(31)在当前待处理子帧集合中的当前分块后的待处理子帧中确定待匹配图像块，在参考子帧集合中的当前分块后的参考子帧中确定待匹配图像块对应的多个邻域图像块。邻域图像块能够采用以下方式确定：在当前分块后的待处理子帧中确定第一个待匹配图像块后，在参考子帧中确定与该第一个待匹配图像块相匹配的图像块，称为第一个相匹配图像块，在第一个待匹配图像块的邻域内确定第二个待匹配图像块，将第一个相匹配图像块的邻域内的多个图像块作为第二个待匹配图像块对应的多个邻域图像块，在多个邻域图像块内搜索与第二个待匹配图像块匹配的图像块。即，将参考子帧中上一个匹配上的图像块的邻域内的图像块作为当前待匹配图像块的邻域图像块。(32)根据一致性敏感哈希算法分别计算待匹配图像块与各个邻域图像块之间的匹配距离，将待匹配图像块对齐至最小的匹配距离对应的邻域图像块。通过以下公式(3)计算待匹配图像块与各个邻域图像块之间的匹配距离：dy＝||x-y||＝min{||x'-y||；x'∈S}；(3)其中，x'表示各个邻域图像块，y表示待匹配图像块，x表示与y匹配距离最小的邻域图像块，dy表示计算得到的最小的匹配距离，S表示各个邻域图像块的集合。(33)重复上述确定待匹配图像块、确定邻域图像块、计算匹配距离、待匹配图像块对齐的动作，直至将各个待处理子帧集合中的各个分块后的待处理子帧对齐至参考子帧集合中的各个相应的分块后的参考子帧。本步骤中，可以先重复上述确定待匹配图像块、确定邻域图像块、计算匹配距离、待匹配图像块对齐的动作，将当前待处理子帧集合中的各个分块后的待处理子帧对齐至参考子帧集合中的各个相应的分块后的参考子帧，然后再在其他待处理子帧集合中重复上述动作，直至将各个待处理子帧集合中的各个分块后的待处理子帧对齐至参考子帧集合中的各个相应的分块后的参考子帧。通过动作(31)至(33)，能够将各个待处理子帧集合中的各个分块后的待处理子帧对齐至参考子帧集合中的各个相应的分块后的参考子帧。(4)采用灰度映射函数对各个待处理子帧集合中的各个对齐后的待处理子帧进行误匹配修正，并采用泊松视频融合方法对误匹配修正的结果进行优化。以当前对齐后的待处理子帧为例，当前对齐后的待处理子帧中每个图像块都对应有一个匹配距离，检测各个匹配距离，当检测到存在匹配距离不满足预设要求时，对当前对齐后的待处理子帧进行误匹配修正，并采用泊松视频融合方法对误匹配修正的结果进行优化。设置有距离阈值，当上述计算得到的最小的匹配距离大于该距离阈值，确定最小的匹配距离不满足预设要求。本步骤中采用灰度映射函数进行初始空洞填充，对当前对齐后的待处理子帧进行误匹配修正，改善匹配的精度，灰度映射函数定义如下：τc=argminτΣx,y||τ(Rc(x,y))-Scw(x,y)||1;---(4)]]>其中，τc′(·)≥0，τc(·)∈[0,1]，c∈{r,g,b}，表示当前对齐后的待处理子帧的颜色通道的值，Rc表示当前对齐后的待处理子帧对应的参考子帧的颜色通道的值，这里颜色通道的值指r,g,b颜色通道的值，即红色通道分量、绿色通道分量和蓝色通道分量，(x,y)表示像素位置，灰度映射函数的初始值τc设置为当前对齐后的待处理子帧对应的参考子帧的灰度直方图，为了消除异常引起的拟合偏差，优选采用迭代加权最小二乘法实现优化求解。通过公式(4)能够更新当前对齐后的待处理子帧的各个颜色通道的值，颜色通道的值更新后的待处理子帧为误匹配修正的结果。采用泊松视频融合方法对误匹配修正的结果进行优化指的是，提取误匹配修正的结果对应的参考子帧的梯度信息，采用泊松视频融合方法将提取的梯度信息和上述误匹配修正的结果进行合成，从而对误匹配修正的结果进行优化。其中，误匹配修正的结果对应的参考子帧的梯度信息还可以置换为当前待处理子帧(即未经过对齐的待处理子帧)的梯度信息。(5)将各个待处理子帧集合中的各个优化后的待处理子帧进行重构，得到各个对齐后的待处理帧。以待处理帧A`为例，待处理帧A`对应有待处理子帧集合A，待处理子帧集合A中包括按照图像尺寸由小至大的顺序依次排列的5张待处理子帧A1、A2、A3、A4和A5，A1、A2、A3、A4和A5为对待处理帧A`进行尺寸分解后得到的多个子图像。对A1、A2、A3、A4和A5执行完成动作(4)中的优化操作后，将对齐后的A1、A2、A3、A4和A5进行重构，即将对齐后的A1、A2、A3、A4和A5进行合成，得到对齐后的待处理帧A0。通过上述动作(1)至(5)，能够根据一致性敏感哈希算法分别将各个待处理帧对齐至参考帧，得到对齐后的各个待处理帧，以避免当多曝光图像序列中存在运动目标时，融合得到图像存在模糊和重影的问题。步骤S104，根据各个对齐后的待处理帧的图像特征计算各个对齐后的待处理帧的权重图，以及根据参考帧的图像特征计算参考帧的权重图。本步骤能够具体分解为以下三个步骤实现：(1)分别计算各个对齐后的待处理帧的相位一致性特征、局部对比度特征以及颜色饱和度特征，以及计算参考帧的相位一致性特征、局部对比度特征以及颜色饱和度特征。为了度量视频帧中每个像素的重要性，得到视频帧的权重图，本实施例提出了基于特征的权重估计方法。当待处理帧被对齐后，集成三个图像特征来估计像素的权重，三个图像特征包括：相位一致性特征、局部对比度特征和颜色饱和度。通过集成三种图像特征度量值，可以准确度量不同曝光尺度下对应像素的权重。计算各个对齐后的待处理帧的相位一致性特征、局部对比度特征以及颜色饱和度特征与计算参考帧的相位一致性特征、局部对比度特征以及颜色饱和度特征的过程相同，下面以计算当前对齐后的待处理帧的相位一致性特征、局部对比度特征以及颜色饱和度特征为例进行说明。将当前对齐后的待处理帧由RGB颜色空间转换到YIQ颜色空间，其中Y表示亮度信息，I和Q表示色度信息。RGB空间到YIQ空间的转换可以通过式(5)实现：YIQ=0.2990.5870.1140.596-0.274-0.3220.211-0.5230.312RGB;---(5)]]>公式(5)中，RGB分别表示红色通道分量值、绿色通道分量值和蓝色通道分量值,。为了计算当前对齐后的待处理帧的相位一致性特征，将当前对齐后的待处理帧的亮度分量Y与二维log-Gabor滤波器进行卷积，二维log-Gabor滤波器的变换函数计算如下：LG(ω,θj)=exp(-(log(ω/ω0))22σr2)·exp(-(θ-θj)22σθ2);---(6)]]>其中，ω0是滤波器的中心频率，θj＝jπ/J，j＝{0,1,…,J-1}是滤波器的方向角，J是方向数，σr控制滤波器的带宽，σθ决定滤波器的角度带宽，θ表示两个滤波器相切的角度，根据经验设置J＝4，四个尺度的ω0分别为1/6、1/12、1/24、1/48，σr＝0.5978，σθ＝0.6545。卷积结果生成一组正交向量[en,o(x,y),on,o(x,y)](尺度n，方向o,像素位置(x,y))，得到局部振幅计算如下：An,o=en,o(x,y)2+on,o(x,y)2;---(7)]]>则，当前对齐后的待处理帧在位置(x,y)处的相位一致性特征计算如下：PCk(x,y)=Σo(Σnen,o(x,y))2+(Σoon,o(x,y))2ϵ+ΣoΣnAn,o(x,y);---(8)]]>其中，ε是一个小的正常量，相位一致性特征PCk(x,y)的值在0到1之间。PCk(x,y)越接近1，特征越显著。因为相位一致性特征是对比度不变的，而对比度信息影响了人类视觉系统对视频质量的感知，所以采用局部对比度作为第二个度量，与相位一致性特征互为补充。本实施例中，局部对比度特征使用视频帧梯度能量进行度量，梯度度量为重要细节特征分配较高权重，例如边缘和纹理。视频帧梯度可以采用卷积掩模进行计算。本实施例中采用Sobel算子作为梯度算子，Sobel算子计算如下：1410-120-210-1,14121000-1-2-1;---(9)]]>沿着视频帧的水平和垂直方向，将当前对齐后的待处理帧的亮度信道Y与Sobel算子执行卷积，得到两个方向梯度GX和GY，当前对齐后的待处理帧的局部对比度特征GK计算如下：Gk=Gx2+Gy2;---(10)]]>相位一致性特征和局部对比度特征都只在亮度信道上进行度量，对于彩色视频帧，如果仅仅采用相位一致性和局部对比度作为度量指标，不能得到准确的权重图，因此采用颜色饱和度度量作为第三个特征。颜色饱和度特征Sk的计算定义为R、G、B信道内每个像素的标准差，计算如下：Sk=(R-m‾)2+(G-m‾)2+(B-m‾)23;---(11)]]>m‾=(R+G+B)3;---(12)]]>其中，表示RGB三个颜色通道的平均值。本步骤中，通过以上公式(5)至公式(12)所示的过程计算各个对齐后的待处理帧的相位一致性特征、局部对比度特征以及颜色饱和度特征，以及参考帧的相位一致性特征、局部对比度特征以及颜色饱和度特征后，进行以下步骤(2)。(2)根据各个对齐后的待处理帧的相位一致性特征、局部对比度特征以及颜色饱和度特征分别计算各个对齐后的待处理帧的初始权重图，以及根据参考帧的相位一致性特征、局部对比度特征以及颜色饱和度特征计算参考帧的初始权重图。计算对齐后的待处理帧的初始权重图的过程与计算参考帧的初始权重图的过程相同，因此这里以计算对齐后的待处理帧的初始权重图为例进行说明。考虑到相位一致性特征、局部对比度特征以及颜色饱和度特征三个度量之间是互补的关系，因此通过三个图像特征通过直接相乘进行组合来估计视频帧权重，具体如公式(13)所示，Wk＝PCk×Gk×Sk；(13)其中，Wk表示对齐后的待处理帧的初始权重图,PCk表示对齐后的待处理帧的相位一致性特征，Gk表示对齐后的待处理帧的局部对比对特征，Sk表示对齐后的待处理帧的颜色饱和度特征。通过这种方式，最终得到的融合图像能够保持原视频序列的所有重要细节。(3)分别对各个对齐后的待处理帧的初始权重图进行归一化，得到各个对齐后的待处理帧的权重图，以及对参考帧的初始权重图进行归一化，得到参考帧的权重图。本步骤中，对各个对齐后的待处理帧的初始权重图的归一化过程与对参考帧的初始权重图的归一化过程相同，下面以当前对齐后的待处理帧的初始权重图的归一化过程为例进行说明。假定在多曝光序列中的视频帧数是N，为了保持融合结果的一致性，对N个权重图进行归一化，保证在每个像素(x,y)处的权重和为1，归一化后的初始权重图定义为：W~k(x,y)=Wk(x,y)/Σk′=1NWk′(x,y);---(14)]]>其中，(x,y)表示像素位置，表示归一化后的初始权重图，Wk′(x,y)表示初始权重图，k表示当前初始权重图的序号，k′表示各个初始权重图的序号，k和k′的取值范围为[1，N]。通过步骤S104，基于特征的权重估计方法，集成相位一致性、局部对比度和颜色饱和度三种图像特征，准确地度量了像素的质量，获取了权重图。步骤S106，利用参考帧对各个对齐后的待处理帧的权重图进行优化，将各个优化后的权重图和参考帧的权重图进行融合，得到融合图像。本步骤中，利用参考帧对各个对齐后的待处理帧的权重图进行优化，包括：采用指导滤波器通过以下公式(15)和(16)利用参考帧对各个对齐后的待处理帧的权重图进行优化；qi=ΣjW‾ij(G)pj;---(15)]]>W‾ij(G)=1|ω|Σz:(i,j)∈ωz(1+(Gi-μz)(Gj-μz)σz2+ϵ);---(16)]]>其中，i和j表示像素索引，G表示参考帧，表示滤波核，pj表示对齐后的待处理帧的权重图，qi表示优化后的权重图，ωz表示中心为z的局部窗口，|ω|表示在ωz像素的数量，μz和分别表示在ωz上的参考帧的均值和方差，ε表示正则化参数，提供一个关于“平面块”或者“高方差/边缘”的判断标准，ε的影响类似于双边滤波器中的范围方差Gi是参考帧G中的第i个像素，Gj表示参考帧G中的第j个像素。上述滤波核满足在上述优化过程中，参考帧G、对齐后的待处理帧的权重图pj均设置为通过步骤S104计算得到的权重图。通过上述公式(15)和公式(16)得到的优化后的权重图更加平滑，没有包含间断区域，能够更加准确的表示像素的重要性。本步骤中，将各个优化后的权重图和参考帧的权重图进行融合，得到融合图像，包括：通过以下公式将各个优化后的权重图和参考帧的权重图进行融合，得到融合图像；F=Σk=1NW^kfk;---(17)]]>其中，F表示得到的融合图像，k表示各个帧的序号，N表示帧的总数量，表示第k个帧的优化后的权重图，fk表示第k个帧的矩阵。优化后的权重图指出了视频帧中哪些像素是曝光良好的，以促使融合结果包含所有曝光良好的像素，生成具有生动视觉效果的融合图像。本发明实施例中的方法，首先在获取的多曝光图像序列中确定参考帧和至少一个待处理帧，根据一致性敏感哈希算法分别将各个待处理帧对齐至参考帧，其次根据各个对齐后的待处理帧的图像特征计算各个对齐后的待处理帧的权重图，以及根据参考帧的图像特征计算参考帧的权重图，最后利用参考帧对各个对齐后的待处理帧的权重图进行优化，将各个优化后的权重图和参考帧的权重图进行融合，得到融合图像。由于本发明实施例中的方法根据一致性敏感哈希算法分别将各个待处理帧对齐至参考帧，因此针对被捕获的场景中存在运动目标的情况，能够对多曝光图像序列进行融合，得到清晰无模糊无重影的融合图像。综上，本发明实施例中的方法具有以下技术效果：(1)基于一致性敏感哈希算法的块匹配视频帧对齐方法，能够解决由于被捕获的场景中出现目标运动而造成的融合图像模糊和虚影的问题，最终得到具有高动态范围的、光照良好的完整清晰的场景视频。(2)基于特征的权重估计方法，集成相位一致性、局部对比度和颜色饱和度三种图像特征，能够准确地度量像素的质量，从而获取权重图。(3)基于指导滤波的权重图优化方法提升权重图的准确性，确保能够获得高质量的融合图像。对应上述的多曝光视频融合方法，本发明实施例还提供了一种多曝光视频融合装置，如图2所示，该装置包括：对齐模块21，用于在获取的多曝光图像序列中确定参考帧和至少一个待处理帧，根据一致性敏感哈希算法分别将各个待处理帧对齐至参考帧；权重图计算模块22，用于根据各个对齐后的待处理帧的图像特征计算各个对齐后的待处理帧的权重图，以及根据参考帧的图像特征计算参考帧的权重图；融合模块23，用于利用参考帧对各个对齐后的待处理帧的权重图进行优化，将各个优化后的权重图和参考帧的权重图进行融合，得到融合图像。其中，对齐模块21包括：尺度分解单元，用于分别对各个待处理帧和参考帧进行尺度分解，得到分别与各个待处理帧对应的各个待处理子帧集合，以及与参考帧对应的参考子帧集合；分块单元，用于分别对参考子帧集合中的各个参考子帧和各个待处理子帧集合中的各个待处理子帧进行分块；对齐单元，用于根据一致性敏感哈希算法分别将各个待处理子帧集合中的各个分块后的待处理子帧对齐至参考子帧集合中的各个相应的分块后的参考子帧；优化单元，用于采用灰度映射函数对各个待处理子帧集合中的各个对齐后的待处理子帧进行误匹配修正，并采用泊松视频融合方法对误匹配修正的结果进行优化；重构单元，用于将各个待处理子帧集合中的各个优化后的待处理子帧进行重构，得到各个对齐后的待处理帧。上述对齐单元包括：邻域图像块确定子单元，用于在当前待处理子帧集合中的当前分块后的待处理子帧中确定待匹配图像块，在参考子帧集合中的当前分块后的参考子帧中确定待匹配图像块对应的多个邻域图像块；图像块对齐子单元，用于根据一致性敏感哈希算法分别计算待匹配图像块与各个邻域图像块之间的匹配距离，将待匹配图像块对齐至最小的匹配距离对应的邻域图像块；重复子单元，用于重复确定待匹配图像块、确定邻域图像块、计算匹配距离、待匹配图像块对齐的动作，直至将各个待处理子帧集合中的各个分块后的待处理子帧对齐至参考子帧集合中的各个相应的分块后的参考子帧。上述权重图计算模块22包括：特征计算单元，用于分别计算各个对齐后的待处理帧的相位一致性特征、局部对比度特征以及颜色饱和度特征，以及计算参考帧的相位一致性特征、局部对比度特征以及颜色饱和度特征；初始权重图计算单元，用于根据各个对齐后的待处理帧的相位一致性特征、局部对比度特征以及颜色饱和度特征分别计算各个对齐后的待处理帧的初始权重图，以及根据参考帧的相位一致性特征、局部对比度特征以及颜色饱和度特征计算参考帧的初始权重图；权重图归一化单元，用于分别对各个对齐后的待处理帧的初始权重图进行归一化，得到各个对齐后的待处理帧的权重图，以及对参考帧的初始权重图进行归一化，得到参考帧的权重图。上述融合模块23包括：权重图优化单元，用于采用指导滤波器通过以下公式利用参考帧对各个对齐后的待处理帧的权重图进行优化；qi=ΣjW‾ij(G)pj;]]>W‾ij(G)=1|ω|Σz:(i,j)∈ωz(1+(Gi-μz)(Gj-μz)σz2+ϵ);]]>其中，i和j表示像素索引，G表示参考帧，表示滤波核，pj表示对齐后的待处理帧的权重图，qi表示优化后的权重图，ωz表示中心为z的局部窗口，|ω|表示在ωz像素的数量，μz和分别表示在ωz上的参考帧的均值和方差，ε表示正则化参数，Gi是参考帧G中的第i个像素，Gj表示参考帧G中的第j个像素。上述融合模块23包括：图像融合单元，用于通过以下公式将各个优化后的权重图和参考帧的权重图进行融合，得到融合图像；F=Σk=1NW^kfk;]]>其中，F表示得到的融合图像，k表示各个帧的序号，N表示帧的总数量，表示第k个帧的优化后的权重图，fk表示第k个帧的矩阵。本发明实施例中的装置，首先在获取的多曝光图像序列中确定参考帧和至少一个待处理帧，根据一致性敏感哈希算法分别将各个待处理帧对齐至参考帧，其次根据各个对齐后的待处理帧的图像特征计算各个对齐后的待处理帧的权重图，以及根据参考帧的图像特征计算参考帧的权重图，最后利用参考帧对各个对齐后的待处理帧的权重图进行优化，将各个优化后的权重图和参考帧的权重图进行融合，得到融合图像。由于本发明实施例中的装置根据一致性敏感哈希算法分别将各个待处理帧对齐至参考帧，因此针对被捕获的场景中存在运动目标的情况，能够对多曝光图像序列进行融合，得到清晰无模糊无重影的融合图像。本发明实施例所提供的多曝光图像融合装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本
技术领域：
的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。当前第1页1 2 3