基于稀疏颜色特征的老电影褪色闪烁修复方法与流程

本发明涉及一种基于稀疏颜色特征的老电影褪色闪烁修复方法，属于计算机图像修复技术领域。

背景技术：

1905年，中国第一部无声黑白电影《定军山》诞生，时至今日中国电影已经走过悠悠百年岁月。不管是剧情类影片还是历史文献纪录影片，都是当时社会热切关注的题材，见证并记录了我国的发展与进步、苦难与辉煌，凝聚了电影工作者对历史文化的理解和艺术思想，是极其重要的影视资料，也是非常珍贵的艺术文化遗产。然而，由于早期电影的存储与播放依赖于胶片，而胶片上的化学物质会随着时间产生退化现象，再加上以前保存技术比较落后，影片无法得到良好的保护，或损坏或丢失或老化。据粗略统计，从1905年到1949年我国共摄制了1625部电影，但中国电影资料馆仅保存下来252部电影，抚去老电影历史积淀的尘埃，让其重放光彩，使中国人的电影记忆再度鲜明，是一件非常艰巨又意义非凡的事情。

随着近年来计算机技术的快速发展与图像视频处理技术的日趋完善，利用数字化的手段修复受损老电影是一大趋势。在胶片电影数字化后划分的几大修复类型中，闪烁是一种比较常见又较难处理的一类问题。大部分研究人员认为，闪烁是图像序列的亮度在时间与空间上发生了不自然的随机变化，播放时会造成强烈的亮度突变，极易造成观看者视觉的疲劳，需要对连续帧序列的亮度做统一的校正来实现损伤的去除。

目前，大多数的修复方法都需要对图像序列中的闪烁进行建模，然后估计该模型的闪烁参数。周磊等设计了一种基于块的局部区域参数估计和补偿方法，通过对图像序列进行基于块的闪烁模型参数估计和当前帧补偿模型的设计，实现了参照模型下的受损图像亮度修复。谌安军等通过对图像序列中的局部闪烁进行基于余弦基的建模和逐次超松弛迭代的方法，实现了对严重局部亮度闪烁电影的修复。李志永等使用简单的乘性因子和加性因子构造了全局闪烁模型，在避免了复杂计算的同时对全局闪烁损伤有较好的修复效果。赵培栋等提出了一种基于多帧参考的分块视频闪烁消除法，在有效去除闪烁现象的同时修正了附带的运动模糊现象。juliedelon基于尺度空间理论，使用尺度时间均衡的方法实现了全局亮度闪烁的修复。bhattacharya等基于视频分解的方法，提出了一种新的检测与去除闪烁的方案。

然而上述方法仅注重解决电影亮度突变引起的闪烁问题，但在实际的老电影档案中，诸多彩色老电影也存在着闪烁问题。这类闪烁是由于附着在胶片上的物质产生化学变化而引起画面颜色偏移，受损影片的色彩呈现连续不自然的褪色现象。对于此类问题，croci等借鉴了单张图像颜色传递的方法，提出手动调整单帧图像色彩，再使用颜色传递的方法修复整个图像序列以达到色彩一致。虽然对修复有一定效果，但该方法没有考虑视频序列前后帧之间的关联性，有一定的局限性。

技术实现要素：

本发明的目的在于解决褪色闪烁，提供了一种基于稀疏颜色特征的老电影褪色闪烁修复方法。该发明通过提取图像序列的相关颜色特征，构建稀疏矩阵模型，再利用矩阵分解方法估计得到修复参数，最后经过参数的两次校正进行损毁序列的修复。

为达到上述目的，本发明的构思如下：

本方法联合多帧图像建立了简单的颜色校正模型，根据特征相关点提取图像序列中对应的颜色相关区域，并用这些稀疏的颜色特征建立校正矩阵，通过分解矩阵得到模型参数，最后将参数划分为参考帧参数与普通阵参数，分阶段进行闪烁修复。

根据上述构思，本发明采用如下技术方案：

一种基于稀疏颜色特征的老电影褪色闪烁修复方法，包括如下步骤：

步骤1)，预处理：将待修复序列进行分镜处理，并为分镜后的每一组子序列选择一帧参考帧；

步骤2)，构建修复矩阵：对子序列图像进行特征点提取，并将特征点进行匹配重组排列，通过特征点的描述符提取图像序列中对应的相关颜色区域，计算其颜色特征，构建稀疏修复矩阵；

步骤3)，获取修复参数：使用稀疏矩阵分解的方法，预估修复模型中的未知校正参数；

步骤4)，闪烁修复：待修复序列中的图像分为参考帧与普通帧，采用两步修复的策略，利用普通帧的校正参数进行颜色一致性校正，再通过参考帧的校正参数进行颜色恢复性校正，最终得到修复后序列。

上述步骤1)预处理中需要分镜处理，是因为在构建修复模型之前需要提取并匹配图像之间的特征点，为了匹配误差最小化，若待修复序列中包含多个场景镜头，分镜是必须的；同时，修复老电影的褪色闪烁需要指定图像的参考颜色风格，因此每一组待修复子序列均需从原序列选择一帧颜色参考帧。

若原序列损坏严重，无法筛选合格的参考帧，则对序列的第一帧图像进行颜色校正处理，并将其视为参考帧，具体步骤为：

其中，αin、βin表示图像从rgb颜色空间转换到lαβ颜色空间后对应的α与β通道值，αout、βout表示期望获得的通道值，mα、mβ分别对应αin、βin通道的平均值；在得到期望的通道值后，再将图像转回rgb颜色空间，即得到效果较好的校正参考帧。

上述步骤2)中的构建修复矩阵，需要提取序列中每一帧的特征点并进行前后帧两两匹配，再联合序列中所有图像对匹配后的特征点进行筛选、重组，最后根据重组后的特征点提取相应图像中的图像块，计算其颜色特征后，组成修复矩阵。

采用surf算法提取特征点，又由于图像序列的连续性，在进行前后帧匹配时，存在大量冗余特征点，为提高计算效率，序列中每一帧提取出的特征点仅随机保留一半。再结合多帧图像两两匹配后的结果，筛选出在整个序列中出现次数大于等于3的特征点，并根据特征点的描述符提取出对应图像中的图像块，称其为颜色相关区域，该区域的大小为30×30像素，其中心点为特征点。

对于提取出的颜色相关区域求取平均值，称为颜色特征，记为a′，并按照特定的规律排列，构建修复矩阵：

其中m代表整个修复矩阵，m表示待修复序列筛选出的特征相关点总数，n表示序列的总帧数；在矩阵m中，第i行第j列的颜色特征表示为a′ij，并且a′j＝(cjai)^γj，其中，(cjai)^γj是校正修复模型，ai表示第i个特征点对应的未受损时的颜色特征，cj是第j张图的乘性调整因子，类比于白平衡参数，而γj代表第j张图的指数调整因子，类比于伽马校正参数；同时，在矩阵m中，每一行代表相同特征点在不同图像中的校正模型，所以其对应的颜色特征是相同的；而每一列代表了同一帧图像上所有相关点的校正模型，假设闪烁是一种全局性的问题，故同一帧图像的c和γ也是相同的；另外，对于同一个特征点可能不会出现在序列中的所有图像中，则在修复矩阵的对应位置将该点的颜色特征值设为0，故修复矩阵m是稀疏的；根据修复模型，只需求取每一帧图对应的c和γ参数值，再对校正修复模型进行逆序计算，即能够修复受损序列。

上述步骤3)中的校正参数获取，需要对构建的修复矩阵进行分解；根据稀疏矩阵分解法，需要对原始矩阵做变形处理，并引入两个满足一定条件的辅助矩阵，通过辅助矩阵的迭代来近似估计矩阵的最优解，从而获取校正参数。

上述的变形处理，将公式(2)修复矩阵两边同时取对数形式，得到通用公式：

log(mij)＝γjlog(cj)+γjlog(ai)⑶

为方便叙述，以下所述的矩阵m均指公式(3)中对数形式的矩阵；记引入的两个辅助矩阵为u和v，经过迭代后，最终的辅助矩阵需要满足m＝uv^t，故是一个m×2的矩阵，其中1是一个m×1全部数据都为1的矩阵；是一个n×2的矩阵，其中⊙表示元素级乘法。

上述的辅助矩阵需要经过迭代才能近似得到满足条件m＝uv^t的最终矩阵；假设在第k次迭代时得到了矩阵(uk,vk)，那么最终目标(u,v)分解为：

(u,v)＝(uk,vk)+(δu,δv)⑷

其中，(δu,δv)是未知增量；采用rmf-mm，即优化最小化鲁棒矩阵分解法迭代更新辅助矩阵，设置两个矩阵的初始值为u＝[a′,1]，其中ai′为颜色特征值；v＝[1,0]；特别地，在最初设置矩阵u时，其第二行初始值定为常量1，因此在每次迭代更新后，还应该重置矩阵第二行为1；通过最终的辅助矩阵，得到图像序列的两组修复参数和

上述步骤4)中的闪烁修复，需分两步进行；对于估计得到的两组校正参数，标记参考帧为ir′，其对应的修复参数为cr和γr；首先针对普通帧，使用其对应的修复参数，进行第一步的颜色一致性校正：

其中ij′表示受损图像，ij表示修复后的图像，且ij′≠ir′，即，参考帧不做任何处理；由于参数的估计结合了序列全部帧的情况，充分考虑了前后帧的连续性，在色调一致性上保持了较高的水准，又因c和γ代表白平衡和非线性伽玛映射参数，常被用来调节单幅图像颜色，假设选用参数cr和γr对参考帧应用式(5)进行计算，能够得到与修复序列中其他图像色调一致的结果；反之，使用cr和γr对序列执行逆运算，实现待修复序列中各帧相对于参考帧的颜色调节，达到老电影“修旧如旧”的目的，故采用如下公式进行第二步颜色恢复性校正：

此处，sj是最终修复后的图像，至此，整个序列修复完毕。

本发明与已有技术相比具有如下特点：

(1)本发明方法实现算法流程清晰、结构完整，实现完成度高；

(2)本发明方法结合了待修复序列前后帧信息，修复结果更加可靠；

(3)本发明方法采用了色彩校正的方案，在没有参考帧的情况下仍然可以进行修复，扩宽了可修复范围。

附图说明

图1是基于稀疏颜色特征的老电影褪色闪烁修复流程图。

图2是老电影序列《金钱梦》的实验结果：(a)原始损毁序列，(b)修复后序列。

图3是老电影序列《金钱梦》的实验统计结果：(a)原始损毁序列rgb均值统计，(b)修复后序列rgb均值统计。

具体实施方式

下面结合附图以及具体实施方式进一步说明本发明。

参见图1，一种基于稀疏颜色特征的老电影褪色闪烁修复方法，具体操作步骤如下：

步骤1)，预处理：将待修复序列进行分镜处理，并为分镜后的每一组子序列选择一帧参考帧；

步骤2)，构建修复矩阵：对子序列图像进行特征点提取，并将特征点进行匹配重组排列，通过特征点的描述符提取图像序列中对应的相关颜色区域，计算其颜色特征，构建稀疏修复矩阵；

步骤3)，获取修复参数：使用稀疏矩阵分解的方法，预估修复模型中的未知校正参数；

步骤4)，闪烁修复：待修复序列中的图像分为参考帧与普通帧，采用两步修复的策略，利用普通帧的校正参数进行颜色一致性校正，再通过参考帧的校正参数进行颜色恢复性校正，最终得到修复后序列。

本实施例序列均选自同一组镜头，故不需要进行分镜处理，但是该序列损毁严重，无法筛选合适的参考帧，选择本序列的第一帧进行颜色校正后作为参考帧，其实施方法如下：

其中，αin、βin表示图像从rgb颜色空间转换到lαβ颜色空间后对应的α与β通道值，αout、βout表示期望获得的通道值，mα、mβ分别对应αin、βin通道的平均值。在得到期望的通道值后，再将图像转回rgb颜色空间，即可得到效果较好的校正参考帧。

上述步骤2)中的构建修复矩阵，需要提取序列中每一帧的特征点并进行前后帧两两匹配，再联合序列中所有图像对匹配后的特征点进行筛选、重组，最后根据重组后的特征点提取相应图像中的图像块，计算其颜色特征后，组成修复矩阵。

上述的特征提取，采用了surf算法，又因为处理的连续的图像序列，前后帧差异小，在进行两两匹配时，存在大量冗余特征点，为提高计算效率，序列中每一帧提取出的特征点仅随机保留一半。再结合多帧图像两两匹配后的结果，筛选出在整个序列中出现次数大于等于3的特征点，并根据特征点的描述符提取出对应图像中的图像块，我们称其为颜色相关区域。该区域的大小为30×30像素，其中心点为特征点。

针对上述的颜色相关区域求取平均值，我们称其为颜色特征，记为a′，并按照特定的规律排列，构建修复矩阵：

其中m代表整个修复矩阵，m表示待修复序列筛选出的特征相关点总数，n表示序列的总帧数。在矩阵m中，第i行第j列的颜色特征表示为a′ij，并且其中，是校正修复模型，ai表示第i个特征点对应的未受损时的颜色特征，cj是第j张图的乘性调整因子(类比于白平衡参数)，而γj代表第j张图的指数调整因子(类比于伽马校正参数)。同时，在矩阵m中，每一行代表相同特征点在不同图像中的校正模型，所以其对应的颜色特征是相同的；而每一列代表了同一帧图像上所有相关点的校正模型，我们假设了闪烁是一种全局性的问题，故同一帧图像的c和γ也是相同的。另外，对于同一个特征点可能不会出现在序列中的所有图像中，则在修复矩阵的对应位置将该点的颜色特征值设为0，故修复矩阵m是稀疏的。根据修复模型，只需求取每一帧图对应的c和γ参数值，再对校正修复模型进行逆序计算，即可修复受损序列。

上述步骤3)中的校正参数获取，需要对构建的修复矩阵进行分解。根据稀疏矩阵分解法，需要对原始矩阵做变形处理，并引入两个满足一定条件的辅助矩阵，通过辅助矩阵的迭代来近似估计矩阵的最优解，从而获取校正参数。

上述的变形处理，主要是对修复矩阵两边同时取对数形式，得到通用公式：

log(mij)＝γjlog(cj)+γjlog(ai)⑶

为方便叙述，以下所述的矩阵m均指公式(3)中对数形式的矩阵。记引入的两个辅助矩阵为u和v，经过迭代后，最终的辅助矩阵需要满足m＝uv^t，故是一个m×2的矩阵，其中1是一个m×1全部数据都为1的矩阵；是一个n×2的矩阵，其中⊙表示元素级乘法。

上述的辅助矩阵需要经过多次迭代才能满足条件，得到最终想要的结果。假设在第k次迭代时我们得到了矩阵(uk,vk)，那么最终目标(u,v)即可分解为：

(u,v)＝(uk,vk)+(δu,δv)⑷

其中，(δu,δv)是未知增量。采用rmf-mm(优化最小化鲁棒矩阵分解法)迭代更新辅助矩阵，设置两个矩阵的初始值为u＝[a′,1]，其中ai′为上述的颜色特征值；v＝[1,0]。特别地，在最初设置矩阵u时，其第二行初始值定为常量1，因此在每次迭代更新后，还应该重置矩阵第二行为1。通过最终的辅助矩阵，我们得到了图像序列的两组修复参数和

上述步骤4)中的闪烁修复，需分两步进行。对于估计得到的两组校正参数，标记参考帧为ir′，其对应的修复参数为cr和γr。首先针对普通帧，使用其对应的修复参数，进行第一步的颜色一致性校正：

其中ij′表示受损图像，ij表示修复后的图像，且ij′≠ir′，即，参考帧不做任何处理。由于参数的估计结合了序列全部帧的情况，充分考虑了前后帧的连续性，在色调一致性上保持了较高的水准，又因c和γ代表白平衡和非线性伽玛映射参数，常被用来调节单幅图像颜色，假设选用参数cr和γr对参考帧应用式(5)进行计算，能够得到与修复序列中其他图像色调一致的结果；反之，使用cr和γr对序列执行逆运算，便可实现待修复序列中各帧相对于参考帧的颜色调节，达到老电影“修旧如旧”的目的，故采用如下公式进行第二步颜色恢复性校正：

此处，sj是最终修复后的图像。至此，整个序列修复完毕。

下面结合具体的实例说明本发明方法的可行性，详述如下：

本实施例测试了老电影《金钱梦》共计40帧图像序列，如图2所示，在影片的原始序列中，存在着比较强烈的红色褪色闪烁，从展示的6帧连续画面中，明显看出影片颜色从正常到偏红再到正常的一个过程，而修复后的序列颜色稳定，红色偏色现象明显消失。在图3的rgb均值统计中，未修复的序列曲线波动明显，以红色通道为例，波动差值接近9，而在修复后的统计图中，rgb曲线明显平稳，波动差值控制在了3以内，客观说明本发明方法对褪色闪烁的有效性。

本领域技术人员可以理解附图只是一个优选实施例的示意图，尽管以上对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，所述仅为本发明的较佳实施例，并不用以限制本发明。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。