一种视频着色的方法及系统与流程

本发明涉及计算机视觉、人工智能领域，尤其是涉及一种视频着色的方法及系统。

背景技术：

基于卷积神经网络、生成式对抗网络的图像着色方法。这类方法主要原理是通过收集大量彩色图像及其去色后的图像，通过训练神经网络，从去色后的图像尝试恢复其原有色彩。

一些早期拍摄的经典影片，比如《罗马假日》，受当时技术条件限制，影片是没有颜色的。专业的影视工作人员使用专业的工具(比如photoshop)逐帧进行着色

1.着色效果非常依赖训练用的数据，造成部分目标的着色效果很差。比如：如果训练样本里鲜花的样本很少，那么使用的时候，鲜花的着色效果会非常差；

2.不能自定义需要上的颜色。比如训练样本里的衣服多为红色，那么着色后的衣服只能为红色；

3.在视频着色时，帧与帧之间的差异很大，视觉上感到闪烁、不连贯。比如同一件衣服，上一帧恢复为深蓝色，下一帧可能恢复成深灰色，视觉体验会很差；

4.非常依赖专业人员的专业技能，技术难度比较大；

5.效率非常低下。

技术实现要素：

1、本发明的目的

本发明主要为了解决老旧或者效果很差的视频没有颜色或颜色暗淡的问题，现有技术中用很复杂的卷积神经网络，导致结果不稳定；采用专业工具效果好但效率低，而本发明提出了一种视频着色的方法及系统，提高这些影片的观影感受，对影片快速高质量的上色。

2、本发明所采用的技术方案

本发明公开了一种视频着色的方法，包括：

把原始视频拆分成图片步骤；

根据图片相似度分组步骤，先计算图片之间的相似度，把相似的图片分为一组；

每组图片设置一个调色板步骤；

给图片手动标记颜色步骤，调用全景分割算法，把图片划分为不同区域，然后为每个区域手动标记一种颜色步骤；

调用着色功能，对图片上色步骤；

着色后的图片合并为视频步骤。

优选的，利用python的opencv模块读取视频，然后以图片格式存储。

优选的，考虑到相似的图片颜色也应该相似，为了方便后续的着色，图片相似度的计算方法：

步骤1.设定一个阈值；

步骤2.相邻的两张图片相减，结果再求均值；

步骤3.结果与阈值比较，小于阈值认为两张图片比较相似，归为一组，然后把第二张图与其后面相邻的图片重复步骤2和3；

步骤4.如果结果大于阈值，第二张图归为下一组，重复步骤2,3,4；直到所有图片全部分组。

优选的，每组图片设置一个调色板：根据该组图片的内容，设置调色板，包括头发、皮肤、栏杆、衣服、环境的颜色。设置调色板既可以保证着色的稳定(保证同一个物品在不同图片颜色一致)，又可以加速着色(不用每张图片单独挑选颜色)。

优选的，调色板的设置方法：选择一幅或者多幅彩色图(本发明中选择的是与待上色图片内容相似的彩色图)，使用带有提色功能的软件(本发明使用的是photoshop)，提取彩色图中感兴趣区域的颜色，作为调色板中的颜色。

优选的，给图片手动标记颜色步骤：

使用设置的调色板，手动为每组图片的每个区域标记颜色，比如在图片的头发区域标记调色板中的发色；

调用全景分割算法，把图片划分为不同区域；其中，不同颜色只代表不同的区域，并不表示这个区域需要填充的颜色；然后为每个区域手动标记一种调色板中的颜色，该颜色为最终上的颜色。

优选的，步骤1、取一张待着色的图片，并手动标记颜色；

步骤2、两张图片都从rgb转为yuv颜色空间，提取原图的y通道和标记图的u、v通道；

步骤3、扫描原图y通道的每一个像素，以标记图片对应位置的标记值作为约束条件，构建稀疏矩阵；

步骤4、求解稀疏矩阵；

步骤5、将u、v代入原图，转换回原rgb颜色空间。

优选的，给图片手动标记颜色步骤：调用着色功能，对图片上色：根据对于相邻的两个像素，如果其亮度比较相似，那么其颜色也应该相似，手动标记颜色的图片得到最终的彩色图片。

本发明公开了一种视频着色的系统，包括存储器和处理器，存储和交互所述的方法。

3、本发明所采用的有益效果

(1)本发明的给图片手动标记颜色步骤：调用着色功能，对图片上色：由于对于相邻的两个像素，如果其亮度比较相似，那么其颜色也应该相似，从手动标记颜色的图片得到最终的彩色图片。

(2)本发明的基于相似的图片颜色亮度应该相似，为了方便后续的着色，采用图片相似亮度的计算方法：

(3)本发明设置调色板既可以保证着色的稳定，保证同一个物品在不同图片颜色一致，又可以加速着色，不用每张图片单独挑选颜色。

(4)本发明使用了全景分割算法，自动将图片划分为不同区域，然后再为每个区域指定一种颜色，极大的减少了人工、提高了着色的效率。

(5)本发明对于相邻的两个像素，如果其亮度比较相似，那么其颜色也应该相似；通过全局最优化将手动标记的颜色扩展到全图，即给定一个y通道的图像，恢复出图像的u,v通道。

(6)本发明通过调用全景分割算法，把图片划分为不同区域，给经典影片上色或者更换颜色，让这些经典影片重新焕发活力；

(7)本发明通过提高着色效率、降低着色的使用难度，从而降低视频着色的成本。

附图说明

图1为调色板；

图2为原始灰度图；

图3为全景分割结果图；

图4为结果图。

具体实施方式

下面结合本发明实例中的附图，对本发明实例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

下面将结合附图对本发明实例作进一步地详细描述。

实施例1

本发明总体分为：1)把原始视频拆分成图片如图2；2)图片分组；3)每组图片设置一个调色板；4)给图片手动标记颜色；5)调用着色功能，对图片上色；6)着色后的图片合并为视频。

1)把原始视频拆分成图片：

利用python的opencv模块读取视频，然后以图片格式写入电脑磁盘。

2)图片分组：

考虑到相似的图片颜色也应该相似，为了方便后续的着色，我们先计算图片之间的相似度，把相似的图片分为一组。

相似度的计算方法：1.设定一个阈值；2.相邻的两张图片相减，结果再求均值；3.结果与阈值比较，小于阈值认为两张图片比较相似，归为一组，然后把第二张图与其后面相邻的图片重复步骤2和3；4.如果结果大于阈值，第二张图归为下一组，重复步骤2,3,4。直到所有图片全部分组。

3)每组图片设置一个调色板：

如图1，根据该组图片的内容，设置调色板，例如头发、皮肤、栏杆、衣服等颜色。设置调色板既可以保证着色的稳定(保证同一个物品在不同图片颜色一致)，又可以加速着色(不用每张图片单独挑选颜色)。

调色板的设置方法：选择一幅或者多幅彩色图(本发明中选择的是与待上色图片内容相似的彩色图)，使用带有提色功能的软件(本发明使用的是photoshop)，提取彩色图中感兴趣区域的颜色，作为调色板中的颜色。

4)图片手动标记颜色：

使用步骤3的调色板，手动为每组图片的每个区域标记颜色，比如在图片的头发区域标记调色板中的发色。

如图3，调用全景分割算法，把图片划分为不同区域，结果如图3所示。其中，不同颜色只代表不同的区域，并不表示这个区域需要填充的颜色。然后为每个区域手动标记一种调色板中的颜色，该颜色为最终需要上的颜色。

全景分割为图像中每个像素点赋予类别label和实例id，生成全局的、统一的分割图像。

全景分割算法主要步骤：

1.取一张待着色的图片，并手动标记颜色；

2.两张图片都从rgb转为yuv颜色空间，提取原图的y通道和标记图的u、v通道；

3.扫描原图y通道的每一个像素，以标记图片对应位置的标记值作为约束条件，构建稀疏矩阵；

4.求解稀疏矩阵；

5.将u、v代入原图，转换回原rgb颜色空间；

5)调用着色功能，对图片上色：

基于相似颜色亮度相似，手动标记颜色的图片得到最终的彩色图片。

6)着色后的图片合并为视频。

本发明使用了全景分割算法，自动将图片划分为不同区域，然后再为每个区域指定一种颜色，极大的减少了人工、提高了着色的效率。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。