一种利用层分解对图像和视频进行交互式颜色编辑的方法与流程

技术特征：

1.一种利用层分解对图像和视频进行交互式颜色编辑的方法，其特征在于，主要包括层颜色(一)；超像素分割(二)；能量函数(三)；计算单个像素权重(四)；交互式颜色重建(五)。

2.基于权利要求书1所述的层颜色(一)，其特征在于，由于人们在重组一个图像的颜色时也许有不同的目标，使用者可指定一个调色板或者使用自动调色板，自动调色板可提供一个有用的起始点，且能使颜色自动重组，为给可能的颜色空间提供直观的掌控，本方法模型可匹配人们从图像中提取的色板，基于颜色重建平均误差，为此模型添加一个惩罚项，此处，像素误差由测量像素颜色和调色板凸包之间的距离而得。

3.基于权利要求书1所述的超像素分割(二)，其特征在于，利用邻近像素之间的高相关性，通过更小数量的超像素(超体素)求出层权重，然后用邻近超像素的一个线性组合计算出每个像素的层解决方案，为计算超像素，伴随迭代k-均值重新定义中心，通过手动指定超像素S的数量，且初始化每个超像素S到一个随机种子位置，此时超像素由种子区域生长算法(SRG)算出，且它们的重心和颜色被用作下一次SRG迭代的种子，做5次K-means迭代，关于超像素，我们通过6-连接来定义邻近像素：4个空间相邻像素和2个时间相邻像素，从每个超像素里，计算出了一个6维特征向量(r，g，b，x，y，t)，此向量是通过连接平均像素颜色和超像素的时空重心形成的，颜色、空间和时间坐标归一化在0和1之间，且通过重要性重新计算权重。

4.基于权利要求书1所述的能量函数(三)，其特征在于，计算一系列的单个像素层的贡献L_j∈L，此处，L_j是一个S×1列向量，此向量将层j的贡献传递给每个超像素，且L是(SN)×1列向量，此向量通过连接所有的L_j形成，为了量化定义一个好的层的构成，在超像素层贡献L方面，最小化了一个能量函数Θ(L)，Θ(L)是4个项的权重总和：

Θ(L)＝λ_mM(L)+λ_rR(L)+λ_uU(L)+λ_eE(L) (1)

这4个项分别是流型一致性M(L)、图像重建R(L)、一致性U(L)以及显式约束E(L)，Θ(L)是L的一个二次函数，其可以通过求一个线性系统：

$\left({\mathrm{\λ}}_m{\left(I-M\right)}^T\right(I-M)+{\mathrm{\λ}}_r{R}^{T}R+{\mathrm{\λ}}_u{U}^{T}U+{\mathrm{\λ}}_e{E}^{T}E)L={\mathrm{\λ}}_r{R}^{T}B+{\mathrm{\λ}}_u{U}^T\hat{1}+{\mathrm{\λ}}_e{E}^{T}T---\left(2\right)$

从而得到最小化Θ(L)。

5.基于权利要求书4所述的流型一致性，其特征在于，层贡献应该是局部一致的，因为相邻且相似的超像素应该有相似的层分解，此流型由局部线性嵌入决定，将每个超像素s_i的颜色说成是它的K_s系邻近超像素的颜色的线性组合：

$\left|\right|Ccolor\left(s_i\right)-\underset{j=1}{\overset{k_s}{\Σ}}color\left(s_{ij}\right)|{|}^2---\left(3\right)$

求出权重w_ij且用一个S×S超像素流型矩阵W表示，流型一致性术语就是：

$\begin{array}{c}M\left(L\right)=\underset{j=1}{\overset{N}{\Σ}}\left|\right|(I_S-W)L_j|{|}^2\\ =\left|\right|(I_{sn}-M)L|{|}^2\end{array}---\left(4\right)$

此处I_n是n×n恒等矩阵，M是一个块对角矩阵：

此矩阵总尺寸为SN×SN。

6.基于权利要求书4所述的图像重建，其特征在于，当层和其颜色相乘并求和时，色层应重新创建原图像，利用图像重建误差的平方：

$\begin{array}{c}R\left(L\right)=\underset{d\∈(r,g,b)}{\Σ}\left|\right|\underset{j=1}{\overset{N}{\Σ}}\left(c_{dj}{L}_j\right)-B_d|{|}^2\\ =\left|\right|RL-B|{|}^2\end{array}---\left(6\right)$

此处，B_d是通道d超像素颜色的S×1向量，c_dj是j层颜色的通道d，R是整体尺寸为3S×(SN)的块矩阵：

$R=\left(\begin{array}{cccc}{c}_{r1}{I}_s& c_{r2}{I}_s& \mathrm{...}& c_{rN}{I}_s\\ c_{g1}{I}_s& c_{g2}{I}_s& \mathrm{...}& c_{gN}{I}_s\\ c_{b1}{I}_s& c_{b2}{I}_s& \mathrm{...}& c_{bN}{I}_S\end{array}\right)---\left(7\right)$

且B是所有B_d的连接。

7.基于权利要求书4所述的一致性，其特征在于，把每个超像素的层贡献归结为一，来帮助总贡献规范化，这个总贡献能影响一个单一超像素，形式为：

$UL=\left|\right|UL-\hat{1}|{|}^2---\left(8\right)$

此处，是列向量当中的一个S×1列向量，U是一个S×(SN)标识矩阵，此矩阵的行和超像素对应，

$U_{ij}=\left\{\begin{array}{cc}1& ifj-i\≡0\left(\mathrm{mod}S\right)\\ 0& ifj-i\≠0\left(\mathrm{mod}S\right)\end{array}\right.---\left(9\right)$

同时，在每个列索引里的超像素和那个像素的层贡献对应如上。

8.基于权利要求书4所述的显示约束，其特征在于，某些情况下，来自使用者的、表明所提供的层应该贡献于一个所提供的图像区域的一些提示，可以帮助创造一个更好的层，例如，这些提示能把相似地建色但是语义上不同的区域分开，在设定C使用者约束的情况下，在层贡献偏离使用者约束时惩罚层贡献：

E(L)＝‖EL-T‖² (10)

此处，E是一个C×(SN)指示矩阵，此矩阵将用户设定的超像素层贡献从L里选出，T是一个长度C向量，包含用户设定的目标值，当用户没有设定层贡献约束时，算法会自动地用非常相似的颜色为每个层把约束加到像素里，这样能在许多的图像里达成层之间更好的分离，对于有独立区域、有着相似颜色的、更复杂的图像，由用户设定的约束就需要更好的分离这些区域。

9.基于权利要求书1所述的计算单个像素权重(四)，其特征在于，使用局部线性嵌入的概念，从单个超像素层贡献L推出单个像素层贡献X，通过为每个像素计算一系列K_p型最近相邻超像素开始，一个像素和一个超像素之间的距离就通过利用6维超像素特征向量和每个像素的对应值之间的距离算出，下一步，将每个像素的颜色说成它的K_p系相邻超像素的颜色的线性组合，确切地，对于像素p_i，

$\left|\right|color\left(p_i\right)-\underset{j=1}{\overset{K_p}{\Σ}}{q}_{ij}Color\left(s_{ij}\right)|{|}^2---\left(11\right)$

通过最小化对象至约束：来计算权重q_ij，用一个P×S matrix Q，代表所有的q_ij的这个系列，最后，通过简单的矩阵乘法：

X_j＝QL_j (12)

对于层贡献，由于迭代负抑制会正确地重建图像且会产生另外一个类似分层，且对于4000超像素，无约束线性解决方案只需花费几秒，故利用迭代负抑制的4个迭代来绑定层贡献的大小。

10.基于权利要求书1所述的交互式颜色重建(四)，其特征在于，输入图像或视频，通过上述层分解算法，利用新的调色板来颜色重建一个图像或视频帧，并对调色板变化进行实时反馈，帮助用户在编辑图像和视频时产生更直观的视觉效果，从而实现交互式颜色重建。