基于调色板和凸包变形的图像重着色方法

本发明涉及图像处理的，尤其是指一种基于调色板和凸包变形的图像重着色方法。

背景技术：

1、图像重着色是图像处理研究的一个重要问题，在工业设计和影视制作等领域有广泛应用。基于调色板的图像重着色具有操作简单、富有表现力的特点。这类方法通常分为三步：1、构造调色板；2、分解图像；3、编辑调色板，得到重着色图像。

2、调色板是代表图像主要颜色的一组颜色集合。从调色板构造的角度，基于调色板的方法可分为两类，一类是对图像颜色聚类，将聚类中心作为调色板。这类方法受限于聚类的特性，会导致调色板的颜色暗淡且冗余。另一类是构造图像在颜色空间中的凸包，将凸包顶点作为调色板，这类方法近期尤其受到关注。然而，现有方法构造凸包时，意图包含所有像素，导致凸包不够紧凑，影响了编辑的直观性，并产生不忠实的着色结果。

技术实现思路

1、本发明的目的在于克服现有技术的缺点与不足，提出了一种基于调色板和凸包变形的图像重着色方法，引入“辅助顶点”的概念，使凸包更紧凑，缓解了凸包顶点缺乏代表性的问题，同时提高了图像重构的精度，进一步可实现更直观和精确的下游应用。

2、为实现上述目的，本发明所提供的技术方案为：基于调色板和凸包变形的图像重着色方法，包括以下步骤：

3、1)构造输入图像在rgb颜色空间的凸包，对凸包顶点聚类，并通过聚类中心投影的方式从凸包顶点中挑选调色板；

4、2)从调色板颜色以外的凸包顶点中挑选辅助颜色，与调色板颜色一起构成紧密凸包；

5、3)将紧密凸包剖分为多个多面体的集合，并计算像素所在的多面体,用该多面体顶点的均值坐标对像素进行分解；

6、4)改变调色板颜色，通过凸包的刚性变形带动辅助点移动，实现图像重着色。

7、进一步，所述步骤1)包括以下步骤：

8、1.1)构造图像在rgb颜色空间的凸包，用i＝{i(x,y)∈r3,1≤x≤nx,1≤y≤ny}表示尺寸为nx×ny的输入图像，nx表示输入图像的宽，ny表示输入图像的高，i(x,y)表示在输入图像i中坐标为(x,y)的像素的颜色值，也表示rgb三维颜色空间中的一个点；因此，输入图像i也被看作是在rgb颜色空间中的点云；

9、构建点云i的凸包用c表示凸包的顶点集合；获取顶点集合c的方法是将一组单位向量在点云i上的支撑点作为c中的顶点，表示为：

10、

11、式中，是指在3d单位球体采样得到的第j个单位向量，n表示单位向量的个数，是一个经验值；e表示点云i中的一个点，ci表示c中的第i个顶点，也即单位向量在点云i中的支撑点；由于点云分布不均匀，存在多个单位向量对应一个支撑点ci的情况，因此i≤j；

12、1.2)对凸包顶点聚类并提取调色板，其中调色板用p表示，pk表示调色板中的第k个颜色，表示由调色板构造的凸包；给定调色板大小p，在c上执行k-means聚类，类别的数目为k，k＝|p|；聚类之后，在子簇中找到一个中心投影点作为调色板颜色；假设是c的子簇之一，表示为ck中顶点对应单位向量的平均值，再次通过计算支撑点的方法来找到ck的中心投影点pk：

13、

14、式中，pk既是平均单位向量在顶点集合ck中的支撑点，即ck的中心投影点，也是调色板p中的第k个颜色，c表示点集ck中的一个点；通过这种方式，调色板p中的颜色直接来自图像i的像素。

15、进一步，在步骤2)中，从调色板以外的凸包顶点集合c-p中选取辅助颜色，与p一同构成新的凸包；用a来表示选取的辅助颜色的集合，表示新的凸包顶点的集合，表示以为顶点的凸包；

16、根据子簇ck在上的重构误差来确定从哪个子簇挑选辅助颜色，重构误差定义为：

17、

18、式中，c表示点集ck中的一个点，表示c到凸包的距离，当c在里面时，取0，当c在外面时，取c到表面的最近距离；选择使重构误差取值最大的簇，使用k-means算法将其分裂为两个子簇，从与调色板p不相交的子簇中，使用步骤1)中的投影方法选取中心投影点作为第一个辅助颜色a0；重复分裂的操作，直到重构误差小于阈值η。

19、进一步，所述步骤3)包括以下步骤：

20、3.1)对紧密凸包进行剖分：首先，计算点其中pb,pw∈p是p中分别最接近白色和黑色的两个点，pm是线段pbpw的中点；然后通过连接pm和p的所有顶点，将p的内部区域划分为t个四面体，t同时也表示p表面的三角面片数；用δpipjpk表示凸包上的一个三角面片，四面体tijk＝(pm,pi,pj,pk)由pm和δpipjpk构成，扩展四面体tijk的三个边pmpi、pmpj和pmpk，使其在的表面网格上切割出一个多面体qijk；用这种方式将p上的所有三角面片数都切割开，最终剖分出一组多面体q＝{qijk,δpipjpk∈p}；

21、3.2)将i表示为q中顶点颜色的混合，对于每个像素i(x,y)，首先找到包含它的qijk，然后计算其相对于qijk的顶点的均值坐标

22、

23、式中，q表示qijk的顶点，qijk由点pm和中的点组成，其中pm定义为中的两点的平均值，这意味着最终能够通过将pm替换为的相应顶点的加权和来分解i(x,y)为的混合：

24、

25、写成矩阵形式：

26、

27、这里是点集中的点，是所谓的alpha图层。

28、进一步，在步骤4)中，改变调色板颜色，对凸包实施arap网格变形，带动辅助点移动，得到新的网格中的辅助颜色不能由用户直接更改，而是被动地通过arap网格变形来获得新的颜色；最终产生了以下重着色的新图像i′：

29、

30、式中，表示变形后的网格的顶点集合，是集合中的顶点，包括编辑后的调色板p′以及辅助颜色a。

31、本发明与现有技术相比，具有如下优点与有益效果：

32、1、本发明首次在凸包中引入辅助顶点，这样可以在保证调色板代表性的同时扩大凸包以将更多像素包含到凸包中，从而输入图像提供任意程度的重建能力。

33、2、本发明首次引入几何模型变形方法驱动紧密凸包几何形状变形，使得辅助点能在调色板颜色的几何约束下产生一致性移动。

34、3、本发明方法在图像重着色任务中具有广泛的使用空间，操作简单、适应性强，具有广阔的应用前景。

技术特征：

1.基于调色板和凸包变形的图像重着色方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于调色板和凸包变形的图像重着色方法，其特征在于，所述步骤1)包括以下步骤：

3.根据权利要求2所述的基于调色板和凸包变形的图像重着色方法，其特征在于，在步骤2)中，从调色板以外的凸包顶点集合c-p中选取辅助颜色，与p一同构成新的凸包；用a来表示选取的辅助颜色的集合，表示新的凸包顶点的集合，表示以为顶点的凸包；

4.根据权利要求3所述的基于调色板和凸包变形的图像重着色方法，其特征在于，所述步骤3)包括以下步骤：

5.根据权利要求4所述的基于调色板和凸包变形的图像重着色方法，其特征在于：在步骤4)中，改变调色板颜色，对凸包实施arap网格变形，带动辅助点移动，得到新的网格中的辅助颜色不能由用户直接更改，而是被动地通过arap网格变形来获得新的颜色；最终产生了以下重着色的新图像i′：

技术总结
本发明公开了一种基于调色板和凸包变形的图像重着色方法，包括：1)构造输入图像在RGB颜色空间的凸包，对凸包顶点聚类，并通过聚类中心投影的方式从凸包顶点中挑选调色板；2)从除调色板颜色以外的凸包顶点中挑选辅助颜色,与调色板颜色一起构成紧密凸包；3)将紧密凸包剖分为多个多面体的集合，并计算像素所在的多面体，用该多面体顶点的均值坐标对像素进行分解；4)改变调色板颜色，通过凸包的刚性变形带动辅助点移动，实现图像重着色。本发明引入了“辅助颜色”的概念，提出了一种误差递减的凸包构造方法来使凸包更加紧凑，缓解了凸包顶点缺乏代表性的问题，同时提高了图像重构的精度，进一步可实现更直观和精确的下游应用。

技术研发人员：李桂清,孙奇伟,聂勇伟,张青
受保护的技术使用者：华南理工大学
技术研发日：
技术公布日：2024/1/13