一种基于纹理缝合的图像十字绣风格化方法及装置与流程

本发明涉及图像处理领域，更具体地，涉及一种基于纹理缝合的图像十字绣风格化方法及装置。

技术背景

十字绣是一种具有悠久历史的传统民族刺绣方法，受人喜爱。它采用专门的绣线和十字格布，利用经纬交织的搭十字的方法，对照专用的坐标图案，即绣谱，进行刺绣。但是一张十字绣的完整创作的周期很长，先选取图案，再划分网格，然后人工逐网格地选取绣线和针法，提取绣谱。最后是根据这张人工制作好的绣谱进行十字绣绣制，直到绣制完成才能看到最终的效果。这个过程，特别是绣谱提取的步骤，不仅工作量大，并且很枯燥，容易出错，反馈时间也很长。

虽然现在市面上已经有十字绣软件，如pmaker、pcstitch，它们可以用来辅助十字绣绣谱的创作。但是它们本质上更像是一个画图工具。它们提供分网格的画布，然后让用户在给定颜色的画板上选择颜色，用以绘制修谱。它本质上还是需要用户自己进行图案的抽象化以及逐格子的修谱创作，只是将传统的在网格纸上的创作改成在软件提供的网格画布上进行创作。本质上还是一个大量消耗人力的人工创作过程。

常规的图像风格化都在研究油画、水彩画、素描画等的模拟。暂无一套方法可以直接用来进行图像十字绣风格化。十字绣风格的图像与其他常规风格化图像有一些比较相似的地方，他们都强调图案内容的抽象化，非真实。但十字绣风格的图像也具有一些很明显和独特的特点。例如，十字绣的创作常常只会使用少量种类的绣线，并且这些绣线的颜色种类也是有限的，不像其他风格化那样图像颜色可以包含整个颜色空间。并且十字绣创作所使用的材质为经纬相交的白色底布和扭缠明显的颜色绣线，整幅图像会体现出独特的光照效果，颜色具有较强的饱和度，光照跳跃明显，质地上体现出一种很强的颗粒感。所以，我们不能很方便的直接套用常规的一些风格化方法来进行十字绣风格化图像的合成。

技术实现要素：

本发明的目的在于克服现有技术的不足，首先提出了一种基于纹理缝合的图像十字绣风格化方法。它可以对图像进行风格化处理，合成具有十字绣风格的图像，这样人们就能够在开始绣制前得到大致的视觉反馈，了解绣制后的十字绣的大致外观。并且，在风格化处理的过程中，还能够自动化的提取出该幅十字绣的绣谱，从而减去了设计师的一些枯燥繁冗的劳动，大大加快了创作过程。

本发明还提出一种基于纹理缝合的图像十字绣风格化装置。

为了实现上述目的，本发明的技术方案为：

一种基于纹理缝合的图像十字绣风格化方法，所述方法包括：

s1、抽象化输入图像，获得抽象化图像；

s2、对抽象化图像进行背景剔除操作，获得背景遮蔽图和抽象化前景图；

s3、对抽象化前景图进行颜色简化及规范化处理，获得颜色规范化图像；

s4、对颜色规范化图像进行绣谱提取操作，获得十字绣绣谱图；

s5、对十字绣绣谱图进行绣谱指导的纹理合成处理，获得十字绣风格图。

采用上述技术方案后，可以将一张普通的图片转变为具有十字绣风格的图像，即对一张普通的图片进行风格化处理，合成具有十字绣风格的图像，这样人们就能够在开始绣制前得到大致的视觉反馈，了解绣制后的十字绣的大致外观。并且，在风格化处理的过程中，还能够自动化的提取出该幅十字绣的绣谱，从而减去了设计师的一些枯燥繁冗的劳动，大大加快了创作过程。

优选的，所述步骤s3对抽象化前景图进行颜色简化及规范化处理，具体过程为：

对抽象化前景图进行颜色聚类处理，获得颜色简化图像；

将颜色简化图像中的颜色与绣线颜色库中的颜色进行最近颜色匹配处理，获得颜色规范化图像。

采用上述优选的技术方案，可以将抽象化前景图的颜色种类规范化到绣线颜色库的范围，从而有利于后面绣谱的提取。

优选的，所述步骤s4对颜色规范化图像进行绣谱提取操作，其具体过程为：

s41、提取颜色规范化图像的目标颜色，获得绣线表头；

s42、结合背景遮蔽图，将颜色规范化图像进行网格化，获得针法图；

s43、对绣线表头和针法图进行处理，获得十字绣绣谱图。

采用上述优选的技术方案，可以准确地提取十字绣绣谱图，从而可以了解之后的绣谱的合成。

优选的，所述步骤s5对十字绣绣谱图进行绣谱指导的纹理合成处理，具体过程为：

s51、制作绣谱基元库，所述基元库包括基元以及与所述基元对应的基元遮蔽图；

s52、对十字绣绣谱图进行网格划分，获得对应于每个网格的绣线表头及针法图；

s53、对十字绣绣谱图中的每个网格，结合其绣线表头及针法图，使用基元库中的基元，获得基元简单拼接的十字绣风格图；

s54、对基元简单拼接的十字绣风格图，使用基元缝合处理方法，缝合基元之间的边界，获得十字绣风格图。

采用上述优选的技术方案，可以合成更加自然的绣谱纹理，从而生成效果更好的十字绣风格图。

优选的，所述步骤s53对十字绣绣谱图中的每个网格，结合其绣线表头及针法图，使用基元库中的基元，获得基元简单拼接的十字绣风格图，其过程为：

s531、根据十字绣绣谱中网格的针法图，在基元库中找出对应的基元，获得源基元图；

s532、根据十字绣绣谱中网格的绣线表头，查找绣线颜色库，获得目标颜色；

s533、根据源基元图及目标颜色，使用颜色重构方法，获得目标基元图；

s534、对十字绣绣谱中每个网格都进行步骤s531至s533处理，获得基元简单拼接的十字绣风格图。

采用上述优选的技术方案，可以获得网格排列自然且紧密的简单拼接十字绣风格图。

优选的，所述步骤s533根据源基元图及目标颜色，使用颜色重构方法的过程包括：

对源基元图进行颜色聚类，根据每个种类的目标颜色，获得初始landmark点集；

以landmark点集作为输入，使用以下公式获得u颜色通道值，

其中，表示源基元灰度图在u颜色通道的能量值，r表示源基元灰度图像素值，u(r)表示像素r的u颜色通道值，n(r)表示r像素的邻像素，wrs是和为1的一个权值函数，u(s)是r像素的邻像素s的u颜色通道值；

对v通道做与u通道相同的处理，获得v颜色通道值；

结合u颜色通道值，v颜色通道值，将源基元的灰度图，获得重构彩色基元图；

根据重构彩色基元图与源基元图，对原始的landmark点集进行处理，获得最终的landmark点集；

使用最终的landmark点集，再一次对源基元灰度图进行uv颜色通道重建，获得目标基元图。

采用上述优选的方案，可以获得与目标颜色一致的基元图。

优选的，所述步骤s54对基元简单拼接的十字绣风格图，使用基元缝合处理方法，缝合基元之间的边界，其具体过程包括：

s541、对基元简单拼接的十字绣风格图，使用大规模基元优先匹配方法，获得基元匹配图；

s542、对基元匹配图，使用排序的l字形缝合方法，获得初步缝合结果图；

s543、对初步缝合结果图，使用接缝基元替换方法，获得十字绣风格图。

采用上述优选的方案，可以获得不同纹理之间过渡自然的十字绣风格图。

一种基于纹理缝合的图像十字绣风格化装置，所述装置包括：

抽象化模块，用于抽象化输入图像，获得抽象化图像；

背景剔除模块，用于剔除抽象化图像的背景，获得背景遮蔽图和抽象化前景图；

颜色简化及规范化模块，用于对抽象化前景图进行颜色简化及规范化处理，获得颜色规范化图像；

绣谱提取模块，用于对颜色规范化图像进行绣谱提取操作，获得十字绣绣谱图；

纹理合成模块，用于对十字绣绣谱图进行绣谱指导的纹理合成处理，获得十字绣风格图。

优选的，所述颜色简化及规范化模块包括：

颜色聚类模块，用于对抽象化前景图进行颜色聚类处理，获得颜色简化图像；

颜色匹配模块，用于将颜色简化图像中的颜色与绣线颜色库中的颜色进行最近颜色匹配处理，获得颜色规范化图像。

优选的，所述绣谱提取模块包括：

绣线表头模块，用于提取颜色规范化图像的目标颜色，获得绣线表头；

针法图模块，用于结合背景遮蔽图，将颜色规范化图像进行网格化，获得针法图；

绣谱生成模块，用于对绣线表头和针法图进行处理，获得十字绣绣谱图。

优选的，所述纹理合成模块包括：

绣谱基元库模块，用于制作绣谱基元库，所述基元库包括基元以及与所述基元对应的基元遮蔽图；

绣谱信息提取模块，用于对十字绣绣谱图进行网格划分，获得对应于每个网格的绣线表头及针法图；

基元缝合模块，用于对十字绣绣谱图中的每个网格，结合其绣线表头及针法图，使用基元库中的基元，获得基元简单拼接的十字绣风格图；再对基元简单拼接的十字绣风格图，使用基元缝合处理方法，缝合基元之间的边界，获得十字绣风格图缝合基元，获得最终的十字绣风格图。

本发明的特点及有益效果为：

1)简化了十字绣的创作过程，帮助人们进行十字绣的创造更丰富的十字绣作品；

2)降低十字绣制作成本，从而可以降低十字绣售价；

3)可以实现十字绣批量生产，降低十字绣的制作周期，减少重复劳动。

4)降低制作十字绣的技术门槛，使得普通人也能制作出精美的十字绣。

附图说明

图1为基于纹理合成的图像十字绣风格化方法的流程示意图；

图2为基于纹理合成的图像十字绣风格化装置示意图；

图3为基元图库示意图；

图4为接缝基元示意图；

图5为基元简单拼接的十字绣风格图示意图；

图6为十字绣风格化效果图。

具体实施方法

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施仅仅用以解释本发明，并不用于限定本发明。

图1是基于纹理合成的图像十字绣风格化方法示意图。如图1所示，该方法包括：

s1、图像抽象化，获得抽象化图像。具体来说，先对图像进行l0smoothing处理，获得初步抽象化图像；再将初步抽象化图像进行双边滤波处理，获得最终的抽象化图像。

s2、对抽象化图像进行背景剔除操作，获得背景遮蔽图和抽象化前景图。具体来说，对抽象化图像，使用grabcut方法，获得背景遮蔽图和抽象化前景图。

s3、对抽象化前景图进行颜色简化及规范化处理，获得颜色规范化图像。具体来说，包括两个步骤：1、对抽象化前景图进行颜色聚类处理，获得颜色简化图像；2、对颜色简化图像中的颜色与绣线颜色库中的颜色进行最近颜色匹配处理，即先对颜色简化图像中每一种颜色类别，分别求出每个类别的rgb均值，获得每一个颜色类别的目标颜色，再将每一个类别的目标颜色，映射到与之最接近的绣线颜色库中的颜色，最终获得颜色规范化图像。

s4、对颜色规范化图像进行绣谱提取操作，获得十字绣绣谱图。具体来说，包括三个步骤：1、提取颜色规范化图像的目标颜色，获得绣线表头；2、结合背景遮蔽图，将颜色规范化图像进行网格化，获得针法图；3、对绣线表头和针法图进行合成处理，获得十字绣绣谱图。

s5、对十字绣绣谱图进行绣谱指导的纹理合成处理，获得十字绣风格图。具体来说，包括四个步骤：1、制作绣谱基元库，其中基于库包括基元以及与基元对应的基元遮蔽图，基元库包括1x1基元，1x2基元，1x3基元，2x1基元，2x2基元等，基元库还包括与基元对应的基元遮蔽图；2、对十字绣绣谱图进行网格划分，获得对应于每个网格的绣线表头及针法图；3、对十字绣绣谱图中的每个网格，结合它的绣线表头及针法图，使用基元库中的基元，获得基元简单拼接的十字绣风格图；4.对基元简单拼接的十字绣风格图，使用基元缝合处理方法，缝合基元之间的边界，获得十字绣风格图。

其中，对十字绣绣谱图进行绣谱指导的纹理合成处理步骤中获得基元简单拼接的十字绣风格图方法，具体操作如下：1)首先根据十字绣绣谱中网格的针法图，在基元库中找出对应的基元，获得源基元图；2)根据十字绣绣谱中网格的绣线表头，查找绣线颜色库，获得目标颜色；3)根据源基元图及目标颜色，使用颜色重构方法，获得目标基元图；4)对十字绣绣谱中每个网格都进行以上三步处理，获得基元简单拼接的十字绣风格图。

其中，对十字绣绣谱图进行绣谱指导的纹理合成处理步骤中，对基元简单拼接的十字绣风格图，使用基元缝合处理方法，缝合基元之间边界的具体操作如下：1)对基元简单拼接的十字绣风格图，使用大规模基元优先匹配方法，获得基元匹配图；2)对基元匹配图，使用排序的l字形缝合方法，获得初步缝合结果图；3)对初步缝合结果图，使用接缝基元替换方法，获得十字绣风格图。

其中，对十字绣绣谱图中的每个网格，结合它的绣线表头及针法图，使用基元库中的基元，获得基元简单拼接的十字绣风格图步骤中根据源基元图及目标颜色，使用颜色重构方法的具体步骤如下：

1)对源基元图进行颜色聚类，根据每个种类的目标颜色，获得初始landmark点集；

2)在初始landmark点集中选出三个点，作为输入landmark点，对源基元灰度图进行u颜色通道重建，先使用以下公式获得u颜色通道的能量值：

其中，表示源基元灰度图在u颜色通道的能量值，r表示源基元灰度图像素值，u(r)表示像素r的u颜色通道值，n(r)表示r像素的邻像素，wrs是和为1的一个权值函数，u(s)是r像素的邻像素s的u颜色通道值；

3)再以输入的landmark点集作为限制条件，使用基本解线性方程组的原理，最小化获得u颜色通道值。对v通道做相同的处理，获得v颜色通道值；

4)结合u颜色通道值，v颜色通道值，将源基元灰度图值作为y颜色通道值，获得yuv彩色基元图；将yuv彩色基元图转变为rgb彩色基元图，获得重构彩色基元图；

5)将重构彩色基元图与源基元图相减，获得残差基元图；对残差基元图进行分块，找出每块中残差最大的点，找出其在源基元图中的位置，并将其作为新的landmark点加入到landmark点集中；

6)使用源基元图对应的基元遮蔽图，将landmark点集中的landmark点分成clset(crosslandmarkset)点集和nclset(noncrosslandmarkset)点集；求clset点集的均值，再将由rgb颜色通道转换为hsv颜色通道，获得源颜色均值；

7)将目标颜色由rgb颜色通道转变为hsv颜色通道，获得目标颜色均值；将目标颜色均值hsv通道值分别减去源颜色均值hsv通道值，获得偏移颜色均值；

8)将clset点集中所有点由rgb颜色通道转变为hsv颜色通道，再加上偏移颜色均值，最后再由hsv颜色通道转变为rgb颜色通道，将处理后的clset点集与nclset点集合并，获得landmark点集；使用最新的landmark点集，再一次对源基元灰度图进行uv颜色通道重建，获得目标基元图；9)对十字绣绣谱中所有的基元都进行以上处理，获得各自的目标基元图，最终获得基元简单拼接的十字绣风格图。

其中，对基元简单拼接的十字绣风格图，使用基元缝合处理步骤中，大规模基元优先匹配方式的具体操作如下为：1)对基元简单拼接的十字绣风格图的网格运用线性扫描方法，对所扫描的网格使用最大基元匹配算法，优先在基元库中匹配尺寸较大的基元，最后无法处理的区域使用1x1的基元块进行填充，获得基元匹配图，获得基元匹配图；2)然后对基元匹配图，使用排序的l字形缝合方法，即对基元匹配图的每一个基元，采用线性扫描的方法，对当前扫描的基元，先查看该基元左侧和上侧的基元是否已完成缝合，若没有完成缝合，则先完成缝合；3)若已经完成缝合，则缝合当前的基元，直到所有的基元都完成缝合为止，获得初步缝合结果图，获得初步缝合结果图。

其中，使用接缝基元替换的具体步骤为，先将1x1基元划分为2x2的小区域，并将1x1基元中的一个小区域与跟它相邻但不属于同一基元的三个小区域组成一个新的基元，获得接缝基元；对初步缝合结果图中，找出相邻且不一致的区域，并用接缝基元替换，获得接缝处理后缝合结果图；对接缝处理后缝合结果图使用矩形缝合，获得十字绣风格图。

图2为基于卷积纹理缝合的图像十字绣风格化装置示意图，如图2所示，该装置包括：

抽象化模块d1：将图像抽象化，获得抽象化图像。具体来说，先对图像进行l0smoothing处理，获得初步抽象化图像；再将初步抽象化图像进行双边滤波处理，获得最终的抽象化图像。

背景剔除模块d2：将抽象化图像进行背景剔除操作，获得背景遮蔽图和抽象化前景图。具体来说，对抽象化图像，使用grabcut方法，获得背景遮蔽图和抽象化前景图。

颜色简化及规范化模块d3：对抽象化前景图进行颜色简化及规范化处理，获得颜色规范化图像。具体来说，包括两个子模块：颜色聚类模块d1和颜色匹配模块d2。颜色聚类模块d1的操作为：对抽象化前景图进行颜色聚类处理，获得颜色简化图像；颜色匹配模块d2的操作为：对颜色简化图像中的颜色与绣线颜色库中的颜色进行最近颜色匹配处理，即先对颜色简化图像中每一种颜色类别，分别求出每个类别的rgb均值，获得每一个颜色类别的目标颜色，再将每一个类别的目标颜色，映射到与之最接近的绣线颜色库中的颜色，最终获得颜色规范化图像。

绣谱提取模块d4：对颜色规范化图像进行绣谱提取操作，获得十字绣绣谱图。具体来说，包括三个子模块：绣线表头模块d3,针法图模块d4和绣谱生成模块d5。绣线表头模块d3的操作为：提取颜色规范化图像的目标颜色，获得绣线表头；针法图模块d4的操作为：结合背景遮蔽图，将颜色规范化图像进行网格化，获得针法图；绣谱生成模块d5的操作为：对绣线表头和针法图进行合成处理，获得十字绣绣谱图。

纹理合成模块d5：对十字绣绣谱图进行绣谱指导的纹理合成处理，获得十字绣风格图。具体来说，包括三个子模块：绣谱基元库模块d6,绣谱信息提取模块d7和基元缝合模块d8。绣谱基元库模块d6的操作为制作绣谱基元库，基元库包括1x1基元，1x2基元，1x3基元，2x1基元，2x2基元等，基元都包括与之对应的基元遮蔽图；绣谱信息提取模块d7的操作为对十字绣绣谱图进行网格划分，获得对应于每个网格的绣线表头及针法图，再对十字绣绣谱图中的每个网格，结合它的绣线表头及针法图，使用基元库中的基元，获得基元简单拼接的十字绣风格图；基元缝合模块d8的操作为对基元简单拼接的十字绣风格图，使用基元缝合处理方法，缝合基元之间的边界，获得十字绣风格图。

图3为基元图库示意图，如图所示，基元库中基元十字绣中一个重复的结构体，尺寸有1x1，2x2等。

图4为接缝基元示意图，如图所示，接缝基元的颜色多于一种。

图5为基元简单拼接的十字绣风格图示意图。如图所示，基元简单拼接的十字绣风格图的基元之间的连接很突兀，不自然。

图6为图6为十字绣风格化效果图。