基于尺度缩小算法与多尺寸颜色滤波器的图像像素化框架的制作方法

本发明涉及计算机图形学领域，特别地，涉及一种基于尺度缩小算法与多尺寸颜色滤波器的图像像素化框架。

背景技术：

1、图像像素化(image pixelization)指通过图像压缩等方式，对输入的图像的每个像素值进行处理，使图像中的内容展现出像素化风格的过程。该技术目前广泛应用于游戏人物与场景的制作，元宇宙场景的构建等方面。由于经像素化处理后的图像存储容量比高清图像的存储容量要小得多，现在市场上很多像素化技术都在游戏制作与元宇宙场景构建上用于卡通人物和场景的生成，进而使应用程序能在运算能力小的设备例如手机或掌上游戏机等等都能流畅运行。然而，用于在应用程序中图像像素化的效果质量跟进行像素化处理的模型有很大关系。其原因在于，在算法模型进行像素化的时候，需要在对图像进行下采样(down-sampling)操作的同时，要对图像中物体的细节信息精确地处理，从而使生成出来的像素化风格图像更美观，图像中颜色交替的边界更平滑。具体地，在像素化处理的过程中，像素化模型会对图像进行下采样操作，需要在特征提取与压缩处理的过程中，准确地保留如物体边界等细节信息，才能在生成像素化风格图片后，使图像物体的颜色分布均匀且颜色边界更平滑，让其像素化效果更具美感。

2、到目前为止，已提出一些能生成高质量像素化风格图像的算法模型。最初，一部分传统方法通过提取颜色特征或压缩图像的操作来完成图像像素化任务；随着深度学习模型广泛应用于计算机视觉与计算机图形学两大领域，擅长提取语义特征的深度学习模型也被用于生成高质量的像素化风格图像。

3、现有技术存在的问题及缺陷是：传统算法仅仅通过简单特征的提取，无法保证在像素化过程中，图像细节不会被破坏与改变。此外，虽然深度学习模型能生成高质量的像素化风格图像，但深度学习模型在训练和处理数据时需要高算力设备去运行。然而，在实际产品研发中，为了减少研发成本，并不一定都需要高算力设备去运行程序，所以对设备算力要求极高的深度学习模型并不都适合用于图像像素化相关的应用产品中。

4、解决上述问题及缺陷的意义为：为了在图像像素化的应用产品中实现高效率的像素化处理，本发明采用以尺度缩小算法作为基本模型的框架去实现图像像素化处理。一般情况下，仅仅使用尺度缩小算法进行图像像素化处理时，该算法会对被处理的图像进行下采样处理。进一步地说，尺度缩小算法会分别对图像的r，g，b三个通道的向量矩阵进行下采样处理，其中包含卷积与压缩操作。然后，具备像素化风格的图像会被输出。然而，尺度缩小算法对图像中颜色分布以及物体的各种边界等细节信息都不能很好地处理，导致生成的像素化图片颜色分布不均匀，物体的部分边界出现阴影。因此，本发明通过多尺寸颜色滤波器，在对图像进行特征提取与压缩的同时，保留图像中物体的细节信息如颜色边界等，使物体中的颜色均匀分布，且颜色边界更加平滑。除此以外，本发明仅需要使用耗费算力较小的算法模型去进行像素化操作，可以更有效地投入到实际工业产品中。

技术实现思路

1、本发明提供了一种基于尺度缩小算法与多尺寸颜色滤波器的图像像素化框架，多尺寸滤波器可以对任意大小图像中的像素值进行处理，其输出结果可被作为基本模型的尺度缩小算法进行像素化处理，从而使尺度缩小算法生成的像素化风格图像效果更具美感，物体中颜色的分布更均匀，颜色之间的边界更平滑。

2、本发明的技术方案如下：

3、根据本发明的一个方面，提供了一种基于尺度缩小算法与多尺寸颜色滤波器的图像像素化框架，包括多尺寸颜色滤波器与尺度缩小算法，其中，多尺寸颜色滤波器用于优化图像中的像素值，对任意大小图像的r，g，b三个通道中的像素值进行预处理，以及多尺寸颜色滤波器包含三个不同尺寸向量矩阵的滤波器核；尺度缩小算法，经多尺寸颜色滤波器处理后，图像在每个通道已被优化的向量矩阵则分别输入至尺度缩小算法中进行像素化处理。

4、可选地，在上述基于尺度缩小算法与多尺寸颜色滤波器的图像像素化框架中，尺度缩小算法会对接收的向量矩阵进行下采样操作，针对所接受的图像某一个通道的已被优化的向量矩阵，尺度缩小算法会使用预设的卷积核，使用卷积操作提取该向量矩阵中物体的特征；接着，经卷积操作对所提取的特征图进行压缩操作，从而生成更小尺寸的特征图；当整个下采样过程完成后，尺度缩小算法会把属于某通道的已经处理的向量矩阵输出，当r，g，b三个通道的向量矩阵都经尺度缩小算法产生已处理的向量矩阵，已被处理的向量矩阵会重新组合一起，生成一张具有像素化风格的图像。

5、可选地，在上述基于尺度缩小算法与多尺寸颜色滤波器的图像像素化框架中，图像像素化框架的算法流程为：将图像输入至多尺寸颜色滤波器中，多尺寸颜色滤波器会使用不同尺寸的滤波核对被输入图像每个通道的向量矩阵中的像素值进行预处理；多尺寸颜色滤波器对向量矩阵处理完后，则把r，g，b三个通道中每个通道的处理结果输入至尺度缩小算法，尺度缩小算法会对接收的向量矩阵进行下采样；最后，尺度缩小算法把具备像素化风格的图像输出。

6、根据本发明的另一个方面，提供了一种基于尺度缩小算法与多尺寸颜色滤波器的图像像素化框架的构建方法，包括以下步骤：s1.建立尺度缩小算法：建立取尺度缩小算法以通过下采样的方式对被输入的图像数据进行像素化处理，从而输出具备像素化风格的图像效果图；s2.建立多尺寸颜色滤波器：搭建包含三个不同尺寸滤波器核的多尺寸颜色滤波器，对任意大小图像的像素值进行约束处理；s3.使用多尺寸颜色滤波器来改进尺度缩小算法：使用多尺寸颜色滤波器对图像进行预处理操作，使图像中物体的颜色分布均匀，多尺寸颜色滤波器所输出的结果会被输入至尺度缩小算法进行像素化处理操作。

7、本发明提供的技术贡献与创新点如下：

8、1.提出一个新的多尺寸颜色滤波器，该滤波器包含三个不同尺寸的滤波器核，可以对任意大小图像的r，g，b三个通道中的像素值进行预处理，从而使颜色边界等细节信息在像素化处理过程不被破坏。

9、2.创造了一个包含尺度缩小算法与多尺寸颜色滤波器的图像像素化框架。其中多尺寸颜色滤波器用于优化图像中的像素值，尺度缩小算法进行图像像素化操作。经该框架进行像素化处理后，生成的具有像素化风格的图像更具美感。

10、3.在实验测试中，本发明所提出的包含多尺寸颜色滤波器的图像像素化框架所生成的像素化图像与仅仅作为基本模型的尺度缩小算法所输出的结果相比，本发明的像素化框架生成的效果图的颜色分布更加均匀，物体颜色边界更平滑。

11、根据本发明的技术方案，产生的有益效果是：

12、本发明搭建了一个包含尺度缩小算法与多尺寸颜色滤波器的图像像素化框架，与现阶段已有的图像像素化算法相比，本发明中的多尺寸颜色滤波器能对任意大小图像的像素值进行处理与约束，使图像的颜色经像素化操作后分布均匀，且颜色边界平滑没有阴影。当尺度缩小算法对经多尺寸颜色滤波器优化的图像数据进行像素化操作后，最终输出的像素化风格图更具美感。与需要高算力设备运行的深度学习模型相比，本发明框架不需要具备高算力设备的机器去运行，而且能在极短时间内完成图像像素化的处理。所以从实际产品研发的角度考虑，本发明框架更适合在工业产品中实现图像像素化功能。

13、为了更好地理解和说明本发明的构思、工作原理和发明效果，下面结合附图，通过具体实施例，对本发明进行详细说明如下：