一种基于误差反馈的深度数字半色调方法

本发明属于图像处理，尤其涉及一种基于误差反馈的深度数字半色调方法。

背景技术：

1、数字半色调处理(digital halftoning)是打印行业中广泛使用的一种图像处理技术。由于打印机等设备只能输出有限位数的色调(例如黑白二色)，如何将无限位数的连续调(continuous-tone)图像转换为有限位数的半色调(halftone)图像是数字半色调技术研究的对象。通过对离散像素点的合理编排，一幅好的半色调图像在经过人类视觉系统(hvs，human visual system)的滤波后能够做到和原连续调图像类似，带来出色的视觉体验。如何在有限时间内生成高质量的半色调图像，是该领域的主要研究目标。

2、从处理方法上来看，现有的数字半色调技术可以分为四个类别：

3、(1)有序抖动法(ordered dithering)。该方法提前生成阈值矩阵。在进行半色调处理时，将阈值矩阵周期性地叠在连续调图像上。若图像上的像素大于阈值矩阵中对应位置的值，则将半色调图像对应位置设置为1，反之则为0。由于每个像素只需简单的比较操作，并且像素之间是完全独立的，该方法能够达到非常高的处理速度。但由于该方法忽略了像素之间的相关性，生成的半色调图像质量不高。

4、(2)误差扩散法(error diffusion)。该方法逐点用一个固定阈值量化像素，每个像素点上产生的量化误差会扩散到临近的未经处理的连续调像素上。由于考虑了像素之间的相关性，该方法产生的半色调图像质量比有序抖动法更好。但由于引入了人工设计的像素遍历顺序和误差扩散窗口，该方法会产生特殊的蠕虫状的痕迹，影响图像质量。为改善这一问题，现有研究通过设计复杂的遍历路径，更大的误差扩散窗口，

5、在阈值上增加噪声等方法来减轻人工痕迹。

6、(3)搜索法(search-based)。基于搜索的半色调方法将该问题视为一个优化问题。通过建模hvs，该方法迭代地通过修改半色调像素来最小化半色调图像和原连续调图像在经过hvs滤波后的最小均方误差(mse，

7、mean square error)。一般来说，基于搜索的方法能够产生质量最高的半色调图像。但该方法需要大量的计算操作，在打印机等实时图像处理系统上往往不可接受。除了mse，还有一些方法考虑同时优化ssim

8、(structural similarity)等指标来增强半色调图像的结构细节。

9、(4)深度学习方法(deep halftoning)。随着深度学习技术的崛起，半色调处理技术也从中受益。目前基于深度学习的方法可以分为两类：一、

10、基于无监督学习。j.-m.guo和s.sankarasrinivasan在“半色调的深度学习模型及其重构”以及蔡志文在“半色调技术在半色调图像处理中的应用”中提出使用生成对抗网络(gan，generative adversarial network)来训练卷积神经网络生成和已有半色调数据集质量类似的图像。二、基于强化学习。现有专利(申请号cn202210377696.4)提出基于多智能体强化学习来优化传统搜索法中使用的半色调指标的数学期望。相较于误差扩散法和搜索法，深度半色调方法能够取得图像质量和处理速度的平衡。但同时这种方法引入了大量权重参数，并且需要gpu等硬件进行加速。

11、综上所述，不同的半色调方法主要是在图像质量和处理速度之间进行权衡。基于深度学习的半色调处理技术虽然在这方面取得了一些进步，能够以相对较快的速度生成高质量的半色调图像。但目前的模型在实时打印设备中，特别是搭载dsp(digital signalprocessor，数字信号处理器)的打印机中还无法得到应用。现有方案依然存在改进空间。

技术实现思路

1、本发明目的在于提供一种基于误差反馈的深度数字半色调方法，以解决上述的技术问题。

2、为解决上述技术问题，本发明的一种基于误差反馈的深度数字半色调方法的具体技术方案如下：

3、一种基于误差反馈的深度数字半色调方法，每一行的生成过程分为以下几个步骤：

4、步骤1：将误差图定义为c-h，其中，c为输入的连续调图像，h为部分已生成的半色调图像，从当前误差图中收集当前行i之前的高度为ke的误差带，将误差带输入参数可学习的误差收集滤波器后，输出一行误差值ei；

5、步骤2：从连续调图像中获取行i，即连续调图像行ci，并累加到误差值行ei上；

6、步骤3：从连续调图像中收集以行i为中心，高度为kt的原连续调图像带。

7、将图像带输入纹理提取卷积层，输出一行纹理特征fi；

8、步骤4：通过任意噪声生成算法获取一行高斯白噪声zi，加入高斯白噪声zi

9、使神经网络并行生成半色调图像；

10、步骤5：将误差值行ei和连续调图像行ci的累加，纹理特征fi和高斯白噪声zi

11、在通道维度上叠加，输入处理一维信号的卷积神经网络；

12、步骤6：将一行半色调概率值以0.5为阈值做二值化，二值化后即为半色调行。

13、进一步的，所述步骤1输出一行误差值ei为：

14、进一步的，所述步骤3将图像带输入纹理提取卷积层，输出一行纹理特征fi：

15、纹理特征的通道数为nct。

16、进一步的，所述步骤5的卷积神经网络能够处理任意长度的一维信号，并输出相同长度，通道为1的一维信号，将卷积神经网络的输出值输入一个sigmoid非线性层，使得输出范围落在0到1之间，称为半色调概率值：

17、pr(hi＝1|c，zi)＝nn1d*(ei+ci，fi，zi)。

18、进一步的，所述步骤6将半色调行与原连续调图像相减即得到误差图的下一行，即第i+1行。

19、进一步的，包括步骤7：采用基于强化学习的策略梯度方法来迭代训练：

20、

21、其中，e(·)是半色调指标。

22、进一步的，采用mse或ssim来设计e(·)。

23、进一步的，所述ke＝5。

24、进一步的，所述kt＝5，nct＝4。

25、本发明的一种基于误差反馈的深度数字半色调方法具有以下优点：本发明将误差反馈机制和神经网络处理进行了结合，直接通过引入之前生成的点带来的量化误差来建模点之间的关系，简化了任务，使得能用更少的参数和计算实现类似的效果。本发明提出的误差反馈机制是从每一行半色调点出发，自行学习吸收之前的误差行，能更好地实现蓝噪声特征。同时，纹理提取卷积层能够有效提出图像中的结构信息，增强半色调纹理质量。

26、综上，本发明方法能够用较少的参数和计算量在资源有限的设备上快速生成高质量的半色调图像。

技术特征：

1.一种基于误差反馈的深度数字半色调方法，其特征在于，每一行的生成过程分为以下几个步骤：

2.根据权利要求1所述的基于误差反馈的深度数字半色调方法，其特征在于，所述步骤1输出一行误差值ei为：

3.根据权利要求1所述的基于误差反馈的深度数字半色调方法，其特征在于，所述步骤3将图像带输入纹理提取卷积层，输出一行纹理特征fi：

4.根据权利要求1所述的基于误差反馈的深度数字半色调方法，其特征在于，所述步骤5的卷积神经网络能够处理任意长度的一维信号，并输出相同长度，通道为1的一维信号，将卷积神经网络的输出值输入一个sigmoid非线性层，使得输出范围落在0到1之间，称为半色调概率值：

5.根据权利要求1所述的基于误差反馈的深度数字半色调方法，其特征在于，所述步骤6将半色调行与原连续调图像相减即得到误差图的下一行，即第i+1行。

6.根据权利要求1所述的基于误差反馈的深度数字半色调方法，其特征在于，包括步骤7：采用基于强化学习的策略梯度方法来迭代训练：

7.根据权利要求6所述的基于误差反馈的深度数字半色调方法，其特征在于，采用mse或ssim来设计e(·)。

8.根据权利要求2所述的基于误差反馈的深度数字半色调方法，其特征在于，所述ke＝5。

9.根据权利要求3所述的基于误差反馈的深度数字半色调方法，其特征在于，所述kt＝5，nct＝4。

技术总结
本发明属于图像处理技术领域，公开了一种基于误差反馈的深度数字半色调方法，本发明将误差反馈机制和神经网络处理进行了结合，直接通过引入之前生成的点带来的量化误差来建模点之间的关系，简化了任务，使得能用更少的参数和计算实现类似的效果。本发明提出的误差反馈机制是从每一行半色调点出发，自行学习吸收之前的误差行，能更好地实现蓝噪声特征。同时，纹理提取卷积层能够有效提出图像中的结构信息，增强半色调纹理质量。本发明方法能够用较少的参数和计算量在资源有限的设备上快速生成高质量的半色调图像。

技术研发人员：黄凯,江海天,熊东亮,蒋小文
受保护的技术使用者：浙江大学
技术研发日：
技术公布日：2024/1/15