一种图像去模糊的方法和装置与流程

本申请涉及图像处理技术，特别涉及一种图像去模糊的方法和装置。

背景技术：

在相机拍照时，有时由于手抖等各种原因可能会造成图片成像模糊。为去掉或减轻由于相机运动导致的图像模糊，通常会对成像的模糊图片进行去模糊处理，以得到较为清晰的图片。

目前，现有的去模糊方式，只针对少数图像可以达到去模糊效果。这其中的原因是，现有技术都用反卷积实现去模糊，而利用反卷积实现去模糊的过程本身就是一个病态过程，因为事先对清晰图像和导致清晰图像变模糊的原因均是未知的。正是由于图像变模糊的原因未知，因此很多方法都会对待求解的清晰图像做出一些假设，然而当实际图像与假设不相符时，去模糊方法就会失效。

技术实现要素：

本申请提供一种基于dvs的图像去模糊方法和装置，能够改善图像去模糊的效果。

为实现上述目的，本申请采用如下技术方案：

一种图像去模糊方法，包括：

获取待处理的模糊图片和所述模糊图片曝光时间内dvs传感器记录的dvs事件集合；

根据所述dvs事件集合，对所述模糊图片进行去模糊处理。

较佳地，根据所述dvs事件集合，对所述模糊图片进行去模糊处理，包括：

根据所述dvs事件集合估计dvs边缘估计图像，并根据该dvs边缘估计图像进行所述去模糊处理。

较佳地，根据所述dvs边缘估计图像进行去模糊处理的方式包括以下之一：

将所述模糊图片与所述dvs边缘估计图像进行对齐，根据对齐结果进行去模糊处理；

将所述模糊图片与所述dvs边缘估计图像进行对齐，根据对齐结果进行去模糊处理，当去模糊的处理结果未达到预设的去模糊处理效果且未达到设定的最大迭代次数时，根据所述去模糊的处理结果确定出平均边缘图，并利用该平均边缘图重新对齐所述模糊图片与所述dvs边缘估计图像，直到去模糊的处理结果达到预设的去模糊处理效果或达到设定的最大迭代次数，将该模糊的处理结果作为去模糊结果输出；

将所述模糊图片与所述dvs边缘估计图像进行对齐，根据对齐结果进行去模糊处理，在当前未达到设定的最大迭代次数时，根据所述去模糊的处理结果确定出平均边缘图，并根据该平均边缘图重新对齐所述模糊图片与所述dvs边缘估计图像，直到达到设定的最大迭代次数，将该模糊的处理结果作为去模糊结果输出；

将所述模糊图片与所述dvs边缘估计图像进行对齐，根据对齐结果进行去模糊处理，当去模糊的处理结果未达到预设的去模糊处理效果且当前未达到设定的最大迭代次数时，根据所述去模糊的处理结果确定出平均边缘图，并根据该平均边缘图重新对齐所述模糊图片与所述dvs边缘估计图像，直到去模糊的处理结果达到预设的去模糊处理效果或达到设定的最大迭代次数，将该模糊的处理结果作为去模糊结果输出。

较佳地，根据所述dvs事件集合，对所述模糊图片进行去模糊处理，包括：

根据所述dvs事件集合估计在所述曝光时间内的相机运动轨迹和dvs边缘估计图像；并根据所述相机运动轨迹和dvs边缘估计图像进行所述去模糊处理。

较佳地，根据所述相机运动轨迹和dvs边缘估计图像进行去模糊处理的方式包括以下之一：

将所述模糊图片与所述dvs边缘估计图像进行对齐，根据对齐结果进行去模糊处理，当去模糊的处理结果未达到预设的去模糊处理效果时，根据所述去模糊的处理结果确定出在所述相机运动轨迹方向上的平均边缘图，并根据该平均边缘图重新对齐所述模糊图片与所述dvs边缘估计图像，直到去模糊的处理结果达到预设的去模糊处理效果，将该模糊的处理结果作为去模糊结果输出；

将所述模糊图片与所述dvs边缘估计图像进行对齐，根据对齐结果进行去模糊处理，在当前未达到设定的最大迭代次数时，根据所述去模糊的处理结果确定出在所述相机运动轨迹方向上的平均边缘图，并根据该平均边缘图重新对齐所述模糊图片与所述dvs边缘估计图像，直到达到设定的最大迭代次数，将该模糊的处理结果作为去模糊结果输出；

将所述模糊图片与所述dvs边缘估计图像进行对齐，根据对齐结果进行去模糊处理，当去模糊的处理结果未达到预设的去模糊处理效果且当前未达到设定的最大迭代次数时，根据所述去模糊的处理结果确定出在所述相机运动轨迹方向上的平均边缘图， 并根据该平均边缘图重新对齐所述模糊图片与所述dvs边缘估计图像，直到去模糊的处理结果达到预设的去模糊处理效果或达到设定的最大迭代次数，将该模糊的处理结果作为去模糊结果输出。

较佳地，所述根据对齐结果进行去模糊处理包括：根据所述当前对齐后的dvs边缘估计图像，利用反卷积变换对所述当前对齐后的模糊图片进行去模糊处理，得到本次迭代的清晰图片作为去模糊的处理结果；

若本次与上次迭代的清晰图片的误差小于预定阈值，则确定达到预设的去模糊效果，否则，确定未达到预设的去模糊效果。

较佳地，所述根据所述dvs事件集合估计相机运动轨迹包括：将所述曝光时间按照时间先后顺序分为n个时间片段，将所述dvs事件集合中位于同一时间片段内的dvs事件独立成像为图片，根据n个时间片段内成像的图片，确定在所述曝光时间内的相机运动轨迹。

较佳地，确定所述相机运动轨迹的方式包括：在每两个连续的时间片段内成像的图片中，根据dvs事件的位置关系，确定该两个连续时间片段内的相机位移，并将所述曝光时间内所有的每两个连续时间片段内的相机位移，按照时间先后顺序相连，构成在所述曝光时间内的相机运动轨迹。

较佳地，所述根据dvs事件集合估计所述dvs边缘估计图像包括：将所述曝光时间按照时间先后顺序分为n个时间片段，将所述dvs事件集合中位于同一时间片段内的dvs事件统一成像为图片，将所有时间片段内成像的图片进行空间对齐并叠加，计算叠加后图片的骨架图作为所述dvs边缘估计图像。

较佳地，所述将任意两个时间片段的图片进行空间对齐的方式包括：对任意两个时间片段的图片a和b，计算其中，(x,y)为图片中像素点的二维坐标，a(x,y)和b(x,y)分别表示图片a和b中的像素点的取值，(δx,δy)为图片b向图片a对齐时图片b所需的二维位移值，argmin(·)表示(·)取最小值时的自变量取值；根据计算得到的(δx,δy)，将图片b和/或图片a进行位移，实现图片a和图片b的对齐。

较佳地，所述将所有时间片段成像的图片进行空间对齐并叠加包括以下之一：

对每两个连续时间片段的图片，计算(δx,δy)；按照时间先后顺序，依次将时间在后的图片向时间在前的图片对齐并叠加；

对每两个连续时间片段的图片，计算(δx,δy)；按照时间先后顺序，依次将时间在前的图片向时间在后的图片对齐并叠加。

较佳地，在进行所述去模糊处理时计算模糊核的方式为：模糊核其中，表示将矩阵x表示成为向量形式，表示求梯度的运算，i为去模糊处理后的清晰图片，c为当前对齐后的模糊图片，e为当前对齐后的dvs边缘估计图像，||vec||2表示计算向量的2范数，||vec||1表示计算向量的1范数，λ1和λ2为预设的两个权重值，argmin(·)表示(·)取最小值时的自变量取值。

较佳地，确定平均边缘图的方式包括：

对所述本次迭代的清晰图片，计算在所述相机运动轨迹中各个分段方向上的边缘图，并将所有边缘图叠加后计算骨架图，将其作为所述平均边缘图。

一种图像去模糊装置，包括：获取模块和图像去模糊模块；

所述获取模块，用于获取待处理的模糊图片和所述模糊图片曝光时间内dvs传感器记录的dvs事件集合；

所述图像去模糊模块，用于根据所述dvs事件集合，对所述模糊图片进行去模糊处理。

由上述技术方案可见，本申请中，引入dvs传感器记录的dvs事件，对模糊图片进行去模糊处理。具体地，可以估计相机运动轨迹，并利用该运动轨迹进行模糊图像的边缘估计；同时，利用dvs事件进行dvs边缘估计，并将模糊图像或估计得到的模糊图像的边缘估计图像与dvs边缘估计结果进行对齐后，参与去模糊的处理。通过上述处理，能够提高去模糊的效果。

附图说明

图1为本申请中图像去模糊方法的基本流程示意图；

图2为dvs事件集合的成像与各个时间片段内成像的图片之间的关系示意图；

图3为连续两个时间片段内的相机位移示意图；

图4为进行dvs边缘估计的示意图；

图5为rgb-dvs图像对齐的处理示意图；

图6为计算清晰图片的示意图；

图7为平均边缘图的生成示意图；

图8为本申请中图像去模糊装置的基本结构示意图；

图9为本申请图像去模糊装置中的图像去模糊模块的结构示意图；

图10为本申请中的图像去模糊方法与现有技术比较的效果示意图。

具体实施方式

为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。

dvs传感器是一种具有微秒级时间分辨率的超高速相机，可以记录输出dvs事件，该dvs时间用于表示相机镜头内在微秒级时间单位间所发生的变化。由于在镜头内发生变化的部位通常是图像中的边缘，因此，当dvs传感器与普通相机固定在一起时，可以得到普通相机快速运动下的相对清晰边缘图像。本申请中，正是利用dvs传感器所能得到的相对清晰边缘图像，参与对普通相机拍摄的模糊图像进行的去模糊处理，从而极大地改善去模糊效果。

本申请最基本的图像去模糊方法包括：

步骤1、获取待处理的模糊图片和所述模糊图片曝光时间内dvs传感器记录的dvs事件集合。

步骤2、根据所述dvs事件集合，对所述模糊图片进行去模糊处理。

在步骤2中，优选地，可以根据dvs事件集合估计dvs边缘估计图像，再根据该dvs边缘估计图像进行去模糊处理。或者，还可以根据dvs事件集合估计相机运动轨迹和dvs边缘估计图像，再根据相机运动轨迹和dvs边缘估计图像进行去模糊处理。

图1为本申请中的图像去模糊方法的流程示意图。其中，以对rgb图像进行处理为例进行说明。如图1所示，该方法包括：

步骤101，获取待处理的模糊图片和该模糊图片曝光时间内dvs传感器记录的dvs事件集合。

获取普通相机拍下的rgb模糊图片，dvs传感器与拍照的普通相机固定在一起，因此可以获取与普通相机相同视角的记录，同时记录的dvs事件可以反映出拍照的普通相机的运动。获取模糊图片曝光时间内的dvs事件集合，能够反映在相应曝光时间内的相机运动状况。

步骤102，根据dvs事件集合，估计在曝光时间内的相机运动轨迹和dvs边缘估计图像。

将曝光时间按照时间顺序分为n个时间片段，n为预设的正整数，可以根据需要设置，本申请对具体设置依据不做限定。曝光时间内的dvs事件集合包括很多dvs事件，相应dvs事件都有时间标记，按照划分的时间片段，根据dvs事件的时间标记，将位于同一时间片段内的dvs事件进行独立成像，具体独立成像 方式可以采用任何可实现的方式，本申请对此不作限定。如图2所示，为dvs事件集合的成像与各个时间片段内成像的图片之间的关系。

首先分析模糊图片的产生和dvs事件成像的图片的作用。如果将相机曝光时间内的被拍摄对象看作是静止的，那么图像的模糊就是相机本身相对于静止拍摄对象的运动所导致的。基于此，在每个时间片段内成像的图片，都是相应时间范围内相机快速相对运动下的相对清晰边缘图像；对于不同时间片段内的图片，被拍摄对象是相同的，也就是说边缘图像的轮廓也应当是相同的，只是该边缘图像在背景中出现了相对位移，而该位移刚好表征的是不同时间片段间的相机相对运动轨迹。同时，不同时间片段内成像的图片代表的是不同时间点的相同边缘图像，但是由于噪声等的影响，每一张图片的边缘可能不是最准确和完整的；如果按照相机的运动轨迹将所有n个时间片段内的图片恢复到同一时间点，然后将n个同一时间点的图片叠加在一起就能够得到相对更加清晰的边缘图。

简单而言，对于两个不同时间片段内的图片，图片上应当有相同的形状，而该形状在整幅图像中的位置关系变化就代表了相机在这两个时间段间的直线运动关系。将其中一个图片按照运动关系进行反向运动，就可以得到另一个图片所在时间段内的图片，这两个图片叠加能够得到效果增强的边缘图。

基于上述分析的内容，本申请中根据n个时间片段内成像的图片，确定曝光时间内的相机运动轨迹和dvs边缘估计图像。

具体地，确定曝光时间内相机运动轨迹的方式可以为：在每两个连续的时间片段内成像的图片中，根据dvs事件的位置关系，确定该两个连续时间片段内的相机位移，并将曝光时间内所有的每两个连续时间片段内的相机位移，按照时间先后顺序相连，构成在曝光时间内的相机运动轨迹。其中，两个连续时间片段内的相机位移如图3所示。

这里，给出一种确定两个连续时间片段内的相机位移的示例性方法：对任意两个连续时间片段的图片a和b，计算

其中，(x,y)为图片中像素点的二维坐标，a(x,y)和b(x,y)分别表示图片a和b中的像素点的取值，(δx,δy)为相机从图片b所代表的时间点到图片a所代表的时间点的二维位移，根据该二维位移能够得到图3所示的运动向量；这里，假定在连续两个时间片段内相机做直线运动。将所有连续两个时间段内的运动向量，按照时间先后顺序相连，就能够得到在曝光时间内的相机轨迹。

确定dvs边缘估计图像的方式可以为：将所有时间片段内成像的图片进行空间对齐并叠加，计算叠加后图片的骨架图作为dvs边缘估计图像。如图4所示。

其中，在进行空间对齐时，可以将所有时间片段的图片对齐到同一时间片段上，再统一进行叠加；或者，也可以将某时间片段的图片对齐到另一时间片段上，并将二者叠加，再将叠加后的结果对齐到其他时间片段上，依此类推。这里，可以采用上述公式(1)计算任意两个时间片段的图片之间的二维位移值(δx,δy)，该二维位移值代表图片b对齐到图片a所需的二维位移值。可以将图片b位移(δx,δy)对齐到图片a，或者也可以将图片a位移(-δx,-δy)对齐到图片b，再或者，还可以将图片a和图片b一同进行位移，对齐到图片a和图片b之间的其他时间片段上。

另外，由于在采用公式(1)计算位移时，假定两个时间片段间的移动是直线运动，而事实上，随着时间间隔的增长，直线运动与实际运动的偏离可能更大，估计越不准确，因此，优选地，在进行图片对齐和叠加时可以对每两个连续时间片段的图片计算(δx,δy)，按照时间先后顺序，依次将时间在后/前的图片向时间在前/后的图片对齐并叠加。这样的处理能够增加估计的准确性。其中“/”表示或。

在本步骤后，开始进行迭代以实现图像去模糊。

步骤103，将获取的模糊图片与dvs边缘估计图像进行对齐，得到当前对齐后的模糊图片和当前对齐后的dvs边缘估计图像。

rgb-dvs图像对齐的处理如图5所示。首先对rgb图像和dvs边缘估计图像分别进行去畸变。然后在两幅图像中找到对应的关键点，最后通过计算仿射变换模型对两幅图像进行对齐。具体找到去畸变、确定对应关键点和通过模型对齐图像的处理均为现有技术，这里就不再赘述。其中，本步骤中包括去畸变的处理为优选方式，如果出于实现复杂度或其他考虑，也可以不进行去畸变，直接确定关键点进行图像对齐。在进行对齐时，可以将rgb图像向dvs边缘估计图像对齐，也可以将dvs边缘估计图像向rgb图像对齐。优选地，可以将rgb图像向dvs边缘估计图像对齐，对齐效果更佳。

另外，在第一次进行迭代时直接利用rgb模糊图像与dvs边缘估计图像进行对齐处理，在之后的迭代中根据前次迭代确定的rgb边缘估计图像，将rgb模糊图像与dvs边缘估计图像进行对齐处理，以提高rgb与dvs的配准精度。

步骤104，根据当前对齐后的dvs边缘估计图像，利用反卷积变换对当前对齐后的模糊图片进行去模糊处理，得到本次迭代的清晰图片。

图像去模糊模块的处理是估计图像的模糊核，并利用反卷积变换实现去模糊。如图6所示。其中，计算模糊核时利用当前对齐后的dvs边缘估计图像e。具体地，去模糊的处理包括：

计算模糊核k，使得

其中表示将矩阵x表示成为向量形式，表示求梯度的运算，i是处理后的清晰rgb图像，c为当前对齐后的模糊图片，e为当前对齐后的dvs边缘估计图像，||vec||2表示计算向量的2范数，||vec||1表示计算向量的1范数，λ1和λ2为预设的两个权重值，argmin(·)表示(·)取最小值时的自变量取值；

求出模糊核k之后，求出清晰的rgb图像i，

表示将矩阵x表示成为向量形式，||vec||2表示计算向量的2范数，||vec||1表示计算1范数，b'为当前对齐后的模糊图片。

以上求模糊核和求清晰图像的过程交替进行，直到达到设定的交替次数，或者，清晰图片不再改变，将计算得到的i作为本次迭代得到的清晰图片。

在本步骤的处理中，计算i的方式与现有技术相同，计算模糊核k时根据当前对齐后的dvs边缘估计图像e进行。这样，通过在模糊核k的计算中引入图像e，使得更完整地反映图像模糊状况，使计算出的清晰图片i更接近原始画面。

至此，可以结束本流程。根据dvs边缘估计图像进行了去模糊处理。如果处理能力允许，优选地，还可以继续进行以下步骤，通过迭代处理过程来优化去模糊的处理结果。

步骤105，判断本次与上次迭代的清晰图片是否相同，若是，则将该清晰图片作为去模糊结果，并结束本流程；否则，执行步骤106。

当前后两次迭代的清晰图片保持不变时，认为已经达到最佳的去模糊效果，输出该清晰图片，并结束去模糊处理；否则，继续计算rgb的边缘图进行下一次迭代。其中，前后两次迭代的清晰图片是否相同的判定方式可以为：本次与上次迭代的清晰图片的误差小于预定阈值时，可以认为两次迭代的清晰图片相同，否则，认为两次迭代的清晰图片不相同。当然，也可以采用其他的判定方式，本申请对此不作限定。

步骤106，根据本次迭代的清晰图片确定平均边缘图，返回步骤103，并将平均边缘图作为下次迭代时rgb模糊图片与dvs边缘估计图像进行对齐的依据。

本步骤的处理用于生成rgb图像的有向边缘图，本申请中称为平均边缘图。具体地，基于本次迭代中已经估计出的清晰图片，求出该清晰图片在设定方向上的边缘图，然后将多个边缘图取平均得到平均边缘图。其中，设定方向可以是随机指定的若干方向，或者，优选地，可以是相机运动轨迹的方向。

然后，将该平均边缘图作为下次迭代中rgb图像与dvs边缘估计图像进行对齐的依据。具体地，可以将平均边缘图在下次迭代中与dvs边缘估计图像进行比较确定出对齐的位移，再将rgb模糊图像和/或dvs边缘估计图像进行移动以对齐，从而提高rgb与dvs图像的配准精度。其中，根据平均边缘图进行rgb图像与dvs边缘估计图像对齐的处理可以按照现有方式实现，本申请不做限定。

设定方向为相机运动轨迹方向时，平均边缘图的生成方式具体可以为：将曝光时间内的相机运动轨迹进行分段，在各个分段方向上计算本次迭代的清晰图片的边缘图，将得到的所有边缘图进行叠加后，计算骨架图作为平均边缘图。

其中，最简单地，在进行相机运动轨迹分段时，可以直接按照步骤102中构造运动轨迹时各个分段进行。平均边缘图的生成方法可以如图7所示。

上述即为本申请中的图像去模糊方法的一种具体实现。在上述迭代处理流程中，当两次迭代的清晰图片相同时，结束迭代过程，得到去模糊的最终处理结果。当然，还可以更简单地，设置最大迭代次数，在达到最大迭代次数前，反复迭代，在达到最大迭代次数后，结束迭代过程，得到去模糊的最终处理结果。或者，也可以将上述比较前后两次迭代的清晰图片和最大迭代次数的设置结合起来，当达到其中任一条件时，结束迭代过程，否则进行反复迭代。其中，最大迭代次数可以根据实际需要和设备处理能力进行设置，本申请对此不作限定。

在上述去模糊处理中，可以引入dvs传感器记录的dvs事件，估计相机运动轨迹，并利用该运动轨迹进行模糊图像的边缘估计；同时，利用dvs事件进行dvs边缘估计，并将模糊图像或估计得到的模糊图像的边缘估计图像与dvs边缘估计结果进行对齐后，参与去模糊的处理。通过上述处理，能够利用相机运动轨迹和dvs边缘估计图像提供更加趋近于真实的运动假设，从而提高去模糊的效果。

本申请还提供了一种图像去模糊装置，可以用于实施上述图1所示的去模糊方法。图8为本申请中图像去模糊装置的基本结构示意图，如图8所示，该装置包括：获取模块和图像去模糊模块。

其中，获取模块，用于获取待处理的模糊图片和模糊图片曝光时间内dvs传感器记录的dvs事件集合。图像去模糊模块，用于根据dvs事件集合，对所述模糊图片进行去模糊处理。

更优选地，图像去模糊模块还可以包括轨迹估计子模块、图像配准子模块、图像去模糊子模块和平均边缘图生成子模块。如图9所示。

其中，轨迹估计子模块，用于根据dvs事件集合，估计在曝光时间内的相机运动轨迹和dvs边缘估计图像。具体用于实施步骤101-102的处理。

图像配准子模块，用于将模糊图片与dvs边缘估计图像进行对齐，得到当前对齐后的模糊图片和当前对齐后的dvs边缘估计图像。具体用于实施步骤103的处理。

图像去模糊子模块，用于将根据当前对齐后的dvs边缘估计图像，利用反卷积变换对当前对齐后的模糊图片进行去模糊处理，得到当前次的清晰图片，若本次与上次迭代的清晰图片的误差小于预定阈值，则将该清晰图片作为去模糊结果进行输出，否则，将当前次的清晰图片输出给平均边缘图输出模块。具体用于实施步骤104-105的处理。

平均边缘图输出模块，用于根据图像去模糊模块输入的清晰图片确定平均边缘图。并将平均边缘图输入给图像配准模块，用于作为下次模糊图片与dvs边缘估计图像对齐的依据。优选地，确定在相机运动轨迹方向的平均边缘图，具体用于实施步骤106的处理。

采用本申请的去模糊方法与现有去模糊方法分别进行了去模糊处理的实验，并将结果进行了对比，图10为本申请与现有去模糊方法比较的示意图。由图10可以看出，本申请得到的去模糊效果更佳。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。