一种基于运动检测的图像去模糊方法及装置制造方法
【专利摘要】本发明提供一种基于相机运动检测的图像去模糊方法,首先通过惯性导航器件获取曝光期间相机的运动参数，根据运动参数估计相机的大致运动轨迹；然后根据运动轨迹由多视几何学获取曝光期间图像的模糊核；最后由维纳滤波算法得到去模糊后的清晰图像。结果表明这种方法能够准确地检测曝光期间相机的运动情况，并根据运动轨迹快速、准确地生成模糊核，最终通过逆滤波得到相对清晰的图像。
【专利说明】一种基于运动检测的图像去模糊方法及装置
【技术领域】
[0001 ] 本发明涉及图像处理技术，尤其涉及一种图像去模糊方法及装置。
【背景技术】
[0002]在图像处理领域，补偿由于曝光期间相机的运动造成的运动模糊一直是一个热点同时也是一个难点问题。现有的解决方案有两大类，一种是在成像已经完成之后对图像进行补偿，即通过算法将模糊图像进行清晰化；另一种是在成像时就对运动进行补偿，即曝光过程中就将运动造成的干扰去除，立刻获取一张清晰的照片。
[0003]第一种解决方案有一个假设前提就是图像模糊的数学模型:召=/ Θ /( + /7。其中，B代表模糊图像，I代表清晰图像，k代表空间不变的模糊核，η代表加性噪声，》代表空间卷积运算。第一种方案下又存在两个方向，分别是已知模糊核的情况下去模糊和未知模糊核的情况下去模糊。已知模糊核的情况下去模糊相对简单，现有的逆滤波方法相对成熟，如最小均方差滤波(维纳滤波)、约束最小二乘方滤波、几何均值滤波等；未知模糊核的情况相对较难，主要通过对自然图像的先验知识来辅助求取该问题，此类方法计算量大、对硬件要求高、结果不够稳定。
[0004]第二种方案的典型代表是Image Stabilizer,该方案的原理是在曝光期间通过陀螺仪检测相机的转动姿态，然后根据转动的信息来控制一枚补偿透镜的运动，从而修正因为转动带来的光路扭曲，最终达到消除运动带来的模糊效果。此方法只能用来解决转动问题带来的模糊，针对大幅度的运动造成的模糊并没有很好的效果。
【发明内容】
[0005]针对现有技术的缺陷，本发明提供一种基于相机运动检测的图像去模糊方法，旨在快速、准确地对相机曝光期间运动而造成的图像模糊进行处理。
[0006]为实现上述目的，本发明提供了一种基于相机运动检测的图像去模糊算法，包括下述步骤:
[0007]S1:数据采集，以获取相机到被拍摄物体之间的距离(也即物距)、曝光时间T内相机的η组运动数据和相机所拍摄的模糊图像；
[0008]S2:根据所述η组运动数据估计相机的运动轨迹，进而根据相机的运动轨迹和物距生成曝光时间T内的模糊核；
[0009]S3:根据步骤S2得出的模糊核，对所述模糊图像进行逆滤波得到去模糊的图像。
[0010]在又一实施例中，本发明提供了一种基于相机运动检测的图像去模糊装置，其特征在于，包括:
[0011]第一模块，用于数据采集，以获取相机到被拍摄物体之间的距离(也即物距)、曝光时间T内相机的η组运动数据和相机所拍摄的模糊图像；
[0012]第二模块，用于根据所述η组运动数据估计相机的运动轨迹，进而根据相机的运动轨迹和物距生成曝光时间T内的模糊核；[0013]第三模块，用于根据第二模块得出的模糊核，对所述模糊图像进行逆滤波得到去模糊的图像。
[0014]本发明提供的方法和装置能够快速地检测出相机在曝光期间的运动轨迹；能够根据运动轨迹快速地估计运动模糊核；能够有效地恢复出清晰的图像，相较于传统的根据一幅图像进行盲去模糊算法，在运算时间上显著降低，在计算资源上更加节省。
【专利附图】
【附图说明】
[0015]图1是本发明实施例提供的系统硬件结构示意图；
[0016]图2是本发明实施例提供的处理流程图；
[0017]图3是模糊核长度计算原理示意图；
[0018]图4是模糊核方向计算原理示意图；
[0019]图5是惯性运动单元输出与模糊核方向的关系示意图；
[0020]图6是模糊核拼接示意图。
【具体实施方式】
[0021]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
[0022]本发明实例提供的基于相机运动检测的图像去模糊方法是一种基于惯性导航技术和多视几何学的去模糊过程，其基本思想是:通过惯性导航器件获取曝光期间相机的运动参数，根据运动参数估计相机的大致运动轨迹；然后根据运动轨迹由多视几何学获取曝光期间图像的模糊核；最后由维纳滤波算法得到去模糊后的清晰图像。
[0023]如图1所示，本发明的系统硬件包括千兆网面阵(XD相机101，用于图像拍摄；激光测距传感器102捷联于千兆网面阵CXD相机101上，用于测量物距即被拍摄物体到相机的距离；惯性导航器件103捷联于千兆网面阵C⑶相机101上，采用ADIS16405高精密三轴陀螺仪、加速度计、磁力计，用于测量相机的运动参数，包括加速度、角速度和磁场强度；PC机104，通过以太网与千兆网面阵C⑶相机101连接，用于配置相机参数和接收相机拍摄图像，通过串行通讯口与嵌入式控制器105连接，发送相机曝光命令；嵌入式控制器105，采用STM32f4discovery开发板，用于接收PC机104的曝光命令后向千兆网面阵CCD相机101发送触发脉冲曝光，同时读取惯性导航器件103的数据，曝光结束后回传数据给PC机104。
[0024]该方法包括下述步骤:
[0025]S1:数据采集，以获取相机到被拍摄物体之间的距离(也即物距)、曝光时间T内相机的η组运动数据和相机所拍摄的模糊图像。
[0026]其中，物距可以利用激光测距传感器102获取；相机的运动数据可以利用捷联于相机上的惯性导航器件103获取，相机曝光时间为Τ，从惯性导航器件103的寄存器读出数据的周期(也即惯导采样周期)为Τ/η，相机曝光时间T内共读取η组惯导数据；曝光结束，模糊图像通过以太网回传给上位机，η组惯导数据按时间先后顺序分别加上时间戳以后通过通信接口(例如，232串行口)回传给上位机。
[0027]具体执行流程如下:首先，PC机通过以太网将相机的参数配置好，设置为触发曝光模式。然后通过串口向嵌入式控制器发送曝光命令，嵌入式控制器在收到曝光命令后通过GPIO 口向以太网相机发送脉冲信号，紧接着嵌入式控制器通过SPI 口查询惯性运动单元的数据，并将整个曝光周期的数据保存起来；与此同时，激光测距传感器将测得的物距返回给PC机。最后，相机曝光结束，图像被回传给PC机，惯性运动数据也回传给PC机。
[0028]数据采集完成后，在PC机上进行数据处理。如图2所示，首先惯性运动数据201进行相机运动轨迹运算202 ;然后结合相机运动轨迹202和物距203通过直线模糊核生成单元204生成许多直线型模糊核；接着将这些直线型模糊核通过模糊核拼接单元205生成曲线型的完整的模糊核；最后将模糊图像206与曲线型模糊核通过逆滤波单元207得到最终的清晰图像208。
[0029]下面，对PC机上的数据处理过程进行详细说明。
[0030]S2:根据所述η组运动数据估计相机的运动轨迹，进而结合相机运动轨迹和物距生成曝光时间T内的模糊核。
[0031]步骤S2具体包括:
[0032]S21:将来自惯性导航器件103的η组惯导数据转换为实际物理值，计算相机姿态，并计算与镜头平行的平面上的加速度分量；
[0033]S22:根据S21的结果，假设相机在每次惯导采样周期Τ/η内为匀速直线运动，计算每次惯导采样期间的速度，所述速度乘以惯导采样周期即为该周期内的位移；
[0034]S23:结合所述位移和物距，计算每个惯导采样周期内，物点的运动在像平面上形成的向量的模和方向，并利用所述 向量的模和方向计算与每个惯导采样周期对应的一段直线模糊核，然后根据数据的先后顺序将各个直线模糊核拼接起来，得到整个曝光时间T内的曲线模糊核。
[0035]假设相机曝光期间的运动速度为(U，V)，u是相机沿X轴的运动速度，V是相机沿y轴的运速度。如果将相机看做静止，则物点的的运动速度为(-U，-V)。
[0036]模糊核又称为点扩散函数(point spread function),可以通过分析一个点在成像过程中的行为来获取模糊核函数。如图3所示，在一个惯导采样期间，开始时刻物点在A点处，此时在像平面301上的映射为k';结束时刻物点在B点处，此时在像平面301上的
映射为B'。物点的运动会在像平面301上形成向i Tb ,为了生成模糊核，需要获取
该向量的模和方向。
[0037]获取向量的模:设A点坐标为(Xl，Y1, Z1)，其中Z1即为A点的物距，相机曝光时间为t,物点的移动速度为(U，V),得B点坐标为(xfut, yjvt, Z1)。通过相机标 定矩阵
【权利要求】
1.一种基于相机运动检测的图像去模糊方法，其特征在于，包括以下步骤: S1:数据采集，以获取相机到被拍摄物体之间的距离(也即物距)、曝光时间T内相机的η组运动数据和相机所拍摄的模糊图像； 52:利用所述η组运动数据估计相机的运动轨迹，进而根据相机的运动轨迹和物距生成曝光时间T内的模糊核； 53:根据步骤S2得出的模糊核，对所述模糊图像进行逆滤波得到去模糊的图像。
2.根据权利要求1所述的一种基于相机运动检测的图像去模糊方法，所述步骤SI中，相机的η组运动数据利用捷联于相机上的惯性导航器件获取，相机曝光时间为Τ，惯导采样周期为Τ/η，相机曝光时间T内共读取η组惯导数据。
3.根据权利要求2所述的一种基于相机运动检测的图像去模糊方法，所述步骤S2包括以下步骤: 521:将来自惯性导航器件的η组惯导数据转换为实际物理值，计算相机姿态，并计算与镜头平行的平面上的加速度分量； 522:根据S21的结果，假设相机在每次惯导采样周期Τ/η内为匀速直线运动，计算每次惯导采样期间的速度，所述速度乘以惯导采样周期即为该周期内的位移； 523:根据所述位移和物距，计算每个惯导采样周期内，物点的运动在像平面上形成的向量的模和方向，并利用所述向量的模和方向计算与每个惯导采样周期对应的一段直线模糊核，然后根据数据的先后顺序将各个直线模糊核拼接起来，得到整个曝光时间T内的曲线模糊核。
4.根据权利要求1所述的一种基于相机运动检测的图像去模糊方法，所述步骤S3中，所述逆滤波为维纳滤波，得到的去模糊的图像的傅里叶变换/(〃，V)为:
5.一种基于相机运动检测的图像去模糊装置，其特征在于，包括: 第一模块，用于数据采集，以获取相机到被拍摄物体之间的距离(也即物距)、曝光时间T内相机的η组运动数据和相机所拍摄的模糊图像； 第二模块，用于根据所述η组运动数据估计相机的运动轨迹，进而根据相机的运动轨迹和物距生成曝光时间T内的模糊核； 第三模块，用于根据第二模块得出的模糊核，对所述模糊图像进行逆滤波得到去模糊的图像。
6.根据权利要求5所述的一种基于相机运动检测的图像去模糊装置，所述相机的η组运动数据利用捷联于相机上的惯性导航器件获取，相机曝光时间为Τ，惯导采样周期为T/η，相机曝光时间T内共读取η组惯导数据。
7.根据权利要求6所述的一种基于相机运动检测的图像去模糊装置，所述第二模块包括: 第一子模块，用于将来自惯性导航器件的η组惯导数据转换为实际物理值，计算相机姿态，并计算与镜头平行的平面上的加速度分量； 第二子模块，用于根据第一子模块的结果，假设相机在每次惯导采样周期Τ/η内为匀速直线运动，计算每次惯导采样期间的速度，利用所述速度乘以惯导采样周期得到该周期内的位移； 第三子模块，用于根据所述位移和物距，计算每个惯导采样周期内，物点的运动在像平面上形成的向量的模和方向，并利用所述向量的模和方向计算与每个惯导采样周期对应的一段直线模糊核，然后根据数据的先后顺序将各个直线模糊核拼接起来，得到整个曝光时间T内的曲线模糊核。
8.根据权利要求5所述的一种基于相机运动检测的图像去模糊装置，所述第三模块中，所述逆滤波为维纳滤波，得到的去模糊的图像的傅里叶变换h“.V)为:
【文档编号】G06T7/20GK103440624SQ201310341341
【公开日】2013年12月11日 申请日期:2013年8月7日 优先权日:2013年8月7日
【发明者】肖力, 岳东, 孙志刚, 王卓, 吴庆, 卢亮 申请人:华中科技大学