图像处理方法以及电子设备与流程

本发明实施例涉及一种图像处理方法以及实现该方法的电子设备。

背景技术：

目前，手机等非专业拍照设备在生活中使用日益频繁，用户可以使用手机随时随地地进行拍照，使用方便，且容易携带。

由于手机并非专业相机，而且手机硬件尺寸、制造成本都有限制，因此手机中的镜头结构简单，专业性较差，如果在曝光时间移动手机，可能会出现图像模糊的情况发生。在拍摄照片产生模糊时，需要在有限的硬件上通过图像计算来去除模糊。当前进行图像去模糊的主要方法是去卷积算法，但该算法存在计算量巨大以及模糊位置难以准确估计等问题，因此很难在便携式摄录设备上部署。

技术实现要素：

本发明实施例的目的在于提供一种图像处理方法以及电子设备，以解决上述技术问题。

根据本发明的至少一个实施例，提供了一种图像处理方法，应用于电子设备，所述电子设备包括图像采集装置以及运动检测装置，所述方法包括：所述图像采集装置采集多帧图像；所述运动检测装置获取在所述采集图像期间所述电子设备的运动信息，所述运动信息与采集的各帧图像相对应；基于所述运动信息从所述多帧图像中选择至少两帧；基于所述两帧图像的运动信息对所述两帧图像进行图像处理。

根据本发明的至少一个实施例，还提供了一种电子设备，包括图像采集装置、运动检测装置以及处理器，其中，所述图像采集装置采集多帧图像；所述运动检测装置获取在所述采集图像期间所述电子设备的运动信息，所述运动信息与采集的各帧图像相对应；所述处理器基于所述运动信息从所述多帧图像中选择至少两帧，并且，所述处理器基于所述两帧图像的运动信息对所述两帧图像进行图像处理。

本发明实施例通过利用电子设备中自带的运动检测装置来确定图像的运动轨迹，基于该运动轨迹来实现图像的去模糊处理，算法简单，显著提高了去模糊的处理速度，且易于在已有移动设备上实现。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单的介绍。下面描述中的附图仅仅是本发明的示例性实施例。

图1示出了根据本发明实施例的图像处理方法流程图；

图2a示出了根据本发明实施例的图像拍摄时间示意图；

图2b示出了图2a中画圈部分的放大图；

图2c示出了图像r1和图像r2的特征向量之间的夹角示意图；

图3示出了根据本发明实施例的一种选取运动方向正交的两帧图像的流程图；

图4示出了根据本发明实施例的另一种选取运动方向正交的两帧图像的流程图；

图5示出了根据本发明实施例的判断两帧图像在曝光期间的运动方向为固定方向的流程图；

图6示出了根据本发明实施例的对运动检测装置进行校准的方法流程图；

图7示出了根据本发明实施例的电子设备的结构示意图。

具体实施方式

在下文中，将参考附图详细描述本发明的优选实施例。注意，在本说明书和附图中，具有基本上相同步骤和元素用相同的附图标记来表示，且对这些步骤和元素的重复解释将被省略。

在本发明的以下实施例中，电子设备指的是能够与其他设备通信的设备。电子设备的具体形式包括但不限于移动电话、个人计算机、数码相机、个人数字助手、便携式计算机、游戏机等。在本发明实施例中，电子设备包括图像采集装置以及运动检测装置。图像采集装置例如可以包括摄像头。运动检测装置例如可以包括惯性传感器，例如陀螺仪和/或加速度传感器，可以至少检测到电子设备相对于地球坐标系的x、y、z轴的旋转角度和位移。运动检测装置也可以是其他可以检测电子设备的运动的装置，例如指南针等。

图1描述了根据本发明的一个实施例的图像处理方法100的流程图。下面将参照图1来描述本发明的一个实施例的图像处理方法。图像处理方法100可以应用于上述电子设备，该电子设备可以被配置来对图像进行处理。

参见图1，在步骤s101中，图像采集装置采集多帧图像。根据本发明的一个示例，使用摄像头对同一场景的连续拍摄，得到多帧图像。电子设备的运动检测装置的采样频率远远大于图像连续拍摄的频率。例如，运动检测装置的采样频率为图像连拍频率的至少10-100倍。

在步骤s102中，运动检测装置获取在采集图像期间电子设备的运动信息，运动信息与采集的各帧图像相对应。根据本发明的一个示例，在运动检测装置获取到当前电子设备的三轴位移或三轴角度之后，基于电子设备的这些运动参数以及图像采集装置在电子设备中的相对位置，可以确定图像采集装置采集的图像的运动参数。运动参数例如包括运动位移和运动方向。根据采集的图像的运动参数可以确定拍照时手的抖动造成的图像帧的移动。

根据本发明的一个示例，根据以下方式获取图像帧的运动方向。首先，获取在图像曝光时间段内运动检测装置的每两个采样时间点之间，图像的子位移矢量。图2a示出了根据本发明实施例的图像拍摄时间示意图，参见图2，在图像拍摄时间轴上，在t1时间点按下快门后，拍摄第一帧图像时，在t1到t2时间段内为第一帧图像的曝光时间，在t3时间点拍摄第二帧图像，t3-t4时间段为第二帧图像的曝光时间，以此类推，对同一场景拍摄若干多帧图像。例如，拍摄10张图像。图2b示出了图2a中画圈部分的放大图，参见图2b，a点为第一帧图像的拍摄时间，b点为第二帧图像的拍摄时间，c点为第一帧图像曝光结束时间。从a点到c点，包括多个小箭头表示的子位移矢量，该子位移矢量为运动检测装置的每两个采样时间点之间，图像的位移矢量，也就是第一帧图像在曝光期限的多个子位移矢量。

根据该子位移矢量，可以确定图像在第一方向上的第一特征值以及在第二方向上的第二特征值。第一方向例如水平方向，第二方向例如垂直方向，当然也可以是其他方向。例如，分别标记每个子位移矢量的起点为j点，k点，…，假设从a点到c点，共有n个子位移矢量，第n个子位移矢量的终点为l点。每个子位移矢量的位移组成了每一帧图像的运动位移。根据运动检测装置，检测到第一个子位移矢量的起点，即j点的相对于地球坐标系的坐标为(x1，y1)，第二个子位移矢量的起点，即k点相对于地球坐标系的坐标为(x2，y2)，以此类推，最后一个子位移矢量的起点相对于地球坐标系的坐标为(xn，yn)，那么，a点到c点的图像帧位移特征矩阵f为

将该特征矩阵f与f的转置矩阵相乘，得到矩阵对该矩阵进行奇异值分解，得到矩阵即，下述公式

在该公式中，得到图像帧的位移特征矩阵的第一特征值δ1和第二特征值δ2。从而可以根据第一特征值δ1和第二特征值δ2来确定该图像帧的运动方向。

例如，通过比较第一特征值以及第二特征值来确定各帧图像的运动方向。在得到第一特征值δ1和第二特征值δ2之后，比较这两个特征值的大小。根据本发明的一个示例，如果δ1大于δ2，则确定特征值δ1对应的特征向量v1就是该图像帧的运动方向。如果δ2大于δ1，则确定特征值δ2对应的特征向量v2就是该图像帧的运动方向。

根据本发明另一个示例，为了精确确定运动方向，如果δ1远远大于δ2，才确定特征值δ1对应的特征向量v1就是该图像帧的运动方向。如果δ2远远大于δ1，则确定特征值δ2对应的特征向量v2就是该图像帧的运动方向。如果δ2与δ1差值不大，例如小于预设阈值，则表示该帧图像在曝光时间的运动方向不固定，放弃该图像帧。

以上介绍了如何确定一个图像的运动方向，而图像的运动位移则是由每个子位移矢量的位移组成。在确定了图像帧的运动方向和运动位移后，下面介绍如何基于这些运动信息选取两帧图像。

在步骤s103中，基于运动信息从多帧图像中选择至少两帧。根据本发明的一个示例，基于各图像帧的运动位移以及运动方向从多帧图像中选取运动方向正交的第一帧图像以及第二帧图像。

图3示出了根据本发明实施例的一种选取运动方向正交的两帧图像的流程图。参见图3，在步骤s301中，获取从图像拍摄时间点到图像曝光结束时间点，运动检测装置检测到的电子设备的运动信息。在步骤s302中，基于运动信息获取各帧图像的位移矢量。在步骤s303中，基于多帧图像中每两帧图像的位移矢量，判断两帧图像的运动方向是否正交。

例如，在步骤s102中，如前所述，通过陀螺仪或加速度传感器得到电子设备的运动方向以及运动位移。并进一步通过上述特征矩阵得到每一帧图像的从拍摄到曝光结束时间段内，代表图像帧运动方向的特征向量v。在确定代表每一图像帧的运动方向的特征向量之后，进一步确定这些特征向量中，哪两个特征向量之间的夹角为90度或接近90度，从而判断这两个向量是否正交。例如，如果v1和v3之间的夹角为90度，则v1和v3正交。图2c示出了图像r1和图像r2的特征向量之间的夹角示意图，参见图2c，图像r1和图像r2的特征向量之间的夹角接近90度，则r1和r2运动方向正交。

图4示出了根据本发明实施例的另一种选取运动方向正交的两帧图像的流程图。参见图4，在步骤s401中，确定在运动检测装置每个采样点，图像位置坐标到该图像位移矢量之间的距离。例如，参见图2b，将第一帧图像从拍摄到曝光结束时间段内的起点到终点进行连线，即图中a到c时间段内，第一图像帧的起点j到终点l的直线f，作为第一帧图像曝光时间段内第一帧图像的位移矢量。以这种方式，确定所有图像帧的位移矢量。然后判断这些位移矢量之间的夹角是否是直角或接近直角，如果两帧图像的位移矢量之间夹角是直角或接近直角，则可以判断这两帧图像正交。

此外，根据本发明的另一个示例，在判断两帧图像的位置矢量是否正交时，可以借助均方根来进行图像帧的选择。优先选择均方根小的两帧图像进行正交性比较。例如，在确定每一帧图像的位移矢量后，确定运动检测装置的每个采样点，图像的坐标点到上述位移矢量的距离。以第一帧图像为例，确定在a到c时间段内，每个采样点图像的坐标点到上述位移矢量的距离，即图2b中，每个小箭头(假设为n个)的起点(j，k…)到直线f的垂直距离pn。在步骤s402中，确定所有距离pn的均方根。在步骤s403中，根据均方根选择两帧图像，并判断该选择的两图像的运动方向是否正交。在求出每一帧图像中上述距离的均方根之后，按照从小到大的顺序进行排序。优先选择均方根小的两帧图像帧，比较这两个图像帧是否正交。

根据本发明的一个示例，在选取运动方向正交的第一帧图像以及第二帧图像时，还可以进一步确定第一帧图像以及第二帧图像在图像曝光期限的运动方向是否为固定方向。如果第一帧图像以及第二帧图像的运动方向均为固定方向，才判断这两帧图像是否正交，最终选取运动方向为固定方向并且运动方向正交且的第一帧图像以及第二帧图像。如果运动方向不是固定方向，则可能表示该帧图像运动方向变化较多，不容易与其他图像帧进行融合来解决图像模糊的问题，因此可以舍弃该帧图像，不用再判断该图像帧与其他图像的正交性。

图5示出了根据本发明实施例的如何判断两帧图像在曝光期间的运动方向为固定方向的流程图。参见图5，在步骤s501中，获取在图像曝光时间段内运动检测装置的每两个采样时间点之间，图像的位移矢量。在步骤s502中，根据位移矢量，确定图像在第一方向上的第一特征值以及在第二方向上的第二特征值。在步骤s503中，根据第一特征值以及第二特征值的关系，判断运动方向是否是固定方向。

上述步骤s501与s502与前述实施例具体步骤相同，在步骤s502得到图像在第一方向上的第一特征值以及在第二方向上的第二特征值之后，如果图像帧位移矢量在一个方向的特征值δ1远远大于另一个方向的特征值δ2，或者δ2远远大于δ1，则确定图像的运动方向是固定的。如果δ2与δ1差值不大，例如小于预设阈值，则表示该帧图像在曝光时间的运动方向不固定，放弃该图像帧。

在步骤s104中，基于两帧图像的运动信息对两帧图像进行图像处理。根据本发明的一个示例，首先对第一帧图像以及第二帧图像进行频域变换。例如，进行傅里叶变换或小波变换。然后对变换后的图像进行图像融合。在图像融合后，对融合后的图像进行反频域变换。如果前面做的是傅里叶变换，则在该步骤中进行反傅里叶变换，如果前面做的是小波变换，则在该步骤中进行小波逆变换，则可以去除图像帧的模糊。

本发明实施例，通过电子设备中的运动检测装置确定图像的位移矢量，根据位移矢量选择两帧图像，然后对该图像进行处理，可以有效去除图像在拍摄期限由于抖动产生的模糊，并且，上述方法不需要复杂的运算，也无需增加额外的硬件，易于实现并且节省成本。

根据本发明的一个示例，在使用运动检测装置检测拍摄图像的位移矢量时，可以预先对运动检测装置进行校准。

图6示出了根据本发明实施例的对运动检测装置进行校准的方法流程图。参见图6，对运动检测装置进行校准可以包括如下步骤。在步骤s601中，获取相邻两帧图像拍摄时间点图像的第一位移矢量。参见图2b，以第一帧和第二帧为例，获取第一帧图像拍摄时间点a到第二帧图像拍摄时间点b之间，图像的第一位移矢量，即时间点a图像起点j(坐标(x1，y1)到时间点b图像的位移终点q(坐标(xm，ym))之间的位移矢量。在步骤s602中，根据光流法计算相邻两帧在拍摄时间点的第二位移矢量。光流是一种简单实用的图像运动的表达方式，通常定义为一个图像序列中的图像亮度模式的表观运动。例如，可以利用基于特征的光流法或基于区域的光流法或基于频域的光流法来计算第二位移矢量。在步骤s603中，通过比较第一位移矢量以及第二位移矢量来校准运动检测装置。例如，比较第一位移矢量和第二位移矢量之间的差值，根据差值来确定运动检测装置的误差，从而校准该运动检测装置。

根据本发明的一个示例，还可以进一步获取相邻两帧拍摄时间点之间，在运动检测装置每两个采样时间点之间图像的位移矢量。以相邻的第一帧图像和第二帧图像为例，参见图2b，获取第一帧图像拍摄时间点a到第二帧图像拍摄时间点b之间每个小箭头代表的运动检测装置每两个采样点之间图像的子位移矢量。然后，比较第一位移矢量以及第二位移矢量确定运动检测装置的误差之后，根据采样时间点个数获取平均误差。例如，如果有m个子位移矢量，将总误差除以m取平均值，得到平均误差。并基于平均误差来调整每两个时间采样点之间图像的位移矢量。例如，也可以基于平均误差校准运动检测装置的采样时间间隔等。

本发明实施例，通过对运动检测装置进行校准，可以更精确的确定图像帧的运动方向以及运动位移，提高了去模糊算法的精度，可以有效地去除图像的模糊。

以上介绍了根据本发明实施例的图像处理方法，下面将进一步介绍根据本发明实施例的电子设备，该电子设备用于实现上述图像处理方法，为了说明书的简洁，以下仅作简要描述，具体可以参见上述图像处理方法。

图7示出了根据本发明实施例的电子设备的结构示意图，参见图7，电子设备700包括图像采集装置710、运动检测装置720以及处理器730。

其中，图像采集装置采集多帧图像；运动检测装置获取在采集图像期间电子设备的运动信息，运动信息与采集的各帧图像相对应；处理器基于运动信息从多帧图像中选择至少两帧，并且，处理器基于两帧图像的运动信息对两帧图像进行图像处理。

根据本发明的一个示例，多帧图像为对同一场景的连续拍摄，运动检测装置的采样频率大于图像连续拍摄的频率。

根据本发明的一个示例，处理器还基于电子设备的运动信息获得各帧图像的运动参数；并基于各帧图像的运动参数从多帧图像中选择至少两帧图像。

根据本发明的一个示例，处理器基于运动信息从多帧图像中选择至少两帧包括：

处理器从多帧图像中选取运动方向正交的第一帧图像以及第二帧图像。

根据本发明的一个示例，处理器基于两帧图像的运动信息对两帧图像进行图像处理的步骤包括：处理器对第一帧图像以及第二帧图像进行频域变换；并对变换后的图像进行图像融合；对融合后的图像进行反频域变换。

根据本发明的一个示例，各帧图像的运动参数包括运动方向，处理器基于电子设备的运动信息获得各帧图像的运动参数包括：处理器获取在图像曝光时间段内运动检测装置的每两个采样时间点之间，图像的子位移矢量；并根据子位移矢量，确定图像在第一方向上的第一特征值以及在第二方向上的第二特征值；还根据第一特征值以及第二特征值的比较值来确定各帧图像的运动方向。

根据本发明的一个示例，处理器从多帧图像中选取运动方向正交第一帧图像以及第二帧图像包括：处理器获取从图像拍摄时间点到图像曝光结束时间点，运动检测装置检测到的电子设备的运动信息；基于运动信息获取各帧图像的位移矢量；基于多帧图像中每两帧图像的位移矢量，判断两帧图像的运动方向是否正交。

根据本发明的一个示例，处理器基于运动信息获取各帧图像的位移矢量包括：处理器获取从图像拍摄时间点到曝光结束时间点，各帧图像的位移矢量；并获取图像曝光时间段内在运动检测装置的每个采样时间点，图像的多个位置坐标；处理器基于多帧图像中每两帧图像的位移矢量，判断两帧图像的运动方向是否正交包括：处理器确定每个位置坐标到位移矢量之间的距离；确定所有距离的均方根；根据均方根选择两帧图像，并判断该选择的两图像的运动方向是否正交。

根据本发明的一个示例，处理器进一步被配置为，确定第一帧图像以及第二帧图像在图像曝光期限的运动方向为固定方向；处理器从多帧图像中选取运动方向正交第一帧图像以及第二帧图像包括：选取运动方向正交且运动方向为固定方向的第一帧图像以及第二帧图像。

根据本发明的一个示例，处理器确定第一帧图像以及第二帧图像在图像曝光期限的运动方向为固定方向包括：处理器获取在图像曝光时间段内运动检测装置的每两个采样时间点之间，图像的位移矢量；根据位移矢量，确定图像在第一方向上的第一特征值以及在第二方向上的第二特征值；根据第一特征值以及第二特征值的关系，判断运动方向是否是固定方向。

根据本发明的一个示例，电子设备还包括：校准单元，用于预先对运动检测装置进行校准。校准单元被配置为：获取相邻两帧图像拍摄时间点图像的第一位移矢量；根据光流计算相邻两帧在拍摄时间点的第二位移矢量；通过比较第一位移矢量以及第二位移矢量来校准运动检测装置。

根据本发明的一个示例，通过比较第一位移矢量以及第二位移矢量来校准运动检测装置包括：获取相邻两帧拍摄时间点之间，在运动检测装置每两个采样时间点之间图像的位移矢量；比较第一位移矢量以及第二位移矢量确定运动检测装置的误差；基于误差根据采样时间点个数获取平均误差；基于平均误差来调整每两个时间采样点之间图像的位移矢量。

根据本发明的一个示例，运动检测装置包括陀螺仪和/或加速度传感器。

本发明实施例通过利用电子设备中自带的运动检测装置来确定图像的运动轨迹，基于该运动轨迹来实现图像的去模糊处理，算法简单，显著提高了去模糊的处理速度，且易于在已有移动设备上实现。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现。并且软件模块可以置于任意形式的计算机存储介质中。为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本领域技术人员应该理解，可依赖于设计需求和其它因素对本发明进行各种修改、组合、部分组合和替换，只要它们在所附权利要求书及其等价物的范围内。