一种具备图像防抖检测功能的摄像装置的制造方法
【专利摘要】本发明提供了一种具备图像防抖检测功能的摄像装置，包括摄像装置和与其相连的斑块配准装置，所述摄像装置包括：第一图像抖动检测单元，其检测图像抖动；第二图像抖动检测单元，其用与所述第一图像抖动检测单元不同的方法来检测图像抖动；判断单元，其在判断为通过所述第一图像抖动检测单元检测出的图像抖动收敛后，进一步在判断为通过所述第二图像抖动检测单元检测出的图像抖动收敛的情况下，判断为没有图像抖动。本发明具有图像匹配精度相对较高、匹配速度相对较快的优点。
【专利说明】
-种具备图像防抖检测功能的摄像装置
技术领域
[0001] 本发明设及摄像领域，具体设及一种具备图像防抖检测功能的摄像装置。
【背景技术】
[0002] 图像配准是将在不同时间、从不同视角或用不同传感器拍摄的同一场景的两幅或 多幅图像在空间上进行对齐的过程。其主要目的是消除参考图像和待配准图像间由成像条 件不同所引起的几何形变，从而使二者具有空间一致性。现有技术中的图像配准算法能够 通过增强信息间的互补性，减少对场景理解的不确定性。在图像配准过程中，由于同一场景 的成像结果表现出较大的视觉差异，给配准带来较大的困难，且现有的配准算法在精度、效 率、稳定性和适应性等方面并不能完全满足应用需求。
【发明内容】
[0003] 针对上述问题，本发明提供一种具备图像防抖检测功能的摄像装置。
[0004] 本发明的目的采用W下技术方案来实现：
[0005] -种具备图像防抖检测功能的摄像装置，包括摄像装置和与其相连的斑块配准装 置，所述摄像装置包括：
[0006] 第一图像抖动检测单元，其检测图像抖动；
[0007] 第二图像抖动检测单元，其用与所述第一图像抖动检测单元不同的方法来检测图 像抖动；
[000引判断单元，其在判断为通过所述第一图像抖动检测单元检测出的图像抖动收敛 后，进一步在判断为通过所述第二图像抖动检测单元检测出的图像抖动收敛的情况下，判 断为没有图像抖动。
[0009] 优选地，所述第二图像抖动检测单元在判断为通过所述第一图像抖动检测单元检 测出的图像抖动收敛后，开始基于与所述第一图像抖动检测单元不同的方法进行的图像抖 动检测处理。
[0010] 优选地，所述判断单元在判断为通过所述第一图像抖动检测单元检测出的图像抖 动收敛之前的阶段中，即使在判断为通过所述第二图像抖动检测单元检测出的图像抖动收 敛的状况下也不判断为没有图像抖动。
[0011] 优选地，所述斑块配准装置包括:预处理模块、特征检测模块、特征描述模块、特征 匹配模块和空间变换模块；
[0012] (1)预处理模块，用于将参考图像和待配准图像转化为灰度图像，定义转化公式 为：
[0013] I(x，y)=k(G(x，y)+R(x，y)+B(x，y))+^(G(x，y)+R(x，y))+：3k(x，y)
[0014] 其中，I(x，y)代表图像在坐标(x，y)处的像素灰度值，6^，7)、3^，7)、8(义，7)分别 代表坐标(x，y)处的红、绿、蓝强度值，k为设定的权重因子，k的取值范围为[0.08,0.12];
[0015] (2)特征检测模块，包括局部区域特征检测子模块和斑块特征检测子模块，所述局 部区
[0016] 域特征检测子模块用于通过墨西哥帽小波函数来检测预处理后的两图像的局部 区域特征，所述斑块特征检测子模块用于采用近似化ssian矩阵的局部极值在自定义尺度 空间中检测预处理后的两图像中的斑块特征，输出斑块特征的空间位置及所在的特征尺 度；
[0017] 所述近似化ssian矩阵的描述形式为：
[001 引
[0019] 式中，0为高斯函数的标准差，即尺度因子瓜x(x，y，o)、Exy(x，y，o)、Eyy(x，y，o)分 别为高斯二阶微《
离散化和裁剪后的近似模板在点(x，y)处与 图像的卷积;设定Exx、Exy和Eyy表示第一、第二和第^9X9近似模板与图像的卷积结果，Exx、 Exy和Eyy的计算公式定义如下：
[0023] 其中，取第一近似模板从左至右3X3区域作为第一标记区域，取第二近似模板中 部2X2区域作为第二标记区域，取第Ξ近似模板从上至下3X3区域作为第Ξ标记区域，Ai、 A2和A3分别为第一、第二和第Ξ标记区域覆盖下的图像像素灰度和，P、Q为标记区域面积，分 别等于9和4;
[0024] 所述近似化ssian矩阵的特征点响应函数为：
[0025] DET(H)=ExxEyy-(0.9Exy)^
[0026] 所述墨西哥帽小波函数的描述形式为：
[0027]
[002引其中，q为构造所述自定义尺度空间的变化参数，q与σ之间的关系为0 = 2-9;
[0029] 优选地，
[0030] (3)特征描述模块，其通过建立加权灰度描述子对检测出的斑块特征进行描述并 形成描述矢量，建立加权灰度描述子时将W斑块特征为中屯、、垂直于斑块特征的主方向且 大小为1 X1的中屯、区域分割成多个子块，所述加权灰度描述子为：
[0035] 式中，WD表不加权灰度描述子，Ρ+表不正灰度差值直方图，ρ-表不负灰度差值直方 图，I(mi)和I(m)分别为采用双线性插值求取的各个子块的灰度均值和整个中屯、区域的灰 度均值，Di为各子块与中屯、的距离，其中，i = 1，2，…I2，f (Di)表示加权函数，NP+、NP責示归 一化的正负灰度差直方图；
[0036] (4)特征匹配模块，用于对预处理后的参考图像和待配准图像进行匹配，包括依次 连接的局部区域匹配子模块、区域划分子模块、特征分组子模块和斑块特征匹配子模块，所 述局部区域匹配子模块用于对预处理后的参考图像和待配准图像的局部区域特征进行匹 配，所述区域划分子模块用于按照局部区域特征对预处理后的参考图像和待配准图像进行 图像区域划分并将划分后的图像区域转化为标准圆区域，设划分的图像区域数量为N，N的 取值范围为[200,1000]，所述特征分组子模块用于将所述斑块特征按照图像区域划分的范 围进行分组，所述斑块特征匹配子模块用于对各组内的表示斑块特征的描述矢量进行匹 配；
[0037] (5)空间变换模块，用于将待配准图像通过几何变换模型映射到参考图像的坐标 系中，完成图像配准，所述几何变换模型的参数采用随机抽样一致性算法进行估计。
[0038] 其中，所述自定义尺度空间分为多组，每组包含Ξ个不同尺度的滤波器模板;所述 自定义尺度空间的第一组中，最小尺度对应的模板大小为9X9,标记区域增量设为4,模板 增量为12，第二个和第Ξ个模板对应的模板大小依次为21 X 21和33 X 33;除自定义尺度空 间的第一组外的其他组中，每组的第一个模板与前一组的第二个模板大小相同，且模板增 量为前一组的4倍。
[0039] 其中，所述标准圆区域的圆屯、为局部区域特征的重屯、，标准圆区域的半径为局部 区域边缘上的点到所述重屯、距离的均值。
[0040] 本发明的有益效果为：
[0041] 1、设置的图像预处理模块考虑了视觉习惯W及人眼对不同色彩的感知度同色彩 强度的非线性关系，能够更为准确的描述图像；
[0042] 2、设置的斑块特征检测子模块，能够充分利用基于积分图像的盒型滤波与滤波器 尺寸无关的特性，等速构建图像的尺度空间，且由于没有图像的降采样操作，能够避免混叠 现象出现；
[0043] 3、特征描述模块通过建立加权灰度描述子对检测出的斑块特征进行描述，能够更 充分地利用特征邻域内的局部信息构建描述矢量；
[0044] 4、设置的特征匹配模块中先进行局部区域匹配再进行组内的斑块特征点划分，提 高了图像匹配的速度，且其中设置的区域划分子模块将划分后的图像区域转化为标准圆区 域，降低了斑块特征点分组判断的复杂性，因为斑块特征点是否位于区域内只需比较其边 缘到圆屯、的距离与圆的半径即可，同时还降低了局部区域抽取精度对分组配准的影响，因 为没有使用区域边缘而使用边缘到区域重屯、的均值做划分的边界。
【附图说明】
[0045] 利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限 审IJ，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可W根据W下附图获得 其它的附图。
[0046] 图1是本发明摄像装置组成示意图。
[0047] 图2是本发明斑块配准装置各模块的连接示意图。
【具体实施方式】
[0048] 结合W下实施例对本发明作进一步描述。
[0049] 实施例1
[0050] 参见图1，图2,本实施例一种具备图像防抖检测功能的摄像装置，包括摄像装置和 与其相连的斑块配准装置，所述摄像装置包括：
[0051] 第一图像抖动检测单元，其检测图像抖动；
[0052] 第二图像抖动检测单元，其用与所述第一图像抖动检测单元不同的方法来检测图 像抖动；
[0053] 判断单元，其在判断为通过所述第一图像抖动检测单元检测出的图像抖动收敛 后，进一步在判断为通过所述第二图像抖动检测单元检测出的图像抖动收敛的情况下，判 断为没有图像抖动。
[0054] 优选地，所述第二图像抖动检测单元在判断为通过所述第一图像抖动检测单元检 测出的图像抖动收敛后，开始基于与所述第一图像抖动检测单元不同的方法进行的图像抖 动检测处理。
[0055] 优选地，所述判断单元在判断为通过所述第一图像抖动检测单元检测出的图像抖 动收敛之前的阶段中，即使在判断为通过所述第二图像抖动检测单元检测出的图像抖动收 敛的状况下也不判断为没有图像抖动。
[0056] 优选地，所述斑块配准装置包括:预处理模块、特征检测模块、特征描述模块、特征 匹配模块和空间变换模块；
[0057] (1)预处理模块，用于将参考图像和待配准图像转化为灰度图像，定义转化公式 为：
[005引 I(x，y)=k(G(x，y)+R(x，y)+B(x，y))+^(G(x，y)+R(x，y))+：3k(x，y)
[0059] 其中，I(x，y)代表图像在坐标(x，y)处的像素灰度值，6^，7)、3^，7)、8(义，7)分别 代表坐标(x，y)处的红、绿、蓝强度值，k为设定的权重因子，k的取值范围为[0.08,0.12];
[0060] (2)特征检测模块，包括局部区域特征检测子模块和斑块特征检测子模块，所述局 部区
[0061] 域特征检测子模块用于通过墨西哥帽小波函数来检测预处理后的两图像的局部 区域特征，所述斑块特征检测子模块用于采用近似化ssian矩阵的局部极值在自定义尺度 空间中检测预处理后的两图像中的斑块特征，输出斑块特征的空间位置及所在的特征尺 度；
[0062] 所述近似化ssian矩阵的描述形式为：
[0063]
[0064] 式中，0为高斯函数的标准差，即尺度因子;Exx(x，y，o)、Exy(x，y，o)、Eyy(x，y，o)分 别为高斯二阶微^
霉散化和裁剪后的近似模板在点(x，y)处与 图像的卷积;设定Exx、Exy和Eyy表示第一、第二和第^9X9近似模板与图像的卷积结果，Exx、 Exy和Eyy的计算公式定义如下：
[0068] 其中，取第一近似模板从左至右3X3区域作为第一标记区域，取第二近似模板中 部2X2区域作为第二标记区域，取第Ξ近似模板从上至下3X3区域作为第Ξ标记区域，Ai、 A2和A3分别为第一、第二和第Ξ标记区域覆盖下的图像像素灰度和，P、Q为标记区域面积，分 别等于9和4;
[0069] 所述近似化S S i an矩阵的特征点响应函数为：
[0070] DET(H)=ExxEyy-(0.9Exy)^
[0071 ]所述墨西哥帽小波函数的描述形式为：
[0072]
[0073] 其中，q为构造所述自定义尺度空间的变化参数，q与σ之间的关系为0 = 2^9;
[0074] 优选地，
[0075] (3)特征描述模块，其通过建立加权灰度描述子对检测出的斑块特征进行描述并 形成描述矢量，建立加权灰度描述子时将W斑块特征为中屯、、垂直于斑块特征的主方向且 大小为1 X 1的中屯、区域分割成多个子块，所述加权灰度描述子为：
[0076] WD={NP",NPl
[0077] 此处
[0080] 式中，WD表不加权灰度描述子，P+表不正灰度差值直方图，表不负灰度差值直方 图，I(mi)和I(m)分别为采用双线性插值求取的各个子块的灰度均值和整个中屯、区域的灰 度均值，Di为各子块与中屯、的距离，其中，i = 1，2，…I2，f (Di)表示加权函数，NP+、NP^示归 一化的正负灰度差直方图；
[0081] (4)特征匹配模块，用于对预处理后的参考图像和待配准图像进行匹配，包括依次 连接的局部区域匹配子模块、区域划分子模块、特征分组子模块和斑块特征匹配子模块，所 述局部区域匹配子模块用于对预处理后的参考图像和待配准图像的局部区域特征进行匹 配，所述区域划分子模块用于按照局部区域特征对预处理后的参考图像和待配准图像进行 图像区域划分并将划分后的图像区域转化为标准圆区域，设划分的图像区域数量为N，N的 取值范围为[200,1000]，所述特征分组子模块用于将所述斑块特征按照图像区域划分的范 围进行分组，所述斑块特征匹配子模块用于对各组内的表示斑块特征的描述矢量进行匹 配；
[0082] (5)空间变换模块，用于将待配准图像通过几何变换模型映射到参考图像的坐标 系中，完成图像配准，所述几何变换模型的参数采用随机抽样一致性算法进行估计。
[0083] 其中，所述自定义尺度空间分为多组，每组包含Ξ个不同尺度的滤波器模板;所述 自定义尺度空间的第一组中，最小尺度对应的模板大小为9X9,标记区域增量设为4,模板 增量为12，第二个和第Ξ个模板对应的模板大小依次为21 X 21和33 X 33;除自定义尺度空 间的第一组外的其他组中，每组的第一个模板与前一组的第二个模板大小相同，且模板增 量为前一组的4倍。
[0084] 其中，所述标准圆区域的圆屯、为局部区域特征的重屯、，标准圆区域的半径为局部 区域边缘上的点到所述重屯、距离的均值。
[0085] 本实施例设置的图像预处理模块考虑了视觉习惯W及人眼对不同色彩的感知度 同色彩强度的非线性关系，能够更为准确的描述图像;设置的斑块特征检测子模块，能够等 速构建图像的尺度空间，且能够避免混叠现象出现;设置的特征描述模块通过建立加权灰 度描述子对检测出的斑块特征进行描述，能够更充分地利用特征邻域内的局部信息构建描 述矢量;设置的特征匹配模块中先进行局部区域匹配再进行组内的斑块特征点划分，提高 了图像匹配的速度，且其中设置的区域划分子模块将划分后的图像区域转化为标准圆区 域，降低了斑块特征点分组判断的复杂性W及局部区域抽取精度对分组配准的影响。本实 施例权重因子k取值为0.08,划分的图像区域数量N取值为200,图像匹配精度相对提高了 1%，匹配速度提高了3%。
[00化]实施例2
[0087] 参见图1，图2,本实施例一种具备图像防抖检测功能的摄像装置，包括摄像装置和 与其相连的斑块配准装置，所述摄像装置包括：
[0088] 第一图像抖动检测单元，其检测图像抖动；
[0089] 第二图像抖动检测单元，其用与所述第一图像抖动检测单元不同的方法来检测图 像抖动；
[0090] 判断单元，其在判断为通过所述第一图像抖动检测单元检测出的图像抖动收敛 后，进一步在判断为通过所述第二图像抖动检测单元检测出的图像抖动收敛的情况下，判 断为没有图像抖动。
[0091] 优选地，所述第二图像抖动检测单元在判断为通过所述第一图像抖动检测单元检 测出的图像抖动收敛后，开始基于与所述第一图像抖动检测单元不同的方法进行的图像抖 动检测处理。
[0092] 优选地，所述判断单元在判断为通过所述第一图像抖动检测单元检测出的图像抖 动收敛之前的阶段中，即使在判断为通过所述第二图像抖动检测单元检测出的图像抖动收 敛的状况下也不判断为没有图像抖动。
[0093] 优选地，所述斑块配准装置包括:预处理模块、特征检测模块、特征描述模块、特征 匹配模块和空间变换模块；
[0094] (1)预处理模块，用于将参考图像和待配准图像转化为灰度图像，定义转化公式 为：
[00M] I(x，y)=k(G(x，y)+R(x，y)+B(x，y))+^(G(x，y)+R(x，y))+：3k(x，y)
[0096] 其中，I(x，y)代表图像在坐标(x，y)处的像素灰度值，6^，7)、3^，7)、8(义，7)分别 代表坐标(x，y)处的红、绿、蓝强度值，k为设定的权重因子，k的取值范围为[0.08,0.12];
[0097] (2)特征检测模块，包括局部区域特征检测子模块和斑块特征检测子模块，所述局 部区
[0098] 域特征检测子模块用于通过墨西哥帽小波函数来检测预处理后的两图像的局部 区域特征，所述斑块特征检测子模块用于采用近似化ssian矩阵的局部极值在自定义尺度 空间中检测预处理后的两图像中的斑块特征，输出斑块特征的空间位置及所在的特征尺 度；
[0099] 所述近似化ssian矩阵的描述形式为：
[0100]
[0101]式中，0为高斯函数的标准差，即尺度因子;Exx(x，y，o)、Exy(x，y，o)、Eyy(x，y，o)分 别为高斯二阶微分
离散化和裁剪后的近似模板在点(x，y)处与 图像的卷积;设定Exx、Exy和Eyy表示第一、第二和第^9X9近似模板与图像的卷积结果，Exx、 Exy和Eyy的计算公式定义如下：
[0105] 其中，取第一近似模板从左至右3X3区域作为第一标记区域，取第二近似模板中 部2X2区域作为第二标记区域，取第Ξ近似模板从上至下3X3区域作为第Ξ标记区域，Ai、 A2和A3分别为第一、第二和第Ξ标记区域覆盖下的图像像素灰度和，P、Q为标记区域面积，分 别等于9和4;
[0106] 所述近似化S S i an矩阵的特征点响应函数为：
[0107] DET(H)=ExxEyy-(0.9Exy)^
[0108] 所述墨西哥帽小波函数的描述形式为：
[0109]
[0110] 其中，q为构造所述自定义尺度空间的变化参数，q与σ之间的关系为0 = 2^9;
[0111] 优选地，
[0112] (3)特征描述模块，其通过建立加权灰度描述子对检测出的斑块特征进行描述并 形成描述矢量，建立加权灰度描述子时将W斑块特征为中屯、、垂直于斑块特征的主方向且 大小为1 X 1的中屯、区域分割成多个子块，所述加权灰度描述子为：
[0117] 式中，WD表不加权灰度描述子，Ρ+表不正灰度差值直方图，不负灰度差值直方 图，I(mi)和I(m)分别为采用双线性插值求取的各个子块的灰度均值和整个中屯、区域的灰 度均值，Di为各子块与中屯、的距离，其中，i = 1，2，…I2，f (Di)表示加权函数，NP+、NP^示归 一化的正负灰度差直方图；
[0118] (4)特征匹配模块，用于对预处理后的参考图像和待配准图像进行匹配，包括依次 连接的局部区域匹配子模块、区域划分子模块、特征分组子模块和斑块特征匹配子模块，所 述局部区域匹配子模块用于对预处理后的参考图像和待配准图像的局部区域特征进行匹 配，所述区域划分子模块用于按照局部区域特征对预处理后的参考图像和待配准图像进行 图像区域划分并将划分后的图像区域转化为标准圆区域，设划分的图像区域数量为N，N的 取值范围为[200,1000]，所述特征分组子模块用于将所述斑块特征按照图像区域划分的范 围进行分组，所述斑块特征匹配子模块用于对各组内的表示斑块特征的描述矢量进行匹 配；
[0119] (5)空间变换模块，用于将待配准图像通过几何变换模型映射到参考图像的坐标 系中，完成图像配准，所述几何变换模型的参数采用随机抽样一致性算法进行估计。
[0120] 其中，所述自定义尺度空间分为多组，每组包含Ξ个不同尺度的滤波器模板;所述 自定义尺度空间的第一组中，最小尺度对应的模板大小为9X9,标记区域增量设为4,模板 增量为12，第二个和第Ξ个模板对应的模板大小依次为21 X 21和33 X 33;除自定义尺度空 间的第一组外的其他组中，每组的第一个模板与前一组的第二个模板大小相同，且模板增 量为前一组的4倍。
[0121] 其中，所述标准圆区域的圆屯、为局部区域特征的重屯、，标准圆区域的半径为局部 区域边缘上的点到所述重屯、距离的均值。
[0122] 本实施例设置的图像预处理模块考虑了视觉习惯W及人眼对不同色彩的感知度 同色彩强度的非线性关系，能够更为准确的描述图像;设置的斑块特征检测子模块，能够等 速构建图像的尺度空间，且能够避免混叠现象出现;设置的特征描述模块通过建立加权灰 度描述子对检测出的斑块特征进行描述，能够更充分地利用特征邻域内的局部信息构建描 述矢量;设置的特征匹配模块中先进行局部区域匹配再进行组内的斑块特征点划分，提高 了图像匹配的速度，且其中设置的区域划分子模块将划分后的图像区域转化为标准圆区 域，降低了斑块特征点分组判断的复杂性W及局部区域抽取精度对分组配准的影响。本实 施例权重因子k取值为0.09,划分的图像区域数量N取值为400,图像匹配精度相对提高了 1.2%，匹配速度提高了2.5%。
[0123] 实施例3
[0124] 参见图1，图2,本实施例一种具备图像防抖检测功能的摄像装置，包括摄像装置和 与其相连的斑块配准装置，所述摄像装置包括：
[0125] 第一图像抖动检测单元，其检测图像抖动；
[0126] 第二图像抖动检测单元，其用与所述第一图像抖动检测单元不同的方法来检测图 像抖动；
[0127] 判断单元，其在判断为通过所述第一图像抖动检测单元检测出的图像抖动收敛 后，进一步在判断为通过所述第二图像抖动检测单元检测出的图像抖动收敛的情况下，判 断为没有图像抖动。
[0128] 优选地，所述第二图像抖动检测单元在判断为通过所述第一图像抖动检测单元检 测出的图像抖动收敛后，开始基于与所述第一图像抖动检测单元不同的方法进行的图像抖 动检测处理。
[0129] 优选地，所述判断单元在判断为通过所述第一图像抖动检测单元检测出的图像抖 动收敛之前的阶段中，即使在判断为通过所述第二图像抖动检测单元检测出的图像抖动收 敛的状况下也不判断为没有图像抖动。
[0130] 优选地，所述斑块配准装置包括:预处理模块、特征检测模块、特征描述模块、特征 匹配模块和空间变换模块；
[0131] (1)预处理模块，用于将参考图像和待配准图像转化为灰度图像，定义转化公式 为：
[0132] I(x，y)=k(G(x，y)+R(x，y)+B(x，y))+^(G(x，y)+R(x，y))+：3k(x，y)
[0133] 其中，I(x，y)代表图像在坐标(x，y)处的像素灰度值，6^，7)、3^，7)、8(义，7)分别 代表坐标(x，y)处的红、绿、蓝强度值，k为设定的权重因子，k的取值范围为[0.08,0.12];
[0134] (2)特征检测模块，包括局部区域特征检测子模块和斑块特征检测子模块，所述局 部区
[0135] 域特征检测子模块用于通过墨西哥帽小波函数来检测预处理后的两图像的局部 区域特征，所述斑块特征检测子模块用于采用近似化ssian矩阵的局部极值在自定义尺度 空间中检测预处理后的两图像中的斑块特征，输出斑块特征的空间位置及所在的特征尺 度；
[0136] 所述近似化ssian矩阵的描述形式为：
[0137]
[0138] 式中，0为高斯函数的标准差，即尺度因子;Exx(x，y，o)、Exy(x，y，o)、Eyy(x，y，o)分 别为高斯二阶微^
霉散化和裁剪后的近似模板在点(x，y)处与 图像的卷积;设定Exx、Exy和Eyy表示第一、第二和第^9X9近似模板与图像的卷积结果，Exx、 Exy和Eyy的计算公式定义如下：
[0142] 其中，取第一近似模板从左至右3X3区域作为第一标记区域，取第二近似模板中 部2X2区域作为第二标记区域，取第Ξ近似模板从上至下3X3区域作为第Ξ标记区域，Ai、 A2和A3分别为第一、第二和第Ξ标记区域覆盖下的图像像素灰度和，P、Q为标记区域面积，分 别等于9和4;
[0143] 所述近似化S S ian矩阵的特征点响应函数为：
[0144] DET(H)=ExxEyy-(0.9Exy)^
[0145] 所述墨西哥帽小波函数的描述形式为：
[0146]
[0147]其中，q为构造所述自定义尺度空间的变化参数，q与σ之间的关系为o = 2^q;
[014引优选地，
[0149] (3)特征描述模块，其通过建立加权灰度描述子对检测出的斑块特征进行描述并 形成描述矢量，建立加权灰度描述子时将W斑块特征为中屯、、垂直于斑块特征的主方向且 大小为1 X 1的中屯、区域分割成多个子块，所述加权灰度描述子为：
[0150] WD={NP",NPl
[0151] 此处
[0152] p+ =乙{f化i) xd(mi) |d(mi) = I(mi)-I(m)>0，i = 1,2,...12}
[0153] p-=乙{f化i) xd(mi) |d(mi) = I(mi)-I(m)<0，i = l,2,...l2}
[0154] 式中，胖0表示加权灰度描述子^+表示正灰度差值直方图，ρ-表示负灰度差值直方 图，I(mi)和I(m)分别为采用双线性插值求取的各个子块的灰度均值和整个中屯、区域的灰 度均值，Di为各子块与中屯、的距离，其中，i = 1，2，…I2，f (Di)表示加权函数，NP+、NP責示归 一化的正负灰度差直方图；
[0155] (4)特征匹配模块，用于对预处理后的参考图像和待配准图像进行匹配，包括依次 连接的局部区域匹配子模块、区域划分子模块、特征分组子模块和斑块特征匹配子模块，所 述局部区域匹配子模块用于对预处理后的参考图像和待配准图像的局部区域特征进行匹 配，所述区域划分子模块用于按照局部区域特征对预处理后的参考图像和待配准图像进行 图像区域划分并将划分后的图像区域转化为标准圆区域，设划分的图像区域数量为N，N的 取值范围为[200,1000]，所述特征分组子模块用于将所述斑块特征按照图像区域划分的范 围进行分组，所述斑块特征匹配子模块用于对各组内的表示斑块特征的描述矢量进行匹 配；
[0156] (5)空间变换模块，用于将待配准图像通过几何变换模型映射到参考图像的坐标 系中，完成图像配准，所述几何变换模型的参数采用随机抽样一致性算法进行估计。
[0157] 其中，所述自定义尺度空间分为多组，每组包含Ξ个不同尺度的滤波器模板;所述 自定义尺度空间的第一组中，最小尺度对应的模板大小为9X9,标记区域增量设为4,模板 增量为12，第二个和第Ξ个模板对应的模板大小依次为21 X 21和33 X 33;除自定义尺度空 间的第一组外的其他组中，每组的第一个模板与前一组的第二个模板大小相同，且模板增 量为前一组的4倍。
[0158] 其中，所述标准圆区域的圆屯、为局部区域特征的重屯、，标准圆区域的半径为局部 区域边缘上的点到所述重屯、距离的均值。
[0159] 本实施例设置的图像预处理模块考虑了视觉习惯W及人眼对不同色彩的感知度 同色彩强度的非线性关系，能够更为准确的描述图像;设置的斑块特征检测子模块，能够等 速构建图像的尺度空间，且能够避免混叠现象出现;设置的特征描述模块通过建立加权灰 度描述子对检测出的斑块特征进行描述，能够更充分地利用特征邻域内的局部信息构建描 述矢量;设置的特征匹配模块中先进行局部区域匹配再进行组内的斑块特征点划分，提高 了图像匹配的速度，且其中设置的区域划分子模块将划分后的图像区域转化为标准圆区 域，降低了斑块特征点分组判断的复杂性W及局部区域抽取精度对分组配准的影响。本实 施例权重因子k取值为0.10,划分的图像区域数量N取值为600,图像匹配精度相对提高了 1.8%，匹配速度提高了2.1%。
[0160] 实施例4
[0161] 参见图1，图2,本实施例一种具备图像防抖检测功能的摄像装置，包括摄像装置和 与其相连的斑块配准装置，所述摄像装置包括：
[0162] 第一图像抖动检测单元，其检测图像抖动；
[0163] 第二图像抖动检测单元，其用与所述第一图像抖动检测单元不同的方法来检测图 像抖动；
[0164] 判断单元，其在判断为通过所述第一图像抖动检测单元检测出的图像抖动收敛 后，进一步在判断为通过所述第二图像抖动检测单元检测出的图像抖动收敛的情况下，判 断为没有图像抖动。
[0165] 优选地，所述第二图像抖动检测单元在判断为通过所述第一图像抖动检测单元检 测出的图像抖动收敛后，开始基于与所述第一图像抖动检测单元不同的方法进行的图像抖 动检测处理。
[0166] 优选地，所述判断单元在判断为通过所述第一图像抖动检测单元检测出的图像抖 动收敛之前的阶段中，即使在判断为通过所述第二图像抖动检测单元检测出的图像抖动收 敛的状况下也不判断为没有图像抖动。
[0167] 优选地，所述斑块配准装置包括:预处理模块、特征检测模块、特征描述模块、特征 匹配模块和空间变换模块；
[0168] (1)预处理模块，用于将参考图像和待配准图像转化为灰度图像，定义转化公式 为：
[0169] I(x，y)=k(G(x，y)+R(x，y)+B(x，y))+^(G(x，y)+R(x，y))+：3k(x，y)
[0170] 其中，I(x，y)代表图像在坐标(x，y)处的像素灰度值，6^，7)、3^，7)、8(义，7)分别 代表坐标(x，y)处的红、绿、蓝强度值，k为设定的权重因子，k的取值范围为[0.08,0.12];
[0171] (2)特征检测模块，包括局部区域特征检测子模块和斑块特征检测子模块，所述局 部区
[0172] 域特征检测子模块用于通过墨西哥帽小波函数来检测预处理后的两图像的局部 区域特征，所述斑块特征检测子模块用于采用近似化ssian矩阵的局部极值在自定义尺度 空间中检测预处理后的两图像中的斑块特征，输出斑块特征的空间位置及所在的特征尺 度；
[0173] 所述近似化ssian矩阵的描述形式为：
[0174]
[0175] 式中，0为高斯函数的标准差，即尺度因子;Exx(x，y，o)、Exy(x，y，o)、Eyy(x，y，o)分 别为高斯二阶微^
羣散化和裁剪后的近似模板在点(x，y)处与 图像的卷积;设定Exx、Exy和Eyy表示第一、第二和第^9X9近似模板与图像的卷积结果，Exx、 Exy和Eyy的计算公式定义如下：
[0176]
[0179] 其中，取第一近似模板从左至右3X3区域作为第一标记区域，取第二近似模板中 部2X2区域作为第二标记区域，取第Ξ近似模板从上至下3X3区域作为第Ξ标记区域，Ai、 A2和A3分别为第一、第二和第Ξ标记区域覆盖下的图像像素灰度和，P、Q为标记区域面积，分 别等于9和4;
[0180] 所述近似化ssian矩阵的特征点响应函数为：
[0181] DET(H)=ExxEyy-(0.9Exy)2
[0182] 所述墨西哥帽小波函数的描述形式为：
[0183]
[0184] 其中，q为构造所述自定义尺度空间的变化参数，q与σ之间的关系为0 = 2^9;
[01化]优选地，
[0186] (3)特征描述模块，其通过建立加权灰度描述子对检测出的斑块特征进行描述并 形成描述矢量，建立加权灰度描述子时将W斑块特征为中屯、、垂直于斑块特征的主方向且 大小为1 X 1的中屯、区域分割成多个子块，所述加权灰度描述子为：
[0187] WD={NP",NPl [018引此处
[0189] p+ =乙{f化i) xd(mi) |d(mi) = I(mi)-I(m)>0，i = 1,2,...12}
[0190] p-=乙{f化i) xd(mi) |d(mi) = I(mi)-I(m)<0，i = l,2,...l2}
[0191] 式中，胖0表示加权灰度描述子，？+表示正灰度差值直方图，？^表示负灰度差值直方 图，I(mi)和I(m)分别为采用双线性插值求取的各个子块的灰度均值和整个中屯、区域的灰 度均值，Di为各子块与中屯、的距离，其中，i = 1，2，…I2，f (Di)表示加权函数，NP+、NP責示归 一化的正负灰度差直方图；
[0192] (4)特征匹配模块，用于对预处理后的参考图像和待配准图像进行匹配，包括依次 连接的局部区域匹配子模块、区域划分子模块、特征分组子模块和斑块特征匹配子模块，所 述局部区域匹配子模块用于对预处理后的参考图像和待配准图像的局部区域特征进行匹 配，所述区域划分子模块用于按照局部区域特征对预处理后的参考图像和待配准图像进行 图像区域划分并将划分后的图像区域转化为标准圆区域，设划分的图像区域数量为N，N的 取值范围为[200,1000]，所述特征分组子模块用于将所述斑块特征按照图像区域划分的范 围进行分组，所述斑块特征匹配子模块用于对各组内的表示斑块特征的描述矢量进行匹 配；
[0193] (5)空间变换模块，用于将待配准图像通过几何变换模型映射到参考图像的坐标 系中，完成图像配准，所述几何变换模型的参数采用随机抽样一致性算法进行估计。
[0194] 其中，所述自定义尺度空间分为多组，每组包含Ξ个不同尺度的滤波器模板;所述 自定义尺度空间的第一组中，最小尺度对应的模板大小为9X9,标记区域增量设为4,模板 增量为12，第二个和第Ξ个模板对应的模板大小依次为21 X 21和33 X 33;除自定义尺度空 间的第一组外的其他组中，每组的第一个模板与前一组的第二个模板大小相同，且模板增 量为前一组的4倍。
[0195] 其中，所述标准圆区域的圆屯、为局部区域特征的重屯、，标准圆区域的半径为局部 区域边缘上的点到所述重屯、距离的均值。
[0196] 本实施例设置的图像预处理模块考虑了视觉习惯W及人眼对不同色彩的感知度 同色彩强度的非线性关系，能够更为准确的描述图像;设置的斑块特征检测子模块，能够等 速构建图像的尺度空间，且能够避免混叠现象出现;设置的特征描述模块通过建立加权灰 度描述子对检测出的斑块特征进行描述，能够更充分地利用特征邻域内的局部信息构建描 述矢量;设置的特征匹配模块中先进行局部区域匹配再进行组内的斑块特征点划分，提高 了图像匹配的速度，且其中设置的区域划分子模块将划分后的图像区域转化为标准圆区 域，降低了斑块特征点分组判断的复杂性W及局部区域抽取精度对分组配准的影响。本实 施例权重因子k取值为0.11，划分的图像区域数量N取值为800,图像匹配精度相对提高了 1.5%，匹配速度提高了1.5%。
[0197] 实施例5
[0198] 参见图1，图2,本实施例一种具备图像防抖检测功能的摄像装置，包括摄像装置和 与其相连的斑块配准装置，所述摄像装置包括：
[0199] 第一图像抖动检测单元，其检测图像抖动；
[0200] 第二图像抖动检测单元，其用与所述第一图像抖动检测单元不同的方法来检测图 像抖动；
[0201] 判断单元，其在判断为通过所述第一图像抖动检测单元检测出的图像抖动收敛 后，进一步在判断为通过所述第二图像抖动检测单元检测出的图像抖动收敛的情况下，判 断为没有图像抖动。
[0202] 优选地，所述第二图像抖动检测单元在判断为通过所述第一图像抖动检测单元检 测出的图像抖动收敛后，开始基于与所述第一图像抖动检测单元不同的方法进行的图像抖 动检测处理。
[0203] 优选地，所述判断单元在判断为通过所述第一图像抖动检测单元检测出的图像抖 动收敛之前的阶段中，即使在判断为通过所述第二图像抖动检测单元检测出的图像抖动收 敛的状况下也不判断为没有图像抖动。
[0204] 优选地，所述斑块配准装置包括:预处理模块、特征检测模块、特征描述模块、特征 匹配模块和空间变换模块；
[0205] (1)预处理模块，用于将参考图像和待配准图像转化为灰度图像，定义转化公式 为：
[0206] I(x，y)=k(G(x，y)+R(x，y)+B(x，y))+^(G(x，y)+R(x，y))+：3k(x，y)
[0207] 其中，I(x，y)代表图像在坐标(x，y)处的像素灰度值，6^，7)、3^，7)、8(义，7)分别 代表坐标(x，y)处的红、绿、蓝强度值，k为设定的权重因子，k的取值范围为[0.08,0.12];
[0208] (2)特征检测模块，包括局部区域特征检测子模块和斑块特征检测子模块，所述局 部区
[0209] 域特征检测子模块用于通过墨西哥帽小波函数来检测预处理后的两图像的局部 区域特征，所述斑块特征检测子模块用于采用近似化ssian矩阵的局部极值在自定义尺度 空间中检测预处理后的两图像中的斑块特征，输出斑块特征的空间位置及所在的特征尺 度；
[0210] 所述近似化ssian矩阵的描述形式为：
[0211]
[0212]式中，0为高斯函数的标准差，即尺度因子;Exx(x，y，o)、Exy(x，y，o)、Eyy(x，y，o)分 别为高斯二阶微分离散化和裁剪后的近似模板在点(x，y)处与 图像的卷积;设定Exx、Exy和Eyy表示第一、第二和第S9X9近似模板与图像的卷积结果，Exx、 Exy和Eyy的计算公式定义如下：
[0216]其中，取第一近似模板从左至右3X3区域作为第一标记区域，取第二近似模板中 部2X2区域作为第二标记区域，取第Ξ近似模板从上至下3X3区域作为第Ξ标记区域，Ai、 A2和A3分别为第一、第二和第Ξ标记区域覆盖下的图像像素灰度和，P、Q为标记区域面积，分 别等于9和4;
[0217]所述近似Hessian矩阵的特征点响应函数为：
[0別引 DET(H)=ExxEyy-(0.9Exy)2
[0219] 所述墨西哥帽小波函数的描述形式为：
[0220]
[0221] 其中，q为构造所述自定义尺度空间的变化参数，q与σ之间的关系为0 = 2^9;
[0222] 优选地，
[0223] (3)特征描述模块，其通过建立加权灰度描述子对检测出的斑块特征进行描述并 形成描述矢量，建立加权灰度描述子时将W斑块特征为中屯、、垂直于斑块特征的主方向且 大小为1 X 1的中屯、区域分割成多个子块，所述加权灰度描述子为：
[022引式中，WD表示加权灰度描述子，Ρ+表示正灰度差值直方图，Ρ-表示负灰度差值直方 图，I(mi)和I(m)分别为采用双线性插值求取的各个子块的灰度均值和整个中屯、区域的灰 度均值，Di为各子块与中屯、的距离，其中，i = 1，2，…I2，f (Di)表示加权函数，NP+、NP責示归 一化的正负灰度差直方图；
[0229] (4)特征匹配模块，用于对预处理后的参考图像和待配准图像进行匹配，包括依次 连接的局部区域匹配子模块、区域划分子模块、特征分组子模块和斑块特征匹配子模块，所 述局部区域匹配子模块用于对预处理后的参考图像和待配准图像的局部区域特征进行匹 配，所述区域划分子模块用于按照局部区域特征对预处理后的参考图像和待配准图像进行 图像区域划分并将划分后的图像区域转化为标准圆区域，设划分的图像区域数量为N，N的 取值范围为[200,1000]，所述特征分组子模块用于将所述斑块特征按照图像区域划分的范 围进行分组，所述斑块特征匹配子模块用于对各组内的表示斑块特征的描述矢量进行匹 配；
[0230] (5)空间变换模块，用于将待配准图像通过几何变换模型映射到参考图像的坐标 系中，完成图像配准，所述几何变换模型的参数采用随机抽样一致性算法进行估计。
[0231] 其中，所述自定义尺度空间分为多组，每组包含Ξ个不同尺度的滤波器模板;所述 自定义尺度空间的第一组中，最小尺度对应的模板大小为9X9,标记区域增量设为4,模板 增量为12，第二个和第Ξ个模板对应的模板大小依次为21 X 21和33 X 33;除自定义尺度空 间的第一组外的其他组中，每组的第一个模板与前一组的第二个模板大小相同，且模板增 量为前一组的4倍。
[0232] 其中，所述标准圆区域的圆屯、为局部区域特征的重屯、，标准圆区域的半径为局部 区域边缘上的点到所述重屯、距离的均值。
[0233] 本实施例设置的图像预处理模块考虑了视觉习惯W及人眼对不同色彩的感知度 同色彩强度的非线性关系，能够更为准确的描述图像;设置的斑块特征检测子模块，能够等 速构建图像的尺度空间，且能够避免混叠现象出现;设置的特征描述模块通过建立加权灰 度描述子对检测出的斑块特征进行描述，能够更充分地利用特征邻域内的局部信息构建描 述矢量;设置的特征匹配模块中先进行局部区域匹配再进行组内的斑块特征点划分，提高 了图像匹配的速度，且其中设置的区域划分子模块将划分后的图像区域转化为标准圆区 域，降低了斑块特征点分组判断的复杂性W及局部区域抽取精度对分组配准的影响。本实 施例权重因子k取值为0.12,划分的图像区域数量N取值为1000,图像匹配精度相对提高了 1.5%，匹配速度提高了1.2%。
[0234] 最后应当说明的是，W上实施例仅用W说明本发明的技术方案，而非对本发明保 护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应 当理解，可W对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实 质和范围。
【主权项】
1. 一种具备图像防抖检测功能的摄像装置，包括摄像装置和与其相连的斑块配准装 置，所述摄像装置包括： 第一图像抖动检测单元，其检测图像抖动； 第二图像抖动检测单元，其用与所述第一图像抖动检测单元不同的方法来检测图像抖 动； 判断单元，其在判断为通过所述第一图像抖动检测单元检测出的图像抖动收敛后，进 一步在判断为通过所述第二图像抖动检测单元检测出的图像抖动收敛的情况下，判断为没 有图像抖动。2. 根据权利要求1所述的一种具备图像防抖检测功能的摄像装置，其特征是，所述第二 图像抖动检测单元在判断为通过所述第一图像抖动检测单元检测出的图像抖动收敛后，开 始基于与所述第一图像抖动检测单元不同的方法进行的图像抖动检测处理。3. 根据权利要求2所述的一种具备图像防抖检测功能的摄像装置，其特征是，所述判断 单元在判断为通过所述第一图像抖动检测单元检测出的图像抖动收敛之前的阶段中，即使 在判断为通过所述第二图像抖动检测单元检测出的图像抖动收敛的状况下也不判断为没 有图像抖动。4. 根据权利要求3所述的一种具备图像防抖检测功能的摄像装置，其特征是，所述斑块 配准装置包括:预处理模块、特征检测模块、特征描述模块、特征匹配模块和空间变换模块： (1) 预处理模块，用于将参考图像和待配准图像转化为灰度图像，定义转化公式为： I(x,y)=k(G(x,y)+R(x,y)+B(x,y))+2k(G(x,y)+R(x,y))+3k(x,y) 其中，I(x,y)代表图像在坐标(x,y)处的像素灰度值，G(x,y)、R(x,y)、B(x,y)分别代表 坐标(x，y)处的红、绿、蓝强度值，k为设定的权重因子，k的取值范围为[0.08,0.12]; (2) 特征检测模块，包括局部区域特征检测子模块和斑块特征检测子模块，所述局 部区域特征检测子模块用于通过墨西哥帽小波函数来检测预处理后的两图像的局部 区域特征，所述斑块特征检测子模块用于采用近似Hessian矩阵的局部极值在自定义尺度 空间中检测预处理后的两图像中的斑块特征，输出斑块特征的空间位置及所在的特征尺 度； 所述近似Hessian矩阵的描述形式为：式中，σ为高斯函数的标准差，即尺度因子;Exx(x，y，〇)、Exy(x，y，〇)、E yy(x，y，〇)分别为 高斯二阶微分：离散化和裁剪后的近似模板在点(x，y)处与图像 的卷积;设定Exx、Exy和Eyy表示第一、第二和第三9 X 9近似模板与图像的卷积结果，Exx、Exy和 Eyy的计算公式定义如下：其中，取第一近似模板从左至右3X3区域作为第一标记区域，取第二近似模板中部2X 2区域作为第二标记区域，取第三近似模板从上至下3X3区域作为第三标记区域，^、知和知 分别为第一、第二和第三标记区域覆盖下的图像像素灰度和，P、Q为标记区域面积，分别等 于9和4; 所述近似Hessian矩阵的特征点响应函数为： DET(H)=ExxEyy-(0.9Exy)2 所述墨西哥帽小波函数的描述形式为：其中，q为构造所述自定义尺度空间的变化参数，q与σ之间的关系为σ = 2?。5. 根据权利要求4所述的一种具备图像防抖检测功能的摄像装置，其特征是， (3) 特征描述模块，其通过建立加权灰度描述子对检测出的斑块特征进行描述并形成 描述矢量，建立加权灰度描述子时将以斑块特征为中心、垂直于斑块特征的主方向且大小 为1 X 1的中心区域分割成多个子块，所述加权灰度描述子为： WD={NP+，NP-} 此处 Ρ+ = Σ {f(Di) Xd(nu) |d(mi) = I(mi)-I(m)>0，i = l，2，."l2} P-= Σ {f(Di) Xd(nu) |d(mi) = I(mi)-I(m)<0，i = l，2，."l2} 式中，WD表示加权灰度描述子，P+表示正灰度差值直方图，表示负灰度差值直方图，I (nu)和I(m)分别为采用双线性插值求取的各个子块的灰度均值和整个中心区域的灰度均 值，Di为各子块与中心的距离，其中，i = 1，2，…I2，f (Di)表示加权函数，NP+、，表示归一化 的正负灰度差直方图； (4) 特征匹配模块，用于对预处理后的参考图像和待配准图像进行匹配，包括依次连接 的局部区域匹配子模块、区域划分子模块、特征分组子模块和斑块特征匹配子模块，所述局 部区域匹配子模块用于对预处理后的参考图像和待配准图像的局部区域特征进行匹配，所 述区域划分子模块用于按照局部区域特征对预处理后的参考图像和待配准图像进行图像 区域划分并将划分后的图像区域转化为标准圆区域，设划分的图像区域数量为N，N的取值 范围为[200，1000]，所述特征分组子模块用于将所述斑块特征按照图像区域划分的范围进 行分组，所述斑块特征匹配子模块用于对各组内的表示斑块特征的描述矢量进行匹配； (5) 空间变换模块，用于将待配准图像通过几何变换模型映射到参考图像的坐标系中， 完成图像配准，所述几何变换模型的参数采用随机抽样一致性算法进行估计。6. 根据权利要求5所述的一种具备图像防抖检测功能的摄像装置，其特征是，所述自定 义尺度空间分为多组，每组包含三个不同尺度的滤波器模板。7. 根据权利要求6所述的一种具备图像防抖检测功能的摄像装置，其特征是，所述自定 义尺度空间的第一组中，最小尺度对应的模板大小为9X9,标记区域增量设为4,模板增量 为12，第二个和第三个模板对应的模板大小依次为21 X 21和33 X 33;除自定义尺度空间的 第一组外的其他组中，每组的第一个模板与前一组的第二个模板大小相同，且模板增量为 前一组的4倍。8.根据权利要求7所述的一种具备图像防抖检测功能的摄像装置，其特征是，所述标准 圆区域的圆心为局部区域特征的重心，标准圆区域的半径为局部区域边缘上的点到所述重 心距离的均值。
【文档编号】H04N5/232GK106060403SQ201610541146
【公开日】2016年10月26日
【申请日】2016年7月5日
【发明人】不公告发明人
【申请人】董超超