本发明涉及一种图像处理方法,具体地,涉及一种用于对焦的方法和装置。
背景技术:
近年来,随着电子科技的突飞猛进,各种装置的摄像功能越来越强大,不仅功能越来越多,而且功能也越来越强,如:提升影像像素、强化自拍功能、加大光圈、增强光学防抖功能、加快对焦速度、自动对焦、各种手动的专业模式等。
现有的很多终端,如:智能手机,都会配备摄像头等摄像装置,其中很多终端的摄像装置都有自动对焦功能。自动对焦是指,当目标物体被选中后,摄像装置能持续对焦到这个目标物体上,从而使输出图像中的目标物体持续保持清晰,即使带有该摄像装置的终端移动,对焦的区域始终在目标物体上,从而实现目标的自动对焦。
一些终端上的摄像装置支持分辨率切换功能,当分辨率改变时,自动对焦功能会中断,增加用户交互,不能实现持续输出令人满意的图像或视频。
技术实现要素:
通过本发明提供的一种对焦的方法,解决了在终端自动对焦过程中,当分辨率改变时,自动对焦功能会中断的问题,实现了持续的自动对焦功能,并提高摄像装置对于不同摄像模式的适应性。
本发明的第一方面提供一种用于对焦的方法,该方法包括:
确定成像模式由第一成像模式切换为第二成像模式,所述第一成像模式下的目标物体成像的位置与所述第二成像模式下的目标物体成像的位置不同;
根据所述第一成像模式下的分辨率、所述第二成像模式下的分辨率、第一成像模式下的视野、第二成像模式下的视野以及所述第一成像模式下的目标物体的成像位置估计所述第二成像模式下的目标物体的成像位置;
在所述第二成像模式下,根据所述估计得到的所述第二成像模式下的目标物体的成像位置搜索所述目标物体的成像。
根据本发明的第一方面,在本发明的第一方面的第一可执行方式中,所述方法还包括:
在第二范围内通过快速搜索算法搜索所述目标物体的成像;
所述第二范围包括所述第二成像模式下的目标物体的成像位置且所述第二范围的大小大于第一范围的大小,或所述第二范围包括与所述第二成像模式下的目标物体的成像位置相邻的成像区域,所述第一范围的大小包括所述第一成像模式下的目标物体的成像的大小。
根据本发明的第一方面或本发明的第一方面的第一可执行方式,在本发明的第一方面的第二可执行方式中,所述根据所述第一成像模式下的分辨率、所述第二成像模式下的分辨率、第一成像模式下的视野、第二成像模式下的视野以及所述第一成像模式下的目标物体的成像位置估计所述第二成像模式下的目标物体的成像位置,包括:
根据所述第一成像模式下的整体图像的高度、第二成像模式下的整体图像的高度、第一成像模式下的垂直方向视野以及第二成像模式下的垂直方向视野估计所述第二成像模式下的目标物体的成像大小相对于第一成像模式下的目标物体的成像大小的变化参数。
根据本发明的第一方面的第二可执行方式,在本发明的第一方面的第三可执行方式中,
所述变化参数为s,
所述变化参数为s,
根据本发明的第一方面的第三可执行方式,在根据本发明的第一方面的第四可执行方式中,所述第一成像模式下的目标物体的成像位置包括:第一成像模式下目标物体成像的中心位置(x0,y0);
所述第一成像模式下的分辨率包括:所述第一成像模式下的整体成像的高度h0,以及所述第一成像模式下的整体成像的高度w0;
所述第二成像模式下的分辨率包括:所述第二成像模式下的整体成像的高度h1,以及所述第二成像模式下的整体成像的宽度w1;
所述第二成像模式下的目标物体的成像位置包括:第二成像模式下目标物体成像的中心位置(x1,y1);
当
根据所述第一成像模式下目标物体成像的中心位置(x0,y0)、第一成像模式下的整体成像的高度h0以及第一成像模式下的整体成像的高度w0、第二成像模式下的整体成像的高度h1以及第二成像模式下的整体成像的宽度w1,估计所述第二成像模式下目标物体成像的中心位置(x1,y1)为:
根据本发明的第一方面的第三可执行方式或第四可执行方式,在根据本发明的第一方面的第五可执行方式中,所述第一成像模式下的目标物体的成像位置还包括下数参数的至少一个:
所述第一成像模式下目标物体成像的宽度w0,以及所述第一成像模式下目标物体成像的高度h0;
所述第二成像模式下的目标物体的成像位置还包括下数参数的至少一个:
所述第二成像模式下目标物体成像的宽度w1,以及所述第二成像模式下目标物体成像的高度h1;并且,
w1=w0*s,
h1=h0*s。
根据本发明的第一方面的第三可执行方式,在根据本发明的第一方面的第六可执行方式中,当
所述第一成像模式下的目标物体的成像位置,包括:第一成像模式下目标物体成像的中心位置(x0,y0);
所述第二成像模式下的目标物体的成像位置,包括:第二成像模式下目标物体成像的中心位置(x1,y1);
所述第一成像模式下的分辨率,包括:所述第一成像模式下的整体成像的高度h0,以及所述第一成像模式下的整体成像的高度w0;
所述第二成像模式下的分辨率,包括:所述第二成像模式下的整体成像的高度h1,以及所述第二成像模式下的整体成像的宽度w1;则:
根据本发明的第一方面的第三可执行方式或第六可执行方式,在本发明的第一方面的第七可执行方式中,所述第一成像模式下的目标物体的成像位置还包括下数参数的至少一个:
所述第一成像模式下目标物体成像的宽度w0,以及所述第一成像模式下目标物体成像的高度h0;
所述第二成像模式下的目标物体的成像位置还包括下数参数的至少一个:
所述第二成像模式下目标物体成像的宽度w1,以及所述第二成像模式下目标物体成像的高度h1;
并且
w1=w0*s,
h1=h0*s。
根据本发明的第一方面或本发明的第一方面的第一可执行方式到第七可执行方式中任一可执行方式,在本发明的第一方面的第八可执行方式中,所述方法还包括:
根据第一算法在与第一成像模式下所述目标物体的成像位置相邻的图像区域以及与第二成像模式下所述目标物体的成像位置相邻的成像区域中至少一个区域搜索所述目标物体的成像,所述第一算法包括下数算法的至少一个:
光流(opticalflow)算法、模板匹配算法、以及协相关滤波(correlationfilter)算法。
根据本发明的第一方面或本发明的第一方面的第一可执行方式到第八可执行方式中任一可执行方式,在本发明的第一方面的第九可执行方式中,所述方法还包括:
在第二成像模式下,获取所述目标物体距离摄像装置的距离信息;
根据所述距离信息以及透视规则优化所述估计得到的所述第二成像模式下的目标物体的成像位置。
根据本发明的第一方面或本发明的第一方面的第一可执行方式到第九可执行方式中任一可执行方式,在本发明的第一方面的第十可执行方式中,所述方法还包括:
获取第一成像模式下所述目标物体的第一特征模板的亮度信息;
对所述第一特征模板的亮度信息做亮度调整,得到第二特征模板;
在所述第二成像模式下将所述第二特征模板用于对所述目标物体的成像的搜索。
根据本发明的第一方面的第十可执行方式,在本发明的第一方面的第十一可执行方式中,所述在第二成像模式下将所述第二特征模板用于对所述目标物体的成像的搜索,包括:
增加使用所述第二特征模板中的与亮度无关的特征模板搜索所述目标物体成像的搜索结果的采信程度,或,
减少使用所述第二特征模板中的与亮度相关的特征模板搜索所述目标物体成像的搜索结果的采信程度。
根据本发明的第一方面或本发明的第一方面的第一可执行方式到第九可执行方式任一可执行方式,在本发明的第一方面的第十二可执行方式中,所述方法还包括:
获取第二成像模式下目标物体成像的灰度图,根据所述灰度图对所述第一特征模板做亮度调整;
使用所述经过亮度调整的第一特征模板搜索所述目标物体的成像,将所述第二成像模式下获取到的所述目标物体成像的颜色特征加入到所述经过亮度调整的第一特征模板中;
将所述加入颜色特征的经过亮度调整的第一特征模板用于对所述目标物体的成像的搜索。
本发明的第二方面提供一种用于对焦的装置,该装置包括:
确定模块,用于确定成像模式由第一成像模式切换为第二成像模式,所述第一成像模式下的目标物体成像的位置与所述第二成像模式下的目标物体成像的位置不同;
成像位置估计模块,用于根据所述第一成像模式下的分辨率、所述第二成像模式下的分辨率、第一成像模式下的视野、第二成像模式下的视野以及所述第一成像模式下的目标物体的成像位置估计所述第二成像模式下的目标物体的成像位置;以及,
搜索模块,用于在所述第二成像模式下,根据所述成像位置估计模块估计得到的所述第二成像模式下的目标物体的成像位置搜索所述目标物体的成像。
根据本发明的第二方面,在本发明的第二方面的第一可执行方式中,
所述搜索模块,还用于在第二范围内通过快速搜索算法搜索所述目标物体的成像;
所述第二范围包括所述第二成像模式下的目标物体的成像位置且所述第二范围的大小大于第一范围的大小,或所述第二范围包括与所述第二成像模式下的目标物体的成像位置相邻的成像区域,所述第一范围的大小包括所述第一成像模式下的目标物体的成像的大小。
根据本发明的第二方面或本发明的第二方面的第一可执行方式,在本发明的第二方面的第二可执行方式中,
所述成像位置估计模块,具体用于根据所述第一成像模式下的整体图像的高度、第二成像模式下的整体图像的高度、第一成像模式下的垂直方向视野以及第二成像模式下的垂直方向视野估计所述第二成像模式下的目标物体的成像大小相对于第一成像模式下的目标物体的成像大小的变化参数。
根据本发明的第二方面的第二可执行方式,在本发明的第二方面的第三可执行方式中,
所述成像位置估计模块,具体用于计算所述变化参数为s,
根据本发明的第二方面的第三可执行方式,在本发明的第二方面的第四可执行方式中,
所述第一成像模式下的目标物体的成像位置包括:第一成像模式下目标物体成像的中心位置(x0,y0);
所述第一成像模式下的分辨率包括:所述第一成像模式下的整体成像的高度h0,以及所述第一成像模式下的整体成像的高度w0;
所述第二成像模式下的分辨率包括:所述第二成像模式下的整体成像的高度h1,以及所述第二成像模式下的整体成像的宽度w1;
所述第二成像模式下的目标物体的成像位置包括:第二成像模式下目标物体成像的中心位置(x1,y1);
所述成像位置估计模块,具体用于根据所述第一成像模式下目标物体成像的中心位置(x0,y0)、所述第一成像模式下的整体成像的高度h0以及所述第一成像模式下的整体成像的高度w0、所述第二成像模式下的整体成像的高度h1以及所述第二成像模式下的整体成像的宽度w1,估计所述第二成像模式下目标物体成像的中心位置(x1,y1)为:
根据本发明的第二方面的第三可执行方式或第四可执行方式,在本发明的第二方面的第五可执行方式中,
所述第一成像模式下的目标物体的成像位置还包括下数参数的至少一个:
所述第一成像模式下目标物体成像的宽度w0,以及所述第一成像模式下目标物体成像的高度h0;
所述第二成像模式下的目标物体的成像位置还包括下数参数的至少一个:
所述第二成像模式下目标物体成像的宽度w1,以及所述第二成像模式下目标物体成像的高度h1;
所述成像位置估计模块,还用于根据下述公式计算所述第二成像模式下目标物体成像的宽度w1,以及所述第二成像模式下目标物体成像的高度h1,
w1=w0*s,
h1=h0*s。
根据本发明的第二方面的第二可执行方式,在本发明的第二方面的第六可执行方式中,
所述成像位置估计模块,具体用于计算所述变化参数为s,
根据本发明的第二方面的第六可执行方式,在本发明的第二方面的第七可执行方式中,
所述第一成像模式下的目标物体的成像位置包括:第一成像模式下目标物体成像的中心位置(x0,y0);
所述第一成像模式下的分辨率包括:所述第一成像模式下的整体成像的高度h0,以及所述第一成像模式下的整体成像的高度w0;
所述第二成像模式下的分辨率包括:所述第二成像模式下的整体成像的高度h1,以及所述第二成像模式下的整体成像的宽度w1;
所述第二成像模式下的目标物体的成像位置包括:第二成像模式下目标物体成像的中心位置(x1,y1);
所述成像位置估计模块,具体用于根据所述第一成像模式下目标物体成像的中心位置(x0,y0)、第一成像模式下的整体成像的高度h0以及第一成像模式下的整体成像的高度w0、第二成像模式下的整体成像的高度h1以及第二成像模式下的整体成像的宽度w1,估计所述第二成像模式下目标物体成像的中心位置(x1,y1)为:
根据本发明的第二方面的第三可执行方式或第七可执行方式,在本发明的第二方面的第八可执行方式中,
所述第一成像模式下的目标物体的成像位置还包括下数参数的至少一个:
所述第一成像模式下目标物体成像的宽度w0,以及所述第一成像模式下目标物体成像的高度h0;
所述第二成像模式下的目标物体的成像位置还包括下数参数的至少一个:
所述第二成像模式下目标物体成像的宽度w1,以及所述第二成像模式下目标物体成像的高度h1;
所述成像位置估计模块,还用于根据下述公式计算所述第二成像模式下目标物体成像的宽度w1,以及所述第二成像模式下目标物体成像的高度h1,
w1=w0*s,
h1=h0*s。
根据本发明的第二方面或本发明的第二方面的第一可执行方式到第八可执行方式任一可执行方式,在本发明的第二方面的第九可执行方式中,所述装置还包括确定模块,
所述确定模块,用于根据第一算法在与第一成像模式下所述目标物体的成像位置相邻的图像区域以及与第二成像模式下所述目标物体的成像位置相邻的成像区域中至少一个区域搜索所述目标物体的成像,所述第一算法包括下数算法的至少一个:
光流(opticalflow)算法、模板匹配算法、以及协相关滤波(correlationfilter)算法。
根据本发明的第二方面或本发明的第二方面的第二可执行方式到第九可执行方式任一可执行方式,在本发明的第二方面的第十可执行方式中,所述装置还包括获取模块,
所述获取模块,用于在第二成像模式下,获取所述目标物体距离摄像装置的距离信息;
所述成像位置估计模块,还用于根据所述获取模块获取的距离信息以及透视规则优化所述估计得到的所述第二成像模式下的目标物体的成像位置。
根据本发明的第二方面或本发明的第二方面的第一可执行方式到第十可执行方式任一可执行方式,在本发明的第二方面的第十一可执行方式中,所述装置还包括转化模块以及亮度调整模块,
所述获取模块,用于获取第一成像模式下所述目标物体的第一特征模板的亮度信息;
所述亮度调整模块,用于对所述第一特征模板的亮度信息做亮度调整,得到第二特征模板;
所述搜索模块,还用于在所述第二成像模式下将所述第二特征模板用于对所述目标物体的成像的搜索。
根据本发明的第二方面的第十一可执行方式,在本发明的第二方面的第十二可执行方式中,所述搜索模块,还用于增加使用所述第二特征模板中的与亮度无关的特征模板搜索所述目标物体成像的搜索结果的采信程度,或,减少使用所述第二特征模板中的与亮度相关的特征模板搜索所述目标物体成像的搜索结果的采信程度。
根据本发明的第二方面或本发明的第二方面的第一可执行方式到第十可执行方式任一可执行方式,在本发明的第二方面的第十三可执行方式中,所述装置还包括彩色成像处理模块,以及颜色特征添加模块,
所述彩色成像处理模块,用于获取第二成像模式下目标物体成像的灰度图,根据所述灰度图对所述第一特征模板做亮度调整;
所述颜色特征添加模块,用于使用所述经过亮度调整的第一特征模板搜索所述目标物体的成像,将所述第二成像模式下获取到的所述目标物体成像的颜色特征加入到所述经过亮度调整的第一特征模板中;
所述搜索模块,还用于将所述加入颜色特征的经过亮度调整的第一特征模板用于对所述目标物体的成像的搜索。
根据本发明的第三方面,提供一种用于对焦的方法,该方法包括:
确定成像模式由第一成像模式切换为第二成像模式;
根据目标物体在所述第一成像模式下的摄像装置上的成像位置、以及对极几何原理估计所述目标物体在所述第二成像模式下的摄像装置上的成像位置;
在所述第二成像模式下,根据所述估计得到的所述第二成像模式下的摄像装置上的成像位置搜索所述目标物体的成像。
根据本发明的第三方面,在本发明的第三方面的第一可执行方式中,所述根据目标物体在所述第一成像模式下的摄像装置上的成像位置、以及对极几何原理估计所述目标物体在所述第二成像模式下的摄像装置上的成像位置,包括:
根据所述目标物体在所述第一成像模式下的摄像装置上的成像位置、所述第一成像模式下的摄像装置与第二成像模式下的摄像装置之间的基本矩阵确定第二成像模式下的目标物体成像对应的极线的位置;
所述在所述第二成像模式下,根据所述估计得到的所述第二成像模式下的摄像装置上的成像位置搜索所述目标物体的成像,包括:
在所述第二成像模式下的目标物体成像对应的极线上搜索所述目标物体的成像。
根据本发明的第三方面的第一可执行方式,在本发明的第三方面的第二可执行方式中,所述在所述第二成像模式下的目标物体成像对应的极线上搜索所述目标物体的成像,包括:
确定第一直线与所述极线的交点为第一搜索点,并确定第二直线与所述极线的交点为第二搜索点,并且所述第二搜索点在所述第二成像模式的整体成像上,在所述极线上且在所述第一搜索点和所述第二搜索点之间搜索所述目标物体的成像;或,
当所述第二直线与所述极线的交点存在且不在所述第二成像模式的整体成像上时,确定所述第一直线与所述极线的交点为第三搜索点,并确定所述极线与第二成像模式下整体成像的边界的交点为第四搜索点,所述第四搜索点位于第二直线与所述极线的交点与所述第三搜索点之间,在所述极线上的所述第三搜索点和所述第四搜索点之间搜索所述目标物体的成像;或,
当所述第二直线与所述极线的交点不存在时,确定第一直线与所述极线的交点为第五搜索点,并确定所述极线与第二成像模式下整体成像的边界的两个交点分别为第六搜索点和第七搜索点,在所述极线上的所述第五搜索点和所述第六搜索点之间搜索所述目标物体的成像或在所述极线上的所述第五搜索点和所述第七搜索点之间搜索所述目标物体的成像;
所述第一直线为第二成像模式下的摄像装置的光心与目标物体在所述第一成像模式下的摄像装置上的成像位置所在的直线;
所述第二直线为与所述第一成像模式下的摄像装置的光心和目标物体在第一成像模式下的摄像装置上的成像位置所在的直线平行,且经过所述第二成像模式下的摄像装置的光心的直线。
根据本发明的第三方面的第一可执行方式或第二可执行方式,在本发明的第三方面的第三可执行方式中,所述根据所述目标物体在所述第一成像模式下的摄像装置上的成像位置、所述第一成像模式下的摄像装置与第二成像模式下的摄像装置之间的基本矩阵确定第二成像模式下的目标物体成像对应的极线的位置,包括:
根据下述公式确定所述极线的位置:
所述(ul,vl)为所述目标物体在所述第一成像模式下的摄像装置与第二成像模式下的摄像装置中位于左侧的摄像装置中的成像的坐标,所述(ur,vr)为所述目标物体在所述第一成像模式下的摄像装置与第二成像模式下的摄像装置中位于右侧的摄像装置中的成像的坐标,所述
根据本发明的第三方面,在本发明的第三方面的第四可执行方式中,所述根据目标物体在所述第一成像模式下的摄像装置上的成像位置、以及对极几何原理估计所述目标物体在所述第二成像模式下的摄像装置上的成像位置,包括:
当第一成像模式下的摄像装置与第二成像模式下的摄像装置的成像平面为同一个平面时,根据目标物体在所述第一成像模式下的摄像装置上的成像位置、目标物体距离第一成像模式下的摄像装置或第二成像模式下的摄像装置的深度信息、目标物体距离第一成像模式下的摄像装置或第二成像模式下的摄像装置的焦距信息以及所述第一成像模式下的摄像装置与所述第二成像模式下的摄像装置之间的距离信息估计所述目标物体在所述第二成像模式下的摄像装置上的成像位置。
根据本发明的第三方面的第四可执行方式,在本发明的第三方面的第五可执行方式中,所述当第一成像模式下的摄像装置与第二成像模式下的摄像装置的成像平面为同一个平面时,根据目标物体在所述第一成像模式下的摄像装置上的成像位置、目标物体距离第一成像模式下的摄像装置或第二成像模式下的摄像装置的深度信息、目标物体距离第一成像模式下的摄像装置或第二成像模式下的摄像装置的焦距信息以及所述第一成像模式下的摄像装置与所述第二成像模式下的摄像装置之间的距离信息估计所述目标物体在所述第二成像模式下的摄像装置上的成像位置,包括:
当第一成像模式下的摄像装置与第二成像模式下的摄像装置的成像平面为同一个平面时,且当第一成像模式下的摄像装置与第二成像模式下的摄像装置水平放置时,根据下述公式估计所述目标物体在所述第二成像模式下的摄像装置上的成像位置:
所述f为第一成像模式下的摄像装置或第二成像模式下的摄像装置的焦距,z为目标物体距离第一成像模式下的摄像装置或第二成像模式下的摄像装置的深度信息,tx为所述第一成像模式下的摄像装置与所述第二成像模式下的摄像装置之间的水平距离信息,xl为目标物体在位于左侧的摄像装置上的成像的水平方向上的坐标,xr为目标物体在位于右侧的摄像装置上的成像的水平方向上的坐标,所述目标物体在所述第一成像模式下的摄像装置上的成像和所述目标物体在所述第二成像模式下的摄像装置上的成像分别为所述目标物体在位于左侧的摄像装置上的成像和目标物体在位于右侧的摄像装置上的成像;或,
当第一成像模式下的摄像装置与第二成像模式下的摄像装置的成像平面为同一个平面时,且当第一成像模式下的摄像装置与第二成像模式下的摄像装置垂直放置时,根据下述公式估计所述目标物体在所述第二成像模式下的摄像装置上的成像位置:
所述f为第一成像模式下的摄像装置或第二成像模式下的摄像装置的焦距,z为目标物体距离第一成像模式下的摄像装置或第二成像模式下的摄像装置的深度信息,ty为所述第一成像模式下的摄像装置与所述第二成像模式下的摄像装置之间的垂直距离信息,yt为目标物体在位于上方的摄像装置上的成像的垂直方向上的坐标,yb为目标物体在位于下方的摄像装置上的成像的垂直方向上的坐标,所述目标物体在所述第一成像模式下的摄像装置上的成像和所述目标物体在所述第二成像模式下的摄像装置上的成像分别为所述目标物体在位于上方的摄像装置上的成像和目标物体在位于下方的摄像装置上的成像。
根据本发明的第三方面或本发明的第三方面的第一可执行方式到第五可执行方式中的任一可执行方式,在本发明的第三方面的第六可执行方式中,在所述根据目标物体在所述第一成像模式下的摄像装置上的成像位置、以及对极几何原理估计所述目标物体在所述第二成像模式下的摄像装置上的成像位置之前,所述方法还包括:
当第一成像模式下的摄像装置与第二成像模式下的摄像装置的成像平面为同一个平面时,且当第一成像模式下的摄像装置与第二成像模式下的摄像装置水平放置时,根据下述公式将所述第一成像模式下的摄像装置和所述第二成像模式下的摄像装置中位于左侧的摄像装置的像素坐标(ul,vl)转化为(u′l,v′l),将所述第一成像模式下的摄像装置和所述第二成像模式下的摄像装置中位于右侧的摄像装置的像素坐标(ur,vr)转化为(u′r,v′r):
进行所述转化前所述第一成像模式下的摄像装置和所述第二成像模式下的摄像装置中位于左侧的摄像装置的相机矩阵为
进行所述转化后所述第一成像模式下的摄像装置的相机矩阵和所述第二成像模式下的摄像装置的相机矩阵为
根据本发明的第三方面或本发明的第三方面的第一可执行方式到第六可执行方式中的任一可执行方式,在本发明的第三方面的第七可执行方式中,所述方法还包括:
获取第一成像模式下所述目标物体的第一特征模板的亮度信息;
对所述第一特征模板的亮度信息做亮度调整,得到第二特征模板;
在所述第二成像模式下将所述第二特征模板用于对所述目标物体的成像的搜索。
根据本发明的第三方面的第七可执行方式,在本发明的第三方面的第八可执行方式中,所述在第二成像模式下将所述第二特征模板用于对所述目标物体的成像的搜索,包括:
增加使用所述第二特征模板中的与亮度无关的特征模板搜索所述目标物体成像的搜索结果的采信程度,或,减少使用所述第二特征模板中的与亮度相关的特征模板搜索所述目标物体成像的搜索结果的采信程度。
根据本发明的第三方面或本发明的第三方面的第一可执行方式到第六可执行方式中的任一可执行方式,在本发明的第三方面的第九可执行方式中,所述方法还包括:
获取第二成像模式下目标物体成像的灰度图,根据所述灰度图对所述第一成像模式下所述目标物体的第一特征模板做亮度调整;
使用所述经过亮度调整的第一特征模板搜索所述目标物体的成像,将所述第二成像模式下获取到的所述目标物体成像的颜色特征加入到所述经过亮度调整的第一特征模板中;
将所述加入颜色特征的经过亮度调整的第一特征模板用于对所述目标物体的成像的搜索。
根据本发明的第四方面,提供一种用于对焦的装置,所述装置包括:
第二确定模块,用于确定成像模式由第一成像模式切换为第二成像模式;
第二成像位置估计模块,用于根据目标物体在所述第一成像模式下的摄像装置上的成像位置、以及对极几何原理估计所述目标物体在所述第二成像模式下的摄像装置上的成像位置;
第二搜索模块,用于在所述第二成像模式下,根据所述估计得到的所述第二成像模式下的摄像装置上的成像位置搜索所述目标物体的成像。
根据本发明的第四方面,在本发明的第四方面的第一可执行方式中,所述第二成像位置估计模块,具体用于根据所述目标物体在所述第一成像模式下的摄像装置上的成像位置、所述第一成像模式下的摄像装置与第二成像模式下的摄像装置之间的基本矩阵确定第二成像模式下的目标物体成像对应的极线的位置;
所述第二搜索模块,具体用于在所述第二成像模式下的目标物体成像对应的极线上搜索所述目标物体的成像。
根据本发明的第四方面的第一可执行方式,在本发明的第四方面的第二可执行方式中,所述第二搜索模块,具体用于确定第一直线与所述极线的交点为第一搜索点,并确定第二直线与所述极线的交点为第二搜索点,并且所述第二搜索点在所述第二成像模式的整体成像上,在所述极线上且在所述第一搜索点和所述第二搜索点之间搜索所述目标物体的成像;或,
当所述第二直线与所述极线的交点存在且不在所述第二成像模式的整体成像上时,确定所述第一直线与所述极线的交点为第三搜索点,并确定所述极线与第二成像模式下整体成像的边界的交点为第四搜索点,所述第四搜索点位于第二直线与所述极线的交点与所述第三搜索点之间,在所述极线上的所述第三搜索点和所述第四搜索点之间搜索所述目标物体的成像;或,
当所述第二直线与所述极线的交点不存在时,确定第一直线与所述极线的交点为第五搜索点,并确定所述极线与第二成像模式下整体成像的边界的两个交点分别为第六搜索点和第七搜索点,在所述极线上的所述第五搜索点和所述第六搜索点之间搜索所述目标物体的成像或在所述极线上的所述第五搜索点和所述第七搜索点之间搜索所述目标物体的成像;
所述第一直线为第二成像模式下的摄像装置的光心与目标物体在所述第一成像模式下的摄像装置上的成像位置所在的直线;
所述第二直线为与所述第一成像模式下的摄像装置的光心和目标物体在第一成像模式下的摄像装置上的成像位置所在的直线平行,且经过所述第二成像模式下的摄像装置的光心的直线。
根据本发明的第四方面的第一可执行方式或第二可执行方式,在本发明的第四方面的第三可执行方式中,所述第二成像位置估计模块,具体用于根据下述公式确定所述第二成像模式下的目标物体成像对应的极线的位置:
所述(ul,vl)为所述目标物体在所述第一成像模式下的摄像装置与第二成像模式下的摄像装置中位于左侧的摄像装置中的成像的坐标,所述(ur,vr)为所述目标物体在所述第一成像模式下的摄像装置与第二成像模式下的摄像装置中位于右侧的摄像装置中的成像的坐标,所述
根据本发明的第四方面,在本发明的第四方面的第四可执行方式中,所述第二成像位置估计模块,具体用于当第一成像模式下的摄像装置与第二成像模式下的摄像装置的成像平面为同一个平面时,根据目标物体在所述第一成像模式下的摄像装置上的成像位置、目标物体距离第一成像模式下的摄像装置或第二成像模式下的摄像装置的深度信息、目标物体距离第一成像模式下的摄像装置或第二成像模式下的摄像装置的焦距信息以及所述第一成像模式下的摄像装置与所述第二成像模式下的摄像装置之间的距离信息估计所述目标物体在所述第二成像模式下的摄像装置上的成像位置。
根据本发明的第四方面的第四可执行方式,在本发明的第四方面的第五可执行方式中,所述第二成像位置估计模块,具体用于当第一成像模式下的摄像装置与第二成像模式下的摄像装置的成像平面为同一个平面时,且当第一成像模式下的摄像装置与第二成像模式下的摄像装置水平放置时,根据下述公式估计所述目标物体在所述第二成像模式下的摄像装置上的成像位置:
所述f为第一成像模式下的摄像装置或第二成像模式下的摄像装置的焦距,z为目标物体距离第一成像模式下的摄像装置或第二成像模式下的摄像装置的深度信息,tx为所述第一成像模式下的摄像装置与所述第二成像模式下的摄像装置之间的水平距离信息,xl为目标物体在位于左侧的摄像装置上的成像的水平方向上的坐标,xr为目标物体在位于右侧的摄像装置上的成像的水平方向上的坐标,所述目标物体在所述第一成像模式下的摄像装置上的成像和所述目标物体在所述第二成像模式下的摄像装置上的成像分别为所述目标物体在位于左侧的摄像装置上的成像和目标物体在位于右侧的摄像装置上的成像;或,
当第一成像模式下的摄像装置与第二成像模式下的摄像装置的成像平面为同一个平面时,且当第一成像模式下的摄像装置与第二成像模式下的摄像装置垂直放置时,根据下述公式估计所述目标物体在所述第二成像模式下的摄像装置上的成像位置:
所述f为第一成像模式下的摄像装置或第二成像模式下的摄像装置的焦距,z为目标物体距离第一成像模式下的摄像装置或第二成像模式下的摄像装置的深度信息,ty为所述第一成像模式下的摄像装置与所述第二成像模式下的摄像装置之间的垂直距离信息,yt为目标物体在位于上方的摄像装置上的成像的垂直方向上的坐标,yb为目标物体在位于下方的摄像装置上的成像的垂直方向上的坐标,所述目标物体在所述第一成像模式下的摄像装置上的成像和所述目标物体在所述第二成像模式下的摄像装置上的成像分别为所述目标物体在位于上方的摄像装置上的成像和目标物体在位于下方的摄像装置上的成像。
根据本发明的第四方面或本发明的第四方面的第一可执行方式到第五可执行方式中的任一可执行方式,在本发明的第四方面的第六可执行方式中,所述装置还包括转化模块,
所述转化模块,用于当第一成像模式下的摄像装置与第二成像模式下的摄像装置的成像平面为同一个平面时,且当第一成像模式下的摄像装置与第二成像模式下的摄像装置水平放置时,根据下述公式将所述第一成像模式下的摄像装置和所述第二成像模式下的摄像装置中位于左侧的摄像装置的像素坐标(ul,vl)转化为(u′l,v′l),将所述第一成像模式下的摄像装置和所述第二成像模式下的摄像装置中位于右侧的摄像装置的像素坐标(ur,vr)转化为(u′r,v′r):
进行所述转化前所述第一成像模式下的摄像装置和所述第二成像模式下的摄像装置中位于左侧的摄像装置的相机矩阵为
根据本发明的第四方面或本发明的第四方面的第一可执行方式到第六可执行方式中的任一可执行方式,在本发明的第四方面的第七可执行方式中,所述装置还包括第二获取模块以及第二亮度调整模块,所述第二获取模块,用于获取第一成像模式下所述目标物体的第一特征模板的亮度信息;所述第二亮度调整模块,用于对所述第一特征模板的亮度信息做亮度调整,得到第二特征模板;所述第二搜索模块,还用于在所述第二成像模式下将所述第二特征模板用于对所述目标物体的成像的搜索。
根据本发明的第四方面的第七可执行方式,在本发明的第四方面的第八可执行方式中,所述第二搜索模块,还用于增加使用所述第二特征模板中的与亮度无关的特征模板搜索所述目标物体成像的搜索结果的采信程度,或,减少使用所述第二特征模板中的与亮度相关的特征模板搜索所述目标物体成像的搜索结果的采信程度。
根据本发明的第四方面或本发明的第四方面的第一可执行方式到第六可执行方式中的任一可执行方式,在本发明的第四方面的第九可执行方式中,所述装置还包括第二彩色成像处理模块,以及第二颜色特征添加模块,所述第二彩色成像处理模块,用于获取第二成像模式下目标物体成像的灰度图,根据所述灰度图对所述第一成像模式下所述目标物体的第一特征模板做亮度调整;所述第二颜色特征添加模块,用于使用所述经过亮度调整的第一特征模板搜索所述目标物体的成像,将所述第二成像模式下获取到的所述目标物体成像的颜色特征加入到所述经过亮度调整的第一特征模板中;所述第二搜索模块,还用于将所述加入颜色特征的经过亮度调整的第一特征模板用于对所述目标物体的成像的搜索。
根据本发明的第五方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述本发明的第一方面、或本发明的第一方面的第一可执行方式至第十一可执行方式中任一可执行方式、或本发明的第三方面或本发明的第三方面的第一可执行方式到第九可执行方式中的任一可执行方式中的方法的步骤。
根据本发明的第六方面,提供一种用于对焦的装置,该装置包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述本发明的第一方面、或本发明的第一方面的第一可执行方式至第十一可执行方式任一可执行方式、或本发明的第三方面或本发明的第三方面的第一可执行方式到第九可执行方式中的任一可执行方式中的方法的步骤。
本发明提供一种对焦的方法,使得在终端自动对焦过程中,当分辨率改变时,自动对焦功能不会中断,实现持续的自动对焦功能,能提高摄像装置对于不同摄像模式的适应性,能减少用户交互,能及时、准确、高效地对焦到目标物体上,从而能输出令人满意的图像或视频。
附图说明
图1为本发明实施例提供的一种用于对焦的方法的流程图;
图2为本发明实施例提供的成像示意图;
图3为本发明实施例提供的成像模式切换前后的成像示意图;
图4为本发明实施例提供的又一种用于对焦的方法流程图;
图5为本发明实施例提供的再一种用于对焦的方法流程图;
图6为本发明实施例提供的一种用于对焦的装置结构示意图;
图7为本发明实施例提供的又一种用于对焦的装置结构示意图;
图8为本发明实施例提供的再一种用于对焦的装置结构示意图;
图9为本发明实施例提供的还一种用于对焦的方法流程图;
图10为本发明实施例提供的一种双摄像装置的成像示意图;
图11为本发明实施例提供的另一种双摄像装置的成像示意图;
图12为本发明实施例提供的还一种双摄像装置的成像示意图;
图13为本发明实施例提供的还一种用于对焦的装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行详细地描述。
本发明的说明书和权利要求书记忆上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于限定特定顺序。
其中,本发明实施例中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。
在本发明实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或“例如”的任何实施例或设计方案不应该被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
应当说明的是,为了图示的简洁和清楚起见,附图中所示的元件没有必要按照比例进行绘制。例如,为了清楚,可以相对于其他元件,增大一些元件的尺寸。另外,在认为合适的地方,可以在附图间重复附图标记,以指示相对应或类似的元件针对这一问题。
应该说明的是,由于视频等是由若干图片组成,因此,本发明实施例中描述的关于图片、成像、图像等的处理方法可以应用于视频等方面,本领域技术人员根据本发明揭示的方法不需要付出创造性的劳动即可修改为应用于视频等的处理方法,这种修改后的方法在本发明的保护范围内。
下面结合附图1对本发明实施例一进行详细阐述。如图1所示,
步骤101,确定成像模式由第一成像模式切换为第二成像模式,所述第一成像模式下的目标物体成像的位置与所述第二成像模式下的目标物体成像的位置不同;所述第一成像模式下的目标物体成像的位置与所述第二成像模式下的目标物体成像的位置不同可以由下述原因中的至少一个引起:所述第一成像模式下的分辨率与所述第二成像模式下的分辨率不同,所述第一成像模式下的视野与所述第二成像模式下的视野不同,所述第一成像模式下的摄像装置的位置与所述第二成像模式下的摄像装置的位置不同以及其他原因。
上述的成像模式由第一成像模式切换为第二成像模式可以仅仅是分辨率的切换,也可以是包括分辨率切换在内的多种成像模式的组合的切换,如:由分辨率为1440x1080的灰度图切换为分辨率为800x600的彩色图,也可以是由分辨率为1440x1080的彩色图切换为分辨率为1440x1280的灰度图。
步骤102,根据所述第一成像模式下的分辨率、所述第二成像模式下的分辨率、第一成像模式下的视野、第二成像模式下的视野以及所述第一成像模式下的目标物体的成像位置估计所述第二成像模式下的目标物体的成像位置;
上述视野(fieldofview,fov)可以包括水平视野或垂直视野。
该成像位置可以包括目标物体的位置特征点以及成像的大小。比如,该特征点可以为目标物体的中心点或顶点或外接图形(如,外接矩形或外接圆)的中心点或顶点,成像大小可以为目标物体的成像的宽度和高度或外接图形(如,外接矩形或外接圆)的大小,如外接矩形的宽度和高度,又如外接圆的半径或直径。本领域技术人员应当了解,成像位置还可以由其他方式度量,如任取目标物体成像的一点或与任意与目标物体的成像位置相关的一点,这种度量方式确定的位置仅与中心点的位置有一个常数向量之差,本领域普通技术人员可以由本发明揭示的方法不用通过创造性的劳动进行变化即可得到或近似得到,这种变化后的方式应属于本发明的保护范围之内。
同样的,本领域技术人员应当了解,上述成像大小可以为包括所述目标物体成像的几何形状的大小,如,上述成像大小可以表示为目标物体成像大小的宽度以及高度(外接矩形的宽度和高度),如图2中的w和h所示,其中201表示目标物体的成像。目标物体成像大小也可以表示为稍大于目标物体成像的宽度和高度的数值,如目标物体成像的宽度和高度的1.2倍。也可以表示为以目标物体成像的某个顶点为圆心,包括整个目标物体成像的扇形的半径以及圆心角。还可以表示为目标物体成像的外接圆的半径或直径。本领域普通技术人员应当了解,上述的多种成像大小的表示本领域普通技术人员可以由本发明揭示的方法不用通过创造性的劳动进行变化即可得到或近似得到(如外接几何图形可以相互算出,扇形仅仅是坐标系的变化),这种变化后的方式应属于本发明的保护范围之内。
步骤103,在所述第二成像模式下,根据所述估计得到的所述第二成像模式下的目标物体的成像位置搜索所述目标物体的成像。
由于摄像装置一般还内置数字图像稳定(digitalimagestabilization,dis)模块,输出图像是经过裁剪的,会影响估计目标物理成像位置的准确性,所以在切换后的第二成像模式下,可以在更大的范围内,如两倍目标大小的区域,搜索目标物体的成像。
在该步骤中,根据所述估计得到的所述第二成像模式下的目标物体的成像位置搜索所述目标物体的成像,可以包括:
以估计得到的所述第二成像模式下的目标物体的成像的特征点以及成像的大小划定搜索的范围,如可以在一个矩形区域进行搜索,该矩形区域的中心点为估计得到的所述第二成像模式下的目标物体成像的中心点,该矩形区域的宽度和高度为估计得到的所述第二成像模式下的目标物体的宽度和高度,或该宽度和高度的若干倍数,或第一成像模式下目标物体成像的宽度和高度或其若干倍数;又如,可以在一个圆形区域进行搜索,该圆形区域是以估计得到的所述第二成像模式下的目标物体成像的中心点为圆心,以估计得到的该第二成像模式下的目标物体的成像的外接圆的半径或其若干倍数得到的;再如,可以在一个圆形区域进行搜索,该圆形区域的圆心是估计得到的所述第二成像模式下的目标物体成像的中心点,该圆形区域的半径是以第一成像模式下该目标物体成像的外接圆的半径,或该半径的若干倍数为半径;再如,可以在矩形区域搜索,该矩形区域的一个顶点为第一成像模式下该目标物体成像的一个顶点,该矩形区域的宽度和高度为第一成像模式下该目标物体成像的宽度和高度或其若干倍,或该矩形区域的宽度和高度为估计得到的第二成像模式下该目标物体成像的宽度和高度或其若干倍;再如,可以在矩形区域搜索,该矩形区域的一个顶点为估计得到的第二成像模式下该目标物体成像的一个顶点,该矩形区域的宽度和高度为第一成像模式下该目标物体成像的宽度和高度或该宽度和高度的若干倍数,或该矩形区域的宽度和高度为估计得到的第二成像模式下该目标物体成像的宽度和高度;再如,可以在扇形区域搜索,该扇形区域的圆心为估计得到的第二成像模式下该目标物体成像的一个顶点,该扇形区域的半径为第一成像模式下该目标物体成像中距离该顶点最远的点到该顶点的距离或其若干倍数,或该扇形区域的半径为估计得到的第二成像模式下该目标物体成像中距离该顶点最远的点到该顶点的距离或其若干倍数。
可选的,上述方法还可以包括:
在第二范围内通过快速搜索算法搜索所述目标物体的成像,该第二范围包括所述第二成像模式下的目标物体的成像位置且所述第二范围的大小大于第一范围的大小,如,该第二范围的大小是第一范围的若干倍,或所述第二范围包括与所述第二成像模式下的目标物体的成像位置相邻的成像区域,该第一范围的大小包括所述第一成像模式下的目标物体的成像的大小。可选的,如果步骤103没有搜索到目标物体的成像,则执行上述的快速搜索的步骤,即在第二范围内通过快速搜索算法搜索所述目标物体的成像;也可以在搜索到目标物体的成像后继续执行该快速搜索的步骤。该快速搜索算法可以为反向传播算法。
可选的,上述的第二范围可以为既包括第二成像模式下的目标物体的成像的部分和全部,也包括与所述第二成像模式下的目标物体的成像位置相邻的成像区域;或只包括与所述第二成像模式下的目标物体的成像位置相邻的成像区域。
下面结合图3以目标物体的成像的中心以及宽度和高度为例,说明如何估计所述第二成像模式下的目标物体的成像位置。
上述估计所述第二成像模式下的目标物体的成像位置的方法包括:估计出第二成像模式下的目标物体的成像大小相对于第一成像模式下的目标物体的成像大小的变化参数s。在本发明中是用成像的宽度和高度等长度单位来估计目标物体成像的变化参数,本领域普通技术人员应该了解,在不付出创造性劳动的情况下也可以由本发明想到可以使用成像面积、成像角度等参数来估计不同模式下目标物体成像的变化参数,其变化出的方法应在本发明的保护范围之内。例如,变化参数s可以是估计的第二成像模式下目标物体成像的面积与第一成像模式下目标物体成像的面积的比值,或者可以是估计第二成像模式下目标物体成像的以某个顶点为圆心且以图像上到该顶点距离最远的点到该顶点的距离为半径的扇形的圆心角,与第一成像模式下目标物体成像的以该顶点且以图像上到该顶点距离最远的点到该顶点的距离为半径的扇形的圆心角的比值。
所述变化参数为s,
可选的,目标物体的成像位置包括:目标物体的中心点和/或目标物体的大小。令第一成像模式下目标物体成像的中心位置为(x0,y0)(图未标示出),所述第一成像模式下的整体成像的高度为h0,以及所述第一成像模式下的整体成像的高度为w0,第二成像模式下的整体成像的高度为h1,以及所述第二成像模式下的整体成像的宽度为w1,所述第二成像模式下的目标物体的成像位置包括:第二成像模式下目标物体成像的中心位置(x1,y1);则,
当
根据所述第一成像模式下目标物体成像的中心位置(x0,y0)、第一成像模式下的整体成像的高度h0以及第一成像模式下的整体成像的高度w0、第二成像模式下的整体成像的高度h1以及第二成像模式下的整体成像的宽度w1,估计所述第二成像模式下目标物体成像的中心位置(x1,y1)为:
可选的,所述第一成像模式下的目标物体的成像位置还包括下数参数的至少一个:上述第一成像模式下目标物体成像的宽度w0,以及第一成像模式下目标物体成像的高度h0;上述第二成像模式下的目标物体的成像位置还包括下数参数的至少一个:所述第二成像模式下目标物体成像的宽度w1,以及所述第二成像模式下目标物体成像的高度h1;则,宽度w1以及高度h1有如下定义:
w1=w0*s,
h1=h0*s。
可选的,当
可选的,所述第一成像模式下的目标物体的成像位置还包括下数参数的至少一个:
所述第一成像模式下目标物体成像的宽度w0,以及所述第一成像模式下目标物体成像的高度h0;
所述第二成像模式下的目标物体的成像位置还包括下数参数的至少一个:
所述第二成像模式下目标物体成像的宽度w1,以及所述第二成像模式下目标物体成像的高度h1;则宽度w1以及高度h1有:
w1=w0*s,
h1=h0*s。
根据上面描述的方法,能够使得具有自动对焦功能的摄像装置在不同分辨率进行切换的情况下自动对焦功能不会中断,能够持续对目标成像进行对焦。
上述s的值还可以为
相应的,以
相应的,估计所述第二成像模式下目标物体成像的大小,即宽度和高度为:
同样的,s的值还可以是
根据第一算法在与第一成像模式下所述目标物体的成像位置相邻的图像区域以及与第二成像模式下所述目标物体的成像位置相邻的成像区域中至少一个区域搜索所述目标物体的成像,所述第一算法包括下数算法的至少一个:
光流(opticalflow)算法、模板匹配算法、以及协相关滤波(correlationfilter)算法。
使用上述第一算法对第一成像模式和/或第二成像模式中与目标物体成像相邻的局部图像区域进行搜索跟踪,优化估计出的目标物体成像位置,然后将优化后的目标物体成像位置作为一般搜索跟踪算法的初始输入,如均值偏移(meanshift)算法,能够提高搜索跟踪算法在目标长距离移动下的稳定性。
其中,光流算法一般步骤如下:
1、在第一成像模式下目标物体成像区域内检测分布均匀的角点位置,记为
2、以
3、以
4、计算
其中,模板匹配算法以目标物体在第一成像模式下成像中的图像块为模板,在第二成像模式下目标物体成像的搜索区域内,逐像素移动并选择同样大小的图像块,选择匹配结果最好的图像块位置,即为新的目标位置。
协相关滤波的主要思想和模板匹配算法一致,主要是利用快速傅立叶变换加速匹配算法,在此不做详细介绍。
根据上面描述的方法,能够使得具有自动对焦功能的摄像装置在不同分辨率进行切换的情况下自动对焦功能不会中断,能够持续对目标成像进行对焦,并且即使在目标物体相对于摄像装置运动的情况下也能够保持对目标的连贯跟踪对焦,能提高摄像装置对于不同摄像模式的适应性,能减少用户交互,能及时、准确、高效地对焦到目标物体上,从而能输出令人满意的图像或视频。
下面结合附图4对本发明实施例二进行详细阐述。本实施例适用于当由第一成像模式切换到第二成像模式时,不仅仅图像分辨率改变的情况,并且第一成像模式下的成像为彩色图,第二成像模式下的成像为灰度图。第一成像模式可以为彩色摄像装置,第二成像模式可以为黑白摄像装置,如图4所示,
步骤401,当成像模式由第一成像模式切换为第二成像模式,所述第一成像模式下的目标物体成像的位置与所述第二成像模式下的目标物体成像的位置不同。所述第一成像模式下的目标物体成像的位置与所述第二成像模式下的目标物体成像的位置不同可以由下述原因中的至少一个引起:所述第一成像模式下的分辨率与所述第二成像模式下的分辨率不同,所述第一成像模式下的视野与所述第二成像模式下的视野不同,所述第一成像模式下的摄像装置的位置与所述第二成像模式下的摄像装置的位置不同以及其他原因。在本实施例中,第一成像模式下的成像为彩色图,第二成像模式下的成像为灰度图。如,由分辨率为1440x1080的彩色图切换为分辨率为1440x1280的灰度图。
步骤402,根据所述第一成像模式下的分辨率、所述第二成像模式下的分辨率、第一成像模式下的视野、第二成像模式下的视野以及所述第一成像模式下的目标物体的成像位置估计所述第二成像模式下的目标物体的成像位置;
关于步骤402的具体实施方法可以参考实施例一中的相关的描述。
可选的,在第二成像模式下,还可以获取所述目标物体距离摄像装置的距离信息;该摄像装置可以为能获得深度信息的相机、摄像头、视频拍摄装置,或扫描装置,该深度信息即为目标物体距离摄像装置的距离信息。然后根据所述距离信息以及透视规则优化所述估计得到的所述第二成像模式下的目标物体的成像位置。
步骤403,为适应第二成像模式对特征模板进行处理。
该步骤403具体可以为:
获取第一成像模式下所述目标物体的第一特征模板的亮度信息,对所述第一特征模板的亮度信息做亮度调整,得到第二特征模板,在所述第二成像模式下将所述第二特征模板用于对所述目标物体的成像的搜索。所述获取第一成像模式下所述目标物体的第一特征模板的亮度信息可以包括:将第一成像模式下所述目标物体的第一特征模板转化为灰度图,上述的灰度图可以作为第一特征模板的亮度信息。可选的,还可以将所述第一特征模板转化为lab格式或yuv格式,将其中的l通道或y通道作为所述第一特征模板的亮度信息。上述亮度调整可以通过颜色传递算法做到。
所述将所述第二特征模板用于对所述目标物体的成像的搜索,包括:
增加使用所述第二特征模板中的与亮度无关的特征模板搜索所述目标物体成像的搜索结果的采信程度,或,减少使用所述第二特征模板中的与亮度相关的特征模板搜索所述目标物体成像的搜索结果的采信程度。上述亮度无关特征可以为纹理特征等。在此步骤中,可以通过对亮度无关的特征模板以及与亮度相关的特征模板赋予不同的权值的方法,来增加使用与亮度无关的特征模板搜索所述目标物体成像的搜索结果的采信程度。
上述的亮度调整方法的具体可以为:
根据所述第一成像模式下的目标物体成像的亮度信息、第二成像模式下的目标物体成像的亮度信息对所述第一成像模式下目标物体的第一特征模板进行亮度调整,得到第二特征模板。上述的目标物体成像可以局部成像也可以为整体成像。
可选的,上述的亮度信息可以由下面方式得到:将普通灰度图或彩色图转换为lab或yuv格式等能分离亮度和颜色信息的通道格式,其中l或y通道图像即为该普通灰度图或彩色图亮度信息。对亮度信息进行处理时,可以对亮度相关通道,如l或y通道进行处理。
可选的,可以根据上述的亮度信息,统计所述第一成像模式下的目标物体成像的亮度值以及所述第二成像模式的目标物体成像的亮度值,分别记为
所述根据所述第一成像模式下的目标物体成像的亮度信息、第二成像模式下的目标物体成像的亮度信息对所述第一成像模式下目标物体的第一特征模板进行亮度调整,得到第二特征模板,包括:
根据下述信息对所述第一成像模式下目标物体的第一特征模板进行亮度调整,得到第二特征模板:
所述第一成像模式下的目标物体成像的像素亮度值的统计信息和所述第二成像模式下的目标物体成像的像素亮度值的统计信息。
所述根据下述信息对所述第一成像模式下目标物体的第一特征模板进行亮度调整,得到第二特征模板:所述第一成像模式下的目标物体成像的像素亮度值的统计信息和所述第二成像模式下的目标物体成像的像素亮度值的统计信息,包括:
根据所述第一成像模式下的目标物体成像的像素亮度值的统计信息和所述第二成像模式下的目标物体成像的像素亮度值的统计信息确定所述第一成像模式下的目标物体成像的像素亮度值与所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的对应关系,所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的统计信息与所述第一成像模式下的目标物体成像的像素亮度值的统计信息相同;
根据所述第一成像模式下的目标物体成像的像素亮度值与所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的对应关系对所述第一特征模板进行亮度调整,得到所述第二特征模板。
所述根据所述第一成像模式下的目标物体成像的像素亮度值的统计信息和所述第二成像模式下的目标物体成像的像素亮度值的统计信息确定所述第一成像模式下的目标物体成像的像素亮度值与所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的对应关系,所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的统计信息与所述第一成像模式下的目标物体成像的像素亮度值的统计信息相同,包括:
根据下述信息确定所述第一成像模式下的目标物体成像的像素亮度值与所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的对应关系:
所述第一成像模式下的目标物体成像的像素亮度值的平均值和所述第二成像模式下的目标物体成像的像素亮度值的平均值,以及
所述第一成像模式下的目标物体成像的像素亮度值的方差和所述第二成像模式下的目标物体成像的像素亮度值的方差;且
所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的平均值与所述第一成像模式下的目标物体成像的像素亮度值的平均值相同,所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的方差与所述第一成像模式下的目标物体成像的像素亮度值的方差相同。可选的,上述的平均值可以是加权平均值,方差可以是加权的方差。
根据所述第一成像模式下的目标物体成像的像素亮度值的统计信息和所述第二成像模式下的目标物体成像的像素亮度值的统计信息确定所述第一成像模式下的目标物体成像的像素亮度值与所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的对应关系,包括:
根据所述第一成像模式下的目标物体成像的像素亮度值的统计信息和所述第二成像模式下的目标物体成像的像素亮度值的统计信息确定所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值t[i]为:
其中,m0为所述第一成像模式下的目标物体成像的像素亮度值的平均值,m1为所述第二成像模式下的目标物体成像的像素亮度值的平均值,v0为所述第一成像模式下的目标物体成像的像素亮度值的方差,v1为所述第二成像模式下的目标物体成像的像素亮度值的方差,i为第一成像模式下的目标物体成像的像素亮度值。
所述根据所述第一成像模式下的目标物体成像的像素亮度值与所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的对应关系对所述第一特征模板进行亮度调整,得到所述第二特征模板,包括:
根据所述第一成像模式下的目标物体成像的像素亮度值与所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的对应关系得到所述第二特征模板的像素亮度值l′(x,y)为:
l′(x,y)=t[l(x,y)]
其中,l(x,y)为所述第一特征模板的像素的亮度值,t[i]为第一成像模式下的目标物体成像经过亮度调整后的像素亮度值,i为第一成像模式下的目标物体成像的像素亮度值。
可选的,上述对应关系可以为映射表的形式,即i与t[i]的映射关系,根据所述第一特征模板的像素的亮度值l(x,y)的取值,以及上述映射关系查找相应的t[l(x,y)]的值,就是第一特征模板的像素的亮度值调整后的值,即为所述第二特征模板的像素亮度值l′(x,y)。
所述像素亮度值为:在成像的lab格式下成像的像素在l通道中的值,或在成像的yuv格式下成像的像素在y通道中的值。
所述在第二成像模式下根据所述第二特征模板搜索所述目标物体的成像,包括:
增加使用所述第二特征模板中的与亮度无关的特征模板搜索所述目标物体成像的搜索结果的采信程度,和/或,
减少使用所述第二特征模板中的与亮度相关的特征模板搜索所述目标物体成像的搜索结果的采信程度。
上述步骤402和步骤403的执行顺序可以颠倒,本领域普通技术人员应该了解,该种变化并不需要付出创造性劳动,在本方法中将上述步骤402和步骤403的执行顺序颠倒形成的方法也应该属于本发明的保护范围之内。
在本实施例中,在成像模式进行切换的时候不仅考虑到了分辨率的变化以外,还考虑了输出图像是彩色图还是灰度图的情况,因此不仅可以保证自动对焦功能在成像模式切换时能够不中断,还可以增加自动对焦功能的准确度并减少响应时间,提高了自动对焦功能的场景适应性,能减少用户交互,能及时、准确、高效地对焦到目标物体上,从而能输出令人满意的图像或视频。
下面结合附图5对本发明实施例三进行详细阐述。本实施例适用于当由第一成像模式切换到第二成像模式时,不仅仅图像分辨率改变的情况,并且第一成像模式下的成像为灰度图,第二成像模式下的成像为彩色图。第一成像模式可以为黑白摄像装置,第二成像模式可以为彩色摄像装置,如图5所示,
步骤501,当成像模式由第一成像模式切换为第二成像模式,所述第一成像模式下的目标物体成像的位置与所述第二成像模式下的目标物体成像的位置不同。所述第一成像模式下的目标物体成像的位置与所述第二成像模式下的目标物体成像的位置不同可以由下述原因中的至少一个引起:所述第一成像模式下的分辨率与所述第二成像模式下的分辨率不同,所述第一成像模式下的视野与所述第二成像模式下的视野不同,所述第一成像模式下的摄像装置的位置与所述第二成像模式下的摄像装置的位置不同以及其他原因。在本实施例中,第一成像模式下的成像为灰度图,第二成像模式下的成像为彩色图。如,由分辨率为1440x1080的灰度图切换为分辨率为1440x1280的彩色图。
步骤502,根据所述第一成像模式下的分辨率、所述第二成像模式下的分辨率、第一成像模式下的视野、第二成像模式下的视野以及所述第一成像模式下的目标物体的成像位置估计所述第二成像模式下的目标物体的成像位置;
关于步骤502的具体实施方法可以参考实施例一中的相关的描述。
可选的,在第二成像模式下,还可以获取所述目标物体距离摄像装置的距离信息;该摄像装置可以为能获得深度信息的相机、摄像头、视频拍摄装置,或扫描装置,该深度信息即为目标物体距离摄像装置的距离信息。然后根据所述距离信息以及透视规则优化所述估计得到的所述第二成像模式下的目标物体的成像位置。
步骤503,为适应第二成像模式对获取的整体彩色成像以及特征模板进行处理。
具体的,该步骤503可以为:
获取第二成像模式下目标物体成像的灰度图,根据所述灰度图对所述第一特征模板做亮度调整,可选的,可以在一段时间内将所述彩色成像转化为灰度图,如,可以是三秒。可选的,目标物体成像的灰度图可以为目标物体成像的lab格式或yuv格式的l通道或y通道。
使用所述经过亮度调整的第一特征模板搜索所述目标物体的成像,将所述第二成像模式下获取到的所述目标物体成像的颜色特征加入到所述经过亮度调整的第一特征模板中。如,可以加权平均第一特征模板和获取到的新的颜色特征,这样后续搜索也将逐步使用更多的颜色特征。
将所述加入颜色特征的经过亮度调整的第一特征模板用于对所述目标物体的成像的搜索。如,可以加权平均第一特征模板和获取到的新的颜色特征,这样后续搜索也将逐步使用更多的颜色特征。所述方法还可以包括:增加使用所述第二特征模板中的与亮度无关的特征模板搜索所述目标物体成像的搜索结果的采信程度。上述亮度无关特征可以为纹理特征等。在此步骤中,可以通过对亮度无关的特征模板以及与亮度相关的特征模板赋予不同的权值的方法,来增加使用与亮度无关的特征模板搜索所述目标物体成像的搜索结果的采信程度。
上述的亮度调整方法的具体可以为:
根据所述第一成像模式下的目标物体成像的亮度信息、第二成像模式下的目标物体成像的亮度信息对所述第一成像模式下目标物体的第一特征模板进行亮度调整,得到第二特征模板。
可选的,上述的亮度信息可以由下面方式得到:将普通灰度图或彩色图转换为lab或yuv格式等能分离亮度和颜色信息的通道格式,其中l或y通道图像即为该普通灰度图或彩色图亮度信息。对亮度信息进行处理时,可以对亮度相关通道,如l或y通道进行处理。
可选的,可以根据上述的亮度信息,统计所述第一成像模式下的目标物体成像的亮度值以及所述第二成像模式的目标物体成像的亮度值,分别记为
所述根据所述第一成像模式下的目标物体成像的亮度信息、第二成像模式下的目标物体成像的亮度信息对所述第一成像模式下目标物体的第一特征模板进行亮度调整,得到第二特征模板,包括:
根据下述信息对所述第一成像模式下目标物体的第一特征模板进行亮度调整,得到第二特征模板:
所述第一成像模式下的目标物体成像的像素亮度值的统计信息和所述第二成像模式下的目标物体成像的像素亮度值的统计信息。
所述根据下述信息对所述第一成像模式下目标物体的第一特征模板进行亮度调整,得到第二特征模板:所述第一成像模式下的目标物体成像的像素亮度值的统计信息和所述第二成像模式下的目标物体成像的像素亮度值的统计信息,包括:
根据所述第一成像模式下的目标物体成像的像素亮度值的统计信息和所述第二成像模式下的目标物体成像的像素亮度值的统计信息确定所述第一成像模式下的目标物体成像的像素亮度值与所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的对应关系,所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的统计信息与所述第一成像模式下的目标物体成像的像素亮度值的统计信息相同;
根据所述第一成像模式下的目标物体成像的像素亮度值与所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的对应关系对所述第一特征模板进行亮度调整,得到所述第二特征模板。
所述根据所述第一成像模式下的目标物体成像的像素亮度值的统计信息和所述第二成像模式下的目标物体成像的像素亮度值的统计信息确定所述第一成像模式下的目标物体成像的像素亮度值与所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的对应关系,所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的统计信息与所述第一成像模式下的目标物体成像的像素亮度值的统计信息相同,包括:
根据下述信息确定所述第一成像模式下的目标物体成像的像素亮度值与所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的对应关系:
所述第一成像模式下的目标物体成像的像素亮度值的平均值和所述第二成像模式下的目标物体成像的像素亮度值的平均值,以及
所述第一成像模式下的目标物体成像的像素亮度值的方差和所述第二成像模式下的目标物体成像的像素亮度值的方差;且
所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的平均值与所述第一成像模式下的目标物体成像的像素亮度值的平均值相同,所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的方差与所述第一成像模式下的目标物体成像的像素亮度值的方差相同。可选的,上述的平均值可以是加权平均值,方差可以是加权的方差。
根据所述第一成像模式下的目标物体成像的像素亮度值的统计信息和所述第二成像模式下的目标物体成像的像素亮度值的统计信息确定所述第一成像模式下的目标物体成像的像素亮度值与所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的对应关系,包括:
根据所述第一成像模式下的目标物体成像的像素亮度值的统计信息和所述第二成像模式下的目标物体成像的像素亮度值的统计信息确定所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值t[i]为:
其中,m0为所述第一成像模式下的目标物体成像的像素亮度值的平均值,m1为所述第二成像模式下的目标物体成像的像素亮度值的平均值,v0为所述第一成像模式下的目标物体成像的像素亮度值的方差,v1为所述第二成像模式下的目标物体成像的像素亮度值的方差,i为第一成像模式下的目标物体成像的像素亮度值。
所述根据所述第一成像模式下的目标物体成像的像素亮度值与所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的对应关系对所述第一特征模板进行亮度调整,得到所述第二特征模板,包括:
根据所述第一成像模式下的目标物体成像的像素亮度值与所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的对应关系得到所述第二特征模板的像素亮度值l′(x,y)为:
l′(x,y)=t[l(x,y)]
其中,l(x,y)为所述第一特征模板的像素的亮度值,t[i]为第一成像模式下的目标物体成像经过亮度调整后的像素亮度值,i为第一成像模式下的目标物体成像的像素亮度值。
可选的,上述对应关系可以为映射表的形式,即i与t[i]的映射关系,根据所述第一特征模板的像素的亮度值l(x,y)的取值,以及上述映射关系查找相应的t[l(x,y)]的值,就是第一特征模板的像素的亮度值调整后的值,即为所述第二特征模板的像素亮度值l′(x,y)。
所述像素亮度值为:在成像的lab格式下成像的像素在l通道中的值,或在成像的yuv格式下成像的像素在y通道中的值。
所述在第二成像模式下根据所述第二特征模板搜索所述目标物体的成像,包括:
增加使用所述第二特征模板中的与亮度无关的特征模板搜索所述目标物体成像的搜索结果的采信程度,和/或,
减少使用所述第二特征模板中的与亮度相关的特征模板搜索所述目标物体成像的搜索结果的采信程度。
上述步骤502和步骤503的执行顺序可以颠倒,本领域普通技术人员应该了解,该种变化并不需要付出创造性劳动,在本方法中将上述步骤502和步骤503的执行顺序颠倒形成的方法也应该属于本发明的保护范围之内。
在本实施例中,在成像模式进行切换的时候不仅考虑到了分辨率的变化以外,还考虑了输出图像是彩色图还是灰度图的情况,因此不仅可以保证自动对焦功能在成像模式切换时能够不中断,还可以增加自动对焦功能的准确度并减少响应时间,提高了自动对焦功能的场景适应性,能减少用户交互,能及时、准确、高效地对焦到目标物体上,从而能输出令人满意的图像或视频。
下面结合附图6对本发明实施例四进行详细阐述。如图6所示,本发明实施例提供一种用于对焦的装置600,该装置600包括:
确定模块601,用于确定成像模式由第一成像模式切换为第二成像模式,所述第一成像模式下的目标物体成像的位置与所述第二成像模式下的目标物体成像的位置不同;
上述的成像模式由第一成像模式切换为第二成像模式可以仅仅是分辨率的切换,也可以是包括分辨率切换在内的多种成像模式的组合的切换,如:由分辨率为1440x1080的灰度图切换为分辨率为800x600的彩色图,上述第一成像模式可以为灰度摄像装置的模式且上述第二成像模式可以为彩色摄像装置的模式,也可以是同一摄像装置的不同摄像模式。又如,也可以是由分辨率为1440x1080的彩色图切换为分辨率为1440x1280的灰度图,上述第一成像模式可以为彩色摄像装置且上述第二成像模式可以为黑白摄像装置,也可以是同一摄像装置的不同摄像模式。
成像位置估计模块602,用于根据所述第一成像模式下的分辨率、所述第二成像模式下的分辨率、第一成像模式下的视野、第二成像模式下的视野以及所述第一成像模式下的目标物体的成像位置估计所述第二成像模式下的目标物体的成像位置;
上述视野(fieldofview,fov)可以包括水平视野或垂直视野。
该成像位置可以包括目标物体的位置特征点以及成像的大小。比如,该特征点可以为目标物体的中心点或顶点或外接图形(如,外接矩形或外接圆)的中心点或顶点,成像大小可以为目标物体的成像的宽度和高度或外接图形(如,外接矩形或外接圆)的大小,如外接矩形的宽度和高度,又如外接圆的半径或直径。本领域技术人员应当了解,成像位置还可以由其他方式度量,如任取目标物体成像的一点或与任意与目标物体的成像位置相关的一点,这种度量方式确定的位置仅与中心点的位置有一个常数向量之差,本领域普通技术人员可以由本发明揭示的方法不用通过创造性的劳动进行变化即可得到或近似得到,这种变化后的方式应属于本发明的保护范围之内。
同样的,本领域技术人员应当了解,上述成像大小可以为包括所述目标物体成像的几何形状的大小,如,上述成像大小可以表示为目标物体成像大小的宽度以及高度(外接矩形的宽度和高度),如图2中的w和h所示,其中201表示目标物体的成像。目标物体成像大小也可以表示为稍大于目标物体成像的宽度和高度的数值,如目标物体成像的宽度和高度的1.2倍。也可以表示为以目标物体成像的某个顶点为圆心,包括整个目标物体成像的扇形的半径以及圆心角。还可以表示为目标物体成像的外接圆的半径或直径。本领域普通技术人员应当了解,上述的多种成像大小的表示本领域普通技术人员可以由本发明揭示的方法不用通过创造性的劳动进行变化即可得到或近似得到(如外接几何图形可以相互算出,扇形仅仅是坐标系的变化),这种变化后的方式应属于本发明的保护范围之内。
搜索模块603,用于在所述第二成像模式下,根据所述成像位置估计模块估计得到的所述第二成像模式下的目标物体的成像位置搜索所述目标物体的成像。
由于摄像装置一般还内置数字图像稳定(digitalimagestabilization,dis)模块,输出图像是经过裁剪的,会影响估计目标物理成像位置的准确性,所以在切换后的第二成像模式下,可以在更大的范围内,如两倍目标大小的区域,搜索目标物体的成像。
该搜索模块603,具体用于以估计得到的所述第二成像模式下的目标物体的成像的特征点以及成像的大小划定搜索的范围,如可以在一个矩形区域进行搜索,该矩形区域的中心点为估计得到的所述第二成像模式下的目标物体成像的中心点,该矩形区域的宽度和高度为估计得到的所述第二成像模式下的目标物体的宽度和高度,或该宽度和高度的若干倍数,或第一成像模式下目标物体成像的宽度和高度或其若干倍数;又如,可以在一个圆形区域进行搜索,该圆形区域是以估计得到的所述第二成像模式下的目标物体成像的中心点为圆心,以估计得到的该第二成像模式下的目标物体的成像的外接圆的半径或其若干倍数得到的;再如,可以在一个圆形区域进行搜索,该圆形区域的圆心是估计得到的所述第二成像模式下的目标物体成像的中心点,该圆形区域的半径是以第一成像模式下该目标物体成像的外接圆的半径,或该半径的若干倍数为半径;再如,可以在矩形区域搜索,该矩形区域的一个顶点为第一成像模式下该目标物体成像的一个顶点,该矩形区域的宽度和高度为第一成像模式下该目标物体成像的宽度和高度或其若干倍,或该矩形区域的宽度和高度为估计得到的第二成像模式下该目标物体成像的宽度和高度或其若干倍;再如,可以在矩形区域搜索,该矩形区域的一个顶点为估计得到的第二成像模式下该目标物体成像的一个顶点,该矩形区域的宽度和高度为第一成像模式下该目标物体成像的宽度和高度或该宽度和高度的若干倍数,或该矩形区域的宽度和高度为估计得到的第二成像模式下该目标物体成像的宽度和高度;再如,可以在扇形区域搜索,该扇形区域的圆心为估计得到的第二成像模式下该目标物体成像的一个顶点,该扇形区域的半径为第一成像模式下该目标物体成像中距离该顶点最远的点到该顶点的距离或其若干倍数,或该扇形区域的半径为估计得到的第二成像模式下该目标物体成像中距离该顶点最远的点到该顶点的距离或其若干倍数。
所述搜索模块603,还可以用于在第二范围内通过快速搜索算法搜索所述目标物体的成像;该第二范围包括所述第二成像模式下的目标物体的成像位置且所述第二范围的大小大于第一范围的大小,如,该第二范围的大小是第一范围的若干倍,或所述第二范围包括与所述第二成像模式下的目标物体的成像位置相邻的成像区域,所述第一范围的大小包括所述第一成像模式下的目标物体的成像的大小。
可选的,如果搜索模块603没有搜索到目标物体的成像,则可以执行上述的快速搜索的动作,即在第二范围内通过快速搜索算法搜索所述目标物体的成像;也可以在搜索到目标物体的成像后继续执行该快速搜索的步骤。该快速搜索算法可以为反向传播算法。
可选的,上述的第二范围可以为既包括第二成像模式下的目标物体的成像的部分和全部,也包括与所述第二成像模式下的目标物体的成像位置相邻的成像区域;或只包括与所述第二成像模式下的目标物体的成像位置相邻的成像区域。
下面结合图3以目标物体的成像的中心以及宽度和高度为例,说明上述成像位置估计模块602如何估计所述第二成像模式下的目标物体的成像位置。
该成像位置估计模块602,具体用于根据所述第一成像模式下的整体图像的高度、第二成像模式下的整体图像的高度、第一成像模式下的垂直方向视野以及第二成像模式下的垂直方向视野估计所述第二成像模式下的目标物体的成像大小相对于第一成像模式下的目标物体的成像大小的变化参数。
在本发明中是用成像的宽度和高度等长度单位来估计目标物体成像的变化参数,本领域普通技术人员应该了解,在不付出创造性劳动的情况下也可以由本发明想到可以使用成像面积、成像角度等参数来估计不同模式下目标物体成像的变化参数,其变化出的方法应在本发明的保护范围之内。例如,变化参数s可以是估计的第二成像模式下目标物体成像的面积与第一成像模式下目标物体成像的面积的比值,或者可以是估计第二成像模式下目标物体成像的以某个顶点为圆心且以图像上到该顶点距离最远的点到该顶点的距离为半径的扇形的圆心角,与第一成像模式下目标物体成像的以该顶点且以图像上到该顶点距离最远的点到该顶点的距离为半径的扇形的圆心角的比值。
所述成像位置估计模块602,具体用于计算所述变化参数为s,
可选的,目标物体的成像位置包括:目标物体的中心点和/或目标物体的大小。令第一成像模式下目标物体成像的中心位置为(x0,y0)(图未标示出),所述第一成像模式下的整体成像的高度为h0,以及所述第一成像模式下的整体成像的高度为w0,第二成像模式下的整体成像的高度为h1,以及所述第二成像模式下的整体成像的宽度为w1,所述第二成像模式下的目标物体的成像位置包括:第二成像模式下目标物体成像的中心位置(x1,y1);
所述成像位置估计模块602,具体用于根据所述第一成像模式下目标物体成像的中心位置(x0,y0)、所述第一成像模式下的整体成像的高度h0以及所述第一成像模式下的整体成像的高度w0、所述第二成像模式下的整体成像的高度h1以及所述第二成像模式下的整体成像的宽度w1,估计所述第二成像模式下目标物体成像的中心位置(x1,y1)为:
所述第一成像模式下的目标物体的成像位置还包括下数参数的至少一个:所述第一成像模式下目标物体成像的宽度w0,以及所述第一成像模式下目标物体成像的高度h0;
所述第二成像模式下的目标物体的成像位置还包括下数参数的至少一个:所述第二成像模式下目标物体成像的宽度w1,以及所述第二成像模式下目标物体成像的高度h1;
所述成像位置估计模块602,还用于根据下述公式计算所述第二成像模式下目标物体成像的宽度w1,以及所述第二成像模式下目标物体成像的高度h1,
w1=w0*s,
h1=h0*s。
所述成像位置估计模块602,具体用于计算所述变化参数为s,
所述第一成像模式下的目标物体的成像位置包括:第一成像模式下目标物体成像的中心位置(x0,y0);所述第一成像模式下的分辨率包括:所述第一成像模式下的整体成像的高度h0,以及所述第一成像模式下的整体成像的高度w0;所述第二成像模式下的分辨率包括:所述第二成像模式下的整体成像的高度h1,以及所述第二成像模式下的整体成像的宽度w1;所述第二成像模式下的目标物体的成像位置包括:第二成像模式下目标物体成像的中心位置(x1,y1);
所述成像位置估计模块602,具体用于根据所述第一成像模式下目标物体成像的中心位置(x0,y0)、第一成像模式下的整体成像的高度h0以及第一成像模式下的整体成像的高度w0、第二成像模式下的整体成像的高度h1以及第二成像模式下的整体成像的宽度w1,估计所述第二成像模式下目标物体成像的中心位置(x1,y1)为:
所述第一成像模式下的目标物体的成像位置还包括下数参数的至少一个:所述第一成像模式下目标物体成像的宽度w0,以及所述第一成像模式下目标物体成像的高度h0;
所述第二成像模式下的目标物体的成像位置还包括下数参数的至少一个:所述第二成像模式下目标物体成像的宽度w1,以及所述第二成像模式下目标物体成像的高度h1;
所述成像位置估计模块602,还用于根据下述公式计算所述第二成像模式下目标物体成像的宽度w1,以及所述第二成像模式下目标物体成像的高度h1,
w1=w0*s,
h1=h0*s。
上述s的值还可以为
相应的,以
相应的,估计所述第二成像模式下目标物体成像的大小,即宽度和高度为:
同样的,s的值还可以是
所述装置600还包括确定模块,所述确定模块用于根据第一算法在与第一成像模式下所述目标物体的成像位置相邻的图像区域以及与第二成像模式下所述目标物体的成像位置相邻的成像区域中至少一个区域搜索所述目标物体的成像,所述第一算法包括下数算法的至少一个:
光流(opticalflow)算法、模板匹配算法、以及协相关滤波(correlationfilter)算法。
使用上述第一算法对第一成像模式和/或第二成像模式中与目标物体成像相邻的局部图像区域进行搜索跟踪,优化估计出的目标物体成像位置,然后将优化后的目标物体成像位置作为一般搜索跟踪算法的初始输入,如均值偏移(meanshift)算法,能够提高搜索跟踪算法在目标长距离移动下的稳定性。
其中,光流算法一般步骤如下:
1、在第一成像模式下目标物体成像区域内检测分布均匀的角点位置,记为
2、以
3、以
4、计算
其中,模板匹配算法以目标物体在第一成像模式下成像中的图像块为模板,在第二成像模式下目标物体成像的搜索区域内,逐像素移动并选择同样大小的图像块,选择匹配结果最好的图像块位置,即为新的目标位置。
协相关滤波的主要思想和模板匹配算法一致,主要是利用快速傅立叶变换加速匹配算法,在此不做详细介绍。
根据上面描述的方法,能够使得具有自动对焦功能的摄像装置在不同分辨率进行切换的情况下自动对焦功能不会中断,能够持续对目标成像进行对焦,并且即使在目标物体相对于摄像装置运动的情况下也能够保持对目标的连贯跟踪对焦,能提高摄像装置对于不同摄像模式的适应性,能减少用户交互,能及时、准确、高效地对焦到目标物体上,从而能输出令人满意的图像或视频。
可选的,所述装置600还包括获取模块,
所述获取模块,用于在第二成像模式下,获取所述目标物体距离摄像装置的距离信息;
所述成像位置估计模块,还用于根据所述获取模块获取的距离信息以及透视规则优化所述估计得到的所述第二成像模式下的目标物体的成像位置。
可选的,该装置600在由第一成像模式切换到第二成像模式时,不仅仅图像分辨率改变,并且第一成像模式下的成像为彩色图,第二成像模式下的成像为灰度图。如,由分辨率为1440x1080的彩色图切换为分辨率为1440x1280的灰度图。该装置600还可以包括转化模块以及亮度调整模块,
所述获取模块,用于获取第一成像模式下所述目标物体的第一特征模板的亮度信息;第一特征模板的亮度信息可以包括:将第一成像模式下所述目标物体的第一特征模板转化为灰度图,上述的灰度图可以作为第一特征模板的亮度信息。可选的,还可以将所述第一特征模板转化为lab格式或yuv格式,将其中的l通道或y通道作为所述第一特征模板的亮度信息。
所述亮度调整模块,用于对所述第一特征模板的亮度信息做亮度调整,得到第二特征模板;上述亮度调整可以通过颜色传递算法做到。
所述搜索模块603,还用于在所述第二成像模式下将所述第二特征模板用于对所述目标物体的成像的搜索。
所述搜索模块603,还用于增加使用所述第二特征模板中的与亮度无关的特征模板搜索所述目标物体成像的搜索结果的采信程度,或,减少使用所述第二特征模板中的与亮度相关的特征模板搜索所述目标物体成像的搜索结果的采信程度。述亮度无关特征可以为纹理特征等。在此步骤中,可以通过对亮度无关的特征模板以及与亮度相关的特征模板赋予不同的权值的方法,来增加使用与亮度无关的特征模板搜索所述目标物体成像的搜索结果的采信程度。
上述亮度调整模块的功能和成像位置估计模块602的功能的执行顺序可以颠倒,本领域普通技术人员应该了解,该种变化并不需要付出创造性劳动,在本方法中将上述亮度调整模块的功能和成像位置估计模块602的执行顺序颠倒形成的方法也应该属于本发明的保护范围之内。
可选的,上述所述亮度调整模块具体可以用于:
根据所述第一成像模式下的目标物体成像的亮度信息、第二成像模式下的目标物体成像的亮度信息对所述第一成像模式下目标物体的第一特征模板进行亮度调整,得到第二特征模板。可选的,上述的亮度信息可以由下面方式得到:将普通灰度图或彩色图转换为lab或yuv格式等能分离亮度和颜色信息的通道格式,其中l或y通道图像即为该普通灰度图或彩色图亮度信息。对亮度信息进行处理时,可以对亮度相关通道,如l或y通道进行处理。
可选的,上述所述亮度调整模块还可以根据上述的亮度信息,统计所述第一成像模式下的目标物体成像的亮度值以及所述第二成像模式的目标物体成像的亮度值,分别记为
所述亮度调整模块,具体用于根据下述信息对所述第一成像模式下目标物体的第一特征模板进行亮度调整,得到第二特征模板:
所述第一成像模式下的目标物体成像的像素亮度值的统计信息和所述第二成像模式下的目标物体成像的像素亮度值的统计信息。
所述亮度调整模块,具体用于根据所述第一成像模式下的目标物体成像的像素亮度值的统计信息和所述第二成像模式下的目标物体成像的像素亮度值的统计信息确定所述第一成像模式下的目标物体成像的像素亮度值与所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的对应关系,所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的统计信息与所述第一成像模式下的目标物体成像的像素亮度值的统计信息相同;
根据所述第一成像模式下的目标物体成像的像素亮度值与所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的对应关系对所述第一特征模板进行亮度调整,得到所述第二特征模板。
所述亮度调整模块,具体用于根据下述信息确定所述第一成像模式下的目标物体成像的像素亮度值与所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的对应关系:
所述第一成像模式下的目标物体成像的像素亮度值的平均值和所述第二成像模式下的目标物体成像的像素亮度值的平均值,以及
所述第一成像模式下的目标物体成像的像素亮度值的方差和所述第二成像模式下的目标物体成像的像素亮度值的方差;且
所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的平均值与所述第一成像模式下的目标物体成像的像素亮度值的平均值相同或近似相同,所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的方差与所述第一成像模式下的目标物体成像的像素亮度值的方差相同或近似相同。
所述亮度调整模块,具体用于根据所述第一成像模式下的目标物体成像的像素亮度值的统计信息和所述第二成像模式下的目标物体成像的像素亮度值的统计信息确定所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值t[i]为:
其中,m0为所述第一成像模式下的目标物体成像的像素亮度值的平均值,m1为所述第二成像模式下的目标物体成像的像素亮度值的平均值,v0为所述第一成像模式下的目标物体成像的像素亮度值的方差,v1为所述第二成像模式下的目标物体成像的像素亮度值的方差,i为第一成像模式下的目标物体成像的像素亮度值。
所述亮度调整模块,具体用于根据所述第一成像模式下的目标物体成像的像素亮度值与所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的对应关系得到所述第二特征模板的像素亮度值l′(x,y)为:
l′(x,y)=t[l(x,y)]
其中,l(x,y)为所述第一特征模板的像素的亮度值,t[i]为第一成像模式下的目标物体成像经过亮度调整后的像素亮度值,i为第一成像模式下的目标物体成像的像素亮度值。
所述搜索模块603,具体用于增加使用所述第二特征模板中的与亮度无关的特征模板搜索所述目标物体成像的搜索结果的采信程度,和/或,减少使用所述第二特征模板中的与亮度相关的特征模板搜索所述目标物体成像的搜索结果的采信程度。
所述搜索模块603,还用于经过一段时间后,使用所述第一特征模板搜索所述目标物体的成像。
在本实施例中,在成像模式进行切换的时候不仅考虑到了分辨率的变化以外,还考虑了输出图像是彩色图还是灰度图的情况,因此不仅可以保证自动对焦功能在成像模式切换时能够不中断,还可以增加自动对焦功能的准确度并减少响应时间,提高了自动对焦功能的场景适应性,提高摄像装置对于不同摄像模式的适应性,能减少用户交互,能及时、准确、高效地对焦到目标物体上,从而能输出令人满意的图像或视频。
可选的,所述装置600适用于当由第一成像模式切换到第二成像模式时,不仅仅图像分辨率改变的情况,并且第一成像模式下的成像为灰度图,第二成像模式下的成像为彩色图。如,由分辨率为1440x1080的灰度图切换为分辨率为1440x1280的彩色图。所述装置600还可以包括彩色成像处理模块,以及颜色特征添加模块,
所述彩色成像处理模块,用于获取第二成像模式下目标物体成像的灰度图,根据所述灰度图对所述第一特征模板做亮度调整,如,可以是三秒。可选的,目标物体成像的灰度图可以为目标物体成像的lab格式或yuv格式的l通道或y通道。
所述颜色特征添加模块,用于使用所述经过亮度调整的第一特征模板搜索所述目标物体的成像,将所述第二成像模式下获取到的所述目标物体成像的颜色特征加入到所述经过亮度调整的第一特征模板中;如,可以加权平均第一特征模板和获取到的新的颜色特征,这样后续搜索也将逐步使用更多的颜色特征。
所述搜索模块603,还用于将所述加入颜色特征的经过亮度调整的第一特征模板用于对所述目标物体的成像的搜索。所述搜索模块603,还可以用于增加使用所述第二特征模板中的与亮度无关的特征模板搜索所述目标物体成像的搜索结果的采信程度。上述亮度无关特征可以为纹理特征等。在此步骤中,可以通过对亮度无关的特征模板以及与亮度相关的特征模板赋予不同的权值的方法,来增加使用与亮度无关的特征模板搜索所述目标物体成像的搜索结果的采信程度。
上述彩色成像处理模块和颜色特征添加模块,与成像位置估计模块602的功能的执行顺序可以颠倒,本领域普通技术人员应该了解,该种变化并不需要付出创造性劳动,在本方法中将上述彩色成像处理模块和颜色特征添加模块,与成像位置估计模块602的功能的执行顺序颠倒形成的方法也应该属于本发明的保护范围之内。
上述的彩色成像处理模块具体可以用于:
根据所述第一成像模式下的目标物体成像的亮度信息、第二成像模式下的目标物体成像的亮度信息对所述第一成像模式下目标物体的第一特征模板进行亮度调整,得到第二特征模板。
可选的,上述的亮度信息可以由下面方式得到:将普通灰度图或彩色图转换为lab或yuv格式等能分离亮度和颜色信息的通道格式,其中l或y通道图像即为该普通灰度图或彩色图亮度信息。对亮度信息进行处理时,可以对亮度相关通道,如l或y通道进行处理。
可选的,上述的彩色成像处理模块还可以用于:可以根据上述的亮度信息,统计所述第一成像模式下的目标物体成像的亮度值以及所述第二成像模式的目标物体成像的亮度值,分别记为
上述的彩色成像处理模块具体可以用于:根据下述信息对所述第一成像模式下目标物体的第一特征模板进行亮度调整,得到第二特征模板:
所述第一成像模式下的目标物体成像的像素亮度值的统计信息和所述第二成像模式下的目标物体成像的像素亮度值的统计信息。
上述的彩色成像处理模块具体可以用于:
根据所述第一成像模式下的目标物体成像的像素亮度值的统计信息和所述第二成像模式下的目标物体成像的像素亮度值的统计信息确定所述第成像模式下的目标物体成像的像素亮度值与所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的对应关系,所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的统计信息与所述第一成像模式下的目标物体成像的像素亮度值的统计信息相同;
根据所述第一成像模式下的目标物体成像的像素亮度值与所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的对应关系对所述第一特征模板进行亮度调整,得到所述第二特征模板。
上述的彩色成像处理模块具体可以用于:
根据下述信息确定所述第一成像模式下的目标物体成像的像素亮度值与所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的对应关系:
所述第一成像模式下的目标物体成像的像素亮度值的平均值和所述第二成像模式下的目标物体成像的像素亮度值的平均值,以及
所述第一成像模式下的目标物体成像的像素亮度值的方差和所述第二成像模式下的目标物体成像的像素亮度值的方差;且
所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的平均值与所述第一成像模式下的目标物体成像的像素亮度值的平均值相同,所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的方差与所述第一成像模式下的目标物体成像的像素亮度值的方差相同。可选的,上述的平均值可以是加权平均值,方差可以是加权的方差。
上述的彩色成像处理模块具体可以用于:
根据所述第一成像模式下的目标物体成像的像素亮度值的统计信息和所述第二成像模式下的目标物体成像的像素亮度值的统计信息确定所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值t[i]为:
其中,m0为所述第一成像模式下的目标物体成像的像素亮度值的平均值,m1为所述第二成像模式下的目标物体成像的像素亮度值的平均值,v0为所述第一成像模式下的目标物体成像的像素亮度值的方差,v1为所述第二成像模式下的目标物体成像的像素亮度值的方差,i为第一成像模式下的目标物体成像的像素亮度值。
上述的彩色成像处理模块具体可以用于:根据所述第一成像模式下的目标物体成像的像素亮度值与所述第一成像模式下的目标物体成像经过亮度调整后的像素亮度值的对应关系得到所述第二特征模板的像素亮度值l′(x,y)为:
l′(x,y)=t[l(x,y)]
其中,l(x,y)为所述第一特征模板的像素的亮度值,t[i]为第一成像模式下的目标物体成像经过亮度调整后的像素亮度值,i为第一成像模式下的目标物体成像的像素亮度值。
可选的,上述对应关系可以为映射表的形式,即i与t[i]的映射关系,根据所述第一特征模板的像素的亮度值l(x,y)的取值,以及上述映射关系查找相应的t[l(x,y)]的值,就是第一特征模板的像素的亮度值调整后的值,即为所述第二特征模板的像素亮度值l′(x,y)。
所述像素亮度值为:在成像的lab格式下成像的像素在l通道中的值,或在成像的yuv格式下成像的像素在y通道中的值。
所述搜索模块603还用于:增加使用所述第二特征模板中的与亮度无关的特征模板搜索所述目标物体成像的搜索结果的采信程度,和/或,减少使用所述第二特征模板中的与亮度相关的特征模板搜索所述目标物体成像的搜索结果的采信程度。
在本实施例中,在成像模式进行切换的时候不仅考虑到了分辨率的变化以外,还考虑了输出图像是彩色图还是灰度图的情况,因此不仅可以保证自动对焦功能在成像模式切换时能够不中断,还可以增加自动对焦功能的准确度并减少响应时间,提高了自动对焦功能的场景适应性,提高摄像装置对于不同摄像模式的适应性,能减少用户交互,能及时、准确、高效地对焦到目标物体上,从而能输出令人满意的图像或视频。
在一个实施例中,如图7所示,揭示了一种用于对焦的装置700,该装置包括存储器701、处理器702以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述计算机程序被处理器执行时实现如实施例1-3任一实施例或实施例5所述方法的步骤。
在本实施例中,在成像模式进行切换的时候不仅考虑到了分辨率的变化以外,还考虑了输出图像是彩色图还是灰度图的情况,因此不仅可以保证自动对焦功能在成像模式切换时能够不中断,能够使得具有自动对焦功能的多个摄像装置组成的摄像组件在不同摄像装置进行切换的情况下自动对焦功能不会中断,还可以增加自动对焦功能的准确度并减少响应时间,提高了自动对焦功能的场景适应性,提高摄像装置对于不同摄像模式的适应性,能减少用户交互,能及时、准确、高效地对焦到目标物体上,从而能输出令人满意的图像或视频。
在一个实施例中,如图8所示,提供了一种计算机可读存储介质801,所述计算机可读存储介质801存储有计算机程序,所述计算机程序被第二处理器802执行时实现如实施例1-3任一实施例或实施例5所述方法的步骤。可选的,上述的计算机可读存储介质801与第二处理器802可以通过总线进行通信,组成系统800。
在本实施例中,在成像模式进行切换的时候不仅考虑到了分辨率的变化以外,还考虑了输出图像是彩色图还是灰度图的情况,因此不仅可以保证自动对焦功能在成像模式切换时能够不中断,能够使得具有自动对焦功能的多个摄像装置组成的摄像组件在不同摄像装置进行切换的情况下自动对焦功能不会中断,还可以增加自动对焦功能的准确度并减少响应时间,提高了自动对焦功能的场景适应性,提高摄像装置对于不同摄像模式的适应性,能减少用户交互,能及时、准确、高效地对焦到目标物体上,从而能输出令人满意的图像或视频。
下面结合图9对本发明实施例五进行详细阐述。本发明实施例五提供了一种用于对焦的方法,该方法包括:
步骤901,确定成像模式由第一成像模式切换为第二成像模式。
可选的,该第一成像模式可以是彩色摄像装置的成像模式、黑白摄像装置的成像模式、深度摄像装置的成像模式中的一个,该第二成像模式可以是彩色摄像装置的成像模式、黑白摄像装置的成像模式、深度摄像装置的成像模式中的一个。可选的,本发明实施例可以应用于双摄的场景。示例性的,上述的成像模式由第一成像模式切换为第二成像模式可以为成像模式由一个彩色摄像装置的成像模式切换为另一个黑白摄像装置的成像模式,或由一个彩色摄像装置的成像模式切换为另一个彩色摄像装置的成像模式。可选的,上述的成像模式由第一成像模式切换为第二成像模式也可以为:摄像装置在不同位置得到目标物体不同的成像,如第一成像模式为彩色摄像装置、黑白摄像装置、深度摄像装置中的一个或多个在第一位置的获取目标物体的成像,第二成像模式为同样的摄像装置在第二位置获取目标物体的成像。
步骤902,根据目标物体在所述第一成像模式下的摄像装置上的成像位置、以及对极几何原理估计所述目标物体在所述第二成像模式下的摄像装置上的成像位置。
步骤903,在所述第二成像模式下,根据所述估计得到的所述第二成像模式下的摄像装置上的成像位置搜索所述目标物体的成像。
具体地,步骤903中可以是在第二成像模式下的整体成像中搜索所述目标物体的像。
可选的,包括上述第一成像模式下的摄像装置以及第二成像模式的摄像装置的至少两个摄像装置可以组成一个摄像组件,需要对其进行相机标定(cameracalibration),去畸变(undistortion)、矫正等操作。之后,如已知目标物体在第一成像模式下的摄像装置的成像位置,根据对极几何(epipolargeometry)原理,可以在第二成像模式下的摄像装置上的目标物体的成像所对应的极线(epipolarline)上搜索目标物体的成像位置。具体地,所述根据目标物体在所述第一成像模式下的摄像装置上的成像位置、以及对极几何原理估计所述目标物体在所述第二成像模式下的摄像装置上的成像位置,包括:根据所述目标物体在所述第一成像模式下的摄像装置上的成像位置、所述第一成像模式下的摄像装置与第二成像模式下的摄像装置之间的基本矩阵确定第二成像模式下的目标物体成像对应的极线的位置。所述在所述第二成像模式下,根据所述估计得到的所述第二成像模式下的摄像装置上的成像位置搜索所述目标物体的成像,包括:在所述第二成像模式下的目标物体成像对应的极线上搜索所述目标物体的成像。
如图10所示,ol为第一成像模式下的摄像装置与第二成像模式下的摄像装置中位于左侧的摄像装置的光心,or为第一成像模式下的摄像装置与第二成像模式下的摄像装置中位于右侧的摄像装置的光心。需要指出的是,本发明中的左侧或右侧均是从摄像装置面向目标物体的方向下的左侧和右侧。点x为目标物体所在的位置,xl表示目标物体在上述位于左侧的摄像装置的成像的位置,xr表示目标物体在上述位于右侧的摄像装置的成像的位置,el为olor的连线与上述左侧的摄像装置的成像的交点,er为olor的连线与上述右侧的摄像装置的成像的交点,则直线xlel和xrer为极线。如果当前是由位于左侧的摄像装置成像,则已知目标物体x在上述位于左侧的摄像装置的成像的位置的成像xl,当由位于左侧的摄像装置进行成像切换到位于右侧的摄像装置进行成像,可以在极线xrer上搜索目标物体x在上述位于右侧的摄像装置的成像,或如果当前是由位于右侧的摄像装置成像,则已知目标物体x在上述位于右侧的摄像装置的成像的位置的成像xr,当由位于右侧的摄像装置进行成像切换到位于左侧的摄像装置进行成像,可以在极线xlel上搜索目标物体x在上述位于左侧的摄像装置的成像。
以当前是由位于左侧的摄像装置成像,已知目标物体x在上述位于左侧的摄像装置的成像的位置的成像xl,当由位于左侧的摄像装置进行成像切换到位于右侧的摄像装置进行成像为例进行后续说明,即上述位于左侧的摄像装置的成像模式为第一成像模式,上述位于右侧的摄像装置的成像模式为第二成像模式。
所述第一直线为第二成像模式下的摄像装置的光心与目标物体在所述第一成像模式下的摄像装置上的成像位置所在的直线。所述第二直线为与所述第一成像模式下的摄像装置的光心和目标物体在第一成像模式下的摄像装置上的成像位置所在的直线平行,且经过所述第二成像模式下的摄像装置的光心的直线。如图10所示,第一直线为直线xlor,第二直线为直线qrp。
上述在所述第二成像模式的目标物体成像对应的极线上搜索所述目标物体的成像,包括:
确定第一直线与所述第二成像模式的目标物体成像对应的极线的交点为第一搜索点,并确定第二直线与所述极线的交点为第二搜索点,并且所述第二搜索点在所述第二成像模式的整体成像上,在所述极线上且在所述第一搜索点和所述第二搜索点之间搜索所述目标物体的成像。如图10所示,第一直线为直线xlor,第二成像模式下目标物体成像对应的极线为xrer,第一搜索点为
或,上述在所述第二成像模式的目标物体成像对应的极线上搜索所述目标物体的成像,还可以包括:
当所述第二直线与所述第二成像模式的目标物体成像对应的极线的交点存在且不在所述第二成像模式的整体成像上时,确定所述第一直线与所述极线的交点为第三搜索点,并确定所述极线与第二成像模式下整体成像的边界的交点为第四搜索点,所述第四搜索点位于第二直线与所述极线的交点与所述第三搜索点之间,在所述极线上的所述第三搜索点和所述第四搜索点之间搜索所述目标物体的成像。如图10所示,直线qrp与极线xrer的交点存在但是不在第二成像模式的整体成像上,第三搜索点为
或,上述在所述第二成像模式的目标物体成像对应的极线上搜索所述目标物体的成像,还可以包括:
当所述第二直线与所述第二成像模式的目标物体成像对应的极线的交点不存在时,确定第一直线与所述极线的交点为第五搜索点,并确定所述极线与第二成像模式下整体成像的边界的两个交点分别为第六搜索点和第七搜索点,在所述极线上的所述第五搜索点和所述第六搜索点之间搜索所述目标物体的成像或在所述极线上的所述第五搜索点和所述第七搜索点之间搜索所述目标物体的成像。如图10所示,当直线qrp与极线xrer平行时,则所述第二直线与所述第二成像模式的目标物体成像对应的极线的交点不存在,第五搜索点为
进一步的,可以根据下述公式确定所述第二成像模式下的目标物体成像对应的极线的位置:
所述(ul,vl)为所述目标物体在所述第一成像模式下的摄像装置与第二成像模式下的摄像装置中位于左侧的摄像装置中的成像的坐标,所述(ur,vr)为所述目标物体在所述第一成像模式下的摄像装置与第二成像模式下的摄像装置中位于右侧的摄像装置中的成像的坐标,所述
当第一成像模式下的摄像装置与第二成像模式下的摄像装置的成像平面为同一个平面时,例如,双目平行摄像头组,可以根据目标物体在所述第一成像模式下的摄像装置上的成像位置、目标物体距离第一成像模式下的摄像装置或第二成像模式下的摄像装置的深度信息、目标物体距离第一成像模式下的摄像装置或第二成像模式下的摄像装置的焦距信息以及所述第一成像模式下的摄像装置与所述第二成像模式下的摄像装置之间的距离信息估计所述目标物体在所述第二成像模式下的摄像装置上的成像位置。
以两个摄像装置为例,在使用上述第一成像模式下的摄像装置与第二成像模式下的摄像装置之前可以对上述摄像装置进行去畸变(undistortion)和双目平行极线矫正(epipolarrectification),则两个摄像装置的坐标系原点相对于各自摄像装置的位置相同,两个摄像装置的成像的图像中心坐标在各自的坐标系下的坐标相同,记为(cx,cy),焦距也相同,记为f。如图11所示,两个摄像装置的坐标系的z轴通过各自成像的图像中心,且两个坐标系的原点相距tx。
当第一成像模式下的摄像装置与第二成像模式下的摄像装置的成像平面为同一个平面时,且当第一成像模式下的摄像装置与第二成像模式下的摄像装置水平放置时,根据下述公式将所述第一成像模式下的摄像装置和所述第二成像模式下的摄像装置中位于左侧的摄像装置的像素坐标(ul,vl)转化为(u′l,v′l),将所述第一成像模式下的摄像装置和所述第二成像模式下的摄像装置中位于右侧的摄像装置的像素坐标(ur,vr)转化为(u′r,v′r):
进行所述转化前所述第一成像模式下的摄像装置和所述第二成像模式下的摄像装置中位于左侧的摄像装置的相机矩阵为
进行所述转化后所述第一成像模式下的摄像装置的相机矩阵和所述第二成像模式下的摄像装置的相机矩阵为
如图12,点p为目标物体,当第一成像模式下的摄像装置与第二成像模式下的摄像装置的成像平面为同一个平面时,且当第一成像模式下的摄像装置与第二成像模式下的摄像装置水平放置时,这里的水平放置可以为物理放置为水平,也可以在算法上通过变换达到水平放置的效果,根据下述公式估计所述目标物体在所述第二成像模式下的摄像装置上的成像位置:
所述f为第一成像模式下的摄像装置或第二成像模式下的摄像装置的焦距,z为目标物体距离第一成像模式下的摄像装置或第二成像模式下的摄像装置的深度信息,tx为所述第一成像模式下的摄像装置与所述第二成像模式下的摄像装置之间的水平距离信息,xl为目标物体在位于左侧的摄像装置上的成像的水平方向上的坐标(图中为xl),xr为目标物体在位于右侧的摄像装置上的成像的水平方向上的坐标(图中为xr),所述目标物体在所述第一成像模式下的摄像装置上的成像和所述目标物体在所述第二成像模式下的摄像装置上的成像分别为所述目标物体在位于左侧的摄像装置上的成像和目标物体在位于右侧的摄像装置上的成像,上述的左侧和右侧是由摄像装置面向目标物体方向所得到的左侧和右侧,下同,当进行上面的相机矩阵变换后,第一成像模式下的摄像装置或第二成像模式下的摄像装置的焦距相同。或,
当第一成像模式下的摄像装置与第二成像模式下的摄像装置的成像平面为同一个平面时,且当第一成像模式下的摄像装置与第二成像模式下的摄像装置垂直放置时,这里的垂直放置可以为物理放置为垂直,也可以在算法上通过变换达到垂直放置的效果,根据下述公式估计所述目标物体在所述第二成像模式下的摄像装置上的成像位置:
所述f为第一成像模式下的摄像装置或第二成像模式下的摄像装置的焦距,z为目标物体距离第一成像模式下的摄像装置或第二成像模式下的摄像装置的深度信息,ty为所述第一成像模式下的摄像装置与所述第二成像模式下的摄像装置之间的垂直距离信息,yt为目标物体在位于上方的摄像装置上的成像的垂直方向上的坐标,yb为目标物体在位于下方的摄像装置上的成像的垂直方向上的坐标,所述目标物体在所述第一成像模式下的摄像装置上的成像和所述目标物体在所述第二成像模式下的摄像装置上的成像分别为所述目标物体在位于上方的摄像装置上的成像和目标物体在位于下方的摄像装置上的成像。
进一步的,上述方法还包括:
获取第一成像模式下所述目标物体的第一特征模板的亮度信息,对所述第一特征模板的亮度信息做亮度调整,得到第二特征模板,在所述第二成像模式下将所述第二特征模板用于对所述目标物体的成像的搜索。
所述在第二成像模式下将所述第二特征模板用于对所述目标物体的成像的搜索,包括:
增加使用所述第二特征模板中的与亮度无关的特征模板搜索所述目标物体成像的搜索结果的采信程度,或,减少使用所述第二特征模板中的与亮度相关的特征模板搜索所述目标物体成像的搜索结果的采信程度。
所述方法还包括:获取第二成像模式下目标物体成像的灰度图,根据所述灰度图对所述第一成像模式下所述目标物体的第一特征模板做亮度调整,使用所述经过亮度调整的第一特征模板搜索所述目标物体的成像,将所述第二成像模式下获取到的所述目标物体成像的颜色特征加入到所述经过亮度调整的第一特征模板中,将所述加入颜色特征的经过亮度调整的第一特征模板用于对所述目标物体的成像的搜索。
上述的关于亮度调整、以及特征模板相关的方法可以参见实施例二中的相关描述。
根据上面描述的方法,能够使得具有自动对焦功能的多个摄像装置组成的摄像组件在不同摄像装置进行切换的情况下自动对焦功能不会中断,能够持续对目标成像进行对焦,并且即使在目标物体相对于摄像装置运动的情况下也能够保持对目标的连贯跟踪对焦,能提高摄像装置对于不同摄像模式的适应性,能减少用户交互,能及时、准确、高效地对焦到目标物体上,从而能输出令人满意的图像或视频。
下面结合图13对本发明实施例六进行详细阐述。本发明实施例提供一种用于对焦的装置1300,所述装置包括:
第二确定模块1301,用于确定成像模式由第一成像模式切换为第二成像模式;
可选的,该第一成像模式可以是彩色摄像装置的成像模式、黑白摄像装置的成像模式、深度摄像装置的成像模式中的一个,该第二成像模式可以是彩色摄像装置的成像模式、黑白摄像装置的成像模式、深度摄像装置的成像模式中的一个。可选的,本发明实施例可以应用于双摄的场景。示例性的,上述的成像模式由第一成像模式切换为第二成像模式可以为成像模式由一个彩色摄像装置的成像模式切换为另一个黑白摄像装置的成像模式,或由一个彩色摄像装置的成像模式切换为另一个彩色摄像装置的成像模式。可选的,上述的成像模式由第一成像模式切换为第二成像模式也可以为:摄像装置在不同位置得到目标物体不同的成像,如第一成像模式为彩色摄像装置、黑白摄像装置、深度摄像装置中的一个或多个在第一位置的获取目标物体的成像,第二成像模式为同样的摄像装置在第二位置获取目标物体的成像。
第二成像位置估计模块1302,用于根据目标物体在所述第一成像模式下的摄像装置上的成像位置、以及对极几何原理估计所述目标物体在所述第二成像模式下的摄像装置上的成像位置;
第二搜索模块1303,用于在所述第二成像模式下,根据所述估计得到的所述第二成像模式下的摄像装置上的成像位置搜索所述目标物体的成像。
具体地,第二搜索模块1303可以是在第二成像模式下的整体成像中搜索所述目标物体的像。
可选的,包括上述第一成像模式下的摄像装置以及第二成像模式的摄像装置的至少两个摄像装置可以组成一个摄像组件,需要对其进行相机标定(cameracalibration),去畸变(undistortion)、矫正等操作。之后,如已知目标物体在第一成像模式下的摄像装置的成像位置,根据对极几何(epipolargeometry)原理,可以在第二成像模式下的摄像装置上的目标物体的成像所对应的极线(epipolarline)上搜索目标物体的成像位置。具体地,
所述第二成像位置估计模块1302,具体用于根据所述目标物体在所述第一成像模式下的摄像装置上的成像位置、所述第一成像模式下的摄像装置与第二成像模式下的摄像装置之间的基本矩阵确定第二成像模式下的目标物体成像对应的极线的位置,所述第二搜索模块1303,具体用于在所述第二成像模式下的目标物体成像对应的极线上搜索所述目标物体的成像。
如图10所示,ol为第一成像模式下的摄像装置与第二成像模式下的摄像装置中位于左侧的摄像装置的光心,or为第一成像模式下的摄像装置与第二成像模式下的摄像装置中位于右侧的摄像装置的光心。需要指出的是,本发明中的左侧或右侧均是从摄像装置面向目标物体的方向下的左侧和右侧。点x为目标物体所在的位置,xl表示目标物体在上述位于左侧的摄像装置的成像的位置,xr表示目标物体在上述位于右侧的摄像装置的成像的位置,el为olor的连线与上述左侧的摄像装置的成像的交点,er为olor的连线与上述右侧的摄像装置的成像的交点,则直线xlel和xrer为极线。如果当前是由位于左侧的摄像装置成像,则已知目标物体x在上述位于左侧的摄像装置的成像的位置的成像xl,当由位于左侧的摄像装置进行成像切换到位于右侧的摄像装置进行成像,可以在极线xrer上搜索目标物体x在上述位于右侧的摄像装置的成像,或如果当前是由位于右侧的摄像装置成像,则已知目标物体x在上述位于右侧的摄像装置的成像的位置的成像xr,当由位于右侧的摄像装置进行成像切换到位于左侧的摄像装置进行成像,可以在极线xlel上搜索目标物体x在上述位于左侧的摄像装置的成像。
以当前是由位于左侧的摄像装置成像,已知目标物体x在上述位于左侧的摄像装置的成像的位置的成像xl,当由位于左侧的摄像装置进行成像切换到位于右侧的摄像装置进行成像为例进行后续说明,即上述位于左侧的摄像装置的成像模式为第一成像模式,上述位于右侧的摄像装置的成像模式为第二成像模式。
所述第一直线为第二成像模式下的摄像装置的光心与目标物体在所述第一成像模式下的摄像装置上的成像位置所在的直线。所述第二直线为与所述第一成像模式下的摄像装置的光心和目标物体在第一成像模式下的摄像装置上的成像位置所在的直线平行,且经过所述第二成像模式下的摄像装置的光心的直线。如图10所示,第一直线为直线xlor,第二直线为直线qrp。
所述第二搜索模块1303,具体用于确定第一直线与所述极线的交点为第一搜索点,并确定第二直线与所述极线的交点为第二搜索点,并且所述第二搜索点在所述第二成像模式的整体成像上,在所述极线上且在所述第一搜索点和所述第二搜索点之间搜索所述目标物体的成像如图10所示,第一直线为直线xlor,第二成像模式下目标物体成像对应的极线为xrer,第一搜索点为
当所述第二直线与所述极线的交点存在且不在所述第二成像模式的整体成像上时,确定所述第一直线与所述极线的交点为第三搜索点,并确定所述极线与第二成像模式下整体成像的边界的交点为第四搜索点,所述第四搜索点位于第二直线与所述极线的交点与所述第三搜索点之间,在所述极线上的所述第三搜索点和所述第四搜索点之间搜索所述目标物体的成像。如图10所示,直线qrp与极线xrer的交点存在但是不在第二成像模式的整体成像上,第三搜索点为
当所述第二直线与所述极线的交点不存在时,确定第一直线与所述极线的交点为第五搜索点,并确定所述极线与第二成像模式下整体成像的边界的两个交点分别为第六搜索点和第七搜索点,在所述极线上的所述第五搜索点和所述第六搜索点之间搜索所述目标物体的成像或在所述极线上的所述第五搜索点和所述第七搜索点之间搜索所述目标物体的成像。如图10所示,当直线qrp与极线xrer平行时,则所述第二直线与所述第二成像模式的目标物体成像对应的极线的交点不存在,第五搜索点为
所述第二成像位置估计模块1302,具体用于根据下述公式确定所述第二成像模式下的目标物体成像对应的极线的位置:
所述(ul,vl)为所述目标物体在所述第一成像模式下的摄像装置与第二成像模式下的摄像装置中位于左侧的摄像装置中的成像的坐标,所述(ur,vr)为所述目标物体在所述第一成像模式下的摄像装置与第二成像模式下的摄像装置中位于右侧的摄像装置中的成像的坐标,所述
所述第二成像位置估计模块1302,具体用于当第一成像模式下的摄像装置与第二成像模式下的摄像装置的成像平面为同一个平面时,根据目标物体在所述第一成像模式下的摄像装置上的成像位置、目标物体距离第一成像模式下的摄像装置或第二成像模式下的摄像装置的深度信息、目标物体距离第一成像模式下的摄像装置或第二成像模式下的摄像装置的焦距信息以及所述第一成像模式下的摄像装置与所述第二成像模式下的摄像装置之间的距离信息估计所述目标物体在所述第二成像模式下的摄像装置上的成像位置。例如,第一成像模式下的摄像装置与第二成像模式下的摄像装置组成双目平行摄像头组。
以两个摄像装置为例,在使用上述第一成像模式下的摄像装置与第二成像模式下的摄像装置之前可以对上述摄像装置进行去畸变(undistortion)和双目平行极线矫正(epipolarrectification),则两个摄像装置的坐标系原点相对于各自摄像装置的位置相同,两个摄像装置的成像的图像中心坐标在各自的坐标系下的坐标相同,记为(cx,cy),焦距也相同,记为f。如图11所示,两个摄像装置的坐标系的z轴通过各自成像的图像中心,且两个坐标系的原点相距tx。
所述装置还包括转化模块,所述转化模块,用于当第一成像模式下的摄像装置与第二成像模式下的摄像装置的成像平面为同一个平面时,且当第一成像模式下的摄像装置与第二成像模式下的摄像装置水平放置时,根据下述公式将所述第一成像模式下的摄像装置和所述第二成像模式下的摄像装置中位于左侧的摄像装置的像素坐标(ul,vl)转化为(u′l,v′l),将所述第一成像模式下的摄像装置和所述第二成像模式下的摄像装置中位于右侧的摄像装置的像素坐标(ur,vr)转化为(u′r,v′r):
进行所述转化前所述第一成像模式下的摄像装置和所述第二成像模式下的摄像装置中位于左侧的摄像装置的相机矩阵为
进行所述转化后所述第一成像模式下的摄像装置的相机矩阵和所述第二成像模式下的摄像装置的相机矩阵为
如图12,点p为目标物体,所述第二成像位置估计模块1302,具体用于当第一成像模式下的摄像装置与第二成像模式下的摄像装置的成像平面为同一个平面时,且当第一成像模式下的摄像装置与第二成像模式下的摄像装置水平放置时,根据下述公式估计所述目标物体在所述第二成像模式下的摄像装置上的成像位置:
所述f为第一成像模式下的摄像装置或第二成像模式下的摄像装置的焦距,z为目标物体距离第一成像模式下的摄像装置或第二成像模式下的摄像装置的深度信息,tx为所述第一成像模式下的摄像装置与所述第二成像模式下的摄像装置之间的水平距离信息,xl为目标物体在位于左侧的摄像装置上的成像的水平方向上的坐标(图中为xl),xr为目标物体在位于右侧的摄像装置上的成像的水平方向上的坐标(图中为xr),所述目标物体在所述第一成像模式下的摄像装置上的成像和所述目标物体在所述第二成像模式下的摄像装置上的成像分别为所述目标物体在位于左侧的摄像装置上的成像和目标物体在位于右侧的摄像装置上的成像。上述的左侧和右侧是由摄像装置面向目标物体方向所得到的左侧和右侧,下同,当进行上面的相机矩阵变换后,第一成像模式下的摄像装置或第二成像模式下的摄像装置的焦距相同;或,
当第一成像模式下的摄像装置与第二成像模式下的摄像装置的成像平面为同一个平面时,且当第一成像模式下的摄像装置与第二成像模式下的摄像装置垂直放置时,根据下述公式估计所述目标物体在所述第二成像模式下的摄像装置上的成像位置:
所述f为第一成像模式下的摄像装置或第二成像模式下的摄像装置的焦距,z为目标物体距离第一成像模式下的摄像装置或第二成像模式下的摄像装置的深度信息,ty为所述第一成像模式下的摄像装置与所述第二成像模式下的摄像装置之间的垂直距离信息,yt为目标物体在位于上方的摄像装置上的成像的垂直方向上的坐标,yb为目标物体在位于下方的摄像装置上的成像的垂直方向上的坐标,所述目标物体在所述第一成像模式下的摄像装置上的成像和所述目标物体在所述第二成像模式下的摄像装置上的成像分别为所述目标物体在位于上方的摄像装置上的成像和目标物体在位于下方的摄像装置上的成像。
所述装置还包括第二获取模块以及第二亮度调整模块,所述第二获取模块,用于获取第一成像模式下所述目标物体的第一特征模板的亮度信息,所述第二亮度调整模块,用于对所述第一特征模板的亮度信息做亮度调整,得到第二特征模板,所述第二搜索模块1303,还用于在所述第二成像模式下将所述第二特征模板用于对所述目标物体的成像的搜索。
所述第二搜索模块1303,还用于增加使用所述第二特征模板中的与亮度无关的特征模板搜索所述目标物体成像的搜索结果的采信程度,或,减少使用所述第二特征模板中的与亮度相关的特征模板搜索所述目标物体成像的搜索结果的采信程度。
所述装置还包括第二彩色成像处理模块,以及第二颜色特征添加模块,所述第二彩色成像处理模块,用于获取第二成像模式下目标物体成像的灰度图,根据所述灰度图对所述第一成像模式下所述目标物体的第一特征模板做亮度调整。所述第二颜色特征添加模块,用于使用所述经过亮度调整的第一特征模板搜索所述目标物体的成像,将所述第二成像模式下获取到的所述目标物体成像的颜色特征加入到所述经过亮度调整的第一特征模板中,所述第二搜索模块,还用于将所述加入颜色特征的经过亮度调整的第一特征模板用于对所述目标物体的成像的搜索。
上述的关于亮度调整、以及特征模板相关的方法可以参见实施例四中的相关描述。
根据上面描述的装置,能够使得具有自动对焦功能的多个摄像装置组成的摄像组件在不同摄像装置进行切换的情况下自动对焦功能不会中断,能够持续对目标成像进行对焦,并且即使在目标物体相对于摄像装置运动的情况下也能够保持对目标的连贯跟踪对焦,能提高摄像装置对于不同摄像模式的适应性,能减少用户交互,能及时、准确、高效地对焦到目标物体上,从而能输出令人满意的图像或视频。
示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器中,并由所述处理器执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述装置/终端设备中的执行过程。
所述装置/终端设备可以是手机、平板电脑、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述装置/终端设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,本发明的示意图仅仅是装置/终端设备的示例,并不构成对装置/终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述装置/终端设备还可以包括输入输出设备、网络接入设备、总线等。
上述处理器可以是中央处理单元(centralprocessingunit,cpu),还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现成可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述装置/终端设备的控制中心,利用各种接口和线路连接整个装置/终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述装置/终端设备的各种功能。所述存储器可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如视频数据、图像等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(smartmediacard,smc),安全数字(securedigital,sd)卡,闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。
上述各个实施例中的目标物体的成像可以目标物体的局部成像,也可以整体成像。无论是局部成像,或整体成像都适用或对局部成像,或整体成像相应做出调整后适用本发明提供的方法或装置,上述调整本领域普通技术人员不需要付出创造性劳动,应属于本发明的保护范围。