一种手机拍摄对焦方法
【专利摘要】一种手机拍摄对焦方法，执行在具有前置摄像头和后置摄像头的智能手机中，在后置摄像头进行拍摄的过程中，包括以下步骤：步骤一，通过前置摄像头采集手机持有者在观看显示屏中视觉焦点时，瞳孔中心在前置摄像头参照系中的位置坐标；步骤二，中央处理器将瞳孔中心位置坐标转换为后置摄像头参照系中视觉焦点的位置坐标；步骤三，中央处理器根据视觉焦点位置坐标的变化向后置摄像头发出相应的变焦控制信号，改变后置摄像头的对焦位置；重复步骤一至步骤三。使智能手机的对焦成像质量大幅提高。同时避免了手动对焦对快门响应的振动影响。
【专利说明】一种手机拍摄对焦方法
【技术领域】
[0001]本发明涉及一种摄影设备对焦方法，特别是涉及一种利用生理特征的摄影设备对焦方法。
【背景技术】
[0002]现在智能手机使用越来越广泛，包含的各个功能都越来越趋向于智能化。可以预见智能化的操作将在手机上越来越受到关注。
[0003]相机和手机的结合已经很普遍了，并在过去的一段时间中对其进行了越来越多的优化。但是相对的智能化功能仍然有限，不能满足用户的需求。对于具有前向镜头和后向镜头的手机来说硬件设备的用途并没有有效开发，局限于有限软件的通常调用，设备多处于闲置状态。
[0004]在利用智能手机进行照相时，自动对焦技术实现复杂，在响应速度等方面往往不理想，需要用手指对屏幕取景图像进行人工对焦，这往往导致无法持续对焦，因失焦造成拍摄效果变差。
[0005]如图1所示，智能手机通常在外壳01的前端面上安装有显示屏03，显示屏正面贴合有触摸屏02，在触摸屏02上方的壳体01上内嵌有前置摄像头05，在壳体OI后端面的上部内嵌有后置摄像头04，前置摄像头05多用于视频通话和自拍，后置摄像头04多用于照相和摄像。智能手机的操作系统通常内置于内存08中，内置的中央处理器07调用内存08中的处理模块，建立对系统板上的外围电路和专用芯片的控制模型，对输入的数据、信号流进行处理，形成相应的结果数据流和控制信号流，控制相应装置响应。通常中央处理器07以视频方式在显示屏03上显示各功能区域，通过触摸屏02反馈的功能区域坐标，加载相应的处理模块。利用现有硬件架构，存在利用两个摄像头完成拍摄过程的持续变焦控制，同时避免双手用力互相干扰的可能。
【发明内容】
[0006]本发明的目的是提供一种手机拍摄对焦方法，解决无法在无干扰条件下进行连续对焦的技术问题。
[0007]本发明的手机拍摄对焦方法，执行在具有前置摄像头和后置摄像头的智能手机中，在后置摄像头进行拍摄的过程中，包括以下步骤:
[0008]步骤一，通过前置摄像头采集手机持有者在观看显示屏中视觉焦点时，瞳孔中心在前置摄像头参照系中的位置坐标；
[0009]步骤二，中央处理器将瞳孔中心位置坐标转换为后置摄像头参照系中视觉焦点的位置坐标；
[0010]步骤三，中央处理器根据视觉焦点位置坐标的变化向后置摄像头发出相应的变焦控制信号，改变后置摄像头的对焦位置；
[0011]重复步骤一至步骤三。[0012]所述步骤一中，包括以下步骤:
[0013]步骤a、中央处理器建立显示屏、前置摄像头和后置摄像头的参照系，并形成映射关系1吴型；
[0014]步骤b、中央处理器利用智能手机上的标记装置建立显示屏参照系与前置摄像头参照系坐标转换的基准；
[0015]步骤C、前置摄像头采集眼球图像，中央处理器确定前置摄像头参照系中标记装置的位置坐标，确定瞳孔及瞳孔中心的位置坐标。
[0016]所述步骤二中，包括以下步骤:
[0017]步骤d、中央处理器确定前置摄像头参照系中，瞳孔中心与标记装置的矢量位置关系;
[0018]步骤e、中央处理器通过映射关系模型将矢量位置关系转换为后置摄像头参照系中相应的视觉焦点的坐标位置。
[0019]所述标记装置06是显示屏边缘的LED光源或是前置摄像头上的发光环，或者是相应位置的反光装置；或者是显示屏上端中央、两端的显示屏像素组成的特定发光或闪烁图案。
[0020]所述步骤二中的步骤b中包括以下步骤:
[0021]SllO，中央处理器启动显示屏上部一端的第二标记装置产生局部亮度差别，作为第二光斑，根据显示屏参照系确定第二光斑坐标位置；
[0022]S120，中央处理器启动显示屏上部另一端的第三标记装置产生局部亮度差别，作为第三光斑，根据显示屏参照系确定第三光斑坐标位置；
[0023]sl30,中央处理器启动显示屏上端的第一标记装置产生局部亮度差别，中央处理器根据物理结构中前置摄像头与显示屏的相对位置参数，修正局部亮度在显示屏参照系中的坐标位置，以前置摄像头在显示屏参照系中的坐标位置作为第一光斑坐标位置。
[0024]所述步骤二中的步骤c中包括以下步骤:
[0025]sl50,中央处理器从面部画面中提取在前置摄像头参照系中的眼球坐标区域；
[0026]S160，中央处理器从眼球坐标区域中确定第一光斑、第二光斑和第三光斑的前置摄像头参照系的坐标区域；
[0027]sl80,中央处理器从眼球坐标区域中提取瞳孔坐标区域；
[0028]sl90,中央处理器从瞳孔坐标区域中提取瞳孔中心坐标。
[0029]所述步骤三中的步骤d中包括以下步骤:
[0030]sl70,中央处理器确定第一光斑中心的投影坐标，即前置摄像头参照系中第一光斑中心在第二光斑区域中心和第三光斑区域中心的连线上的投影坐标；
[0031]S200，中央处理器根据投影坐标和瞳孔中心坐标形成在前置摄像头参照系中的视线矢量，用来反映显示屏参照系中相应的视觉焦点位置坐标。
[0032]所述步骤三中的步骤e中包括以下步骤:
[0033]中央处理器将显示屏参照系中相应的视线关注位置坐标转换为后置摄像头参照系中相应的视觉焦点位置坐标。
[0034]所述步骤三中的步骤e中包括以下步骤:
[0035]S210，中央处理器以前置摄像头参照系中第二光斑中心和第三光斑中心间距变化作为第一修正参数，消除前置摄像头与眼球间前后距离抖动对视线矢量的干扰；
[0036]S220，中央处理器以前置摄像头参照系中第二光斑中心与投影坐标的间距长度、和第三光斑中心与投影坐标的间距长度的比例变化作为第二修正参数，消除前置摄像头与眼球间水平位置抖动对视线矢量的干扰。
[0037]本发明的视线追踪对焦方法，使得手机在进行拍照或摄像时，根据使用者的视线进行对焦，首先是避免了采用自动对焦模式连续对焦时对焦速度缓慢，对焦质量受手机软硬件优化水平限制。其次通过视线追踪取景画面中快速移动的物体，可以实现高级单反镜头手动对焦环的功能，使智能手机的对焦成像质量大幅提高。同时避免了手动对焦对快门响应的振动影响。
[0038]下面结合附图对本发明的实施例作进一步说明。
【专利附图】
【附图说明】
[0039]图1为智能手机用于拍摄的主要硬件结构剖视示意图；
[0040]图2为本发明手机拍摄对焦方法中手机与眼球相对位置关系示意图；
[0041]图3为本发明手机拍摄对焦方法中在前置摄像头中眼球上光线与瞳孔位置关系示意图；
[0042]图4为本发明手机拍摄对焦方法的连续对焦流程示意图。
【具体实施方式】
[0043]如图1所示，本实施例利用现有硬件结构，在后置摄像头04进行拍摄的过程中，通过前置摄像头05持续采集手机持有者在观看显示屏中视觉焦点时，瞳孔中心在前置摄像头参照系中的位置坐标，中央处理器07将瞳孔中心位置坐标转换为后置摄像头04参照系中视觉焦点的位置坐标，中央处理器07根据视觉焦点位置坐标的变化向后置摄像头04发出相应的变焦控制信号，持续改变后置摄像头04的对焦位置。
[0044]手机的物理结构必然确定了显示屏03、前置摄像头05和后置摄像头04的相对位置关系，进而使显示屏参照系、前置摄像头参照系和后置摄像头参照系具有固定的坐标转换和映射模型。
[0045]通过在显示屏03的四周固定位置设置发光点或反光点作为标记装置06，可以在显示屏参照系中建立参照基点，并通过光线反射到眼球上，作为前置摄像头05摄取图像后，前置摄像头参照系与显示屏参照系的坐标转换的基准数据。
[0046]标记装置06可以是显示屏03边缘的LED光源或是前置摄像头05上的发光环。也可以是相应位置的反光装置。还可以是显示屏03上端中央、两端的显示屏像素的特定发光(或闪烁)图案。利用显示屏参照系可以将前置摄像头05与特定发光图案的坐标进行映射，使得前置摄像头05的坐标可以成为标记装置06。
[0047]如图2所示，在前置摄像头05获取手机持有者面部图像的过程中，中央处理器07利用操作系统中的图像处理模块中的诸如明暗图像差法，可克服图像中的色差干扰，快速搜索到在前置摄像头05采集的图像中眼球的坐标区域。
[0048]眼球的虹膜覆盖在瞳孔上，瞳孔的灰度值最小，虹膜的灰度值次之，在虹膜和瞳孔之间交界处存在着一定的灰度突变即边缘强度，当在某一点处的边缘强度达到最大值时，该点就一定是边界点。
[0049]根据虹膜图像的灰度分布特点，取灰度值最小的一点Pc (Xe, Yc)，该点必然位于瞳孔内，以点Pc作为搜索瞳孔边界的起始点，在不同方向上做一维扫描，结合眼球图像中像素点灰度值、梯度值及边界曲线平滑特性，经公式I计算可以确定边缘点位置r (Xr，Yr)即边缘强度达到最大值的边缘点的坐标:
[0050]f (r) =k0G (r) -1i1 (I (r) -1p) _k2 Cr-1v1)公式 I
[0051]f为判据函数，I (r)为搜索点灰度值，Ip为瞳孔阀值，G(r)为搜索点梯度值由一维梯度算子[-101]计算得到，IV1为相邻搜索线上得到的边界点半径，Hk2为由试验确定的权重参数。
[0052]如图3所示，经前置摄像头05的光学系统处理后在前置摄像头参照系中瞳孔呈像为平面椭圆，通过对提取的边缘点利用公式2进行椭圆最小拟合连接:即可确定瞳孔的中心位置P (Xp，Yp)。
[0053]x2+Axy+By2+Cx+Dy+E=0公式 2
[0054]形成椭圆边界。
[0055]选取5个方向上离散的边缘点坐标，作为参数A、B、C、D和E，利用公式3:
[0056]X0= (2BC-AD) / (A2_4B)，y0= (2D-AD) / (A2_4B)公式 3
[0057]确定椭圆中心，即瞳孔中心。
[0058]在理想拍摄条件下前置摄像头05与眼球的间距不存在前后或水平的抖动，眼球近似为球体。当眼球转动注视显示屏03上不同图像位置时，在前置摄像头参照系中，各光斑相对位置坐标不变化，瞳孔中心的位置坐标相对各光斑随眼球转动发生偏移。也就是通过测量瞳孔中心相对各光斑的偏移变化量，可以完成对视线关注点的测量。
[0059]如图3所示，前置摄像头参照系中，利用第一光斑在第二光斑和第三光斑连线上的投影坐标点O和瞳孔中心点P间的位置矢量OP进行相应的测量。用(Xp，Yp)表示瞳孔中心的图像坐标,用(Xg, Yg)图3中O点,表示光斑参考位置的图像坐标。投影坐标点O和瞳孔中心点P间的位置相对偏移量OP为:
[0060]dx=xp-xg, dy=yp-yg公式 4
[0061]用(Xs，Ys)表示眼睛视觉注视焦点的屏幕坐标。通过多项式建立映射关系:
[0062]f: (dx，dy) — (XS，YS)
[0063]Xs=a0+al (dx) +a2 (dy) +a3 (dx) (dy) +a4 (dx) 2+a5 (dy)2公式 5
[0064]Ys=b0+bl (dx) +b2 (dy) +b3 (dx) (dy) +b4 (dx) 2+b5 (dy)2公式 6
[0065]通过上述计算结果可以实现对视线关注焦点的准确定位，最后手机根据得出的视觉注视焦点的位置坐标对对焦机构发出命令，达到对焦目的。
`[0066]在不理想拍摄条件下前置摄像头05与眼球的间距存在前后或水平的抖动，利用在前置摄像头参照系中各光斑相对位置坐标不变化的客观因素进行消除。
[0067]如图3所示，前置摄像头参照系中，利用第一光斑在第二光斑和第三光斑连线上的投影坐标点O和第二光斑、第三光斑，当头前后移动，以第二光斑和第三光斑中心间距的变化作为一个修正参数，消除前置摄像头与眼球间前后距离抖动对视线矢量的干扰。当头水平移动，以第二光斑与投影坐标，和第三光斑与投影坐标的比值变化作为另一个修正参数，消除前置摄像头与眼球间水平位置抖动对视线矢量的干扰。[0068]进一步在克服间距抖动的基础上，前置摄像头参照系中，还可以利用各光斑的灰度值作为修正值，作为中央处理器07调整前置摄像头05镜头光圈的控制参考量值，用于提高摄像头的光通量，提高前置摄像头参照系中采集图像的清晰度。
[0069]如图4所示，在实际应用中，当手机启动拍摄进程后，进行持续变焦主要通过以下步骤:
[0070]s 100，中央处理器07分别建立显示屏03、前置摄像头05和后置摄像头04的参照系，并形成映射关系模型；
[0071]SllO，中央处理器07启动显示屏03上部一端的第二标记装置产生局部亮度差别，作为第二光斑，根据显示屏03参照系确定第二光斑坐标位置；
[0072]sl20,中央处理器07启动显示屏03上部另一端的第三标记装置产生局部亮度差另IJ，作为第三光斑，根据显示屏03参照系确定第三光斑坐标位置；
[0073]sl30，中央处理器07启动显示屏03上端的第一标记装置产生局部亮度差别，中央处理器07根据物理结构中前置摄像头05与显示屏03的相对位置参数，修正局部亮度在显示屏03参照系中的坐标位置，以前置摄像头05在显示屏03参照系中的坐标位置作为第一光斑坐标位置；
[0074]sl40,中央处理器07启动后直摄像机04米集待拍摄趣面并显不在显不屏03上，中央处理器07启动前置摄像机05采集手机持有者面部画面；
[0075]sl50,中央处理器07从面部画面中提取在前置摄像头05参照系中的眼球坐标区域；
[0076]sl60,中央处理器07从眼球坐标区域中确定第一光斑、第二光斑和第三光斑的前置摄像头参照系的坐标区域；
[0077]sl70,中央处理器07确定第一光斑中心的投影坐标，即前置摄像头参照系中第一光斑中心在第二光斑区域中心和第三光斑区域中心的连线上的投影坐标；
[0078]sl80,中央处理器07从眼球坐标区域中提取瞳孔坐标区域；
[0079]sl90,中央处理器07从瞳孔坐标区域中提取瞳孔中心坐标；
[0080]s200,中央处理器07根据投影坐标和瞳孔中心坐标形成在前置摄像头参照系中的视线矢量，用来反映显示屏参照系中相应的视觉焦点位置坐标；
[0081]s210,中央处理器07以前置摄像头参照系中第二光斑中心和第三光斑中心间距变化作为第一修正参数，消除前置摄像头与眼球间前后距离抖动对视线矢量的干扰；
[0082]s220，中央处理器07以前置摄像头参照系中第二光斑中心与投影坐标的间距长度、和第三光斑中心与投影坐标的间距长度的比例变化作为第二修正参数，消除前置摄像头与眼球间水平位置抖动对视线矢量的干扰；
[0083]s230,中央处理器07将显示屏参照系中相应的视线关注位置坐标转换为后置摄像头参照系中相应的视觉焦点位置坐标，并将该景物位置坐标转换为控制后置摄像头变焦装置的相应对焦控制信号；之后返回步骤sl50。
[0084]持续以上对焦过程，直至拍摄者通过触摸屏02反馈停止持续对焦的控制数据，中央处理器07发出相应的终止或中止控制指令。
[0085]以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
【权利要求】
1.一种手机拍摄对焦方法，执行在具有前置摄像头和后置摄像头的智能手机中，其特征在于:在后置摄像头进行拍摄的过程中，包括以下步骤: 步骤一，通过前置摄像头采集手机持有者在观看显示屏中视觉焦点时，瞳孔中心在前置摄像头参照系中的位置坐标； 步骤二，中央处理器将瞳孔中心位置坐标转换为后置摄像头参照系中视觉焦点的位置坐标； 步骤三，中央处理器根据视觉焦点位置坐标的变化向后置摄像头发出相应的变焦控制信号，改变后置摄像头的对焦位置； 重复步骤一至步骤三。
2.根据权利要求1所述的手机拍摄对焦方法，其特征在于:所述步骤一中，包括以下步骤: 步骤a、中央处理器(07)建立显示屏(03)、前置摄像头(05)和后置摄像头(04)的参照系，并形成映射关系模型 ； 步骤b、中央处理器(07)利用智能手机上的标记装置建立显示屏参照系与前置摄像头参照系坐标转换的基准； 步骤C、前置摄像头(05)采集眼球图像，中央处理器(07)确定前置摄像头参照系中标记装置的位置坐标，确定瞳孔及瞳孔中心的位置坐标。
3.根据权利要求2所述的手机拍摄对焦方法，其特征在于:所述步骤二中，包括以下步骤: 步骤d、中央处理器(07)确定前置摄像头参照系中，瞳孔中心与标记装置的矢量位置关系; 步骤e、中央处理器(07)通过映射关系模型将矢量位置关系转换为后置摄像头(04)参照系中相应的视觉焦点的坐标位置。
4.根据权利要求3所述的手机拍摄对焦方法，其特征在于:所述标记装置(06)是显示屏(03)边缘的LED光源或是前置摄像头(05)上的发光环，或者是相应位置的反光装置；或者是显示屏(03)上端中央、两端的显示屏像素组成的特定发光或闪烁图案。
5.根据权利要求3所述的手机拍摄对焦方法，其特征在于:所述步骤二中的步骤b中包括以下步骤: SllO，中央处理器(07)启动显示屏(03)上部一端的第二标记装置产生局部亮度差别，作为第二光斑，根据显示屏(03)参照系确定第二光斑坐标位置； sl20，中央处理器(07)启动显示屏(03)上部另一端的第三标记装置产生局部亮度差另O，作为第三光斑，根据显示屏(03)参照系确定第三光斑坐标位置； sl30，中央处理器(07)启动显示屏(03)上端的第一标记装置产生局部亮度差别，中央处理器(07)根据物理结构中前置摄像头(05)与显示屏(03)的相对位置参数，修正局部亮度在显示屏(03)参照系中的坐标位置，以前置摄像头(05)在显示屏(03)参照系中的坐标位置作为第一光斑坐标位置。
6.根据权利要求5所述的手机拍摄对焦方法，其特征在于:所述步骤二中的步骤c中包括以下步骤: sl50，中央处理器(07)从面部画面中提取在前置摄像头(05)参照系中的眼球坐标区域； sl60，中央处理器(07)从眼球坐标区域中确定第一光斑、第二光斑和第三光斑的前置摄像头参照系的坐标区域； sl80，中央处理器(07)从眼球坐标区域中提取瞳孔坐标区域； sl90，中央处理器(07)从瞳孔坐标区域中提取瞳孔中心坐标。
7.根据权利要求6所述的手机拍摄对焦方法，其特征在于:所述步骤三中的步骤d中包括以下步骤: sl70，中央处理器(07)确定第一光斑中心的投影坐标，即前置摄像头参照系中第一光斑中心在第二光斑区域中心和第三光斑区域中心的连线上的投影坐标； s200，中央处理器(07)根据投影坐标和瞳孔中心坐标形成在前置摄像头参照系中的视线矢量，用来反映显示屏参照系中相应的视觉焦点位置坐标。
8.根据权利要求7所述的手机拍摄对焦方法，其特征在于:所述步骤三中的步骤e中包括以下步骤: 中央处理器(07)将显示屏参照系中相应的视线关注位置坐标转换为后置摄像头参照系中相应的视觉焦点位置坐标。
9.根据权利要求8所述的手机拍摄对焦方法，其特征在于:所述步骤三中的步骤e中包括以下步骤: s210，中央处理器(07)以前置摄像头参照系中第二光斑中心和第三光斑中心间距变化作为第一修正参数，消除前置摄像头与眼球间前后距离抖动对视线矢量的干扰； s220，中央处理器(07)以前置摄像头参照系中第二光斑中心与投影坐标的间距长度、和第三光斑中心与投影坐标的间距长度的比例变化作为第二修正参数，消除前置摄像头与眼球间水平位置抖动对视线 矢量的干扰。
【文档编号】G02B7/28GK103747183SQ201410018564
【公开日】2014年4月23日 申请日期:2014年1月15日 优先权日:2014年1月15日
【发明者】黄河东 申请人:北京百纳威尔科技有限公司