一种主视眼的矫正方法及移动终端与流程

本发明涉及移动终端技术领域，尤其涉及一种主视眼的矫正方法及移动终端。

背景技术：

随着终端设备技术的迅速发展，用户可以很方便的使用终端设备进行阅读、观看视频等，并且很多用户在使用移动终端时的不良姿势会间接的影响视力，造成用眼不平衡，比如用户右侧卧使用手机时，右眼垂直于移动终端显示屏，而左眼会与移动终端屏幕形成一个角度，长期如此，会造成用户双眼视力不协调，在上述例子中，右眼会被当作主视眼或者优势眼，而左眼会被当作副视眼。不仅如此，在日常生活中，人们用眼也往往偏向于使用单侧的眼睛，这也与人类的大脑习惯性利用一侧眼睛来成像来定位和分析有关，所以作为主视眼的眼睛往往视力优于副视眼，而副视眼往往会发育不良，不仅导致了双眼的发育不平衡，长此以往还会影响面部肌肉的发育，造成双眼外观及周围的面部肌肉也存在明显差异，所以在人眼发育的过程中往往需要人们去检测是否存在双眼用眼不协调的情况，并加以矫正。

目前，检测区分主视眼的方法，主要是通过用户自己识别，例如用户选择一个视觉目标，可以是一小杯水或者一支笔，然后双手交叉虎口成三角形，透过这个三角形可以看到事前选择好的目标物体。分别遮住一只眼睛，单眼透过这个三角形区域，看能不能看到这个目标物体，如果能看到的话，这只眼睛就是主视眼，否则为副视眼。或者，用户平伸任意一个手的手臂并竖起一指，两眼通过此手指看两米以外的物体(就像瞄准一样，只不过是用两只眼睛)，然后闭上一只眼睛，如果用户感到竖起的手指的位置发生了变化，这个眼睛就是副视眼，否则就是主视眼。通过上述例子可以看到，主副视眼的检测主要靠用户自己判断，往往不够准确。

除此之外，矫正主副视眼的方法主要有遮蔽法，即使用物体将主视眼遮住，强迫人体使用副眼。这样，副视眼被迫承担起了主人翁的责任，不停地观察分析事物，而身体的养分也源源不断地补充，这样，经过时间的累积，副眼发育不良的情况就得到解决。首先，上述检测主副视眼的方法要通过用户主观判断，往往不够准确。其次，矫正方法不仅会使用户不适，使用户不能坚持，而且还影响用户的外貌特征。

技术实现要素：

本发明实施例提供一种主视眼的矫正方法及移动终端，以解决现有的主副视眼检测方法，由于需要用户自主判定而存在误差的问题，以及矫正用户主副视眼存在的影响外观的问题。

第一方面，本发明实施例提供了一种主视眼的矫正方法，应用于具有摄像头的移动终端，该方法包括：

获取所述摄像头采集的移动终端用户的人脸图像；

提取所述人脸图像中的双眼区域图像；

基于所述双眼区域图像，确定所述移动终端用户的主视眼和副视眼；

基于所述主视眼和副视眼，调整移动终端屏幕所显示内容的显示方式。

第二方面，本发明实施例还提供了一种移动终端，包括前置摄像头，包括：

人脸图像采集模块，用于获取所述摄像头采集的移动终端用户的人脸图像；

双眼区域图像提取模块，用于提取所述人脸图像中的双眼区域图像；

主副视眼确定模块，用于基于所述双眼区域图像，确定所述移动终端用户的主视眼和副视眼；

屏幕调整模块，用于基于所述主视眼和副视眼，调整移动终端屏幕所显示内容的显示方式。

这样，本发明实施例中，通过获取所述摄像头采集的移动终端用户的人脸图像，提取所述人脸图像中的双眼区域图像，基于所述双眼区域图像，确定所述移动终端用户的主视眼和副视眼，基于所述主视眼和副视眼，调整移动终端屏幕所显示内容的显示方式，可以准确的自动识别用户的主副视眼，又可以以用户不易察觉的方式矫正用户的用眼不均衡。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例一中的主视眼的矫正方法的流程图；

图2示出了本发明实施例二中的主视眼的矫正方法的流程图；

图2A为本发明实施例二中的主副视眼视线聚焦示意图；

图3示出了本发明实施例三中的主视眼的矫正方法的流程图；

图3A为本发明实施例三中的主副视眼的矫正方法的示意图；

图4示出了本发明实施例四中的主视眼的矫正方法的流程图；

图5示出了本发明实施例五中的主视眼的矫正方法的流程图；

图6示出了本发明实施例六中的主视眼的矫正方法的流程图；

图6A为本发明实施例六中的主视眼的旋转屏幕的矫正方法的示意图；

图7示出了根据本发明实施例七中的一种移动终端的结构框图；

图8示出了根据本发明实施例七中的一种移动终端的结构框图；

图9示出了根据本发明实施例七中的一种移动终端的结构框图；

图10示出了根据本发明实施例七中的一种移动终端的结构框图；

图11示出了根据本发明实施例八中的一种移动终端的结构框图；

图12示出了根据本发明实施例九的一种移动终端的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例一

参照图1，示出了本发明实施例一的主视眼的矫正方法的流程图，具体可以包括如下步骤：

步骤110，获取所述摄像头采集的移动终端用户的人脸图像。

在实际应用中，在移动终端使用浏览网页、阅读电子书或者观看视频时，为了识别用户的主视眼和副视眼，将通过移动终端摄像头捕捉用户眼部图像。首先，在移动终端使用时，移动终端默认在后台开启摄像头，使用人脸识别功能聚焦人脸，当捕捉到人脸图像后，缓存在移动终端存储器中，等待下一步的处理。

步骤120，提取所述人脸图像中的双眼区域图像。

在本发明实施例中，当移动终端摄像头在后台启动并且拍摄人脸时，通过移动终端的相机配备的面测光、点测光、包围测光的测光系统以及5点、9段的对焦系统，识别拍摄预览画面中的眼睛、嘴巴等特征信息，可以锁定预览画面中的人脸位置，所以，在捕捉到的人脸图像中可以通过图像处理算法快速的提取人脸图像中的双眼区域图像，以供移动终端进一步的处理。

步骤130，基于所述双眼区域图像，确定所述移动终端用户的主视眼和副视眼。

在本发明实施例中，当移动终端通过人脸图像提取双眼图像区域后，再进一步的通过图像处理提取双眼瞳孔的边缘以及双眼轮廓边缘，再通过计算双眼瞳孔在双眼轮廓中的位置，判断主视眼和副视眼，或者可以通过提取双眼图像区域中双眼周围的肌肉线条、计算双眼轮廓边缘包围的面积等方法，获得判断主副视眼的依据，进而判断双眼中的主视眼和副视眼，结合用户的主视眼和副视眼，移动终端可以做出相应的调整操作，用于矫正用户的主副视眼。

步骤140，基于所述主视眼和副视眼，调整移动终端屏幕所显示内容的显示方式。

在本发明实施例中，当确定所述移动终端用户的主视眼和副视眼后，通过调整移动终端屏幕的显示内容，或者移动终端屏幕的显示方式来达到矫正用户双眼用眼不协调的目的。例如，在得知用户的右眼是主视眼，左眼是副视眼后，可以通过捕捉用户右眼聚焦移动终端显示屏的位置，来调整该位置上的显示内容，使其模糊化，而使用户左眼聚焦的屏幕位置上显示的内容清晰化，这样就可以迫使用户更多的使用左眼观看和聚焦，长期矫正后，会在用户大脑内部形成左眼为主的视觉惯性，当矫正期之后，用户使用左右眼相比之前会更加平衡。

在本发明实施例中，通过移动终端摄像头捕捉人脸图像，进而提取人脸图像中的双眼区域，并且通过图像处理方法提取双眼瞳孔轮廓区域与双眼轮廓曲线等特征，判断当前用户的主副视眼，并且根据主副视眼调整屏幕显示内容或者显示方式来达到矫正用户用眼不均衡的问题，即可以准确的自动识别用户的主副视眼，又可以以用户不易察觉的方式矫正用户的用眼不均衡。

实施例二

参照图2，示出了本发明实施例二的主视眼的矫正方法的流程图，具体可以包括如下步骤：

步骤210，获取所述摄像头采集的移动终端用户的人脸图像。

在实际应用中，为了识别当前用户的主视眼和副视眼，首先会对当前用户的面部进行拍照，然后从该照片中提取当前用户的双眼区域图像，所以在用户使用移动终端时，系统会提示用户，当前要获取用户的面部图像，如果用户同意，则开启当前移动终端的摄像头，此时，用户会自动使用主视眼对准当前正在拍摄的摄像头，而副视眼的视线将与手机屏幕形成一个夹角，如图2A所示，C为移动终端摄像头，Z为主视眼，F为副视眼，主视眼的视线垂直于摄像头，而副视眼的视线与摄像头之间有一个夹角，所以可以通过检测脸部图像中的双眼图像区域对主副视眼进行判断。

步骤220，提取所述人脸图像中的双眼区域图像。

在本发明实施例中，当移动终端获取用户的面部图像后，图像缓存在移动终端存储器中，可以利用图像处理算法对面部的人眼区域图像进行提取。例如，利用人眼识别模型的建立，识别人脸图像的人眼区域。首先，建立一个识别模型，以标准的人脸怎么图像为基础，根据人脸的三维结构模型在二维平面的投影所设定的模型，然后对拍摄图像进行预处理，预处理的方法包括调节图像对比度、高斯降噪、二值化等，二值化后的图像，可见眼睛区域内的轮廓连续，最后对进行预处理的图像标记每个脸部图像中的左眼角、右眼角、眼睛的最高点、眼睛的最低点、瞳孔的上下左右四个边缘点，眼睛的最高点一般靠近脸对称轴的位置，通过这八个特征点对人眼进行定位后，通过识别数据对眼睛轮廓以及瞳孔进行重绘，眼睛的上下眼皮的轮廓可以用二次曲线进行拟合，以上眼皮为例，分别找到左右两眼角以及眼睛最高点的坐标，再取瞳孔上眼皮轮廓的一个点，这四个点一次以每三个点构成二次曲线，上眼皮的轮廓线就以两端二次曲线来拟合，瞳孔的曲线重绘依然利用这个方法，如此可以得到人脸图像中双眼区域图像。如果两只眼睛大小不等，在确定了某只眼睛的特征点之后，可用同样的方法来寻找另外一只眼睛的特征点。

步骤230，根据所述双眼区域图像中双眼瞳孔位置在两只眼睛轮廓曲线中的位置，确定主视眼和副视眼。

在本发明实施例中，当移动终端通过人脸图像提取双眼图像区域后，再进一步的通过图像处理提取双眼瞳孔的边缘以及双眼轮廓边缘，可以计算出各眼睛瞳孔的中心点，再提取眼睑轮廓，并计算眼睑轮廓曲线围成的椭圆形状的中心点，分别计算左右眼的瞳孔中心点与算眼睑轮廓曲线围成的椭圆形状的中心点的距离，可以确定出双眼中那只眼睛为主视眼，哪只眼睛为副视眼。

步骤240，基于所述主视眼和副视眼，调整移动终端屏幕所显示内容的显示方式。

在本发明实施例中，当确定所述移动终端用户的主视眼和副视眼后，通过调整移动终端屏幕的显示内容，或者移动终端屏幕的显示方式来达到矫正用户双眼用眼不协调的目的。例如，在得知用户的右眼是主视眼，左眼是副视眼后，可以通过捕捉用户右眼聚焦移动终端显示屏的位置，来调整该位置上的显示内容，使其模糊化，而使用户左眼聚焦的屏幕位置上显示的内容清晰化，这样就可以迫使用户更多的使用左眼观看和聚焦。当然，也可以提醒用户主动做出调整移动终端的方式来矫正用户的视觉不平衡，例如，当得知用户的右眼是主视眼，可以提示用户旋转移动终端屏幕偏向左眼，以达到矫正的目的。对此本发明实施例不加以限制。

在本发明实施例中，通过移动终端摄像头捕捉人脸图像，进而提取人脸图像中的双眼区域，并且通过图像处理方法提取双眼瞳孔轮廓区域与双眼眼睑轮廓曲线特征，进一步计算双眼瞳孔在双眼轮廓的位置，以判断当前用户的主副视眼，并且根据主副视眼调整屏幕显示内容或者显示方式来达到矫正用户用眼不均衡的效果，即可以准确的自动识别用户的主副视眼，又可以通过用户不易察觉的方式矫正用户的用眼不均衡。

实施例三

参照图3，示出了本发明实施例三的主视眼的矫正方法的流程图，具体可以包括如下步骤：

步骤301，获取所述摄像头采集的移动终端用户的人脸图像。

此步骤与实施例二中的步骤210相同，在此不再详述。

步骤302，提取所述人脸图像中的双眼区域图像。

此步骤与实施例二中的步骤220相同，在此不再详述。

步骤303，选取所述双眼区域图像中的其中一只眼睛，作为参考眼睛。

在本发明实施例中，在提取的双眼区域图像中包括双眼的眼睑轮廓线以及瞳孔的轮廓线，之后，选定其中一只眼睛的图像作为参考眼睛图像，例如可以选择右眼作为参考眼睛，右眼区域图像作为参考图像。

步骤304，确定所述参考眼睛的瞳孔位置。

在本发明实施例中，结合步骤303，当确定了参考眼睛的区域图像后，要确定参考眼睛图像瞳孔的位置。例如，选定右眼为参考眼睛，右眼区域图像中包括了右眼的眼睛轮廓线和瞳孔的轮廓线，进一步的利用例如随机Hough变换原理，利用点与线的对偶性，将原始图像空间给定的曲线通过曲线表达形式变为参数空间的一个点，这样就把原始图像中给定曲线检测问题转换为寻找参数空间中的峰值问题，比如圆、椭圆，根据不再同一直线上的三点可以精确地确定一个圆的位置和大小，所以通过这个算法，首先，利用阈值分割法把瞳孔大致分离出来，再用腐蚀和膨胀的形态学方法将瞳孔单独分离出来，并对瞳孔图像进行边缘提取，通过八方向扫描方式将瞳孔边缘的每个像素点及其像素值存储起来，采用固定距离法选择点组，固定距离是指点组中第一和第二点、第二和第三点之间的顺序间隔相等，把每个点组确定的圆的圆心坐标和半径计算出来，进行比较，将所得的每组圆心横坐标、纵坐标和半径求数学期望，将得到瞳孔中心位置坐标和瞳孔的半径。

步骤305，确定所述参考眼睛的轮廓曲线。

在本发明实施例中，结合步骤304，利用Hough变换原理根据提取的眼睛轮廓上的像素点，通过八方向扫描方式将眼睛边缘的每个像素点及其像素值存储起来，采用固定距离法选择点把每个点组确定的椭圆的圆心坐标计算出来。

步骤306，判断所述参考眼睛的瞳孔位置是否为所述参考眼睛的中心位置。

在本发明实施例中，结合步骤304以及步骤305，当确定了瞳孔轮廓曲线围成的圆的圆心和眼睛轮廓曲线围成的椭圆的圆心后，通过比较两个圆心的距离可以得知瞳孔位置是否在该眼睛轮廓的中心位置。例如，参考眼睛为右眼，如果两个圆心重合，则该瞳孔在该右眼的中心位置，否则可以通过计算两个圆心的矢量距离，来计算瞳孔在该眼睛中的位置。

步骤307，若所述参考眼睛的瞳孔位置为所述参考眼睛的中心位置，则将所述参考眼睛确定为主视眼，将另一只眼睛确定为副视眼。

在本发明实施例中，结合步骤306，如果计算得到的瞳孔的圆心和参考眼睛的所围成的椭圆形的圆心重合，则表明该瞳孔的位置是在该参考眼睛的中心位置，结合实施例二中的步骤210中的描述，当用户使用移动终端拍摄脸部时，会自动使用主视眼注视拍照的摄像头，所以主视眼的视线与摄像头或者移动终端屏幕呈现一个直角，体现在眼睛图像中，则瞳孔的位置是在主视眼的中心位置，所以当确定该瞳孔位置在该参考眼睛的中心位置上时，则可以推断出，该参考眼睛为当前用户的主视眼。

步骤308，若所述参考眼睛的瞳孔不在所述参考眼睛的中心位置，则将所述参考眼睛确定为副视眼，将另一只眼睛确定为主视眼。

在本发明实施例中，结合步骤307可以得知，当确定该瞳孔位置不在该参考眼睛的中心位置上时，根据实施例二中的步骤210中的描述，当用户使用移动终端拍摄脸部时，会自动使用主视眼注视拍照的摄像头，所以主视眼的视线与摄像头或者移动终端屏幕呈现一个直角，而副视眼的视线则与摄像头或者移动终端屏幕呈现一个非直角的夹角，体现在眼睛图像中，则瞳孔的位置不在主视眼的中心位置，所以当确定瞳孔的位置不在主视眼的中心位置，则可以推断出，该参考眼睛为当前用户的副视眼。当然，判断参考眼睛的瞳孔是否在参考眼睛的中心位置并不是只能通过比较瞳孔的圆心是否与眼睛轮廓曲线围成的椭圆的圆心重合来判断，还可以通过瞳孔的中垂涎和眼睛轮廓曲线围成的椭圆的中垂涎来判断，本发明实施例对此不加以限制。

步骤309，基于所述主视眼和副视眼，分别确定所述主视眼和副视眼所聚焦的第一屏幕区域和第二屏幕区域。

在本发明实施例中，当确定了当前用户的主视眼和副视眼后，可以根据主副视眼在移动终端屏幕上方的位置，确定主视眼聚焦的移动终端的第一屏幕区域和副视眼聚焦的移动终端第二屏幕区域。例如，当确定当前用户的右眼是主视眼后，当用户使用观看移动终端的屏幕时，通过后台开启的移动终端摄像头，可以识别出用户的双眼中哪一只眼睛更接近摄像头，这样就可以确定用户的主视眼观看移动终端的屏幕的区域，以移动终端显示屏的中线为分界线，将屏幕右半边确定为主视眼聚焦的第一屏幕区域，屏幕左半边确定为副视眼聚焦的第二屏幕区域。当然，利用移动终端摄像头可以检测到当前用户两只眼睛在移动终端上方的位置，如果检测到用户只使用一直眼睛注视当前移动终端屏幕，例如用户处于侧卧姿势观看移动终端显示屏时，在后台开启的移动终端摄像头可能检测不能同时检测到移动终端的双眼，如果只检测到一只眼睛，并且这只眼睛是主视眼话，则将当前移动终端整个显示屏区域确定为第一屏幕区域。本发明实施例对此不加以限制。

步骤310，对所述第一屏幕区域的显示内容进行模糊化处理。

在本发明实施例中，当确定了主视眼和副视眼所聚焦的第一屏幕区域和第二屏幕区域后，为了矫正用户的用眼不平衡，当前移动终端显示屏会将主视眼聚焦的第一屏幕区域进行模糊化处理，则涉及到显示图像的模糊化处理技术，该技术包括静态图像迷糊化和动态图像模糊化处理，如图3A所示，Q为图像清晰化处理，M为图像模糊化处理，Z为主视眼，F为副视眼，在图中可以看到，以屏幕的中线将主视眼和副视眼聚焦屏幕的区域划分开，并且对主视眼聚焦的屏幕区域进行了模糊化处理，对副视眼聚焦的屏幕区域进行了清晰化处理。如果当前用户使用移动终端阅读电子书或者浏览网页，则使用静态图像迷糊化，如果当前用户使用移动终端观看视频，则使用动态图像模糊化处理，这两种方法都是通过图像处理方法对当前移动终端屏幕显示的内容进行处理，例如，使用高斯模糊算法等常用图像模糊化处理当前第一屏幕区域，动态模糊是对当前视频中的每一帧都进行模糊化处理，对于静态图像，当检测到当前屏幕内容变更后进行新的模糊化处理，当然，模糊化处理的方法还可以在当前第一屏幕区域上添加一个透明窗口，利用不同的图像模糊算法进行处理，本发明对此不加以限制。

步骤311，对所述第二屏幕区域的显示内容进行清晰化处理。

在本发明实施例中，结合步骤309，当确定了副视眼的注视的第二屏幕区域后，为了矫正用户的用眼不平衡，当前移动终端显示屏会将主视眼聚焦的第二屏幕区域进行清晰化处理，通过图像处理方法对当前移动终端屏幕显示的内容进行处理，如图3A所示。例如，使用降噪法，调节对比度等图像处理方法，使第二屏幕区域的图像清晰化，与步骤310中的描述类似，清晰化处理也包括动态和静态两种，动态清晰化处理是对当前视频中的每一帧都进行清晰化处理，对于静态图像，当检测到当前屏幕内容变更后进行新的清晰化处理，当然，清晰化处理的方法还可以在当前第一屏幕区域上添加一个透明窗口，利用不同的图像清晰化算法进行处理，本发明对此不加以限制。

在本发明实施例中，通过移动终端摄像头捕捉人脸图像，进而提取人脸图像中的双眼区域，并且通过图像处理方法提取双眼瞳孔轮廓区域与双眼眼睑轮廓曲线特征，进一步计算双眼瞳孔在双眼轮廓的位置，以判断当前用户的主副视眼，并且根据主副视眼在移动终端屏幕聚焦的位置，确定第一屏幕区域和第二屏幕区域，随后通过清晰化第一屏幕区域，清晰化第二屏幕区域达到矫正用户用眼不均衡的效果，在用户日常用眼中，不知不觉的帮助用户矫正主副视眼。

实施例四

参照图4，示出了本发明实施例四的主视眼的矫正方法的流程图，具体可以包括如下步骤：

步骤410，获取所述摄像头采集的移动终端用户的人脸图像。

此步骤与实施例二中的步骤210相同，在此不再详述。

步骤420，提取所述人脸图像中的双眼区域图像。

在本发明实施例中，当移动终端获取用户的面部图像后，图像缓存在移动终端存储器中，可以利用图像处理算法对面部的人眼区域图像进行提取。例如，利用人眼识别模型的建立，识别人脸图像的人眼区域。首先，建立一个识别模型，以标准的人脸怎么图像为基础，根据人脸的三维结构模型在二维平面的投影所设定的模型，然后对拍摄图像进行预处理，预处理的方法包括调节图像对比度、高斯降噪、二值化等方法，二值化后的图像，可见眼睛区域内的轮廓连续，最后对进行预处理的图像标记每个脸部图像中的左眼角、右眼角、眼睛的最高点、眼睛的最低点、瞳孔的上下左右四个边缘点，眼睛的最高点一般靠近脸对称轴的位置，通过这八个特征点对人眼进行定位后，通过识别数据对眼睛轮廓以及瞳孔进行重绘，眼睛的上下眼皮的轮廓可以用二次曲线进行拟合，以上眼皮为例，分别找到左右两眼角以及眼睛最高点的坐标，再取瞳孔上眼皮轮廓的一个点，这四个点一次以每三个点构成二次曲线，上眼皮的轮廓线就以两端二次曲线来拟合，瞳孔的曲线重绘依然利用这个方法，如此可以得到人脸图像中双眼区域图像。如果两只眼睛大小不等，在确定了某只眼睛的特征点之后，可用同样的方法来寻找另外一只眼睛的特征点。

除此之外，当处理人脸图像时，不止提取双眼区域图像，还要通过人脸图像中的纵横纹理构建一个静态的三维人脸模型，并使用Phong光照渲染将三维图像渲染为一张二维人脸图像，之后利用二维人脸特征点提取方法，提取上述渲染的二维人脸图片中的多个特征点，利用由二维图像到三维网格的反方向投影，将上述提取的多个二维特征点投射到三维人脸网格上，从而实现自动识别三维模型中的人脸部分，并提取出三维特征点的大致位置；利用三维人脸网格形状以及由率分析的方法，根据各个人脸特征点所固有的形状特征，对上述提取的三维特征点大致位置进一步细化，并将细化后的三维特征点位置再次投影到二维人脸图片上，如此反复，可以将之前定义的多个人脸特征点的位置结果收敛。

通过上述方法提取的特征点可供建立一个人脸肌肉识别模型，其中，找到25个不同年龄以及不同面部特征的人来提取人脸特征样本，对这些三维人脸的尺寸，格式做出统一调整，之后利用美工的技术对这25个三维人脸进行特征点标注以及肌肉模型构造，再利用回归分析以及支持向量机等技术从训练样本中学习三维人脸特征点与面部肌肉之间的映射关系，从而训练出一个三维人脸肌肉模型预测器。该模型预测器的特点是以三维人脸特征点位置为输入，以相应的三维人脸肌肉模型为输出，至此，可以建立一个人脸肌肉识别模型，当然人脸肌肉识别模型的构建方法步骤不局限于此，本发明实施例对此不加以限制。

步骤430，根据所述双眼区域图像中用户双眼的特征信息，确定用户的主视眼和副视眼。

在本发明实施例中，当移动终端通过人脸图像提取双眼图像区域后，再进一步的通过图像处理提取双眼轮廓边缘，可以计算出眼睑轮廓曲线围成的椭圆形状的面积，通过比较左右眼眼睑轮廓曲线围成的椭圆形状的面积大小，可以确定出双眼中那只眼睛为主视眼，哪只眼睛为副视眼。

除此之外，通过步骤420中描述的人脸肌肉识别模型，还可以识别双眼周围的肌肉线条特征，通过左右眼周围肌肉线条的特征，也可以确定出双眼中那只眼睛为主视眼，哪只眼睛为副视眼。

步骤440，基于所述主视眼和副视眼，调整移动终端屏幕所显示内容的显示方式。

在本发明实施例中，当确定所述移动终端用户的主视眼和副视眼后，通过调整移动终端屏幕的显示内容，或者移动终端屏幕的显示方式来达到矫正用户双眼用眼不协调的目的。例如，在得知用户的右眼是主视眼，左眼是副视眼后，可以通过捕捉用户右眼聚焦移动终端显示屏的位置，来调整该位置上的显示内容，使其模糊化，而使用户左眼聚焦的屏幕位置上显示的内容清晰化，这样就可以迫使用户更多的使用左眼观看和聚焦。当然，也可以提醒用户主动做出调整移动终端的方式来矫正用户的视觉不平衡，因为有研究表明，如果主视眼用户如果将视线向副眼方向转20度以上，百分之八十的用户的主副眼会相互交换。所以，当得知用户的右眼是主视眼，可以提示用户旋转移动终端屏幕偏向左眼，以达到矫正的目的。对此本发明实施例不加以限制。

在本发明实施例中，通过移动终端摄像头捕捉人脸图像，进而提取人脸图像中的双眼区域，并且通过图像处理方法提取双眼瞳孔轮廓区域与双眼区域图像特征，以判断当前用户的主副视眼，并且根据主副视眼调整屏幕显示内容或者显示方式来达到矫正用户用眼不均衡的问题，即可以准确的自动识别用户的主副视眼，又可以通过用户不易察觉的方式矫正用户的用眼不均衡。

实施例五

参照图5，示出了本发明实施例五的主视眼的矫正方法的流程图，具体可以包括如下步骤：

步骤501，获取所述摄像头采集的移动终端用户的人脸图像。

此步骤与实施例二中的步骤210相同，在此不再详述。

步骤502，提取所述人脸图像中的双眼区域图像。

此步骤与实施例四中的步骤420相同，在此不再详述。

步骤503，选取所述双眼区域图像中的其中一只眼睛，作为第一对比眼睛。

在本发明实施例中，当提取了双眼区域图像后，选择其中的一只眼睛作为第一对比眼睛，同样的，选择该对比眼睛的区域图像作为第一对比图像。例如，可以选择右眼作为第一对比眼睛，则右眼的区域图像作为第一对比图像。

步骤504，选取所述双眼区域图像中的另一只眼睛，作为第二对比眼睛。

在本发明实施例中，结合步骤503，当选择好了第一对比眼睛之后，另外一只眼睛就确定为第二对比眼睛，例如，当选择了右眼作为第一对比眼睛后，那就选择左眼作为第二对比眼睛。

步骤505，获取所述第一对比眼睛的轮廓曲线。

在本发明实施例中，当确定了第一对比眼睛后，会对图像进行预处理，基于肤色的人眼轮廓自动提取新方法。该方法分为四步：首先，提取人脸彩色图像并将其从RGB色彩空间变换到YCbCr色彩空间；其次，通过肤色非线性空间映射进行人脸区域定位处理；然后，采用大津法实现人眼区域分割；最后，通过色度信息以及形态学处理方法提取眼睛轮廓。

步骤506，统计所述第一对比眼睛的轮廓曲线包围的面积，得到第一面积。

在本发明实施例中，根据步骤505，当提取出了第一对比眼睛的眼睛轮廓后，根据眼睛轮廓围成的椭圆形，计算其面积。椭圆的面积就算公式如下：

S＝∏·a·b

其中S为椭圆面积，∏为圆周率，a分别为椭圆的半长轴长，b为椭圆的半短轴长，半长轴可以根据眼睛轮廓最左边和最右边点之间的距离求得，半短轴的长度可以根据眼睛轮廓线上边缘最高点和下边缘最低点之间的距离求得。

步骤507，获取所述第二对比眼睛的轮廓曲线。

在本发明实施例中，结合步骤505中描述的方法，再提取第二对比眼睛的轮廓曲线。

步骤508，统计所述第二对比眼睛的轮廓曲线包围的面积，得到第二面积。

在本发明实施例中，同样，结合步骤506中描述的方法，计算第二对比眼睛的面积。

步骤509，比较所述第一面积和第二面积的大小。

在本发明实施例中，结合步骤506和步骤508分别计算出第一对比眼睛的面积和第二对比眼睛的面积，比较两个眼睛面积的大小。

步骤510，若所述第一面积大于第二面积，则将所述第一对比眼睛确定为主视眼，将所述第二对比眼睛为副视眼。

在本发明实施例中，结合步骤509的对比结果，若第一面积大于第二面积，则将第一对比眼睛确定为主视眼，将第二对比眼睛为副视眼。例如，如果第一对比眼睛为右眼，右眼的轮廓围成的椭圆面积大于左眼的轮廓曲线围成的面积，那么右眼就是主视眼，左眼为副视眼。

步骤511，若所述第一面积小于第二面积，则将所述第一对比眼睛确定为副视眼，将所述第二对比眼睛确定为主视眼。

在本发明实施例中，结合步骤509，同样的，如果若第一面积小于第二面积，则将第一对比眼睛确定为主视眼，将第二对比眼睛为副视眼。例如，如果第一对比眼睛为右眼，右眼的轮廓围成的椭圆面积小于左眼的轮廓曲线围成的面积，那么右眼就是副视眼，左眼为主视眼。

步骤512，基于所述主视眼和副视眼，调整移动终端屏幕所显示内容的显示方式。

此步骤与实施例四中的步骤440相同，在此不再详述。

在本发明实施例中，通过移动终端摄像头捕捉人脸图像，进而提取人脸图像中的双眼区域，并且通过图像处理方法提取双眼瞳孔轮廓区域与双眼眼睑轮廓曲线，并计算双眼轮廓曲线围成的椭圆形的面积，比较两个面积的大小，面积大的眼睛确定为主视眼，否则确定为副视眼，并且根据主副视眼调整屏幕显示内容或者显示方式来达到矫正用户用眼不均衡的问题，即可以准确的自动识别用户的主副视眼，又可以通过用户不易察觉的方式矫正用户的用眼不均衡。

实施例六

参照图6，示出了本发明实施例六的主视眼的矫正方法的流程图，具体可以包括如下步骤：

步骤601，获取所述摄像头采集的移动终端用户的人脸图像。

此步骤与实施例四中的步骤410相同，在此不再详述。

步骤602，提取所述人脸图像中的双眼区域图像。

此步骤与实施例四中的步骤420相同，在此不再详述。

步骤603，选取所述双眼区域图像中的其中一只眼睛，作为第三对比眼睛。

在本发明实施例中，当提取了双眼区域图像后，选择其中的一只眼睛作为第三对比眼睛，同样的，选择该对比眼睛的区域图像作为第三对比图像。例如，可以选择右眼作为第一对比眼睛，则右眼的区域图像作为第三对比图像。

步骤604，选取所述双眼区域图像中的另一只眼睛，作为第四对比眼睛。

在本发明实施例中，结合步骤603，当选择好了第一对比眼睛之后，另外一只眼睛就确定为第四对比眼睛，例如，当选择了右眼作为第一对比眼睛后，那就选择左眼作为第四对比眼睛。

步骤605，获取所述第三对比眼睛周围的肌肉线条。

在本发明实施例中，结合步骤430中描述的建立面部肌肉识别模型，当确定了第三对比眼睛和第四对比眼睛后，分别使用面部肌肉识别模型提取第三对比眼睛和第四对比眼睛周围的面部肌肉线条。

步骤606，确定所述第三对比眼睛周围的相邻肌肉线条之间的统计距离，得到第一统计距离。

在本发明实施例中，由于用户长期的用眼不均衡，导致双眼发育的不平衡，长期形成的双眼周围的肌肉线条存在明显差异，研究表明，因为长期过度使用主视眼，使得主视眼周围的肌肉线条较副视眼周围的肌肉线条具有较宽的间距，如此，可以通过分别计算两只眼睛周围肌肉线条之间的统计距离来判断主视眼和副视眼。例如，根据步骤605中确定的第三对比眼睛并提取其眼部周围的肌肉线条图像后，以纵向肌肉线条为主，计算每两条肌肉线条之间的平均距离，可以排除两条肌肉线条之间的最大距离和最小距离，分别在两个肌肉线条上取十个对称点，并计算每两个对称点之间的距离，除以十，得到该两条肌肉线条之间的平均距离，用上述方法计算将该眼部周围所有的肌肉线条之间的平均距离后，求和，并除以该眼部周围肌肉线条的总数，得到一个肌肉线条的统计距离，就是第三对比眼睛周围的相邻肌肉线条之间的第一统计距离。

当然，在实际应用中，不止可以通过纵向的肌肉线条为主计算肌肉线条之间的统计距离，还可以结合横向的肌肉线条计算统计距离，并且统计距离并不只限于上述提到的方法，可以根据具体需求做出调整，例如根据肌肉线条距离参考眼睛的距离增加一个权重，本发明实施例对此不加以限制。

步骤607，获取第四对比眼睛周围的肌肉线条。

在本发明实施例中，结合步骤430中描述的建立面部肌肉识别模型，当确定了第四对比眼睛后，使用面部肌肉识别模型提取第四对比眼睛周围的面部肌肉线条。

步骤608，确定第四对比眼睛周围的相邻肌肉线条之间的统计距离，得到第二统计距离。

在本发明实施例中，结合步骤606描述的方法，可以计算出第四对比眼睛周围的相邻肌肉线条之间的第二统计距离。

步骤609，比较所述第一统计距离和所述第二统计距离的大小。

在本发明实施例中，通过步骤606和步骤608计算出第一统计距离和第二统计距离后，比较两个距离之间的大小。

步骤610，若所述第一统计距离大于所述第二统计距离，则将第三对比眼睛确定为主视眼，将所述第四对比眼睛为副视眼。

在本发明实施例中，若第一统计距离大于第二统计距离，则说明第三对比眼睛周围的肌肉线条具有较宽的距离，所以可以确定第三对比眼睛为主视眼，而第四对比眼睛为副视眼。

步骤611，若所述第一统计距离小于所述第二统计距离，则将第三对比眼睛确定为副视眼，将所述第四对比眼睛确定为主视眼。

在本发明实施例中，通过步骤610的比较结果，若第一统计距离小于第二统计距离，则说明第三对比眼睛周围的肌肉线条的距离较窄，所以可以确定第三对比眼睛为副视眼，而第四对比眼睛为主视眼。

步骤612，基于所述主视眼和副视眼，分别确定所述主视眼和副视眼所聚焦的第一屏幕区域和第二屏幕区域。

此步骤与实施例三中的步骤309相同，在此不再详述。

步骤613，对所述第一屏幕区域的显示内容进行模糊化处理。

此步骤与实施例三中的步骤310相同，在此不再详述。

步骤614，对所述第二屏幕区域的显示内容进行清晰化处理。

此步骤与实施例三中的步骤311相同，在此不再详述。

优选的，当所述移动终端的显示屏为裸眼三维屏且在播放视频时，所述基于所述主视眼和副视眼，调整移动终端屏幕所显示内容的显示方式的步骤，包括：

通过所述移动终端的第一视差障壁遮挡所述裸眼三维屏中所述主视眼接收的图像。

在本发明实施例中，在用户使用配置裸眼3D屏的移动终端时，在通过移动终端摄像头采集的图像确定了用户主副视眼之后，并且在用户使用移动终端时确定了用户主副视眼聚焦当前移动终端的第一屏幕区域和第二屏幕区域之后，可以利用裸眼3D屏的视差障壁方法来遮挡用户主视眼接收的图像，达到矫正用户用眼不平衡的效果。视差障壁是利用裸眼3D屏可以提供的一种视觉遮挡技术，其中，光屏障式3D技术的实现方法是使用一个开关液晶屏、偏振膜和高分子液晶层，利用液晶层和偏振膜制造出一系列方向为90°的垂直条纹。这些条纹宽几十微米，通过它们的光就形成了垂直的细条栅模式，称之为“视差障壁”，该技术正是利用了安置在背光模块及LCD面板间的视差障壁，在立体显示模式下，应该由左眼看到的图像显示在液晶屏上时，不透明的条纹会遮挡右眼；同理，应该由右眼看到的图像显示在液晶屏上时，不透明的条纹会遮挡左眼，通过将左眼和右眼的可视画面分开，使观者看到3D影像，所以，当确定了当前用户的主副视眼之后，则可以控制裸眼3D屏的输出，遮挡主视眼方向的部分视差壁障，开放副视眼部分的视差壁障，让副视眼看屏幕是承担主要职能。

移除遮挡所述裸眼三维屏中所述副视眼接收的图像的第二视差障壁。

在本发明实施例中，在用户使用配置裸眼3D屏的移动终端时，在通过移动终端摄像头采集的图像确定了用户主副视眼之后，并且在用户使用移动终端时确定了用户主副视眼聚焦当前移动终端的第一屏幕区域和第二屏幕区域之后，则可以控制裸眼3D屏的输出，也就是去掉遮挡副视眼方向的部分视差壁障，让副视眼看屏幕是承担主要职能，以达到实现矫正主副眼发育不均衡的目的。

优选的，所述基于所述双眼区域图像，确定所述移动终端用户的主视眼和副视眼的步骤之后，所述方法还包括：

提示所述移动终端用户将所述移动终端向副视眼方向旋转第一调整角度；其中，所述第一调整角度大于预设角度阈值。

在本发明实施例中，在通过移动终端摄像头采集的图像确定了用户主副视眼之后，还可以通过主动提示用户的方式，使用户调整当前移动终端屏幕的角度，因为有研究表明，如果主视眼用户如果将视线向副眼方向转20度以上，百分之八十的用户的主副眼会相互交换。所以可以预设调整角度为20度，当用户的主视眼是右眼的时候，移动终端提示用户“为了保证用眼健康，请将屏幕向左偏转20度”，如图6A所示，P为移动终端屏幕，当用户将移动终端屏幕在水平方向上旋转了一个角度后，若小于20度，则会接收到移动终端的进一步提示，如果旋转至20度，则移动终端提示用户保持当前的状态，主视眼和副视眼会自动相互转换，原来的副视眼左眼担任主要的视觉功能，图中Z-F表示主视眼转换为副视眼，F-Z表示副视眼转换为主视眼。

在本发明实施例中，通过移动终端摄像头捕捉人脸图像，进而提取人脸图像中的双眼区域，并且通过提前建立人脸面部肌肉识别模型，提取人脸双眼区域图像周围的肌肉线条图像，并分别计算双眼肌肉线条之间的统计距离，比较两个统计距离的大小，统计距离大的眼睛确定为主视眼，否则确定为副视眼，并且根据主副视眼调整屏幕显示内容或者显示方式来达到矫正用户用眼不均衡的问题，即可以准确的自动识别用户的主副视眼，又可以通过用户不易察觉的方式矫正用户的用眼不均衡。本发明实施例中，还描述了通过裸眼3D视频的显像技术中的视差壁障遮挡主视眼的视线，以达到矫正用户用电不平衡的目的，并且还可以通过提示用户主动旋转移动终端屏幕，来加强副视眼的使用，达到主副视眼相互转换的目的。

实施例七

参照图7，示出了本发明实施例七的一种移动终端的结构框图。

所述移动终端700包括：人脸图像采集模块701、双眼区域图像提取模块702、主副视眼确定模块703、屏幕调整模块704、屏幕调整提示模块705。

下面分别详细介绍各模块的功能以及各模块之间的交互关系。

人脸图像采集模块701，用于获取所述摄像头采集的移动终端用户的人脸图像；

双眼区域图像提取模块702，用于提取所述人脸图像中的双眼区域图像；

主副视眼确定模块703，用于基于所述双眼区域图像，确定所述移动终端用户的主视眼和副视眼；可选的，主副视眼确定模块703可以包括：瞳孔位置确定子模块7031，用于根据所述双眼区域图像中双眼瞳孔位置在两只眼睛轮廓曲线中的位置，确定主视眼和副视眼。可选的，瞳孔位置确定子模块7031可以包括：参考眼选取单元70311，用于选取所述双眼区域图像中的其中一只眼睛，作为参考眼睛；参考眼瞳孔位置确定单元70312，用于确定所述参考眼睛的瞳孔位置；参考眼轮廓曲线确定单元70313，用于确定所述参考眼睛的轮廓曲线；判断单元70314，用于判断所述参考眼睛的瞳孔位置是否为所述参考眼睛的中心位置；主视眼确定单元70315，用于若所述参考眼睛的瞳孔位置为所述参考眼睛的中心位置，则将所述参考眼睛确定为主视眼，将另一只眼睛确定为副视眼。副视眼确定单元70316，用于若所述参考眼睛的瞳孔不在所述参考眼睛的中心位置，则将所述参考眼睛确定为副视眼，将另一只眼睛确定为主视眼。

参照图8所示，可选的，主副视眼确定模块703可以包括：特征信息判断子模块7131，用于根据所述双眼区域图像中用户双眼的特征信息，确定用户的主视眼和副视眼。可选的，特征信息判断子模块7131可以包括：第一对比眼睛选取单元71311，用于选取所述双眼区域图像中的其中一只眼睛，作为第一对比眼睛；第二对比眼睛选取单元71312，用于选取所述双眼区域图像中的另一只眼睛，作为第二对比眼睛；第一对比眼睛轮廓曲线获取单元71313，用于获取所述第一对比眼睛的轮廓曲线；第一面积统计单元71314，用于统计所述第一对比眼睛的轮廓曲线包围的面积，得到第一面积；第二对比眼睛轮廓曲线获取单元71315，用于获取所述第二对比眼睛的轮廓曲线；第二面积统计单元71316，用于统计所述第二对比眼睛的轮廓曲线包围的面积，得到第二面积；面积比较单元71317，用于比较所述第一面积和第二面积的大小；主视眼确定单元71318，用于若所述第一面积大于第二面积，则将所述第一对比眼睛确定为主视眼，将所述第二对比眼睛为副视眼。副视眼确定单元71319，用于若所述第一面积小于第二面积，则将所述第一对比眼睛确定为副视眼，将所述第二对比眼睛确定为主视眼。

参照图9所示，可选的，特征信息判断子模块7131可以包括：第三对比眼睛选取单元72311，用于选取所述双眼区域图像中的其中一只眼睛，作为第三对比眼睛；第四对比眼睛选取单元72312，用于选取所述双眼区域图像中的另一只眼睛，作为第四对比眼睛；第三对比眼睛周围肌肉线条获取单元72313，用于获取所述第三对比眼睛周围的肌肉线条；第一统计距离确定单元72314，用于确定所述第三对比眼睛周围的相邻肌肉线条之间的统计距离，得到第一统计距离；第四对比眼睛周围肌肉线条获取单元72315，用于获取第四对比眼睛周围的肌肉线条；第二统计距离确定单元72316，用于确定第四对比眼睛周围的相邻肌肉线条之间的统计距离，得到第二统计距离；统计距离比较单元72317，用于比较所述第一统计距离和所述第二统计距离的大小；主视眼确定单元72318，用于若所述第一统计距离大于所述第二统计距离，则将第三对比眼睛确定为主视眼，将所述第四对比眼睛为副视眼。副视眼确定单元72319，用于若所述第一统计距离小于所述第二统计距离，则将第三对比眼睛确定为副视眼，将所述第四对比眼睛确定为主视眼。

屏幕调整模块704，用于基于所述主视眼和副视眼，调整移动终端屏幕所显示内容的显示方式。可选的，屏幕调整模块704可以包括：屏幕区域确定子模块7041，用于基于所述主视眼和副视眼，分别确定所述主视眼和副视眼所聚焦的第一屏幕区域和第二屏幕区域；模糊化处理子模块7042，用于对所述第一屏幕区域的显示内容进行模糊化处理；清晰化处理子模块7043，用于对所述第二屏幕区域的显示内容进行清晰化处理。

可选的，屏幕调整模块704，还可以包括：

视差障壁遮挡子模块7044，用于通过所述移动终端的第一视差障壁遮挡所述裸眼三维屏中所述主视眼接收的图像；视差障壁遮挡移除子模块7045，用于移除遮挡所述裸眼三维屏中所述副视眼接收的图像的第二视差障壁。

屏幕调整提示模块705，用于提示所述移动终端用户将所述移动终端向副视眼方向旋转第一调整角度；其中，所述第一调整角度大于预设角度阈值。

在本发明实施例中，通过移动终端摄像头捕捉人脸图像，进而提取人脸图像中的双眼区域，并且通过双眼区域图像中双眼瞳孔中心位置与两只眼睛轮廓曲线中心位置的距离，以及双眼区域图像中用户双眼的特征信息，确定当前用户的主视眼和副视眼，并且根据主副视眼调整屏幕显示内容或者显示方式来达到矫正用户用眼不均衡的问题，即可以准确的自动识别用户的主副视眼，又可以通过用户不易察觉的方式矫正用户的用眼不均衡。本发明实施例中，还描述了通过裸眼3D视频的显像技术中的视差壁障遮挡主视眼的视线，以达到矫正用户用电不平衡的目的，并且还可以通过提示用户主动旋转移动终端屏幕，来加强副视眼的使用，达到主副视眼相互转换的目的，既准确的通过移动终端自动检测用户的主副视眼，又通过移动终端屏幕的显示方式改变用户的用眼习惯，达到矫正用户用眼不平衡目的。

实施例十

参照图11，示出了本发明实施例八中一种移动终端的结构框图。

图11所示的移动终端800包括：至少一个处理器801、存储器802、至少一个网络接口804和用户接口803以及拍照组件806。移动终端800中的各个组件通过总线系统805耦合在一起。可理解，总线系统805用于实现这些组件之间的连接通信。总线系统805除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图10中将各种总线都标为总线系统805，拍照组件806包括摄像头。

其中，用户接口803可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。

可以理解，本发明实施例中的存储器802可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(ProgrammableROM，PROM)、可擦除可编程只读存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccessMemory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(StaticRAM，SRAM)、动态随机存取存储器(DynamicRAM，DRAM)、同步动态随机存取存储器(SynchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(DoubleDataRate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(SynchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambusRAM，DRRAM)。本发明实施例描述的系统和方法的存储器802旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器802存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统8021和应用程序8022。

其中，操作系统8021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序8022，包含各种应用程序，例如媒体播放器(MediaPlayer)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序8022中。

在本发明实施例中，通过调用存储器802存储的程序或指令，具体的，可以是应用程序8022中存储的程序或指令，处理器801用于获取所述摄像头采集的移动终端用户的人脸图像；提取所述人脸图像中的双眼区域图像；基于所述双眼区域图像，确定所述移动终端用户的主视眼和副视眼；基于所述主视眼和副视眼，调整移动终端屏幕所显示内容的显示方式。

上述本发明实施例揭示的方法可以应用于处理器801中，或者由处理器801实现。处理器801可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器801中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器801可以是通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(FieldProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器802，处理器801读取存储器802中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本发明实施例描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecificIntegratedCircuits，ASIC)、数字信号处理器(DigitalSignalProcessing，DSP)、数字信号处理设备(DSPDevice，DSPD)、可编程逻辑设备(ProgrammableLogicDevice，PLD)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本发明实施例所述功能的模块(例如过程、函数等)来实现本发明实施例所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

可选地，处理器801在所述基于所述双眼区域图像，确定所述移动终端用户的主视眼和副视眼时，还用于：根据所述双眼区域图像中双眼瞳孔位置在两只眼睛轮廓曲线中的位置，确定主视眼和副视眼。

可选地，处理器801在所述根据所述双眼区域图像中双眼瞳孔中心位置与各眼睛轮廓曲线中心位置的距离，确定主视眼和副视眼时，还用于：选取所述双眼区域图像中的其中一只眼睛，作为参考眼睛；确定所述参考眼睛的瞳孔位置；确定所述参考眼睛的轮廓曲线；判断所述参考眼睛的瞳孔位置是否为所述参考眼睛的中心位置；若所述参考眼睛的瞳孔位置为所述参考眼睛的中心位置，则将所述参考眼睛确定为主视眼，将另一只眼睛确定为副视眼。

可选地，处理器801在所述判断所述参考眼睛的瞳孔的中心位置是否为所述参考眼睛的轮廓曲线的中心位置之后，还用于：若所述参考眼睛的瞳孔不在所述参考眼睛的中心位置，则将所述参考眼睛确定为副视眼，将另一只眼睛确定为主视眼。

可选地，处理器801在所述根据所述双眼区域图像中双眼瞳孔中心位置与各眼睛轮廓曲线中心位置的距离，确定主视眼和副视眼时，还用于：根据所述双眼区域图像中用户双眼的特征信息，确定用户的主视眼和副视眼。

可选地，处理器801在所述根据所述双眼区域图像中用户双眼的特征信息，确定用户的主视眼和副视眼时，还用于：选取所述双眼区域图像中的其中一只眼睛，作为第一对比眼睛；选取所述双眼区域图像中的另一只眼睛，作为第二对比眼睛；获取所述第一对比眼睛的轮廓曲线；统计所述第一对比眼睛的轮廓曲线包围的面积，得到第一面积；获取所述第二对比眼睛的轮廓曲线；统计所述第二对比眼睛的轮廓曲线包围的面积，得到第二面积；比较所述第一面积和第二面积的大小；若所述第一面积大于第二面积，则将所述第一对比眼睛确定为主视眼，将所述第二对比眼睛为副视眼。

可选地，处理器801在所述比较所述第一面积和第二面积的大小之后，还用于：若所述第一面积小于第二面积，则将所述第一对比眼睛确定为副视眼，将所述第二对比眼睛确定为主视眼。

可选地，处理器801在所述根据所述双眼区域图像中用户双眼的特征信息，确定用户的主视眼和副视眼时，还用于：选取所述双眼区域图像中的其中一只眼睛，作为第三对比眼睛；选取所述双眼区域图像中的另一只眼睛，作为第四对比眼睛；获取所述第三对比眼睛周围的肌肉线条；确定所述第三对比眼睛周围的相邻肌肉线条之间的统计距离，得到第一统计距离；获取第四对比眼睛周围的肌肉线条；确定第四对比眼睛周围的相邻肌肉线条之间的统计距离，得到第二统计距离；比较所述第一统计距离和所述第二统计距离的大小；若所述第一统计距离大于所述第二统计距离，则将第三对比眼睛确定为主视眼，将所述第四对比眼睛为副视眼。

可选地，处理器801在所述比较所述第一统计距离和所述第二统计距离的大小之后，还用于：若所述第一统计距离小于所述第二统计距离，则将第三对比眼睛确定为副视眼，将所述第四对比眼睛确定为主视眼。

可选地，处理器801在所述基于所述主视眼和副视眼，调整移动终端屏幕所显示内容的显示方式时，还用于：基于所述主视眼和副视眼，分别确定所述主视眼和副视眼所聚焦的第一屏幕区域和第二屏幕区域；对所述第一屏幕区域的显示内容进行模糊化处理；对所述第二屏幕区域的显示内容进行清晰化处理。

可选地，处理器801在所述移动终端的显示屏为裸眼三维屏且在播放视频时，所述基于所述主视眼和副视眼，调整移动终端屏幕所显示内容的显示方式时，还用于：通过所述移动终端的第一视差障壁遮挡所述裸眼三维屏中所述主视眼接收的图像；移除遮挡所述裸眼三维屏中所述副视眼接收的图像的第二视差障壁。

可选地，处理器801在所述基于所述双眼区域图像，确定所述移动终端用户的主视眼和副视眼之后，还用于：提示所述移动终端用户将所述移动终端向副视眼方向旋转第一调整角度；其中，所述第一调整角度大于预设角度阈值。

可见，在本发明实施例中，可以接收连接在移动终端上的耳机所发送的第一电流变化信息和第二电流变化信息；基于所述第一电流变化信息和第二电流变化信息，调节移动终端中目标音频文件的播放状态。从而可以避免由于频繁按压开机键，降低开机键使用寿命的问题；避免由于频繁操作按钮，降低耳机线的使用寿命；避免由于频繁插入拔出耳机，降低耳机插头灵敏度的问题。

实施例十一

图12示出了本发明实施例九的移动终端的结构示意图。

本发明实施例的移动终端可以为手机、平板电脑、个人数字助理(PersonalDigital Assistant，PDA)、或车载电脑等。

图12中的移动终端包括射频(RadioFrequency，RF)电路910、存储器920、输入单元930、显示单元940、处理器960、音频电路970、WiFi(WirelessFidelity)模块980、电源990和拍照组件950，拍照组件950包括摄像头。

其中，输入单元930可用于接收用户输入的数字或字符信息，以及产生与移动终端900的用户设置以及功能控制有关的信号输入。具体地，本发明实施例中，该输入单元930可以包括触控面板931。触控面板931，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板931上的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板931可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给该处理器960，并能接收处理器960发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板931。除了触控面板931，输入单元930还可以包括其他输入设备932，其他输入设备932可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

其中，显示单元940可用于显示由用户输入的信息或提供给用户的信息以及移动终端900的各种菜单界面。显示单元940可包括显示面板941，可选的，可以采用LCD或有机发光二极管(OrganicLight-EmittingDiode，OLED)等形式来配置显示面板941。

应注意，触控面板931可以覆盖显示面板941，形成触摸显示屏，当该触摸显示屏检测到在其上或附近的触摸操作后，传送给处理器960以确定触摸事件的类型，随后处理器960根据触摸事件的类型在触摸显示屏上提供相应的视觉输出。

触摸显示屏包括应用程序界面显示区及常用控件显示区。该应用程序界面显示区及该常用控件显示区的排列方式并不限定，可以为上下排列、左右排列等可以区分两个显示区的排列方式。该应用程序界面显示区可以用于显示应用程序的界面。每一个界面可以包含至少一个应用程序的图标和/或widget桌面控件等界面元素。该应用程序界面显示区也可以为不包含任何内容的空界面。该常用控件显示区用于显示使用率较高的控件，例如，设置按钮、界面编号、滚动条、电话本图标等应用程序图标等。

拍照组件9110可用以接收摄像头获取的预览图像并显示在移动终端显示界面中，以及根据用户的操作完成拍照或摄像操作。

其中处理器960是移动终端900的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在第一存储器921内的软件程序和/或模块，以及调用存储在第二存储器922内的数据，执行移动终端900的各种功能和处理数据，从而对移动终端900进行整体监控。可选的，处理器960可包括一个或多个处理单元。

在本发明实施例中，通过调用存储该第一存储器921内的软件程序和/或模块和/或该第二存储器922内的数据，处理器960用于获取所述摄像头采集的移动终端用户的人脸图像；提取所述人脸图像中的双眼区域图像；基于所述双眼区域图像，确定所述移动终端用户的主视眼和副视眼；基于所述主视眼和副视眼，调整移动终端屏幕所显示内容的显示方式。

可选地，处理器901在所述基于所述双眼区域图像，确定所述移动终端用户的主视眼和副视眼时，还用于：根据所述双眼区域图像中双眼瞳孔中心位置与两只眼睛轮廓曲线中心位置的距离，确定主视眼和副视眼。

可选地，处理器901在所述根据所述双眼区域图像中双眼瞳孔中心位置与各眼睛轮廓曲线中心位置的距离，确定主视眼和副视眼时，还用于：选取所述双眼区域图像中的其中一只眼睛，作为参考眼睛；确定所述参考眼睛的瞳孔位置；确定所述参考眼睛的轮廓曲线；判断所述参考眼睛的瞳孔位置是否为所述参考眼睛的中心位置；若所述参考眼睛的瞳孔位置为所述参考眼睛的中心位置，则将所述参考眼睛确定为主视眼，将另一只眼睛确定为副视眼。

可选地，处理器901在所述判断所述参考眼睛的瞳孔的中心位置是否为所述参考眼睛的轮廓曲线的中心位置之后，还用于：若所述参考眼睛的瞳孔不在所述参考眼睛的中心位置，则将所述参考眼睛确定为副视眼，将另一只眼睛确定为主视眼。

可选地，处理器901在所述根据所述双眼区域图像中双眼瞳孔中心位置与各眼睛轮廓曲线中心位置的距离，确定主视眼和副视眼时，还用于：根据所述双眼区域图像中用户双眼的特征信息，确定用户的主视眼和副视眼。

可选地，处理器901在所述根据所述双眼区域图像中用户双眼的特征信息，确定用户的主视眼和副视眼时，还用于：选取所述双眼区域图像中的其中一只眼睛，作为第一对比眼睛；选取所述双眼区域图像中的另一只眼睛，作为第二对比眼睛；获取所述第一对比眼睛的轮廓曲线；统计所述第一对比眼睛的轮廓曲线包围的面积，得到第一面积；获取所述第二对比眼睛的轮廓曲线；统计所述第二对比眼睛的轮廓曲线包围的面积，得到第二面积；比较所述第一面积和第二面积的大小；若所述第一面积大于第二面积，则将所述第一对比眼睛确定为主视眼，将所述第二对比眼睛为副视眼。

可选地，处理器901在所述比较所述第一面积和第二面积的大小之后，还用于：若所述第一面积小于第二面积，则将所述第一对比眼睛确定为副视眼，将所述第二对比眼睛确定为主视眼。

可选地，处理器901在所述根据所述双眼区域图像中用户双眼的特征信息，确定用户的主视眼和副视眼时，还用于：选取所述双眼区域图像中的其中一只眼睛，作为第三对比眼睛；选取所述双眼区域图像中的另一只眼睛，作为第四对比眼睛；获取所述第三对比眼睛周围的肌肉线条；确定所述第三对比眼睛周围的相邻肌肉线条之间的统计距离，得到第一统计距离；获取第四对比眼睛周围的肌肉线条；确定第四对比眼睛周围的相邻肌肉线条之间的统计距离，得到第二统计距离；比较所述第一统计距离和所述第二统计距离的大小；若所述第一统计距离大于所述第二统计距离，则将第三对比眼睛确定为主视眼，将所述第四对比眼睛为副视眼。

可选地，处理器901在所述比较所述第一统计距离和所述第二统计距离的大小之后，还用于：若所述第一统计距离小于所述第二统计距离，则将第三对比眼睛确定为副视眼，将所述第四对比眼睛确定为主视眼。

可选地，处理器901在所述基于所述主视眼和副视眼，调整移动终端屏幕所显示内容的显示方式时，还用于：基于所述主视眼和副视眼，分别确定所述主视眼和副视眼所聚焦的第一屏幕区域和第二屏幕区域；对所述第一屏幕区域的显示内容进行模糊化处理；对所述第二屏幕区域的显示内容进行清晰化处理。

可选地，处理器901在所述移动终端的显示屏为裸眼三维屏且在播放视频时，所述基于所述主视眼和副视眼，调整移动终端屏幕所显示内容的显示方式时，还用于：通过所述移动终端的第一视差障壁遮挡所述裸眼三维屏中所述主视眼接收的图像；移除遮挡所述裸眼三维屏中所述副视眼接收的图像的第二视差障壁。

可选地，处理器901在所述基于所述双眼区域图像，确定所述移动终端用户的主视眼和副视眼之后，还用于：提示所述移动终端用户将所述移动终端向副视眼方向旋转第一调整角度；其中，所述第一调整角度大于预设角度阈值。

可见，在本发明实施例中，可以触发移动终端摄像头的隐拍模式，将所述摄像头的原始预览图像处理为缩略图像，并将所述缩略图像显示在所述移动终端的显示界面中，同时关闭所述摄像头所在移动终端的拍摄辅助功能，所述拍摄辅助功能包括闪光灯、快门声，进而接收用户输入的操作指令，并根据操作指令执行拍摄操作。由此降低用户在使用移动终端对不文明行为进行拍摄等不希望被发现的拍摄行为被认定为拍摄的概率，进而可以减少用户的因拍照而导致的麻烦以及损失。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的拍摄设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。