本发明涉及人眼识别跟踪和裸眼3d显示领域，尤其涉及一种基于人眼跟踪的裸眼3d显示方法。
背景技术：
随着三维显示技术的逐渐成熟发展，裸眼3d技术的应用场景越来越广泛。不同于传统的二维显示技术，裸眼3d显示有着真实感、立体感、无需佩戴专用眼镜等优势且能有效避免沉浸式体验惯于带来的恶心、眩晕、视觉疲劳等不良反应，而被各种显示应用领域所看好、追捧。
现在的裸眼3d显示技术都是通过区分左右眼来显示两幅图，通过让你左眼看到左眼的图像，右眼看到右眼的图像就可以让你的大脑合成一副有纵深感的立体画面，但是现在的裸眼3d技术都存在视点和视角固定，观看3d效果的时候既不能移动也不能晃动，大大的影响了使用体验，尤其对于裸眼3d手机用户来说一点震动或者晃动都会影响观看效果。
本发明就是提出一种基于人眼跟踪的裸眼3d显示方法。本发明利用先进的人眼识别跟踪算法实时改变裸眼3d手机的显示视区和观看视角，让手机用户时刻都能体验到无拘束的裸眼3d体验效果，并且通过面部特征特别是人眼特征来检测手机用户观看裸眼3d出屏效果的适应度从而实时改变3d深度信息，让用户可以更加舒适的长时间使用裸眼3d手机。
技术实现要素：
本发明的目的是提供一种基于人眼跟踪的裸眼3d显示方法。该方法利用先进的人眼识别跟踪算法实时改变裸眼3d手机的观看视角和观看视区，让手机用户时刻都能体验到无拘束的裸眼3d体验效果，并且通过面部特征特别是人眼特征来检测手机用户观看裸眼3d出屏效果的疲劳度从而实时改变3d深度信息。
如上所述，实现一种基于人眼跟踪的裸眼3d显示方法包括如下步骤：
本发明包括人眼跟踪模块，裸眼视区修正模块，裸眼显示模块和裸眼3d出屏舒适度修正模块；
当手机用户打开裸眼3d显示功能后，人眼跟踪模块调用手机前置摄像头，将手机前置摄像头切换至视频拍摄状态，人眼跟踪模块获取手机前置摄像头拍摄的视频图像序列帧，在获取视频图像序列帧后对每一帧图像进行人脸识别并识别出人眼区域，计算出准确的左右眼相对位置，再获取当期手机陀螺仪姿态计算倾斜角度从而得到左右眼在当期手机姿态中的相对空间坐标；
在识别匹配人眼区域时，一般包括：
手机摄像头视频帧率通常为30帧，需要对每一帧进行人眼识别并且需要存储近5秒视频图像序列帧以供104裸眼3d出屏舒适度修正模块使用。在对每一帧进行人眼识别中，识别图像中的左右眼在图像上的坐标，单位为像素点个数；
通过人眼跟踪模块计算图左右眼相对距离，计算出左右眼的空间坐标和左右眼相对手机裸眼屏幕的初始水平观看距离，再结合人脸姿态估计和手机当前陀螺仪姿态得到左右眼相对手机裸眼屏幕的观看视区和观看角度，并对初始水平观看距离进行修正，同时可以提醒用户观看裸眼手机屏幕的最佳观看角度；
其中，由于裸眼手机屏幕材质通常采用柱状透镜技术，柱状透镜技术是利用立体光栅对光线的折射配合人的双眼视差和会聚形成立体感，所以为了最佳的观看效果，观看者双眼需要与柱状透镜光栅保持相对水平。因此，在计算左右眼相对距离的同时，对人脸姿态进行计算，修正左右眼相对手机裸眼屏幕的初始水平观看距离并计算出左右眼相对手机裸眼屏幕的观看视区和观看角度；
其中，人眼跟踪模块对每一帧视频图像序列进行特征点匹配，首先检查出人脸位置和框架，再利用分类器进行特质筛选保留适合人体眼部特征的图像特征值，剔除独立的人眼特征值，保留符合左右眼相对距离范围内的参考点作为比对，最后比对预设左右眼瞳距像素阈值从而得到初始水平观看距离；
进一步的，结合人脸姿态估计和裸眼手机当前陀螺仪姿态，以裸眼手机屏幕中心点为标准点来确定相对手机裸眼屏幕的观看视区并且修正左右眼的观看角度；
进一步的，在识别匹配人眼区域时中，如果出现手机晃动或者人眼移动时，由于手机摄像头帧率较低，摄像头的传感器从接到信息到把图像序列帧输送到处理器中会有延迟。观看者双眼在移动或者手机晃动时，通常的裸眼视区修正算法会让观看者双眼看到串扰区或者逆视区，甚至出现视区跳动的现象，因此在人眼跟踪模块需要加入预测跟踪的算法，保证裸眼视区修正能够随时给观看者的双眼呈现正确的裸眼视区；
其中，裸眼视区预测跟踪采用比对前后5秒序列帧的手机陀螺仪姿态和裸眼观看视区r来预测裸眼视区变动。优选的，当人眼跟踪模块检测通过裸眼手机陀螺仪传递手机出现晃动，读取前5秒视频图像序列帧的裸眼手机陀螺仪旋转速度，根据手机旋转角速度预测当前情况下用户真正的观看视区r；优选的，当人眼跟踪模块检测到左右眼出现水平垂直方向上大幅变动的情况下，读取前5秒视频图像序列帧的裸眼观看视区r，根据观看视区r的变速值来预测当前情况下用户真正的观看视区r；优选的，在预测跟踪观看视区r时，可以基于卡尔曼滤波器来辅助预测，用于削弱手机摄像头和陀螺仪带来的噪音干扰，基于卡尔曼滤波器可用包含正交状态变量的微分方程模型来描述前5秒观看视区r的变动，这种滤波器是将过去前5秒的测量估计误差合并到新的测量误差中来估计将来的观看视区r变动；
人眼跟踪模块将视频图像序列每一帧的最终观看视区r数据传递给102裸眼视区修正模块，在修正视区时一般包括：
裸眼视区修正模块在接收到人眼跟踪模块的实时信息观看视区r后需要对裸眼输出视区进行调整。视点数为n的裸眼手机总共有视区数n个，各个视区之间存在串扰区，并且当左右眼移动中，左右眼会看到相互逆转的逆视区，裸眼视区修正模块就需要根据人眼跟踪模块的数据来避免用户观看时出现串扰和逆视区现象；
其中，人眼跟踪模块传递的观看视区r直接影响了最终裸眼显示的裸眼视区排图修正值dis，裸眼修正模块需要根据观看视区r改变裸眼视区排图修正值dis从而给当前用户的左右眼分别呈现完全正确的图像，由于左右眼距离裸眼手机屏幕的距离和观看者人数num也会影响裸眼修正模块计算的视区排图，因此裸眼视区修正模块需要分别对应num个观看者的左右眼计算裸眼视区排图，并且最后在渲染裸眼图像时需要将两者或两者以上的视区进行重合交织；
裸眼显示模块，在手机应用需要进行裸眼3d显示时打开，裸眼显示模块将根据当前手机应用的显示模式来改变裸眼显示方式，一般包括：
其中，针对2d手机应用，将手机系统3dui集成进应用中，添加3dui按钮并且将2d应用界面渲染在裸眼手机的零平面中，102裸眼修正模块传递的裸眼视区排图修正值dis将仅改变3dui的裸眼效果，预设dis值为0；
其中，针对3d手机应用，将102裸眼修正模块传递的裸眼视区排图修正值dis传递给3d渲染底层，将修正值dis替换柱镜光栅映射表中的偏移量offset，根据裸眼修正模块传递的修正系数dis来改变裸眼图像的物理排图序列，再根据3d渲染层零平面前后来决定修正值dis的正负号，当大于零平面的3d渲染层修正值dis为正；小于零平面的3d渲染层修正值dis为负；
裸眼3d出屏适应度修正模块，在手机应用例如视频播放，3d游戏裸眼显示时，由于出屏效果和观看距离不能统一，所以在观看者在观看裸眼3d出屏画面时往往会出现头晕，眼睛疲劳的情况，本发明优选的采用裸眼3d出屏舒适度修正模块来解决这一问题。
其中，裸眼3d出屏舒适度修正模块需要手机摄像头拍摄的近5秒视频图像序列帧，在对这些图像序列帧进行人眼疲劳监测；
进一步的，由于裸眼3d大视差会导致人的双眼在短时间内无法适应剧烈的出屏效果，因此裸眼3d出屏舒适度修正模块需要对人眼疲劳进行实时监测并且做出裸眼效果修正。通过101人眼跟踪模块对双眼总共12个特征点a1-a12进行实时监测，当眨眼次数超过阈值或者微闭弧度持续时间超过阈值即人眼无法适应当前裸眼3d出屏效果；
进一步的，当人眼疲劳监测到人眼无法适应当前裸眼3d出屏效果时，需要改变大于零平面的3d渲染层的裸眼图像排列顺序。通过监测到人眼疲劳状态，再通过公式计算出新的裸眼图像排列顺序，这样来减缓出屏效果左右眼过度视差值，就可以提升用户长时间观看裸眼3d画面的舒适度。
本发明采用上述技术方案，与现有的技术方案相比，具有以下有益的效果：
本方法利用先进的人眼识别跟踪算法实时改变裸眼3d手机的观看视角和观看视区，让手机用户能够时刻体验到无拘束的裸眼3d体验效果，同时能够预测人眼运动规律让用户不用长时间保持静止可以随意变换观看姿势，提升了用户的观看舒适度，并且通过面部特征特别是人眼特征来检测手机用户观看裸眼3d出屏效果的疲劳度从而实时改变3d深度信息，进一步提升了用户在观看裸眼3d效果的主观满意度。
附图说明
图1是本发明一种基于人眼跟踪的裸眼3d显示方法的流程示意图。
图2是本发明人眼跟踪模块的人眼观看角度计算调整示意图。
图3是本发明裸眼视区修正模块中正确视区，逆视区和串扰区示意图。
图4是本发明裸眼视区修正模块修正前后的观看视区对比图。
图5是本发明裸眼3d出屏舒适度修正模块实现方法示意图。
图6是本发明裸眼3d出屏舒适度修正模块中左右眼特征点示意图。
具体实施方式
下面结合附图和具体的实施方式对本发明作进一步详细的描述。
附图1是本发明一种基于人眼跟踪的裸眼3d显示方法的流程示意图，该方法包括101人眼跟踪模块，102裸眼视区修正模块，103裸眼显示模块和104裸眼3d出屏舒适度修正模块，该方法具体包括以下步骤:
s100：当手机用户打开裸眼3d显示功能后，人眼跟踪模块调用手机前置摄像头，将手机前置摄像头切换至视频拍摄状态，人眼跟踪模块获取手机前置摄像头拍摄的视频图像序列帧，在获取视频图像序列帧后对每一帧图像进行人脸识别并识别出人眼区域，计算出准确的左右眼相对位置，再获取当期手机陀螺仪姿态计算倾斜角度从而得到左右眼在当期手机姿态中的相对空间坐标。
在识别匹配人眼区域时，一般包括：
s101：手机摄像头视频帧率通常为30帧，需要对每一帧进行人眼识别并且需要存储近5秒视频图像序列帧以供附图1中104裸眼3d出屏舒适度修正模块使用。在对每一帧进行人眼识别中，识别图像中的左右眼在图像上的坐标，单位为像素点个数。
s102：通过人眼跟踪模块计算图左右眼相对距离，计算出左右眼的空间坐标和左右眼相对手机裸眼屏幕的初始水平观看距离，再结合人脸姿态估计和手机当前陀螺仪姿态得到左右眼相对手机裸眼屏幕的观看视区和观看角度，并对初始水平观看距离进行修正，同时可以提醒用户观看裸眼手机屏幕的最佳观看角度。
s103：其中，由于裸眼手机屏幕材质通常采用柱状透镜技术，柱状透镜技术是利用立体光栅对光线的折射配合人的双眼视差和会聚形成立体感，所以为了最佳的观看效果，观看者双眼需要与柱状透镜光栅保持相对水平。因此，在计算左右眼相对距离的同时，对人脸姿态进行计算，修正左右眼相对手机裸眼屏幕的初始水平观看距离并计算出左右眼相对手机裸眼屏幕的观看视区和观看角度。
s104：其中，人眼跟踪模块对每一帧视频图像序列进行特征点匹配，首先检查出人脸位置和框架，再利用分类器进行特质筛选保留适合人体眼部特征的图像特征值，剔除独立的人眼特征值，保留符合左右眼相对距离范围内的参考点作为比对，最后比对预设左右眼瞳距像素阈值从而得到初始水平观看距离。
s105：进一步的，结合附图2中人脸姿态估计202和附图2中裸眼手机201当前陀螺仪姿态附图2中的角度α，以裸眼手机屏幕中心点为标准点来确定相对手机裸眼屏幕的观看视区并且修正左右眼的观看角度。
s106：观看视区可以通过以下公式计算得到：
其中，l(x,y)是左右眼中心点到标准点的距离，(x,y)是左右眼中心点的横纵坐标，tanα是手机当前陀螺仪姿态中垂直方向上的偏转角度，x0是标准点在视频图像序列帧中的水平方向坐标值，s1是当前观看者左右眼的相对瞳距像素值，s0是标准点预设的瞳距像素值，而n是裸眼手机当前的总视点数，％是取余计算。通过上述公式可以计算出当前左右眼的实际观看视区r，将每一帧的观看视区r传递给裸眼视区修正模块用以改变裸眼视区排列，从而调整符合观看者左右眼的真实观看视区。
s107：当前观看者观看角度可以通过以下公式计算得到：
其中，f(β，γ)代表了当前左右眼相对裸眼手机屏幕的观看角度，包括水平方向上和垂直方向上的角度，n代表着人脸姿态估计中人脸的待测特征点个数，优选的，本方法采用匹配人脸中左眼，右眼，鼻尖和双唇中心点总共4个点来计算观看角度即n＝4，qi代表待测的人脸特征点，pi代表待测人脸特征点在视频图像序列帧中对应的空间坐标值，f(x，y)是裸眼手机当前陀螺仪计算的旋转矩阵。
其中，当β和γ同时等于零时，即观看者与裸眼手机屏幕保持完全水平，达到左右眼最佳的观看角度，在实例中，如附图2中b点是人眼实际位置，a点是最佳裸眼效果观看点，当人眼处于b点，这时β和γ不等于零，人眼跟踪模块可以提醒观看者抬头或者低头来改变用户观看裸眼手机屏幕的角度，使β和γ同时等于零以达到最理想的裸眼观看视角。
s108：进一步的，在识别匹配人眼区域时中，如果出现手机晃动或者人眼移动时，由于手机摄像头帧率较低，摄像头的传感器从接到信息到把图像序列帧输送到处理器中会有延迟。观看者双眼在移动或者手机晃动时，通常的裸眼视区修正算法会让观看者双眼看到串扰区或者逆视区，甚至出现视区跳动的现象，因此在人眼跟踪模块需要加入预测跟踪的算法，保证裸眼视区修正能够随时给观看者的双眼呈现正确的裸眼视区。
其中，裸眼视区预测跟踪采用比对前后5秒序列帧的手机陀螺仪姿态和裸眼观看视区r来预测裸眼视区变动。优选的，当人眼跟踪模块检测通过裸眼手机陀螺仪传递手机出现晃动，读取前5秒视频图像序列帧的裸眼手机陀螺仪旋转速度，根据手机旋转角速度预测当前情况下用户真正的观看视区r；优选的，当人眼跟踪模块检测到左右眼出现水平垂直方向上大幅变动的情况下，读取前5秒视频图像序列帧的裸眼观看视区r，根据观看视区r的变速值来预测当前情况下用户真正的观看视区r；优选的，在预测跟踪观看视区r时，可以基于卡尔曼滤波器来辅助预测，用于削弱手机摄像头和陀螺仪带来的噪音干扰，基于卡尔曼滤波器可用包含正交状态变量的微分方程模型来描述前5秒观看视区r的变动，这种滤波器是将过去前5秒的测量估计误差合并到新的测量误差中来估计将来的观看视区r变动。
s200：附图1中的101人眼跟踪模块将视频图像序列每一帧的最终观看视区r数据传递给附图1中的102裸眼视区修正模块，在修正视区时一般包括：
s201：附图1中的102裸眼视区修正模块在接收到人眼跟踪模块的观看视区r实时信息后需要对裸眼输出视区进行调整。视点数为n的裸眼手机总共有视区数n个，各个视区之间存在串扰区，并且当左右眼移动中，左右眼会看到相互逆转的逆视区，例如附图3中，当人眼处于a点时，人眼可以观看到完整正确的裸眼视区；当处于c点时，人眼处于逆视区将会看到重影；而当人眼处于b点时，由于位于逆视区这样左右眼会观看到相反的画面，不会观看到正确的裸眼效果。因此，裸眼视区修正模块就需要根据人眼跟踪模块的数据来避免用户观看时出现串扰和逆视区现象。
s202：其中，人眼跟踪模块传递的观看视区r直接影响了最终裸眼显示的裸眼视区排图修正值dis，裸眼视区修正模块需要根据观看视区r改变裸眼视区排图修正值dis从而给当前用户的左右眼分别呈现完全正确的图像，由于左右眼距离裸眼手机屏幕的距离和观看者人数num也会影响裸眼修正模块计算的视区排图，因此裸眼视区修正模块需要分别对应num个观看者的左右眼计算裸眼视区排图，并且最后在渲染裸眼图像是需要将两者或两者以上的视区进行重合交织。在附图4中，301区域是人眼最初能过正确观看裸眼的观看视区，经过裸眼视区修正模块修正过后的视区302，相比于301大幅增加了用户可以正确观看裸眼效果的区域。
s203：进一步的计算裸眼视区排图需要针对num*2数量的人眼来进行视区修正计算，可以通过以下公式计算：
其中，dis是最终裸眼视区排图修正值，num是对应的观看人数，n是裸眼手机视区总数，％是取余计算，ri是对应的人眼跟踪到的视区，xi是对应的人眼跟踪到的当前视区的横坐标，最终的裸眼视区排图修正值dis就是裸眼视区最终横向排列的变化系数。
s300：附图1中的103裸眼显示模块，在手机应用需要进行裸眼3d显示时打开，裸眼显示模块将根据当前手机应用的显示模式来改变裸眼显示方式，一般包括：
s301：针对2d手机应用，将手机系统3dui集成进应用中，添加3dui按钮并且将2d应用界面渲染在裸眼手机的零平面中，102裸眼修正模块传递的裸眼视区排图修正值dis将仅改变3dui的裸眼效果，预设dis值为0。
s302：针对3d手机应用，将102裸眼修正模块传递的裸眼视区排图修正值dis传递给3d渲染底层，将修正值dis替换柱镜光栅映射表中的偏移量offset，根据裸眼修正模块传递的修正系数dis来改变裸眼图像的物理排图序列，再根据3d渲染层零平面前后来决定修正值dis的正负号，当大于零平面的3d渲染层修正值dis为正；小于零平面的3d渲染层修正值dis为负。
s400：附图1中的104裸眼3d出屏适应度修正模块，在手机应用例如视频播放，3d游戏裸眼显示时，由于出屏效果和观看距离不能统一，所以在观看者在观看裸眼3d出屏画面时往往会出现头晕，眼睛疲劳的情况，本发明优选的采用裸眼3d出屏舒适度修正模块来解决这一问题。
s401：其中，裸眼3d出屏舒适度修正模块需要手机摄像头拍摄的近5秒视频图像序列帧，在对这些图像序列帧进行人眼疲劳监测。
s402：进一步的，由于裸眼3d大视差会导致人的双眼在短时间内无法适应剧烈的出屏效果，因此裸眼3d出屏舒适度修正模块需要对人眼疲劳实时监测并且做出裸眼效果修正。如附图5中，用户在401区域观看裸眼屏幕，当裸眼3d出屏效果出现在402区域时，人眼就会出现眩晕，肿胀等不良反应，这时如果将裸眼3d入屏效果调整至403区域同时裸眼3d出屏效果调整至401区域，那么观看者就不会因为过于出屏的裸眼3d效果而发生各种眼睛不良反应，就可以长时间观看裸眼3d画面。
s403：其中，通过附图1中的101人眼跟踪模块对附图6中双眼总共12个特征点a1-a12进行实时监测，当眨眼次数超过阈值或者微闭弧度持续时间超过阈值即人眼无法适应当前裸眼3d出屏效果。
s404：进一步的，当人眼疲劳监测到人眼无法适应当前裸眼3d出屏效果时，需要改变大于零平面的3d渲染层的裸眼图像排列顺序，新的裸眼图像排列顺序可以通过以下公式计算：
其中,ary(i)就是视点数为n的裸眼图像排列顺序，i是当前视点次序，dep当前裸眼图像的视差值，当dep＜0，裸眼图像画面是入屏效果，当dep＞0，裸眼图像画面是出屏效果，％是取余计算。通过监测到人眼疲劳状态，再来改变裸眼3d出屏效果，这样来减缓出屏效果左右眼过度视差值，就可以提升用户长时间观看裸眼3d画面的舒适度。
本说明书中公开的任一特性，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤之外，均可以以任何方式组合。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具类似目的的替代特征加以替代。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。