专利名称：基于眼动轨迹跟踪的景深融合增强显示方法及系统的制作方法
技术领域：
本发明涉及一种增强现实显示技术，特别是一种基于眼动轨迹跟踪的景深融合增强显示 方法及系统。
背景技术：
增强现实技术(AR---Augmented Reality)系统就是把VR放在真实的环境中去检査。从 目前发展趋势来看，这种与实际环境相结合的虚拟体验方式是虚拟现实技术发展最有效的实 施技术之一。头盔式显示器(Head-Mounted Displays,简称HMD)是AR系统的重要设备。 被广泛应用于虚拟现实与增强现实系统中，其最基本的功能是给用户提供一个沉浸式的感应 环境，头盔不仅仅起到显示器的作用，还辅助进行场景采集和跟踪注册。增强现实技术的研 究者们也采用了类似的显示技术，这就是在AR系统中广泛应用的穿透式HMD。根据具体实现 原理，又划分基于光学原理的穿透式HMD (Optical See-through HMD)和基于视频合成技术 的穿透式HMD (Video See-through HMD)。其中，光学原理的穿透式HMD (Optical See-through HMD)因为可以真正实现虚拟物体与真实物体的融合显示，应用更加广范。但如何融合虚拟与 真实一直是一项具有挑战的任务。其中，虚拟场景的景深感是重要的方面。
关于眼动研究，早在19世纪就有人通过考察人的眼球运动来研究人的心理活动，通过分 析记录到的眼动数据来探讨眼动与人的心理活动的关系。眼动仪的问世为心理学家利用眼动 技术(eye movement technique)探索人在各种不同条件下的视觉信息加工机制，观察其与 心理活动直接或间接奇妙而有趣的关系，提供了新的有效工具。眼动技术先后经历了观察法、 后像法、机械记录法、光学记录法、影像记录法等多种方法的演变。眼动技术就是通过对眼 动轨迹的记录从中提取诸如注视点、注视时间和次数、眼跳距离、瞳孔大小等数据，从而研 究个体的内在认知过程。利用眼动仪进行心理学研究常用的资料或参数主要包括注视点轨 迹图、眼动时间、眼跳方向(DIRECTION)的平均速度(AVERAGE VELOCITY)时间和距离(或称 幅度AMPLITUDES瞳孔(PUPIL)大小(面积或直径，单位象素pixel)和眨眼(Blink)。头 戴式Head Mounted Optics受试者戴上特制的头箍，上有红外摄像头，可捕捉眼球运动。另 一摄像头将外部场景摄录下来，与眼球运动在电脑上进行叠加处理，可分析眼睛对移动景物 的注视轨迹及凝视时间。
对于景深研究，专利CN02121681.9提出了一种配合景深的自动对焦方法，但是其方法是 依靠硬件实现的。具体是依靠电藕合器的大小操纵马达来实现镜头对焦过程。专利 CN200710018305.5提出了一种实现虚拟演播室前景景深，使主持人的注册位置有景深感。但是其主要考虑用户的测^:位置，没有考虑其它。专利CN200710040859.5提出了一套眼动轨迹 控制交互装置，仅用眼动轨迹来控制相关交互设备。专利CN00123510.9提出利用特定测试图 来测试景深。它的目的是调节摄像机的参数。专利CN02106639.6利用一种景深定位尺来调整 测试景深位置。专利CN95193447. 3利用激光来测定眼动位置。专利CN200510008494. 9提出 了一种利用各种棱镜来调节的光学调焦头盔。
目前，国内外还没有利用眼动轨迹来研究如何按自然场景来正确调整显示光透式头盔的 中的虚拟物体的研究与报道。上述专利及相关研究皆依靠硬件控制机构来实现景深效果，系 统灵活性较差，对焦更是通过镜头等光学构件等来实现(如专利CN02121681. 9、CN95193447. 3 和专利CN200510008494.9等)。而眼动轨迹控制装置(如CN200710040859. 5等)仅用来实现 类似鼠标的作用，尚无其它报道，更没有深入的应用研究，且没有把眼动轨迹设备用来作为 景深控制依据的研究，亦没有结合头盔显示器实现增强现实融合显示的研究与报道。
发明内容
鉴于以上所述现有技术存在的问题和不足，本发明的目的在于提供一种基于眼动轨迹跟 踪的景深融合增强显示方法及系统，它能同步拍摄背景图像数据，进行比较匹配跟踪，调整 光透式头盔显示器显示图像的聚焦程度，实现自动对焦增强显示。
为达到上述目的，本发明采用下述技术构思
根据人机工程学、摄影原理、运用计算机视觉技术、光学技术和人工智能技术，将实时 获取的眼动及背景的数据进行分析，将虚实物体进行对位，调整虚拟物体的图像显示聚焦程 度及虚拟场景景深。
本发明采用以下技术方案实现上述基于眼动轨迹跟踪的景深融合增强显示方法、其步 骤如下
① 、获取眼动轨迹与背景图像数据:校正眼动无线摄像头、背景无线摄像头，获取眼动轨 迹与背景图像数据；
② 、自动景深融合显示，其具体步骤如下 ②一①、生成初始训练数据库； ②一②、景深融合增强显示。
上述步骤①所述获取眼动轨迹，其具体步骤如下-
(1) 、通过眼动无线摄像头获取眼动轨迹；
(2) 、输入捕获的图像；
(3) 、眼动图像的角点特征检测；(4) 、目标对象分割；
(5) 、运动特征点匹配；
(6) 、特征点跟踪估计处理；
(7) 、轨迹记录生成；
(8) 、轨迹存储；
(9) 、获取眼动过程结束。
上述步骤①所述的获取背景数据，其具体步骤如下-
(10) 、通过背景无线摄像头获取背景数据；
(11) 、输入捕获的图像；
(12) 、背景对象特征检测；
(13) 、目标对象分割；
(14) 、运动特征点匹配；
(15) 、特征点跟踪估计处理；
(16) 、焦距信息概率生成轨迹记录生成；
(17) 、背景数据存储；
(18) 、获取背景数据过程结束。
上述步骤②一①所述的生成初始训练数据库，其步骤如下
(19) 、训练过程开始；
(20) 、进行眼动无线摄像头、背景无线摄像头校正，调整其的内参与外参，防止畸变产生；
(21) 、获取眼动轨迹数据；
(22) 、获取背景图像数据；
(23) 、初始化训练数据库；
(24) 、转换概率分布信息；
(25) 、存储记录；
(26) 、训练数据库中的样本记录是否足够？如果样本记录 够，则转步骤(28)，否则转步 骤(27);
(27) 、调整背景与眼动对应的参数信息，再转到步骤(21)继续运行；
(28) 、训练过程结束。
上述步骤②—②所示的景深融合增强显示，其步骤如下
(29) 、跟踪过程开始；(30) 、进行眼动无线摄像头、背景无线摄像头校正，调整其的内参与外参，防止畸变产生；
(31) 、获取眼动轨迹数据；
(32) 、获取背景图像数据；
(33) 、转换概率分布信息；
(34) 、查询数据库是否匹配？如果匹配不成功，则进行步骤(35)，如果匹配成功，则转步 骤(36);
(35) 、存储记录到训练数据库； (36)、转换景深数据与焦距数据，
(37)、融合渲染。
(38)、再响应用户输入以判断跟踪是否结束？如果跟踪结束，则转步骤(39)。否则重新转入步 骤(31)，进入下一次数据库匹配。 (39)、根据参数调整渲染参数，完成根据眼动轨迹跟踪的自动景深融合增强现实显示。 一种用于基于眼动轨迹跟踪的景深融合增强显示方法的系统包括安装在光透式头盔的眼 动无线摄像头、背景无线摄像头、微处理机，眼动无线摄像头正方向对准一只眼睛，背景无 线摄像头平视方向对准背景，分别对眼动轨迹与背景数据进行采集，微处理机装有无线接收 装置。
本发明与现有技术相比较，具有如下显而易见的突出特点和显著优点本发明采用无线
摄像头拍摄眼动图像与背景图像，并根据对景深及眼动轨迹的训练信息，利用实时拍摄的眼
部轨迹数据，并与它能同步拍摄的背景图像数据，进行比较匹配跟踪，调整光透式头盔显示
器显示图像的聚焦程度，实现自动对焦增强现实显示。该系统采用无线摄像头拍摄，可以在
移动情况或在室外环境应用，增加了系统的应用范围。
图1为本发明的基于眼动轨迹跟踪的景深融合增强显示方法程序框图2为本发明的基于眼动轨迹跟踪的景深融合增强显示系统硬件结构示意图
图3为示例的获取眼动轨迹与背景数据的流程图4为示例的训练与跟踪过程详细流程框图。
具体实施例方式
以下结合附图对本发明的实施例作进一步的详细说明本发明提供的方法是一种基于眼 动轨迹跟踪的景深融合增强显示方法，包括首先对拍摄的眼动图像进行分割，获取单独的 眼部对象。为增加实时处理的能力，利用简单的阈值方法分割加模板匹配即可，但对于具体的阈值可以根据光照条件进行调整，光照参数的获得由背景图像分析得到。利用眼部语义模 板进行眼部对象匹配，眼部语义可简单定义如下 _￡ = (e，cA,c,., |XI),A: = l，2,3;c,. e cA e e
其中，e表示眼部对象；A表示眼球内的瞳孔部位；^表示眼球部位；f[W是纹理信息矩
阵，包括各部分的平均纹理值范围；e'e^ee表示眼部各部分的语义归属信息。
获得眼部对象后，对眼球特征根据语义进行特征提取，提取出至少2个成功的眼球特征 语义。并对其进行连续的跟踪60帧(大约2s)，并绘制出跟踪轨迹图。对于图像抖动问题， 利用中值滤波平均，得到眼动轨迹图备用。
同样，对拍摄的背景图像进行分割，获取主要对象信息。包括对象之间的遮挡情况、光 照条件，景深情况等参数。跟踪凝视对象的特征点，得到注册的估计位置。结合眼动轨迹与 景深参数进行凝视对比分析，凝视对象的获取方法为当凝视停留时间较长(大于lOOms)的 对象认为是预测的凝视对象。根据从背景图像取得的凝视对象的遮挡与景深参数，方向是分 割出对象集后，进行对象3D碰撞关系检测，计算出背景的遮挡情况；光照条件根据对象集的 各个对象的平均纹理变化逆向跟踪计算出虚拟光源的位置(为计算简便，仅假设一个平行光 源与一个点光源的条件)；再根据凝视对象利用牛顿迭代估算出虚拟物体的精确注册位置；从 而确定景深参数与对焦参数，利用对焦参数确定模糊系数，利用景深参数确定焦距。
然后，再利用上述相关的参数渲染出虚拟物体，这样在每帧时根据参数调整渲染参数， 实现根据眼动轨迹跟踪的自动景深融合增强现实显示。
为加快处理速度，实现实时应用。本发明利用分类训练方法提高处理速度。主要是 先利用训练过程训练常见光照及景深及遮挡情况。把相关的轨迹图片与背景图像的关系存储 成概率分布的关系；具体描述如下 一个对象的分类特征的二进制集定义为S，集合为-
分类数目为M，则整个分类块的数目为S*il/，则找出类"(C。)的概率为 7>( ,..，《，|。4 2~， 简化分类归纳为
尸(q/i ， 。/2,…,IC。 ) — n二 P(OFJ IC。 ) — M * 2s ， 即在某种眼动轨迹与背景的情况下，估计是这些分类对象的参数的可信性。把这些训练 结果存入数据库，再以后陌生 景中可以自动学习，实现快速处理。当然，对于完全陌生的场景，学习过程也很快，仅需要建立初始的训练库后，实现匹配的速度可以达到实时处理的 要求。
本发明的一个具体优选实施例，如图1所示，上述基于眼动轨迹跟踪的景深融合增强显 示方法包括步骤如下
① 、获取眼动轨迹与背景图像数据眼动无线摄像头经校正，获取眼动轨迹与背景图像数据；
② 、自动景深融合显示，其具体步骤如下②一①、生成初始训练数据库；②一②、与景深 融合增强显示过程。
如图2所示，所述的用于基于眼动轨迹跟踪的景深融合增强显示方法的系统包括安装在 光透式头盔上眼动无线摄像头、背景无线摄像头、微处理机，眼动无线摄像头正方向对准一 只眼睛，背景无线摄像头平视方向对准背景，分别对眼动轨迹与背景数据进行采集，微处理 机装有无线接收装置。
上述步骤①所述获取眼动轨迹，如图3， l)所示，图像获取，通过眼动无线摄像头，获 取眼动图像，要求至少每秒拍摄30帧图像，其具体步骤如下
(1)、通过眼动无线摄像头获取眼动轨迹;
(2)、输入捕获的图像；
(3)、眼动图像的角点特征检测；
(4)、目标对象分割；
(5)、运动特征点匹配；
(6)、特征点跟踪估计处理；
(7)、轨迹记录生成；
(8)、轨迹存储；
(9)、获取眼动过程结束。
上述步骤①所述的获取背景数据，如图3 2)所示，图像获取，通过背景无线摄像头，获 取背景图像。要求至少每秒拍摄15帧图像，其具体步骤包括-
(10) 、通过背景无线摄像头获取背景数据；
(11) 、输入捕获的图像；
(12) 、背景对象特征检测；
(13) 、目标对象分割；
(14) 、运动特征点匹配；
(15) 、特征点跟踪估计处理；
9(16) 、焦距信息概率生成轨迹记录生成；
(17) 、背景数据存储；
(18) 、获取背景数据过程结束
上述步骤②所述的生成初始训练数据库的训练过程，如图4 l)所示，其具体步骤
(19) 、训练过程开始；
(20) 、进行眼动无线摄像头、背景无线摄像头校正，调整其的内参与外参，防止畸变产生；
(21) 、获取眼动轨迹数据；
(22) 、获取背景图像数据；
(23) 、初始化训练数据库；
(24) 、转换概率分布信息；
(25) 、存储记录；
(26) 、训练数据库中的样本记录是否足够？如果样本记录足够，则转步骤(28)，否则转步 骤(27);
(27) 、调整背景与眼动对应的参数信息后，再转到步骤(21)继续运行；
(28) 、训练过程结束。 上述步骤②所述的景深融合增强显过程，如图4 2)所示，其具体步骤如下-
(29) 、跟踪过程开始；
(30) 、进行眼动无线摄像头、背景无线摄像头校正，调整其的内参与外参，防止畸变产生；
(31) 、获取眼动轨迹数据；
(32) 、获取背景图像数据；
(33) 、转换概率分布信息；
(34) 、査询数据库是否匹配？如果匹配不成功，则继续进行(35)，如果匹配成功，则转步 骤(36):
(35) 、存储记录到训练数据库； (36)、转换景深数据与焦距数据，
(37)、融合渲染。
(38)、再响应用户输入以判断跟踪是否结束？如果跟踪结束，则转步骤(39)，否则重新转入步 骤(31)，进入下一次数据库匹配。 (39)、根据参数调整渲染参数，完成根据眼动轨迹跟踪的自动景深融合增强现实显示。
权利要求
1.一种基于眼动轨迹跟踪的景深融合增强显示方法、其特征在于该方法包括步骤如下①、获取眼动轨迹与背景图像数据眼动无线摄像头、背景无线摄像头经校正，获取眼动轨迹与背景图像数据；②、自动景深融合显示，其具体步骤如下②-①生成初始训练数据库；②-②景深融合增强显示。
2. 根据权利要求1所述的基于眼动轨迹跟踪的景深融合增强显示方法，其特征在于，上述步 骤①所述获取眼动轨迹，其具体步骤如下(1)、通过眼动无线摄像头获取眼动轨迹;(2)、输入捕获的图像；(3)、眼动图像的角点特征检测；(4)、目标对象分割；(5)、运动特征点匹配；(6)、特征点跟踪估计处理；(7)、轨迹记录生成,-(8)、轨迹存储；(9)、获取眼动过程结束。
3.根据权利要求2所述的基于眼动轨迹跟踪的景深融合增强显示方法，其特征在于，上述步 骤①所述的获取背景数据，其具体步骤如下-(10)、通过背景无线摄像头获取背景数据;(11)、输入捕获的图像；(12)、背景对象特征检测；(13)、目标对象分割；(14)、运动特征点匹配；(15)、特征点跟踪估计处理；(16)、焦距信息概率生成轨迹记录生成；(17)、背景数据存储；(18)、获取背景数据过程结束。
4.根据权利要求3所述的基于眼动轨迹跟踪的景深融合增强显示方法，其特征在于，上述步 骤②一①所述的生成初始训练数据库，其步骤如下(19) 、训练过程开始；(20) 、进行相机校正，调整相机的内参与外参，防止畸变产生；(21) 、获取眼动轨迹数据；(22) 、获取背景图像数据；(23) 、初始化训练数据库；(24) 、转换概率分布信息；(25) 、存储记录；(26) 、训练数据库中的样本记录是否足够？如果样本记录足够，则转步骤(28)，否则 转步骤(27);(27) 、调整背景与眼动对应的参数信息后，再转到步骤(21)继续运行；(28) 、训练过程结束。
5. 根据权利要求4所述的基于眼动轨迹跟踪的景深融合增强显示方法，其特征在于，上述步 骤②一②所示的景深融合增强显示，其步骤如下.-(29) 、跟踪过程开始；(30) 、进行眼动无线摄像头、背景无线摄像头校正，调整其的内参与外参，防止畸变产生；(31) 、获取眼动轨迹数据；(32) 、获取背景图像数据；(33) 、转换概率分布信息；(34) 、査询数据库是否匹配？如果匹配不成功，则继续进行(35)，如果匹配成功，则转步 骤(36);(35) 、存储记录到训练数据库； (36)、转换景深数据与焦距数据，(37)、融合渲染；(38)、再响应用户输入以判断跟踪是否结束？如果跟踪结束，则转步骤(39);否则重新转入步 骤(31)，进入下一次数据库匹配； (39)、根据参数调整渲染参数，完成根据眼动轨迹跟踪的自动景深融合增强现实显示。
6. —种用于权利要求1所述基于眼动轨迹跟踪的景深融合增强显示方法的系统，其特征在 于，它包括安装在光透式头盔的眼动无线摄像头、背景无线摄像头、微处理机，眼动无线 摄像头正方向对准一只眼睛，背景无线摄像头平视方向对准背景，分别对眼动轨迹与背景 数据进行采集，上述微处理机装有无线接收装置。
全文摘要
本发明公开了一种根据眼动轨迹跟踪的自动景深融合增强现实显示方法及系统，该方法步骤如下①获取眼动轨迹与背景图像数据，眼动摄像机经校正，获取眼动轨迹与背景图像数据；②自动景深融合显示，其具体步骤生成初始训练数据库；转换概率分布信息；查询数据库；转换景深与焦距数据；位姿估计；虚实融合；渲染图像。该系统包括装在头盔上的眼动无线摄像头、背景无线摄像头、微处理机，微处理机装有无线接收装置。本发明采用摄像头拍摄眼动图像与背景图像，根据对景深及眼动轨迹的训练信息，利用实时拍摄的眼部轨迹数据，它能同步拍摄的背景图像数据，进行比较匹配跟踪，调整光透式头盔显示器显示图像的聚焦程度，实现自动对焦增强现实显示。
文档编号G06K9/00GK101587542SQ20091005386
公开日2009年11月25日 申请日期2009年6月26日 优先权日2009年6月26日
发明者燕 刘, 姚争为, 李启明, 谭志鹏, 邹一波, 陆意骏, 伟 陈, 明 陈, 陈一民, 黄诗华 申请人:上海大学