一种基于fpga的高速视线跟踪方法
【技术领域】
[0001]本发明涉及医学领域，尤其涉及一种基于FPGA的高速视线跟踪方法。
【背景技术】
[0002]视线跟踪(或眼动追踪，英文eye tracking)，是指通过测量眼球运动或者眼球相对头部的运动而实现对眼睛注视点的追踪。眼动仪是一种能够跟踪测量眼球位置及眼球运动信息的一种设备，在视觉系统、心理学、认知语言学的研宄中有广泛的应用。目前眼动追踪有多种方法，其中最常用的无创手段是通过视频拍摄设备来获取眼睛的位置。有创的手段包括在眼睛中埋置眼动测定线圈或者使用微电极描记眼动电图。
【发明内容】
[0003]本发明旨在提供一种基于FPGA的高速视线跟踪方法，使用图像传感器采集眼球的图像信息，再对采集的视频使用算法进行数据提取，获取到瞳孔和反射斑的移动轨迹坐标，实现视线跟踪。
[0004]为达到上述目的，本发明是采用以下技术方案实现的:
[0005]本发明公开的基于FPGA的高速视线跟踪方法，包括以下步骤:
[0006]a、图像采集，采用受控于FPGA的高速图像传感器采集眼球的图像信息，并存储图像信息；
[0007]b、基于FPGA的瞳孔与反射斑的并行定位，在每一个数据帧对瞳孔和反射斑的坐标进行计算，将存储图像信息的存储空间分为奇数页及偶数页，当奇数页正在写入数据时，偶数页进行定位运算；当偶数页开始写入数据时，奇数页开始进行定位运算；
[0008]C、视线的确定，经FPGA硬件计算获得瞳孔和反射光斑位置后，利用角膜瞳孔反射关系的光学模型获得视线。
[0009]优选的，在步骤a中，所述高速图像传感器为COMOS图像传感器。
[0010]进一步的，在步骤a中，所述图像信息存储在外置RAM中，所述外置RAM与FPGA电连接。
[0011]进一步的，在步骤a中，FPGA首先完成对COMOS图像传感器的初始化配置，初始化的参数包括分辨率、采集帧率、灰度值、亮度值，并控制COMOS图像传感器进入设定的工作模式，COMOS图像传感器进入工作模式后，在FPGA给出的系统时钟控制下，开始连续获取视频数据；
[0012]进一步的，在步骤c中，所述瞳孔和反射光斑位置信息通过以太网接口传送到计算机，计算机采用角膜瞳孔反射关系的光学模型获得视线并显示视线运动轨迹。
[0013]优选的，所述FPGA中固化有CamShift算法逻辑模块，所述高速图像传感器传送的图像数据流通过CamShift算法逻辑模块计算后传送到以太网接口。
[0014]优选的，所述FPGA中固化有千兆数据链路模块，所述高速图像传感器传送的图像数据流通过千兆数据链路模块传送到以太网接口。
[0015]优选的，所述分辨率不小于320*240，所述采集帧率不小于500帧/秒，所述灰度值采用8位二进制数表征。
[0016]优选的，所述基于FPGA的高速视线跟踪方法适应的光照环境如下:在人眼的正前方设置屏幕，光源和高速图像传感器与人眼位于屏幕的同一侧，人眼、光源、高速图像传感器位于同一水平面上。
[0017]进一步的，所述图像信息的灰度像素数据传输到计算机端后，再使用接口软件转换成黑白的视频图像进行显示，并保存为预定的数据格式。
[0018]本发明采用无创手段来获取被测者眼睛的眼动信息，使用高速摄像机拍摄眼部，再对采集的视频使用算法进行数据提取，获取到瞳孔和反射斑的移动轨迹坐标，实现视线跟踪。这种在视觉刺激跟踪场合具有非常宽广的意义，可用于在如心理测试领域，因为很多心理受访者往往处于某种闭塞的心理保护，但如果施加某种视觉刺激或语言告知，往往会引起其眼部发生某种变化，即某种不安情绪会通过眼球的移动反映出来，从而对其进行下一步诱导。
【附图说明】
[0019]图1为本发明的原理框图；
[0020]图2为本发明光照环境示意图；
[0021]图中:1-光源、2-高速摄像机、3-人眼、4 =视线、5 =屏幕。
【具体实施方式】
[0022]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。
[0023]如图1所示，本发明公开的基于FPGA的高速视线跟踪方法，采用帧率在500帧/秒(fps)，分辨率在320*240以上高速摄像机即可，但市面上销售的高速摄像机无FPGA硬件处理接口，所以本系统采用CMOS图像传感器LUPA300作为高速图像传感单元，利用FPGA作为主控核心完成采集时序，并完成采集数据的存储，具体过程如下:
[0024]1、图像数据采集
[0025]FPGA首先完成对LUPA300高速图像传感器的初始化配置，如分辨率、采集帧率、灰度值、亮度值等，使其进入设定的工作模式。LUPA300进入工作模式后，在FPGA给出的系统时钟控制下，开始连续获取视频数据，FPGA硬件逻辑的并行高速特性为视频数据的连续不间断采集及瞳孔-反射斑算法实现提供了有力保证。
[0026]通过LUPA300采集到的8位数据代表了当前像素的灰度值，在数据流传输的过程中，数据的吞吐量是非常大的，在320*240分辨率时，可达320*240*500*8 = 307.2Mb/s。FPGA内置的M4K存储器块无法缓存，这里使用千兆数据链路逻辑，将视频图像数据流通过千兆以太网接口实时传输到计算机端进行存储。灰度像素数据传输到计算机端后，再使用接口软件转换成黑白的视频图像进行显示，并保存为特定的数据格式。
[0027]在进行千兆数据链路传输的同时，FPGA将视频数据流按帧同步存入外部的SRAM存储器，本设计中使用了 IS61LV25616高速型SRAM，具有16位数据位宽，存储容量可达256KB，足够为单幅图像提供帧缓存。
[0028]2、基于FPGA的瞳孔与反射斑的并行定位
[0029]获取到帧数据流的同时，为了完成实现实时的视线跟踪，需要对帧图像数据进行处理，对瞳孔和反射斑进行坐标进行计算。处理由由FPGA并行完成。
[0030]由于帧数据流的传输是不间断的，并且瞳孔和反射斑定位运算需要完整的数据帧才能进行，为了保证存入和运算的不间断进行，将IS61LV25616SRAM的存储空间分为奇数页及偶数页，当奇数页正在写入数据时，偶数页进行定位运算；当偶数页开始写入数据时，奇数页开始进行定位运算，即常说的乒乓操作。由于FPGA的运行逻辑是并行的，乒乓操作可以保证连续帧的定位计算的不间断进行，从而也可以最高效地利用数据存储器资源。
[0031]3、视线的确定算法
[0032]经FPGA硬件计算获得瞳孔和反射光斑位置后，利用角膜瞳孔反射关系的光学模型获得视线。
[0033]角膜瞳孔反射关系光学模型确定视线的原理如下:在光照情况下，眼睛图像或有一黑色瞳孔和高亮反射斑，进行视线跟踪的光照环境图2所示:在屏幕5的左边放置光源I和高速摄像机2，屏幕5在人眼3的正前方，同时令人眼3，光源1，高速摄像机2在同一水平面上，人眼3的视线4跟踪屏幕5上的诱导目标。
[0034]当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
【主权项】
1.一种基于FPGA的高速视线跟踪方法，其特征在于，包括以下步骤: a、图像采集，采用受控于FPGA的高速图像传感器采集眼球的图像信息，并存储图像信息; b、基于FPGA的瞳孔与反射斑的并行定位，在每一个数据帧对瞳孔和反射斑的坐标进行计算，将存储图像信息的存储空间分为奇数页及偶数页，当奇数页正在写入数据时，偶数页进行定位运算；当偶数页开始写入数据时，奇数页开始进行定位运算； c、视线的确定，经FPGA硬件计算获得瞳孔和反射光斑位置后，利用角膜瞳孔反射关系的光学模型获得视线。2.根据权利要求1所述的基于FPGA的高速视线跟踪方法，其特征在于，在步骤a中，所述高速图像传感器为COMOS图像传感器。3.根据权利要求1所述的基于FPGA的高速视线跟踪方法，其特征在于，在步骤a中，所述图像信息存储在外置RAM中，所述外置RAM与FPGA电连接。4.根据权利要求1所述的基于FPGA的高速视线跟踪方法，其特征在于，在步骤a中，FPGA首先完成对COMOS图像传感器的初始化配置，初始化的参数包括分辨率、采集帧率、灰度值、亮度值，并控制COMOS图像传感器进入设定的工作模式，COMOS图像传感器进入工作模式后，在FPGA给出的系统时钟控制下，开始连续获取视频数据。5.根据权利要求1所述的基于FPGA的高速视线跟踪方法，其特征在于，在步骤c中，所述瞳孔和反射光斑位置信息通过以太网接口传送到计算机，计算机采用角膜瞳孔反射关系的光学模型获得视线并显示视线运动轨迹。6.根据权利要求5所述的基于FPGA的高速视线跟踪方法，其特征在于，所述FPGA中固化有CamShift算法逻辑模块，所述高速图像传感器传送的图像数据流通过CamShift算法逻辑模块计算后传送到以太网接口。7.根据权利要求5所述的基于FPGA的高速视线跟踪方法，其特征在于，所述FPGA中固化有千兆数据链路模块，所述高速图像传感器传送的图像数据流通过千兆数据链路模块传送到以太网接口。8.根据权利要求4所述的基于FPGA的高速视线跟踪方法，其特征在于，所述分辨率不小于320*240，所述采集帧率不小于500帧/秒，所述灰度值采用8位二进制数表征。9.根据权利要求1所述的基于FPGA的高速视线跟踪方法，其特征在于，所述基于FPGA的高速视线跟踪方法适应的光照环境如下:在人眼的正前方设置屏幕，光源和高速图像传感器与人眼位于屏幕的同一侧，人眼、光源、高速图像传感器位于同一水平面上。10.根据权利要求5所述的基于FPGA的高速视线跟踪方法，其特征在于，所述图像信息的灰度像素数据传输到计算机端后，再使用接口软件转换成黑白的视频图像进行显示，并保存为预定的数据格式。
【专利摘要】本发明公开一种基于FPGA的高速视线跟踪方法，包括以下步骤：a、图像采集，采用受控于FPGA的高速图像传感器采集眼球的图像信息，并存储图像信息；b、基于FPGA的瞳孔与反射斑的并行定位，在每一个数据帧对瞳孔和反射斑的坐标进行计算，将存储图像信息的存储空间分为奇数页及偶数页，当奇数页正在写入数据时，偶数页进行定位运算；当偶数页开始写入数据时，奇数页开始进行定位运算；c、视线的确定，经FPGA硬件计算获得瞳孔和反射光斑位置后，利用角膜瞳孔反射关系的光学模型获得视线。本发明能够获取到瞳孔和反射斑的移动轨迹坐标，实现视线跟踪。
【IPC分类】A61B3/113
【公开号】CN104905764
【申请号】CN201510308880
【发明人】龚启勇, 幸浩洋, 邹云海, 杨波, 孙怀强
【申请人】四川大学华西医院
【公开日】2015年9月16日
【申请日】2015年6月8日