视线追踪及人眼感兴趣区域定位系统的制作方法
【专利摘要】本实用新型公开了一种视线追踪及人眼感兴趣区域定位系统，包括图像采集设备、硬件平台和显示输出设备，图像采集设备包括红外人眼相机和前景相机，红外人眼相机和前景相机的输出端分别与硬件平台的输入端相连，硬件平台的输出端与显示输出设备的输入端相连；所述硬件平台包括存储单元，硬件平台是基于FPGA和双核ARM9处理器；所述红外人眼相机用于拍摄人眼瞳孔图像，并将该图像实时传输至硬件平台；前景相机用于拍摄人眼视线区域图像，将人眼视线区域图像实时传输至硬件平台；通过利用本实用新型瞳孔与标记点的映射关系即可以确定人眼在视线区域图像中的注视点/感兴趣点，实现了视线追踪的功能。
【专利说明】
视线追踪及人眼感兴趣区域定位系统
技术领域
[0001]本实用新型涉及一种可穿戴式电子设备，尤其是一种基于瞳孔检测技术的视线追踪和人眼感兴趣区域定位系统。
【背景技术】
[0002]视线追踪技术广泛用于商业数据分析、车辆辅助驾驶、心理与生理学研究、人因分析、虚拟现实等领域。目前国内视线追踪领域的研究也正处于起步阶段，国外主要是为数不多的几家发达国家高科技公司掌握关键技术并推出了成熟产品。它们的产品价格都十分昂贵，配套软件需要额外购买，并且结构复杂，使用过程相对繁琐，这些因素限制了视线追踪技术更加广泛的应用。
【实用新型内容】
[0003]为了解决【背景技术】中的问题，本实用新型提出了一种精度较高，成本较低，结构简单，容易使用的视线追踪及人眼感兴趣区域定位系统。
[0004]本实用新型给出以下技术方案:
[0005]视线追踪及人眼感兴趣区域定位系统，其特殊之处在于:包括图像采集设备、硬件平台和显示输出设备，图像采集设备包括红外人眼相机和前景相机，红外人眼相机和前景相机的输出端分别与硬件平台的输入端相连，硬件平台的输出端与显示输出设备的输入端相连；
[0006]所述硬件平台包括存储单元，硬件平台是基于FPGA和双核ARM9处理器；
[0007]所述红外人眼相机，用于拍摄人眼瞳孔图像，并将该图像实时传输至硬件平台；前景相机用于拍摄人眼视线区域图像，将人眼视线区域图像实时传输至硬件平台；
[0008]硬件平台用于处理接收到的人眼瞳孔图像，并获得相应瞳孔的运动轨迹；
[0009]硬件平台还用于:生成设有多个标记点的标记点图像，建立标记点图像中标记点的坐标，将标记点图像发送至显示输出设备;采集瞳孔位置，瞳孔位置是指观察标记点图像中标记点的瞳孔位置，建立瞳孔的坐标:根据标记点的坐标与瞳孔的坐标，建立瞳孔与标记点的映射关系；
[0010]硬件平台还用于将接收到的人眼视线区域图像与瞳孔运动轨迹结合，根据建立的瞳孔与标记点的映射关系，得到瞳孔运动轨迹与人眼视线区域图像的映射关系，并在显示输出设备显不;
[0011]其中，标记点图像与人眼视线区域图像的分辨率相同；
[0012]所述存储单元用于存储硬件平台接受到的人眼瞳孔图像和人眼视线区域图像。
[0013]瞳孔与标记点的映射关系是根据标记点的坐标除以对应的瞳孔坐标建立的。具体的建立方法:硬件平台生成标记点图像(标记点图像设有多个标记点)，建立标记点图像中标记点的坐标，将标记点图像发送至显示输出设备，通过人眼观测显示输出设备上标记图像内的标记点，记录瞳孔在人眼注视这些标记点时的位置，建立瞳孔坐标，再用每个标记点的坐标除以对应的瞳孔坐标，得到映射系数，利用映射系数建立瞳孔与标记点的映射关系。
[0014]因此以后只需检测瞳孔运动轨迹，利用瞳孔与标记点的映射关系即可以确定人眼在视线区域图像中的注视点/感兴趣点，实现视线追踪的功能。
[0015]硬件平台运行的软件系统包括Linux操作系统，内核版本为3.03，在Linux操作系统中运行QT和OpenCV交叉编译环境，在交叉编译环境中生成双核ARM9处理器可执行文件；存储单元还用于存储Linux操作系统。
[0016]上述硬件平台还包括电源模块、VGA显示接口和USB OTG接口；
[0017]所述电源模块为TI公司TPS系列电源芯片；
[0018]所述VGA显示接口为ADV7511芯片和HDM1-VGA转接器；
[0019]所述USB OTG接口为TUSBl 210芯片；
[0020]所述存储单元为SD卡和/或U盘；
[0021 ] 所述FPGA和双核ARM9处理器为Xilinx公司的ZYNQ-7020芯片。
[0022]红外人眼相机为320*240分辨率的近红外CMOS相机，前景相机为640*480分辨率的广角可见光CMOS相机。
[0023]硬件平台通过存储在存储单元卡中的Linux操作系统，将Linux操作系统挂载在双核AMR9处理器内部。
[0024]上述QT软件版本为4.8.1,所述OpenCV版本为2.4.11。
[0025]上述红外人眼相机和前景相机分别通过USB OTG接口与硬件平台相连;所述显示输出设备通过VGA显示接口与硬件平台相连
[0026]上述视线追踪及人眼感兴趣区域定位系统还包括具有控制功能的外部设备，具有控制功能的外部设备是鼠标和键盘，所述鼠标和键盘均通过USB OTG接口与硬件平台相连。
[0027]本实用新型具有以下技术效果:
[0028]利用本实用新型瞳孔与标记点的映射关系，可以确定人眼在视线区域图像中的注视点/感兴趣点，能够实现视线追踪的功能，因此，本实用新型可以为商业领域的宣传文案、海报设计、网页视觉效果、包装设计等提供观测效果的试验分析，计算消费者对海报广告设计的主要观测兴趣位置，从而优化海报广告的设计以达到更好的宣传期望；也可以将本实用新型制作成可穿戴的，可以辅助用户实时分析测试者感兴趣区域。
【附图说明】
[0029]图1是本实用新型视线追踪及人眼感兴趣区域定位系统的实现框图。
[0030]图2是硬件平台具体电路原理图。
[0031]图3是本实用新型软件系统总体结构。
[0032]图4是本实用新型外部接口示意图。
[0033]图5是本实用新型软件系统流程图。
【具体实施方式】
[0034]本实用新型提出了一种视线追踪及人眼感兴趣区域定位系统，如图1至图5，包括图像采集设备、硬件平台和显示输出设备，图像采集设备包括红外人眼相机和前景相机，红外人眼相机和前景相机的输出端分别与硬件平台的输入端相连，硬件平台的输出端与显示输出设备的输入端相连；
[0035]所述硬件平台包括存储单元，硬件平台是基于FPGA和双核ARM9处理器；
[0036]所述红外人眼相机，用于拍摄人眼瞳孔图像，并将该图像实时传输至硬件平台；前景相机用于拍摄人眼视线区域图像，将人眼视线区域图像实时传输至硬件平台；
[0037]硬件平台用于处理接收到的人眼瞳孔图像，并获得相应瞳孔的运动轨迹；
[0038]硬件平台还用于:生成设有多个标记点的标记点图像，建立标记点图像中标记点的坐标，将标记点图像发送至显示输出设备;采集瞳孔位置，瞳孔位置是指观察标记点图像中标记点的瞳孔位置，建立瞳孔的坐标:根据标记点的坐标与瞳孔的坐标，建立瞳孔与标记点的映射关系；
[0039]硬件平台还用于将接收到的人眼视线区域图像与瞳孔运动轨迹结合，根据建立的瞳孔与标记点的映射关系，得到瞳孔运动轨迹与人眼视线区域图像的映射关系，并在显示输出设备显不;
[0040]其中，标记点图像与人眼视线区域图像的分辨率相同；
[0041]所述存储单元用于存储硬件平台接受到的人眼瞳孔图像和人眼视线区域图像。
[0042I硬件平台运行的软件系统包括Linux操作系统，内核版本为3.03，Linux操作系统为基于Linux3.13内核版本的定制操作系统，具体版本为Ubuntul2.04LTS;在Linux操作系统中运行QT和OpenCV交叉编译环境，在交叉编译环境中实现映射关系，其中，QT软件版本为4.8.1，OpenCV版本为2.4.11；存储单元还用于存储Linux操作系统;硬件平台通过存储在存储单元卡中的Linux操作系统，将Linux操作系统挂载在双核AMR9处理器内部。
[0043]如图2，硬件平台还包括电源模块、VGA显示接口和USB OTG接口；电源模块为TI公司TPS系列电源芯片；VGA显示接口为ADV7511芯片和HDM1-VGA转接器；USB OTG接口为TUSB1210芯片;存储单元为SD卡和/或U盘。FPGA和双核ARM9处理器均为Xilinx公司的ZYNQ-7020芯片。该芯片内部集成Xi I inx公司最新7系列FPGA和双核ARM9处理器，并且通过AXI总线实现FPGA与ARM处理器的高速通信。
[0044]红外人眼相机和前景相机分别通过USBOTG接口与硬件平台相连;所述显示输出设备通过VGA显示接口与硬件平台相连；
[0045]红外人眼相机可采用为320*240分辨率的近红外CMOS相机，前景相机可采用为640*480分辨率的高清广角可见光CMOS相机。
[0046]显示输出设备为一块1280*800分辨率的VGA接口显示屏。显示器主要显示红外相机拍摄人眼瞳孔图像、前景相机模拟人眼视野图像、人眼感兴趣区域标记与追踪、参数设置区域。
[0047]视线追踪及人眼感兴趣区域定位系统还包括具有控制功能的外部设备，具有控制功能的外部设备是鼠标和键盘，所述鼠标和键盘均通过USB OTG接口与硬件平台相连，实现人机交互界面控制和Linux操作系统命令输入。
[0048]参见图3，是硬件平台运行的软件系统的总体结构和模块外部设计。根据软件系统的功能性需求，可以将软件系统划分为5个功能模块分别为:相机控制与显示、人眼视线中心定位、革E标定位、感兴趣区域的定位，姿态估计与目标位置矫正。
[0049]参见图4，用户界面中的要素主要有三部分:红外拍摄瞳孔相机的显示区域、前景相机视频的显示区域、测试图像的显示与更新区域。
[0050]参见图5，测试人员通过用户界面按照系统提示完成瞳孔位置标定，瞳孔位姿与显示区域映射关系建立。
[0051]相对于现有的技术，本实用新型视线追踪及人眼感兴趣区域定位系统，充分利用了ARM加FPGA硬件平台，在嵌入式操作系统中运行QT和OpenCV镜像库文件，在QT编程界面中利用C++语言实现人眼瞳孔检测和视线追踪，并建立友好的人机交互界面，利用高清显示器标记人眼感兴趣区域，最终将统计数据保存以备后续分析。相比于现有同类型产品具有相似精度，但成本较低，技术难度要求小的特点。
[0052]上述内容是结合具体的优选实施方式对本实用新型作说明，不能认定本实用新型的具体实施只局限于这些说明。对于本实用新型所属技术领域的普通技术人员来说，在不脱离本实用新型构思的前提下，还可以做出若干简单推演或替换。
【主权项】
1.视线追踪及人眼感兴趣区域定位系统，其特征在于:包括图像采集设备、硬件平台和显示输出设备，图像采集设备包括红外人眼相机和前景相机，红外人眼相机和前景相机的输出端分别与硬件平台的输入端相连，硬件平台的输出端与显示输出设备的输入端相连； 所述硬件平台包括存储单元，硬件平台是基于FPGA和双核ARM9处理器； 所述红外人眼相机用于拍摄人眼瞳孔图像，并将该图像实时传输至硬件平台；前景相机用于拍摄人眼视线区域图像，将人眼视线区域图像实时传输至硬件平台； 硬件平台用于处理接收到的人眼瞳孔图像，并获得相应瞳孔的运动轨迹； 硬件平台还用于:生成设有多个标记点的标记点图像，建立标记点图像中标记点的坐标，将标记点图像发送至显示输出设备;采集瞳孔位置，瞳孔位置是指观察标记点图像中标记点的瞳孔位置，建立瞳孔的坐标:根据标记点的坐标与瞳孔的坐标，建立瞳孔与标记点的映射关系； 硬件平台还用于将接收到的人眼视线区域图像与瞳孔运动轨迹结合，根据建立的瞳孔与标记点的映射关系，得到瞳孔运动轨迹与人眼视线区域图像的映射关系，并在显示输出设备显示； 其中，标记点图像与人眼视线区域图像的分辨率相同； 所述存储单元用于存储硬件平台接受到的人眼瞳孔图像和人眼视线区域图像。2.根据权利要求1所述的视线追踪及人眼感兴趣区域定位系统，其特征在于:所述硬件平台还包括电源模块、VGA显示接口和USB OTG接口 ； 所述电源模块为TI公司TPS系列电源芯片； 所述VGA显示接口为ADV7511芯片和HDM1-VGA转接器； 所述USB OTG接口为TUSB1210芯片； 所述存储单元为SD卡和/或U盘； 所述FPGA和双核ARM9处理器为Xi I inx公司的ZYNQ-7020芯片。3.根据权利要求2所述的视线追踪及人眼感兴趣区域定位系统，其特征在于:红外人眼相机为320*240分辨率的近红外CMOS相机，前景相机为640*480分辨率的广角可见光CMOS相机。4.根据权利要求3所述的视线追踪及人眼感兴趣区域定位系统，其特征在于:所述红外人眼相机和前景相机分别通过USB OTG接口与硬件平台相连;所述显示输出设备通过VGA显示接口与硬件平台相连。5.根据权利要求4所述的视线追踪及人眼感兴趣区域定位系统，其特征在于:所述视线追踪及人眼感兴趣区域定位系统还包括具有控制功能的外部设备，具有控制功能的外部设备是鼠标和键盘，所述鼠标和键盘均通过USB OTG接口与硬件平台相连。
【文档编号】G06F3/01GK205563453SQ201521052147
【公开日】2016年9月7日
【申请日】2015年12月16日
【发明人】李斌, 吴孟杰, 李飞鹏, 宋宗玺
【申请人】中国科学院西安光学精密机械研究所