一种用于人眼视线追踪的高速CMOS图像传感器读出方案的制作方法

本发明涉及视线追踪技术领域，特别是涉及一种用于人眼视线追踪的高速cmos图像传感器读出方案。

背景技术：

视线追踪就是追踪眼睛的活动，通过检测眼球运动了解视觉注意方向的技术。人眼视线追踪被期望成为一种新型的人机交互方式，例如代替鼠标键盘进行计算机操作，另外视线追踪广泛应用于辅助驾驶、心理研究、虚拟现实和军事等多个领域。

据报道眼球运动速度可达700度/秒，因此需要很高的帧频才能捕获，这对用于视线追踪的图像传感器提出了很高的要求。然而对于传统的图像传感器，其图像扫描采集有较大的延迟且图像处理耗时长，难以实现对人眼的实时追踪。在传统的基于图像传感器的视线追踪系统中，有两个因素限制了速度的提高，即读取图像的速度和计算处理图像的速度。在大多数的视线追踪系统中，帧频大约为60帧每秒，这意味着，虽然可以确定眼球在高速的运动，但却无法实时追踪眼球的运动。有一些系统采用专用摄像头以240帧每秒的速度记录眼球运动过程和视线信息，然后利用计算机软件完成图像处理，这样处理图像采集到的视线信息耗时很长，输出延迟过高导致系统无法实时捕捉跟踪视线的运动。

技术实现要素：

本发明的目的是针对现有技术中存在的技术缺陷，而提供一种用于人眼视线追踪的高速cmos图像传感器读出方案。

为实现本发明的目的所采用的技术方案是：

一种用于人眼视线追踪的高速cmos图像传感器读出方案，包括以下步骤：

通过列并行处理单元对对采用列并行处理结构的像素阵列每一列中所有像素输出电平信号按顺序分别进行y向上的累加后，再通过累加器进行x向上的累加，得到瞳孔所对应的像素个数s以及瞳孔所对应像素的横坐标值之和sx与纵坐标值之和sy，分别通过横坐标值之和sx、纵坐标值之和sy与像素个数s比值计算出瞳孔的中心坐标，从而根据该中心坐标确定视线方向；

所述像素输出电平信号是由比较器产生的高低电平信号，对应的像素在瞳孔区域内时输出高电平信号，反之输出低电平信号。

所述列并行处理单元为多个，每个所述的列并行处理单元分别对应处理所述像素阵列中一列像素，多个所述列并行处理单元顺序连接，最后一列并行处理单元与累加器连接。

多个所述列并行处理单元均与列选择器连接。

与现有技术相比，本发明的有益效果是：

本发明的用于人眼视线追踪的高速cmos图像传感器读出方案，该图像传感器采用列并行处理结构，具有以高帧频追踪视线的能力，并能在很小的延迟内产生视线计算结果，以进行实时的视线跟踪。

附图说明

图1是列并行的cmos图像传感器结构；

图2是一列并行处理单元pe的结构示意图；

图3是图像传感器的工作时序示意图；

图4是人眼瞳孔的原始图像；

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的用于人眼视线追踪的高速cmos图像传感器读出方案包括步骤：

通过列并行处理单元对对采用列并行处理结构的像素阵列每一列中所有像素输出电平信号按顺序分别进行y向上的累加后，再通过累加器进行x向上的累加，得到瞳孔所对应的像素个数s以及瞳孔所对应像素的横坐标值之和sx与纵坐标值之和sy，分别通过横坐标值之和sx、纵坐标值之和sy与像素个数s比值计算出瞳孔的中心坐标，从而根据该中心坐标确定视线方向；

所述像素输出电平信号是由比较器产生的高低电平信号，对应的像素在瞳孔区域内时输出高电平信号，反之输出低电平信号。

人眼视线追踪是通过计算确认眼球中黑色瞳孔的位置来完成的，对于不同的人眼区域，像素曝光后积分得到的电压值是不同的，利用比较器就能得到表示高低电平的信号p，以区分眼球不同区域。若将对应瞳孔区域的像素输出设为“1”，其余区域设为“0”。为了确定视线方向，定义瞳孔中心的坐标为则：

其中,p是由比较器产生的电平信号，表示像素阵列中某个像素单元是否对应瞳孔区域，即：

∑x表示x方向像素单元输出信号的依次累加，∑y表示y方向像素单元输出信号的依次累加，∑x∑y表示对像素阵列中每一个像素输出信号的依次累加。s＝∑x∑y·p表示所有像素输出信号经比较器转换成“0”或“1”信号后在累加电路中依次累加，得到的结果表示瞳孔所对应的像素单元个数。

sx＝∑x∑y(x·p)表示在对所有的“0”或“1”信号累加时，考虑了信号对应像素的横坐标x，需要用“0”或“1”乘以对应像素横坐标x，之后进行累加。

同理，sy＝∑x∑y(y·p)表示在对所有的“0”或“1”信号累加时，考虑了信号对应像素的纵坐标y，需要用“0”或“1”乘以对应像素横坐标y，之后进行累加。这样，的值就表示了瞳孔中心的横坐标的值就表示了瞳孔中心的纵坐标

举例说明，假如只有坐标为(i，j)和(i+1，j)两个像素单元对应瞳孔区域，其余像素均对应眼白区域，则只有这两个像素经比较器产生的信号为“1”，其余均为“0”，经累加电路累加后s＝2，sx＝1×i+1×(i+1)＝2i+1，sy＝1×j+1×j＝2j，计算得出即瞳孔中心坐标为这样瞳孔中心位置可通过s、sx和sy的值计算得到，且每一帧只需计算一次和的值。

图1是用于人眼视线追踪的列并行cmos图像传感器结构，该cmos图像传感器结构由像素阵列和累加电路组成。像素阵列采用aps结构，累加电路的是为了确定瞳孔中心的位置，它由位于每一列的列并行处理单元pe和额外的x方向累加器组成，每个列并行处理单pe按顺序依次处理一列中所有像素的信号，执行s、sx和sy在y方向上的累加，之后通过列并行处理单pe右侧额外的累加器进行x方向的累加。

图2为一列并行处理单元pe的结构示意图。列并行处理单元pe通过比较器生成的二值化信号p依次进行y方向s、sx和sy的累加，sx和sy的累加还需要结合地址译码器提供的像素地址信息。s累加计算由加法器完成，sx和sy的累加需要结合加法器和乘法器共同完成，其计算结果用二进制表示，例如s的计算结果为n位的二进制数(s0，s1，…，sn-1)。在完成所有像素的访问后，还需要进行x方向的信号累加，通过图1中连接列并行处理单元pe的外部累加器进行s、sx和sy在x方向的累加，得到s、sx、sy的最终结果。

图像传感器的工作时序如图3所示，采用列并行处理结构，同一列像素依次完成积分(i)、读出(r)和累加(a)操作，同一行中的像素被同时读出然后并行处理，加快了读出速度。y方向累加完成后，进行x方向的累加操作，这些操作是在单个帧内完成的。在每一帧的末尾可以得到(1)式的计算结果，求得瞳孔中心坐标，确定视线方向。

本发明是利用比较器、加法器和乘法器确定瞳孔中心位置，进而确定人眼视线方向，结构简单并能有效降低信号处理时间，提高传感器帧频。为了实时追踪人眼视线方向，所设计的cmos图像传感器的帧频需要达到300fps以上。图4为人眼原始图像，其中瞳孔中心通过公式(1)可求出其位置，瞳孔的大小(即外切于瞳孔圆形的方框)，可通过像素面积和电路的累加结果s估计瞳孔的大小。

除了瞳孔以外还有其他的黑色区域如睫毛和眼皮，这些因素会影响传感器的精度，相对于瞳孔，睫毛的面积很小较容易区分；对于眼皮的影响，通过测量之前的装置校准和后期的图像处理，可以在很大程度降低其影响。

本发明提出的图像传感器读出方案不需要额外的图像处理技术，只需要输出像素的电压值，利用比较器将电压转换成“0”或“1”，然后用加法器和乘法器进行“0”和“1”的累加，结构较为简单。该方案能在像素信号输出很短时间内完成信号的累加，得到s、sx和sy的累加结果，进而得到瞳孔中心的坐标，这就实现了总的高帧频，从而可以实现实时的视觉追踪。

以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。