一种多抽头像素传感器的抽头非一致性校正方法、装置及TOF相机与流程

本发明涉及测距技术领域，尤其涉及一种多抽头像素传感器的抽头非一致性校正方法、装置及tof相机。

背景技术：

tof的全称是time-of-flight，即飞行时间，tof测距法是一种通过测量光脉冲在发射/接收装置和目标物体间的往返飞行时间来实现精确测距的技术。在tof技术中直接对光飞行时间进行测量的技术被称为dtof(direct-tof，直接飞行时间)技术；而对发射光信号进行周期性调制，通过对反射光信号相对于发射光信号的相位延迟进行测量，再由相位延迟对飞行时间进行计算的测量技术被成为itof(indirect-tof，间接飞行时间)技术。对于itof技术，按照调制解调类型方式的不同可以分为连续波(continuouswave，cw)调制解调方式(cw-itof)和脉冲调制(pulsemodulated，pm)调制解调方式(pm-itof)。

目前，cw-itof技术主要应用于基于两抽头传感器构建的测量系统，其核心测量算法是一种四相位的调制解调方式。而pm-itof调制技术主要应用于四抽头像素传感器(三个抽头用于信号的采集和输出，一个抽头用于对无效电子进行释放)。对于多抽头像素传感器而言，不同抽头间的增益和偏置不同，即像素非一致性，会引入系统误差。现有技术中，一般是通过多次曝光，利用多次的数据消除像素非一致性，以优化深度效果。但多次曝光会增加数据量和曝光时间，进而降低了实时的深度帧率。

上述背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

技术实现要素：

本发明的目的在于提供一种多抽头像素传感器的抽头非一致性校正方法、装置及tof相机，以解决上述背景技术问题中的至少一种问题。

为达到上述目的，本发明实施例的技术方案是这样实现的：

一种多抽头像素传感器的抽头非一致性校正方法，包括如下步骤：

s1、控制光源发射不同强度的脉冲光束至目标物体；

s2、通过图像传感器采集经所述目标物体反射回的反射脉冲光束的电荷信号；其中，所述图像传感器包括至少一个像素，每个像素包括至少两个抽头，以用于采集反射回的所述电荷信号和/或环境光的电荷信号；

s3、根据所采集到的所述电荷信号，进行灰度值转换，得到每个抽头在不同强度的脉冲光束照射下的真实灰度值；

s4：根据步骤s3获取的真实灰度值，计算所述每个抽头的真实灰度值与理想灰度值的对应关系，拟合函数，标定所述每个抽头的校正系数，并存储所述校正系数。

在一些实施例中，步骤s1中，通过调节电源的功率以控制所述光源发射不同强度的脉冲光束。

在一些实施例中，步骤s2中，所述每个抽头分别在其脉冲时间段内对所述像素上产生的电子进行收集与存储，通过积分分别获取各个抽头的总电荷量。

在一些实施例中，步骤s3中，通过以下公式将所采集到的所述电荷信号转换为灰度值：

q＝k·(u-i)

其中，q为电荷量，k为抽头的已知转换系数，u为灰度值，i为偏置。

本发明实施例另一技术方案为：

一种多抽头像素传感器的抽头非一致校正装置，包括发射模组、采集模组、转换模组、以及控制与处理模组；其中，

所述发射模组，用于发射不同强度的脉冲光束至目标物体；

所述采集模组，包括由至少一个像素组成的图像传感器，每个像素包括至少两个抽头，用于采集经所述目标物体反射回的不同强度的脉冲光束的电荷信号和/或环境光的电荷信号，并将其传输至所述转换模组；

所述转换模组，用于将采集的所述电荷信号转换为灰度值，得到每个抽头在不同强度脉冲光束照射下的真实灰度值，并将其传输至所述控制与处理模组；

所述控制与处理模组，用于计算所述每个抽头的真实灰度值与理想灰度值的对应关系，求解所述每个抽头的校正系数。

在一些实施例中，还包括有存储模组，用于存储理想灰度值和基于所述控制与处理模组计算得到的所述每个抽头的所述校正系数。

在一些实施例中，所述发射模组包括光源及光源驱动电路，所述光源驱动电路用于向光源输送发射信号，并控制所述光源以不同的功率发射不同强度的脉冲光束至所述目标物体。

在一些实施例中，所述转换模组通过以下公式将所采集到的所述电荷信号转换为灰度值：

q＝k·(u-i)

其中，q为电荷量，k为抽头的已知转换系数，u为灰度值，i为偏置。

在一些实施例中，所述控制与处理模组通过拟合函数和/或迭代函数对所述真实灰度值和所述理想灰度值进行拟合，使得得到校正系数，其中，为真实灰度值，为理想灰度值。

本发明实施例又一技术方案为：

一种tof相机，包括光源、tof图像传感器、存储器、以及控制与处理器；其中，所述光源用于发射被调制的脉冲光束；所述tof图像传感器包括至少一个像素，每个所述像素包括至少两个个抽头，以用于采集反射回的所述脉冲光束的电荷信号和/或环境光的电荷信号；所述存储器用于存储所述每个抽头对应的校正系数；所述控制与处理器，用于提取所述每个抽头对应的校正系数，校正所述每个抽头进行深度计算时所使用的灰度值。

本发明技术方案的有益效果是：

相较于现有技术，本发明通过预先对基于飞行时间像素上的抽头进行标定，利用抽头采集不同强度的脉冲光束对应的电荷量，并将电荷量转换为灰度值，进而计算出每个抽头校正系数，即增益和偏置，在后续进行深度计算时，将校正系数直接应用于抽头上，以校正抽头的灰度值，从而校正抽头采集的总电荷量，以减少数据量和曝光时间，进而提高实时深度帧率，同时优化了深度效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明一个实施例多抽头像素传感器的抽头非一致性校正方法的流程图示。

图2是根据本发明另一个实施例多抽头像素传感器的抽头非一致校正装置的原理框图。

图3是根据本发明又一个实施例一种tof相机的原理框图。

图4是采用图1实施例方法的效果比对图示。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

图1为根据本发明一实施例提供的一种多抽头像素传感器的抽头非一致性校正方法的流程示意图，方法包括以下步骤：

s1、控制光源发射不同强度的脉冲光束至目标物体；

在一个实施例中，光源可以是发光二极管(led)，边发射激光器(eel)、垂直腔面发射激光器(vcsel)等光源，也可以是多个光源组成的光源阵列，光源所发射的光束可以是可见光、红外光、紫外光等。通过调节电源的功率以控制光源发射不同强度的脉冲光束；优选地，电源为稳定直流电源，光源在不同功率的稳定直流电源的控制下以一定的频率发射不同强度的脉冲光束，可用于直接飞行时间法(directtof)测量；其中，频率根据测量距离进行设定，比如可以设置成1mhz～100mhz，测量距离在几米至几百米。应当理解的是，光源在控制器的控制下发射的光束振幅被调制以发射脉冲光束、方波光束、正弦波光束等光束，此处不作限制。

s2、通过图像传感器采集经目标物体反射回的反射脉冲光束的电荷信号；其中，图像传感器包括至少一个像素，每个像素包括至少两个抽头，以用于采集反射回的电荷信号和/或环境光的电荷信号；其中，所述反射脉冲光束的强度不同。

在一个实施例中，图像传感器可以是电荷耦合元件(ccd)、互补金属氧化物半导体(cmos)、雪崩二极管(ad)、单光子雪崩二极管(spad)等组成的图像传感器。一般地，与图像传感器连接的还包括由信号放大器、时数转换器(tdc)、模数转换器(adc)等器件中的一种或多种组成的读出电路(图中未示出)。

在一个实施例中，图像传感器为tof图像传感器，其包括至少一个像素，与传统的仅用于拍照的图像传感器相比，tof图像传感器的每个像素包含两个或两个以上的抽头(tap，用于在相应电极的控制下存储并读取或者排出由反射光脉冲产生的电荷信号)，每个抽头在单个帧周期t(或单次曝光时间)内以一定的次序依次切换以接收反射光脉冲产生的电子。

在一个实施例中，tof图像传感器的每个像素包括至少两个抽头，分别为第一抽头及第二抽头，用于采集经目标物体反射回的脉冲光束对应的电荷量。在本实施例中，第一抽头的采集信号与光源发射信号同步被触发，经过目标物体反射的脉冲光信号反射回像素时，与发射的脉冲光束有一定的相位延迟。第一抽头及第二抽依次分别在其脉冲时间段内对像素上产生的电子进行收集与存储，通过积分分别获取各个抽头的总电荷量，如此完成一个脉冲周期tp。对于两抽头的情形，tp＝2th，其中，th是各抽头的脉冲采集信号的脉冲宽度。需要说明的是，在单帧周期t内，第一抽头及第二抽头收集的总电荷量为各个抽头在整个帧周期t内多次采集光信号对应电荷量的和。可以理解的是，单帧周期内，脉冲周期tp或者光源脉冲信号发射的次数可以是k次，k不小于1，也可以高达几万，甚至更高，具体的数据根据实际的需求来确定；另外，不同帧周期内的脉冲次数也可以不等。

s3、根据所采集到的电荷信号，进行灰度值转换，得到每个抽头在不同强度的脉冲光束照射下的真实灰度值。

在一个实施例中，通过以下公式将所采集到的电荷信号转换为灰度值，即：

q＝k·(u-i)

其中，q为电荷量，k为抽头的已知转换系数，u为灰度值，i为偏置。需要说明的是，偏置i为像素上的抽头不接收任何信号，且曝光时间为0时的灰度图像的均值。

根据上式可知，基于步骤s2获取的电荷信号，可分别求出每个抽头在不同强度脉冲光束照射下的真实灰度值。应当理解的是，还可以根据其他公式进行电荷量与灰度值的转换，此处不作限制。

s4：根据步骤s3获取的真实灰度值，计算每个抽头的真实灰度值与理想灰度值的对应关系，拟合函数，标定每个抽头的校正系数，并存储校正系数。

在一个实施例中，校正系数为增益和偏置，假设基于步骤s3得到第一抽头在不同强度脉冲光束照射下的真实灰度值为对应的已知理想灰度值为则通过拟合函数和/或迭代函数对真实灰度值和理想灰度值进行拟合，使得得到校正系数并将校正系数进行存储。

图2为根据本发明实施例提供的一种多抽头像素传感器的抽头非一致校正装置。装置100包括：发射模组101、采集模组102、转换模组103、以及控制与处理模组104；其中，发射模组101用于发射不同强度的脉冲光束至目标物体；采集模组102包括由至少一个像素组成的图像传感器，每个像素包括至少两个抽头，用于采集经目标物体反射回的不同强度的脉冲光束的电荷信号和/或环境光的电荷信号，并将其传输至转换模组103；转换模组103用于将采集的电荷信号转换为灰度值，得到每个抽头在不同强度脉冲光束照射下的真实灰度值，并将其传输至控制与处理模组104；控制与处理模组104用于计算每个抽头的真实灰度值与理想灰度值的对应关系，求解每个抽头的校正系数。

在一些实施例中，还包括有存储模组105，用于存储理想灰度值和基于控制与处理模组计算得到的每个抽头的校正系数，以便在后续进行深度计算时，可直接从存储模块中提取每个抽头对应的校正系数。

具体地，发射模组101包括光源1010及光源驱动电路(未示出)，光源1010用于发射被调制的脉冲光束，光源驱动电路用于向光源1010输送发射信号，并控制光源1010以不同的功率发射不同强度的脉冲光束至目标物体。

图像传感器为tof图像传感器，其包括至少一个像素，每个像素包含两个或两个以上的抽头(tap，用于在相应电极的控制下存储并读取或者排出由反射光脉冲产生的电荷信号)，每个抽头在单个帧周期t(或单次曝光时间)内以一定的次序依次切换以接收反射光脉冲产生的电子。

转换模组103通过以下公式将所采集到的电荷信号转换为灰度值：

q＝k·(u-i)

其中，q为电荷量，k为抽头的已知转换系数，u为灰度值，i为偏置。需要说明的是，偏置i为像素上的抽头不接收任何信号，且曝光时间为0时的灰度图像的均值。

控制与处理模组104通过拟合函数和/或迭代函数对真实灰度值和理想灰度值进行拟合，使得得到校正系数，其中，为真实灰度值，为理想灰度值。

图3为根据本发明实施例提供的一种tof相机的结构示意图，tof相机200包括光源201、tof图像传感器202、存储器203、以及控制与处理器204；其中，光源201用于发射被调制的脉冲光束；tof图像传感器202包括至少一个像素，每个像素包括至少两个个抽头，以用于采集反射回的脉冲光束的电荷信号和/或环境光的电荷信号；存储器203用于存储每个抽头对应的校正系数；控制与处理器204，用于提取每个抽头对应的校正系数，校正每个抽头在进行深度计算时所使用的灰度值。

在一个实施例中，每个像素包括第一、第二两个抽头，利用各个抽头的校正系数对第一抽头及第二抽头的灰度值进行校正得到校正灰度值，即：

其中，表示为第一抽头的第一校正灰度值，表示为第二抽头的第二校正灰度值，表示没有入射脉冲光束时第二抽头采集的灰度图，应当理解的是，此处也可以利用第一抽头进行采集，此处不做限制。

在一个实施例中，假设第一抽头及第二抽头采集的总电荷量为q1及q2，q3为没有入射脉冲光束的情况下测得的电荷量，基于各个抽头所采集的总电荷量，可以根据下式对脉冲光信号从发射到反射至像素上的光飞行时间距离d进行计算：

其中，c为光在真空的飞行速度。应当理解的是，本实施例仅以两个抽头进行说明求解光飞行时间，实际上还可以利用三个抽头或三个抽头以上进行求解，此处不作限制。

基于式子q＝k·(u-i)，求得每个抽头的校正灰度值对应的总电荷量：

在进行深度计算时，将上式求解的电荷量代入光飞行时间距离计公式，可得深度值d：

因此，实现了对抽头的非一致校正，优化了深度效果，其深度优化效果如图4所示，图4中，第一列图像为校正前的图像，第二列为对抽头进行校正后的图像，由此可见，校正后的图像深度完整性强，噪声减弱。

本发明通过预先对基于飞行时间像素上的抽头进行标定，利用抽头采集不同强度的脉冲光束对应的电荷量，并将电荷量转换为灰度值，进而计算出每个抽头校正系数，即增益和偏置，以在后续进行深度计算时，将校正系数直接应用于抽头上，以校正抽头的灰度值，从而校正抽头采集的总电荷量，以减少数据量和曝光时间，提高实时深度帧率，同时优化了深度效果。

本发明还提出了一种计算机可读存储介质，计算机刻度存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述实施例方案的多抽头像素传感器的抽头非一致性校正方法。所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。

本发明的实施例可以包括或利用包括计算机硬件的专用或通用计算机，如下面更详细讨论的。在本发明的范围内的实施例还包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可以被通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是物理存储介质。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本发明的实施例可以包括至少两种截然不同的计算机可读介质：物理计算机可读存储介质和传输计算机可读介质。

本申请实施例还提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时至少实现前述实施例方案中所述的多抽头像素传感器的抽头非一致性校正方法。

可以理解的是，以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。

在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离由所附权利要求限定的范围的情况下，可以在本文中进行各种改变、替换和变更。

此外，本发明的范围不旨在限于说明书中所述的过程、机器、制造、物质组成、手段、方法和步骤的特定实施例。本领域普通技术人员将容易理解，可以利用执行与本文所述相应实施例基本相同功能或获得与本文所述实施例基本相同结果的目前存在的或稍后要开发的上述披露、过程、机器、制造、物质组成、手段、方法或步骤。因此，所附权利要求旨在将这些过程、机器、制造、物质组成、手段、方法或步骤包含在其范围内。