基于行间转移CCD的电子相移补偿方法与流程

本发明涉及航空成像领域的一种相移补偿方法。
背景技术：
：当成像于传感器表面的图像在曝光时间内有位移时，图像会出现拖影，影响成像质量。而对于航拍时，飞机以固定速度飞行，成像于摄像装置传感器表面的图像会产生相对位移。针对此种情况，需要进行相移补偿，从而消除传感器的成像区域与需要拍摄的图像目标之间的相对位移。常用的相移补偿为机械补偿，在曝光时间内让传感器的位移速度与拍摄目标的位移速度相匹配(速度一致)；此种补偿方式整机体积大、结构复杂、电子学设计也相对复杂。目前，电子相移补偿多采用全帧ccd设计的，全帧ccd设计相移补偿有帧频低、价格高、结构复杂、功耗高等特点，在设计使用时有着诸多限制。技术实现要素：本发明对航空视觉成像领域存在的相移问题经过了深入研究，从电子学设计出发，提出一种新的相移补偿方法，克服了传统相移补偿方案存在的整机体积大、结构和电子学设计复杂等问题。本发明的方案如下：基于行间转移ccd的电子相移补偿方法，利用行间转移ccd功能，包括以下步骤：步骤一：目标经光学系统在ccd表面成像，“影像”以vtarget运动；步骤二：将ccd每个像素的成像区的“影像”转移到相应的转移区；所述目标对应成像在ccd任一像素的内容记为a，此时像素成像区以及转移区的信号记为a1；步骤三：当目标a运动到两个像素的交界处时，对成像区内的所有像素进行“清零”，即对所有像素的光电子进行复位；步骤四：当目标a运动到两个像素的交界处时，还同时将所有像素的成像区以及转移区图像沿垂直方向下移一行；步骤五：由于步骤三对成像区域进行了“清零”，因此当前在含有a1信号的像素的成像区内成像的目标还是a，此刻再对图像进行转移，在该像素内的电荷包能量为a1+a2，成像目标还是a，因此没有相对运动；以此类推，在曝光时间内，最终累计到目标电荷为a＝a1+a2+…+an；其中：n为累加次数；假设像元尺寸为p；曝光时间为：对于以上方案，通常最长曝光时间小于每帧的转移时间。实现所述行间转移ccd功能的芯片通常要求最高频率工作在4通道模式、54mhz时钟。本发明优选sony公司的icx694芯片实现所述行间转移ccd功能。本发明的技术效果如下：利用行间转移(interline)ccd功能，让ccd传感器的成像区域随着拍摄目标运动，从而实现在曝光时间内拍摄目标与成像区域进行匹配。与机械补偿方法相比，本发明简化了航空视觉成像系统的设计，有效提高了产品可靠性和相移补偿精度，降低了产品功耗、体积等。本发明还具有帧频高、成本低、使用灵活、硬件实现结构简单等特点。附图说明图1为ccd单个像素的实际设定结构。图2为目标与传感器对应示意图。图3为步骤一影像成像的示意图。图4为步骤二“影像”读出的示意图。图5为步骤三“影像”清零的示意图。图6为步骤四“影像”转移的示意图。图7为步骤五“影像”叠加的示意图。图8为整个电子相移补偿过程的流程图。图9为icx694框图。图10为曝光区域示意图。图11为转移区域示意图。图12为转移流程图。图13为速度对应图。图14为参数匹配图。具体实施方式一、行间转移ccd功能模型及工作原理ccd全称为电荷耦合器件(chargecoupleddevice)，有关介绍该器件的文献有很多，往往从理论角度出发介绍其工作原理；而对于实际应用，真正有意义的是“怎么用”。本发明主要将ccd理解为通道。如图1所示，ccd在成像区收集电荷，转移到转移区，在通过垂直转移(通道)、水平转移(通道)将ccd像素输出。电子快门：清除成像区的有效电荷；读出操作：将成像区的有效电荷转移到转移区域；v驱动：将垂直转移区的电荷向下一行转移；h驱动：将水平转移区的电荷向外输出。二、本发明利用行间转移ccd功能实现电子相移补偿的原理成像系统是一个光、机、电的系统设计。在相移补偿设计中，补偿速度与飞机飞行速度、飞机高度、光学视场、光学焦距等指标相关。这里我们只关心成像于传感器表面的“影像”在传感器上的位移速度。假设“影像”在传感器表面的速度为vtarget。目标与传感器如图2简单示意，本发明的电子相移补偿由以下几个步骤实现：步骤一：如图3所示，目标经光学系统在传感器表面成像，“影像”以vtarget运动。步骤二：如图4所示，将成像区的的影像转移到转移区。步骤三，如图5所示，当目标a运动到两个像素的交界处时，对成像区内的所有像素进行“清零”。步骤四：如图6所示，在进行完步骤二时，将所有图像沿垂直方向下移一行。备注：步骤三与步骤四是同时进行的。步骤五：如图7所示，由于步骤三时对成像区域进行了“清零”，因此在此段时间内在含有a1信号的像素的成像区内成像的目标还是a，此刻再对图像进行转移，在该像素内的电荷包能量为a1+a2，成像目标还是a，因此没有相对运动。其他过程以此类推。因此在曝光时间内，最终累计到目标电荷为a＝a1+a2+…+an其中：n为累加次数。假设像元尺寸为p，曝光时间为：此过程流程如图8所示。三、主要指标分析以sony公司icx694(如图9所示)为例对其主要指标进行分析。3.1帧频分析：由于在此种模式下，成像于传感器表面的“影像”必须与转移同一方向。icx694最高频率是工作在4通道模式，在4通道模式下，输出时top端和bottom端图像的转移方向是相反的，因此在曝光阶段top端采用与输出时相反时序。即在曝光时，top端和bottom端时序相同；在输出时，采用4通道方式输出(top端和bottom端时序相反)，可以实现全分辨率输出。在电子相移模式下，采用曝光与转移结合方式进行，因此，帧频是与曝光时间长短相关的。在正常模式下，曝光与转移是同时进行的，最长曝光时间小于每帧的转移时间即能达到传感器的最高输出帧频。如图10、11所示，由于图像上半部分为渐变区域(相移补偿造成)，下半部分为全部图像，因此必须对全区域进行转移。采用4通道方式进行转移。8行黑电平作为图像黑电平的参考之一(另外为水平黑电平参考)，此8行需要全部读出。随后564行直接倾泻掉，再最后的540行全部读出。读出一幅1080p的图像时间为：tread_image_1080p＝548×thalf_of_line+564×tdump_of_line+32clk其中：tread_image_1080p在四通道模式下读出一副图像所需要的时间；thalf_of_line读出半行所需要的时间；tdump_of_line倾泻一行所需要的时间；根据时序图可知，转移半行需要时间为即thalf_of_line为：1804个clk；倾泻一行时间tdump_of_line为：256个clk；由公式可以计算出，在四通道模式下，读出一副图像需要时间为：548*1804+564*256+32＝1133008个时钟采用54mhz时钟，转移完一副图像需要20.98ms。本项目以25帧/s，1080p为设计目标。因此每幅图像曝光+转移时间为40ms。留给单幅图像的曝光时间不大于19ms。因此，摄像机最大曝光时间为：其中：texposure_max为允许的最大曝光时间，单位ms；目标帧频为我们设计的目标频率。表1典型目标帧频与最大曝光时间列表目标帧频(帧/s)最大曝光时间(ms)2519.022029.021545.691079.025179.023.2最大允许速度分析这里分析的速度为“影像”在传感器表面的速度。飞机允许的最大飞行速度与飞机的速度、高度、光学系统的焦距等参数有关，飞机飞行的最快速度可以通过速高比公式等效到传感器表面的光学影像速度，因此这里只分析传感器表面的“影像”速度。假设对于理想图像灰度值的最大曝光时间为texposure_max，由于曝光区域最大允许走过572行，每行的尺寸为4.54um，因此可以计算出允许的“影像”的最大速度为：其中：vtarget为“影像”的最大速度，texposure_max为最大曝光时间，4.54um为一个像素的尺寸。这里以25帧/s，1080p分辨率为例，在此模式下，允许的最大曝光时间为19.02ms，代入公式可以求得允许的最大“影像”速度为136.5mm/s。同时在曝光区域，由于读出、清零、转移采用驱动信号完成，根据经验，建议“影像”走过一个像素的时间大于读出或者转移时间的10倍(此为经验值，需要实际验证)。在该芯片中读出时间6.3us，清零时间为1.3us，转移时间为2.8us。因此，要求“影像”走过一个像素的时间大于60us。要求“影像”在传感器表面的速度小于4.54um/60us＝75mm/s其中：4.54um为一个像素的尺寸。表2典型目标帧频与允许的目标“影像”关系目标帧频(帧/s)最大曝光时间(ms)公式计算出(mm/s)建议采用值(mm/s)252.85136.5752012.8589.5751529.5256.846.71062.8532.921.95162.8514.58.473.3设计使用在时序设计完之后，补偿速度就是固定的。因此对于不同的补偿速度应当事先知道，对于不同的速度可以采用上位机输入的方式进行控制，如图13所示。使用时，使用环境及光学参数决定了“影像”速度，“影像”速度必须与补偿速度一致，如图14所示。当前第1页12