专利名称：图像输入装置的制作方法
技术领域：
本发明涉及识别原稿、条形码、指纹等字符和图像等的图像输入装置及指纹识别装置。
背景技术：
在现有技术中，存在这样的构成在识别原稿、条形码等字符和图像等的图像输入装置中，通过手送使人工扫描器等在原稿等上移动，进行图像读取。该构成能够实现装置的小型化、便携化，但是，存在人工扫描器的手送速度变化而导致图像变形的情况。
此外，存在这样的图像输入装置使手指直接接触到二维的半导体传感器(静电电容型和光学读取型等)上，来读取指纹，进行指纹认证。近年来，这样的指纹传感器在企业或个人的保安的强化方面受到注目，而且，在利用手机和携带设备的电子商务等中，如果指纹传感器变得小型、重量轻、低成本，就会期待飞跃的市场扩大。但是，目前的指纹传感器是以与手指的大小相同的尺寸来构成，因此，传感器尺寸不得不变得大型。
半导体的价格由晶片产量而唯一地决定，因此，尺寸大导致高价格，当装载到手机中时，在成本上存在问题。而且，大型的指纹传感器不适合于小型的便携设备。因此，如果使传感器变得小型，则在成本上、形状上是有利的。作为解决措施，如果采用光学读取型，用线列传感器构成光传感器，能够使传感器小型化。但是，在此情况下，为了读取指纹，就必须使线列传感器与手指相对运动，因此，与由人工扫描器所进行的图像读取相同，读取的指纹图像变形，认证精度显著降低。
因此，作为改善该缺点的现有的公知例子，有日本专利公报特许第3198810号。其是判断原稿的字符读取时的手送速度，把该判断结果反馈给时序发生装置，来校正图像变形。
在上述特许第3198810号所公开的技术中，在原稿读取中非常注意而缓慢地移动原稿或手的情况下，或许能够以低分辨率进行图像的认证。但不能用于需要高分辨率、要求高认证精度的指纹传感器这样的用途中。
发明内容
本发明的目的是提供一种以比较少的像素行的面传感器来达到读取图像的高再现性的图像输入装置。
为了达到上述目的，在本发明的一个实施例中，提供一种图像输入装置，通过使被摄物体与包含多个像素的传感器相对移动，分别依次取得作为上述被摄物体的图像的一部分的多个部分图像，其特征在于，包括控制电路，根据多个上述部分图像数据的比较，控制取得将要合成的多个上述部分图像数据的定时。
本发明的其他目的、特征可以通过以下说明书和附图得到明确。
图1是本发明的图像输入装置的一个实施例的系统图；图2A是示意地表示传感器和手指的移动的图，图2B是表示光学式的指纹读取装置的简要构成的图；图3是表示形状的识别比较简单的“M”形状的字为被摄物体像时的图像数据的示意图；图4是表示传感器的电路块的图；图5是表示传感器像素部的图；图6是表示传感器的动作时序的时序图；
图7是本发明的图像输入装置的一个实施例的系统图；图8A是示意地表示传感器和手指的移动的图，图8B是表示光学式的指纹读取装置的简要构成的图；图9是用于说明传感器中的一部分像素线列读出动作的图；图10是用于说明图像输入动作的流程图；图11是表示形状的识别比较简单的“M”形状的字为被摄物体像时的图像数据的示意图；图12是表示传感器的电路块的图；图13是表示传感器像素部的图；图14是表示传感器的动作时序的时序图；图15是表示传感器的动作时序的时序图；图16是本发明的图像输入装置的一个实施例的系统图；图17是本发明的图像输入装置的一个实施例的系统图；图18A是示意地表示传感器和手指的移动的图，图18B是表示光学式的指纹读取装置的简要构成的图；图19A、19B是用于说明传感器中的读出动作的图；图20是表示形状的识别比较简单的“M”形状的字为被摄物体像时的图像数据的示意图；图21是表示传感器的电路块的图；图22是表示传感器像素部的图；图23是表示传感器的动作时序的时序图；图24是表示传感器的动作时序的时序图；图25是用于说明传感器中的读出动作的图；图26是表示传感器的动作时序的时序图；图27是表示形状的识别比较简单的“M”形状的字为被摄物体像时的图像数据的示意图；图28是表示形状的识别比较简单的“M”形状的字为被摄物体像时的图像数据的示意图。
具体实施例方式
下面使用附图来对本发明的实施例进行说明。在以下的说明中，主要以需要高精度的图像再生的指纹读取为例来进行说明，但是，本发明并不仅限于该例，也能用于原稿读取和条形码等。此外，这里相对于传感器移动作为被摄物体的手指，但是，也可以相对于被摄物体来使传感器移动。
下面对实施例1进行说明。
图2A是示意地表示传感器和手指的移动的图，图2B是表示光学式的指纹读取装置的简要构成的图。在本实施例中，使用水平像素540像素、垂直像素20像素的传感器10。在进行指纹认证时，例如，通常使用垂直像素数为500像素左右的，因此，与此相比，在本实施例中使用的传感器尺寸非常小。此外，在本实施例中，不是利用传感器读取全体图像，而是读取其一部分的图像，因此，垂直像素数可以是充分读取一部分图像的像素数。在传感器10上(根据需要，在传感器10上配置薄板玻璃或纤维垫板等保护部件)放置手指，在本实施例中，如图2A所示的那样，使手指在对于传感器10的长度方向的垂直方向上移动(用图2A中的箭头表示)，依次读取图像。
如图2B所示的那样，从手指的侧部(可以是上方向、斜上方向、下方向、斜下方向，为了谋求装置的小型化，最好从是从侧部)由作为光照射装置的LED1照射光，在手指内使光散射·透过，该光从手指入射到传感器10中，得到指纹图像。
图1是本发明的图像输入装置的一个实施例的系统图。传感器10依次输出手指的一部分的拍摄图像。由传感器10分别读取的手指的一部分的图像存在重复的部分。随着手指的移动速度变慢，重复的部分的比例变多。传感器10由未图示的驱动电路进行驱动控制。
来自传感器10的图像信号暂时保存在存储器12中，或者，直接输入到特征点抽出部11中，进行手指的一部分的图像的特征点抽出。对于特征点抽出，另外进行描述。特征点对每一帧按每任意像素行被保存在存储器13中。例如，第一帧被写入存储器区域1，第二帧被写入存储器区域2，…，第n帧被写入存储器区域n。每一帧的特征点在特征点比较部14中进行比较，由速度判定部16来计算在特征点相一致的像素行的位置上手指的移动速度或者速度变化。同时，由重叠判定部15决定帧间的图像的重叠即图像的重叠区域，在图像修正部(图像合成部)17中进行修正(校正)，使得没有图像的重叠，在显示部18上进行显示。该图像在登录时被保存在数据保存部20中，在认证时，与在认证部19中所保存的数据进行比较，在显示部18上与被修正的手指的图像一起显示表示指纹的一致、不一致的认证结果，在不一致的情况下，再次进行手指的移动，在相一致的情况下，进入该设备的目的(例如，允许手机的使用，能够进行通话)。
对于特征点抽出法，一般为以下三种方法从指纹图像抽出隆线的构造等指纹特征(端点和分支点)的方法(例如，Marchal关系法)、评价图像的相似度的图像(图形)匹配法、在横向(与手指的长度方向垂直的方向)上细致地分解指纹图像，对各个图像的隆线的浓淡的不同进行频率分析的频率分析法。
图3是表示形状的识别比较简单的“M”形状的字为被摄物体像时的图像数据的示意图。数据A表示某个时刻t1的被摄物体像的图像数据，数据B表示时刻t2(＞t1)上的被摄物体像的图像数据，数据C表示重叠部分的图像数据。通过比较数据A的图像数据和数据B的图像数据，识别图像的重叠部分的数据C，修正为“M”形状的被摄物体像的图像数据。
如图3的示意图所示的那样，在形状的识别比较简单的被摄物体像的情况下，作为比较数据A和数据B的特征的方法，最好为评价图像的相似度的图像匹配法。象指纹这样比较复杂的情况下，如果比较一部分的指纹，则频率分析法的处理比较简单。Marchal关系法检测隆线的端点和分支点，因此，最好是传感器面积较大。
图4和图5是表示传感器10的一个构成例的图，图4是表示传感器的电路块的图，图5是表示传感器像素部的图。
在图4中，30是读取图像的光电变换部，31是选择光电变换部30的扫描行的垂直扫描电路，32是暂时保存来自光电变换部30的信号的暂时保存存储器，33是把来自暂时保存存储器32的信号传送控制到后级的差动放大器和增益可变放大器(PGA)34的水平扫描电路。来自PGA 34的信号由模拟数字变换器(A/D变换器)36变换为数字信号，导入后级的图1所示的特征点抽出部11。垂直扫描电路31、暂时保存存储器32、水平扫描电路33、PGA34、A/D变换器36由来自定时发生器35的控制信号进行控制。
接着，使用图5来说明图4所示的光电变换部30和暂时保存存储器32的构成。在此使用的光电变换部由被称为CMOS传感器的像素放大器形式所构成。各个像素由6个元件形成。即，一个像素由光电二极管PD、除去光电二极管PD的残留电荷的复位开关MV、用于把光电二极管PD的信号电荷传送给后级的放大器的传送开关MTX、用于除去放大器(缓冲晶体管)的栅极部的残留电荷的复位开关MRES、作为缓冲栅极部的信号电压的放大器的缓冲晶体管MSF、把缓冲晶体管MSF的信号输出控制到垂直信号线上的开关MSEL所构成。M1和M2是用于把来自垂直信号线的信号传送给暂时保存用的电容器CS，CN的开关。M3和M4是用于把来自电容器CS，CN的信号S1和噪声N1分别经过水平输出线而传送给下一个差动放大器(未图示)的开关。用于进行总括复位的开关MV、MRES以及用于进行总括传送的传送开关MTX相当于全部像素总括曝光装置。全部像素总括曝光期间是从全部像素被复位到由传送开关MTX所产生的信号传送结束为止的期间，在该期间通过点亮LED1，而能够得到手指的指纹图像。
光电二极管PD的信号被传送给电容器CS，像素放大器(缓冲晶体管MSF)的复位噪声被传送给电容器CN。
下面使用图6来对传感器的动作时序进行说明。
图6的基本驱动时序为在传感器的全部像素被全面总括清除之后，图2(B)所示的LED1被点亮，指纹的一部分被读取。该信号被总括传送给各像素的放大器栅极部(缓冲晶体管MSF的栅极部)。栅极部的信号在每行中被传送给电容器CS来进行保存。然后，栅极部被复位，其噪声被保存在电容器CN中。信号和噪声被同时传送给后级的差动放大器，从信号中除去噪声。该动作在每行中反复进行。
下面使用图6来详细说明上述动作。首先，当传感器10上的手指被检测到时，在T1期间，传感器的动作开始，从定时发生器35输出控制信号φstart。接受控制信号φstart的垂直扫描电路31在T2期间首先把信号φC1，φC2(n)，φC2(n+1)，…作为H电平，接通开关MV、MRES，在全部像素中清除光电二极管PD和放大器的栅极部(缓冲晶体管MSF的栅极部)。接着，使信号φP在全部像素中同时为H电平，接通传送开关MTX，此时，LED 1被点亮(φLED为H电平)，照射到移动的手指上，来自手指的反射光由各像素的光电二极管PD进行光电变换，向放大器的栅极部(缓冲晶体管MSF的栅极部)传送来自光电二极管PD的信号。指纹图像进行20行的读取。而且，在使传送开关MTX关断的状态下，在期间T3内，点亮LED1，然后，接通传送开关MTX，而可以传送信号。进行控制以使LED1的点亮期间(光照射期间)与由全部像素总括曝光装置所产生的曝光期间相一致或者处于该曝光期间内，由此，能够降低耗电。放大器的输出信号通过使信号φsel(n)和φS成为H电平，而接通开关MSEL和M1，由此，被保存在电容器CS内。
接着，使信号φC2(n)成为H电平，使开关MRES接通，来使放大器栅极部(缓冲晶体管MSF的栅极部)复位。然后，使信号φsel(n)和φN成为H电平，而接通开关MSEL和M2，由此，复位噪声被传送给电容器CN。此时，光电二极管PD为了防止因外来光等而由电荷过剩所产生的电荷向栅极部的泄漏，使信号φC1成为H电平，开关MV接通，被控制在固定电位上。被保存在电容器CS，CN内的信号和噪声依次被传送到后级进行处理。接着，当第n行的像素的信号和噪声在每列中被依次读出时，把接着的第n+1行的像素的放大器的输出信号传送给电容器CS，把复位噪声传送给电容器CN，执行在后级进行传送处理的读出动作。这样，进行各像素行的读出。期间T4是把全部像素信号读出到后级的期间。当检测到传感器10上没有手指时，从定时发生器35输出信号φend，停止传感器的动作。
在此，读出全部像素的时间的设定方法是重要的。即，需要预想或预设手指的移动的最高速度，决定传感器的帧速度。当帧速度慢时，由于手指的移动，指纹模糊，或者，当帧速度过快时，在手指的移动慢的情况下，必须准备多个图像存储器。
在本实施例中，把像素尺寸设定为30μm见方，把手指的最高移动速度设定为1cm/0.1sec。此时，如果LED点亮期间为28μsec，该期间的手指的移动为2.8μm，图像的模糊部分或者帧间的抽样误差为max图像尺寸的1/10以下。当图像的重叠为最小5像素时，在150μm中约1.4msec进行反复，帧速率为约714帧/秒。控制信号φread期间为约1.4msec，因此，信号输出频率为约8MHz。当进一步缩短LED点亮期间时，能够减小图像的抽样误差，提高图像合成后的指纹再现性，因此，能够提高认证精度。
如果以此为前提，驱动传感器来进行后述的图像合成，特征点抽出方法用频率分析法、图像匹配法、关系法就能实现可以满足的认证。但是，可以根据需要(需要的认证精度)，来设定特征点抽出法或帧速度。
此外，作为指纹检测的方法，除了向手指照射光，用光传感器检测其反射光或透过光(或者散射·透过光)而检测出指纹的光学式的方式之外，也存在把手指放置在压电元件、静电电容器检测元件、温度检测元件等半导体传感器上，通过检测压力、电容、温度来检测指纹的半导体传感器方式，在本发明中可以使用任一种检测方法。但是，在本发明中，由于拍摄图像使得活动图像的一部分重复，故要求传感器10的读取速度比手指的移动速度快的传感器。
如上述那样，根据本实施例，由于使用较小的传感器，故成本低，能够实现小型化。而且，能够降低耗电，来进行高精度的认证，而可以在便携设备中使用。
下面对实施例2进行说明。
图8A是示意地表示传感器和手指的移动的图，图8B是表示光学式的指纹读取装置的简要构成的图。在本实施例中，使用水平像素数为540像素，垂直像素数为20像素的传感器10。在进行指纹认证时，例如，通常使用垂直像素数为500像素左右的，因此，与此相比，在本实施例中使用的传感器尺寸非常小。而且，在本实施例中，不是通过传感器读取全体图像，而是读取其一部分的图像，因此，垂直像素数可以是充分读取一部分图像的像素数。在传感器10上(根据需要，在传感器10上配置薄板玻璃和纤维垫板等保护部件)放置手指，在本实施例中，如图2所示的那样，使手指在对于传感器10的长度方向的垂直方向上移动(用图2中的箭头表示)，依次读取图像。
如图8B所示的那样，从手指的侧部(可以是上方向、斜上方向、下方向、斜下方向，为了谋求装置的小型化，最好从是从侧部)由作为光照射装置的LED1照射光，在手指内使光散射·透过，该光从手指入射到传感器10中，得到指纹图像。
在本实施例中，在使用图8A，8B说明的基于手指的移动动作的指纹图像的读出之前，如图9所示的那样，不使用传感器10的全部的像素线列(在此为20行的线列)的所有，而使用一部分的多个像素线列来读出信号，判断传感器10上有无手指，在能够确认手指配置在传感器10上之后，使用传感器10的全部像素线列进入基于手指的移动动作的指纹图像的读入。在该构成中，在判断手指的有无时，不扫描全部的像素线列，因此，能够谋求系统的低耗电化。
图7是本发明的图像输入装置的一个实施例的系统图。首先，如图9所示的那样，使用传感器110的一部分的多个像素线列来读出信号，判断传感器110上有无手指。即，反复驱动图9所示的传感器110的一部分的多个像素线列，而得到数据A 1、数据A2、数据A3、…(各个数据表示来自一部分的多个像素线列的输出数据)，把这些数据经过存储器112或者直接输入到特征点抽出部111。在特征点抽出部111中，当检测出从手指的特征点未抽出(手指未放置)的状态变为手指的特征点被抽出(放置了手指)的状态时，特征点抽出部111向切换部121发送切换信号，切换部121向传感器110输出指示使用图2所示的全部像素线列的基于手指的移动动作的指纹图像的读出开始的信号。
当传感器110上的手指存在被确认并且进行手指的移动后，传感器110使用全部像素线列来依次输出手指的一部分的拍摄图像。由传感器110所分别读取的手指的一部分的图像存在重复的部分。随着手指的移动速度变慢，重复的部分的比例变多。
来自传感器110的图像信号暂时保存在存储器112中，或者，直接输入到特征点抽出部111中，进行手指的一部分的图像的特征点抽出。对于特征点抽出，另外进行描述。特征点按每一帧每任意像素行被保存在存储器113中。例如，第一帧被写入存储器区域1，第二帧被写入存储器区域2，…，第n帧被写入存储器区域n。每一帧的特征点在特征点比较部114中进行比较，在速度判定部116中计算在特征点相一致的像素行的位置上手指的移动速度。另外，同时，在重叠判定部115中决定帧间的图像的重叠，即图像的重叠区域，在图像修正部(图像合成部)117中进行修正(校正)，以使没有图像的重叠，在显示部118中进行显示。该图像在登录时被保存在数据保存部120中，在认证时，与在认证部119中所保存的数据进行比较，在显示部190中与被修正的手指的图像一起显示表示指纹的一致、不一致的认证结果，在不一致的情况下，再次进行手指的移动，在相一致的情况下，进入该设备的目的(例如，许可手机的使用，使可以进行通话)。
对于特征点抽出法，一般有以下三种方法从指纹图像抽出隆线的构造等指纹特征(端点和分支点)的方法(例如，Marchal关系法)、评价图像的相似度的图像(图案)匹配法、在横向(与手指的长度方向垂直的方向)上细致地分解指纹图像，对各个图像的隆线的浓淡的不同进行频率分析的频率分析法。
此外，尽管这里使用相同的输入特征点抽出部111来进行使用了一部分的多个像素线列的手指的一部分的拍摄图像的特征点抽出，和使用全部像素线列的手指的一部分的拍摄图像的特征点抽出，但是也可以分别设置特征点抽出部，改变特征点抽出法，例如，用图像(图案)匹配法来进行使用一部分的多个像素线列时的特征点抽出，而用频率分析法来进行使用全部像素线列时的特征点抽出。
图10是表示上述图像输入的动作的流程图。此外这样的动作可以通过生成执行相应的程序，由软件来执行。即，首先，使用传感器110的一部分的多个像素线列来读出信号(步骤S1)由是否能够抽出指纹的特征点，来判断传感器110上有无手指(步骤S2)。在能够抽出指纹的特征点的情况下，进行由使用全部像素线列的手指的移动动作所进行的指纹图像的读取(步骤S3)。另一方面，在不能抽出指纹的特征点的情况下，再次使用传感器110的一部分的多个像素线列来读出信号。
由传感器110分别读取的手指的一部分的图像，进行手指的一部分的图像的特征点抽出(步骤S4)。特征点按每一帧中每一像素行保存在存储器113中(步骤S5)。比较每一帧的特征点(步骤S6)，在特征点超过预定数量相一致的情况下，在特征点相一致的像素行的位置上计算手指的移动速度，另外同时，决定帧间的图像的重叠即图像的重叠区域(步骤S7)。接着，进行修正(校正)，以使没有图像的重叠(步骤S8)。在特征点不一致的情况下，再次进行利用使用了全部像素线列的手指的移动动作的指纹图像的读取。
图11是表示比较形状的识别为简单的“M”形状的字是被摄物体像时的图像数据的示意图。数据A表示某个时刻t1的被摄物体像的图像数据，数据B表示时刻t2(＞t1)上的被摄物体像的图像数据，数据C表示重叠部分的图像数据。通过比较数据A的图像数据和数据B的图像数据，识别图像的重叠部分的数据C，修正为“M”形状的被摄物体像的图像数据。
如图11的示意图所示的那样，在比较的形状的识别为简单的被摄物体像的情况下，作为比较数据A和数据B的特征的方法，最好为评价图像的相似度的图像匹配法。在象指纹这样比较复杂的情况下，如果比较一部分的指纹，则频率分析法的处理比较简单。Marchal关系法，为了检测隆线的端点或分支点，传感器面积最好较大。
图12和图13是表示传感器110的一个构成例的图，图12是表示传感器的电路块的图，图13是表示传感器像素部的图。
在图12中，130是读取图像的光电变换部，131是选择光电变换部130的扫描行的垂直扫描电路(V·SR)，132是暂时保存来自光电变换部130的信号的暂时保存存储器，133是把来自暂时保存存储器132的信号传送控制到后级的差动放大器和增益可变放大器(PGA)134的水平扫描电路(H·SR)。来自PGA134的信号由模拟数字变换器(A/D变换器)136变换为数字信号，导入后级的图7所示的特征点抽出部111。垂直扫描电路131、暂时保存存储器132、水平扫描电路133、PGA1 34、A/D变换器136由来自定时发生器(TG)135的控制信号进行控制。此定时发生器135接受从图7所示的切换部121所输出的信号，向垂直扫描电路131输出对利用使用了图8所示的全部像素线列的手指的移动动作的指纹图像的读出开始进行控制的信号。
接着，使用图13来说明图12所示的光电变换部130和暂时保存存储器132的构成。在此使用的光电变换部以被称为CMOS传感器的像素放大器形式所构成。各个像素由6个元件形成。即，一个像素由光电二极管PD、除去光电二极管PD的残留电荷的复位开关MV、用于把光电二极管PD的信号电荷传送给后级的放大器的传送开关MTX、用于除去放大器(缓冲晶体管)的栅极部的残留电荷的复位开关MRES、成为缓冲栅极部的信号电压的放大器的缓冲晶体管MSF、把缓冲晶体管MSF的信号输出控制到垂直信号线上的开关MSEL所构成。M1和M2是用于把来自垂直信号线的信号传送给暂时保存用的电容器CS，CN的开关。M3和M4是用于把来自电容器CS，CN的信号S1和噪声N1分别经过水平输出线而传送给下一个差动放大器(未图示)的开关。全部像素总括曝光装置相当于用于进行总括复位的开关MV、MRES以及用于进行总括传送的传送开关MTX。全部像素总括曝光期间是从全部像素被复位到由传送开关MTX所产生的信号传送结束为止的期间，在该期间通过点亮LED1，能够得到手指的指纹图像。
光电二极管PD的信号被传送给电容器CS，像素放大器(缓冲晶体管MSF)的复位噪声被传送给电容器CN。
下面使用图14对传感器的动作时序进行说明。
图14的基本驱动时序为在传感器的全部像素被全面总括清除之后，图8(B)所示的LED1被点亮，指纹的一部分被读取。该信号被总括传送给各像素的放大器栅极部(缓冲晶体管MSF的栅极部)。栅极部的信号按每行被传送给电容器CS来进行保存。然后，栅极部被复位，其噪声被保存在电容器CN中。信号和噪声被同时传送给后级的差动放大器，从信号中除去噪声。该动作在每行中重复进行。
使用图14来详细说明上述动作。首先，当传感器110上的手指被检测到时，在T1期间，传感器的动作启动，从定时发生器135输出控制信号φstart。接受控制信号φstart的垂直扫描电路131在T2期间首先把信号φC1，φC2(n)，φC2(n+1)，…作为H电平，接通开关MV、MRES，在全部像素中清除光电二极管PD和放大器的栅极部(缓冲晶体管MSF的栅极部)。接着，使信号φP在全部像素中同时作为H电平，接通传送开关MTX，此时，LED 1被点亮(φLED为H电平)，照射到移动的手指上，来自手指的反射光由各像素的光电二极管PD进行光电变换，向放大器的栅极部(缓冲晶体管MSF的栅极部)传送来自光电二极管PD的信号。指纹图像进行20行的读取。而且，在使传送开关MTX关断的状态下，在期间T3内，点亮LED1，然后，接通传送开关MTX，而可以传送信号。进行控制以使LED1的点亮期间(光照射期间)与由全部像素总括曝光装置所产生的曝光期间相一致或者处于该曝光期间内，由此，能够降低耗电。放大器的输出信号通过使信号φsel(n)和φS成为H电平，而接通开关MSEL和M1，由此，被保存在电容器CS内。
接着，使信号φC2(n)成为H电平，使开关MRES接通，来使放大器栅极部(缓冲晶体管MSF的栅极部)被复位。然后，使信号φsel(n)和φN成为H电平，而接通开关MSEL和M2，由此，复位噪声被传送给电容器CN。此时，光电二极管PD为了防止由于外来光等而由电荷过剩所产生的电荷向栅极部的泄漏，使信号φC1成为H电平，开关MV接通，被控制在固定电位上。被保存在电容器CS，CN内的信号和噪声依次被传送到后级进行处理。接着，当第n行的像素的信号和噪声在每列中被依次读出时，把接着的第n+1行的像素的放大器的输出信号传送给电容器CS，把复位噪声传送给电容器CN，执行在后级进行传送处理的读出动作。这样，进行各像素行的读出。期间T4是把全部像素信号读出到后级的期间。当检测到传感器110上没有手指时，从定时发生器35输出信号φend，停止传感器的动作。
图15表示判断手指有无的时序例的时序图。重复驱动图9所示的传感器110的一部分的多个像素线列，得到数据A1、数据A2、数据A3、…(各个数据表示来自一部分的多个像素线列的输出数据)。然后，通过这些数据，当检测为从手指的特征点未抽出(手指未放置)的状态变为手指的特征点被抽出(放置了手指)的状态时，进行利用使用了全部像素线列的手指的移动动作的指纹图像的读出。
在此，读出全部像素的时间的设定方法是重要的。即，需要预想或预设手指的移动的最高速度，决定传感器的帧速度。当帧速度慢时，由于手指的移动，指纹模糊，或者，当帧速度过快时，在手指的移动慢的情况下，必须准备多个图像存储器。
在本实施例中，把像素尺寸设定为30μm见方，把手指的最高移动速度设定为1cm/0.1sec。此时，如果LED点亮期间为28μsec，该期间的手指的移动为2.8μm，图像的模糊部分或者帧间的抽样误差为max图像尺寸的1/10以下。当设图像的重叠为最小5像素后，在150μm中约1.4msec进行重复，帧速率为约714帧/秒。由于控制信号φread期间为约1.4msec，故信号输出频率为约8MHz。当进一步缩短LED点亮期间时，能够减小图像的抽样误差，提高图像合成后的指纹再现性，故能够提高认证精度。
如果以其为前提驱动传感器来进行后述的图像合成，特征点抽出方法用频率分析法、图像匹配法、关系法也能实现可以满足的认证。但是，根据需要(需要的认证精度)，来设定特征点抽出法或帧速度即可。
此外，作为指纹检测的方法，除了向手指照射光，用光传感器检测其反射光或透过光(或者散射/透过光)而检测出指纹的光学式的措施之外，也存在把手指放置在压电元件、静电电容器检测元件、温度检测元件等半导体传感器上，通过检测压力、电容、温度来检测指纹的半导体传感器方式，在本发明中可以使用任一种检测方法。但是，在本发明中，由于活动图像的一部分重复地拍摄图像，则要求传感器10的读取速度比手指的移动速度快的传感器。
下面对本发明的图像输入装置的另一个实施例进行说明。本实施例是判断手指的移动来控制图14的驱动的开始。
图16是本实施例的图像输入装置的另一个系统图。在图15所示的时序图中，能够读出数据来判断手指的移动。在图16中，对于与图7相同的构成部件，使用相同的标号。
如图9所示的那样，使用传感器110的一部分的多个像素线列来读出信号，判断传感器110上有无手指。即，如图15所示的那样，重复驱动图9所示的传感器110的一部分的多个像素线列，得到数据A1、数据A2、数据A3、…(各个数据表示来自一部分的多个像素线列的输出数据)，把这些数据经过存储器112或者直接输入特征点抽出部111，进行手指的一部分图像的特征点抽出。特征点在每个数据中对每个像素行被保存在存储器113中。例如，数据A 1被写入存储器区域1，数据A2被写入存储器区域2，…，数据Am被写入存储器区域m(m为小于n的数，m＜n)。每个数据的特征点在特征点比较部114中进行比较，象数据A1和数据A2、数据A2和数据A3这样比较数据，在数据的比较值超过某个设定值不一致的情况下，特征点比较部114检测手指移动，另外，在特征点相一致的像素行的位置上，由速度判定部116计算手指的移动速度。从特征点比较部114或者特征点比较部114和速度判定部116向切换部122发送切换信号，切换部122向传感器110的时序发生部136输出控制图14的驱动的开始的信号。此外，由于从速度判定部116向切换部122或传感器110的时序发生部136发送表示手指的移动速度的水平的信号，能够适合于该移动速度来驱动传感器，故用少量的存储器就可以。而且，LED 101的点亮所产生的耗电也可以降低。进而，由于在判断手指的移动的情况下，不是扫描全部的像素线列，故能够谋求系统的低耗电化。
使用图11来说明图14的驱动的帧间的数据的重叠。在此，为了简化说明，把指纹变为字符M来作为被摄物体，使字符M在传感器上移动。帧A中的数据A和帧B的数据B的重叠，数据C为取得的图像的重叠即重叠部分。存在如果被摄物体的移动慢，重叠的数据增加，帧驱动时间变长这样的问题，但是，通过配合被摄物体的移动速度来驱动传感器，就能够减少重叠的数据，并减少存储器容量。
如上述那样，根据本实施例，由于使用小的传感器，则成本低，能够实现小型化。而且，能够降低耗电，能够进行高精度的认证，并能用于便携设备。
下面对实施例3进行说明。
图18A是示意地表示传感器和手指的移动的图，图18B是表示由光学式所实现的指纹读取装置的简要构成的图。在本实施例中，使用水平像素数为540像素，垂直像素数为20像素的传感器210。例如，在进行指纹认证时，通常使用垂直像素数为500像素左右的，因此，与此相比，在本实施例中使用的传感器尺寸非常小。而且，由于在本实施例中，不是通过传感器读取全体图像，而是读取其一部分的图像即可，故垂直像素数也是对读取一部分图像充分的像素数即可。在传感器210上(根据需要，在传感器210上配置薄板玻璃和纤维垫板等保护部件)放置手指，在本实施例中，如图18A所示的那样，使手指在相对于传感器210的长度方向的垂直方向上移动(用图18A中的箭头表示)，依次读取图像。
如图18B所示的那样，从手指的侧部(可以是上方向、斜上方向、下方向、斜下方向，但为了谋求装置的小型化，最好从是从侧部)利用成为光照射装置的LED1照射光，在手指内使光散射/透过，该光从手指入射到传感器210中，得到指纹图像。
图20是表示比较形状的识别是简单的“M”形状的字为被摄物体像时的图像数据的示意图。数据A表示某个时刻t1的被摄物体像的图像数据，数据B表示时刻t2(＞t1)上的被摄物体像的图像数据，数据C表示重叠部分的图像数据。在相应的情况下，如果被摄物体的移动慢，则重叠的数据增加，帧驱动时间变长。因此，在本实施例中，通过配合被摄物体的移动速度来驱动传感器，能够减少重叠的数据，减少全部像素读出的次数，由此，能够减少存储器容量。
在图19A，B中表示了本实施例的动作的概念图。如图19A所示的那样，除了使用图18A，18B说明的传感器210的全部像素线列(在此为20行的线列)的指纹图像的读出方式(称为全部像素读出方式)之外，还设置了使用传感器10的一部分的多个像素线列的指纹图像的读出方式(称为部分像素读出方式)，如图19B所示的那样，首先，在全部像素读出方式中，由传感器210读取数据A，接着，重复部分像素读出方式，当在所得到的数据B、数据C、…中具有与数据A内的数据A′相一致的数据时，得到由全部像素读出方式进行接着的读出的数据D。利用本实施例的动作，利用全部像素读出方式的数据A和数据D的重叠部分L2与重复进行全部像素读出方式时(在数据A读出后，不进行部分像素读出方式，用虚线表示进行全部像素读出方式时的数据)的重叠部分L1与比较，能够变小。这样，即使在手指的移动速度慢的情况下，也能降低重叠部分。
图17是本发明的图像输入装置的一个实施例的系统图。当参照图19A，19B进行说明时，在确认了传感器210上的手指的存在，进行手指的移动后，传感器210使用全部像素线列来输出手指的一部分的拍摄图像(图19B中的数据A)。来自传感器210的图像信号被暂时存储在存储器212中，或者，直接被输入特征点抽出部211中，进行手指的一部分图像的特征点抽出。与特征点抽出相关的内容另外描述。特征点作为第一帧的特征点，按每个任意的像素行，被存储在存储器213的存储器区域1中。
接着，如图19A，19B所示的那样，驱动传感器210的一部分的多个像素线列来得到拍摄图像(图19B的数据B)，该数据B经过存储器212或者直接输入特征点抽出部211，进行图像的特征点抽出。特征点按每像素行被存储在存储器213的存储器区域2中。在存储器区域1中所存储的数据A内的数据A′的特征点与在存储器区域2中所存储的数据B的特征点在特征点比较部214中进行比较，在数据A′的特征点与数据B的特征点相一致或超过某个设定值的情况下，特征点比较部214向切换部222发送控制信号，切换部222把传感器210切换到全部像素读出方式下。另外，由速度判定部216计算在特征点相一致的像素行的位置上的手指的移动速度。此外，在存储器213中不保存数据B的特征点，从特征点抽出部211直接输入特征点比较部214，与数据A′的特征点进行比较。
如果数据A′的特征点与数据B的特征点不一致，驱动传感器210的一部分的多个像素线列来得到拍摄图像(图19B的数据C)，与上述动作相同，比较数据A′的特征点与数据C的特征点，进行部分像素读出，直到通过部分像素读出而得到的数据的特征点与数据A′的特征点相一致或者超过某个设定值为止。
当通过切换部222切换到全部像素读出方式下，进行全部像素读出时，与上述动作相同，来自传感器210的图像信号作为数据D而被暂时存储在存储器212中，或者，直接被输入特征点抽出部211，进行手指的部分图像的特征点抽出。特征点作为第二帧的特征点，按每个任意像素行，被存储在存储器213的存储器区域2中。此外，在进行全部像素读出时，由部分像素读出所产生的在存储器区域2中所存储的数据B或数据C被删除。
这样，在全部像素读出之后，进行部分像素读出，当全部像素读出所产生的数据的一部分与部分像素读出所产生的数据相一致或大致一致时，依次执行进行接着的全部像素读出的动作。因此，能够检测手指对传感器的移动速度，来设定帧速度。在此情况下，即使手指的移动速度变化，也能与其对应来改变帧速度，调整重叠部(能够对应于移动速度的变化来改变帧速度)。此外，在手指的移动速度不怎么变化的情况下，最初设定从数据A到数据D的速度(帧速度)，也能够在该设定之后，不进行部分像素读出，从接着的全部像素读出之后以该帧速度来动作。
这样，重叠部分较少的数据的特征点依次被存储在存储器213中。例如，由全部像素读出所产生的第一帧被写入存储器区域1，第二帧被写入存储器区域2，…，第n帧被写入存储器区域n。每帧的特征点由特征点比较部214进行比较，在特征点相一致的像素行的位置上，由速度判定部216计算手指的移动速度。另外，同时，由重叠判定部15决定帧间的图像的重叠即图像的重叠区域，由图像修正部(图像合成部)217进行修正(校正)以及合成，以使没有图像的重叠，并在显示部218上进行显示。该图像在登录时被保存在数据保存部220中，在认证时，与在认证部219中所保存的数据进行比较，在显示部218上与被修正的手指的图像一起显示表示指纹的一致、不一致的认证结果，在不一致的情况下，再次进行手指的移动，在相一致的情况下，进入该设备的目的(例如，许可手机的使用，使能够进行通话)。
对于特征点抽出法，一般为以下三种方法从指纹图像抽出隆线的构造等指纹特征(端点和分支点)的方法(例如，Marchal关系法)、评价图像的相似度的图像(图形)匹配法、在横向(与手指的长度方向垂直的方向)上细致地分解指纹图像，对各个图像的隆线的浓淡的不同进行频率分析的频率分析法。
如图20的示意图所示的那样，在比较的形状的识别是简单的被摄物体像的情况下，作为比较数据A和数据B的特征的方法，最好为评价图像的相似度的图像匹配法。象指纹这样比较复杂的情况下，如果比较一部分的指纹，则频率分析法的处理比较简单。Marchal关系法为了检测隆线的端点或分支点，传感器面积最好较大。
图21和图22是表示传感器210的一个构成例的图，图21是表示传感器的电路块的图，图22是表示传感器像素部的图。
在图21中，230是读取图像的光电变换部，231是选择光电变换部230的扫描行的垂直扫描电路(VSR)，232是暂时保存来自光电变换部230的信号的暂时保存存储器，233是把来自暂时保存存储器32的信号传送控制到后级的差动放大器和增益可变放大器(PGA)234的水平扫描电路(HSR)。来自PGA 234的信号由模拟数字变换器(A/D变换器)236变换为数字信号，导入后级的图17所示的特征点抽出部211。垂直扫描电路231、暂时保存存储器232、水平扫描电路233、PGA 234、A/D变换器236由来自定时发生器235的控制信号进行控制。
接着，使用图22来说明图21所示的光电变换部230和暂时保存存储器232的构成。这里使用的光电变换部以被称为CMOS传感器的像素放大器形式所构成。各个像素由6个元件形成。即，一个像素由光电二极管PD、除去光电二极管PD的残留电荷的复位开关MV、用于把光电二极管PD的信号电荷传送给后级的放大器的传送开关MTX、用于除去放大器(缓冲晶体管)的栅极部的残留电荷的复位开关MRES、成为缓冲栅极部的信号电压的放大器的缓冲晶体管MSF、把缓冲晶体管MSF的信号输出控制到垂直信号线上的开关MSEL所构成。M1和M2是用于把来自垂直信号线的信号传送给暂时保存用的电容器CS，CN的开关。M3和M4是用于把来自电容器CS，CN的信号S1和噪声N1分别经过水平输出线而传送给下一个差动放大器(未图示)的开关。全部像素总括曝光装置相当于用于进行总括复位的开关MV、MRES以及用于进行总括传送的传送开关MTX。全部像素总括曝光期间是从全部像素被复位到由传送开关MTX所产生的信号传送结束为止的期间，在该期间通过点亮LED1，而能够得到手指的指纹图像。
光电二极管PD的信号被传送给电容器CS，像素放大器(缓冲晶体管MSF)的复位噪声被传送给电容器CN。
下面使用图23来对传感器的动作时序进行说明。
图23的基本驱动时序为在传感器的全部像素被全面总括清除之后，图18(B)所示的LED 201被点亮，指纹的一部分被读取。该信号被总括传送给各像素的放大器栅极部(缓冲晶体管MSF的栅极部)。栅极部的信号按每行被传送给电容器CS来进行保存。然后，栅极部被复位，其噪声被保存在电容器CN中。信号和噪声被同时传送给后级的差动放大器，从信号中除去噪声。该动作对每行重复进行。
使用图23来更详细地说明上述动作。首先，当传感器210上的手指被检测到时，在T1期间，传感器的动作启动，从定时发生器235输出控制信号φstart接受控制信号φstart的垂直扫描电路231在T2期间首先把信号φC1，φC2(n)，φC2(n+1)，…作为H电平，接通开关MV、MRES，在全部像素中清除光电二极管PD和放大器的栅极部(缓冲晶体管MSF的栅极部)。接着，使信号φP在全部像素中同时作为H电平，接通传送开关MTX，此时，LED 201被点亮(φLED为H电平)，照射到移动的手指上，来自手指的反射光由各像素的光电二极管PD进行光电变换，向放大器的栅极部(缓冲晶体管MSF的栅极部)传送来自光电二极管PD的信号。指纹图像进行20行的读取。而且，在使传送开关MTX关断的状态下，在期间T3内，点亮LED 201，然后，接通传送开关MTX，而可以传送信号。进行控制以使LED 201的点亮期间(光照射期间)与由全部像素总括曝光装置所产生的曝光期间相一致或者处于该曝光期间内，由此，能够降低耗电。放大器的输出信号通过使信号φsel(n)和φS成为H电平，并接通开关MSEL和M1，被保存在电容器CS内。
接着，使信号φC2(n)成为H电平，使开关MRES接通，来使放大器栅极部(缓冲晶体管MSF的栅极部)被复位。然后，使信号φsel(n)和φN成为H电平，而接通开关MSEL和M2，由此，复位噪声被传送给电容器CN。此时，光电二极管PD为了防止由于外来光等而由电荷过剩所产生的电荷向栅极部的泄漏，使信号φC1成为H电平，开关MV接通，被控制在固定电位上。被保存在电容器CS，CN内的信号和噪声依次被传送到后级进行处理。接着，当第n行的像素的信号和噪声在每列中被依次读出时，把接着的第n+1行的像素的放大器的输出信号传送给电容器CS，把复位噪声传送给电容器CN，执行在后级进行传送处理的读出动作。这样，进行各像素行的读出。期间T4是把全部像素信号读出到后级的期间。当检测到传感器210上没有手指时，从定时发生器35输出信号φend，停止传感器的动作。
图24表示图19B所示的动作的时序图。在全部像素读出方式中，由传感器210读取数据A，接着，重复部分像素读出方式，当在所得到的数据B、数据C、…中具有与数据A内的数据A′相一致的数据时，得到由全部像素读出方式进行接着的读出的数据D。通过依次进行这样的动作，对于手指全体，在全部像素读出方式下进行指纹的读出。
在此，读出全部像素的时间的设定方法是重要的。即，需要预想或预设手指的移动的最高速度，决定传感器的帧速度。当帧速度慢时，由于手指的移动，指纹模糊，或者，当帧速度过快时，在手指的移动慢的情况下，必须准备多个图像存储器。
在本实施例中，把像素尺寸设定为30μm见方，把手指的最高移动速度设定为1cm/0.1sec。此时，如果LED点亮期间为28μsec，该期间的手指的移动为2.8μm，图像的模糊部分或者帧间的抽样误差为max图像尺寸的1/10以下。当设图像的重叠为最小5像素时，在150μm中约1.4msec进行重复，帧速率为约714帧/秒。控制信号φread期间为约1.4msec，因此，信号输出频率为约8MHz。当进一步缩短LED点亮期间时，能够减小图像的抽样误差，提高图像合成后的指纹再现性，因此，能够提高认证精度。
如果以其为前提，驱动传感器来进行后述的图像合成，特征点抽出方法用频率分析法、图像匹配法、关系法也能实现可以满足的认证。但是，根据需要(需要的认证精度)，来设定特征点抽出法或帧速度即可。
此外，作为指纹检测的方法，除了向手指照射光，用光传感器检测其反射光或透过光(或者散射·透过光)而检测出指纹的光学式的措施之外，也存在把手指放置在压电元件、静电电容器检测元件、温度检测元件等半导体传感器上，通过检测压力、电容、温度来检测指纹的半导体传感器方式，在本发明中可以使用任一种检测方法。但是，在本发明中，由于活动图像的一部分重复地拍摄图像，则要求传感器10的读取速度比手指的移动速度快的传感器。
接着对本发明的图像输入装置的另一个实施例进行说明。本实施例不进行部分像素读出，通过全部像素读出相互的比较，来降低数据的重叠部分。
在图25中表示了本实施例的动作的概念图。如图25所示的那样，首先，由传感器210以第一次的全部像素读出方式读取数据A，接着，由传感器210以第二次的全部像素读出方式读取数据B。在特征点比较部214中比较在第二次的全部像素读出方式下得到的存储在存储器213的存储器区域2中的数据B内的数据B′与在第一次全部像素读出方式下得到的存储在存储器区域1中的数据A内的数据A′，当相一致或者大致一致时，如图25所示的那样，接着，由传感器210在第三次全部像素读出方式下读取数据C。此时，数据B从存储器213中被删除。此外，当相一致或者大致一致时，使用在第二次的全部像素读出方式下所得到的数据B，在特征点比较部214中与在第一次的全部像素读出方式下所得到的数据A进行特征点比较，以与上述实施例相同的动作进行指纹的认证。
在特征点比较部214中，比较在第三次的全部像素读出方式下所得到被存储在存储器213的存储器区域2中的数据C内的数据C′与在第一次全部像素读出方式下得到的存储在存储器区域1中的数据A内的数据A′，当相一致或者大致一致时，成为在存储器213的存储器区域2中存储数据C的状态，进行接着的全部像素读出。在此说明了进行在全部像素读出中的数据比较直到读取了手指全体的指纹数据为止。本实施例的动作所产生的利用全部像素读出方式的数据A和数据C的重叠部分L2与全部像素读出方式的数据A和数据C的重叠部分L1相比较要小，通过不使用数据B，即使在手指的移动速度慢的情况下，也能降低重叠部分。其他的动作与上述实施例的动作相同，此外，为了提高处理速度，数据A′最好在数据A的最后附近，进行比较的数据B′、数据C′最好在数据B、数据C的开头附近。
在图26中表示了图25所示的动作的时序图。在全部像素读出方式下由传感器210读取数据A，在此后的全部像素读出方式下所得到的数据B、数据C、…内的数据B′、数据C′比较是否与数据A内的数据A′相一致或大致一致(在此，数据C′与数据A′相一致)，使用具有一致或大致一致的数据C，不使用具有不一致的数据B′的数据B。这样，能够降低重叠部分。
图27是在由图19B说明的实施例中表示把比较形状的识别是简单的“M”形状的字置换为被摄物体像时的图像数据的示意图。由全部像素读出所进行的驱动读取数据A，由接着的部分像素读出所进行的驱动读取数据B，从数据A和数据B相一致的像素的位置，来判定被摄物体的移动速度，能够进行利用接着的全部像素读出的驱动。
此外，作为由全部像素读出所进行的驱动的数据，可以仅利用数据A中的一部分的数据。图28是表示把比较形状的识别是简单的“M”形状的字置换为被摄物体像时的图像数据的示意图。设利用数据A中的一部分的数据作为由全部像素读出所进行的驱动的数据，在接着的部分像素读出所进行的驱动中，使用数据B中的数据B 1、B2、B3、B4，来进行数据A与数据B是否相一致或者大致一致的判断。在此情况下，由于接着的驱动是为了读取像素线列的一部分，故具有能够快速进行判断的优点。
由于在不脱离本发明的精神和范围内，能够实现本发明大量而广泛的实施形式，应该理解为本发明并不限于特定的实施形式，而是由附加的权利要求所规定。
权利要求
1.一种图像输入装置，通过使被摄物体与包含多个像素的传感器相对移动，分别依次取得作为上述被摄物体的图像的一部分的多个部分图像，其特征在于，包括控制电路，根据多个上述部分图像数据的比较，控制取得将要合成的多个上述部分图像数据的定时。
2.根据权利要求1所述的图像输入装置，其特征在于上述控制电路包括切换电路和检测电路，所述切换电路，切换从上述传感器的多个像素读取图像的第一读取方式和从少于在上述传感器的上述第一方式中使用的像素数的多个像素读取图像的第二读取方式；所述检测电路，对于与上述传感器相对移动的被摄物体，比较用第一读取方式进行读取所得到的上述部分图像数据的一部分和此后用第二读取方式进行读取所得到的上述部分图像数据，依照上述检测电路的比较结果，通过上述切换电路，从第二读取方式切换到下一个第一读取方式。
全文摘要
本发明提供一种图像输入装置。该图像输入装置，通过使被摄物体与包含多个像素的传感器相对移动，分别依次取得作为上述被摄物体的图像的一部分的多个部分图像，其特征在于，包括控制电路，根据多个上述部分图像数据的比较，控制取得将要合成的多个上述部分图像数据的定时。
文档编号G06K9/00GK1873655SQ20061009597
公开日2006年12月6日 申请日期2003年2月18日 优先权日2002年2月20日
发明者桥本诚二 申请人:佳能株式会社