成像设备、显示与成像设备、检测对象的电子设备和方法

专利名称：成像设备、显示与成像设备、检测对象的电子设备和方法
技术领域：
本发明涉及获得诸如接触或接近面板的对象的位置之类的信息的图像拾取器件以及显示与图像拾取器件、包括这种显示与图像拾取器件的电子设备和检测对象以获得这种信息的方法。
背景技术：
迄今为止，检测接触或接近显示器的表面的对象的位置等的技术已经是已知的。在它们当中，作为典型的和广泛使用的技术，列举包括触摸板的显示器。
存在各种类型的触摸板，但是作为通常使用的类型，列举检测电容的类型的触摸板。当手指接触触摸板时，触摸板捕捉面板的表面电荷的改变以检测对象的位置等。因此，当使用这种触摸板时，允许用户直观地操作触摸板。
此外，在专利文档l和专利文档2中，本发明的申请人提出了具有显示图像的显示功能和拾取对象的图像的图像拾取功能(检测功能)的显示器。[专利文档l]日本未审查专利申请公开No. 2004- l27272[专利文档2]日本未审查专利申请公开No. 2006-27622
发明内容
当例如，在诸如手指之类的对象接触或靠近显示与图像拾取面板的情况下，使用上述专利文档1中描述的显示器时，基于通过使用反射光拾取的图像可检测对象的位置等，其中该反射光是由对象从来自显示与图像拾取面板的照明光反射的。因此，当使用该显示器时，可以以简单的配置检测对象的位置等，而不用在显示与图像拾取面板上分开地布置诸如触摸板之类的组件。
但是，在如上所述地使用由对象反射的反射光的情况下，在某些情况下，外部光(环境光)或光接收元件的特性的变化引起问题。更具体地说，所接收的光的辉度(luminance )取决于外部光的亮度(brightness )，所以在某些情况下，难以基于拾取图像检测对象的位置等。此外，光接收元件的特征的变化引起静态噪音(stationary noise),由此在某些情况下，难以基于拾取图 像检测对象的位置等。
因此，在上述专利文档2中，检测在发光态中获得的图像(通过使用来 源于照明光的反射光获得的图像)和在熄灭(light off)态中获得的图像之间 的差别，以除去由上述外部光或静态噪音的影响。
更具体地说，例如，如图55 (A)的截面图中所示，在入射外部光(环 境光)LO强的情况下，如图55(B)所示，在其中背光105打开的状态下， 光接收输出电压VonlOl在显示区101中、除了由手指f接触的点之外的点上 具有与环境光L0的亮度对应的电压值Va，并在显示区101中由手指f接触 的点上，光接收输出电压Vonl01减小到与此时在接触该点的对象(手指F ) 的表面上反射来自背光105的照明光Lon的反射率对应的电压值Vb。另一方 面，如在光接收输出电压Vonl01的情况下，在其中背光105闭合的状态下的 光接收输出电压Voffl01在除了由手指f接触的点之外的点上具有与环境光 L0的亮度对应的电压值Va,但是由手指f接触的点处于其中阻挡环境光L0 的状态，所以光接收输出电压Voffl01具有非常低的电平电压值Vc。
此外，如图56 (A)的截面图中所示，在入射环境光L0弱(非常小) 的状态下，如图56(B)所示，因为环境光L0不存在，因此在其中背光105 打开的状态下，光接收输出电压Von201在显示区101中除了由手指f接触的 点之外的点上具有非常低的电平电压值Vc，并在显示区101中由手指f接触 的点上，光接收输出电压Von201增加到与此时在接触该点的对象(手指f) 的表面上反射来自背光105的照明光Lon的反射率对应的电压值Vb。另一方 面，在其中背光105闭合的状态下的光接收输出电压Voff2在由手指f接触的 点和任意其他点上保持不变(在非常低的电平电压值Vc )。
如上所述，在显示区101中未由手指f接触的点上，光接收输出电压在 存在环境光L0的情况和不存在环境光L0的情况之间非常不同。另 一方面， 在显示区101中由手指f接触的点上，无论存在或不存在环境光LO,当背光 105打开时的电压Vb和当背光105关闭时的电压Vc实质上处于相同状态。 因此，认为当检测到在当背光105打开时的电压和当背光105关闭时的电压 之间的差别时，允许存在诸如在电压Vb和Vc之间的差别之类的特定或更大 差别的点被确定为对象接触或靠近的点，并且，例如，类似于图57中图解的 差别图像C,可不受没有外部光或静态噪音的影响地检测对象的位置等。但是，在使用这种差别图像C检测对象的方法中，例如，如图57所示， 需要用于两个图像，也就是，当背光关闭时的图像(图像A)和当背光打开
时的图像(图像B)的帧存储器等，由此引起组件成本的增加。
如上所述，在现有技术中，难以在不考虑在那时的使用条件的情况下稳 定地检测触摸或接近面板的对象，同时又减少制造成本，并且存在改进的余地。
做出本发明以解决上述问题，并且本发明的目的是提供图像拾取器件、 显示与图像拾取器件和检测对象的方法(能够不考虑使用条件稳定地检测对 象，同时减少制造成本)和包括这种显示与图像拾取器件的电子设备。
本发明的图像拾取器件包括图像拾取面板，包括多个图像拾取像素， 并具有用于邻近对象的照明光源；图像拾耳又驱动装置，用于通过关于每一图 像拾取像素执行图像拾取驱动，而从每一 图像拾取像素获得图像拾取信号； 和图像处理装置，用于利用基于从每一图像拾取像素获得的图像拾取信号的 拾取图像，获得包括邻近对象的位置、形状和尺寸中的一个或多个的对象信 息。此外，上述图像拾取驱动装置执行图像拾取驱动，以便当从照明光源发 射照明光时，根据作为来源于照明光的反射光和环境光的总和的总光量而在 每一图像拾取像素中累积充电电荷，并且当未从照明光源发射照明光时，根 据环境光的光量从每一图像拾取像素释放放电电荷，由此从每一图像拾取像 素获得图像拾取信号。另外，"邻近对象"不仅指几乎邻近的对象而且指处于 接触状态的对象。
本发明的显示与图像拾取器件包括显示与图像拾取面板，包括多个显 示像素和多个图像拾取像素；显示驱动装置，用于通过关于每一显示像素执 行显示驱动而显示图像；图像拾取驱动装置，用于通过关于每一图像拾取像 素执行图像拾取驱动而从每一图像拾取像素获得图像拾取信号；和图像处理 装置，用于利用基于从每一图像拾取像素获得的图像拾取信号的拾取图像， 获得包括邻近对象的位置、形状和尺寸中的一个或多个的对象信息。此外， 上述图像拾取驱动装置执行图像拾取驱动，以便当从显示与图像拾取面板向 邻近对象发射照明光时，根据作为来源于照明光的反射光和环境光的总和的 总光量来在每一 图像拾取像素中累积充电电荷，并且当未从显示与图像拾取 面板发射照明光时，根据环境光的光量从每一图像拾取像素释放放电电荷， 由此从每一图像拾取像素获得图像拾取信号。另外，"照明光，，不仅指从显示与图像拾取面板施加的显示光，而且指从显示与图像拾取面板上的另 一 光源 (例如，红外光源等)施加的光。
本发明的电子设备包括具有图像显示功能和图像拾取功能的上述显示与 图像拾取器件。
本发明的检测对象的方法包括以下步骤关于多个图像拾取像素中的每 一个执行图像拾取驱动，以便当从包括多个图像拾取像素的图像拾取面板向 邻近对象发射照明光时，根据作为来源于照明光的反射光和环境光的总和的 总光量而在每一图像拾取像素中累积充电电荷，和当不发射照明光时，根据 环境光的光量从每一图像拾取像素释放放电电荷，由此从每一图像拾取像素 获得图像拾取信号；和利用基于从每一 图像拾取像素获得的图像拾取信号的 拾取图像，获得包括邻近对象的位置、形状和尺寸中的一个或多个的对象信 息。
在本发明的检测对象的图像拾取器件、显示与图像拾取器件、电子设备 和方法中，当从图像拾取面板或显示与图像拾取面板向邻近对象发射照明光 时，根据作为来源于照明光的反射光和环境光的总和的总光量在每一图像拾 取像素中累积充电电荷。此外，当不发射上述照明光时，根据环境光的光量 从每一图像拾取像素释放放电电荷。由此，从每一图像拾取像素获得图像拾 取信号。然后，利用基于从每一图像拾取像素获得的图像拾取信号的拾取图 像，获得包括邻近对象的位置、形状和尺寸中的一个或多个的对象信息。由 此，在来自每一图像拾取像素的图像拾取信号中减去环境光的分量，因此可 获得关于邻近对象的对象信息而不受这种环境光的影响。此外，基于累积充 电电荷的操作和释放放电电荷的操作从每一 图像拾取像素获得图像拾取信 号，因此需要比在现有技术中更少数量的用于从图像拾取信号产生拾取图像 的必要帧存储器等。
根据本发明的检测对象的图像拾取器件、显示与图像拾取器件、电子设 备或方法，当从图像拾取面板或显示与图像拾取面板向邻近对象发射照明光 时，根据作为来源于照明光的反射光和环境光的总和的总光量在每一图像拾 取像素中累积充电电荷，并且当不发射上述照明光时，根据环境光的光量从 每一 图像拾取像素释放放电电荷，由此从每一 图像拾取像素获得图像拾取信 号，这样可获得关于邻近对象的对象信息而不受环境光的影响，并且需要比 在现有技术中更少数量的用于从图像拾取信号产生拾取图像的必要帧存储器等。因此，可不考虑使用条件、稳定地获得对象，同时减少制造成本。


图1是图解根据本发明实施例的显示与图像拾取器件的配置的框图。 图2是图解图1所示的1/0显示面板的配置实例的框图。
图3是图解在图2所示的显示区(传感器区域)中的像素布置实例的平面图。
图4是图解在图3所示的像素布置中在光接收部件和信号线之间的连接 关系的实例的示意平面图。
图5是图解根据本发明实施例的光接收部件的配置实例的电路图。
图6是图解在图3所示的像素布置中在光接收部件和信号线之间的连接 关系的细节的示意性图。
图7是图解根据本实施例的显示与图像拾取器件中的图像拾取操作的实 例的定时波形图。
图8是用于描述图7中图解的图像拾取操作的细节的定时波形图。
图9是用于描述在图7和图8中图解的图像拾取操作期间的充电操作和 放电操作的电路图。
图IO是用于描述在图8中图解的SW控制信号和背光状态的细节的定时 波形图。
图11是用于描述根据对比实例的图像拾取操作的绘图。
图12是用于描述图11所示的图像拾取操作的示意性图。
图13是用于描述根据对比实例的图像拾取操作的另 一绘图。
图14是用于描述根据对比实例的图像拾取操作的另 一绘图。
图15是图解根据本发明的修改实例1的光接收部件的配置实例的电路图。
图6是图解根据修改实例1的显示区(传感器区域)中在光接收部件和 信号线之间的连接关系的细节的示意性图。
图17是描述根据修改实例1的、在图像拾取操作期间的充电操作和放电 搡作的电路图。
图18是描述根据修改实例1的、在图像拾取操作期间的SW控制信号和
背光状态的定时波形图。图19是图解根据本发明的修改实例1的另一光接收部件的配置实例的电路图。
图20是图解根据本发明的修改实例2的光接收部件的配置实例的电路图。
图21是描述根据修改实例2的图像拾取操作的定时波形图。 图22是描述根据修改实例2的在图像拾取操作期间的充电操作和放电操 作的电路图。
图23是描述根据修改实例2的、在图像拾取操作期间的SW控制信号和 背光状态的定时波形图。
图24是图解根据本发明的修改实例3中的、显示区(传感器区域)中的 光接收部件的配置实例的电路图。
图25是描述光电变换器中的开启操作区域(on-operation)和关闭操作 (off - operation )区域的图。
图26是描述根据修改实例3的、光电变换器中的开启操作区域和关闭操 作区域的图。
图27是描述根据修改实例3的图像拾取操作的定时波形图。
图28是用于特别地描述根据修改实例3的、光电变换器中的开启操作和
关闭操作的定时波形图。
图29是描述根据修改实例3的、在图像拾取操作期间的充电操作和放电
操作的电路图。
图30是图解根据本发明的修改实例4中的、在显示区(传感器区域)中 的光接收部件的配置实例的电路图。
图31是描述根据修改实例4的、光电变换器中的开启操作区域和关闭操 作区域的图。
图32是用于描述根据修改实例4的光电变换器中的开启操作区域和关闭 操作区域的图。
图33是描述根据修改实例4的图像拾取操作的定时波形图。 图34是用于特别地描述根据修改实例4的、光电变换器中的开启操作和 关闭操作的定时波形图。
图35是描述根据修改实例4的、在图像拾取操作期间的充电操作和放电
操作的电路图。图36是图解在本发明的修改实例5中的、显示区(传感器区域)中的光 接收部件的配置实例的电路图。
图37是描述根据修改实例5的、光电变换器中的开启操作区域和关闭操 作区域的图。
图38是描述根据修改实例5的、光电变换器中的开启操作区域和关闭操 作区域的图。
图39是描述根据修改实例5的、光电变换器中的开启操作区域和关闭操 作区域的图。
图40是描述根据修改实例5的、光电变换器中的开启操作区域和关闭操 作区域的图。
图41是描述根据修改实例5的图像拾取操作的定时波形图。
图42是用于特别地描述根据修改实例5的、光电变换器中的开启操作和
关闭操作的定时波形图。
图43是描述根据修改实例5的、在图像拾取操作期间的充电操作和放电
操作的电路图。
图44是图解在本发明的修改实例6中的、显示区(传感器区域)中的光 接收部件的配置实例的电路图。
图45是图解在图44中图解的显示区(传感器区域)中的像素布置实例 的平面图。
图46是描述使用在本发明中的图像拾取结果(指尖提取处理的结果)的 应用的实例的图。
图47是描述使用在本发明中的图像拾取结果(指尖提取处理的结果)的 应用的实例的图。
图48是描述使用在本发明中的图像拾取结果(指尖提取处理的结果)的 应用的实例的图。
图49是描述使用在本发明中的图像拾取结果(指尖提取处理的结果)的 应用的实例的图。
图50是图解本发明的显示与图像拾取器件的应用实例1的外观的透视图。
图51(A)是图解从应用实例2的前侧看的外观的透视图，并且图51(B) 是图解从应用实例2的后侧看的外观的透视图。图52是图解应用实例3的外观的透^L图。 图53是图解应用实例4的外观的透视图。
图54 ( A)和图54 (B)分别是其中在应用实例5被打开的状态下的前 视图和侧视图，并且图54 (C)、图54 (D)、 54 (E)、 54 ( F )和54 ( G )分 别是其中在应用实例5被闭合的状态下的前视图、左视图、右视图、顶视图 和底^L图。
图55是图解在现有技术中通过显示与图像拾取器件的图像拾取操作(差 别图像指尖提取处理)的实例的绘图。
图56是图解在现有技术中通过显示与图像拾取器件的图像拾取操作(差 别图像指尖提取处理)的另一实例的绘图。
图57是用于描述在现有技术中通过显示与图像拾取器件的图像拾取操 作(差别图像指尖提取处理)的照片。
具体实施例方式
以下将参考附图详细描述实施本发明的最佳方式(在下文中简单地称为 实施例)。
图1图解根据本发明实施例的显示与图像拾取器件的整体配置。显示与 图像拾取器件包括I/0显示面板20、背光15、显示驱动电路12、光接收驱动 电路13、图像处理部件14和应用程序执行部件11。
如将在之后描述的那样，1/0显示面板20由其中在其整个表面上以矩阵 形式布置多个像素的液晶面板(LCD (液晶显示器))配置而成，并具有基于 显示数据显示诸如预定符号或字符之类的图像、同时执行行顺序(line-s叫uential)操作的功能(显示功能)，和拾取接触I/O显示面板20或在I/O 显示面板20邻近的对象(邻近对象)的图像的功能(图像拾取功能)。此外， 背光15是用于I/O显示面板20的显示和检测的光源，例如，通过布置多个 发光二极管来形成，并且如将在之后描述的那样，背光15以与1/0显示面板 20的操作定时同步的预定定时高速执行开_关操作。
显示驱动电路12是驱动I/O显示面板20 (驱动行顺序显示操作)从而 基于显示数据在I/O显示面板20上显示图像(以执行显示操作)的电路。
光接收驱动电路13是驱动I/O显示面板20 (驱动行顺序图像拾取操作) 从而从I/O显示面板20的每一个像素获得光接收信号(图像拾取信号)(以拾取对象的图像)的电路。另外，在帧存储器13A中逐帧地累积来自每一像
素的光接收信号以作为拾取图像输出到图像处理部件14 。
图像处理部件14基于从光接收驱动电路13输出的拾取图像执行预定图像处理(算术处理)，并且检测和获得关于接触或接近I/O显示面板20的对象的对象信息(位置坐标数据、关于对象的形状或尺寸的数据，等)。将在之后详细描述检测对象信息的处理。
应用程序执行部件11基于通过图像处理部件14的检测结果，根据预定应用软件执行处理，并且，例如，作为应用程序执行部件11，列举了其中所检测的对象的位置坐标被包括在显示数据中，并被显示在I/O显示面板20上等的部件。另外，在应用程序执行部件11中产生的显示数据被提供给显示驱动电^各12。
接下来，以下将参考图2描述I/0显示面板20的特定配置实例。1/0显示面板20包括显示区(传感器区域)21、显示H驱动器22、显示V驱动器23、传感器读出H驱动器25和传感器V驱动器24。
显示区(传感器区域)21是这样的区域在其中调制来自背光15的光以发射照明光(包括来自例如，红外光源等(未图示)的用于检测的显示光和照明光，在下文中应适用相同的含义)，并拾取接触该区域或在该区域邻近的对象的图像，并且在显示区21中，以矩阵形式布置将在之后描述的作为发光元件的液晶元件(显示元件)和光接收元件(图像拾取元件)。
与显示V驱动器23 —起，显示H驱动器22响应于用于显示驱动的显示信号和从显示驱动电路12提供的控制时钟，行顺序地驱动显示区21中每一个像素的液晶元件。
传感器读出H驱动器25与传感器V驱动器24 —起，行顺序地驱动在显示区21中的每一个像素的光接收元件以获得光接收信号。此外，虽然将在之后详细描述，传感器读出H驱动器25和传感器V驱动器24执行图像拾取驱动，以便当从I/O显示面板20向邻近对象发射照明光时，根据作为来源于照明光的反射光和环境光的总和的总光量在每一个像素中累积充电电荷，而当不从I/O显示面板20发射照明光时，根据环境光的光量从每一个像素释放放电电荷，由此获得每一个像素的图像拾取信号(光接收信号)。
接下来，以下将参考图3到图6，描述显示区21中的每一个像素的特定配置实例。例如，首先，如图3所示，像素31包括显示像素(显示部件)31RGB、图像拾取像素(光接收部件)33和其中形成用于图像拾取像素33的配线(wiring)的配线部件32。此外，显示像素31RGB包括红色(R)显示像素31R、绿色(G)显示像素31G和蓝色(B)显示像素31B。以矩阵形式在显示区21 (传感器区域)上布置显示像素31RGB、图像拾取像素33和配线部件32。此外，以规制的间隔彼此分开地布置图像拾取像素33和用于关于图像拾取像素33执行图像拾取驱动的配线部件32。这种布置允许包括图像拾取像素32和配线部件33的传感器区域在显示像素31RGB当中极不显著，并允许在显示像素31RGB中的孔径比的减少(最小化)。此外，当在不有助于显示像素31RGB的孔径的区域(例如，其中由黑色矩阵阻挡光的区域，反射区域等)中布置配线部件32时，允许布置光接收电路，而不使显示质量的退化。另外，如将在之后详细描述的那样，例如，如图4所示，复位信号线Reset_l到Reset一n和读信号线Read—1到Read—n沿着水平线方向连接到每一图像拾取像素(光接收部件)33。
此外，例如，如图5所示，每一光接收部件33包括作为产生与所接收的光的光量对应的电荷的光接收元件的光电变换器PD1、作为电容器的电容器Cl、四个开关元件SW11到SW14和三个晶体管Trl到Tr3。光电变换器PD1产生针对电容器C1的、充电电荷和用于放电电荷两者，并且配置有(例如)光电二极管、光敏晶体管等。在这里，光电变换器PD1配置有PIN光电二极管，其包括阳极(在p型半导体区域中形成)、阴极(在n型半导体区域中形成)和栅极(例如，在本征半导体(intrinsic semiconductor)区域中形成)，并且这对根据将在之后描述的修改实例的光电变换器也适用。另外，晶体管Trl到Tr3每个配置有薄膜晶体管(TFT)等。在光接收部件33中，开关元件SW1的一端连接到电源VDD，并且开关元件SW1的另一端连接到开关元件SW13的一端以及光电变换器PD1的阴极和栅极。此外，开关元件SW12的一端连接到地VSS，并且开关元件SW12的另一端连接到开关元件SW14的一端和光电变换器PD1的阳极。另外，开关元件SW13的另一端和开关元件SW14的另一端通过连接点Pl连接到电容器Cl的一端、晶体管Trl的漏极和晶体管Tr2的栅极。电容器Cl的另一端连接到地VSS。此外，晶体管Trl的栅极连接到复位信号线Reset,并且晶体管Trl的源极连接到复位电源Vrst。另外，晶体管Tr2的源极连接到电源VDD,并且晶体管Tr2的漏极连接到晶体管Tr3的漏极。此外，晶体管Tr3的栅极连接到读信号线Read,并且晶体管Tr3的源极连接到读出线41。此外，允许在电容器Cl中累积(充电)充电电荷的充电电路配置有用作用于充电的开关元件的开关元件SW11和SW14。另外，允许从电容器C1释放(放电)放电电荷的放电电路配置有用作用于放电的开关元件的开关元件SW12和SW13。通过这种配置，如将在之后详细描述的那样，在上述充电电if各和上述放电电路中的开关元件SW11到SW14被驱动以拾取图像，以便通过用于充电的开关元件SW11和SW14在电容器C1中累积在光电变换器PD1中产生的充电电荷，并且通过用于放电的开关元件SW12和SW13从电容器Cl释放在光电变换器PD1中产生的放电电荷，由此从每一光接收部件(图像拾取像素)33获得图像拾取信号。另夕卜，上述复位电源Vrst的电压(允许释放在每一光接收部件33中的电容器Cl中累积的全部电荷的复位电压)可设置为在电源电压VDD和地电压VSS之间的任意电压。
另外，例如，如图6所示，图5中描述的每一光接收部件(图像拾取像素)33中的电路部分、显示像素31RGB、复位信号线Reset、读信号线Read、读出线41、电源线VDD、地线VSS和复位电压线Vrst、向其提供用于控制开关元件SW11和SW14的开关的SW控制信号的SW控制线Sa、和向其提供控制开关元件SW12和SW13的开关的SW控制信号的SW控制线Sb被布置在显示区(传感器区域)21中。
接下来，以下将详细描述本实施例的显示与图像拾取器件的操作。
首先，以下将简要地描述由显示与图像拾取器件显示图像的操作和拾取对象的图像的操作。 .
在显示与图像拾取器件中，基于从应用程序执行部件11提供的显示数据在显示驱动电路12中产生用于显示的驱动信号，并且响应于驱动信号在I/O显示面板20上执行行顺序显示驱动以显示图像。此外，此时，还由显示驱动电路12驱动背光15以与1/0显示面板20同步地执行发光开/关操作。
这里，在存在接触或靠近I/O显示面板20的对象(例如，指尖等)的情况下，通过光接收驱动电路13的行顺序光接收驱动，在I/O显示面板20中的每一图像拾取像素33中拾取对象的图像，并且将来自每一图像拾取像素32的图像拾取信号提供给光接收驱动电路13。在光接收驱动电路13中，累积用于一个帧的、来自图像拾取像素33的图像拾取信号，并将其作为拾取图像输出到图像处理部件14。
然后，在图像处理部件14中，基于拾取图像执行将在之后描述的预定图
像处理(算术处理)，从而获得关于接触I/O显示面板20或在I/O显示面板20邻近的对象的对象信息(位置坐标数据、关于对象的形状或尺寸的数据等)。接下来，在下面将参考图7到图14描述本实施例的图像拾取操作的细节，和由图像处理部件14提取接触或靠近I/O显示面板20的对象(诸如指尖之类的邻近对象)的处理(指尖提取处理)。这里，图7以定时波形解本实施例的图像拾取操作的实例，并且(A)到(D)分别指示复位信号电压V
(Reset—1 )、 V ( Reset—2 )、 V ( Reset—3 )和V ( Reset_n ),而(E )到(H )分别指示读信号电压V ( Read_l )、 V ( Read—2 )、 V ( Read_3 )和V ( Read—n )，
(I)指示用于开关元件SW11和SW14的控制信号(SW控制信号Sa),而
(J)指示用于开关元件SW12和SW13的控制信号(SW控制信号Sb)。此外，图8以定时波形解图7中图解的图像拾取操作的细节(在一个光接收元件31中的图像拾取操作)，(A)指示复位信号电压V (Reset), (B)指示读信号电压V (Read), (C)和(D)分别指示SW控制信号Sa和Sb, (E)指示在连接点PI的电位(累积电位)VP1,而(F)指示读出线41的电位(读出电压)V41。另外，图ll到图14是用于描述根据对比实例的、在现有技术中的图像拾取操作的绘图和示意性图。
首先，例如，如图7所示，复位信号电压V (ResetJ )、 V(Reset_2)、V (Reset—3)和V ( Reset—n )和读信号电压V ( Read—1 )、 V ( Read—2 )、 V
(Read—3 )和V ( Read—n )由行顺序操作被带入H (高)状态。在每个水平线上的光接收部件33中，如将在之后详细描述的那样，从读信号电压V( Read )被带入H状态时到读信号电压V ( Read )被带入H状态时的时间段是曝光时间段。此外，背光15与这种复位信号电压V (Reset)和这种读信号电压V
(Read)的行顺序操作同步地，在打开状态和关闭状态之间交替地改变，并且与在背光15的开/关状态之间的切换操作顺序同步地，SW控制信号Sa和Sb被带入H(高)状态，并且开关SW11到SW14被带入导通状态。另外，SW控制信号Sa和SW控制信号Sb被交替地带入H状态。更具体地说，当背光15处于打开状态时，SW控制信号Sa被带入H状态，并且SW控制信号Sb被带入L (低)状态，而当背光15处于关闭状态时，SW控制信号Sa被带入L状态，并且SW控制信号Sb被带入H状态。此时，在一个光接收元件31中的图像拾取操作是，例如，如图8所示。
也就是，首先，当在定时tlO处复位信号电压V (Reset)被带入H状态时，晶体管Trl被带入到导通状态，由此在连接点P1的电位VP1 (累积电位)被复位到任意设置的复位电压Vrst (在该情况下，Vrst = VSS)。
接下来，在从定时tll到定时tl2的时间段中，背光15被带入打开状态，并且SW控制信号Sa和SW控制信号Sb分别被带入H状态和L状态，由此在显示驱动期间，与水平时间段(背光15的打开切换时间段和关闭切换时间段)同步地执行在电容器C1中累积充电电荷的操作(充电操作)。例如，更具体地说，如图9(A)所示，用于充电的开关元件SW11和SW14被带入导通状态，并且用于放电的开关元件SW12和SW13被带入断开状态。由此，根据作为由来自背光15的照明光的、邻近对象反射的反射光Lon和外部光(环境光)LO的总和的总光量，沿着在图中所示的充电电流Ill的路径在电容器Cl中累积充电电荷，从而引起累积电位VP1的上升。
接下来，在从定时tl2到定时t13的时间段中，背光15被带入关闭状态，并且SW控制信号Sa和SW控制信号Sb分别被带入L状态和H状态，由此在显示驱动期间，与水平时间段(背光15的开/关切换操作)同步地执行从电容器Cl释放放电电荷的操作(放电操作)。例如，更具体地说，如图9 (B )所示，用于充电的开关元件SW11和SW14被带入断开状态，并且用于放电的开关元件SW12和SW13被带入导通状态。由此，根据外部光(环境光)L0的光量，通过在图中所示的放电电流I12的路径从电容器Cl释放放电电荷，以引起累积电位VP1的减少。.
然后，执行在这种累积充电电荷的操作和这种释放放电电荷的操作之间的多次切换直到定时t14 (在曝光时间段期间)为止，然后，读出在切换期间在电容器C1中累积的电荷作为图像拾取信号。更具体地说，当在定时tl4读信号电压V (Read)被带入H状态时，晶体管Tr3被带入导通状态，并且在从定时t15到定时t16的时间段中，从读出线41读出累积电位VP1的电压。因此，当在累积充电电荷的操作和释放放电电荷的操作之间的多次切换之后读出图像拾取信号时，曝光时间段变长，因此如图8 (E)中所示出的那样，图像拾取信号的信号分量(累积电位VP1)增大。此外，在这里获得的图像拾取信号是模拟值，所以在光接收驱动电路13中关于图像拾取信号执行A/D(模拟/数字)转换。另外，之后，在定时tl6复位信号电压V (Reset)被带入H状态，由此重复从定时t10到定时t16的相同操作。
另外，更具体地说，例如，如图IO所示，设置其中SW控制信号Sa处 于H状态的时间段和其中SW控制信号Sb处于H状态的时间段以便不彼此 重叠(设置非重叠时间段)，由此防止光接收部件33中漏电流的产生。
接下来，在图像处理部件14中，执行确定在光接收驱动电路13中产生 的一个帧的拾取图像的质心(centroid)的算术处理以确定接触(邻近)中心。 然后，从图像处理部件14向应用程序执行部件11输出邻近对象的检测结果， 由此完成通过图像处理部件14的指尖提取处理。
因此，在本实施例的指尖提取处理中，当通过I/O显示面板20从背光 15向邻近对象发射照明光时，根据作为来源于照明光的反射光Lon和环境光 (外部光)L0的总和的总光量在每一图像拾取像素33中累积充电电荷。此 外，当不发射上述照明光时，根据环境光的光量L0从每一图像拾取像素33 释放放电电荷。因此，从每一图像拾取像素33获得图像拾取信号。然后，在 图像处理部件14中，利用基于从每一图像拾取像素33获得的图像拾取信号 的拾取图像，获得包括邻近对象的位置、形状和尺寸中的一个或多个的对象 信息。由此，在从每一图像拾取像素33获得的图像拾取信号中减去根据环境 光L0的分量，因此可获得关于邻近对象的对象信息而不受这种环境光LO的 影响。
此外，基于累积充电电荷的操作和释放放电电荷的操作从每一图像拾取 像素33获得图像拾取信号，因此在光接收驱动电路13中，需要比在现有技 术中更少数目的用于从图像拾取信号产生拾取图像的必要帧存储器13A (例 如，如图58所示，需要用于两个图像，也就是，当背光关闭时的图像(图像 A)和当背光打开时的图像(图像B)的帧存储器)。
另外，在指尖提取处理中，可一次性获得关于位于I/O显示面板20的显 示区21上的多个接触或邻近对象的信息，诸如对象的位置、形状、尺寸等。
此外，在图11和图12图解的对比实例中(例如，在图57和图58中图 解的现有技术中的指尖提取处理)，如由图11的箭头指示的那样，在其中邻 近对象在1/0显示面板20的显示区21上移动的情况下，存在以下问题。也 就是说，在实际使用条件下，例如，如图12所示，在当背光处于关闭状态时 获得的图像A101和当背光处于打开状态时获得的图像B101之间存在时间 差。因此，例如，如图11所示，在邻近对象在显示面板20上以高速移动等的情况下，该时间差引起在图像A101中的光接收输出信号Voff (A101)和 图像BIOI中的光接收输出信号Von(B101)之间的、与邻近对象对应的部分 的位置中的差别。然后，如图11和12所示，由于这种位置，因此在这两个 图像A101和B101之间的差别图像CIOI (=B101-A101)和光接收检测信 号V (C101 ) ( = Von (B101 - Voff ( A101 ))中，除与邻近对象的位置对应的 原始信号之外，还在另一位置产生伪信号(spurious signal) FlOl。因此，在 根据对比实例的指尖提取处理中，在某些情况下，由于这种伪信号FIOI的存 在难以稳定地检测邻近对象。另外，当邻近对象快速移动时，产生伪信号的 区域趋向于增加，并且外部光越强，伪信号趋向于越强。
另一方面，在本实施例中，如上所述，在例如，至少邻近对象在I/O显 示面板20上移动等的情况下，关于每一图像拾取像素33执行图像拾取驱动， 以便累积充电电荷，并释放放电电荷，由此从每一图像拾取像素33获得图像 拾取信号，并且通过利用基于这种图像拾取信号的拾取图像获得关于邻近对 象的对象信息。因此，例如，当在背光15的开/关状态之间的切换的时间段 被设置为极短时，即使在这种切换时间段期间邻近对象在I/O显示面板20的 显示区21上移动，邻近对象的移动距离极短，因此最小化(或防止)了伪信 号的产生。
此外，在图13和图14图解的对比实例中(例如，图57和图58中图解 的现有技术的指尖提取处理中)，可能存在以下问题。也就是说，在实际I/0 显示面板20中的每个图像拾取像素中，限制光的累积容量(capacity )。例如， 这里，如图13 (A)和(B)所示，当外部光L0的光量大，并且大于累积容 量的电荷流动时，在邻近对象是手指f等的情况下，如由附图中光接收输出 信号Von301和Voff301指示的那样，光接收输出信号Von301和Voff301在手 指f的阴影部分等中不超过累积容量，因此允许邻近对象的检测。另一方面， 如图14 (A)和(B)所示，在邻近对象是非常薄的对象(诸如笔obl)情况 下、在邻近对象具有距I/O显示面板20的距离的情况下等，如由光接收输出 信号Von401和Voff401以及附图标记P401指示的那样，在某些情况下，在 笔obl等的阴影部分中，光接收输出信号Von401和Voff401超过累积容量并 到达高电平。在这种情况下，在光接收输出信号Von401和Voff401之间的差 别信号超过图像拾取像素的累积容量，由此不允许通过使用差别结果来检测 邻近对象。另一方面，在本实施例中，不管曝光时间如何，总是除去外部光L0的 分量，所以在任意外部光条件下，允许防止有限的累积容量仅被外部光L0
的分量填满(取决于在背光15的开/关状态之间的切换时间段'确定通过一
个充电操作和一个放电操作累积的容量)。
如上所述，在本实施例中，当从I/O显示面板20向邻近对象发射来自背 光15的照明光时，根据作为来源于照明光的反射光Lon和环境光(外部光) L0的总和的总光量在每一图像拾取像素33中累积充电电荷，而当不发射上 述照明光时，根据环境光L0的光量从每一图像拾取像素33释放放电电荷， 由此从每一图像拾取像素33获得图像拾取信号，所以，在从每一图像拾取像 素33获得的图像拾取信号中，减去根据环境光L0的分量，因此可获得关于 邻近对象的对象信息而不受这种环境光LO的影响。此外，基于累积充电电荷 的操作和释放放电电荷的操作从每一图像拾取像素33获得图像拾取信号，所 以在光接收驱动电路13中，需要比在现有技术中更少数目的、用于从图像拾 取信号产生拾取图像的必要帧存储器13A (不需要用于差别检测的帧存储 器)。因此，不管使用条件如何，都可以稳定地检测对象，同时减少制造成本。
更具体地说，在每一图像拾取像素(每一光接收部件)33中，光电变换 器PD1产生充电电荷和放电电荷两者，并且通过用于充电的开关元件SW11 和SWM在电容器C1中累积在光电变换器PD1中产生的充电电荷，并且通 过用于放电的开关元件SW12和SW13从电容器Cl释放在光电变换器PD1 中产生的放电电荷，所以可获得上述效果。
此外，累积充电电荷的操作(充电操作)和释放放电电荷的操作(放电 操作)中的每一个操作都与在显示驱动期间的水平时间段同步，这样允许减 少耦合噪音。
另外，基于在累积充电电荷的操作和释放放电电荷的操作之间的多次切 换之后获得的图像拾取信号获得对象信息，所以允许曝光时间段更长，并且 通过增加图像拾取信号的信号分量(累积电位VP1 )允许改进检测灵敏度， 并且可自由地设置曝光时间，所以允许信噪比的增加。
此外，例如，当在背光15的开/关状态之间的切换的时间段被设置为极 短时，即使在邻近对象在I/O显示面板20的显示区21上移动的情况下，使 (或防止)伪信号的产生最小化，由此允许检测灵敏度进一步改进。另外，以可容易地检领'J移动对象。
另外，在每一图像拾取像素33中的电容器C1中，仅累积根据反射光Lon 的电荷，所以在关于图像拾取信号的A/D转换时，不需要设置外部光LO等 的不必要的范围(可有效地利用A/D转换器的位长度(字长))，并且允许使 用效率的改进(允许信噪比的改进)。
另外，可通过本实施例的图像拾取驱动除去温度变化造成的暗电流分量。 此外，在读出图像拾取信号时，在现有技术中，通过高速读出图像拾取 信号更精确地跟随移动对象，但是另一方面，在本实施例中，读出速度及用 于移动对象的跟随能力可以彼此完全独立。因此，可自由地设置曝光时间， 这样使对于光接收灵敏度的需要比现有技术中更加緩和，并且允许将读出速 度设置得更慢。
另外，在本实施例的光接收部件33中，当背光15被带入关闭状态时， 并且仅执行累积充电电荷的操作，允许执行使用外部光LO的阴影^r测。
以下将描述本发明的某些修改实例。另外，由与上述实施例相同的数字 表示相同的组件，并且不将进行另外的描述。
图15图解根据修改实例1的光接收部件(光接收部件33A)的电路配置。 该光接收部件(图像拾取像素)33A与上述实施例中描述的光接收部件33的 不同之处在于光接收部件33A包括两个光电变换器PD21和PD22以及两个 开关元件SW21和SW22的事实。更具体地il,光电变换器PD21的阴极和 栅极连接到电源VDD,而光电变换器PD21的阳极连接到开关元件SW21的 一端。此外，光电变换器PD22的阳极连接到地VSS,而光电变换器PD22 的阴极和栅极连接到开关元件SW22的一端。另外，开关元件SW21的另一 端和开关元件SW22的另一端连接到连接点P1。此外，如在上述实施例的情 况下那样，例如，如图16所示，布置光接收部件33A，以便图像拾取像素 :33A和用于驱动图像拾取像素33A以拾取图像的配线部件32在显示区(传感 器区域)21A中彼此分开。另外，任意其他电路配置与光接收部件33的相同， 并且将不另外描述。
此外，在光接收部件33A中，光电变换器PD21用作用于产生充电电荷 的光电变换器，并且光电变换器PD22用作用于产生放电电荷的光电变换器。另外，开关元件SW21用作用于充电的开关元件，而开关元件SW22用作用 于放电的开关元件。由此，执行图像拾取驱动以便，例如，如图17(A)所 示，通过用于充电的开关元件SW21在电容器C1中累积在光电变换器PD21 中产生的充电电荷(根据作为反射光Lon和外部光LO的总和的总光量)，并 且，例如，如图17(B)所示，通过用于放电的开关元件SW22从电容器Cl 释放在光电变换器PD22中产生的放电电荷(根据外部光LO的光量)。
因此，也在修改实例中，通过与上述实施例相同的图像拾取操作执行相 同的指尖提取处理。由此，也在修改实例中，不管使用条件如何，都可以稳 定地;险测对象，同时减少制造成本。
此外，光电变换器PD21的阴极和光电变换器PD22的阳极之一恒定地连 接到电源VDD或地VSS，这样允许减少在开关元件SW21和SW22的开/关 搡作期间存在的耦合噪音。
另外，在光接收部件33A中仅需要两个开关元件(在上述实施例的光接 收部件33中，需要四个开关元件SW11到SW14),这样减小SW控制信号 Sa和Sb的信号线中的配线容量以允许功耗的降低。
此外，在修改实例的光接收部件33A中，与上述实施例的光接收部件33 不同，不存在用于漏电流的产生的if各径，所以，例如，如图18所示，其中 SW控制信号Sa处于H状态的时间段和其中SW控制信号Sb处于H状态的 时间段可能彼此重叠(不设置非重叠时间段)。
另外，在修改实例中，例如，与光接收部件(图像拾取像素)33B相同， 优选地布置用于在开关元件SW21和SW22的断开状态期间除去在寄生电容 中累积的电荷的开关元件SW23和SW24。更具体地说，在光电变换器PD21 的阳极和开关元件SW21的一端与地VSS之间布置开关元件SW23。此外， 在光电变换器PD22的阴极和开关元件SW22的一端与电源VDD之间布置开 关元件SW24。
图20图解根据修改实例2的光接收部件(光接收部件33C )的电路配置。 光接收部件(图像拾取像素)33C包括两个光电变换器PD31和PD32以及四 个开关元件SW31到SW34。更具体地说，开关元件SW31的一端和开关元 件SW33的一端连接到电源VDD,而开关元件SW31的另一端连接到光电变换器PD31的阴极和栅极，并且开关元件SW33的另一端连接到电容器Cl的 一端和开关元件SW34的一端。此外，光电变换器PD31的阳极连接到电容 器Cl的另一端、光电变换器PD32的阴极和栅极以及连接点Pl。另外，光 电变换器PD32的阳极连接到开关元件SW32的一端。此外，开关元件SW32 的另一端和开关元件SW34的另一端连接到地VSS。另外，任意其他电路配 置与光接收部件33和33A中的相同，并且将不另外描述。
在光接收部件33C中，例如，如图21所示，通过用于开关元件SW31 到SW34的SW控制信号Sl到S4、读信号电压V (Read)和复位信号电压 V ( Reset),在附图中的定时t20到t26上执行图像拾取操作。更具体地说， 执行图像拾取驱动以便，例如，如图22(A)所示，通过用于充电的开关元 件SW31和SW34在电容器C1中累积在光电变换器PD31中产生的充电电荷 (根据作为反射光Lon和外部光LO的总和的总光量)，并且，例如，如图22 (B)所示，通过用于放电的开关元件SW32和SW33从电容器C1释放在光 电变换器PD32中产生的放电电荷(根据外部光LO的光量)。此外，此时， 在累积充电电荷的时间段和释放放电电荷的时间段之间，电容器Cl的一端被 交替地切换以通过开关元件SW33连接到电源VDD和通过开关元件SW34 连接到地VSS。
因此，也在修改实例中，通过与上述实施例的情况相同的图像拾取搡作 执行相同的指尖提取处理。由此，也在修改实例中，不管4吏用条件如何，都 可以稳定地检测对象，同时减少制造成本。
此外，在累积充电电荷的时间段和释放放电电荷的时间段之间，电容器 Cl的一端被交替地切换以通过开关元件SW33连接到电源VDD和通过开关 元件SW34连接到地VSS,所以允许施加到光电变换器PD31和PD32的两端 的电压实质上等于(VDD-VSS)，而不用任意地输入复位电压，并且允许减 少复位信号线。
此外，也在修改实例的光接收部件33C中，为防止如在上述实施例的光 接收部件33的情况下漏电流的产生，例如，如图23所示，优选地防止其中 SW控制信号Sa处于H状态的时间段和其中SW控制信号Sb处于H状态的 时间段彼此重叠(优选地设置非重叠时间段)。图24图解根据修改实例3的光接收部件(光接收部件33D)的电路配置。 光接收部件(图像拾取像素)33D包括两个光电变换器PD41 (第一光电变换 器)和PD42 (第二光电变换器)。更具体地说，在光电变换器PD41中，阴 极连接到电源VDD，并且阳极连接到光电变换器PD42的阴极和连接点Pl, 而栅极连接到信号线巾l。此外，在光电变换器PD42中，阳极连接到地VSS, 而栅极连接到信号线c])2。也就是说，在光接收部件33D中，与上述光接收 部件33、 33A、 33B和33C不同，虽然不布置开关元件，但是分别通过信号 线cj)l和cj)2控制光电变换器PD41和PD42的栅极电位。另外，任意其他电 路配置与光接收部件33等的相同，并且将不另外描述。
在修改实例(和将在之后描述的修改实例4和5)中，通过在打开操作 区域和关闭搡作区域之间切换光电变换器(代替上述通过使用开关元件切换 电流路径的操作)来执行切换电流路径的操作。更具体地说，通过分开地改 变在光电变换器PD41的阴极和栅极之间的电位关系和在光电变换器PD42的 阳极和栅极之间的电位关系，将光电变换器PD41和PD42分开地设置为打开 状态或关闭状态。
这里，例如，如图25 (A)所示，在光电变换器PD41和PD42的阳极电 位是Vp的情况下，光电变换器PD41和PD42的阴极电位是Vn,光电变换 器PD41和PD42的栅极电位是Vg，并且从阴极流到阳极的光电流是Inp，光 电变换器PD41和PD42中的I-V特性例如，如图25(B)所示。也就是说， 当栅极电位(4册极电压)Vg改变时，Vp<Vg<Vn的电压区域是其中光电变换 器PD41和PD42处于打开状态的打开操作区域oc。另一方面，Vn〈Vg的电 压区域是其中光电变换器PD41和PD42处于关闭状态的关闭操作区域(3 1， 而Vg<Vp的电压区域是其中光电变换器PD41和PD42处于关闭状态的关闭 操作区域(3 2。因此，允许通过分开地改变在光电变换器PD41的阴极和栅极 之间的电位关系以及在光电变换器PD42的阳极和栅极之间的电位关系来改 变这些光电变换器PD41和PD42中的光电转换效率。因此，在修改实例(和 将在之后描述的修改实例4和5)中，通过主动地使用这种光电转换效率的 改变来将光电变换器PD41和PD42分开地设置为打开状态或关闭状态。
更具体地说，在修改实例中，首先，如图24所示，光电变换器PD41中 的阴极电位被固定到电源VDD,而光电变换器PD42中的阳极电位被固定到 地VSS。此外，如图24和图26 (A)到图26 (C)所示，分别通过信号线cl)1和(J) 2改变这些光电变换器PD41和PD42中的棚4及电压Vg。更具体地说， 通过信号线cj)l的电位V ( 在Vgll和Vgl2之间交替地改变光电变换
器PD41的栅极电压Vg(参考图26(C)中的箭头P41; Vgl2〈Vg11 )。此外， 通过信号线小2的电位V ( cj)2)，在Vg21和Vg22之间交替地改变光电变换 器PD42的栅极电压Vg (参考图26 ( C )中的箭头P42; Vg22〈Vg21 )。由此， 例如，如由图26(C)中的操作点P41on和P41off指示的那样，可通过信号 线(J) 1的电位V ( cH )任意地设置光电变换器PD41的开/关状态。此外，例 如，如由图26(C)中的操作点P42on和P42off指示的那样，可通过信号线 cj)2的电位V ( 4>2)任意地设置光电变换器PD42的开/关状态。
在修改实例的光接收部件33D中，例如，.如图27 (A)到图27 (F)和 图28 ( A)到图28 (C)所示，通过复位信号电压V ( Reset )、读信号电压V (Read )、信号线小l和4> 2的电位V ( cf)l )和V ( cj) 2 )、复位电源Vrst等在 图中的定时执行图像拾取操作。在这里，(3 10和(3 20分别指示在光电变换器 PD41和PD42中从打开才喿作区域到关闭操作区域的过渡区(transition region )。
更具体地说，例如，如图29(A)所示，通过将光电变换器PD41和PD42 分别带入打开状态和关闭状态，在图中通过电流路径I41在电容器C1中累积 在光电变换器PD41中产生的充电电荷(根据作为反射光Lon和外部光L0的 总和的总光量)。此外，例如，如图29 (B)所示，通过将光电变换器PD41 和PD42分别带入关闭状态和打开状态，在图中通过电流路径142从电容器 Cl释放在光电变换器PD42中产生的放电电荷(根据外部光L0的光量)。另 外，当光电变换器PD41和PD42处于关闭状态时流动的电流不为0,因此确 切地说，通过在处于打开状态的光电变换器和处于关闭状态的光电变换器之 间的电流差别#1行充电或方文电。
因此，也在修改实例中，通过上述图像拾取操作，不管使用条件如何， 都可以稳定地检测对象，同时减少制造成本。
此外，也在修改实例中，为防止漏电流的产生，如图27所示，优选地防 止其中信号线cj)l的电位V (cj)l)处于H状态的时间段和其中信号线cJ)2的 点位V (小2)处于H状态的时间段彼此重叠(优选地设置非重叠时间段)。 另外，在PIN二极管导通或断开的情况下，通过电流(through current)几乎 不流动，因此可以不布置非重叠时间段，但是布置非重叠时间段不引起问题。[修改实例4]
图30图解根据修改实例4的光接收部件(光接收部件33E)的电路配置。 光接收部件(图像拾取像素)33E包括两个光电变换器PD51 (第一光电变换 器)和PD52 (第二光电变换器)。更具体地说，在光电变换器PD51中，阴 极连接到信号线cj)l,阳极连接到光电变换器PD52的阴极和连接点P1，而栅 极连接到电源VDD。此外，在光电变换器PD52中，阳极连接到信号线4)2, 而栅极连接到地VSS。也就是说，在光接收部件33E中，与上述修改实例3 的光接收部件33D不同，虽然光电变换器PD51和PD52的栅极电位由电源 VDD或地VSS固定，但是光电变换器PD51的阴极电位和光电变换器PD52 的阳极电位由信号线(M和cj)2控制。另外，任意其他电路配置与光接收部件 33D的相同，将不另外描述。.
在修改实例中，首先，如图30所示，光电变换器PD51中的栅极电位被 固定到电源VDD，而光电变换器PD52中的栅极电位被固定到地VSS。此外， 如图30和图31 (A)到图31 (C)所示，光电变换器PD51中的阴极电压Vn 由信号线cj)l改变。更具体地说，光电变换器PD51的阴极电压Vn由信号线 4) 1的电位V ( (M )在Vnl和Vn2之间交替地改变(参考图31 ( C )中的箭 头P51; Vn2<Vnl)。由此，例如，如图31 (C)所示，在Vn = Vnl的情况 和在Vn = Vn2的情况之间，打开操作区域a和关闭操作区域(3 1的电压范围 彼此不同(参考打开操作区域al和a2以及关闭操作区域Pll和(3 21)。因 此，当主动地使用光电转换效率的这种改变时，如在附图的操作点P51on和 P51off所示，可通过信号线(l)l的电位V( cf)l)任意地设置光电变换器PD51 的开/关状态。此外，如图30和图32 (A)到图32 (C)所示，光电变换器 PD52中的阳极电压Vp由信号线cj)2改变。更具体地说，光电变换器PD52 的阳极电压Vp由信号线cj) 2的电位V ( (J) 2 )在Vpl和VP2之间交替地改变 (参考图32 (C)中的箭头P52; Vp2〈Vpl )。由此，例如，如图32 ( C )所 示，在Vp = Vpl的情况和Vp = Vp2的情况之间，打开操作区域oc和关闭操 作区域(3 2的电压范围彼此不同(参考打开操作区域al和a2以及关闭操作 区域P12和(3 22 )。因此，当主动地使用这种光电转换效率的改变时，如由 图中的操作点P52on和P52off所示，可通过信号线cj) 2的电位V ( d) 2 )任意 地设置光电变换器PD52的开/关状态。
在4务改实例的光接收部件33E中，例如，如图33 ( A)到图33 (F)和图34 (A)到图34 (C)所示，通过复位信号电压V (Reset )、读信号电压V (Read )、信号线巾1和小2的电位V ( (M )和V ( (]) 2 )、复位电源Vrst等在 图中的定时执行图像拾取操作。在这里，(3 120和(3 210分别指示在光电变换 器PD51和PD52中从打开操作区域到关闭操作区域的过渡区。
更具体地说，例如，如图35(A)所示，通过将光电变换器PD51和PD52 分别带入打开状态和关闭状态，在图中通过电流路径151在电容器C1中累积 在光电变换器PD51中产生的充电电荷(根据作为反射光Lon和外部光LO的 总和的总光量)。此外，例如，如图35 (B)所示，通过将光电变换器PD51 和PD52分别带入关闭状态和打开状态，在图中通过电流路径152从电容器 Cl释放在光电变换器PD52中产生的放电电荷(根据外部光LO的光量)。.另 外，当光电变换器PD51和PD52处于关闭状态时流动的电流不是0，这样确 切地说，通过在处于打开状态的光电变换器和处于关闭状态的光电变换器之 间的电流差才丸4亍充电或》文电。
因此，也在修改实例中，通过上述图像拾取操作，不管使用条件如何， 都可以稳定地检测对象，同时减少制造成本。
图36图解根据修改实例5的光接收部件(光接收部件33F)的电路配置。 光接收部件(图像拾取像素)33F包括两个光电变换器PD61 (第一光电变换 器)和PD62 (第二光电变换器)、五个晶体管Trl、 Tr2和Tr3以及Tr61 (N 沟道晶体管)和Tr62 (P沟道晶体管)和四个电容器C61A、 C61B、 C62A和 C62B。更具体地说，在光电变换器PD61中，阴极连接到信号线cj)l和晶体 管Tr61的源极，阳极连接到光电变换器PD62的阴极和连接点Pl,而栅极连 接到晶体管Tr61的漏极、电容器C61A的一端和电容器C61B的一端。此外， 晶体管Tr61的栅极连接到电容器C61A的另一端和复位线Resetl (与如上所 述的复位线Reset对应)。另一方面，在光电变换器PD62中，阳极连接到信 号线d)2和晶体管Tr62的源极，并且栅极连接到晶体管Tr62的漏极和电容器 C62A的一端以及电容器C62B的一端。此外，晶体管Tr62的栅极连接到电 容器C61A的另一端和复位线Reset2的反相信号。另外，电容器C61B的另 一端和电容器C62B的另一端连接到电源VDD。也就是说，在光接收部件33F 中，与上述修改实例4的光接收部件33E不同，光电变换器PD61和PD62的栅极电位不固定，并且光电变换器PD61和PD62从预充电时间段之后到读 出时间段(累积充电电荷的时间段和释放放电电荷的时间段)处于高阻抗状 态。另外，任意其他电路配置与光接收部件33E的相同，并且将不另外描述。
在修改实例中，首先，如在图37 (A)和图37 (B)中示意地图解的那 样，光电变换器PD61中的阴极电位Vn由信号线cf)l改变。然后，通过允许 配置有晶体管Tr61的开关元件SW61导通或断开，以通过在信号线cj) 1和栅 电极之间的连接或断开而改变光电变换器PD61中的栅极电压Vgl。更具体 地说，如图37和图38 (A)和图38 (B)所示，光电变换器PD61中的阴极 电位Vn由信号线cl) 1的电位V ( 4)1 )在Vnl和Vn2之间交替地改变(参考 图38 (A)中的箭头P611; Vn2〈Vnl)。此时，在通过将开关元件SW61带 入导通状态而将光电变换器PD61的栅极电压Vgl复位到Vnl之后，开关元 件SW61被带入断开状态。那么，然后，在阴极电位Vn是Vn = Vn2的情况 下，如在图38 (B)中的C-V特性所示，光电变换器PD61的栅极电压Vg 由于在栅极和阴极之间的耦合电容而减少，并且在耦合电容增加的操作点 (Vg二Vgl2)停止。也就是说，光电变换器PD61中的栅极电压Vgl在Vgll 和Vgl2之间交替地改变(参考图38 (A)中的箭头P612; Vgl2<Vgll )。因 此，例如，如图38(A)所示，在Vn = Vnl的情况和Vn = Vn2的情况之间， 打开操作区域a和关闭操作区域(3 1的电压范围彼此不同(参考打开操作区 域ccl和cc2以及关闭操作区域P 11和P21 )。因此，当主动地使用这种光电 转换效率的改变时，如在图38 ( A)和图38 (B)中的操作点P61on和P61off 图示的那样，可通过信号线cj)l的电位V( (M)和开关元件SW61的操作任 意地设置光电变换器PD61的开/关状态。
另一方面，也在修改实例中，如在图39 (A)和图39 (B)中示意地图 解的那样，光电变换器PD62中的阳极电位Vp由信号线小2改变。然后，通 过允许配置有晶体管Tr62的开关元件SW62导通或断开，以通过在信号线(J) 2和栅电极之间的连接或断开而改变光电变换器PD62中的栅极电压Vg2。更 具体地说，如图39和图40 ( A)和图40 (B)所示，光电变换器PD62中的 阳极电位Vp由信号线* 2的电位V( cf) 2 )在Vpl和Vp2之间交替地改变(参 考图40 (A)中的箭头P621; Vp2<Vpl )。此时，在通过将开关元件SW62 带入导通状态而将光电变换器PD62的栅极电压Vg2复位到Vp2之后，开关 元件SW62被带入断开状态。那么，然后，当阳极电位Vp是Vp = Vpl时，如图40 ( B )中的C-V特性所示，光电变换器PD62的栅极电压Vg由于在栅 极和阳极之间的耦合电容而减少，并且在耦合电容增加的操作点(Vg = Vg21 ) 停止。也就是说，光电变换器PD62中的栅极电压Vgl在Vg21和Vg22之间 交替地改变(参考图40 (A)中的箭头P622; Vg22<Vg21 )。因此，例如， 如图40( A )所示，打开操作区域a和关闭操作区域(3 2的电压范围在Vp = Vpl 的情况和Vp = Vp2的情况之间彼此不同(参考打开操作区域a 1和a2以及 关闭操作区域(321和(3 22 )。因此，当主动地使用这种光电转换效率的改变 时，如在图40 (A)和图40 (B)中的操作点P62on和P62off所示，可通过 信号线cj)2的电位V ( cj)2)和开关元件SW62的操作任意地设置光电变换器 PD62的开/关状态。
在修改实例的光接收部件33F中，例如，如图41 ( A)到图41 ( G)和 图42 ( A )到图42 ( C )所示，通过复位信号电压V ( Resetl )和V ( Reset2 )、 读信号电压V (Read)、信号线巾1和d)2的电位V (巾1 )和V ( (J)2 )、复位 电源Vrst等，在图中的定时执行图像拾取操作。
更具体地说，例如，如图43(A)所示，通过将光电变换器PD61和PD62 分别带入打开状态和关闭状态，在图中通过电流路径I61在电容器C1中累积 在光电变换器PD61中产生的充电电荷(根据作为反射光Lon和外部光L0的 总和的总光量)。此外，例如，如图43 (B)所示，通过将光电变换器PD61 和PD62分别带入关闭状态和打开状态，在图中通过电流路径162从电容器 Cl释放在光电变换器PD62中产生的放电电荷(根据外部光LO的光量)。另 外，当光电变换器PD61和PD62处于关闭状态时流动的电流不是0，这样确 切地说，通过在处于打开状态的光电变换器和处于关闭状态的光电变换器之 间的电流差别执行充电或放电。
因此，也在修改实例中，通过上述图像拾取操作，不管使用条件如何， 都可以稳定地;险测对象，同时减少制造成本。
图44图解根据修改实例6的在显示区(显示区(传感器区域)21C)中 的光接收部件(光接收部件33A1和33A2 )的电路配置。在显示区21C中， 图像拾取像素(光接收部件)包括图像拾取像素(光接收部件)33A1 (其包 括用于从反射光Lon和环境光L0阻挡光电变换器PD21和PD22的光阻挡部件341和342 )，和不包括这种光阻挡部件的图像拾取像素(光接收部件)33A2。 另夕卜，除了光接收部件33A1和33A2中的光阻挡部件之外的任意电路配置与 上述在修改实例1中描述的光接收部件33A的相同，并且将不另外描述。
另外，也在这些光接收部件(图像拾取像素)33A1和33A2中，在显示 区(传感器区域)21C中，例如，如图45所示，彼此分开地布置图像拾取像 素33A1和33A2以及用于驱动这些图像拾取像素33A1和33A2以拾取图像 的配线部件32。
在修改实例中，基于在从图像拾取像素33A1获得的图像拾取信号(从 读出线411读出的图像拾取信号)和从图像拾取像素33A2获得的图像拾取信 号(从读出线412读出的图像拾取信号)之间的差别信号获得对象信息。
因此，也在修改实例中，通过与在上述实施例的情况下相同的图像拾取 操作执行相同的指尖提取处理。由此，也在修改实例中，不管使用条件如何， 都可以稳定地;险测对象，同时减少制造成本。
此外，图像拾取像素(光接收部件)包括图像拾取像素(光接收部件) 33A1 (其包括光阻挡部件341和342)和不包括这种光阻挡部件的图像拾取 像素(光接收部件)33A2,并且基于在从图像拾取像素33A1获得的图像拾 取信号和从图像拾取像素33A2获得的图像拾取信号之间的差别信号获得对 象信息，所以允许除去在I/O显示面板20中产生的电压梯度(voltage gradient) 等、在显示系统的驱动中产生的噪音分量等的影响，并允许信噪比的改善。
另夕卜，在修改实例中，描述了两个种光接收部件33A1和33A2中的每一 个都基于根据修改实例1的光接收部件33A的电路配置的情况，但是这两种 光接收部件可以基于根据上述实施例的光接收部件33和根据修改实例2到5 的光接收部件33B到33F的任意一个的电路配置。
(应用程序的执行实例) 接下来，参考图46到图49，以下将描述通过使用通过上述指尖提取处 理检测的对象位置信息等的应用程序执行部件11的应用程序的某些执行实例。
首先，图46 ( A)所示的实例是这样的实例其中当指尖61接触I/0显 示面板20的表面时，在屏幕上显示指尖61接触的点的痕迹作为图中的线611。 此外，图46 (B)所示的实例是使用手的形状的手势识别。更具体地说，识别接触I/O显示面板20 (或在I/O显示面板20邻近)的手62的形状，显 示所识別的手的形状作为图像，并且通过所显示的对象的移动621关于图像 执行某些处理。
另外，图47所示的实例在于通过从关闭状态的手63A改变为打开状 态的手63B,在两种状态下接触或靠近的手由I/O显示面板20以图像识别 (image-recongnized )，以基于这些图像识别执行处理。当基于这些识别执行 处理时，例如，执行诸如放大的指令。此外，例如，当执行这种指令时，I/O 显示面板20连接到个人计算机，并且以更自然的方式通过这些图像识别输入 关于计算机等的切换命令的操作。
此外，例如，如图48所示，当准备了多个1/0显示面板20,并且多个 1/O显示面板20通过某些传输装置彼此连接时，操作1/0显示面板20的用户 可以通过将通过检测接触或靠近一个I/O显示面板20的对象获得的图像发送 到另一 I/O显示面板20并显示在该另一 I/O显示面板20上来彼此通信。也就 是说，如图48所示，准备了两个I/0显示面板20，由此允许执行诸如将在一 个面板中已经图像识别的手65的形状发送到另一面板，以便在另一面板上显 示手的形状642的处理，或将通过由手64接触一个面板而显示的轨迹641发 送到另一面板并显示在在另一面板上的处理。因此，发送绘图状态作为移动 图像、并且将手写字符、符号等发送到其他I/O显示面板20的1/0显示面板 20可以是潜在的新的通信工具。作为这种实例，例如，期望将I/0显示面板 20应用于蜂窝电话等的显示面板。
此外，例如，如图49所示，使用毛笔66,并且毛笔66接触I/0显示面 板20的表面从而绘制字符，并且将毛笔66接触的点作为图像661显示在I/O 显示面板20上，由此允许通过毛笔的手写输入。在该情况下，允许识别和显 示毛笔的精细接触。在现有技术中的手写识别中，例如，在某些数字转换器 (digitizers)中，通过检测电场反映特定笔的倾斜；但是，在实例中，检测 真实毛笔接触的表面，由此以更真实的感觉执行信息输入。
(模块和应用实例) 接下来，将参考图50到图54描述在上述实施例和修改实例中描述的显 示与图像拾取器件的应用实例。上述实施例等的显示与图像拾取器件可应用 于在任意领域中的显示从外面输入的画面信号或在内部产生的画面信号作为图像或画面的电子设备，诸如电视、数字照相机、笔记本个人计算机、诸如蜂窝电话的便携式终端元件和摄像机。(应用实例1 )
图50图解应用了上述实施例等的显示与图像拾取器件的电视的外观。电
视具有，例如，包括前面板511和滤光玻璃512的画面显示屏部件510，并且画面显示屏部件510配置有根据上述实施例等的显示与图像拾取器件。(应用实例2)
图51图解应用了上述实施例等的显示与图像拾取器件的数字照相机的外观。数字照相机具有，例如，用于闪光的发光部件521、显示部件522、菜单开关523、和快门按钮524,并且显示部件522配置有根据本实施例等的显示与图像拾取器件。(应用实例3)
图52图解应用了上述实施例等的显示与图像拾取器件的笔记本个人计算机的外观。笔记本个人计算机具有，例如，主体531、用于输入字符等的操作的键盘532和用于显示图像的显示部件533,并且显示部件533配置有根据上述实施例等的显示与图像拾取器件。(应用实例4)
图53图解应用了上述实施例等的显示与图像拾取器件的摄像机的外观。摄像机具有，例如，主体541、用于拍摄布置在主体541的前表面上的对象的透镜542、拍摄开始/停止开关543和显示部件544,并且显示部件544配置有根据上述实施例等的显示与图像拾取器件。(应用实例5)
图54图解应用了上述实施例等的显示与图像拾取器件的蜂窝电话的外观。通过经由连接部件(铰链部件)730彼此连接(例如)上侧外壳710和下侧外壳720来形成蜂窝电话，并且蜂窝电话具有显示器740、副显示器750、画面灯760和照相才几770。显示器740或副显示器750配置有#4居上述实施例等的显示与图像拾取器件。
虽然参考实施例描述了本发明，但是本发明不限于此，并且可以进行各
种修改。
例如，在上述实施例等中，描述了配置有包括背光15的液晶面板的I/O显示面板的情况；但是，用于显示的背光还可以用作用于检测的发光器件、或可以仅布置用于检测的发光器件。此外，在布置用于检测的发光器件的情况下，更优选地使用除了可见光区域之外的波长范围中的光(例如，红外光)。此外，在上述实施例等中，例如，如图7所示，描述这样的情况在背
光15的一个打开时间段或一个关闭时间段中、在一行上、在光接收部件(图
像拾取像素)上执行复位操作或读出操作(其中执行高频背光的闪烁
(blinking)操作的情况)；但是，本发明不限于该情况。也就是说，例如，可以在背光15的一个打开时间段或一个关闭时间段中、在多行上、在光接收部件(图像拾取像素)上执行复位操作或读出操作(可以执行低频背光的闪烁操作)。
另夕卜，在上述实施例等中，描述这样的精况其中在I/0显示面板20中，显示元件是液晶元件，并且分开地布置光接收元件；但是，例如，像有机EL(场致发光)元件那样的、能够以时分方式执行光发射操作和光接收操作的光发射/接收元件(显示与图像拾取元件)可以构成I/0显示面板。另外，在该情况下不发射显示光的时间段是不执行显示与图像拾取元件的发光操作的时间段。
此外，在上述实施例等中，描述包括显示与图像拾取面板(I/O显示面板20)(其包括多个显示元件和多个图像传感器)的显示与图像拾取器件；但是，本发明可应用于包括图像拾取面板(其包括多个图像传感器而不包括显示元件)的图像拾取器件。
权利要求
1.一种图像拾取器件，包括图像拾取面板，包括多个图像拾取像素，并且具有用于邻近对象的照明光源；图像拾取驱动装置，用于通过关于每一所述图像拾取像素执行图像拾取驱动来从每一所述图像拾取像素获得图像拾取信号；和图像处理装置，用于利用基于从每一所述图像拾取像素获得的所述图像拾取信号的拾取图像，获得包括所述邻近对象的位置、形状和尺寸中的一个或多个的对象信息，其中，所述图像拾取驱动装置执行图像拾取驱动，以便当从所述照明光源发射照明光时，根据作为来源于所述照明光的反射光和环境光的总和的总光量而在每一所述图像拾取像素中累积充电电荷，而当未从所述照明光源发射所述照明光时，根据所述环境光的光量从每一所述图像拾取像素释放放电电荷，由此从每一所述图像拾取像素获得所述图像拾取信号。
2. 如权利要求1所述的图像拾取器件，其中每 一 所述图像拾取像素包括光电变换器，根据所接收的光的光量产生电荷，电容器，充电电路，其允许在所述电容器中累积所述充电电荷，和放电电路，其允许从所述电容器释放所述放电电荷，和所述图像拾取驱动装置关于所述充电电路和所述放电电路执行所述图像拾取驱动，由此从每一所述图像拾取像素获得图像拾取信号。
3. 如权利要求2所述的图像拾取器件，其中所述充电电路包括用于充电的开关元件，而所述放电电路包括用于放电的开关元件，和所述图像拾取驱动装置关于所述用于充电的开关元件和所述用于放电的开关元件执行所述图像拾取驱动，以便通过所述用于充电的开关元件在所述电容器中累积在所述光电变换器中产生的所述充电电荷，并且通过所述用于放电的开关元件从所述电容器释放在所述光电变换器中产生的所述放电电荷。
4. 如权利要求3所述的图像拾取器件，其中所述图像拾取驱动装置执行图像拾取驱动，以便所述用于充电的开关元叠。
5. 如权利要求2所述的图像拾取器件，其中所述光电变换器配置有产生所述充电电荷的第一光电变换器和产生所述放电电荷的第二光电变换器，所述充电电路包括用于充电的开关元件，并且所述放电电路包括用于放电的开关元件，和所述图像拾取驱动装置关于所述用于充电的开关元件和所述用于放电的开关元件执行所述图像拾取驱动，以便通过所述用于充电的开关元件在所述电容元件中累积在所述第一光电变换器中产生的所述充电电荷，并且通过所迷用于放电的开关元件从所述电容器释放在所述第二光电变换器中产生的所述放电电荷。
6. 如权利要求5所述的图像拾取器件，其中所述图像拾取驱动装置关于所述用于充电的开关元件和所述用于放电的开关元件执行所述图像拾取驱动，以便在累积所述充电电荷的时间段和释放所述放电电荷的时间段之间，所述电容器的 一端被交替地切换以连接到电源和地。
7. 如权利要求6所述的图像拾取器件，其中所述图像拾取驱动装置执行所述图像拾取驱动，以便所述用于充电的开关元件的导通状态时间段和所述用于放电的开关元件的导通状态时间段不彼此重叠。
8. 如权利要求2所述的图像拾取器件，其中所述光电变换器配置有产生所述充电电荷的第一光电变换器和产生所述放电电荷的第二光电变换器，第一和第二光电变换器中的每一个配置有包括阳极电极、阴极'电极和栅极电极的PIN光电二极管，并且所述图像拾取驱动装置执行通过分开地改变在所述第一光电变换器中的所述阴极电极和所述栅极电极之间的电位关系和在所述第二光电变换器中的所述阳极电极和所述栅极电极之间的电位关系来将所述第一和第二光电变换器中的每一个设置为打开状态或关闭状态，和驱动所述第一和第二光电变换器以进行图像拾取，以便通过分别将所述第一光电变换器和所述第二光电变换器带入打开状态和关闭状态来在所述电容器中累积在所述第一光电变换器中产生的所述充电电荷，并且使得通过分别将所述第一光电变换器和所述第二光电变换器带入关闭状态和打开状态来从所述电容器释放在所述第二光电变换器中产生的所述放电电荷。
9. 如权利要求8所述的图像拾取器件，其中所述图像拾取驱动装置分开地固定在所述第一光电变换器中的所述阴极电极的电位和在所述第二光电变换器中的所述阳极电极的电位，并通过分开地改变在所述第一和第二光电变换器中的所述栅极电极的电位而将所述第一和第二光电变换器分开地设置到打开状态或关闭状态。
10. 如权利要求8所述的图像拾取器件，其中所述图像拾取驱动装置通过分开地改变在所述第一光电变换器中的所述阴极电极的电位和在所述第二光电变换器中的所述阳极电极的电位，来将所述第一和第二光电变换器分开地设置为打开状态或关闭状态。
11. 如权利要求IO所述的图像拾取器件，其中所述图像拾取驱动装置分别分开地固定所述第一和第二光电变换器中的所述一册#及电极的电位。
12. 如权利要求IO所述的图像拾取器件，其中所述图像拾取驱动装置在累积所述充电电荷的时间段和释放所述放电电荷的时间段两者中，将在所述第一和第二光电变换器中所述栅极电极的电位分开地设置为高阻抗状态。
13. 如权利要求1到12中任意一个所述的图像拾取器件，其中所述图像拾取像素包括第 一 图像拾取像素和第二图像拾取像素，所述第一图像拾取像素包括阻挡所述反射光和所述环境光两者的光阻挡部件，而所述第二图像拾取像素不包括所述光阻挡部件，和所述图像处理装置基于在从所述第 一 图像拾取像素获得的图像拾取信号和从所述第二图像拾取像素获得的图像拾取信号之间的差别信号获得所述对象信息。
14. 如权利要求1到12中任意一个所述的图像拾取器件，其中所述图像处理装置基于在累积所述充电电荷的操作和释放所述放电电荷的操作之间的多次切换之后获得的图像拾取信号来获得所述对象信息。
15. 如权利要求1到12中任意一个所述的图像4合取器件，其中初始化电压允许释放在每一所述图像拾取像素中累积的全部电荷，所述初始化电压是在电源电压和地电压之间的任意电压。
16. 如权利要求1到12中任意一个所述的图像拾取器件，其中在所述图像拾取面板中以矩阵形式布置在所述图像拾取面板中的所述图像拾取像素，和所述图像拾取驱动装置以行顺序方式关于所述图像拾取像素执行所述图像拾取驱动。
17. 如权利要求1到12中任意一个所述的图像拾取器件，其中在所述图像拾取面板中，彼此分开地布置所述图像拾取像素和用于驱动所述图像拾取像素以进行图像拾取的配线。
18. 如权利要求1到12中任意一个所述的图像拾取器件，其中所述图像拾取驱动装置执行图像拾取驱动，以便当所述邻近对象在所述图像拾取面板上移动时，累积所述充电电荷和释放所述放电电荷，由此所述图像拾取驱动装置从每一 所述图像拾取像素获得图像拾取信号。
19. 如权利要求1到12中任意一个所述的图像拾取器件，其中所述图像处理装置一次性获得关于位于所述图像拾取面板上的多个邻近对象的对象信息。
20. —种显示与图像拾取器件，包括显示与图像拾取面板，包括多个显示像素和多个图像拾取像素；显示驱动装置，用于通过关于每一所述显示像素执行显示驱动来显示图像；图像拾取驱动装置，用于通过关于每一所述图像拾取像素执行图像拾取驱动来从每一所述图像拾取像素获得图像拾取信号；和图像处理装置，用于通过利用基于从每一所述图像拾取像素获得的所述图像拾取信号的拾取图像，获得包括邻近对象的位置、形状和尺寸中的一个或多个的对象信息，其中，所述图像拾取驱动装置执行图像拾取驱动，以便当从显示与图像拾取面板向邻近对象发射照明光时，根据作为来源于所述照明光的反射光和环境光的总和的总光量而在每一所述图像拾取像素中累积充电电荷，而当未从所述显示与图像拾取面板发射所述照明光时，根据环境光的光量从每一所述图像拾取像素释放放电电荷，由此从每一 所述图像拾取像素获得所述图像拾取信号。
21. 如权利要求20所述的显示与图像拾取器件，其中累积所述充电电荷的操作和释放所述放电电荷的操作中的每一个都与在所迷显示驱动期间的水平时间段同步。
22. 如权利要求21所述的显示与图像拾取器件，其中所述图像处理装置基于在累积所述充电电荷的操作和释放所迷放电电荷的操作之间的多次切换之后获得的图像拾取信号来获得所述对象信息。
23. 如权利要求20所述的显示与图像拾取器件，其中所述显示驱动装置基于由所述图像处理装置获得的对象信息执行显示驱动，由此在所述显示与图像拾取面板上显示所述对象信息。
24. 如权利要求20所述的显示与图像拾取器件，其中所述显示像素每个包括液晶元件。
25. 如权利要求20所述的显示与图像拾取器件，其中所述显示像素和所述图像拾取像素被配置来包括多个显示与图像拾取元件，允许每个显示与图像拾取元件以时分方式执行光发射操作和光接收操作。
26. 如权利要求25所述的显示与图像拾取器件，其中所述显示与图像拾取元件是有机EL元件。
27. —种包括具有图像显示功能和图像拾取功能的显示与图像拾取器件的电子设备，所述显示与图像拾取器件包括显示与图像拾取面板，包括多个显示像素和多个图像拾取像素；显示驱动装置，用于通过关于每一所述显示像素执行显示驱动来显示图像；图像拾取驱动装置，用于通过关于每一所述图像拾取像素执行图像拾取驱动来从每一所述图像拾取像素获得图像拾取信号；和图像处理装置，用于通过利用基于从每一所述图像拾取像素获得的所述图像拾取信号的拾取图像，获得包括邻近对象的位置、形状和尺寸中的一个或多个的对象信息，其中，所述图像拾取驱动装置执行图像拾取驱动，以便当从所述显示与图像拾取面板向所述邻近对象发射照明光时，根据作为来源于所述照明光的反射光和环境光的总和的总光量而在每 一 所述图像拾取像素中累积充电电荷，并且当未从所述显示与图像拾取面板发射所述照明光时，根据环境光的光量从每一 所述图像拾取像素释放放电电荷，由此从每一所述图像拾取像素获得所述图像拾取信号。
28. —种检测对象的方法，包括步骤关于多个图像拾取像素中的每一个执行图像拾取驱动，以便当包括所述多个图像拾取像素的图像拾取面板向邻近对象发射照明光时，根据作为来源于所述照明光的反射光和环境光的总和的总光量而在每一所述图像拾取像素中累积充电电荷，而当未发射所述照明光时，根据环境光的光量从每一所述图像拾取像素释放放电电荷，由此从每一所述图像拾取像素获得图像拾取信号S 和利用基于从每 一 所述图像拾取像素获得的所述图像拾取信号的拾取图像，获得包括所述邻近对象的位置、形状和尺寸中的一个或多个的对象信息。
全文摘要
提供了一种成像设备，其不管使用条件如何，都可以稳定地检测对象，同时减少制造成本。当将来自背光(15)的照明光通过I/O显示面板20发射到邻近对象时，根据照明光的反射光(Lon)和环境光(外部光)(LO)的总光量在每一图像拾取像素(33)中存储充电电荷。当不发射上述照明光时，根据环境光(LO)的光量对每一图像拾取像素(33)进行放电。由于在从每一图像拾取像素(33)获得的图像拾取信号中减去根据环境光(LO)的分量，因此可获得邻近对象的信息而不受环境光(LO)的影响。此外，在从图像信号创建图像时，光接收驱动电路13需要比常规情况中更少数目的帧存储器13A。
文档编号G09G3/30GK101689083SQ20098000047
公开日2010年3月31日 申请日期2009年3月18日 优先权日2008年3月24日
发明者仲岛义晴, 前川敏一, 千田满, 原田勉, 山口和范, 建内满, 津崎亮一 申请人:索尼株式会社