图像拾取装置、显示及图像拾取装置和图像拾取处理装置的制作方法

专利名称：图像拾取装置、显示及图像拾取装置和图像拾取处理装置的制作方法
技术领域：
本发明涉及图像拾取装置以及获取信息(诸如接触或接近面板 的物体的位置)的显示及图《象冲合取装置，以及应用于所述图傳j合取 装置的图像拾取处理装置。
背景技术：
检测接触或接近装置表面的物体的位置等信息的技术至今已 经公知。其中，作为一种典型而普及的技术，包括了能够检测接触 或接近显示器表面的物体的位置等信息的接触面板的显示器被提 及。
目前存在多种接触面板，但是常用类型是电容才企测类接触面 板。当手指接触这种接触面板时，该接触面板获取面板表面电荷的 变化以才全测物体的位置等信息。因此，当使用这种接触面^反时，用 户能直观j也4喿作该4妄触面才反。
此外，例如，本发明的申请人已经在专利文件1中提出了一种 包括了具有显示图像的显示功能以及拾取物体图像(检测物体)的 图4象冲合耳又功能(才企测功能)的显示部(显示图^f象冲合取面板)的显示 器。第2004-127272号日本未审查专利申诮v^开

发明内容
当使用上述专利文件1中描述的显示器时，在诸如手指的物体 接触或接近显示图像拾取面板的情况下，可以基于通过使用该物体 反射的显示光而拾取的图像来检测物体的位置等信息。因此，当使 用该显示器时，不需在显示图像拾取面板上单独安装诸如接触面板
的部件，而4吏用简单配置，就可以;险测物体的位置等信息。
此外，更典型地，在包括了仅具有图傳4合取功能的图^f象拾取面 板的图像拾取装置中，可以通过使用外部光而非由物体反射的上述 显示光拾取物体的图像来检测物体的位置等信息。
附带地，在基于拾取的图像以这种方式检测物体的位置等信息 的情况下，图像拾取单元间的偏移变化、诸如输出放大器或放大器 的周边电路中的偏移变化等就变成了问题。因为当由于这些偏移变 化而在拾取的图像中产生噪声(偏移噪声)时，物体的位置等信息 的检测精度会下降，或者检测本身会变得困难。
因此，考虑这样的方法，存储当图^f象拾取装置覆盖有黑盒等(以 便使图像拾取装置不被曝光)时拾取的图像，然后通过从正常的拾 取图像中移除图l象来移除偏移噪声；然而，用户^皮迫才丸行获取在图 像拾取装置周围环境处于黑暗状态时拾取的图像的操作，所以使用 这种图像拾取装置的方法是非常复杂且不实用的。
此外，考虑在制造图像拾取装置的步骤中，初始偏移噪声被作 为图像预先存储；然而，可以预料到，即使使用了这种图像，由于 使用环境的变化或时间的变化，偏移噪声不能够被充分移除。
因此，在背景技术中，很难轻易地减少装置中的偏移噪声，并 提高对接触或接近面板的物体的检测精度。
7考虑到上述问题，本发明的目的是提供可以轻易提高对接触或 接近面板的物体的检测精度的图像拾取装置、显示及图像拾取装置 和图像拾取处理装置。
根据本发明的图像拾取装置包括图像拾取面板，包括多个图
像拾取单元；图像拾取控制装置，用于控制图像拾取单元，以便通 过在所述图像拾取单元被初始化的状态下的图像拾取处理来获取
偏移噪声；以及图像处理装置，用于基于拾取的图像并考虑到偏移 噪声来获取作为关于接近物体的位置、形状和大小中的至少 一个的 信息的物体信息，所述拾取的图像是通过拾取接近物体的图像来获 取的。这里，"所述图像拾取单元被初始化的状态"是指图像拾取 单元中积累的电荷^皮释方文的状态，^v而电荷量^皮初始化(复位)。 此外，"偏移噪声，，是指不但包括由于图像拾取单元间的偏移变化 的噪声而且包括由于图像冲合取面板中图傳_拾取单元的周边电3各的 噪声的特定噪声。此外，"接近物体"不但指字面意义上的接近物
体，还指处于接触状态的物体。
根据本发明的显示及图^f象拾耳又装置包括显示图像拾取面板， 包括多个图像拾取单元；图像拾取控制装置，用于控制图像拾取单 元，以便通过在所述图像拾取单元被初始化的状态下的图像拾取处 理来获取偏移噪声；图像处理装置，用于基于拾取的图像并考虑到 偏移噪声来获取作为关于接近物体的位置、形状和大小中的至少一 个的信息的物体信息，所述拾取的图像是通过拾取接近物体的图像 来获取的；以及显示控制装置，用于控制显示单元，以便将所获取 的物体信息显示在显示图像拾取面板上。
根据本发明的图像拾取处理装置是应用于图像拾取面板的处 理装置，所述图像拾取面板包括多个图〗象拾取单元，并且所述图傳_ 拾取处理装置包括图像拾取控制装置，用于控制图像拾取单元， 以便通过在所述图像拾取单元被初始化的状态下的图像拾取处理来获取偏移噪声；以及图像处理装置，用于基于拾取的图像并考虑 到偏移噪声来获取作为关于接近物体的位置、形状和大小中的至少 一个的信息的物体信息，所述拾取的图像是通过拾取接近物体的图 像来获取的。
在所述图像拾取装置中，根据本发明的显示及图像拾取装置和 图像拾取处理装置，通过在所述图像拾取单元被初始化的状态下的 图像拾取处理来获取偏移噪声。之后，基于拾取的图像并考虑到偏 移噪声来获取关于接近物体的物体信息，所述拾取的图像是通过拾 耳又4妾近物体的图^f象来获取的。
在根据本发明的图像拾取装置中，上述图像处理装置可以基于 阴影图像并考虑到上述偏移噪声而获取物体信息，所述阴影图像是 通过拾耳又4妄近物体的阴影图像来获取的。另外，"阴影图〗象"是通 过拾取外部光引起的阴影的图像来获取的图像，并且指的是不使用 来自图像拾取面板的照射光(或显示光)而获取的图像。例如，在 这种结构的情况下，即便照射光或显示光不从图像拾取面板发射， 也可以获取物体信息。此外，不考虑照射光或显示光的强度等，获 取物体信息。
此外，上述图像处理装置可以基于上述阴影图像和利用照射光 的图像并考虑到上述偏移噪声来获取物体信息，利用照射光的图像 是通过使用来自图像拾取面板的照射光来拾取接近物体的图像而 获取的。例如，在这种结构的情况下，即便环境是黑暗的并且没有 获得外部光，也可以获取物体信息。因此，不考虑当时的使用条件， 也可以获取物体信息。
在所述图像拾取装置中，根据本发明的显示及图像拾取装置或 图i象拾取处理装置，通过在所述图傳4合取单元^皮初始化的状态下的 图像拾取处理来获取偏移噪声，而基于拾取的图像并考虑到偏移噪声来获取关于接近物体的物体信息，所述拾取的图像是通过拾取接 近物体的图像来获取的，所以可轻易地减少装置中的偏移噪声，同 时可以获取关于接近物体的物体信息。因此，可以轻易地提高接触 或接近物体的检测精度。


图1是示出了根据本发明第一实施例的显示及图像拾取 装置的构成的框图。图2是示出了图1中示出的I/0显示面一反的构成实例的冲匡图。图3是示出了每个像素的构成实例的电路图。图4是用于描述每个像素和传感器读出H驱动器之间的 连接关系的电路图。图5是用于描述背光的开关状态和显示状态之间关系的 时间图。图6是示出了根据第一实施例的指尖提取处理的流程图。图7是用于描述图6中示出的每个4是取处理的时间图。图8是示出了图7中示出的阴影图像指尖^r测处理的细 节的流程图。图9是用于描述阴影图像指尖检测处理的概念的透视图。[图IO]图10是示出了由阴影图像指尖检测处理得到的拾取图
z像的实例的示意图。图11是用于描述阴影图像指尖提取处理的照片示图。图12是用于描述图11之后的阴影图像指尖提取处理的 照片示图。园i j疋用丁习甶迎田r/j t-园1豕^百大拔取^c^s^亏主'j日3兀4史 收信号的示图。图14是用于描述移动平均图像的产生处理的示图。图15是用于描述移动平均图像的产生处理的示图。图16是用于描述移动平均图像的产生处理的示17是示出了图7中所示的差分图像指尖提取处理的 细节的流禾呈图。图18是用于描述差分图像指尖提取处理的照片示图。图19是用于描述外部光明亮的情况下差分图像指尖提 耳又处理的示图。图20是用于描述外部光黑暗的情况下差分图像指尖提 取处理的示图。图21是用于描述由差分图像指尖提取处理得到的光接 收信号的动态范围的示图。[图22]图22是用于描述差分图像指尖提取处理和阴影图像指 尖提耳又处理之间比较的示图。图23是用于描述偏置电压的实例的曲线图。图24是用于描述增加偏置电压情况下的岁文果的实例的 照片示图。图25是用于4苗述1扁置电乂玉的另 一实例的曲》戋图。图26是用于描述加上偏置电压情况下的效果的另一实 例的照片示图。图27是用于描述利用由指尖提取处理产生的结果的应 用的一个实例的示图。图28是用于描述利用由指尖提取处理产生的结果的应 用的另一实例的示图。图29是用于描述利用由指尖提取处理产生的结果的应 用的又一实例的示图。图30是用于描述利用由指尖提取处理产生的结果的应 用的再一个实例的示图。图31是示出了根据第二实施例的指尖提取处理的流程图。图32是示出了根据第三实施例的指尖提取处理的流程图。[图33]图33是用于描述图32中示出的图像合成处理的照片示图。图34是用于描述根据本发明变形例的移动平均图像的 产生处理的示图。图35是用于描述根据本发明变形例的移动平均图像的 产生处理的示图。图36是示出了根据本发明的变形例的显示及图像拾取 装置的构成的框图。图37是示出了图36中示出的显示及图像拾取装置中每 个像素的构成实例的电路图。
具体实施例方式
用于实施本发明(下文中，简单称为实施例)的最优模式将参 照附图在下文中详细描述。
图1示出了根据本发明第一实施例的显示及图像拾取装置的整 体构成。显示及图像拾取装置包括I/0显示面板20、背光15、显示 驱动电路12、光接收驱动电路13、图像处理部14以及应用程序执 行部11。
1/0显示面板20由液晶面板(LCD (液晶显示器))配置而成， 其中，多个像素在液晶面板的整个表面上以矩阵形式排列，并在执 行线序操作时具有基于显示数据显示诸如预定的符号或字符的图 像的功能(显示功能)，以及具有如下文中所述的拾取接触或接近
13I/O显示面才反20的物体的图^象的功能。此外，背光15是I/0显示 面板20的光源，并且是通过例如排列多个发光二极管而形成的， 并且如下文所述地，背光15以与I/O显示面板20的操作计时相同 步的预定计时高速执行开关操作。
显示驱动电3各12是驱动I/O显示面—反20 (驱动线序4喿作)以 便基于显示数据在I/O显示面板20上显示图像(以#1行显示操作) 的电i 各。
光接收驱动电路13是驱动I/O显示面板20 (驱动线序操作) 以便在I/O显示面板20中获取光接收数据(以拾取物体的图像)的 电路。每个像素中的光接收数据例如以帧为单位存储在帧存储器 13A中，作为拾取图像被输出至图像处理部14。此外，光接收驱动 电路13控制图像拾取单元(光接收传感器31c等，下文将加以描 述)以便在图像拾取单元被初始化的状态(复位状态)下通过图像 拾取处理获取偏移噪声(初始化的图像R)。获取复位图像R和偏 移噪声的处理将在下文中详细描述。
图像处理部14基于从光接收驱动电路13输出的拾取图像来执 行预定的图像处理(运算处理)，并检测以及获取物体信息(位置 坐标数据、关于物体形状或大小等的数据)，所述物体信息是关于 接触或接近I/O显示面板20的物体的信息。检测处理将在下文中详
纟田4笛ii。
应用程序执行部ll基于由图像处理部14产生的检测结果根据 预定的应用软件执行处理，而作为应用程序执行部11,例如，可以 是被检测物体的位置坐标包含在显示数据中且显示在I/O显示面板 20上的应用程序执行部。应用程序执行部11中产生的显示数据被 才是供至显示驱动电^各12。另外，应用程序执4于部11对应用程序的 执行实例将在下文中详细描述。下面，将参照图2描述I/0显示面板20的具体构成实例。I/O 显示面板20包括显示区域(传感器区域)21、显示H驱动器22、 显示V驱动器23、传感器读出H驱动器25以及传感器V驱动器 24。
显示区域(传感器区域)21是调制来自背光15的光以作为显 示光发射的区域，而接触或接近该区域的物体的图像被拾取，并且 在显示区域21中，以矩阵形式排列作为光发射单元(显示单元) 的液晶单元和下文将要描述的光接收单元(图像拾取单元)。多个 显示单元和多个图像拾取单元形成在例如基板(如硅(Si)基板或 非硅基板)上。另夕卜，作为非硅基板，例如，可以是玻璃基板、塑 料基板等。
显示H驱动器22，以及显示V驱动器23，基于用于显示驱动 的显示信号和从显示驱动电路12中提供的控制时钟，线序地驱动 显示区域21中每个^象素的液晶单元。
传感器读出H驱动器25，以及传感器V驱动器24,基于用于 光接收驱动的信号和从光接收驱动电路13中提供的控制时钟，线 序地驱动显示区域21中每个像素的光接收单元，以获取光接收信 号(光接收数据)。
然后，参照图3,下面将描述显示区域21中的每个像素的具体 构成实例。图3中示出的^象素31包^"液晶单元，所述液晶单元为 显示单元和光接收单元(图俜4合取单元)。
更具体地，在显示单元侧，由薄膜晶体管(TFT)等配置的开 关单元31a^皮配置在水平方向上延伸的棚4及电才及31h与垂直方向上 延伸的漏极电极31i的交叉点处，而包含了液晶的像素电极31b被 配置在开关单元31a和对向电极之间。然后，开关单元31a基于经
15栅极电极31h提供的驱动信号执行开关操作，而在导通状态时，像 素电压基于经漏极电极31i提供的显示信号被施加到像素电极31b, 以i殳置显示4犬态。
另一方面，在靠近显示单元的光接收单元侧，例如，配置由例 如光电二极管等配置的光接收传感器31c，而电源电压VDD被提供 至光接收传感器31c。此外，复位开关31d和电容器31e被连接至 光4妄收传感器31c，而在复位开关31d变为导通状态以及在前面的 图〈象才合耳又处理中电容器31e中对应于光^l妾收量的积累的电荷;陂复位 (初始化，放电)之后，在电容器31e中积累随后的图像拾取处理 中对应于光接收量的电荷。之后，在读出开关31g变为导通状态的 时刻，积累的电荷通过緩沖放大器31f ^皮提供至信号输出电极31j, 然后积累的电荷被输出至外部。此外，复位开关31d的开关操作是 由从复位电极31k提供的信号控制的，而读出开关31g的开关操作 是由从读出控制电极31m提供的信号控制的。
此外，在根据本实施例的显示及图像拾取装置中，即使在导通 复位开关31d以复位光接收传感器31c的状态中，在预定的情况下， 读出开关31g^皮控制在导通状态。当获取这种复位状态下的拾耳又图 像(上述复位图像R)时，可根据需要，获取复位状态下的图像拾 取信号，即，由于光"f妄收传感器31c中的偏移变化和对应于其周边 电路等的緩沖放大器31f中的偏移变化导致的偏移噪声。
下面，参照图4,将描述显示区域21中每个像素和传感器读出 H驱动器25之间的连接关系。在显示区域21中、依次配置了红色 (R)像素31、绿色(G)像素32以及蓝色(B)像素33。
在连4妾至^f象素的各个光接收传感器31c、32c和33c中的电容器 中积累的电荷分别由各个緩冲放大器31f、 32f和33f进行放大，以 在导通各个读出开关31g、 32g或33g的时刻通过各个信号输出电极提供至传感器读出H驱动器25。此外，各个恒电流源41a、 41b 和41c被连接至各个信号输出电极，以便在具有高灵敏度的传感器 读出H驱动器25中检测到对应于光接收量的信号。
这里，I/O显示面板20和背光15是对应于本发明的"显示图 像拾取面板"和"图像拾取面板"的具体实例。此外，光接收驱动 电路13是对应于本发明的"图像拾取控制装置"的具体实例，显 示驱动电3各12是对应于本发明的"显示控制装置"的具体实例， 而图^象处理部14是对应于本发明的"图像处理装置"的具体实例。 此外，光接收驱动电路13和图像处理部14是对应于本发明的"图 像孑合取处理装置"的具体实例。
下面，将详细描述根据本实施例的显示及图像拾取装置的操作。
首先，先在下文中描述显示及图像拾取装置的基本操作，即显 示图像的操作和拾取物体图像的操作。
在显示及图像拾取装置中，基于从应用程序执行部11中提供 的显示数据在显示驱动电路12中产生显示驱动信号，并在I/O显示 面板20上由驱动信号执行线序显示驱动以显示图像。此外，这时， 还由显示驱动电路12驱动背光15以执行与1/0显示面板20同步的
灯开关操作。
这里，参照图5，将描述背光15的开关状态与1/0显示面板20 的显示状态之间的关系。
首先，例如，在以1/60秒的帧期间显示图像的情况下，在每个 帧期间的前半期间(1/120秒期间)关闭背光15 (变为关闭状态)， 从而不执行显示。另一方面，在每个帧期间的后半期间开启背光15(变为开启状态)，从而显示信号被提供至每个像素，以在帧期间 显示图像。
因此，每个帧期间(单位操作周期的期间)的前半期间是显示
光不从I/O显示面板20发射的无光期间，而每个帧期间的后半期间 是显示光从I/O显示面板20发射的有光期间。
这里，当存在^妾触或^妄近I/0显示面一反20的物体(例如，指尖 等)时，通过光4妄^^区动电^各13的线序光4妄收驱动，由I/O显示面 板20中每个像素的光接收单元来拾取物体的图像，并且来自每个 光4妄收单元的光4妄收信号^^是供至光"t妾收驱动电路13。在光4妾收驱 动电路13中，1帧中像素的光接收信号暂时存储在帧存储器13A 中。这时，执行移除偏移噪声(下文中将会描述)的噪声处理，在 执行噪声处理之后获耳又的拾取图像(下文中将会描述的经噪声处理 的图像)被输出至图像处理部14。
之后，图像处理部14中，基于经噪声处理的图像，执行下文 中将会描述的预定的图l象处理(运算处理)，由此4企测并获取作为 关于接触或接近I/O显示面板20的物体的信息的物体信息(位置坐 标数据、关于物体形状或大小的数据等等)。
下面，参照图6至22,将详细描述由图像处理部14提取诸如 指尖的接触或接近I/0显示面纟反20的物体(接近物体)的处理(指 尖才是取处理)，所述图像处理部14是本发明特征部分中的一个。这 里，图6示出了图像处理部14的指尖提取处理的流程图，而图7 示出了指尖提取处理的一部分的时间图。
可以从图7中看出，作为单位操作周期的期间的一帧显示期间 被大致分为作为背光15关闭期间的前半期间(从时刻t0到时刻t2: 无光期间)和作为背光15开启期间的后半期间(乂人时刻t2到时刻t4:有光期间)。此外，在各个无光期间和有光期间中，在图像读出 期间(获取图像拾取处理期间)之前，设置图像拾取单元处于复位 状态的期间(,人时刻t0到时刻tl ，,人时刻t3到时刻t4 )，并复^f立(初 始化)之前的光接收信号(图像拾取信号)。
首先，在无光期间的/人时刻t0到时刻tl的期间中，由I/O显 示面板20执行复位状态下的图像拾取处理，以获取图像R (复位 图像)(图6中的步骤SIO)。因而，获取了复位状态下的图像拾取 信号，即，偏移噪声。
下面，在无光期间的/人时刻tl到时刻t2的期间中，由I/O显 示面板20拾取接近物体的阴影图像，因而获取图像A (阴影图像) (步驶《Sll )。然后，在之后的/人时刻t2到时刻t4的期间(有光期 间)中，基于获取的图像A (阴影图像)，由光接收驱动电路13和 图像处理部14执行包括了下文中将要描述的偏移噪声处理的指尖 提取处理(阴影图像指尖提取处理)(步骤S12 )。
另 一方面，与阴影图像指尖提取处理并行的在有光期间的从时 刻t2到时刻t3的期间中，首先，图像拾取单元进入复位状态，且 图像A的图像拾取信号被复位。此外，在有光期间的复位状态下， 不执行图像拾取处理，从而不获取复位图像。这是因为即使在这期 间通过获取复位图像获取偏移噪声，该偏移噪声与在无光期间获取 的偏移噪声鲜有不同，因而被认为是基本相同的偏移噪声。
此外，与阴影图像指尖提取处理并行的在接下来的有光期间的 从时刻t3到时刻t4的期间中，由I/O显示面板20执行拾取接近物 体的图像的处理，以获取图^f象B (利用照射光(显示光)的图4象)。 之后，由光接收驱动电路13和图像处理部14执行包括了获取图像 B和将在下文中描述的偏移噪声处理的指尖提取处理(基于将在下 文中描述的差分图像C的差分图像指尖提取处理)(步骤S13)。下面，图像处理部14确定指尖是否在步骤S12中通过差分图 像指尖提取处理被提取(是否获取了诸如指尖的接近物体的诸如位 置、形状、大小等等的物体信息)(步骤S14)。在图像处理部14 确定指尖^皮提取(步骤S14:是)的情况下，图像处理部14确定使 用差分图像指尖提取处理的提取结果(步骤S15)，并且最终结果被 输出至应用程序4丸行部11 (步艰《S17)。另一方面，在图像处理部 14确定没有提取指尖(步骤S14: N)的情况下，图#>处理部14确 -定叶吏用阴影图<象指尖才是耳又处J里的4是耳又结果(步骤-S16 ),并且最终结 果被输出至应用程序执行部11 (步骤S17 )。
因此，考虑到作为主处理的差分图像指尖提取处理和作为副处 理的阴影图像指尖提取处理，最终选择这些提取处理中的 一个的提 取结果。
下面，将详细描述阴影图像指尖提取处理和差分图像指尖提取 处理。
首先，参照图8至16，将详细描述阴影图像指尖提取处理。这 里，图8示出了阴影图像指尖提取处理的细节的流程图，而图9示 出了阴影图像指尖提取处理中状态的透视图，以及图10示意性地 示出了阴影图^(象指尖4企测处理的冲合:取图<象的实例。此外，图11示 出了下面将要描述的阴影图像指尖提取处理的偏移噪声处理中的 图l象实例(图^f象R、图^象A、图<象A，以及图4象A")的照片，而图 12示出了阴影图像指尖提取处理的偏移噪声处理之后的图像实例 (图像A"、图像(-A")、图像(MA")、图像(-MA")、图像D和 图像E)的照片，以及图像13示出了图12中示出的图像实例的一 部分中图^f象位置和光接收输出电压的曲线图。
首先，在偏移噪声处理中(图8中的步骤S120和步骤S121， 参照图11 )，光接收驱动电路13基于已经获取的图像A(阴影图像)和图像R (复位图像)生成图像A，^A-R作为图像A和图像R之间 的差分图像(步骤S120,参照图ll)。换言之，通过从阴影图像A 移除对应于偏移噪声的复位图^象R来生成经噪声处理的图像A，。下 面，光4妾收驱动电^各13通过将预定的偏置值(bias )加入经噪声处 理的图^f象A，来生成经噪声处理的图4象A，，=A，+bias (步骤S121，参 照图11)。在生成的经噪声处理的图像A"被暂时存入帧存储器13A 之后，经噪声处理的图像A"作为拾取图像被输出至图像处理部14。 从而，完成加上预定的偏置值bias的偏移噪声处理。此外，下文将 描述加上偏置值bias的原因。
其次，执行偏移噪声处理之后的原来的阴影图像指尖提取处理 (步骤S122至S129，参照图12)。首先，图^象处理部14生成从光
接收驱动电路13获取的经噪声处理的图像A"的反转图像(-A") (步骤S122，参照图12)。此外，图像处理部14生成原来的图像A"
的移动平均图像(MA")(步骤S123，参照图12)。
为生成移动平均图4象(MA"),更具体地，例如，参照图14(A) 和图14(B)，在经噪声处理的图像A"中，在包括了一个做标记的 像素30A及其周边像素的像素区域30 (这里是(2a+l )个像素x (2a+l )个像素的像素区域)中执行像素数据的平均运算处理，并 且，例如，如图15所示，当在包括了下一做标记的像素的像素区 域的平均运算处理中反映运算结果时，顺序地移动做标记的像素， 以在整个拾取图像上执行平均运算处理。此外，最好是基于所要检 测物体的期望大小(目标大小a)来设置平均运算处理中的像素区 域50的大小(这里是(2a+l )个像素x ( 2a+l )个像素)(例如， 将像素区域50的大小设置为等于目标大小a)。尽管将在下文中描 述这些细节，但是这是因为当像素区域50具有这种大小(例如， 不像图10中示出的图像20A (对应于下面将要描述的图像D或图 像E))时，避免除指尖之外，拳头部分(由参考标记60A表示的
21部分)也作为接近物体被才企测到。此外，例如，如图16所述，例 如，可以按原样复制像素区域50的周边部分的l象素凄t据，并可以 用作平均运算处理中必要的实际像素区域50周围的区域51的像素数据。
接下来，图像处理部14从移动平均图像(MA") 通过计算确 定随后使用(步骤S127 )的预定阈值TH (步骤S124 )。更具体地， 基于移动平均图像(MA")中的最亮像素(具有最大像素数据)的 像素数据和原本的图像(A")中的最暗像素(具有最小的像素数据) 的像素ft据来确定阔值TH(例如，通过计算这些〗象素数据的平均 值)。此外，々ii殳"l妄近物体通常不会有同时4妄触显示区域21的四个 角，可以将这四个角上的像素的像素数据的平均值指定为最亮像素 (具有最大像素数据)的像素数据。
接下来，图^象处理部14产生所生成的移动平均图像(MA") 的反转图像(-MA")(步骤S125,参照图12)，并产生原本图像A" 的反转图像(-A")与移动平均图像(MA")的反转图像(-MA") 之间的差分图像，即，移动平均图像(MA")和原本图像(A")之 间的差分图4象D= ( -A" ) - ( -MA" ) = ( MA" ) -A"(步骤S126，参 照图12)。然后，图像处理部14通过从图像D的每个像素数据中 减去步骤S124中算得的阈值TH而产生图像E:D-TH (步骤S125， 参照图12)。
这里，如图12中示出的图4象D和E以及图13中示出的图〗象D 和E中的光接收输出电压波形实例Gd和Ge所示，仅检测到大小 与目标大小相同的指尖部分，而并未4企测到比指尖大的拳头部分。 此外，图13中示出的光接收输出电压波形实例Ga、 G(-a)、 Gma 和G ( -ma )分别对应于原本图像A、原本图像A的反转图像(-A )、 移动平均图^f象MA以及移动平均图^f象MA的反專争图l象(-MA)中的 光4妄收输出电压实例。接下来，图像处理部14执行在生成的图像E上确定接触(接 近)中心的重心计算处理(步骤S128)和接触(接近)中心确定处 理(步骤S129)。因而，获取诸如物体的位置、形状、大小等的物 体信息，然后完成阴影图像指尖提取处理。
因此，在阴影图像指尖提取处理中，首先，从通过使用外部光 拾取物体的阴影图像而获取的阴影图像A中减去在图像拾取单元 被复位的状态下通过拾取图像而获取的复位图像R ，以从阴影图像 中移除偏移噪声，乂人而生成经噪声处理的A，和A"。
此外，基于通过^U亍偏移噪声处理而生成的经噪声处理的图傳_ A"的移动平均图像MA"与原本的经噪声处理的图像A"之间的差分 图像D执行指尖提取处理，所以执行考虑到偏移噪声的指尖提取处 理，并且在上述情况下，仅检测大小与目标大小相同的物体，从而 不发射显示光(例如，在诸如作为显示单元的液晶显示单元是半透 明液晶显示单元并且在户外使用时，在背光15持续关闭的情况下， 将黑色图像显示在I/O显示面板20等的情况下)，检测并获取关于 冲妄近物体的物体信息。
此外，在阴影图像指尖提取处理中，可以获取关于同时放置在 I/O显示面板20的显示区域21上的多个接触或接近物体的物体信 息(诸如，每个物体的位置、形状、大小等)。
下面，参照图17至21，将详细描述差分图像指尖提取处理。 这里，图17示出了差分图像指尖4是取处理的细节的流程图，而图 18示出了差分图像指尖提取处理中的图像(图像R、图像B、将加 以描述的图像B"、图像A"、图像B"以及图像C)实例的照片。
首先，如上所述，在作为背光为开期间的有光期间中的从时刻 t3到时刻t4的期间中，由I/O显示面板20执行拾取接近物体图像的处理，以获取图像B (利用照射光(显示光)的图像)(图17中 的步艰《S130，参照图18)。
其次，在偏移噪声处理中(图17中的步骤S131和步骤S132， 参照图18)，光接收驱动电路13基于已经获取的图像B (利用显示 光的图像)和图像R (复位图像)生成作为图像B与图像R之间的 差分图像的图像B，=B-R (步骤S131，参照图18)。换言之，通过 从利用显示光的图像B中移除对应于偏移噪声的复位图像R来生成 经噪声处理的图像B，。然后，光接收驱动电路13通过将预定的偏 置值(bias)加入经噪声处理的图像B，来生成经噪声处理的图像 B"=B，+bias (步骤S132,参照图18)。在将生成的经噪声处理的图 像B"暂时存储在帧存储器13A之后，经噪声处理的图像B"作为拾 取图像被输出至图像处理部14。因而，完成了加入预定的偏置值的 偏移噪声处理。此外，下面将描述添加偏置值bias的原因。
再次，^丸行偏移噪声处理之后的原本的差分图像指尖提取处理 (步艰《S133至S135，参照图18)。首先，图《象处理部14产生已生 成的经噪声处理的图像B"和已经在阴影图像指尖提取处理的步骤 S121中生成的经噪声处理的图像A"之间的差分图像C-B"-A"(步 驶《S133,参照图18)。
之后，图像处理部14执行确定生成的差分图像C的重心的运 算处理(步骤S134)，以确定接触(接近)中心(步骤S135)。
因此，在差分图像指尖提取处理中，基于通过从使用显示光生 成的图像B中移除偏移噪声而获取的经噪声处理的图像B"与通过 从不使用显示光而使用外部光生成的图像A中移除偏移噪声而获 取的经噪声处理的图像A"之间的差分图像C来执行指尖提取处理。 因此，差分图像C中也移除了偏移噪声。此外，通过基于这种差分 图像C的指尖提取处理，如图18中示出的差分图像C的照片图像实例所示，移除外部光亮度的影响，在没有外部光的亮度的影响下 才全测出接近物体。
更具体;也，例如，如图19 (A)中截面图所示，在入射的外部 光4交强的情况下，背光15打开的状态下光4妾收l命出电压Vonl在除 手指接触点以外的点处具有对应于外部光亮度的电压值Va (如图 19(B)所示)，而在手指4妾触点处，光4妄》1文$俞出电压Vonl被减少 至对应于这时来自背光的光在接触的物体(手指)表面上反射的反 射率的电压值Vb。另一方面，背光15关闭的状态下的光4妄收输出 电压Voffl在除手指4妾触的点以外的点处具有对应于外部光亮度的 电压值Va(如同在背光15打开的状态下)；然而，手指接触的点处 于阻断外部光的状态下，光41:收丰#出电压Voffl具有在该点上处于 很低电平的电压值Vc。
此外，如图20(A)中的截面图所示，在入射的外部光弱(非 常小)的状态下，如图20 (B)所示，背光15开启状态下的光孑妄 收输出电压Von2具有在除手指接触点以外的点处具有处于很低电 平的电压值Vc，因为没有外部光，而在手指接触点处，光接收输 出电压Von2增加至对应于这时来自背光的光祐j妄触点的物体(手 指)表面反射的反射率的电压值Vb。另一方面，背光15关闭状态 下的光接收输出电压Voff2保持在很低电平的电压值Vc上，且在 手指4妄触点和其他点处均没有变化。
因此，可以从图19和图20之间的比较中看到，在物体不接触 面板的显示区域21的点上，光"t妄收输出电压在存在外部光和不存 在外部光的情况之间是大不相同的。然而，在手指4妾触点上，不考 虑外部光存在与否，背光打开时的电压Vb和背光关闭时的电压Vc 基本处于相同状态。因此，当背光15打开时的电压与背光15关闭 时的电压之间的差被4企测到时，存在电压之间的确定的或更大的差 (诸如电压Vb和电压Vc之间的差)的点可以;故确定为手指接触或接近的点，且即使在进入面板的外部光很强的情况下，或存在很少 外部光的情况下，在统一的条件下，可以4艮好地4全测到接触或4妾近。
此夕卜，如图21 (A)和图21 (B)中所示，如下确定检测光接 收输出电压所必要的动态范围。这里，图21 (A)示出了面板的显 示区域21的接触状态，其中，手指f接触面板表面，而具有基本为 100%反射率的圆形物体m被放置在显示区域21上。在此状态下， 在手指f和物体m均被扫描的线上的光4妄收输出电压变为图21( B ) 中示出的状态。此外，在图21 (B)中，电压Von3是背光打开状 态下的光接收输出电压，而电压VofB是背光关闭状态下的光接收
车lr出电压。
如图21 (B)所示，在》文置了具有基本为100%的反射率的物 体m的点上，在背光打开时4企测到的高于电压Vd的电压处于没有 必要观测的电平Vy,而低于该电平的范围Vx是用于检测所必需的 动态范围。因此，应理解，没有必要^L测的电平Vy的信号可能溢 出，使得被认为是相同电平。
此外，在差分图像指尖提取处理中，如同在阴影图像指尖提取 处理的情况下，也可以获取关于同时放置在I/O显示面板20的显示 区域21上的多个接触或接近物体的信息(诸如每个物体的位置、 形状、大小等)。
因此，在根据本实施例的显示及图像拾取装置中，考虑到上述 阴影图像指尖提取处理和上述差分图像指尖提取处理，将通过这些 处理的4企测4妄近物体的结果中的一个乂人图^象处理部14输出至应用 程序扭^于部11作为最终结果。
图22通过比较示出了阴影图像指尖提取处理和差分图像指尖 提取处理中的指尖提取处理的特征。在图中，"O"表示在相应条件下的指尖提取良好，"△"表示在相应条件下指尖提取处理根据 环境的不同而变为良好或不好，而"x"表示在相应条件下的指尖 提取处理基本上不好。从图中可以看到，在明亮环境中，阴影图像 指尖提取处理更适用于指尖提取处理，故使用阴影图像指尖提取处 理的提取结果，但另一方面，在背光15关闭，且不发射显示光， 或者处于黑色显示状态的情况下，不能够由差分图像指尖提取处理 执行提取，所以在这种情况下，考虑使用阴影图像指尖提取处理的 提取结果。
此外，在根据本实施例的显示及图像拾取装置中，从通过使用
外部光或显示光拾取接近物体的图像而获取的阴影图像A和利用
显示光的图像B中减去通过在图像拾取单元被复位的状态下拾取
图像而获取的复位图像R ，以从阴影图像A和利用显示光的图像B
中移除偏移噪声，从而生成经噪声处理的图像A，和B，。之后，基
于经噪声处理的图像A，和B，，考虑到偏移噪声，获取关于接近物 体的物体信息。
此外，在根据本实施例的显示及图像拾取装置中，进一步基于 通过将预定的偏置值(bias)加入上述经噪声处理的图^f象A，和B，而 生成的经噪声处理的图像A"和B"来获取关于接近物体的物体信 息。因此，如下文所述，当经噪声处理的图像存储在帧存储器13A 中时，可以避免像素的某些图〗象拾取数据^皮舍入为0 (遗失)。
更具体地，在从阴影图像A或利用显示光的图像B中减去复 位图像R的情况下，这种情况中的值一般被认为是正值；然而，根 据像素的不同，该值也可能是负的。我们认为这是因为主要在暴露 时间产生的图像拾取单元(光接收传感器31c)中的暗电流变化。 另一方面，帧存储器13A经常仅存储正值，并且在产生负值的情况 下，该值被舍入为0。这时，在期望最终被取出的信号的电平很小， 并且该电平受诸如漂移的影响舍入为0的情况下，可能影响处理结
27果。该结果具有^f艮大影响，尤其是在取出差分图像C的信号的处理
的情况下，且基本上，经噪声处理的图像B， (=B-R)和经噪声处 理的图像B， (=B-R)之间的差分图像C是C=B，-A，=B-A,故差分 图像C应该等于噪声处理前的图像B和A之间的差分图像(=B-A )。 然而，在经，噪声处理的图<象B，和A，上4丸4亍上述舍入处理的情况下， 取决于像素，不考虑信号的存在与否，该值被舍入为0。
这里，参照图23至26，将在下文中详细描述将预定的偏置值 (bias)加入经p喿声处理的图^f象A，和B，的原因。
在像素被标记的情况下，假定复位图像R中的像素的信号输出 电压是Nr,阴影图像A和利用显示光的图像B的暴光期间在像素 中生成的噪声分别为Na和Nb,阴影图^象A和利用显示光的图像B 中像素的信号输出电压分别为Sa和Sb,而通过当背光15打开时从 接近物体反射而获取的信号组分是S,信号输出电压Sa和Sb由下 面的公式(1 )和(2)表示(参照图23 (A)和图25 (A))。另夕卜， 信号组分S是极小的信号。
Sa=Nr+Na+0…(1 )
Sb=Nr+Nb+S…(2)
一般地，与信号输出电压Nr相比，信号输出电压Nr的变化很 大，而信号输出电压Na和Nb的变化4艮小。因此，7>式(1)中的 (Nr+Na)和公式(2)中的(Nr+Nb)裙L设计为恒正的值。这里， 当考虑利用显示光的图像B和阴影图像A之间的差分图像(=B-A ) 时，像素中的信号输出电压值由下面的公式(3)表示，而作为噪 声，(Nb-Na)保留。然而，在获取利用显示光的图像B和阴影图像 A时的暴光时间被设置为基本上彼此相等的情况下，在这些情况下生成的暗电流基本相同，所以作为p桑声组分的(Nb-Na)约为0， 因而可以最终取出^艮小的信号组分S。
Sb-Sa=S+ (Nb-Na) …(3 )
另一方面，在根据本实施例的显示及图像拾取装置中，在噪声 组分Nr从信号输出电压Sa和Sb中减去以获取经噪声处理的图像 A，和B，之后，确定差分图l象C (=B"-A")。这里，经噪声处理的图 像A，和B，的像素中的信号输出电压分别由下面的公式(4)和公式
(5 )表示(参照图23 ( B )和25 ( B ))。噪声组分Na和Nb很小， 但是根据像素，噪声组分Na和Nb显示正值或负值，所以舍入处理 之后的值在公式(4)以及公式(5)中是从0到Na (大约有二分 之一的可能性为0)的值，在信号组分S的振幅等于噪声组分Nb 的振幅的情况下，该值在0到(S+Nb)的范围中。因此，在经噪声 处理的图像A，和B，中，信号输出电压才艮据像素位置变为0，并且如 图24中的图像A，l和图26中的图^f象B'l所示，才艮据4象素位置可能 遗失信号。此外，经噪声处理的图像A，和B，之间的差分图像中像 素的信号输出电压((Sa-Nr) - (Sb-Nr))的值分布在/人0到(S+
(Nb-Na)) ^S的范围内，根据像素提取从O到S范围内的值，因 而发生变化。当这种变化发生时，在阴影图像指尖提取处理或差分 图像指尖提取处理中，物体信息的检测精度下降。
Sa-Nr=Na …(4)
Sb-Nr=Nb+S…(5)
因此，在根据本实施例的显示及图像拾取装置中，为避免上述 问题，如下面的公式(6)和(7)所示，优选使用通过将用于避免 舍入处理的信号损失的充足的偏置值(bias )与经噪声处理的图像A， 和B，相加而生成的经噪声处理的图像A，，和B"。此外，这样的一定的偏置值(bias)可以确定为4吏图23 (B)和25 (B)中每个^f象素 位置的信号恒为正的值，即，当显示及图像拾取装置周围的环境处 于黑暗状态时，可以基于通过/人由图傳4合耳又处理获取的黑暗状态图 像中移除偏移噪声而获得的图像来确定偏置值。
经噪声处理的图l象A，，=A，+bias=A-R+bias…(6)
经噪声处理的图l象B，，-B，+bias二B-R+bias…(7)
此外，经噪声处理的图像A"和B"中的像素的信号输出电压在 下面的公式(8)和(9)中示出，并显示正值(避免信号输出电压 的舍入)(参照图24中的图象A"1和图26中的图4象B"1 )。因此， 差分图像C ( =B"-A")中的像素的信号输出电压如下面的公式(10 ) 所示，且与利用显示光的图像B和7>式(3)中示出的阴影图像A 之间的差分图像(=B-A)相同。因此，在基于差分图像C的差分 图像指尖提取处理中，避免了舍入处理引起的物体信息检测精度的 下降，并且可以从公式(3)和公式(10)之间的比较中看出，不 受加入偏置值(bias)的影响，获取相同的结果。
Sa-Nr+bias=Na+bias>0…(8 )
Sb-Nr+bias=Nb+S+bias>0…(9)
(Nb+S+bias) - ( Na+bias ) =S+ (Nb-Na) …(10)
另一方面，如上所述，在阴影图像指尖提取处理中，基于经噪 声处理的图^象A"、经噪声处理的图像A"的移动平均图^象(MA") 以及预定的阈值TH ，由图像E ( = ( MA" ) -A"-TH )才企测物体信息。 这里，当考虑移动平均图像(MA")中的偏置值(bias)的影响时， 统一添加至整个4合耳又图^f象的偏置j直(bias)还统一添加至移动平均图像(MA")，所以在图像E中，消除了加入偏置值(bias)的影响。 此外，在阴影图像指尖^是取处理中，基于不执行舍入处理的经噪声 处理的图像A"检测物体信息，所以避免了舍入处理引起的物体信 息的检测精度降低。下面，参照图27至30，将描述由上述指尖提取处理检测的使 用物体位置信息等的应用程序冲丸行部11的应用程序的一些4丸行实例。首先，图27(A)中示出的实例是当指尖61^妄触I/0显示面板 20的表面时，指尖61 4妄触点的4九迹作为画线611显示在屏幕上的 实例。此外，图27(B)中示出的实例是使用手的形状的手势识别。 更具体地，接触(或接近)I/O显示面板20的手62的形状被识别， 而经识别的手的形状被显示为图〗象，并通过显示物体的移动621在 图像上执行一些处理。此外，图28中示出的实例是从闭合状态的手63A变化到张开 状态的手63B的变化，在这两种状态下4妄触或4妄近的手由I/O显示 面板20进行图像识别，以基于这些图像识别执行处理。当基于这 些识别执行处理时，例如，可以执行诸如放大的指令。此外，由于 可以执行这种指令，例如，可以将I/O显示面才反20连4妾至个人计算 机，并且在计算机上的切换指令操作等可以以更自然的方式由这些 图像识别输入。此外，例如，如图29所示，当准备了多个I/O显示面斧反20， 且多个I/O显示面板20通过一些传输装置彼此连接时，将通过检测 接触或接近一个I/O显示面板20的物体所获取的图像输出并显示在 另一 I/O显示面々反20上，乂人而梯:4乍I/O显示面^反20的用户可以独二此通信。换言之，如图29中所示，准备两个I/O显示面板20,可 以执行将作为一个面板上识别的图像的手65的形状传输至另一面 才反以便在另一面外反上显示手形642的处理，或者向其他面板传输并 显示由于手64接触一个面板而显示的轨迹641的处理。因此，将1/O显示面板20可以是潜在的新通信工具。作为这样的例子，我们 期望，例如，1/O显示面4反20应用于手才几等的显示面4反。此外，例如，如图30所示，画笔66用于4妄触I/0显示面板20 的表面以便写出字符，而画笔66接触的点作为图像661显示在I/O 显示面板20上，从而使用画笔进行手写输入是可能的。这种情况 下，可以识别和显示画笔纤细的4妄触。在相关纟支术中的手写识别里， 例如，在一些数字转换器中，通过检测电场在显示器中反射专用笔 的倾度；然而，在本实例中，4企测真实的画笔接触的表面，从而信 息丰俞入具有更为真实的感觉。如上所述，在本实施例中，在图傳4合耳又单元;f皮初始化的状态(复 位状态)下通过图像拾取处理获取偏移噪声(复位图像R)，基于 拾取图像(阴影图像A或利用显示光的图像B)并考虑到偏移噪声 来获取关于接近物体的物体信息，所述拾取图像是通过拾取接近物 体的图像来获取的，所以装置中的偏移噪声轻易的减少，同时可以 获取关于接近物体的物体信息。因此，可以容易地提高接触或接近 物体的检测精度。此外，生成通过使用显示光拾取接近物体的图像而获取的图像 B(利用显示光的图像)与通过拾取接近物体的阴影图像而获取的 图像A (阴影图像)之间的差分图像C,并考虑图像A (阴影图像) 和差分图像C来检测关于接近物体的物体信息，所以不考虑当时的 使用条件，例如，周围条件或显示光强度，也可以执行物体的检测。此外，通过利用存在于 一个帧显示期间之前的复位状态期间来 获取复位图像(复位噪声)，所以没有必要改变相关技术的控制时序。因此，即使在使用比Si基板的电子移动性更小的非Si基板的 实施例的情况下，也可以充分确保图像A、 B和R的读出期间以及 指尖提取期间。此外，通过^f吏用通过将预定的偏置值(bias)与经噪声处理的 图像A，和B，相加而获取的经噪声处理的图像A"和B"来执行指尖提 取处理，所以可以避免舍入处理的信号损失，并可以进一步^是高物 体信息的检测精度。此外，基于经噪声处理的图像A"生成移动平均图像A"，通过 使用移动平均图像MA"和原本的图像A"之间的差分图像D以及通 过从差分图像D的每个像素数据中减去阈值TH而生成的图像E来 检测物体信息，而平均运算处理中的像素区域50的大小被设置为 等于所要检测物体的预计大小(目标大小)；因此，例如，仅检测 与目标大小相同的指尖部分，而大于指尖的拳头部分可以避免被检 测到，所以可以l丸4于更为可靠的4企测处理。此外，在一个#:作期间(一个帧显示期间)内，在获取图^f象B" (利用显示光的图像)之前获取图像A"(阴影图像)；因此，例如， 如图7所示，可以在执行差分图像指尖提取处理之前确保要占用一 些时间的移动平均图像(MA")的运算操作的执行时间，并与在获 取图像A之前获取图像B的情况相对比，可以在短时间内执行整个 处理。此外，在作为单位操:作周期期间的一帧显示期间内，仅在无光 期间和背光15打开的有光期间均有的复位状态中的一个复位状态 (更具体地，在本实施例中是背光15关闭的无光期间的复位状态)下执行获取复位图像R (复位噪声)的处理，所以与在两个复位状态下均执行获取处理的情况相比较，可以减小装置的能耗。 另外，在本实施例中，差分图像指尖提取处理是主处理，而阴影图像指尖提取处理是副处理；然而，在一些情况下，差分图像指 尖提取处理可以是副处理，而阴影图 <象指尖提取处理可以是主处理。[第二实施例]下面，将描述本发明的第二实施例。4艮据本实施例的显示及图 像拾取装置基于预定的指标选择差分图像指尖提取处理和阴影图 像指尖提取处理中的 一个，并根据选择的图像来执行指尖提取处 理。另外，其他配置和才乘作与第一实施例中的相同，故下文中不再 详细描述。图31示出了根据本实施例的指尖提取处理的流程图。从图中 可以看到，当如同第一实施例分别获取图像R(复位图像)和图像 A (阴影图像)时(步骤S20和S21)，从图22中示出的比较图表 可以看出，才艮据图像处理部14所处的环境，选4奪性地冲丸行确保指 尖揭JF又处理的处理(步骤S22和S26 )。更具体地，在背光持续关闭的情况下，当显示黑色图像时，以 及非黑暗环境的情况下，有选择地执行阴影图像指尖提取处理(步 骤S26)以输出最终结果(步骤S27)。此外，由阴影图4象A (或经 噪声处理的图像A，或经噪声处理的图像A")中的像素数据的大小 确定环境黑暗与否，在像素数据很小的情况下，就确定环境是很暗 的。另一方面，在背光不是持续关闭的情况下，当不显示黑色图像 时，以及在环境^艮黑暗的情况下，选4奪性地^丸行差分图像指尖提取处理(步骤S25)以输出最终结果(步骤S27)。如上所述，在本实施例中，通过与第一实施例中的那些相同的 功能可以获取相同的效果。更具体地，装置中的偏移噪声净皮轻易减 少，同时可以获取关于接近物体的物体信息，并可以轻易提高接触 或4妾近物体的4企测精度。此外，基于预定的指标选择差分图像指尖提取处理与阴影图像 指尖提取处理中的一个，并基于所选的图像执行指尖提取处理，故 可以应用所述指尖提取处理中的适当处理。因此，与第一实施例相 比，第二实施例可以对应于多种使用条件，并可以更为可靠地执行 才是耳又处理。[第三实施例]下面，将描述本发明的第三实施例，根据本实施例的显示及图 像拾取装置在任何情况下均执行差分图像指尖提取处理和阴影图 像指尖提取处理，并通过使用由图像A (阴影图像)和差分图像C 合成的图像来执行指尖提取处理。另外，其他构成和操作与第一实 施例中的相同，因而不再描述。图32示出了根据本实施例的指尖提取处理的流程图。从图中 可以看到，如同第一和第二实施例的情况，当获取图4象R(复位图 像)和图像A (阴影图像)(步骤S30和步骤S31 )时，除重心计算 处理和接触(接近)中心确定处理以外，分别执行差分图像指尖提 耳又处理和阴影图像指尖提耳又处理(步骤S32和步骤S33 )。接下来，例如，如图33所示，生成由通过差分图像指尖提取 处理生成的差分图像C以及通过阴影图像指尖提取处理生成的图 像E合成的合成图像F=ocxC+E (步骤S34)。另外，a表示预定的 力口4又系凄史。然后，如同第一实施例的情况，执行重心计算处理(步骤S35)、 接触(接近)中心确定处理(步骤S36)以及最终结果输出处理(步 骤S37 )。如上所述，在本实施例中，可以通过与第一和第二实施例中的 那些相同的功能来获取相同的效果。更具体地，装置中的偏移噪声 一皮轻易减小，同时可以获耳又关于4妾近物体的物体信息，并可以轻易 提高接触或接近物体的检测精度。此外，在任何情况下，既执行差分图像指尖提取处理又执行阴 影图像指尖提取处理，生成由通过差分图像指尖提取处理生成的差 分图像C和通过阴影图像指尖提取处理生成的图像E合成的合成图 像F-axC+E，并基于合成图^f象F执行指尖提取处理；因此，例如， 如图33所示，诸如指尖的图^f象可以4皮更为清晰的才企出。因此，与 第一实施例相比，可以更可靠地j丸^f于提取处理。虽然参照第 一 至第三实施例描述了本发明，但是本发明并不限 于这些实施例，而可以以不同的方式l奮改。例如，在上述实施例中，描述了帧存储器13A仅存储正值的情 况；然而，在帧存储器能够存储负值，并且不执行舍入处理的情况 下，就没有必要将偏置值(bias)加入经噪声处理的图^f象A，和B，。 在这种构成中，偏移噪声处理可以更为简单，且可以更为容易地执 行才企测物体信息的处理。此外，在上述实施例中，描述了当生成图像E (=D-TH)时使 用的阈值TH是固定值的情况；然而，例如，在阈值TH由移动平 均图4象(MA，，)的函凄t表示，即，TH=f(MA，，)，与移动平均图像 (MA)函数的情况相比较，偏置值(bias)被加入，故可以移除偏 置4直的影响(可以4吏用TH=f ( MA"-bias ))。在这种构成中，如同 上述实施例的情况，可以避免由于加入偏置值(bias)的影响。此外，在上述实施例中，描述了在每个单位操作周期期间(一 个帧显示期间)执行获取复位图像R(偏移噪声)的处理；然而， 可以^又在多个单位才喿作周期期间中的一个复位状态时扭^亍获取偏 移噪声的处理，达到偏移噪声不随时间变化的程度。在这种结构中， 与上述实施例相比4交，可以进 一 步减少装置的能*毛。此外，在根据本发明的移动平均图像的生成处理中，当执行平 均图l象处理时，可以减少目标^象素，并可以对减少的目标l象素扭^f亍 运算才乘作以减少处理。例如，如图34 (A)和图34 (B)所示，当 沿 一个像素方向顺序地移动被标记的像素时，仅对所述一个像素方 向上的像素执行平均运算处理，之后，当沿另一个像素方向顺序地 移动净皮标记的l象素时，可以<又对所述另一个<象素方向上的<象素*^亍 平均运算处理。此外，可以通过4吏用如图35 (A)和图35 (B)中 所示的运算电路70至73来执行预定方向的点力。(dot addition )处 理。此夕卜，在上述实施例中，从原本图像A生成移动平均图像MA， 并基于所要检测物体的预计大小(目标大小a)设置移动平均运算 处理中l象素区i或50的大小，乂人而在移动平均图^f象MA中，具有比 像素区域50更大尺寸的图像，即，比像素区域50的空间频率更高 的图像(这里是指尖图像)被最终移除，比像素区域50的空间频 率更低的图像(这里是阴影图像)是通过确定移动平均图像MA和 原本图像A之间的差分而移除的，并且仅提取了具有高空间频率的图像(这里是指尖图像)。换言之，在上述实施例中，作为这种高 通滤波器的例子以及允许最简单且高速的处理的方法，描述了确定移动平均图像MA和原本图像A之间的差分的方法。因此，确定差 分的方法不限于上述实施例中描述的方法，而且可以通过4吏用另一 高通滤波器同时执行低通滤波处理和差分处理。此外，在上述实施例中，描述了 1/O显示面板20中，显示单元 是液晶显示单元，并且单独i殳置光4妄收单元的情况；然而，如图36 和图37所示的显示及图像拾取装置，例如，如有机EL(电致发光) 单元、能够按时间划分执行光发射操作和光接收操作的光发射/接收 单元(显示图傳4合取单元)可以组成I/O显示面^反(I/O显示面4反 80)。在这种构成中，可以获得与上述实施例相同的效果。另外， 这种情况下的显示光不发射的期间是显示图像拾取单元的光发射 才喿作不被执行的期间。此外，在上述实施例中，描述了包括显示图像拾取面板(I/O 显示面板20)的显示及图像拾取装置，所述显示图像拾取面板包括 多个显示单元和多个图傳4合耳又单元；然而，本发明可4吏用包括图4象 拾取面板的图像拾取装置，所述图像拾取面板包括多个图像拾取单 元，而不包括显示单元。因此，更典型地，用于差分图像指尖^是取 处理的图像B并不局限于利用显示光的图像，而图像B可以是通过 使用来自图像拾取面板的照射光而生成的利用照射光的图像。
权利要求
1.一种图像拾取装置，其特征在于，包括图像拾取面板，包括多个图像拾取单元；图像拾取控制装置，用于控制所述图像拾取单元，以便通过在所述图像拾取单元被初始化的状态下的图像拾取处理获取偏移噪声；以及图像处理装置，用于基于通过拾取接近物体的图像而获取的拾取图像并考虑到所述偏移噪声，来获取作为关于所述接近物体的位置、形状和大小中的至少一个的信息的物体信息。
2. 根据权利要求1所述的图像拾取装置，其特征在于，所述图^象处理装置基于通过拾取所述4妄近物体的阴影的 图像而获取的阴影图像并考虑到所述偏移噪声，来获取所述物 体信息。
3. 根据权利要求2所述的图像拾取装置，其特征在于，所述图像处理装置基于通过从所述阴影图像移除偏移噪 声而获取的经噪声处理的图像，来获取所述物体信息。
4. 根据权利要求3所述的图像拾取装置，其特征在于，所述图l象处理装置基于通过将预定的偏置值加入所述经 噪声处理的图像而获取的图像，来获取所述物体信息。
5. 根据权利要求4所述的图像拾取装置，其特征在于，基于通过从黑暗状态图像移除偏移噪声而获取的图像来 确定所述偏置值，所述黑暗状态图像是通过在所述图像拾取装 置的周围环境为黑暗的状态下的图傳^合耳又处理而获:f又的。
6. 根据权利要求2所述的图像拾取装置，其特征在于，所述图像处理装置基于所述阴影图像和利用照射光的图 像并考虑到所述偏移噪声来获取所述物体信息，所述利用照射 光的图像是通过使用来自所述图像拾取面板的照射光拾取所 述接近物体的图像来获取的。
7. 根据权利要求6所述的图像拾取装置，其特征在于，匕ti 、丄-m /各tL tot d士史 )+ :c_ 、3 i l dti 、丄-rC,l ran pjg业aA 15] /条rb/7| x^頃,^!:》王衣且芬，ujii^^v〃1 ia^，'j川照射元的闺,甲移除所述偏移噪声而获取的经噪声处理的图 <象与通过从所述 阴影图像中移除所述偏移噪声而获取的经噪声处理的图像之 间的差分图像来获取所述物体信息。
8. 根据权利要求7所述的图像拾取装置，其特征在于，所述图像处理装置基于通过将预定的偏置值加入通过从 所述利用照射光的图 <象中移除所述偏移噪声而获得的经噪声 处理的图像而获取的图像，与通过将所述偏置值加入通过从所 述阴影图像中移除所述偏移噪声而获取的经噪声处理的图像 而获取的图像之间的差分图像来获取所述物体信息。
9. 根据权利要求8所述的图像拾取装置，其特征在于，基于在所述图像拾取装置周围的环境是黑暗的状态下进 行图像拾取处理而获取的黑暗状态图像与所述初始化图像之 间的差分图像来确定所述偏置值。
10. 根据权利要求6所述的图像拾取装置，其特征在于，所述照射光是来自所述图像拾取面板的显示光。
11. 根据权利要求6所述的图像拾取装置，其特征在于，单位才喿作周期被配置为包括获取所述阴影图^象的处理和 获耳又所述利用照射光的图^f象的处理，并且，所述图像才合取单元 在获取所述阴影图像和所述利用照射光的图像的处理之前被 #刀始4匕，以及所述图像拾取控制装置执行控制，以使获取所述偏移噪 声的处理仅在每单位操作周期中获取所述阴影图像和获取所 述照射光的处理中的任意一个之前的初始化状态下4丸行。
12. 根据权利要求6所述的图像拾取装置，其特征在于，单位操作周期被配置为包括获取所述阴影图像的处理和 获取所述利用照射光的图^f象的处理，并且，所述图傳4合取单元 在获取所述阴影图像和所述利用照射光的图 <象的处理之前被 #刀始4匕，以及所述图像拾取控制装置执行控制，以使获取所述偏移噪 声的处理〃f又在多个单位才喿作周期内的一次初始化状态下^丸行。
13. 根据权利要求1所述的图像拾取装置，其特征在于，所述图像拾取面板中的图像拾取单元是在非硅(Si)基板 上形成的。
14. 根据权利要求13所述的图像拾取装置，其特征在于，所述非硅基板是玻璃基板或塑料基板。
15. —种显示及图像拾取装置，其特征在于，包括显示图像拾取面板，包括多个显示单元和多个图像拾取 单元；图像拾取控制装置，用于控制所述图像拾取单元，以便 通过在所述图傳J合取单元^皮初始化的状态下的图傳4合耳又处理来获耳又偏移p桑声；图像处理装置，用于基于通过拾取接近物体的图像来获 取的拾取图像并考虑到所述偏移噪声，来获取作为关于所述接 近物体的位置、形状和大小中的至少 一个的信息的物体信息； 以及显示控制装置，用于控制所述显示单元，以使所获取的 物体信息显示在所述显示图^f象拾取面板上。
16. 根据权利要求15所述的显示及图像拾取装置，其特征在于，所述显示图傳^合耳又面^反中的所述显示单元和所述图像才合 取单元是在非硅(Si)基板上形成的。
17. —种图像冲合取处理装置，作为处理装置，应用于包括多个图傳^ 拾取单元的图像拾取面板，所述图像拾取处理装置的特征在 于，包括图像拾取控制装置，用于控制所述图像拾取单元，以便 通过在所述图像拾取单元被初始化的状态下的图像拾取处理 来获耳又偏移，喿声；以及图像处理装置，用于基于通过拾取接近物体的图像而获 取的拾取图像并考虑到所述偏移噪声，来获取作为关于所述接 近物体的位置、形状和大小中的至少 一 个的信息的物体信息。
18. 根据权利要求17所述的图像拾取处理装置，其特征在于，所述图像拾取面板中的图像拾取单元是在非硅(Si)基板 上形成的。
全文摘要
本发明提供了一种图像拾取装置，该图像拾取装置可以轻易地提高接触或接近的物体的检测精度。在初始化图像拾取单元的状态(复位状态)下由图像拾取处理获取偏移噪声(复位图像R)。此外，基于图像拾取接近物体而获取的拾取图像(诸如阴影图像A和利用显示光的图像B)，通过考虑偏移噪声执行指尖提取处理，以便获取关于接近物体的物体信息。因此，可以轻易地抑制装置中的偏移噪声并获取关于接近物体的信息。
文档编号H04N5/357GK101542422SQ20088000017
公开日2009年9月23日 申请日期2008年2月19日 优先权日2007年2月23日
发明者冈田直哉, 前川仁, 原田勉, 山中刚, 山口和范, 建内满, 桥本信也, 津崎亮一 申请人:索尼株式会社