显示装置的制作方法

专利名称：显示装置的制作方法
技术领域：
本发明涉及显示装置，更具体地，涉及具有适于显示图像和读出(sense) 从外部入射到其上的光的输入/输出单元的显示装置。
背景技术：
一种用于输出与面板上的多个点相关联的信息的技术是在液晶显示装置 中放置光传感器，并通过该光传感器检测从外部输入的光(参见例如日本未 审专利申请公开No. 2004-127272)。以下，这样的装置将被称为输入/输出面板。在输入/输出面板中，可以以各种方式检测入射到其上的光。在一种技术 中，用户操作具有放置在其上的外部光源(如LED (发光二极管))的笔等， 并且从该光源发射的光被检测。在另一技术中，用户使用他的/她的手指或没 有光源的笔执行输入操作，并且从液晶显示装置发射(更具体地，从背光灯 发出并经由液晶显示装置的显示面板传输的光)、并从位于液晶显示装置的显 示屏附近的笔或用户的手指反射到液晶显示装置的内部的光，被光传感器检 测。在静电型或压力敏感型的触摸面板的情况下，当触摸面板上的点被触摸 时，与该被触摸点相关联的信息(例如，指示该点的坐标的信息)被输出。 然而，点信息仅限于每次单个点。当用户同时触摸触摸面板上的两个点时，例如依赖于哪个点用更高压力 按压或依赖于哪个点更早开始被按压，该触摸面板选择两点之一，并且该触 摸面板只输出与选择的点相关联的点信息。鉴于以上，期望提供一种适于输出与多个点相关联的点信息的输入/输出 面板。这种类型的输入/输出面板将发现各种应用。发明内容输入/输出面板的显示屏用于在其上显示图像，还读出从外部入射到其上的光。因此，如果显示屏的表面被损坏或被灰尘、指印等弄脏，那么不仅可见度而且光敏感度被劣化。鉴于以上，期望提供一种对损坏和灰尘具有高抵抗力的输入/输出面板。 根据本发明的实施例，提供了一种显示装置，包括适于显示图像和读出从外部入射到其上的光的输入/输出单元，所述输入/输出单元适于接受到该输入/输出单元的显示屏上的多个点的同时输入，所述显示屏用透明的或半透明的保护片(sheet)覆盖。所述保护片的表面可以部分地以特定形状凹进或凸起。所述保护片的表面可以部分地以特定形状凹进或凸起，该特定形状对应于显示在所述显示屏上的用户界面。 所述保护片可以是彩色的。如上所述，在所述显示装置中，所述输入/输出单元适于显示图像和读出 从外部入射到其上的光，所述输入/输出单元能够接受到该输入/输出单元的显 示屏上的多个点的同时输入，并且所述显示屏用透明的或半透明的保护片覆。在所述显示装置的该配置中，防止所述适于显示图像和读出从外部入射 到其上的光的显示屏被损坏和弄脏，因此防止所述显示装置的可见度和光敏 感度的劣化。


图1是图示根据本发明实施例的显示系统的方块图；图2是图示输入/输出显示器的结构的示例的示意图；图3是图示输入/输出显示器的主要部分的多层结构的示例的示意图；图4是图示放置在各个位置以控制输入/输出显示器的操作的驱动器的图；图5是图示输入/输出显示器的像素的电路配置的示例的图； 图6是图示由显示系统执行的显示/读出操作的流程图； 图7是图示配置来执行显示/读出操作的软件的图； 图8是图示在时间t存在于第t帧中的目标的图；图9是图示在还没有执行融合(merge)的状态中、存在于第(t+l)帧 中的各输入斑点(spot)的图；图IO是其中以叠加方式图示第t帧和第(t+l)帧的图；图11是图示读出的光图像的示例的图；图12是图示融合处理的细节的流程图；图13是图示生成器输出目标信息和事件信息的方式的示例图；图14是图示生成器输出目标信息和事件信息的另一方式的另一-示例图；图15是图示输入/输出显示器的外部结构的示例的图；图16是图示输入/输出显示器的外部结构的另 一 示例的图；图17是图示输入/输出显示器的外部结构的另 一示例的图；图18是图示根据本发明另 一 实施例的显示系统的方块图；图19是图示根据本发明另 一 实施例的显示系统的方块图；图2 0是图示以根据本发明实施例的模块的形式配置的输入/输出面4反的平面图;图21是具有根据本发明实施例的输入/输出面板的电视机的透视图； 图22是具有根据本发明实施例的输入/输出面板的数字照相机的透视图； 图23是具有根据本发明实施例的输入/输出面板的个人电脑的透视图； 图24是具有根据本发明实施例的输入/输出面板的便携式终端装置的透 视图；以及图25是具有根据本发明实施例的输入/输出面板的摄像机的透视图。
具体实施方式
在描述本发明的实施例之前，以下讨论了本发明的各特征和在本发明的 各实施例中公开的特定元件的对应。该描述意图在于确保支持本发明的各实 施例在本说明书中被描述。因此，即使以下实施例中的元件没有描述为与本 发明的某个特征相关，那也不一定意味着该元件与权利要求的特征不相关。 相反，即使元件在此描述为与本发明的某个特征相关，那也不一定意味着该 元件不与本发明的其他特征相关。根据本发明的实施例，提供了一种显示装置，包括适于显示图像和读出 从外部入射到其上的光的输入/输出单元(例如，图1中所示的输入输出显示 器22)。所述输入/输出单元适于接受到该输入/输出单元的显示屏(例如，图 2中所示的显示屏51A)上的多个点的同时输入，并且所述显示屏用透明的 或半透明的保护片覆盖(例如，图2中所示的保护片52、图14中所示的保护片211、图16中所示的保护片231、或图16中所示的保护片261 )。 结合附图，参照各优选实施例进一步详细地描述了本发明。 图l是图示根据本发明实施例的显示系统的方块图。 在图1中，显示系统1是例如便携式电话设备或电视(TV)接收器。 显示系统1包括天线10、信号处理单元11、控制器12、存储单元13、操作单元14、通信单元15、以及输入/输出面板16。信号处理单元11通过天线10解调和/或解码电^L无线电波(如地面电一见无线电波或卫星电视无线电波)。作为解调/解码的结果获得的图像数据和音频数据被提供到控制器12。控制器12根据操作信号执行各种处理，该操作信号从依赖于由用户执行的操作的操作单元14提供。在处理中生成的中间数据存储在存储单元13中。控制器12将从信号处理单元11接收的图像数据提供到输入/输出面板16。此外，根据需要，控制器12根据从输入/输出面板16提供的目标/事件信息产生图像数据，并且将得到的图像数据提供到输入/输出显示器22，由此改变图像在输入/输出显示器22上显示的模式。存储单元13由例如RAM (随机存取存储器)实现。存储单元13由控制器12使用来暂时存储数据。操作单元14由例如10键区、键盘等实现。当操作单元14由用户操作时，操作单元14生成对应于由用户执行的操作的操作信号，并将生成的操作信号提供到控制器12。通信单元15适于与使用无线电波的无线电台(未示出)通信。 输入/输出面板16根据从控制器12提供的图像数据在输入/输出显示器22上显示图像。输入/输出面板16还通过对这样的信息执行识别处理和融合处理来产生目标/事件信息，该信息与从输入/输出显示器22输出的读出的光信号中检测的一个或多个点相关联，并且输入/输出面板16将得到的目标/事件信息提供到控制器12。输入/输出面板16包括显示信号处理单元21、输入/输出显示器22、读出的光信号处理单元23、图像处理单元24、以及生成器25。显示信号处理单元21处理从控制器12提供的图像数据，由此创建图像数据以提供到输入/输出显示器22。得到的图像数据被提供到输入/输出显示器22。输入/输出显示器22被配置来显示图像和检测从外部输入的光。更具体地，输入/输出显示器22根据从显示信号处理单元21提供的图像数据，在其 显示屏上显示图像。输入/输出显示器22包括多个在显示屏的整个表面分布 的光传感器22A,由此输入/输出显示器22检测从外部入射的光，生成对应 于入射光的强度的读出的光信号，并且将得到的读出的光信号提供到读出的 光信号处理单元23。读出的光信号处理单元23处理从输入/输出显示器22提供的读出的光信 号，以便逐帧创建图像，该图像的亮度在用户的手指接触或靠近输入/输出显 示器22的显示屏的区域、和没有与显示屏接触或靠近的区域之间不同。得到 的图像被提供到图像处理单元24。图像处理单元24对从读出的光信号处理单元23图像的每帧执行图像处 理，包括二进制化、噪声移除、以及标记，由此检测其中用户的手指或笔与 输入/输出显示器22的显示屏接触或靠近的输入斑点。图像处理单元24获得 与该输入斑点相关联的点信息(更具体地，指示显示屏上输入斑点的代表点 的坐标的信息)，并将该点信息提供到生成器25。生成器25通过对从图像处理单元24提供的输入斑点的点信息执行融合 处理(稍后描述)，生成与目标相关联的信息(以下简称为目标信息)。根据 目标信息，生成器25通过执行识别处理(稍后描述)，生成指示目标的状态 改变的事件信息。注意到，在融合处理中生成与一些事件相关联的信息。生成器25包括目标生成器31、事件生成器32以及存储单元33，并且被 配置来为每帧生成目标信息和事件信息，并将生成的目标信息和事件信息提 供到控制器12。通过使得用户的手指等接触或靠近显示屏，能够执行输入信息到输入/输 出显示器22。目标被定义为到输入/输出显示器22的一系列输入。更具体地， 例如，在使用户的手指接触或靠近输入/输出显示器22的显示屏后，如果在 维持手指接触或靠近显示屏的同时将手指移动特定的距离，并且如果将手指 从显示屏移开，则通过输入/输出显示器22的显示屏上的一系列输入形成目 标。事件指示目标的状态改变。例如，当目标的位置改变、新的目标出现(或 生成)、或目标消失(或被删除)时，生成事件。根据各输入斑点的时间和/或空间位置方面的关系，生成器25的目标生成器31在多个帧上融合从图像处理单元24提供的每帧的输入斑点的点信息， 并生成指示已经从外部给出到其的输入的一系列输入斑点的目标信息。得到 的生成的目标信息提供到存储单元33。例如，当在时间t+l的第(t+l)帧的点信息作为与输入斑点相关联的点 信息从图像处理单元24给到目标生成器31时，目标生成器31将与第(t+l) 帧中的输入斑点相关联的点信息和在第(t+l)帧的时间之前的时间t的第t 帧相关联的目标信息进行比较。当采用第t帧中的某个目标作为感兴趣的目标时，目标生成器31从第 (t+l)帧中检测位于空间上最靠近感兴趣的目标的输入斑点，将检测的输入 斑点当作由该系列输入给出的感兴趣的目标的部分，并将检测的输入斑点融 入感兴趣的目标。在第(t+l)帧中检测到没有输入斑点位于物理地靠近感兴趣的目标的情 况下，目标生成器31确定该系列输入完成，并且目标生成器31删除感兴趣 的目标。在第(t+l)帧中检测到剩余没有被融入任何目标的输入斑点的情况下， 目标生成器31确定新的系列输入已经开始，并且目标生成器31创建新的目 标。目标生成器31将与得到的目标相关联的信息和与新创建的目标相关联的 信息作为第(t+l)帧的目标信息，提供到存储单元33。根据需要，事件生成器32根据目标信息产生指示每个目标的状态改变的 事件信息，并且事件生成器32将事件信息提供到存储单元33。更具体地， 例如，事件生成器32分析第t帧的目标信息、第(t+l)帧的目标信息、以及 存储在存储单元33中的第t帧之前的一个或多个帧的目标信息(如果需要), 以便检测事件(即目标的状态改变)。事件生成器32产生指示检测的事件的 内容的事件信息，并将产生的事件信息作为第(t+l)帧的事件信息提供给存 储单元33。事件生成器32从存储单元33读取第(t+l)帧的目标信息和事件信息， 并将它们提供给控制器12。如果存储单元33从目标生成器31接收目标信息以及从事件生成器32接 收事件信息，则存储单元33存储它们。图2示意性图示输入/输出显示器22的外部结构的示例。该输入/输出显 示器22包括主体51和显示屏51A，其适于显示图像和读出从外部入射到其上的光。显示器51A覆盖有保护片52,用于防止显示屏51A被损坏或弄脏。保护片52可以由透明材料形成为薄板的形状。期望在此使用的透明材料 重量轻、抗损坏和灰尘、高耐用性、以及高加工性。例如，聚丙烯树脂可以 用作用于此目的的材料。保护片52可以使用螺丝等连接到显示屏51A,使得 显示屏51A用保护片52覆盖，或者可以使用粘合剂(如玻璃纸膜)粘合到 显示屏51A，使得显示屏51A用保护片52覆盖。更具体地，例如保护片52可以形成为多层结构，该多层结构与显示屏 51A接触的一个表面(背面)由透明的、粘性的和轻的材料(如硅树脂)制 成，而其相对表面(外表面)由如PET (聚对苯二甲酸乙二醇酯)的材料制 成，该PET透明、重量轻、抗损坏和灰尘、以及耐用性高。保护片52粘合 到显示屏51A，使得显示屏51A用保护片52覆盖。注意到，保护片52由透明材料制成，使得输入/输出显示器22具有高能 见度和对光的高敏感度。即使在经常使得用户的手指或笔与输入/输出显示器 22的显示屏51A接触时，保护片52保护显示屏51A的表面不被损坏或弄脏， 由此保护显示屏51A的可见度和光敏感度不被劣化。严格的说，使用户的手指或笔与显示屏51A接触不是直接地而是经由保 护片52。然而，在以下的解释中，为了易于理解，将使用简单的表述"与显 示屏51A接触"。图3示意性图示输入/输出显示器22的主体51的多层结构的示例。 形成输入/输出显示器22的主体51 4吏得由玻璃等制成的两个透明基底， 即TFT (薄膜晶体管)基底61和对向电极基底62相互平行放置，而通过以 密封方式在两个透明基底之间的间隙中放置液晶(如扭曲向列(TN)液晶) 形成液晶显示层63。在TFT基底61的面对液晶层63的表面上，形成了电极层64,其包括用 作开关元件的薄膜晶体管(TFT)、像素电极、以及适于在薄膜晶体管和像素 电极之间提供隔离的隔离层。在对向电极基底62的面对液晶层63的表面上， 形成了对向电极65和滤色镜66。通过这些部分，即TFT基底61、对向电极 基底62、液晶显示层63、电极层64、对向电极65和滤色镜66,形成了透射 液晶显示面板。TFT基底61具有放置在其与面对液晶层63的表面相反的表 面上的偏振片67。类似地，对向电极基底62具有^L置在其与面对液晶层63 的表面相反的表面上的偏振片68。放置保护片52使得偏振片68与对向电极基底62相反的表面被保护片 52覆盖。背光单元69放置在液晶显示面板的后侧，使得该液晶显示面板从其后侧 通过从背光单元发射的光照明，由此在液晶显示面板上显示彩色图像。该背 光单元69可以以多个光源(如荧光管或发光二极管)的阵列的形式配置。期 望背光单元69能够被高速打开/关闭。在电极层64中，形成了多个用作光读出元件的光传感器22A。每个光传 感器22A放置临近液晶显示器的对应的发光元件之一 ，使得发光(显示图像) 和读出光(读取输入)能够同时执行。图4图示用于控制输入/输出显示器22的操作的各驱动器放置在各个位 置的方式的示例。在图4所示的示例中，在输入/输出显示器22的中心形成透明显示区域 (传感器区域)81,并且水平显示驱动器82、垂直显示驱动器83、垂直传感 器驱动器84和水平传感器驱动器85放置在向外临近显示区域81的各四边的 外围区域中。水平显示驱动器82和垂直显示驱动器83适于根据经由图像信号线86提 供的、提供用作显示图像数据的显示信号和控制时钟信号，驱动以阵列形式 放置在显示区域81中的各像素。垂直传感器驱动器84和水平传感器驱动器85与从外部提供的读取时钟 信号(未示出)同步，从光传感器22A读取读出的光信号，并且经由读出的 光信号线87将读出的光信号提供到图1中所示的读出的光信号处理单元23。图5图示以阵列形式放置在输入/输出显示器22的显示区域81中的像素 之一的电路配置的示例。如图5中所示，每个像素101包括用作光传感器22A 的薄膜晶体管(TFT)、开关元件lll、像素电极112、重置开关113、电容器 114、緩冲放大器115、以及开关116。开关元件111和像素电极112形成显 示部分，通过该显示部分实现显示功能，而光传感器22A、重置开关113、电 容器114、緩沖放大器115以及开关116形成光读出部分，通过该光读出部分 实现光读出功能。开关元件111放置在在水平方向上延伸的栅极线121和在垂直方向上延 伸的显示信号线122的交叉点，并且开关元件111的栅极连接到栅极线121, 而其漏极连接到显示信号线122。开关元件111的源极连接到像素电极112的一端。像素电极112的另一端连接到互连线123。开关元件111根据经由栅极线121提供的信号打开或关闭，而像素电极 112的显示状态由经由显示信号线122提供的信号确定。光传感器22A放置临近像素电极112,并且光传感器22A的一端连接到 电源线124，经由其提供电源电压VDD,而光传感器22A的另一端连接到重 置开关113的一端、电容器114的一端、以及緩冲放大器115的输入端子。 重置开关114的另一端(不同于连接到光传感器22A的一端的所述端)和电 容器114的另一端(不同于连接到光传感器22A的一端的所述端)都连接到 接地端VSS。緩冲放大器115的输出端子经由读取开关116连接到传感器信 号线125。重置开关113的打开/关闭由经由重置线126提供的信号控制。读取开关 116的打开/关闭由经由读取线127提供的信号控制。 光传感器22A操作如下。首先，重置开关113打开，从而重置光传感器22A的电荷(charge )。此 后，重置开关113关闭。结果，对应于入射在光传感器22A上的光量的电荷 存储在电容器114中。在该状态中，如果读取开关116被打开，则存储在电 容器114中的电荷通过传感器信号线125经由緩沖放大器115提供，并且最 后输出到外部。接着，参照图6中所示的流程图，以下解释通过显示系统1执行的显示图像和读出光的处理。例如，当用户打开显示系统1的电源时，显示系统l的该处理开始。 在以下的解释中，假设已经对直到第t帧的各帧执行了步骤Sl到S8,并且与至少在第t帧之前的各帧相关联的目标信息和事件信息已经存储在存储单元33中。在步骤Sl中，输入/输出显示器22的光传感器22A检测从外部入射到其 上的光，如从位于与显示屏51A接触或靠近的手指等反射、并入射在光传感 器22A上的光，并且光传感器22A将对应于入射光量的读出的光信号提供到 读出的光信号处理单元23。在步骤S2中，读出的光信号处理单元23处理从输入/输出显示器22提 供的读出的光信号，以便创建第(t+l)帧图像，其亮度在用户的手指接触或 靠近输入/输出显示器22的显示屏的区域和没有什么与显示屏接触或靠近的区域之间不同。得到的图像作为第(t+l)帧图像提供到图像处理单元24。在步骤S3中，图像处理单元24对从读出的光信号处理单元23提供的第 (t+l)帧图像执行图像处理，包括二进制化、噪声移除、以及标记，从而在 第(t+l)帧图像中检测其中用户的手指或笔与输入/输出显示器22的显示屏 51A接触或靠近的输入斑点。图像处理单元24将与该检测的输入斑点相关联 的点信息提供到生成器25。在步骤S4中，生成器25的目标生成器31对与从图像处理单元24提供 的第(t+l)帧的输入斑点相关联的点信息执行融合处理，并基于融合处理的 结果产生与第(t+l)帧相关联的目标信息。得到的目标信息存储在存储单元 33中。此外，生成器25的事件生成器32基于目标信息执行融合处理，以产 生指示已经在第(t+l )帧中发生的事件(如目标的出现或消失)的事件信息， 如果这样的事件已经发生。得到的目标信息存储在存储单元33中。融合处理 稍后将参照图8到12进一步详细描述。在步骤S5中，生成器25的事件生成器32基于目标信息进一步执行识别 处理，并且生成指示在第(t+l)帧中目标的状态改变的事件信息。得到的事 件信息存储在存储单元33中。例如，如果用户在显示屏51A上移动他的/她的手指同时保持手指与显示 屏51A接触或靠近，也就是说，如果目标移动，则事件生成器32生成事件 "移动开始"，并将与事件"移动开始"相关联的信息存储在存储单元33中。例如，如果用户停止在显示屏51A上移动他的/她的手指，即，如果目标 停止，则事件生成器32生成事件"移动停止，，，并将与事件"移动停止"相 关联的信息存储在存储单元33中。在用户^f吏得他的/她的手指与显示屏51A接触或靠近、沿着显示屏51A 的表面移动他的/她的手指特定距离，同时保持手指与显示屏51A接触或靠 近、并且最终移动他的/她的手指离开显示屏51A的情况下，如果手指移动开 始点和结束点之间的距离等于或大于预定阈值，即，如果目标在移动的距离 等于或大于预定阈值后消失，则事件生成器32生成事件"投射(Project)", 并将与事件"投射"相关联的信息存储在存储单元33中。在用户使得他的/她的手指与显示屏51A接触或靠近、移动他的/她的两 根手指以便增加或减少两根手指间的距离同时保持手指与显示屏51A接触或 靠近、并且最终移动他的/她的手指离开显示屏51A的情况下，那么进行关于各手指间最后增加的距离与最初距离的比率是否等于或大于预定阈值、或两 根手指间最后减少的距离与最初距离的比率是否等于或小于预定阔值的确定。如果确定结果是肯定的，则事件生成器32生成事件"加大(Enlarge)" 或"减少(Reduce)",并将与生成的事件相关联的信息存储在存储单元33中。在用户使得他的/她的手指与显示屏51A接触或靠近、在显示屏51A的 表面上沿着围绕特定点的同心弧移动他的/她的手指特定距离，同时保持手指 与显示屏51A接触或靠近、并且最终移动他的/她的手指离开显示屏51A的 情况下，那么进行关于由在显示屏51A上初始帧中的两根手指的初始位置定 义的初始线、和由在显示屏51A上最终帧(第(t+l)帧)中的两根手指的最 终位置定义的最终线之间的旋转角度的绝对值，是否等于或小于预定阈值的 确定。如果确定结果是肯定的，即，如果由两个目标定义的线以任一方向旋 转的角度等于或大于预定阈值，则事件生成器32生成事件"旋转(Rotate )"， 并将与生成的事件相关联的信息存储在存储单元33中。在用户使得他的/她的手指与显示屏51A接触或靠近、在显示屏51A的 表面上沿着围绕特定点的同心弧移动他的/她的手指特定距离，同时保持手指 与显示屏51A接触或靠近、并且最终移动他的/她的手指离开显示屏51A的 情况下，然后对三根手指中的两根的所有可能的組合的每个，执行计算以确 定在显示屏51A上初始帧中的三根手指中的两根的初始位置定义的初始线、 和由在显示屏51A上最终帧(第(t+l)帧)中的两根手指的最终位置定义的 最终线之间的旋转角度。然后计算通过三根手指中的两根的各自组合进行的 平均旋转角度，并进行关于平均旋转角度的绝对值是否等于或大于预定阈值 的确定。如果确定结果是肯定的，即，如果在从三个目标出现到消失的时间 段期间、其每个由两个总共三个目标中的两个定义的三条线的平均旋转角度 等于或大于预定阈值，则事件生成器32生成事件"三点旋转 (ThreePointRotate )"，并将与生成的事件相关联的信息存储在存储单元33 中。在步骤S6中，生成器25的事件生成器32从存储单元33读取与第(t+l ) 帧相关联的目标信息和事件信息，并将它们提供到控制器12。在步骤S7中，控制器12根据从输入/输出面板16的发生器25提供的目 标/事件信息产生图像数据，并经由显示信号处理单元21将得到的图像数据 提供给输入/输出显示器22,从而根据需要改变在输入/输出显示器22上显示图像的模式。在步骤S8中，根据控制器12发出的命令，输入/输出显示器22改变图 像显示的模式。例如，图像以顺时针方向旋转90。，并显示得到的图像。 处理流然后返回到步骤Sl以对下一帧(即，第(t+2)帧)执行上述处理。图7图示配置来执行图6中所示的显示/读出处理的^:件的示例。 该显示/读出软件包括读出光处理软件模块、点信息生成软件模块、融合软件模块、识别软件模块、输出软件模块、以及为上层应用的显示控制软件模块。在图7中，输入/输出显示器22的光传感器22A读出从外部入射的光， 并产生一帧读出的光信号。如上所述，入射光是例如从接触或靠近显示屏51A 的手指等反射的光。在读出光处理层，对从输入/输出显示器22提供的一帧读出光信号执行 包括例如放大、过滤等的读出光处理，由此产生对应于一帧读出光信号的一 帧图像。在直接在读出光处理层更上的点信息生成层中，对作为读出光处理的结 果获得的图像执行包括二进制化、噪声移除、以及标记等的图像处理，并且 检测其中手指接触或靠近输入/输出显示器22的显示屏51A的输入斑点。然 后逐帧生成与输入斑点相关联的点信息。在直接在点信息生成层上的融合层中，对作为点信息生成处理的结果获 得的点信息执行包括融合处理，并且逐帧生成目标信息。根据当前帧的目标 信息，生成了指示事件(如目标的生成或删除(消失))的事件信息。在直接在融合层上的识别层中，基于在融合处理中生成的目标信息识别 用户的手指的运动或手势，并且逐帧生成指示目标的状态改变的事件信息。在直接在识别层上的输出层中，逐帧输出在融合处理中生成的目标信息 和事件信息、以及在识别处理中生成的事件信息。在直接在输出层上的显示控制层中，根据在输出处理中输出的目标信息 和事件信息，根据需要将图像数据提供给在图1中所示的输入/输出面板16 的输入/输出显示器22，由此改变图像在输入/输出显示器22上显示的模式。接下来，参照图8到12,进一步详细描述由图1中所示的生成器25执 行的融合处理。图8图示在时间t、在第t帧中存在的目标。在图8中(以及在稍后将参照的图9和10中)，为了图示方便，在帧上 显示了网格。在图8中，在时间t、在第t帧中存在三个目标弁l、 #2和#3。可以为 每个目标定义属性。该属性可以包括用作识别每个目标的标识信息目标ID(标 识符)。在图8所示的示例中，#1、 #2和#3作为目标10分别分配给三个 目标。例如在三根用户的手指接触或靠近输入/输出显示器22的显示屏51A时， 这样三个目标#1、 #2和#3能够出现。图9图示在时间t的第t帧之后的在时间t+l的第(t+l )帧，其处于融 合处理还没有执行的状态。在图9所示的示例中，在第(t+l)帧中存在4个输入斑点弁a到#d。例如在四根用户的手指接触或靠近输入/输出显示器22的显示屏51A时， 能够发生其中出现四个输入斑点# a到# d的状态。图IO是其中图8中所示的第t帧和图9中所示的第(t+l )帧以叠加方式 显示的图。在融合处理中，在时间上相互靠近的两帧(如第t帧和第(t+l)帧)之 间进行输入斑点方面的比较。当第t帧中的特定目标被当作融合处理中的感 兴趣的目标时，如果检测到空间上靠近感兴趣的目标的输入斑点，则该输入 斑点被当作属于感兴趣的目标的一系列输入斑点之一，因此检测的输入斑点 被融入感兴趣的目标中。关于特定输入斑点是否属于特定目标的确定，可以 通过确定输入斑点和目标之间的距离是否小于预定阈值(例如,对应于网格 的各块的距离)进行。在存在多个空间上靠近感兴趣的目标的输入斑点的情况下，从所述多个 输入斑点中选择最靠近感兴趣目标的输入斑点，并且将选择的输入斑点融入 感兴趣的目标中。在融合处理中，当没有检测到空间上靠近感兴趣的目标时，确定该系列 输入斑点的输入完成，并且删除感兴趣的目标。此外，在融合处理中，如果检测到剩余没有与任何目标融合的输入斑点， 也就是说，如果在空间上不靠近任何目标的位置检测到输入斑点，则确定一 系列输入斑点的输入已经重新开始，因此创建新的目标。在图IO中所示的示例中，通过4企查第(t+l)帧中的输入斑点弁a到并d 的位置相对于第t帧中的目标#1、 #2和#3的位置执行融合处理。在该示 例中，在靠近目标# 1的位置检测到输入斑点# a和# b。输入斑点# b被确定 为比输入斑点# a更靠近目标# 1 ，因此输入斑点# b与目标# 1融合。在图IO中所示的示例中，没有输入斑点空间上靠近目标#2,因此目标 #2被删除。在此情况下，生成事件"删除，，以指示目标已经被删除。在图IO中所示的示例中，输入斑点#0和#(1位于靠近目标#3。在该特 定情况下，输入斑点#(1比输入斑点弁c更靠近目标#3，因此输入斑点并d 与目标#3融合。输入斑点# a和# c最后保持没有与目标# 1到# 3的任一的融合。因此， 为该两个斑点创建新的目标，并且生成事件"创建"以指示新的目标已经被 创建。在融合处理中，在第t帧中剩余没有被删除的目标、和对应于剩余没有 与第(t+l)帧中的任何存在目标融合的输入斑点的新创建的目标，被用作第 (t+l)帧中的目标。然后基于与第(t+l)帧中的输入斑点相关联的点信息产 生与第(t+l)帧相关联的目标信息。通过对从图像处理单元24提供到读出光信号处理单元23的读出光图像 的每帧执行图像处理，获得与输入斑点相关联的点信息。图11图示读出光图像的示例。在图ll所示的示例中，读出光图像包括三个输入斑点#1到#3。 读出光图像上的每个输入斑点是其中光被读出的斑点，该光在从与显示 屏51A接触或靠近手指反射后入射。因此，与其中没有手指与显示屏51A接 触或靠近的区域相比，每个输入斑点具有更高或更低的亮度。图像处理单元 24通过从读出光图像中检测具有更高或更低的亮度的区域来检测输入斑点， 并输出指示输入斑点的特征值的点信息。至于点信息，可以采用指示输入斑点的代表点的位置的信息和指示输入 斑点的区域或大小的信息。更具体地，例如，输入斑点的中心的坐标(例如， 完全包含输入斑点的最小圓周的中心)或输入斑点的重心的坐标可以用来指 示输入斑点的代表点的位置。输入斑点的大小可以由输入斑点的面积表示(图 11中的阴影)。输入斑点的区域可以例如由完全包含输入斑点的最小矩形的 上端、下端、左端和右端一组坐标表示。基于与目标融合的输入斑点的点信息产生目标信息中的目标属性信息。 更具体地，例如，当输入斑点与目标融合时，维持用作唯一分配给该目标的识别信息的目标ID，但如代表坐标、面积信息、区域信息等的目标属性信息的其他项，由与目标融合的输入斑点的代表坐标、面积信息、区域信息替代。 目标属性信息可以包括指示执行一 系列输入的开始时间的信息和指示目 标的结束时间的信息。除了目标属性信息外，目标信息还可以包括例如指示从发生器25输出到 控制器12的每帧的目标的数量的信息。接着，参照图12中的流程图，进一步详细描述由图1中所示的发生器 25在图6的步骤S4中执行的融合处理。在步骤S21中，目标发生器31从存储单元33中读取与时间上靠近第(t+l ) 帧的第t帧相关联的目标信息，并且将从图像处理单元24提供的第(t+l )帧 中的输入斑点的点信息和与从存储单元33中读取的第t帧相关联的目标信息 进行比较。在步骤S22中，目标发生器31确定是否存在剩余没有被检查为在步骤 S21中读取的第t帧中的感兴趣的目标的目标。如果在步骤S22中的确定是存 在剩余没有被检查为在步骤S21中读取的第t帧中的感兴趣的目标的目标， 则在步骤S23中，目标发生器31从第t帧中的各目标中选择这样的目标之一 作为感兴趣的目标，并且目标生成器31确定是否第(t+l)帧具有空间上靠 近第t帧中的感兴趣的目标的输入斑点。如果在步骤S23中的确定是第(t+l)帧具有空间上靠近第t帧中的感兴 趣的目标的输入斑点，则在步骤S24中，目标生成器31将在步骤S22中确定 为空间上靠近感兴趣的目标的第(t+l)帧中的该输入斑点融入感兴趣的目标 中。然后产生与处于融合已经执行的状态的感兴趣的目标相关联的目标信息， 并作为与第(t+l)帧相关if关的目标信息存储在存储单元33中。更具体地，目标生成器31保持感兴趣目标的目标ID,但是将包括感兴 趣的目标的代表坐标的目标属性信息其他项目用融入感兴趣目标的输入斑点 的那些替换，并且目标生成器31将第(t+l)帧的得到的目标信息存储在存 储单元33中。另一方面，在在步骤S23中的确定是第(t+l)帧没有空间上靠近第t帧 中的感兴趣的目标的输入斑点的情况下，则在步骤S25中，目标生成器31从存储单元33中删除与感兴趣目标相关联的信息。在步骤S26中，响应于由目标生成器31删除感兴趣目标，事件生成器 32发出事件"删除"来指示对应于该目标的一系列输入完成，并且将与该事 件相关联的事件信息作为与第(t+l )帧相关联的事件信息存储在存储单元33 中。在图10中所示的示例中，当目标#2被当作感兴趣的目标时，发出事件 "删除"以指示目标#2已经从第(t+l)帧中删除，并且与事件"删除"相 关联的目标信息存储在存储单元33中。在步骤S24或S26之后，处理流返回到步骤S22以对新的感兴趣目标执 行上述处理。另一方面，如果在步骤S22中的确定是不存在剩余没有被检查为在步骤 S21中读取的第t帧中的感兴趣的目标的目标，则在步骤S27中目标生成器 31确定是否从图像处理单元24提供的第(t+l )帧具有剩余没有与第t帧的 任何目标融合的输入斑点。在步骤S27中的确定是第(t+l )帧具有剩余没有与第t帧的任何目标融 合的输入斑点的情况下，处理流进行到步骤S28。在步骤S28中，目标生成 器31为剩余没有融合的输入斑点创建新的目标。更具体地，如果在第(t+l)帧中检测到剩余没有与第t帧中的任何目标 融合的输入斑点，即，如果检测到空间上不靠近任何目标的输入斑点，则确 定通过新的一系列输入斑点的输入已经开始，并且创建新的对象。目标生成 器31产生与新的目标相关联的信息，并且将其作为与第(t+l)帧相关联的 目标信息存储在存储单元33中。在步骤S29中，响应于由目标生成器31创建新的目标，事件生成器32 发出事件"创建"，并将与事件"创建"相关联的事件信息作为与第(t+l) 帧相关联的事件信息存储在存储单元33中。融合处理然后结束，并且处理流 返回到图6中的步骤S5。另一方面，如果在步骤S27中的确定是第(t+l)帧没有剩余没有与第t 帧的任何目标融合的输入斑点，则跳过步骤S28和S29，并且融合处理结束。 处理流返回到图6中的步骤S5。在上述融合处理中，如果在第t帧中检测到空间上不靠近第(t+l)帧的 任何输入斑点的目标，则删除与检测的目标相关联的信息。或者，当在第t 帧中检测到这样的目标时，与该检测的目标相关联的信息可以维持用于接下18来的几帧。如果在接下来的几帧中没有输入斑点出现在空间上靠近该目标的 位置，则可以删除该信息。这确保即使在用户由于失误将他的/她的手指从显 示屏移开非常短的时间时，如果用户通过再次使他的/她的手指与显示屏51A 接触或靠近而创建输入斑点，则该输入斑点正确地与目标融合。在融合处理中，如上所述，在输入/输出显示器22的显示屏51A上检测 到空间和时间上靠近目标的输入斑点，确定检测的输入斑点是一 系列输入斑 点之一，并且检测的输入斑点与该目标融合。在融合处理中,如果创建或删 除目标，则发出事件以指示该目标已经创建或删除。图13图示生成器25输出目标信息和事件信息的方式的示例。在图13的顶部，显示了从在时间n的第n帧到在时间n+5的第n+5帧的 一系列帧。在这些帧中，在读出光图像上的输入斑点由开圓表示。在图13的 底部，显示了与从第n帧到第n+5帧的每帧相关联的目标信息和事件信息。在图13的顶部示出的一系列帧中，用户在时间n使他的/她的手指之一 与输入/输出显示器22的显示屏51A接触或靠近。在从时间n到时间n+4时 间段上，手指维持与输入/输出显示器22的显示屏51A接触或靠近。在第(n+2) 帧中，用户开始以从左到右的方向移动手指同时保持手指与显示屏51A接触 或靠近。在第(n+4)帧中，用户停止移动手指。在时间n+5，用户将手指从 输入/输出显示器22的显示屏51A移开。响应于手指的上述运动，如图13中 所示，输入斑点#0出现、移动和消失。更具体地，如图13的顶部所示，响应于使用户的手指与输入/输出显示 器22的显示屏51A接触或靠近，在第n帧中出现输入斑点并0。响应于在第n帧中输入斑点并0的出现，创建目标#0，并且如图13的 底部所示，产生包括目标ID和目标属性信息的其它项目的目标属性信息。此 后，除了目标ID外的目标属性信息将被简称为与目标相关联的信息，并且将 用INFO表示。在图13所示的示例中，将0作为目标ID分配给目标并0，并 且产生包括指示输入斑点# 0的位置的信息的相关联的信息INFO。注意到，目标的实体是位于存储器中的存储区域，用于存储目标属性信息。在第n帧中，响应于目标#0的创建，产生事件#0。如图13的底部所 示，在第n帧中在此产生的事件并0具有多个项目，其包括事件ID,其被 分配0来识别事件；事件类型，其具有值"创建"，指示新的目标已经创建；以及标识信息标识符(tid),其具有与目标井0的目标ID值相同的值0,以便 指示该事件#0代表目标#0的状态。注意到，其事件类型为指示新的目标已经创建的"创建"的事件表示为 事件"创建"。如上所述，作为事件属性信息的一个项目，每个事件具有识别信息标识 符，其识别其状态由事件指示的目标。因此，可以从识别信息标识符确定哪 个目标由该事件描述。注意到，目标的实体是位于存储器中的存储区域，用于存储目标属性信白在第(n+l)帧中，如图13的顶部所示，输入斑点#0剩余在与之前帧 中相同的位置。在此情况下，第(n+l)帧中的输入斑点#0与紧接在前的帧(即，第n 帧)中的目标#0融合。结果，在第(n+l)帧中，如图13的底部所示，目 标#0具有与之前的帧相同的ID,并且具有由包括第(n+l)帧中的输入斑点 并0的位置信息的信息更新的相关联的信息INFO。也就是说，维持了目标ID (=0)，但是相关联的信息INFO由包括第(n+l)帧中的输入斑点#0的位 置信息的信息替代。在第(n+2)帧中，如图13的顶部所示，输入斑点#0开始移动。在此情况下，第(n+2 )帧中的输入斑点# 0与紧接在前的帧(即，第(n+l ) 帧)中的目标#0融合。结果，在第(n+2)帧中，如图13的底部所示，目 标# 0具有与之前的帧相同的ID,并且具有由包括第(n+2 )帧中的输入斑点 并0的位置信息的信息更新的相关联的信息INFO。也就是说，维持了目标ID (=0),但是相关联的信息INFO由包括第(n+2)帧中的输入斑点#0的位 置信息的信息替代。此外，在第(n+2)帧中，响应于与目标#0融合的输入斑点#0的移动， 即，响应于目标#0的移动的开始，产生了事件弁1。更具体地，如图13的 底部所示，在第(n+2)帧中在此产生的事件#1作为各项目包括事件ID, 具有值l,其与分配给在第n帧中产生的事件ID不同；事件类型，其具有值 "移动开始，，，指示相应的目标开始移动；以及标识信息标识符，其具有与目 标# 0的目标ID值相同的值0,以便指示该事件# 1代表目标# 0的状态。在第(n+3)帧中，如图13的顶部所示，输入斑点#0仍然移动。在此情况下，第(n+3 )帧的输入斑点# 0与紧接在前的帧(即，第(n+2 ) 帧)的目标#0融合。结果，在第(n+3)帧中，如图13的底部所示，目标 #0具有与之前的帧的ID相同的ID，并且具有由包括第(n+3)帧中的输入 斑点弁0的位置信息的信息更新的相关联的信息INFO。也就是说，維持了目 标ID (=0),但是相关联的信息INFO由包括第(n+3)帧中的输入斑点#0 的位置信息的信息替代。在第(n+4)帧中，如图13的顶部所示，输入斑点#0停止。在此情况下，第(n+4 )帧的输入斑点# 0与紧接在前的帧(即，第(n+3 ) 帧)的目标#0融合。结果，在第(n+4)帧中，如图13的底部所示，目标 #0具有与之前的帧的ID相同的ID，并且具有由包括第(n+4)帧中的输入 斑点弁0的位置信息的信息更新的相关联的信息INFO。也就是说，维持了目 标ID (=0),但是相关联的信息INFO由包括第(n+4)帧中的输入斑点#0 的位置信息的信息替代。此外，在第(n+4)帧中，响应于与目标#0融合的输入斑点#0的移动 的结束，即，响应于目标#0的移动的结束，产生了事件#2。更具体地，如 图13的底部所示，第(n+4)帧中在此产生的事件#2具有各项目，其包括 事件ID,具有值2，该值与分配给在第n帧中或第(n+2)帧中产生的事件ID 不同；事件类型，其具有值"移动停止，，，指示相应的目标停止移动；以及标 识信息标识符，其具有与已经停止移动的目标# 0的目标ID值相同的4直0, 以便指示该事件# 2代表目标# 0的状态。在第(n+5)帧中，如图13的顶部所示，用户将手指从输入/输出显示器 22的显示屏51A移开，因此输入斑点#0消失。在此情况下，在第(n+5)帧中，删除目标#0。此外，在第(n+5)帧中，响应于与目标#0融合的输入斑点#0的消失， 即，响应于目标#0的删除，产生了事件并3。更具体地，如图13的底部所 示，第(n+5)帧中在此产生的事件#3具有各项目，其包括事件ID,具有 值3,该值与分配给在第n帧中或第(n+2)帧中或第(n+4 )帧中产生的事 件ID不同；事件类型，其具有值"删除"，指示相应的目标已经被删除；以 及标识信息标识符，其具有与已经被删除的目标# 0的目标ID值相同的值0, 以便指示该事件# 3代表目标# 0的状态。注意到，其事件类型为指示目标已经被删除的"删除"的事件表示为事件"删除"。图14图示生成器25输出目标信息和事件信息的方式的另一示例。在图14的顶部，显示了从在时间n的第n帧到在时间n+5的第n+5帧的 一系列帧。在这些帧中，在读出光图像上的输入斑点由开圆表示。在图14的 底部，显示了与从第n帧到第n+5帧的每帧相关联的目标信息和事件信息。在图14的顶部示出的帧系列中，用户在时间n使他的/她的手指之一与 输入/输出显示器22的显示屏51A接触或靠近。在从时间n到时间n+4时间 段上，手指维持与输入/输出显示器22的显示屏51A接触或靠近。在第(n+2 ) 帧中，用户开始以从左到右的方向移动手指，同时保持手指与显示屏51A接 触或靠近。在第(n+4)帧中，用户停止移动手指。在时间n+5，用户将手措 从输入/输出显示器22的显示屏51A移开。响应于手指的上述运动，如图14 中所示，输入斑点#0出现、移动和消失。此外如图14中所示，用户在时间n+l使他的/她的手指之一与输入/输出 显示器22的显示屏51A接触或靠近。在从时间n+l到时间n+3时间段上， 该手指(此后称为第二手指)维持与输入/输出显示器22的显示屏51A接触 或靠近。在第(n+2)帧中，用户开始以从右到左的方向移动第二手指同时保 持手指与显示屏51A接触或靠近。在第(n+3)帧中，用户停止移动第二手 指。在时间n+4,用户将手指从输入/输出显示器22的显示屏51A移开。响 应于第二手指的上述运动，如图14中所示，输入斑点#1出现、移动和消失。更具体地，如图14的顶部所示，响应于使用户的第一手指与输入/输出 显示器22的显示屏51A接触或靠近，在第n帧中出现输入斑点并0。响应于在第n帧中输入斑点#0的出现，创建目标#0,并且如图14的 底部所示，以与图13中所示示例类似的方式产生包括目标ID和目标属性信 息的其他项目的目标属性信息。在下文中除了目标ID外的目标属性信息将被 简称为与目标相关联的信息，并且将用INFO表示。在图14所示的示例中， 将0作为目标ID分配给目标# 0，并且产生包括指示输入斑点# 0的位置的 信息的相关联的信息INFO。在第n帧中，响应于目标#0的创建，产生了事件#0。更具体地，如图 14的底部所示，第n帧中在此产生的事件并0作为各项目包括事件ID,具 有值l;事件类型，其具有值"创建，，，指示新的目标已经创建；以及标识信 息标识符，其具有与目标# 0的目标ID值相同的值0，以便指示该事件# 0代表目标#0的状态。在第(n+l)帧中，如图14的顶部所示，输入斑点并0剩余在与之前帧 中相同的位置。在此情况下，第(n+l)帧中的输入斑点#0与紧接在前的帧(即，第n 帧)中的目标#0融合。结果，在第(n+l)巾贞中，如图14的底部所示，目 标#0具有与之前的帧的ID相同的ID,并且具有由包括第(n+l)帧中的输 入斑点#0的位置信息的信息更新的相关联的信息INFO。也就是说，维持了 目标ID ( =0 ),但是相关联的信息INFO由包括第(n+l )帧中的输入斑点# 0的位置信息的信息替代。还在该第(n+l)帧中，如图14的顶部所示，响应于使用户的手指与输 入/输出显示器22的显示屏51A接触或靠近，还出现输入斑点弁1。响应于在第(n+l)帧中输入斑点#1的出现，创建目标#1,并且定义 其属性使得目标ID被定义，以便具有不同于分配给已经存在的目标# 0的目 标ID的值1,并且产生包括指示输入斑点# 1的位置的信息的相关联的信息 INFO。此外，在第(n+l)帧中，响应于目标弁1的创建，产生了事件#1。更 具体地，如图14的底部所示，第n帧中在此产生的事件并l作为各项目包括 事件ID,具有值1，该值与分配给在第n帧中产生的事件ID不同；事件类型， 其具有值"创建"，指示新的目标已经创建；以及标识信息标识符，其具有与 目标# 1的目标ID值相同的值1,以便指示该事件# 1代表目标# 1的状态。 在第(n+2)帧中，如图14的顶部所示，输入斑点#0和#1开始移动。 在此情况下，第(n+2)帧中的输入斑点弁0与紧接在前的帧(即，第(n+l ) 帧)中的目标#0融合。结果，如图14的底部所示，目标#0具有与之前的 帧的ID相同的ID，并且具有由包括第(n+2)帧中的输入斑点#0的位置信 息的信息更新的相关联的信息INFO。也就是说，维持了目标ID(-O),但是 相关联的信息INFO由包括第(n+2 )帧中的输入斑点# 0的位置信息的信息 替代。此外，第(n+2)帧中的输入斑点# 1与第(n+l )帧的目标# 1融合。结 果，如图14的底部所示，目标# 1具有与之前的帧的ID相同的ID,并且具 有由包括第(n+2)帧中的输入斑点#1的位置信息的信息更新的相关联的信 息INFO。也就是说，目标ID维持在相同值即1,但是相关联的信息INFO由包括第(n+2)帧中的输入斑点#1的位置信息的信息替代。此外，在第(n+2)帧中，响应于与目标#0融合的输入斑点#0的移动 的开始，即，响应于目标#0的移动的开始，产生了事件#2。更具体地，如 图14的底部所示，第(n+2)帧中在此产生的事件#2具有各项目，其包括 事件ID，具有值2，该值与分配给已经产生的事件#0或#1的事件ID不同； 事件类型，其具有值"移动开始"，指示相应的目标开始移动；以及标识信息 标识符，其具有与目标弁0的目标ID值相同的值0,以便指示该事件#2代 表目标#0的状态。还在该第(n+2 )帧中，响应于与目标# 1融合的输入斑点# 1的移动的 开始，即，响应于目标#1的移动的开始，产生了事件#3。更具体地，如图 14的底部所示，在第(n+2)帧中在此产生的事件#3具有各项目，其包括 事件ID,具有值3，该值与分配给已经产生的事件#0到#2的事件10不同； 事件类型，其具有值"移动开始"，指示相应的目标开始移动；以及标识信息 标识符，其具有与目标# 1的目标ID值相同的值1,以便指示该事件# 3代 表目标#1的状态。在第(n+3)帧中，如图14的顶部所示，输入斑点#0仍然移动。 在此情况下，第(n+3 )帧中的输入斑点# 0与紧接在前的帧(即，第(n+2 ) 帧)中的目标#0融合。结果，在第(n+3)帧中，如图14的底部所示，目 标并O具有与之前的帧的ID相同的ID,并且具有由包括第(n+3)帧中的输 入斑点并0的位置信息的信息更新的相关联的信息INFO。也就是说，维持了 目标ID ( =0 )，但是相关联的信息INFO由包括第(n+3 )帧中的输入斑点# O的位置信息的信息替代。在该第(n+3 )帧中，输入斑点# 1停止。在此情况下，第(n+3 )帧中的输入斑点# 1与紧接在前的帧(即，第(n+2 ) 帧)中的目标#1融合。结果，在第(n+3)帧中，如图14的底部所示，目 标# 1具有与之前的帧的ID相同的ID,并且具有由包括第(n+3)帧中的输 入斑点# 1的位置信息的信息更新的相关联的信息INFO。也就是说，目标ID 维持在相同值即1，但是相关联的信息INFO由包括第(n+3)帧中的输入斑 点# 1的位置信息的信息替代。此外，在第(n+3)帧中，响应于与目标#1融合的输入斑点#1的移动 的停止，即，响应于目标#1的移动的开始，产生了事件#4。更具体地，如图14的底部所示，在第(n+3)帧中在此产生的事件#4作为项目包括事 件ID,具有值4，该值与分配给已经产生的事件#0到#3的事件10不同； 事件类型，其具有值"移动停止"，指示相应的目标停止移动；以及标识信息 标识符，其具有与目标# 1的目标ID值相同的值1,以便指示该事件# 4代 表目标#1的状态。在第(n+4)帧中，如图14的顶部所示，用户将他的/她的第二手指从显 示屏51A移开，因此输入斑点#1消失。在此情况下，在第(n+4)帧中，删除目标#1。此外，在该第(n+4)帧中，如图14的底部所示，输入斑点#0停止。 在此情况下，第(11+4)帧的输入斑点#0与紧接在前的帧(即，第(n+3) 帧)的目标#0融合。结果，在第(n+4)帧中，如图14的底部所示，目标 #0具有与之前的帧的ID相同的ID，并且具有由包括第(n+4)帧中的输入 斑点#0的位置信息的信息更新的相关联的信息INFO。也就是说，目标ID 维持在相同值即O,但是相关联的信息INFO由包括第(n+4)帧中的输入斑 点# 0的位置信息的信息替代。还在该第(n+4 )帧中，响应于与目标# 0融合的输入斑点# 0的移动的 结束，即，响应于目标#0的移动的结束，产生了事件#5。更具体地，如图 14的底部所示，在第(n+4)帧中在此产生的事件弁5作为项目包括事件ID， 具有值5，该值与分配给已经产生的事件#0到#4的事件ID不同；事件类 型，其具有值"移动停止"，指示相应的目标停止移动；以及标识信息标识符， 其具有与目标# 0的目标ID值相同的值0，以便指示该事件# 5代表目标# 0 的状态。还在该第(n+4 )帧中，响应于输入斑点# 1的消失，即，响应于目标# 1的删除，产生了事件#6。更具体地，如图14的底部所示，在第(n+4)帧 中在此产生的事件#6具有各项目，其包括事件ID，具有值6,该值与分 配给已经产生的事件#0到#5的事件ID不同；事件类型，其具有值"删除"， 指示相应的目标已经被删除；以及标识信息标识符，其具有与目标#1的目 标ID值相同的值1,以便指示该事件#6代表目标# 1的状态。在第(n+5)帧中，如图14的顶部所示，用户将他的/她的第一手指从显 示屏51A移开，因此输入斑点# 1消失。在此情况下，从第(n+5)帧中删除目标#0。此外，在该第(n+5)帧中，响应于输入斑点#0的消失，即，响应于目 标#0的删除，产生了事件#7。更具体地，如图14的底部所示，在第(n+5) 帧中在此产生的事件#6具有各项目，其包括事件ID，具有值7,该值与 分配给已经产生的事件#0到#6的事件10不同；事件类型，其具有值"删 除"，指示相应的目标已经被删除；以及标识信息标识符，其具有与目标#0 的目标ID值相同的值0,以便指示该事件# 7代表目标# 0的状态。如上所示，即使同时为输入/输出面板16上的多个斑点执行输入，根据 各输入斑点间的时间和空间关系为每个输入斑点序列产生目标信息，并且产 生指示每个目标的状态改变的时间信息，由此使得可能同时使用多个斑点输 入信息。接着，参照图15到17，以下描述了输入/输出显示器的配置的其他示例。在图15所示的示例中，图2中所示的输入/输出显示器201的保护片52 由保护片211替代，不同于保护片52，保护片211由半透明彩色材料制成。通过给保护片211涂色，可以改进输入/输出面板16外观。半透明彩色材料的使用可以最小化由于保护片211的可见度和光敏感度 的劣化。例如，当光传感器22A对具有小于460 nm的波长的光(即，对蓝 光或近蓝光)具有高敏感度时，也就是说，当光传感器22A能够容易地检测 具有小于460nm的波长的光时，如果保护片211由蓝色半透明材料制成，与 其他颜色相比，可以维持光传感器22A对蓝色的高敏感度。在图16所示的示例中，图2中所示的输入/输出显示器221的保护片52 由保护片231替代。保护片231在其与主体51接触的表面相反的一个表面上，具有以凹进或 凸起形状形成的导线(guide) 231A到231E。导线231A到231E的每个可以 被配置以便具有对应于按钮或开关的形状，该按钮或开关用作显示在输入/输 出显示器22上的用户接口。该保护片231连接到主体51,使得导线231A到 231E位于基本上精确地在显示在显示屏51A上的对应的用户接口 ，使得当用 户接触保护片231时，接触的读出允许用户识别显示在显示屏51A上的每个 用户接口的类型和位置。这使得用户操作输入/输出显示器22而不必看着显 示屏51A成为可能。因此，能够实现显示系统1的操作性的极大改进。在图n所示的示例中，图2中所示的输入/输出显示器251的保护片52 由保护片261替代。保护片261由半透明彩色材料制成，使得保护片261在其与主体51接触 的表面相反的一个表面上，具有以类似保护片231的方式形成的导线261A 到261E,以便改进显示系统1的操作性并改进输入/输出面板16外观。通过部分凹进或凸起保护片的表面形成图案或字符，可以指示各种类型 的信息和/或改进输入/输出面板16外观。可以形成保护片使得其能够可移除地附接到主体51。这使得可以依赖于 用于显示系统1的应用的类型(即，依赖于显示在显示屏51A上的用户接口 的类型、形状、位置等)更换保护片。这允许进一步改进操作性。图18是图示根据本发明另 一 实施例的显示系统的方块图。在图18中所示的显示系统301中，输入/输出面板16的发生器25被移 入控制器12中。在图18中所示的显示系统301中，天线310、信号处理单元311、控制 器312、存储单元313、操作单元314、通信单元315、显示信号处理单元321、 输入/输出显示器322、光传感器322A、读出的光信号处理单元323、图像处 理单元324、以及生成器325类似于图1中所示的显示系统l中的天线IO、 信号处理单元ll、控制器12、存储单元13、操作单元14、通信单元15、显 示信号处理单元21、输入/输出显示器22、光传感器22A、读出的光信号处 理单元23、图像处理单元24、以及生成器25,因此，显示系统301能够以 类似于图1中所示的显示系统1的方式执行显示/读出操作。注意到，在显示 系统301中，使用存储单元313替代置于图1中所示的显示系统1的发生器 25中的存储单元33。图19是图示根据本发明另 一实施例的显示系统的方块图。在图19中所示的显示系统401中，发生器25和图像处理单元24从输入 /输出面板16移入图1中所示的控制器12中。在图19中所示的显示系统401中，天线410、信号处理单元411、存储 单元413、操作单元414、通信单元415、显示信号处理单元421、输入/输出 显示器422、光传感器422A、读出的光信号处理单元423、图像处理单元424、 以及生成器425类似于图1中所示的显示系统1中的天线10、信号处理单元 11、存储单元13、操作单元14、通信单元15、显示信号处理单元21、输入/ 输出显示器22、光传感器22A、读出的光信号处理单元23、图像处理单元 24、以及生成器25,因此，显示系统401能够以类似于图1中所示的显示系统1的方式执行显示/读出操作。图20图示根据本发明实施例的输入/输出面板601的外观。如图20中所 示，输入/输出面板601以平(flat) ^[莫块的形状形成。更具体地，输入/输出 面板601被配置使得包括以阵列形式排列的各像素的像素阵列单元613形成 在隔离基底611上。每个像素包括液晶元件、薄膜晶体管、薄膜电容、以及 光传感器。粘合剂被施加到围绕像素阵列单元613的外围区域，并且由玻璃 等制成的对向基底612等结合到基底611。输入/输出面板601具有连接器 614A和614B,用于从外部输入/输出信号到像素阵列单元613。连接器614A 和614B可以以FPC (柔性印刷电路)形式实现。输入/输出面板可以以例如根据本发明的任一 实施例的平面板的形状形 成，并且可用于广泛的电子设备(如数字照相机、笔记本型个人计算机、便 携式电话设备、或摄影机)中，使得在该电子设备中生成的视频信号在输入/ 输出面板上显示。以下描述了具有根据本发明实施例的输入/输出面板的电子 设备的一些特定示例。图21图示根据本发明实施例的电视接收器的示例。如图21中所示，电 视接收器621具有图像显示器631，其包括前面板631A和滤光镜631B。图 像显示器631可以使用根据本发明实施例的输入/输出面板实现。图22图示根据本发明实施例的数字照相机的示例。在图22的顶部显示 了其正视图，而在图22的底部显示了其后视图。如图22中所示，数字照相 机641包括成像透镜、闪光灯651、显示器652、控制开关、菜单开关以及快 门按钮653 。显示器652可以使用根据本发明实施例的输入/输出面板实现。图23图示根据本发明实施例的笔记本型个人计算机的示例。在图23所 示的示例中，个人计算机661包括主要部分661A和盖子部分661B。主要部 分661A包括键盘671,其包括用于输入数据或命令的字母键和其他键。盖子 部分661B包括适于显示图像的显示器672。显示器672可以使用根据本发明 实施例的输入/输出面板实现。图24图示根据本发明实施例的便携式终端装置的示例。在图24的左手 侧示出了处于打开状态的便携式终端装置，而在右手侧示出了处于关闭状态 的该装置。如图24中所示，便携式终端装置681包括上层部分681A、经由 铰链681连接到上层部分的下层部分681、显示器691、子显示器692、图片 灯693以及照相机694。显示器691和/或子显示器692可以使用根据本发明实施例的输入/输出面才反实现。图25图示根据本发明实施例的摄影机的示例。如图25中所示，摄影机701包括主体711、位于前侧的成像透镜712、操作开始/停止开关713以及监 视器714。监视器714可以使用根据本发明实施例的输入/输出面板实现。上述处理步骤的序列可以通过硬件或软件执行。当处理序列由硬件执行 时，程序形式的软件可以从程序存储介质安装到提供作为专用硬件的计算机 上，或可以安装到能够根据安装到其上的各种程序执行各种处理的通用计算 机上。在本描述中，以安装在存储介质中的程序描述的各步骤，可以根据在程 序中描述的顺序以时间顺序或以并4亍或分立方式^M亍。在本描述中，术语"系统"用于描述包括多个子装置的装置的全部。本领域技术人员应当理解的是，依赖于设计要求和其他因素，可以出现 各种修改、组合、子组合和替换，只要它们在权利要求或其等效的范围内。相关申请的交叉引用本发明包括于2007年4月6日向日本专利局提交的日本专利申请JP 2007 - 100884的主题内容，在此通过引用并入其全部内容。
权利要求
1. 一种显示装置，包括适于显示图像和读出从外部入射到其上的光的输入/输出单元，所述输入/输出单元适于接受到该输入/输出单元的显示屏上的多个点的同时输入，所述显示屏用透明的或半透明的保护片覆盖。
2. 如权利要求1所述的显示装置，其中所述保护片的表面部分地以特定 形状凹进或凸起。
3. 如权利要求2所述的显示装置，其中所述保护片的表面部分地以特定 形状凹进或凸起，该特定形状对应于显示在所述显示屏上的用户界面。
4. 如权利要求1所述的显示装置，其中所述保护片是着色的。
全文摘要
一种显示装置，包括适于显示图像和读出从外部入射到其上的光的输入/输出单元。所述输入/输出单元能够接受到该输入/输出单元的显示屏上的多个点的同时输入。所述显示屏用透明的或半透明的保护片覆盖。
文档编号G02F1/133GK101281445SQ20081009112
公开日2008年10月8日 申请日期2008年4月7日 优先权日2007年4月6日
发明者原田勉, 山口和范, 建内满, 津崎亮一 申请人:索尼株式会社