操作输入装置、操作输入方法和程序的制作方法

专利名称：操作输入装置、操作输入方法和程序的制作方法
技术领域：
本发明涉及操作输入装置、操作输入方法和程序，更具体而言，涉及能够响应于操 作输入而精确地操作的操作输入装置、操作输入方法和程序。
背景技术：
例如，将能够通过在液晶显示器上放置光学传感器，并利用该光学传感器检测来 自外界的光的输入而经历使用光的输入的显示面板(在下文中，还称为“输入和输出面 板”)建议为能够在面板上输出关于多个点的信息的面板(例如，JP-A-2008-146165)。下面将参照图1描述过去的输入和输出面板。图1中所示的输入和输出面板11包括输入和输出显示器12、已接收光信号处理器 13、图像处理器14、发生器15和控制器16。输入和输出显示器12显示图像，并检测与来自外界的输入对应的光。例如，输入 和输出显示器12包括被布置为分布在整个显示屏幕上的多个光学传感器12A，并且光学传 感器12A接收从外界入射的光，产生与接收到的光的强度对应的已接收光信号，并将产生 的已接收光信号提供到已接收光信号处理器13。已接收光信号处理器13通过对从输入和输出显示器12提供的已接收光信号执行 预定处理，产生与已接收光信号的亮度对应的图像，并将产生的图像提供到图像处理器14。图像处理器14通过对从已接收光信号处理器13提供的图像执行预定图像处理， 检测在输入和输出显示器12的显示屏幕上与物体(如，用户的手指)接触的部分作为已经 经历了外部输入的输入部分。图像处理器14产生输入位置的坐标、输入部分的接触面积和 输入部分的形状(接触区域)作为输入部分的点信息，并将产生的点信息提供到发生器15。发生器15包括目标发生器17和存储器单元18，并且在存储器单元18中存储从 目标发生器17按帧输出的目标信息。目标发生器17通过将从图像处理器14提供的输入 部分的点信息与在存储器单元18中按帧存储的所有帧的目标信息进行合成来产生目标信 息。目标信息是如下这样的信息在该信息中，基于输入部分的时间或空间位置关系而将指 示一系列输入的ID分配给输入部分。控制器16基于发生器15所产生的目标信息，通过控制按照需要从输入和输出显 示器12提供的图像数据来改变输入和输出显示器12的显示状态。然而，在过去的输入和输出显示器12中，由于施加到输入和输出显示器12的表面 的光的时间或空间变化(这是因周围环境光的亮度的变化或来自发光装置的具有高亮度 的光(如闪光)的暂时应用而产生的)，可能产生关于还未与物体接触的输入和输出显示 器12的部分的信息。例如，当亮度在手指正在远离输入和输出显示器12的位置上移动的 同时而变化时，产生手指的影子的一端作为点信息。由于更高级别的应用程序以与接触部 分相同的方式对产生自非接触部分的点信息作出反应，因此可能出现错误的识别。例如，当诸如手指之类的不完全反射体(不完全地阻挡光而是略微地透射光的物 体)接触并且出现向输入和输出显示器12的表面所施加的光的时间或空间变化时，接触部
4分的点信息可能暂时消失。已经接收到这种点信息的发生器15在点信息丢失之前和之后 的帧中产生被分配了不同ID的目标信息。于是，例如，当在与手指的一系列接触期间出现 外部光的突然变化时，点信息由于外部光的突然变化而消失，在下一目标处理中识别出两 次与手指的接触，因此在更高级别的应用程序中可能出现错误。

发明内容
如上所述，在过去的输入和输出面板中，可能在非接触部分中产生点信息，并且由 于施加的光的变化可能暂时地丢失点信息。当更高级别的应用程序基于依照点信息而产生 的目标信息来执行处理时，出现错误。即，响应于操作输入可能不能执行精确的操作。因此，期望响应于操作输入而精确地操作。根据本发明的实施例，提供了操作输入装置，其包括输入和输出部件，用于检测 与来自外界的、对于显示图像的显示屏幕的多个操作输入对应的光；目标产生部件，用于基 于已经经历了来自外界的输入的输入部分的时间或空间位置关系，产生指示一系列输入的 目标的信息；丢失数据保存部件，用于当所述目标产生部件所产生的目标暂时丢失时，保存 丢失的目标；不可靠数据删除部件，用于当所述目标产生部件产生了不稳定目标时，删除所 述不稳定目标；以及处理选择部件，用于选择所述丢失数据保存部件所执行的处理和所述 不可靠数据删除部件所执行的处理中的一个。根据本发明的另一实施例，提供了操作输入方法或使计算机执行所述操作输入方 法的程序，所述操作输入方法包括如下步骤检测与来自外界的、对于显示图像的显示屏幕 的多个操作输入对应的光；基于已经经历了来自外界的输入的输入部分的时间或空间位置 关系，产生指示一系列输入的目标的信息；当产生的目标暂时丢失时，保存丢失的目标；当 产生了不稳定目标时，删除所述不稳定目标；以及选择保存目标的处理和删除不可靠目标 的处理中的一个。在本发明的实施例中，从显示图像的显示屏幕检测来自外界的、与对于显示屏幕 的多个操作输入对应的光，并且基于已经经历了来自外界的输入的输入部分的时间或空间 位置关系而产生指示一系列输入的目标的信息。当产生的目标暂时丢失时保存丢失的目 标，而当产生了不稳定目标时删除不稳定目标。选择保存目标的处理和删除不稳定目标的 处理中的一个。根据本发明的实施例，可以响应于操作输入而精确地操作。


图1是图示过去的输入和输出面板的配置的框图。图2是图示根据本发明第一实施例的操作输入装置的配置的框图。图3是图示用于控制操作输入装置的显示器的处理的流程图。图4是图示噪声删除处理的流程图。图5是图示异常高密度过滤处理的流程图。图6是图示异常低密度过滤处理的流程图。图7是图示异常纵横比过滤处理的流程图。图8是图示目标校正处理的流程图。
5
图9是图示不可靠数据删除处理的流程图。图10是图示丢失数据保存处理的流程图。图11是图示校正器的操作的图。图12是图示校正器的操作的图。图13是图示校正器的操作的图。图14是图示根据本发明第二实施例的操作输入装置的配置的框图。图15是图示操作输入装置中的目标校正处理的流程图。图16是图示根据本发明第三实施例的操作输入装置的配置的框图。图17是图示登记了代表性亮度和参数的设置值的表格的图。图18是图示计算机的配置的框图。
具体实施例方式在下文中，将参照附图详细描述本发明的特定实施例。图2是图示根据本发明第一实施例的操作输入装置的配置的框图。在图2中，操作输入装置21包括输入和输出显示器22、已接收光信号处理器23、 图像处理器24、噪声删除部件25、发生器26、校正器27和控制器28。输入和输出显示器22显示图像，并检测对应于外部输入的光。S卩，输入和输出显 示器22在其显示屏幕上显示与提供自显示信号处理器(未示出)的图像数据对应的图像。 输入和输出显示器22包括在整个显示屏幕上分布的多个光学传感器22A，接收从外界入射 的光，产生与接收到的光的强度对应的已接收光信号，并将产生的已接收光信号提供到已 接收光信号处理器23。已接收光信号处理器23通过对来自输入和输出显示器22的已接收光信号执行预 定处理，产生具有如下这样的亮度差的图像所述亮度差是输入和输出显示器22的显示屏 幕上与物体(如，用户的手指)接触的部分和未与任何东西接触的部分之间的亮度差。与物 体(如，用户的手指)接触的部分包括与其如此靠近使得可以确定物体(如，用户的手指) 几乎与其接触的部分。已接收光信号处理器23根据输入和输出显示器22的显示屏幕上显 示的图像逐帧与用户手指的接触，产生具有不同亮度的图像，并将产生的图像提供到图像 处理器24。图像处理器24对提供自已接收光信号处理器23的各帧的图像执行图像处理，如 二值化、噪声删除和标记。于是，图像处理器24检测在输入和输出显示器22的显示屏幕上 与用户的手指接触的部分(区域)作为已经经历了外部输入的输入部分，产生该输入部分 的点信息，并将产生的点信息提供到噪声删除部件25。输入部分的点信息包括输入部分的 坐标(指示输入和输出显示器22的显示屏幕上用于表示输入部分的点的坐标)、输入部分 的接触面积和输入部分的形状(接触区域)。噪声删除部件25基于提供自图像处理器24的输入部分的点信息，执行删除噪声 分量的噪声删除处理。如上所述，图像处理器24基于从输出自输入和输出显示器22的已接收光信号中 产生的图像来检测输入部分。除了由与用户手指的接触而引起的输入部分之外，由施加到 输入和输出显示器22的显示屏幕的光的突然变化引起的、但未与用户手指接触的输入部
6分可能被图像处理器24检测为输入部分。于是，噪声删除部件25执行如下这样的噪声删 除处理，该噪声删除处理用于通过提取从未与物体接触的部分检测到的输入部分的形状 等特征而将该输入部分识别为噪声分量，并删除识别为噪声分量的输入部分的点信息。发生器26包括目标发生器31和存储部件32。将噪声删除部件25据以删除噪声分量的输入部分的点信息提供给目标发生器 31。目标发生器31将输入部分的点信息与存储部件32中存储的全部帧的目标产生基准数 据逐帧合成。通过该合成处理，目标发生器31基于输入部分的时间或空间位置关系，产生 分配了用于标识目标(其指示一系列输入)的目标ID的目标信息。如之后所述那样，将在产生目标信息时目标发生器31所参照的目标产生基准数 据从校正器27提供到并存储在存储部件32中。校正器27通过从目标发生器31产生的目标信息中删除不稳定的目标或保存暂时 丢失的目标来校正引起错误操作的目标。然后，校正器27将经校正的目标信息提供到控制 器280S卩，校正器27包括处理选择器41、丢失数据保存部件42、不可靠数据删除部件43 和存储部件44。处理选择器41基于从目标发生器31提供的目标信息以及存储部件44中存储的 中间数据，选择要对目标执行的处理。处理选择器41根据要对目标执行的处理，将目标信 息提供到丢失数据保存部件42和不可靠数据删除部件43之一。丢失数据保存部件42基于从处理选择器41提供的目标信息以及存储部件44中 存储的中间数据，执行保存暂时丢失的目标并通过一系列操作再现暂时丢失的目标的丢失 数据保存处理。例如，丢失数据保存部件42基于指示目标丢失之后所经过时间的保存时段 (Hold Time)，确定是否应该保存目标。不可靠数据删除部件43基于从处理选择器41提供的目标信息以及存储部件44 中存储的中间数据，执行删除不可靠目标的不可靠数据删除处理。例如，不可靠数据删除部 件43基于目标区域中的稳定性和指示识别出目标之后经过的时间的使用期限(Life)，确 定目标是否稳定。将丢失数据保存部件42或不可靠数据删除部件43处理的目标信息提供给存储部 件44，并且存储部件44存储(保存)目标信息作为要在校正器27的内部处理中使用的中 间数据。在处理选择器41、丢失数据保存部件42和不可靠数据删除部件43所执行的处理 中，参照存储部件44中存储的中间数据(例如，一帧之前的目标信息)。控制器28例如根据与输入和输出显示器22的显示屏幕接触的用户手指等的运 动，执行用于控制输入和输出显示器22的显示屏幕的显示(操作)的更高级别的应用程 序。将校正器27校正的目标信息提供给控制器28，并且控制器28基于所提供的目标信息， 控制用于按照需要将图像数据提供到输入和输出显示器22的显示信号处理器(未示出)。 在控制器28的控制之下，例如，输入和输出显示器22的显示状态改变(例如，缩小或放大、 旋转和滑动等)。下面将参照图3中所示的流程图，描述根据用户手指等在图2所示操作输入装置 21中的输入和输出显示器22的显示屏幕上的运动来控制显示的处理。例如，当用户打开操作输入装置21时，开始处理流程，并且按照输入和输出显示
7器22上所显示图像的帧重复地执行流程。在步骤S1，输入和输出显示器22的光学传感器22A与输入和输出显示器22的显 示屏幕上一帧的显示同步地接收光，并将与接收到的光的强度对应的已接收光信号提供到 已接收光信号处理器23。光学传感器22A接收从与输入和输出显示器22的显示屏幕接触 的用户手指所反射的反射光或者施加到输入和输出显示器22的显示屏幕的外部光。在步骤S2，已接收光信号处理器23对从输入和输出显示器22提供的已接收光信 号执行预定处理。于是，已接收光信号处理器23获取具有输入和输出显示器22的显示屏 幕上与用户手指接触的部分和未与任何东西接触的部分之间的不同亮度的图像，并将获取 的图像提供到图像处理器24。在步骤S3，图像处理器24对从已接收光信号处理器23所提供的图像执行图像处 理，如二值化、噪声删除和标记。图像处理器24通过图像处理检测用户手指等与输入和输 出显示器22的显示屏幕接触的区域作为已经经历了外部输入的输入部分，获取输入部分 的点信息，并将获取的点信息提供到噪声删除部件25。在步骤S4，噪声删除部件25基于从图像处理器24提供的输入部分的点信息，执行 删除被识别为噪声分量的输入部分的点信息的噪声删除处理。将在后面参照图4到图7描 述噪声删除处理的细节。噪声删除部件25将未被识别为噪声分量的输入部分的点信息提 供到发生器26。在步骤S5，发生器26的目标发生器31将从噪声删除部件25提供的输入部分的点 信息与存储部件32中存储的全部帧的目标产生基准数据进行合成。目标发生器31通过合 成处理产生被识别为目标的输入部分的目标信息，并将产生的目标信息提供到校正器27。在步骤S6，校正器27基于发生器26产生的目标信息，执行用于通过删除不稳定目 标或保存暂时丢失的目标来校正目标信息的目标校正处理，并将经校正的目标信息提供到 控制器28。后面将参照图8到图10描述目标校正处理的细节。在步骤S7，控制器28基于从校正器27提供的目标信息，控制将图像数据提供到 输入和输出显示器22的显示信号处理器(未示出)，以按照需要改变输入和输出显示器22 的显示状态。在步骤S8，输入和输出显示器22在控制器28的控制下，以不同于前一个的显示状 态(例如，以显示图像顺时针旋转90°的显示状态)显示图像。其后，处理流程返回到步骤S1，并且对于下一帧重复地执行相同处理。如上所述，在操作输入装置21中，由于删除了被识别为噪声分量的输入部分的点 信息，并且删除了不稳定目标或保存了暂时丢失的目标，因此可以进行对应于用户手指等 的运动的精确显示控制。即，可以防止由于施加到输入和输出显示器22的显示屏幕的光的 突然变化而引起的错误操作。图4是图示图3的步骤S4中噪声删除处理的流程图。例如，当图像处理器24将预定单个帧中的输入部分的点信息提供到噪声删除部 件25时开始处理。如上所述，输入部分的点信息包括用于指示从处理中的帧检测到的所有 输入部分的坐标、接触面积和形状的信息。在步骤S11，噪声检测部件25基于从图像处理器24提供的输入部分的点信息产生 输入部分的补充信息，以便提取从未与物体接触的部分检测到的输入部分的形状特征。例
8如，噪声删除部件25产生输入部分的密度值和纵横比作为补充信息。即，噪声删除部件25 基于输入部分的形状来获取围绕输入部分的矩形，并计算输入部分的面积与围绕的矩形的 面积之比作为输入部分的密度值。噪声删除部件25计算围绕的矩形的水平方向与垂直方 向的长度比作为纵横比。在步骤S12，噪声删除部件25根据在步骤S11计算出的输入部分的密度值，执行 用于删除密度值等于或大于预定高密度阈值的输入部分的点信息的异常高密度过滤处理 (图 5)。在步骤S13，噪声删除部件25根据在步骤S11计算出的输入部分的密度值，执行 用于删除密度值等于或小于预定低密度阈值的输入部分的点信息的异常低密度过滤处理 (图 6)。在步骤S14，噪声删除部件25根据在步骤S11计算出的输入部分的纵横比，执行 用于删除纵横比等于或大于预定纵横比阈值的输入部分的点信息的异常纵横比过滤处理 (图7)。在执行步骤S14的处理之后结束处理流程。将参照图5到图7描述异常高密度过滤处理、异常低密度过滤处理和异常纵横比 过滤处理。在噪声删除部件25中，例如在设计操作输入装置21时确定用于正常地响应用 户手指等的输入操作的阈值，并且预先存储该阈值。图5是图示图4中步骤S12的异常高密度过滤处理的流程图。在异常高密度过滤处理中，噪声删除部件25依次检查产生的点信息(在图4的步 骤S11，根据产生的点信息产生补充信息)，并在步骤S21确定是否检查了据以产生补充信 息的所有点信息。当噪声删除部件25在步骤S21确定还未检查所有点信息时，即，当仍然存在未检 查的点信息时，执行步骤S22的处理。在步骤S22，噪声删除部件25将还未检查的预定点信息设置为待检查的目标，并 确定待检查的点信息的密度值是否等于或大于高密度阈值。当噪声删除部件25在步骤S22确定待检查的点信息等于或大于高密度阈值时，执 行步骤S23的处理。在步骤S23，噪声删除部件25删除在步骤S22设置为待检查的点信息。即，识别了 密度值等于或大于异常高的高密度阈值的点信息，并将其作为噪声分量删除。在执行了步骤S23的处理之后，或当在步骤S22确定待检查的点信息的密度值并 不等于或大于高密度阈值(小于高密度阈值)时，再次从步骤S21重复相同的处理。另一方面，当噪声删除部件25在步骤S21确定检查了所有的点信息时，删除密度 值异常高的所有点信息，并且结束处理流程。图6是图示图4中步骤S13的异常低密度过滤处理的流程图。在步骤S31，与图5的步骤S21类似，噪声删除部件25确定是否检查了据以产生补 充信息的所有点信息，并且当确定未检查所有点信息时执行步骤S32的处理。在步骤S32，噪声删除部件25将还未检查的预定点信息设置为待检查的信息，并 确定待检查的点信息的密度值是否等于或小于低密度阈值。当噪声删除部件25在步骤S32确定待检查的点信息的密度值等于或小于低密度 阈值时，噪声删除部件25在步骤S33删除点信息。即，识别密度值等于或小于异常低的低
9密度阈值的点信息，并将其作为噪声分量删除。在执行了步骤S33的处理之后，或当在步骤S32确定待检查的点信息的密度值并 不等于或小于低密度阈值(大于低密度阈值)时，再次从步骤S31重复相同的处理。另一方面，当噪声删除部件25在步骤S31确定检查了所有的点信息时，删除密度 值异常低的所有点信息，并且结束处理流程。图7是图示图4中步骤S14的异常纵横比过滤处理的流程图。在步骤S41，与图5的步骤S21类似，噪声删除部件25确定是否检查了据以产生补 充信息的所有点信息，并且当确定未检查所有点信息时执行步骤S42的处理。在步骤S42，噪声删除部件25将还未检查的预定点信息设置为待检查的信息，并 确定待检查的点信息的纵横比是否等于或大于纵横比阈值。当噪声删除部件25在步骤S42确定待检查的点信息的纵横比等于或大于纵横比 阈值时，噪声删除部件25在步骤S43删除点信息。即，识别纵横比等于或大于异常高的纵 横比阈值的点信息，并将其作为噪声分量删除。在执行了步骤S43的处理之后，或当在步骤S42确定待检查的点信息的纵横比并 不等于或大于纵横比阈值(小于纵横比阈值)时，再次从步骤S41重复相同的处理。另一方面，当噪声删除部件25在步骤S41确定检查了所有的点信息时，删除纵横 比异常高的所有点信息，并且结束处理流程。如上所述，噪声删除部件25可以基于密度值和纵横比，删除被识别为噪声分量的 输入部分。例如，设计操作输入装置21以执行使用用户手指的输入操作，并且与用户手指接 触的接触区域一般是椭圆形的。于是，例如，据以检测到比椭圆形更细长的形状的输入部分 (而不是使用用户手指的输入操作)可以被确定为噪声分量，并且在噪声删除处理中将其 删除。即，设置高密度阈值和低密度阈值以确定用户手指的接触区域，并且将纵横比阈值设 置到最高的纵横比，以便确定用户手指的接触区域。因此，例如通过噪声删除处理可以删除未被确定为使用用户手指的操作输入的输 入部分的点信息，以删除由于施加到输入和输出显示器22的光的变化而检测到的非接触 部分的点信息。于是，可以防止基于非接触部分的点信息的错误操作，由此执行更精确的操 作。图8是图示图3中步骤S6的目标校正处理的流程图。如上所述，在操作输入装置 21中的输入和输出显示器22上所显示的图像的每帧重复地执行处理，并且将当前待处理 的帧适当地称为在时间t的帧。在步骤S51，处理选择器41确定是否已经处理了目标发生器31所产生的所有目标 信息。例如，当用户手指在多个位置与输入和输出显示器22的显示屏幕接触时，目标发生 器31在时间t的帧中识别与多个位置对应的多个目标，并产生多个片段的目标信息。于是， 当目标发生器31产生多个片段的目标信息时，校正器27依次处理各个片段的目标信息。当在步骤S51确定处理选择器41还未处理所有目标信息时，即，当仍然存在还未 处理的目标信息时，执行步骤S52的处理。在步骤S52，处理选择器41将还未处理的目标信息设置为处理目标，确认目标信 息中包括的处理细节，然后执行步骤S53的处理。
10
例如，关于在时间t_l的帧(一帧之前的帧)的处理中由目标发生器31识别为目 标的输入部分的目标信息包括在时间t_l的目标校正处理的处理细节。于是，处理选择器 41参考存储部件44中存储的中间数据之中的、与时间t-1处相同的目标ID所识别出的目 标信息来确认所述细节。当目标信息中未包括处理细节时，处理选择器41将删除处理写入目标信息的处 理细节。即，关于在时间t-1的帧的处理中未识别为目标但关于在时间t的帧的处理中识 别为目标的输入部分的目标信息不包括处理细节。于是，处理选择器41将删除处理写为处 理细节的初始处理。在步骤S53，处理选择器41确定在步骤S52确认(写入)的目标信息的处理细节 (模式)是删除处理(删除模式)还是保存处理(保存模式)。当处理选择器41在步骤S53确定目标信息的处理细节是删除处理(Mode = Delete Mode)时，处理选择器41将目标信息提供到不可靠数据删除部件43，然后执行步骤 S54的处理。在步骤S54，不可靠数据删除部件43对于在步骤S53从处理选择器41提供的 目标信息执行不可靠数据删除处理(图9)。另一方面，当处理选择器41在步骤S53确定处理的目标信息的处理细节是保存处 理(Mode = Hold Mode)时，处理选择器41将目标信息提供到丢失数据保存部件42，然后 执行步骤S55的处理。在步骤S55，丢失数据保存部件42对于在步骤S53从处理选择器41 提供的目标信息执行丢失数据保存处理(图10)。在处理了步骤S54或S55的处理之后，从步骤S51重复地执行处理，直到在步骤 S51确定处理了所有目标信息为止。这里，通过将关于在时间t-1的帧的处理中输出到控制器28的目标信息片段的数 量加到关于在时间t的帧的处理中从发生器26提供的目标信息之中目标ID与关于在时间 t-1的帧的处理中输出到控制器28的目标信息中包括的目标ID不相等的目标信息片段的 数量，来获得目标校正处理的重复次数(即，目标的总数)。图9是图示图8中步骤S54的不可靠数据删除处理的流程图。在步骤S61，不可靠数据删除部件43将目标发生器31在时间t的帧中产生的目标 信息作为在时间t的中间数据存储在存储部件44中，并执行步骤S62的处理。在步骤S62，不可靠数据删除部件43基于在时间t的中间数据的面积值At和在时 间t-1的中间数据的面积值At_i，使用如下表达式⑴计算面积的变化(dA/A)。在时间t-1 的中间数据是在由目标发生器31在时间t-1的帧(先前一个样本)中产生的、且预先作为 中间数据存储在存储部件44中的目标信息之中，具有与处理的中间数据相同的目标ID的 目标信息。dA/A = IAh-AJ/Ah (1)在执行了步骤S62的处理之后，不可靠数据删除部件43在步骤S63确定在步骤 S62计算出的面积的变化是否大于面积变化阈值(Ath)。当不可靠数据删除部件43在步骤S63确定面积的变化大于面积变化阈值(dA/A > Ath)时，执行步骤S64的处理。在步骤S64，不可靠数据删除部件43将新ID分配给处 理的中间数据，并将分配给中间数据的新ID的使用期限设置为1 (Life = 1)。在这种情况 下，由于面积的变化很大，因此可以将对应的操作输入确定为新的操作输入，而非一系列操
11作输入之一，并且将与处理的中间数据对应的目标看作是最近产生的。另一方面，当不可靠数据删除部件43在步骤S63确定面积的变化不大于面积变化 阈值(dA/A ^ Ath)时，执行步骤S65的处理。在步骤S65，不可靠数据删除部件43增大处 理的目标信息的使用期限(Life++)。在这种情况下，由于面积的变化很小，因此可以将对应 的操作输入看作是一系列操作输入中稳定的一个。在执行了步骤S64或S65的处理之后，不可靠数据删除部件43在步骤S66确定处 理的中间数据的使用期限是否大于预定使用期限阈值(Life th)。当不可靠数据删除部件43在步骤S66确定中间数据的使用期限大于预定使用期 限阈值(Life > Life th)时，执行步骤S67的处理。在步骤S67，不可靠数据删除部件43以中间数据代替输出目标数据。在这种情况 下，由于中间数据在规定时间段内具有很小的面积变化，因此可以将中间数据确定为不是 不可靠数据而是由使用用户手指的输入操作引起的数据，并且将中间数据的目标信息输出 到控制器28。为了防止在接下来的处理中具有相同ID的中间数据的丢失，将中间数据的 处理细节设置为保存处理(Mode = Hold Mode)，并且将中间数据的保存时段设置为0(Hold Time = 0)。另一方面，当不可靠数据删除部件43在步骤S66确定目标信息的使用期限不大于 预定使用期限阈值(Life ^ Life th)时，执行步骤S68的处理。在步骤S68，不可靠数据删除部件43清除输出目标数据。在这种情况下，可以将 中间数据确定为不可靠数据，因此不把中间数据的目标信息输出到控制器28。将中间数 据的处理细节设置为删除处理(Mode = Delete Mode)并且将中间数据的保存时段设置为 0(Hold Time = 0)。在执行了步骤S67或S68的处理之后，不可靠数据删除部件43在步骤S69将在时 间t的中间数据存储在发生器26的存储部件32中，然后结束处理流程。即，将在时间t的 中间数据看作目标发生器31在下一帧(在时间t+1的帧)中产生目标信息的处理中所参 照的目标产生基准数据。如上所述，不可靠数据删除部件43可以基于目标的面积变化和使用期限来删除 不可靠数据。于是，可以防止错误操作。图10是图示图8中步骤S55的丢失数据保存处理的流程图。在步骤S71，丢失数据保存部件42将目标发生器31在时间t的帧中产生的目标信 息作为在时间t的中间数据存储在存储部件44中，并执行步骤S72的处理。在步骤S72，丢失数据保存部件42将在时间t_l的输出数据(代替在时间t_l的 输出目标数据的所有目标信息)与在时间t的中间数据进行比较，然后执行步骤S73的处 理。在步骤S73，作为在步骤S72在时间t-1的输出数据与在时间t的中间数据的比较 结果，丢失数据保存部件42确定目标是否丢失。例如，当在步骤S72的比较结果处，检测出在时间t-1的输出数据的处理细节是保 存处理(Mode = Hold Mode)且具有不存在于时间t的中间数据中的目标ID(丢失目标ID) 的目标信息时，丢失数据保存部件42确定对应目标信息的目标丢失。另一方面，当在时间t的中间数据的目标信息中包括的目标ID等于在时间t-1的
12输出数据的目标信息中包括的目标ID时，丢失数据保存部件42确定目标未丢失。当丢失数据保存部件42在步骤S73确定目标丢失时，执行步骤S74的处理。在步骤S74，丢失数据保存部件42针对被确定为丢失的目标，参考在时间t-1的输 出目标数据确定保存时段(Hold Time)是否大于预定保存时段阈值(Hth)。当丢失数据保存部件42在步骤S74确定针对被确定为丢失的目标在时间t_l的 输出目标数据的保存时段大于预定保存时段阈值(Hold Time > Hth)时，执行步骤S75的 处理。在步骤S75，丢失数据保存部件42将中间数据的使用期限设置为l(Life = 1)，然 后执行步骤S76的处理。在步骤S76，丢失数据保存部件42清除输出目标数据。在这种情况下，不把被确定 为丢失的目标的中间数据输出到控制器28。丢失数据保存部件42将中间数据的处理细节 设置为删除处理(Mode = Delete Mode)，并且将中间数据的保存时段设置为0 (Hold Time =0)。在执行了步骤S76的处理之后，在步骤S77，丢失数据保存部件42将在时间t的输 出目标数据作为目标产生基准数据存储在发生器26的存储部件32中，然后结束处理流程。 即，将在时间t的输出目标数据看作是目标发生器31在下一帧(在时间t+1的帧)中产生 目标信息的处理中所参照的目标产生基准数据。在这种情况下，在考虑清除时间t的输出 目标数据并且目标丢失(例如，用户手指等从输入和输出显示器22的显示屏幕分离)的状 态下，执行接下来的处理。另一方面，当丢失数据保存部件42在步骤S74确定针对被确定为丢失的目标在时 间t-1的输出目标数据的保存时段不大于预定保存时段阈值(HoldTime ^ Hth)时，执行步 骤S78的处理。在步骤S78，丢失数据保存部件42增大中间数据的使用期限(Life++)，然后执行 步骤S79的处理。在步骤S79，丢失数据保存部件42将在时间t-1的输出数据(即，在代替时间t_l 的输出目标数据的目标信息之中，被确定为丢失的目标信息)复制到输出数据。在这种情 况下，对于被确定为丢失的目标，输出与先前一帧的目标信息相同的目标信息。丢失数据保 存部件42将中间数据的处理细节设置为保存处理(Mode = Hold Mode)，并且增大中间数据 的保存时段(HoldTime++)。在执行了步骤S79的处理之后，丢失数据保存部件42在步骤S77，将在时间t的 输出目标数据作为目标产生基准数据存储在存储部件32中，并结束处理流程。在这种情况 下，在考虑从时间t-1的输出数据中复制时间t的输出目标数据并且保存丢失的目标的状 态下，执行接下来的处理。另一方面，当丢失数据保存部件42在步骤S73确定目标未丢失时，执行步骤S80 的处理。在步骤S80，丢失数据保存部件42增大时间t的中间数据的使用期限(Life++)， 并执行步骤S81的处理。在步骤S81，丢失数据保存部件42以中间数据代替输出目标数据。在这种情况下， 由于目标未丢失，因此将中间数据输出到控制器28。丢失数据保存部件42将中间数据的
13处理细节设置为保存处理(Mode = Hold Mode)，并将中间数据的保存时段设置为0 (Hold Time = 0)。在步骤S81的处理之后，丢失数据保存部件42在步骤S77，将在时间t的输出目标 数据作为目标产生基准数据存储在存储部件32中，然后结束处理流程。在这种情况下，由 于目标未丢失，因此使用检测到目标来执行接下来的处理。如上所述，丢失数据保存部件42通过在目标丢失时将保存时段设置为等于或小 于预定阈值，可以确定目标暂时丢失。于是，丢失数据保存部件执行将先前一帧的输出数据 保存为目标的处理。于是，通过确定目标暂时丢失，例如，可以防止由于丢失之前和之后的 操作彼此不同这一确定而引起的错误操作。即，如果丢失是暂时的，则可以以作为一系列输 入的操作执行处理。下面将参照图11到图13描述校正器27的操作。在该操作中，将使用期限阈值 (Life th)设置为1，并且将保存时段阈值(Hth)设置为1。在图11到图13中，在水平方向上示出了采样时间，并且时间t从左至右经过。在 图11到图13中，在垂直方向上示出了处理流程。即，从上方至下方，输入到目标发生器31 的输入部分的点信息、目标发生器31产生的目标信息、存储部件44中存储的中间数据、输 出到控制器28的输出目标数据以及存储部件32中存储的目标产生基准数据。图11示出了校正器27的不可靠数据删除部件43中的不可靠数据删除处理的效^ o例如，目标发生器31最近检测时间t+1的目标，将目标ID#1分配给目标，将使用 期限设置为1 (Life = 1)，并将保存时段设置为0 (Hold Time = 0)。处理选择器41将删除 处理写为处理细节的初始处理(图8中步骤S52的处理)。当在时间t+2检测到连续的目标时，目标发生器31将在时间t+1检测到的目标的 目标ID#1分配给目标。然而，在时间t+2检测到的目标突然变化到比在时间t+1检测到的 具有目标ID#1的目标的面积更大的面积。例如，当面积的变化大于面积变化阈值(dA/A > Ath)时，不可靠数据删除部件43将新ID(目标ID#2)分配给在时间t+2检测到的目标(图 9中步骤S64的处理)。由于使用期限等于或小于1 (Life ^ Life th)，因此清除输出目标 数据，并且不输出具有目标ID#2的目标信息(图9中步骤S68的处理)。其后，在时间t+3检测到两个目标，并且目标发生器31将目标ID#2分配给其中的 一个。然而，在时间t+3的具有目标ID#2的目标的面积变化到比在时间t+2的具有目标 ID#2的目标的面积更小的面积。于是，不可靠数据删除部件43将新ID (目标ID#4)分配给 目标，并清除输出目标数据。以这种方式，由于不可靠数据删除部件43执行不可靠数据删除以便不输出作为 不稳定目标的具有面积大变化的目标，因此可以防止由于除了用户的输入操作之外的不稳 定目标引起的错误操作。图12示出校正器27的丢失数据保存部件42中的丢失数据保存处理的效果。例如，目标发生器31最近检测时间t+1的目标，将目标ID#5分配给目标，将使用 期限设置为1 (Life = 1)，并将保存时段设置为0 (Hold Time = 0)。处理选择器41将删除 处理写为处理细节的初始处理(Mode = Delete Mode)(图8中步骤S52的处理)。当在时间t+2检测到连续的目标时，目标发生器31将在时间t+1检测到的目标
14的目标ID#5分配给目标。由于处理细节是删除处理(Mode = DeleteM0de)，因此将目标信 息提供到不可靠数据删除部件43。然而，由于在时间t+2检测到的目标的面积等于在时间 t+1检测到的具有目标ID#5的目标的面积，因此增大了其中间数据的使用期限(图9中步 骤S65的处理)。由于使用期限大于1 (Life > Life th)，因此不可靠数据删除部件43以中间数据 代替输出目标数据，将处理细节设置为保存处理(Mode = Hold Mode)，并将保存时段设置 为0 (Hold Time = 0)。于是，输出目标ID#5的目标信息。假设在时间t+3未检测到目标。然后，由于目标ID#5的中间数据的处理细节是保 存处理，因此丢失数据保存部件42执行丢失数据保存处理，并输出与先前一帧的目标信息 相同的目标信息(图10中步骤S79的处理)。以这种方式，当稳定目标暂时丢失时，通过保存目标，可以将相同ID分配给一系 列操作输入，而不把不同的目标ID分配给丢失之前和之后的操作输入。于是，可以防止由 于输入了两个不同操作这一确定而引起的错误操作。图13示出校正器27的不可靠数据删除部件43中的不可靠数据删除处理的效果。 图14示出当与基于用户手指的输入操作的目标一起产生不稳定目标时的操作。S卩，从时间t+1到时间t+3，将具有目标ID#6的目标检测为稳定输入部分，而在时 间t+2检测到的具有目标ID#7的目标是暂时产生的不稳定目标，因此将其删除。以这种方式，使用用于标识目标的目标ID，每一个目标独立地分发不可靠数据删 除处理和丢失数据保存处理。于是，即使当在用户的输入操作期间产生了不稳定目标时，也 可以仅删除不稳定目标而不影响基于操作输入的目标。以这种方式，通过选择性地执行不可靠数据删除处理和丢失数据保存处理，在具 有输入和输出显示器22的操作输入装置21所执行的更高级别的应用程序中，可以容易地 处理已经从外界输入的多个片段的点信息。通过去除由于施加到输入和输出显示器22的 光的时间或空间变化而引起的噪声分量，可以防止在以不完全反射体(如手指)的操作中 目标丢失，由此防止更高级别的应用程序中的错误操作。图14是图示根据本发明的第二实施例的操作输入装置的配置的框图。在图14中，操作输入装置51包括外部光传感器52、选择处理器53、输入和输出显 示器22、已接收光信号处理器23、图像处理器24、噪声删除部件25、发生器26、校正器27和 控制器28。在图14中，用相同的附图标记和符号表示与图2中所示的操作输入装置21相 同的要素，并且不重复其描述。S卩，图14的操作输入装置51与图2的操作输入装置21的类似之处在于其包括输 入和输出显示器22、已接收光信号处理器23、图像处理器24、噪声删除部件25、发生器26、 校正器27和控制器28。然而，图14的操作输入装置51与图2的操作输入装置21的不同 之处在于其进一步包括外部光传感器52和选择处理器53。外部光传感器52检测施加到输入和输出显示器22的外部光的状态(如外部光的 亮度、外部光的光谱和外部光的施加方向)，获取指示外部光状态的外部光信息，并将外部 光信息提供到处理选择器41和53。选择处理器53基于从外部光传感器52提供的外部光信息，选择是否应该使噪声 删除部件25执行噪声删除处理。例如，当施加到输入和输出显示器22的外部光在图像处
15理器24所检测到的输入部分的点信息中产生噪声分量时，选择处理器53将输入部分的点 信息提供到噪声删除部件25，以执行噪声删除处理。另一方面，当施加到输入和输出显示 器22的外部光未在图像处理器24所检测到的输入部分的点信息中产生噪声分量时，选择 处理器53将输入部分的点信息提供到发生器26。在这种情况下，噪声删除部件25不执行 噪声删除处理。以这种方式，通过促使选择处理器53选择是否应该使噪声删除部件25执行噪声 删除处理，可以跳过噪声删除处理，因此当外部光状态未产生噪声分量时，可以提高处理速度。在操作输入装置51中，将外部光信息从外部光传感器52提供到校正器27的处理 选择器41，并且由校正器27执行基于外部光信息的目标校正处理。例如，根据施加到输入和输出显示器22的外部光的状态，可能存在目标未丢失但 产生了不稳定目标的外部光条件以及未产生不稳定目标但目标丢失的外部光条件。还存在 产生了不稳定目标且目标丢失的外部光条件以及未产生不稳定目标且未丢失目标的外部 光条件。于是，处理选择器41基于从外部光传感器52提供的外部光信息，根据施加到输入 和输出显示器22的外部光的状态，确定要在目标校正处理中执行的处理。S卩，图15是图示在图14所示操作输入装置51中执行的目标校正处理的流程图。在步骤S101，外部光传感器52检测施加到输入和输出显示器22的外部光的状态， 获取外部光信息，并将外部光信息提供到校正器27的处理选择器41。在步骤S102，处理选择器41基于在步骤S101从外部光传感器52提供的外部光信 息，确定当前外部光条件是否为产生了不稳定目标的外部光条件。当处理选择器41在步骤S102确定当前外部光条件是产生了不稳定目标的外部光 条件时，处理选择器41在步骤S103确定当前外部光条件是否为丢失了目标的外部光条件。当处理选择器41在步骤S103确定当前外部光条件是丢失了目标的外部光条件 时，执行步骤S104的处理。在这种情况下，由于当前外部光条件是产生了不稳定目标且丢 失了目标的外部光条件，因此选择性地执行不可靠数据删除处理和丢失数据保存处理中之
o在步骤S104到S108，与图8中的步骤S51到S55类似，对所有目标执行不可靠数 据删除处理和丢失数据保存处理中之一，然后结束处理流程。另一方面，当处理选择器41在步骤S103确定当前外部光条件不是目标丢失的外 部光条件时，执行步骤S109的处理。在这种情况下，施加到输入和输出显示器22的外部光 的状态满足未丢失目标且未产生不稳定目标的外部光条件。在步骤S109，处理选择器41将所有目标信息提供到不可靠数据删除部件43，不可 靠数据删除部件43对所有目标执行不可靠数据删除处理，然后结束处理流程。另一方面，当处理选择器41在步骤S102确定当前外部光条件不是产生了不稳定 目标的外部光条件时，处理选择器41在步骤S110确定当前外部光条件是丢失了目标的外 部光条件。当处理选择器41在步骤S110确定当前外部光条件是丢失了目标的外部光条件 时，执行步骤S111的处理。在这种情况下，施加到输入和输出显示器22的外部光的状态满 足未产生不稳定目标但丢失了目标的外部光条件。
16
在步骤S111，处理选择器41将所有目标信息提供到丢失数据保存部件42，丢失数 据保存部件42对所有目标执行丢失数据保存处理，然后结束处理流程。另一方面，当处理选择器41在步骤S110确定当前外部光条件不是丢失了目标的 外部光条件时，不执行不可靠数据删除处理和丢失数据保存处理，并且结束处理流程。在这 种情况下，施加到输入和输出显示器22的外部光的状态满足未产生不稳定目标且未丢失 目标的外部光条件。如上所述，由于根据外部光条件来选择要执行的处理，因此可以根据使用操作输 入装置51的环境的亮度来执行最佳处理。例如，在丢失了目标的外部光条件或产生了不稳 定目标的外部光条件下，选择要执行的处理以便提高处理性能(例如，执行精确的操作而 不是任何错误的操作)。在目标未丢失且未产生不稳定目标的外部光条件下，选择要执行的 处理以便提高处理速度。于是，可以更有效地防止错误操作。丢失数据保存部件42或不可靠数据删除部件43可以根据外部光条件来优化处理 中所使用的阈值。例如，在目标可能易于丢失的外部光条件下，丢失数据保存部件42可以将保存时 段阈值(Hth)设置为更大的值，以便目标应该难以丢失。在可能易于产生不稳定目标的外 部光条件下，不可靠数据删除部件43可以将使用期限阈值(Life th)设置为更大的值，以 便可以易于删除不稳定目标。图16是图示根据本发明的第三实施例的操作输入装置的配置的框图。在图16中，操作输入装置61包括控制参数调整部件62、目标校正器63、外部光传 感器52、选择处理器53、输入和输出显示器22、已接收光信号处理器23、图像处理器24、噪 声删除部件25、发生器26、校正器27和控制器28。在图16中，用相同的附图标记和符号来 表示与图14所示操作输入装置51的要素相同的要素，并且不重复其描述。S卩，图16的操作输入装置61与图14的操作输入装置51的类似之处在于其包括 外部光传感器52、选择处理器53、输入和输出显示器22、已接收光信号处理器23、图像处理 器24、噪声删除部件25、发生器26、校正器27和控制器28。然而，图16的操作输入装置61 与图14的操作输入装置51的不同之处在于其进一步包括控制参数调整部件62和目标校 正器63。将指示施加到输入和输出显示器22的外部光的状态的外部光信息从外部光传感 器52提供给控制参数调整部件62。控制参数调整部件62调整输入和输出显示器22的 显示屏幕中发光元件的发射强度(Power)或者已接收光信号处理器23中的信号电平下限 (Signal Th)。控制参数调整部件62基于外部光的亮度，调整图像处理器24中的面积上限 (Amax)和面积下限(Amin)。从校正器27的丢失数据保存部件42或不可靠数据删除部件43向目标校正器63 提供经校正的目标信息，并且从外部光传感器52向目标校正器63提供外部光信息。目标 校正器63以基于来自外部光传感器52的外部光信息计算出的增益而将目标信息中包括的 目标的面积值进行放大，并将得到的目标信息提供到控制器28。例如，控制参数调整部件62和目标校正器63可以存储每一个代表性亮度登记参 数的预定设置值(如图17中所示)的表格(其必要部分)。控制参数调整部件62和目标 校正器63根据从外部光传感器52提供的外部光信息中所包括的亮度，可以参照图17中所
17示的表格来确定参数。在图17的表格中，将10、100、1000、10000和100000登记为代表性亮度，并且与代
表性亮度10相关联地登记发射强度Power1(1、信号电平下限Signal Th1(1、面积上限AmaXl(1、 面积下限Amin1(1和增益Gain1(1。类似地，与代表性亮度值100到100000相关联地登记发射 强度 Power1QQ 到 PoWer1(1_、信号电平下限 Signal Th100 到 Signal Th1(1_、面积上限 AmaXl00 到 Amax100000、面积下限 Amin100 至lj Amin100000 禾口增益 Gain100 至lj Gain100000。这里，将描述控制参数调整部件62计算发射强度Powell的示例，在所述发射强度 PoweiY中，来自外部光传感器52的外部光信息的亮度值是L。例如，最大且等于或低于亮 度值L的代表性亮度值是La，而最小且等于或大于亮度值L的代表性亮度值是U。这里，控 制参数调整部件62参照图17中所示的表格，将与代表性亮度值！^相关联的发射强度设置 为Powers并将与代表性亮度值Lb相关联的发射强度设置为P0werb。控制参数调整部件62通过计算如下表达式(2)来计算发射强度Powell
I ogL — I ogLPowerL = (Powerb-Powera) x-~~j——p-+Powera
lOgLb- lOgLa⑵
与发射强度PoweiY类似，可以使用表达式(2)计算除了发射强度Powei^之外的参 信号电平下限Signal 1\、面积上限AmaxL、面积下限AmiriL和增益Gairv 当在表格中登记的代表性亮度值的数量足够大时，可以使用通过简化表达式(2)
数，即
而获得的如下表达式(3)来计算参数。
L-LPower丨=(Powerb-Powera) x-——p-+Powera
Lb~La(3)如上所述，在图16所示的操作输入装置61中，由于基于外部光传感器52的输出 来调整参数，因此可以防止检测率(detection rate)(例如)在高亮度环境下的降低。S卩，在过去的输入和输出面板中，在高亮度环境(如户外)下，不完全反射体(如 手指)引起的光学传感器的信号强度受透射光的影响，并且识别输入的光学传感器的数量 比低亮度环境(如室内)下的更小。例如，在横截面形状是椭圆形的不完全反射体(如手 指)的情况下，在低亮度环境下，接触区域和非接触区域的边界周围的光学传感器的信号 强度突然变化，而在高亮度环境下，接触区域和非接触区域的边界周围的光学传感器的信 号强度缓慢地变化。于是，当在已接收光信号处理和图像处理中使用恒定阈值来执行输入 识别时，识别输入光的光学传感器的数量根据亮度而变化，并且点信息的面积随着更高的 亮度而变得更小。当执行用于删除具有小于预定值的面积的点信息的处理以删除噪声时，可以删除 点信息。结果，在高亮度环境(如户外)下使用不完全反射体(如手指)的输入操作中，识 别输入的光学传感器的数量可能比低亮度环境下的更小，检测率可能由于使用面积值的噪 声删除处理而降低，因此可能降低可操作性。相反，在操作输入装置61中，例如，通过以对应于外部光条件的增益而将输出目 标时的面积值进行放大，可以针对相同的输入目标产生具有相同面积值的目标，而不受周 围环境光的影响。于是，由于可以在高亮度环境和低亮度环境下保持目标的面积恒定，因此 可以防止检测率的下降，并且由此可以维持可操作性。即，可以防止由于外部光条件而引起
18的检测率的下降。在操作输入装置61中，由于在更高级别的应用程序中使用目标的面积的处理中 (例如，在使用由于用户手指的强力按压而引起的接触面积增大的处理中)防止了由于上 述外部光条件所引起的特性的变化，因此可以精确地执行处理。在图14所示的操作输入装置51中，在输入和输出显示器22中排列的多个光学传 感器22A中的一些可以用作外部光传感器52，而不是提供用于检测外部光状态的专用传感 器。以这种方式，当一些光学传感器22A用作用于检测外部光状态的传感器时，可以使用外 部光状态进行控制，而不向操作输入装置51的系统添加新装置。在图16中所示的操作输 入装置16中同样如此。上述一系列处理可以通过硬件或软件实施。当通过软件来实施该系列处理时，将 软件的程序从程序记录介质安装在专用硬件上所装配的计算机或通用个人计算机(其可 以通过将各种程序安装在其之中来执行各种功能)中。图18是图示通过程序的使用来执行上述一系列处理的计算机的硬件配置的框 图。在计算机中，CPU(中央处理单元)101、R0M(只读存储器)102和RAM(随机存取存 储器)103经由总线104彼此连接。另外，输入和输出接口 105连接到总线104。输入和输出接口 105还连接到包括键 盘、鼠标和麦克风的输入单元106、包括显示器和扬声器的输出单元107、包括硬盘或非易 失性存储器的存储器单元108、包括网络接口的通信单元109以及驱动可拆卸介质111 (如， 磁盘、光盘、磁光盘或半导体存储器)的驱动器110。在具有上述配置的计算机中，通过使CPU 101将(例如)存储器单元108中存储 的程序经由输入和输出接口 105和总线104载入到RAM 103并执行该程序来执行上述一系 列处理。计算机(CPU 101)执行的程序记录在可拆卸介质111 (其为封装介质，如磁盘(软 盘)、光盘(CD-R0M(致密盘-只读存储器))、DVD(数字多功能盘)、磁光盘和半导体存储 器)上，或经由有线或无线介质(如LAN、因特网和数字广播)提供。可以通过在驱动器110上安装可拆卸介质111，经由输入和输出接口 105将程序 安装在存储器单元108中。可以由通信单元109经由有线或无线介质来接收程序，并且可 以将程序安装在存储器单元108中。另外，可以将程序预先安装在ROM 102或存储器单元 108 中。计算机所执行的程序未必根据流程图中所述的顺序以时间序列来进行，而是可以 包括并行或单独执行的处理(如，并行处理或使用对象的处理)。可以由一个CPU执行程 序，或者可以由多个CPU分配和执行程序。本发明不限于上述实施例，而是可以在不脱离本发明的精神和范围的情况下以各 种形式进行修改。本申请包含与2009年3月31日向日本专利局提交的日本优先权专利申请JP 2009-087096中公开的主题有关的主题，将其全部内容通过引用的方式合并在此。
19
权利要求
一种操作输入装置，包括输入和输出部件，用于检测与来自外界的、对于显示图像的显示屏幕的多个操作输入对应的光；目标产生部件，用于基于已经经历了来自外界的输入的输入部分的时间或空间位置关系，产生指示一系列输入的目标的信息；丢失数据保存部件，用于当所述目标产生部件所产生的目标暂时丢失时，保存丢失的目标；不可靠数据删除部件，用于当所述目标产生部件产生了不稳定目标时，删除所述不稳定目标；以及处理选择部件，用于选择所述丢失数据保存部件所执行的处理和所述不可靠数据删除部件所执行的处理中的一个。
2.根据权利要求1所述的操作输入装置，进一步包括噪声删除部件，用于提取基于所 述输入和输出部件所检测到的光的输入部分的形状特征，删除具有异常形状特征的输入部 分，并向所述目标产生部件提供不具有异常形状特征的输入部分。
3.根据权利要求1所述的操作输入装置，其中，对所述输入和输出部件的显示屏幕上 显示的图像逐帧重复地执行处理，其中，所述操作输入装置进一步包括存储器部件，用于存储所述目标产生部件所产生 的目标的信息，作为在关于下一帧的处理中所参照的中间数据，以及其中，所述处理选择部件基于所述存储器部件中存储的所述中间数据，选择要对处理 的目标执行的处理。
4.根据权利要求3所述的操作输入装置，其中，当所述存储器部件中存储的所述中间 数据中不存在与处理的目标对应的信息时，所述处理选择部件选择所述不可靠数据删除部 件对处理的目标所执行的处理。
5.根据权利要求1所述的操作输入装置，其中，在所述中间数据中设置一使用期限，该 使用期限指示所述目标产生部件产生了对应于中间数据的目标的信息之后的时间段，以 及其中，当所述使用期限的长度等于或大于预定阈值时，所述处理选择部件将关于下一 帧中目标的处理设置为所述丢失数据保存部件所执行的处理。
6.根据权利要求1所述的操作输入装置，其中，在所述中间数据中设置一保存时段，该 保存时段指示在丢失了对应于中间数据的目标之后直到所述丢失数据保存部件执行保存 处理为止的时间段，以及其中，当所述保存时段的长度等于或大于预定阈值时，所述处理选择部件将关于下一 帧中的目标的处理设置为所述不可靠数据删除部件所执行的处理。
7.根据权利要求1所述的操作输入装置，其中，在所述中间数据中设置一使用期限和 一保存时段，所述使用期限指示所述目标产生部件产生了对应于中间数据的目标的信息 之后的时间段，所述保存时段指示在丢失了对应于中间数据的目标之后直到所述丢失数 据保存部件执行保存处理为止的时间段，以及其中，所述处理选择部件基于所述使用期限的长度和所述保存时段的长度，选择所述 丢失数据保存部件所执行的处理和所述不可靠数据删除部件所执行的处理中的一个作为关于下一帧中处理的目标的处理。
8.根据权利要求1所述的操作输入装置，其中，当基于先前一帧的中间数据的面积的 变化等于或大于预定阈值时，所述不可靠数据删除部件将处理的目标设置为新目标。
9.根据权利要求1所述的操作输入装置，进一步包括外部光检测部件，用于检测向所 述输入和输出部件的显示屏幕所施加的外部光的状态，其中，所述处理选择部件基于所述外部光检测部件检测到的外部光的状态，选择所述 丢失数据保存部件所执行的处理和所述不可靠数据删除部件所执行的处理中的一个。
10.一种操作输入方法，包括如下步骤检测与来自外界的、对于显示图像的显示屏幕的多个操作输入对应的光； 基于已经经历了来自外界的输入的输入部分的时间或空间位置关系，产生指示一系列 输入的目标的信息；当产生的目标暂时丢失时，保存丢失的目标； 当产生了不稳定目标时，删除所述不稳定目标；以及 选择保存目标的处理和删除不可靠目标的处理中的一个。
11.一种使计算机执行如下步骤的程序检测与来自外界的、对于显示图像的显示屏幕的多个操作输入对应的光； 基于已经经历了来自外界的输入的输入部分的时间或空间位置关系，产生指示一系列 输入的目标的信息；当产生的目标暂时丢失时，保存丢失的目标； 当产生了不稳定目标时，删除所述不稳定目标；以及 选择保存目标的处理和删除不可靠目标的处理中的一个。
12.—种操作输入装置，包括输入和输出单元，其配置为检测与来自外界的、对于显示图像的显示屏幕的多个操作 输入对应的光；目标产生单元，其配置为基于已经经历了来自外界的输入的输入部分的时间或空间 位置关系，产生指示一系列输入的目标的信息；丢失数据保存单元，其配置为当所述目标产生单元所产生的目标暂时丢失时，保存丢 失的目标；不可靠数据删除单元，其配置为当所述目标产生单元产生了不稳定目标时，删除所述 不稳定目标；以及处理选择单元，其配置为选择所述丢失数据保存单元所执行的处理和所述不可靠数 据删除单元所执行的处理中的一个。
全文摘要
公开了操作输入装置、操作输入方法和程序。所述操作输入装置包括输入和输出部件，用于检测与来自外界的、对于显示图像的显示屏幕的多个操作输入对应的光；目标产生部件，用于基于已经经历了来自外界的输入的输入部分的时间或空间位置关系，产生指示一系列输入的目标的信息；丢失数据保存部件，用于当由所述目标产生部件产生的目标暂时丢失时，保存丢失的目标；不可靠数据删除部件，用于当所述目标产生部件产生了不稳定目标时，删除所述不稳定目标；以及处理选择部件，用于选择所述丢失数据保存部件所执行的处理和所述不可靠数据删除部件所执行的处理中的一个。
文档编号G06F3/042GK101853108SQ201010145028
公开日2010年10月6日 申请日期2010年3月24日 优先权日2009年3月31日
发明者金原崇文 申请人:索尼公司