专利名称：信息输入设备、信息输入/输出设备和电子设备的制作方法
技术领域：
本发明涉及响应于关于外部邻近物体的信息输入而执行处理的信息输入设备和信息输入/输出设备，以及包括这种信息输入设备的电子设备。
背景技术：
某些图像显示器包括触摸屏。触摸屏的类型包括光学上检测手指等的光学型触摸 屏，以及利用电阻改变的电阻型触摸屏和利用电容改变的电容型触摸屏。例如，在光学型触摸屏中，通过在液晶元件中调制来自背光的光而在其显示表 面上显示图像，并且从显示表面发射、然后被诸如手指之类的邻近物体反射的光被布置 在显示表面上的光接收元件所接收，以便检测该邻近物体的位置等。日本未审查专利申 请公布No. 2004-127272公开了一种这样的图像显示器。在日本未审查专利申请公布 No. 2004-127272中公开的显示器包括一显示部件，该显示部件包括用于显示图像的显示装 置和用于拍摄物体图像的图像拍摄装置。
发明内容
在上述图像显示中，从显示装置发射、然后被外部邻近物体反射以返回到显示装 置的光被光接收元件所检测。但是，在这些光接收元件中，光接收灵敏度由于例如显示器或 光接收元件中的构件(例如面板和背光)的随时间退化而发生改变。此外，不同显示器的 光接收元件的光接收灵敏度有所差别。因此，在某些情况下，即使从单个邻近物体获得光接 收信号，从光接收元件获得的光接收信号也难以获得统一的强度。因此，在响应于这样的光接收信号而检测邻近物体的情况下，难以准确地检测出 邻近物体，并且可能发生位置检测误差等等。换言之，在现有技术的包括光学型触摸屏的信 息输入设备中，难以高度准确地检测手指等，并且存在改进的余地。希望提供这样的信息输入设备、信息输入/输出设备和电子设备，它们能够以高 准确度检测邻近物体，例如手指。根据本发明的实施例，提供了一种信息输入设备包括输入面板，其包括照明光 源、多个第一光接收元件和一个或多个第二光接收元件，所述照明光源发射用于检测外部 邻近物体的检测光，所述多个第一光接收元件接收从照明光源发射、然后被外部邻近物体 反射的检测光，所述第二光接收元件用于监视检测光的强度；校正部件，该校正部件通过使 用由第二光接收元件获得的检测光的强度监视信号，来对由第一光接收元件获得的光接收 信号执行自适应灵敏度校正；以及图像处理部件，该图像处理部件基于从经过校正部件的 灵敏度校正的光接收信号中获得的拍摄图像，来获取关于外部邻近物体的位置、形状和尺 寸中的一项或多项的物体信息。根据本发明的实施例，提供了一种信息输入/输出设备，包括输入/输出面板，其 包括布置在显示表面中的多个显示元件、多个第一光接收元件和一个或多个第二光接收元 件，所述多个第一光接收元件被布置在显示表面上并且接收从显示表面发射、然后被外部邻近物体反射的检测光，所述第二光接收元件用于监视检测光的强度；校正部件，该校正部 件通过使用由第二光接收元件获得的检测光的强度监视信号，来对由第一光接收元件获得 的光接收信号执行自适应灵敏度校正；以及图像处理部件，该图像处理部件基于从经过校 正部件的灵敏度校正的光接收信号中获得的拍摄图像，来获取关于外部邻近物体的位置、 形状和尺寸中的一项或多项的物体信息。 根据本发明的实施例，提供了一种包括上述信息输入设备的电子设备。在根据本发明实施例的信息输入设备、信息输入/输出设备和电子设备中，从照 明光源或显示表面发射、然后被外部邻近物体反射的检测光被第一光接收元件所接收，以 便获得光接收信号。此外，检测光的强度被第二光接收元件所监视，以便获得强度监视信 号。然后，使用强度监视信号对从第一光接收元件获得的光接收信号执行自适应灵敏度校 正。从而，即使在发生由于作为输入面板构件的照明光源(显示元件)或光接收元件随时 间退化等或者不同光接收元件之间存在的光接收灵敏度个体差异所导致的光接收灵敏度 改变的情况下，也可以从单个外部邻近物体获得具有统一强度的光接收信号。在根据本发明实施例的信息输入设备、信息输入/输出设备和电子设备中，使用 从第二光接收元件获得的检测光的强度监视信号对从第一光接收元件获得的光接收信号 执行自适应灵敏度校正。因此，即使光接收灵敏度由于随时间的退化等或者光接收灵敏度 中的个体差异而导致发生改变，也可以从单个外部邻近物体获得具有统一强度的光接收信 号。因此，基于经过这种灵敏度校正的光接收信号来获得关于外部邻近物体的物体信息，从 而能够以高准确度检测诸如手指之类的邻近物体。从以下描述可以更全面地理解本发明的其他和更多目的、特征和优点。
图1是根据本发明第一实施例的信息输入/输出设备的配置的框图。图2是图1所示的信息输入/输出设备的更具体配置的框图。图3是图2所示的输入/输出面板的主传感器的周围部分的更具体配置的截面 图。图4是图2所示的输入/输出面板中的主传感器和灵敏度监视传感器的布置示例 的示意性平面图。图5是图2所示的输入/输出面板的灵敏度监视传感器的周围部分的更具体配置 的截面图。图6是包括图2所示的输入/输出面板中的灵敏度监视传感器的光接收电路的配 置示例的电路图。图7是图1所示的光接收信号处理部件的具体配置的框图。图8是形成灵敏度校正表和平面内(in-plane)校正表的方法示例的流程图。图9是用于描述多个光接收元件被划分成多个块(群组)的情况的示意性平面 图。图10是在形成灵敏度校正表时，灵敏度监视信号强度与光接收信号强度之间的 关系示例的图。图11是在形成灵敏度校正表时，灵敏度监视信号强度与灵敏度校正增益之间的关系示例的图。图12是平面内校正表的示例的示意图。图13是平面内校正表的示例的立体图。图14是根据第一实施例获取物体信息的过程示例的流程图。图15是用于描述图14所示的差异信号的生成的时序图。 图16A和图16B是用于描述在外部光很亮的情况下生成差异信号的图示。图17A和图17B是用于描述在外部光很暗的情况下生成差异信号的图示。图18A到图18D是示出在灵敏度校正增益改变时信号强度分布的示例的图。图19是示出图18A到图18D所示的信号强度分布中的灵敏度校正增益、A/D值与 标准偏差之间的关系示例的图。图20是用于描述图14所示的平面内校正过程的示例的图示。图21是用于描述当获取物体信息时重心坐标的计算的概念图。图22是根据第二实施例获取物体信息的过程示例的流程图。图23是温度与光接收信号和灵敏度监视信号的信号强度之间的关系示例的图。图24A和图24B是用于描述根据第二实施例的温度校正过程的示例的图。图25是根据第二实施例的修改(修改1)的输入/输出面板的简要配置的示意性 平面图。图26是示出根据修改1获取物体信息的过程的流程图。图27是根据第二实施例的修改(修改2)的输入/输出面板的简要配置的示例的 示意性截面图。图28A和图28B是根据修改2的输入/输出面板的简要配置的另一示例的示意图。图29是示出图27以及图28A和28B所示的偏振板中透射率(transmittance)的 温度变化率的波长依赖性的示例的图。图30是示出图27以及图28A和28B所示的偏振板中透射率的温度依赖性(波长 850nm)的示例的图。图31是根据本发明的修改(修改3)的输入/输出面板中的包括灵敏度监视传感 器的光接收电路的配置的电路图。图32是根据本发明的修改(修改4)的输入/输出面板中的包括灵敏度监视传感 器的光接收电路的配置的电路图。图33是根据本发明的又一修改(修改5)的信息输入/输出设备的配置的框图。图34是根据本发明的各个实施例的信息输入/输出设备的应用示例1的外部透 视图。图35A和图35B分别是应用示例2的从前侧的外部透视图和应用示例2的从后侧 的外部透视图。图36是应用示例3的外部透视图。图37是应用示例4的外部透视图。图38A到图38G示出应用示例5 ；图38A和图38B分别是在应用示例5打开的状态 下的前视图和侧视图；并且图38C、图38D、图38E、图38F和图38G分别是在应用示例5闭 合的状态下的前视图、左侧视图、右侧视图、俯视图和仰视图。
具体实施例方式下面将参考附图来详细描述优选实施例。将按以下顺序进行描述。1.第一实施例(在执行灵敏度校正过程和平面内校正过程的情况下的示例)2.第二实施例(在进一步执行温度校正过程的情况下的示例；在灵敏度监视传感器也被用作温度传感器的情况下)第二实施例的修改(修改1在单独布置温度传感器的情况下)(修改2温度校正过程考虑偏振板的温度依赖性)3.第一和第二实施例的公共修改(修改3到5)4.对电子设备的应用示例1.第一实施例信息输入/输出设备的完整配置示例图1示出根据本发明第一实施例的信息输入/输出设备1的示意性配置。图2示 出根据该实施例的信息输入/输出设备1的具体配置。图3示出输入/输出面板的一部分 的放大截面图。如图1所示，信息输入/输出设备1包括显示器10和使用该显示器10的电子设 备主体20。显示器10包括输入/输出面板11、显示信号处理部件12、光接收信号处理部件 13和图像处理部件14，并且电子设备主体20包括控制部分21。输入/输出面板11如图2所示，输入/输出面板11被配置为液晶显示面板，其中以矩阵形式布置有 多个像素16，并且包括显示元件1 la、光接收元件1 Ib和灵敏度监视传感器35 (第二光接收 元件)。显示元件Ila是通过使用从作为光源的背光发射的光在显示表面上显示诸如图 形或字符之类图像的显示元件。光接收元件lib例如是光电二极管之类的光接收元件，其 接收光，以响应于光的接收而输出电信号。光接收元件lib接收从背光发射、然后从位于输 入/输出面板11外部的外部邻近物体(例如手指)反射回的反射光，然后，光接收元件lib 响应于该反射光的接收而输出光接收信号。在本实施例中，多个光接收元件lib在一平面 上被分别布置在像素16中。灵敏度监视传感器35是用于监视从显示表面(在此情况下是背光)发射的光(检 测光)的强度的光接收元件，并且与光接收元件lib的情况一样例如由光电二极管等来配 置。例如，如图2所示，灵敏度监视传感器35在输入/输出面板11的上端区域和下端区域 中的每个区域中成线状布置。灵敏度监视传感器35的配置随后将详细描述(参考图4到 图6)。如图2所示，在输入/输出面板11中，多个光发射/接收单元CWR呈矩阵形式布 置。每个光发射/接收单元CWR包括光发射单元CW和包含在光发射单元CW中的光接收单 元CR。光发射单元CW由液晶单元配置 ，作为显示元件1 la，而光接收单元CR包括主传感器 (第一光接收元件)，该主传感器随后将被描述为光接收元件1 Ib。如图3所示，输入/输出 面板11包括液晶面板310和背光30，其中液晶面板310包括介于一对透明基底311和312之间的绝缘层313到315和液晶层316。背光30充当光源，该光源发射用于图片显示的背 光LB和用于检测外部邻近物体的光(检测光，例如，诸如红外光之类的不可见光)。在液晶 面板310的绝缘层313中形成有遮光金属传感器栅331，并且主传感器34形成在遮光金属 传感器栅331上方、绝缘层314中。此外，连接到主传感器34的金属线36被形成在绝缘层 314和315中。来自被布置在与背光30相对一侧的透明基底312的光进入到主传感器34。 此外，如图3所示，除了该光之外，背光LB也直接进入主传感器34，或者从液晶面板310中 的多层膜或反射层(未示出)中的分界面、金属线36等反射的背光LB间接进入主传感器 34。另外，在某些主传感器34上方的区域中可以布置遮光体332 (随后将描述)，以便获取 上方没有布置遮光体332的主传感器34的光接收信号与上方布置了遮光体332的主传感 器34的光接收信号之间的差异。从而，可以消除上述背光LB的直接光和间接光对来自主 传感器34的光接收信号的影响。
显示信号处理部件12图1所示的显示信号处理部件12是连接到输入/输出面板11的前级的电路，其 驱动输入/输出面板11以便基于显示数据来显示图像。如图2所示，显示信号处理部件12包括显示信号保持控制部件40、光发射侧扫描 器41、显示信号驱动器42和光接收侧扫描器43。显示信号保持控制部件40将针对每一画面(针对显示的每一场)从显示信号生 成部件44输出的显示信号存储并保持在场存储器中，该场存储器例如由SRAM (静态随机访 问存储器)等配置。显示信号保持控制部件40还具有控制光发射侧扫描器41和显示信 号驱动器42以及光接收侧扫描器43来彼此协同工作的功能，其中光发射侧扫描器41和 显示信号驱动器42驱动每个光发射单元CW，光接收侧扫描器43驱动每个光接收单元CR。 更具体而言，基于保持在场存储器中的控制信号和显示信号，光发射定时控制信号和光接 收定时控制信号被分别输出到光发射侧扫描器41和光接收侧扫描器43，并且针对一水平 行的显示信号被输出到显示信号驱动器42。响应于控制信号和显示信号执行行顺序操作 (line-sequentialoperation)0光发射侧扫描器41具有响应于从显示信号保持控制部件40输出的光发射定时控 制信号来选择将被驱动的光发射单元CW的功能。更具体而言，通过连接到输入/输出面板 11的每个像素16的光发射栅极线提供光发射选择信号，以控制光发射元件选择开关。换言 之，当响应于光发射选择信号提供用于接通给定像素16的光发射元件选择开关的电压时， 该像素16发射亮度与从显示信号驱动器42提供的电压相对应的光。显示信号驱动器42具有响应于从显示信号保持控制部件40输出的针对一水平行 的显示信号将显示数据提供到将被驱动的光发射单元CW的功能。更具体而言，与显示数据 相对应的电压通过连接到输入/输出面板11的每个像素16的数据供应线被提供到由上述 光发射侧扫描器41所选择的像素16。当光发射侧扫描器41和显示信号驱动器42彼此协 作执行行顺序操作时，与任意显示数据相对应的图像被显示在输入/输出面板11上。光接收侧扫描器43具有响应于从显示信号保持控制部件40输出的光接收定时控 制信号来选择将被驱动的光接收单元CR (主传感器34)和将被驱动的灵敏度监视传感器35 的功能。更具体而言，为了驱动光接收单元CR，通过连接到输入/输出面板11的每个像素 16的光接收栅极线提供光接收选择信号，以控制光接收元件选择开关。换言之，与上述光发射侧扫描器41的操作情况相同，当响应于光接收选择信号而应用用于接通给定像素16 的光接收元件选择开关的电压时，由该像素16的主传感器34检测到的光接收信号被输出 到光接收信号接收器45。从而，例如，从给定光发射单元CW发射的光中的被触摸输入/输 出面板11或在输入/输出面板11附近的物体反射的光允许被光接收单元CR接收和检测。 另外，灵敏度监视传感器35的驱动随后将描述(参考图6)。光接收侧扫描器43还输出光 接收块控制信号到光接收信号接收器45和光接收信号保持部件46，并且还具有控制对这 些光接收操作作出贡献的块的功能。另外，在根据第一实施例的信息输入/输出设备1中， 上述光发射栅极线和上述光接收栅极线是分别连接到每个光发射/接收单元CWR的，并且 光发射侧扫描器41和光接收侧扫描器43可独立操作。光接收信号处理部件13图1所示的光接收信号处理部件13被连接到输入/输出面板11的后级，并且捕 获来自光接收元件lib (主传感器34)的光接收信号(拍摄的图像)和来自灵敏度监视传 感器35的灵敏度监视信号(强度监视信号)。从而，在光接收信号处理部件13中，执行包 括预定校正过程(随后将描述)的信号处理。光接收信号处理部件13包括图2所示的光 接收信号接收器45和光接收信号保持部件46，并且输出处理后的图像(校正图像)，作为 经过上述信号处理的图像。另外，光接收信号处理部件13的配置随后将详细描述(参考图7到图13)。光接收信号接收器45具有响应于从光接收侧扫描器43输出的光接收块控制信号 来获取来自每个光接收单元CR (每个主传感器34)的针对一水平行的光接收信号和来自每 个灵敏度监视传感器35的灵敏度监视信号的功能。光接收信号和灵敏度监视信号分别通 过光接收信号输出线340和350被输出到光接收信号接收器45。此外，在光接收信号接收 器45中获得的光接收信号和灵敏度监视信号被输出到光接收信号保持部件46。光接收信号保持部件46响应于从光接收侧扫描器43输出的光接收块控制信号来 根据从光接收信号接收器45输出的光接收信号重构针对每一画面(用于显示的每一场) 的光接收信号。这种重构的光接收信号被存储和保持在由例如SRAM等配置的场存储器中。 存储在光接收信号保持部件46中的光接收信号的数据被输出到图像处理部件14。另外，光 接收信号保持部件46可以由除了存储器之外的其他存储元件来配置，并且例如，光接收信 号可以作为模拟数据(电荷)保持在电容元件中。图像处理部件14图像处理部件14(参考图1)被连接到光接收信号处理部件13的后级，并且捕获 来自光接收信号处理部件13的处理后的图像，以执行随后将描述的诸如二值化、除噪或标 记之类的处理(图2中的位置检测部件47)。从而，可以获得关于外部邻近物体的物体信 息，即，关于外部邻近物体的重心或中心坐标以及外部邻近物体的区域(大小或形状)中的 一个或多个的信息。更具体而言，在图像处理部件14中，基于由标签处理部件所获取的标 签信息、位置信息、区域信息等来执行信号处理，以指定被检测的物体所在的位置等。从而， 触摸输入/输出面板11或在输入/输出面板11附近的手指等的位置可以被指定。电子设备主体20电子设备主体20 (参考图1)向显示器10的显示信号处理部件12输出显示数据， 并且来自图像处理部件14的物体信息被输入到电子设备主体20。控制部分21通过使用物体信息来改变显示图像。控制部分21(参考图1)通过使用物体信息来改变显示图像，并且是由例如 CPU(中央处理单元)等来配置的。如图2所示，控制部分21包括显示信号生成部件44。显 示信号生成部件44由CPU等(未示出)配置，并且基于所提供的图像数据来生成用于显示 每个画面(显示的每一场)的显示信号，以将显示信号输出到显示信号保持控制部件40。灵敏度监视传感器的具体配置示例 接下来，参考图4到图6，将描述本实施例中的灵敏度监视传感器35的具体配置。 图4示出输入/输出面板11中的主传感器34和灵敏度监视传感器35的一布置示例。图 5示出输入/输出面板11的灵敏度监视传感器35周围部分的截面配置示例。图6示出包 括输入/输出面板11的灵敏度监视传感器35的光接收电路的配置示例。如图2和图4所示，在输入/输出面板11中，主传感器34和灵敏度监视传感器35 以矩阵形式被布置在整个有效显示区域110中。更具体而言，灵敏度监视传感器35被布置 在以矩阵形式布置的主传感器34上面和下面的一行中。然后，从主传感器34和灵敏度监 视传感器35获取的光接收信号和灵敏度监视信号分别通过光接收信号输出线340和350 被输入到光接收信号处理部件13和图像处理部件14。此外，如图5所示，在输入/输出面板11的液晶面板310中灵敏度监视传感器35 周围的区域具有与图3所示的主传感器34周围的区域基本相同的截面配置。从而，背光 LB也可以直接进入灵敏度监视传感器35，或者从液晶面板310中的多层膜或反射层(未示 出)的分界面、金属线36等反射的背光LB也间接进入灵敏度监视传感器35。此外，背光 LB到灵敏度监视传感器35的入射效率被提高。也可以不布置这样的反射层。但是，在灵敏 度监视传感器35上方的区域中布置有用于防止外部光直接进入的遮光体332。此外，如图6所示，包括灵敏度监视传感器35的光接收电路除了由例如光电二极 管等配置的灵敏度监视传感器35之外，还包括三个晶体管Trl到Tr3、恒定电流源37和放 大器38。三个晶体管Trl到Tr3各自例如由薄膜晶体管(TFT)等配置。在光接收电路中， 灵敏度监视传感器35的阴极被连接到电源VDD，并且灵敏度监视传感器35的阳极被连接到 晶体管Trl的漏极和晶体管Tr2的栅极。此外，晶体管Trl的源极接地，晶体管Trl的栅极 连接到复位信号线Reset。此外，晶体管Tr2的源极连接到电源VDD，晶体管Tr2的漏极连 接到晶体管Tr3的漏极。此外，晶体管Tr3的栅极连接到读取信号线Read，晶体管Tr3的源 极连接到光接收信号输出线340。恒定电流源37连接到光接收信号输出线340。此外，在 充当电压跟随器的放大器38中，同相输入端连接到光接收信号输出线340，反相输入端和 输出端彼此连接，并且灵敏度监视信号被从输出端输出。在具有这种配置的光接收电路中， 复位信号线Reset被改变到“H (高)”状态，晶体管Trl改变到ON状态，从而根据灵敏度监 视传感器35中的光检测的光量，在阳极一侧的光接收电势被复位到地电势。此外，当读取 信号线Read被改变到“H”状态时，充当源极跟随器的晶体管Tr2和Tr3根据在灵敏度监视 传感器35的阳极一侧的光接收电势改变到ON状态，并且光接收电势被输出到光接收信号 输出线340。然后，光接收电势被放大器38放大，从而输出灵敏度监视信号。光接收信号处理部件13的具体配置示例接下来，参考图7，将描述光接收信号处理部件13的具体配置。图7示出光接收信 号处理部件13的具体框图配置。
光接收信号处理部件13包括灵敏度校正部件131、灵敏度校正表132、平面内校正 部件133和平面内校正表134。另外，灵敏度校正部件131和平面内校正部件133对应于本 发明中的“校正部件”的具体示例。灵敏度校正部件131通过使用来自灵敏度监视传感器35的灵敏度监视信号和灵 敏度校正表132来对基于来自主传感器34的光接收信号的差异信号(随后将描述)执行 随后将描述的灵敏度校正过程，以便生成灵敏度校正信号。更具体而言，通过使用灵敏度监 视信号对光接收信号执行自适应灵敏度校正，从而使得基于从单个外部邻近物体反射的背 光LB获得的光接收信号具有统一的强度。另外，随后将详细描述这样的灵敏度校正过程。灵敏度校正表132包括相对于比例直线的反比曲线，所述比例直线以在参考反射 板中的灵敏度监视信号的强度和光接收信号的强度之比为斜率(参见图11中的曲线G12 和G22)。该灵敏度校正表132被存储在存储器(未示出)中。另外，随后将详细描述该灵 敏度校正表132。平面内校正部件133通过使用平面内校正表134对经过灵敏度校正部件131的灵 敏度校正的差异信号(灵敏度校正信号)执行随后将描述的平面内校正(平面内变化校 正)过程，以便生成平面内校正信号。另外，在图像处理部件14中，处理后的图像是基于平 面内校正信号形成的。平面内校正表134由随后将描述的参考反射板形成，并且是用于补偿背光30的平 面内亮度分布以及光接收元件lib (主传感器34)间的接收灵敏度差异的校正表。该平面 内校正表134被存储在存储器(未示出)中。另外，随后将详细描述该平面内校正表134。校正表的具体配置示例接下来，参考图8到图13，将描述灵敏度校正表132和平面内校正表134的具体配 置。图8示出形成灵敏度校正表132和平面内校正表134的方法示例的流程图。在此情况 下，如图9所示，以下将描述使用包括在多个(在此情况下为4个)光发射/接收单元CWR 中所包含的多个(4个)光接收元件lib的块(群组)15作为一个校正单元来执行校正的 情况。首先，在输入/输出面板11的整个表面上方布置参考反射板(未示出)以面对输 入/输出面板11 (图8中的步骤Sll)，该参考反射板的表面具有一致的反射率。在该状态 中，所有作为显示元件Ila的光发射单元CW (液晶单元)都根据来自显示信号处理部件12 的显示信号改变到白显示状态(即，最高灰阶状态)，从而几乎来自背光的所有发射光都从 显示表面发射。来自显示表面的发射光被参考反射板所反射，并且反射光被每个光接收元 件lib中的主传感器34和灵敏度监视传感器35所接收。在此情况下，在光发射单元CW中 的所有彩色光发射单元R、G和B都可以改变到最高灰阶状态以完全显示白色(严格地显示 白色)。可替换地，可以只有特定一种颜色(例如颜色R)的光发射单元改变到最高灰阶状 态(大体地显示白色)，而另外两种颜色(例如颜色G和B)的光发射单元可以改变到最低 灰阶状态(大体地显 示黑色)。另外，液晶单元无论其液晶状态如何(开关状态)都允许红 外光穿过。因此，当在主传感器34和灵敏度监视传感器35中的每一个上布置有红外光选 择通过过滤器(未示出)时，即使液晶单元处在黑显示状态下，通过使用包括在背光30中 的红外光，也允许上述光反射和光接收。接下来，从在每个光接收元件1 Ib中的主传感器34输出的光接收信号和从灵敏度监视传感器35输出的灵敏度监视信号被读出(步骤S12)。在此情况下，针对每个像素16 布置了本实施例中所使用的光接收元件lib。因此，为了减小存储平面内校正表134的存储 器容量，形成包括彼此相邻布置的多个光接收元件lib的一个块15，并且确定针对每个块 15的平面内校正的校正因子。作为示例，如图9所示，在被布置在列方向上和行方向上的像 素16之中，在列方向和行方向上彼此相邻的2X2 = 4个像素16构成一个块15。从而，分 别布置在多个像素16中的光接收元件lib被划分成多个块15，并且每个块15构成一光接 收元件群组。另外，除了图9所示的2X2个光接收元件lib(像素16)之外，任意数目(例 如3X3、2X4、4X4等等)的光接收元件lib都可以构成这样的块15。 接下来，通过计算来确定灵敏度监视平均值A，作为从灵敏度监视传感器35输出 的灵敏度监视信号的幅度(信号强度)的平均值(步骤S13)。更具体而言，首先，例如，从 如图2和4所示的布置在上侧和下侧的多个灵敏度监视传感器35依次获取灵敏度监视信 号。然后，从所获得的灵敏度监视信号之中，只有强度落在预定范围(考虑作为正常强度的 范围)内的灵敏度监视信号被采用，而其他灵敏度监视信号(考虑来自灵敏度监视传感器 35的包含误差的信号)被去除。然后，所采用的灵敏度监视信号的平均值被确定，作为上述 灵敏度监视平均值A。从而，允许在不具有呈现异常值的灵敏度监视信号的情况下确定灵敏 度监视平均值A，因此能够确定更准确的平均值。接下来，通过计算确定光接收平均值B，作为从构成每个块15的光接收元件lib输 出的光接收信号的幅度(信号强度)的平均值。换言之，在每个块15中的反射光的光接收 强度的平均值被确定，作为光接收平均值B。此外，在所获得的多个块15的光接收平均值B 之中的最大值是最大光接收平均值Bmax。换言之，最大亮度块被确定(步骤S14)。接下来，例如，如图10所示，目标输出值Y(目标值)、灵敏度监视平均值A和最大 光接收平均值Bmax被用于通过计算来确定灵敏度校正过程中的灵敏度设置值X (步骤S 15)。这里，目标输出值Y是在参考反射板中设置的光接收信号强度的目标值。更具体而 言，灵敏度设置值X是通过以下公式(1)来确定的。这是因为，如图10中的比例直线Gll 和G21所示，在单独的输入/输出面板11中，灵敏度监视信号强度和光接收信号强度之比 基本是一致的(基本上成比例关系)。换言之，如比例直线Gll和G21所指示的，不同输入 /输出面板11之间的直线斜率根据各自的变化等而存在差异，但是灵敏度监视信号强度和 光接收信号强度基本上具有比例关系。在此情况下，在与比例直线Gll相对应的输入/输 出面板11中，根据这样的各自的变化等，当使用参考反射板时，灵敏度监视平均值Al和最 大光接收平均值Bmaxl被获得。另一方面，在与比例直线G21相对应的输入/输出面板11 中，当使用参考反射板时，灵敏度监视平均值Α2和最大光接收平均值BmaX2被获得。在本 实施例中，(随后将描述细节)，如图中箭头Pll和P21所指示的，在灵敏度监视信号强度和 光接收信号强度之比被保持的同时，执行灵敏度校正，从而使得光接收信号强度达到参考 反射板中的目标输出值Y。X = YX (A/Bmax). . . (1)更具体而言，例如，图11所示的灵敏度校正表132是根据以这种方式确定的灵敏 度设置值X来获得的。换言之，灵敏度校正表132与对应于参考反射板中的目标输出值Y 的灵敏度监视信号强度X(图10中的XI、X2等)和灵敏度校正中的灵敏度校正增益GAIN 相关联。此外，在灵敏度校正增益GAIN中的曲线G12和G22例如分别是相对于图10中的比例直线Gll和G21的反比曲线。然后，通过将对应于该灵敏度监视信号强度的灵敏度校 正增益GAIN乘以光接收信号(差异信号)来执行灵敏度校正。接下来，根据以这种方式确定的作为校正因子的灵敏度设置值X来获得灵敏度校 正表132，该灵敏度校正表132随后被存储在上述存储器(存储装置)中(步骤S 16)。接下来，执行倒数运算，并将运算结果看作平面内校正因子C，所述倒数运算确定 一归一化值的倒数，所述归一化值是通过将在步骤S14中获得的每个块15的光接收平均值 B除以最大光接收平均值Bmax而获得的。换言之，执行由以下公式(2)表示的倒数运算，以 确定平面内校正因子C，作为在平面内校正过程中的校正因子(步骤S17)。C = (Bmax/B)... (2)在此情况下，上述归一化值不可避免地是为1. 0或更小的值，因此作为该归一化 值的倒数的平面内校正因子C不可避免地是为1.0或更大的值。因此，与平面内校正因子 C为1.0或更小的情况相比，存储所需存储器的容量更小。另外，考虑到背光30中的显示 表面平面内亮度分布差异或光接收元件lib之间的光接收灵敏度差异极大的情况不会频 繁发生，因此每个块15的光接收平均值B大致是比最大光接收平均值Bmax稍低的值，并且 因此作为倒数运算的结果的平面内校正因子C的值落在大致稍大于1. 0的相对较窄的范围 内。因此，同样基于这一点，如随后将描述的，存储所需存储器的容量更小。因此，当在步骤S17中对每个块15执行倒数运算以确定所有块15中的平面内校 正因子C时，例如，图12所示的平面内校正表134藉此被获得，并且平面内校正表134被存 储在上述存储器中(步骤S18)。在此情况下，图12所示的平面内校正表134是在如下情况下形成的在显示表面 的行方向和列方向上，即，在X轴方向和y轴方向上，形成在X轴方向上的X = 1,2,3,..·, N个群组，以及在y轴方向上的y= 1，2，3，...，M个群组。然后，这些群组的平面内校正因 子C11，C21，...，CNM被确定。以三维图形为例示出的平面内校正表134如图13所示。在 图13的示意图中，底表面对应于输入/输出面板11的显示表面，并且高度方向对应于平面 内校正因子C。因此，在本实施例中，不是每个光接收元件lib具有平面内校正因子C，而是 将多个光接收元件lib划分成群组以构成块15，并且每个块15具有平面内校正因子C，因 此，允许减少平面内校正因子C的数目，从而存储所需存储器的容量更小。信息输入/输出设备的功能和效果接下来，将描述根据本实施例的信息输入/输出设备1的功能和效果。图14示出 在信息输入/输出设备1中获取物体信息的过程的流程图。获取光接收信号和灵敏度监视信号首先，从电子设备主体20输出的显示数据被输入到显示信号处理部件12。显示信 号处理部件12驱动输入/输出面板11，以便根据显示数据在其上显示图像。在输入/输出面板11中，在从背光30发射的光(背光LB)被用于在显示元件1 Ia 上显示图像的同时，光接收元件lib被驱动。然后，当诸如手指之类的外部邻近物体触摸或 靠近显示元件Ila时，显示在显示元件Ila上的图像被该外部邻近物体反射，并且反射光被 光接收元件lib中的主传感器34所检测。通过该检测，光接收信号被从光接收元件lib中 的主传感器34输出。此外，此时，背光LB被灵敏度监视传感器35 所监视，从而输出灵敏度监视信号。
接下来，光接收信号处理部件13对光接收信号和灵敏度监视信号执行AD转换，以 获得它们的数字信号(图14中的步骤S21)。形成差异图像 然后，光接收信号处理部件13根据光接收信号生成随后将描述的差异信号(差异 图像)(步骤S22)。该差异图像指的是随后将描述的on图像Bon和off图像Aoff之间的 差异图像(随后将描述的差异图像C)。图15示出获得物体信息的过程(差异图像位置确定过程)之中包括形成这种差 异图像C的过程的部分的时序图。首先，在该差异图像位置确定过程中，一个显示帧周期的前半时段是没有发射背 光30中的检测光(例如红外光)的时段(off时段)(图15中时间从tO到t2的时段)。 另一方面，一个显示帧周期的后半时段是发射背光30中的检测光的时段(on时段)(时间 从t2到t4的时段)。在此情况下，首先，在作为一个显示帧周期的前半时段的off时段中，外部光被输 入/输出面板11中的主传感器34所接收。从而，在光接收信号处理部件13中，获得off 图像Aoff (阴影图像)，作为在off时段中(在时间从tl到t2的时段中)对外部邻近物体 的拍摄图像。接下来，在作为一个显示帧周期的后半时段的on时段中，来自外部邻近物体的反 射光和外部光被输入/输出面板11中的主传感器34所接收。从而，在光接收信号处理部 件13中，获得on图像Bon (反射光使用图像)，作为在on时段中(在时间从t3到t4的时 段中)对外部邻近物体的拍摄图像。然后，光接收信号处理部件13形成在on图像Bon与off图像Aoff (在时间从t3 到t4的时段中)之间的差异图像C。在该差异图像C中，外部光亮度的影响被消除，因此可 以在没有外部光亮度影响的情况下检测物体。此外，除了这种外部光的去除之外，由主传感 器34之间或灵敏度监视传感器35之间的特性差异所导致的固定噪声也可以被消除。更具体而言，如图16A的截面图所示，在入射的外部光LO很亮的情况下，在on时 段中的光接收输出电压Vonl如图16B所示。换言之，虽然光接收输出电压Vonl在除了外 部邻近物体(手指)f所触摸的点之外的任意点上都具有与外部光LO的亮度相对应的电压 值Va，但是在手指f所触摸的点上，光接收输出电压Vonl被减小到电压Vb，该电压Vb与此 时触摸该点的手指f的来自背光30的表面反射光的反射率相对应。另一方面，与光接收输 出电压Vonl的情况相同，虽然在off时段中的光接收输出电压Voffl在除了手指f所触摸 的点之外的任意点上都具有与外部光LO的亮度相对应的电压值Va，但是在手指f所触摸的 点上外部光LO被阻挡，从而光接收输出电压Voffl具有极低的电压值Vc。此外，如图17A的截面图所示，在入射的外部光LO很弱(或非常少)的情况下，在 on时段中的光接收输出电压Von2如图17B所示。换言之，虽然光接收输出电压Von2在除 了手指f所触摸的点之外的任意点上都由于非常少的外部光LO而具有非常低的电压值Vc， 但是在手指f所触摸的点上，光接收输出电压Von2被增大到电压Vb，该电压Vb与此时触摸 该点的手指f的来自背光30的表面反射光的反射率相对应。另一方面，在off时段中的光 接收输出电压Voff2在手指f所触摸的点以及任意其他点上仍然具有极低的电压值Vc，并 且不被改变。
因此，从图16A和16B以及图17A和17B之间的比较可以看出，在手指f没有触摸 的点上，存在外部光LO和不存在外部光LO的情况之间光接收输出电压差别极大。但是，在 手指f所触摸的点上，无论是否存在外部光L0，在on时段中的电压Vb和在off时段中的电 压Vc基本处在相同的状态。灵敏度校正过程接下来，光接收信号处理部件13中的灵敏度校正部件131通过使用来自灵敏度监视传感器35的灵敏度监视信号和灵敏度校正表132来对以上述方式生成的差异信号执行 灵敏度校正过程，以生成灵敏度校正信号(步骤S23)。更具体而言，如图10和11所示，对基 于从单个外部邻近物体反射的背光LB所获得的光接收信号执行自适应灵敏度校正，以使 得光接收信号具有一致的强度(目标输出值Y)。更具体而言，如图10中的箭头Pll和P12 所指示的，在保持灵敏度监视信号强度与光接收信号强度之比的同时，执行灵敏度校正，以 使得光接收信号强度具有参考反射板中的目标输出值Y。换言之，如图11所示，灵敏度校正 是通过将与灵敏度监视信号强度相对应的灵敏度校正增益GAIN乘以光接收信号(差异信 号)来执行的。从而，允许进行根据灵敏度监视信号的自适应反馈。因此，即使光接收灵敏 度由于输入/输出面板11或主传感器34中的构件随时间退化而发生改变，或者各个主传 感器34之间存在光接收灵敏度的差异，也能够从单个外部邻近物体获得具有一致强度的 光接收信号。在此情况下，图18A、18B、18C和18D示出在用来乘以差异信号的灵敏度校正增益 GAIN的设置值分别是0. 5倍、1倍、1. 5倍和1. 99倍的情况下，差异信号的显示表面平面内 分布的示例。在这些图中，在显示表面中，χ轴和y轴被设置，并且垂直轴指示A/D值。此 夕卜，图19示出基于图18A到18D的结果的灵敏度校正增益GAIN、A/D值和标准偏差ο之间 的关系。从图18Α到18D和图19显而易见，当灵敏度校正增益GAIN的设置值改变时，差异 信号的强度(A/D值)实际上允许以线性函数的方式改变。平面内校正(平面内变化校正)过程接下来，光接收信号处理部件13中的平面内校正部件133通过使用平面内校正表 134对经过灵敏度校正部件131的灵敏度校正的差异信号(灵敏度校正信号)执行平面内 校正(平面内变化校正)过程，以生成平面内校正信号(步骤S24)。在此情况下，图20示出光接收信号、平面内校正表134和平面内校正信号的示例。 图20(A)示出在平面内的不一致状态的示例，并且垂直轴指示不一致性的幅度，水平轴指 示平面内方向。图20 (B)示出通过将从显示表面发射的光的显示表面平面内强度分布(曲 线G31)与多个光接收元件lib的平面内光接收灵敏度分布(曲线G32)相组合所形成的分 布(曲线G33)的示例，并且垂直轴指示不一致性的幅度，水平轴指示平面内方向。图20(C) 示出在存在由曲线G33所表示的组合分布的情况下，从光接收元件lib中的主传感器34 输出的光接收信号的示例，并且垂直轴指示不一致性的幅度，水平轴指示平面内方向。图 20 (D)示出用于补偿由曲线G33所表示的组合分布的平面内校正表134的示例，并且垂直轴 指示平面内校正因子C，水平轴指示平面内方向。图20(E)示出经过通过将从光接收元件 1 Ib中的主传感器34输出的信号强度乘以由曲线G35所表示的平面内校正表134所获得的 平面内校正之后的信号强度的示例，并且垂直轴指示信号强度，水平轴指示平面内方向。首先，在背光30的表面中的不一致亮度状态例如是如图20㈧中的曲线G31所示，并且在以矩阵形式布置的光接收元件lib的表面中的不一致光接收灵敏度状态例如是 如图20(A)中的曲线G32所示。曲线G31和曲线G32的组合分布例如是如图20(B)中的曲 线G33所示。从而，从光接收元件lib中的主传感器34输出的光接收信号G34的信号强度 在平面中取决于曲线G33(曲线G31和曲线G32)所指示的平面中的不一致状态而存在差因此，在平面内校正部件133中，执行对输入的光接收信号和图20(D)所示的平面 内校正表134的运算(乘法)，以对由图20(C)中的光接收信号G34所表示的在平面中具有 不一致状态的光接收信号G36的强度统一地执行平面内校正，如图20(E)所示。因此，在平 面内校正部件133中，从经过平面内校正过程的光接收信号G36获得拍摄图像(处理后的 图像)。去除噪声——获得物体信息接下来，光接收信号处理部件13通过使用预定噪声数据去除上述处理后的图像 中的噪声(步骤S25)。接下来，图像处理部件14输入经过灵敏度校正过程和平面内校正过程的拍摄图 像(处理后的图像)，并对该处理后的图像执行二值化(binarization)过程(步骤S26)。 换言之，图像处理部件14存储预设的阈值，并执行如下二值化过程取决于处理后的图像 数据的信号强度是小于阈值还是等于或大于阈值，将该处理后的图像数据的信号强度设置 为“0”或“ 1 ”。从而，接收到从外部邻近物体反射的光的部分被设置为“ 1，，，其它部分被设 置为“0”。接下来，图像处理部件14从经过二值化的处理后图像中去除孤立点(isolated point)(步骤S27)。换言之，图像处理部件14在处理后的图像按上述方式被二值化的情况 下，通过去除与外部邻近物体相隔离的被设置为“1”的部分来执行噪声去除。此后，图像处理部件14执行标注过程(S28)。换言之，图像处理部件14在处理后 的图像按上述方式被二值化的情况下，对被设置为“1”的部分执行标注过程。然后，图像处理部件14检测被设置为“1”的区域，作为外部邻近物体的区域，并确 定该区域的重心或中心坐标，以获得物体信息(步骤S29)。更具体而言，例如，如图21所示， 在经过标注过程之后所获得的图像信号中，通过计算确定中心坐标的χ和y值的平均值，以 确定外部邻近物体的重心坐标G。例如，在χ坐标组为(4，3，4，5，2，3，4，5，6，3，4，5，4)并且 y坐标组为(4，3，4，5，2，3，4，5，6，3，4，5，4)的情况下，这些中心坐标为(x，y) = (4，4)，即， 重心坐标G。因此，物体的位置被确定。从而，图14所示的获取物体信息的过程完成，并且 所获取的数据(例如外部邻近物体的位置等)被输出到控制部分21，作为物体信息。另外，此后，在控制部分21中，通过使用从图像处理部件14输入的物体信息来执 行所需过程，例如，改变显示图像。更具体而言，例如，如果在屏幕上显示出操作菜单，并且 检测到该操作菜单中的按钮通过用户手指被选择，则执行与所选按钮相对应的命令。因此，在根据本实施例的信息输入/输出设备1中，通过使用灵敏度监视信号对从 单个外部邻近物体获得的光接收信号执行自适应灵敏度校正，从而使得光接收信号具有一 致的强度。在此情 况下，通常，发生由于输入/输出面板11或主传感器34中的构件(例如 液晶面板310、背光30等等)随时间退化或者主传感器34之间的光接收灵敏度存在个体差 异而导致的光接收灵敏度的改变。但是，即使在这样的情况下，通过上述灵敏度校正，也从该单个外部邻近物体获得了具有一致强度的光接收信号。如上所述，在本实施例中，通过使用由灵敏度监视传感器35获得的背光LB的灵敏度监视信号，对从单个外部邻近物体获得的光接收信号执行自适应灵敏度校正，从而使得 光接收信号具有一致的强度。从而，即使光接收灵敏度由于随时间的退化或者光接收灵敏 度存在个体之间的差异而发生改变，也能够从该单个外部邻近物体获得具有一致强度的光 接收信号。因此，当根据经过这种灵敏度校正的光接收信号获得关于外部邻近物体的物体 信息时，能够以高准确度检测诸如手指之类的邻近物体。此外，背光30的平面内亮度分布和用于补偿光接收元件1 Ib之间的光接收灵敏度 差异的平面内校正表134被用来对来自光接收元件的光接收信号执行平面内校正，所述光 接收元件接收从背光30发射、并随后被外部邻近物体反射的光。从而，基于校正后的光接 收信号，允许执行更准确的图像处理，并且作为结果，可以更准确地检测外部邻近物体。此外，当灵敏度校正表132或平面内校正表134被购买并且随后在将信息输入/ 输出设备1提供给用户之前存储在存储器中时，用户则无需形成这些校正表。但是，当这些 校正表也允许由用户形成时，即使在输入/输出面板11随时间改变的情况下，如果需要，也 允许根据输入/输出面板11中的随时间发生的改变来形成校正表。因此，即使在输入/输 出面板11被使用了很长时间之后，也可以获得被适当地校正过的、高度准确的拍摄图像。另外，在上述实施例中，当形成平面内校正表134时，每个块15的光接收平均值B 和最大光接收平均值Bmax被确定，并且平面内校正因子C是通过使用这些值执行运算来获 得的，但是，平面内校正因子C并不局限于通过该运算所获得的值。例如，取代最大光接收 平均值Bmax，也可以使用任意常数来确定平面内校正因子C。该任意常数可以例如是1，并 且在此情况下，平面内校正因子C简单地是光接收平均值B的倒数。可替换地，取代最大光 接收平均值Bmax，也可以使用期望靠近最大光接收平均值Bmax的值来作为上述常数。在此 情况下，通过将该常数除以每个光接收平均值B所获得的结果是平面内校正因子C。此外， 平面内校正表134可以是任意值，只要平面内校正表134是允许对图2(KA)中的曲线G31 和G32所例示出的平面中的不一致状态进行补偿(消除)的表(即，具有曲线G33的反相 分布的表)即可。此外，在减小(粗略地设置)平面内校正表134中的平面内校正因子C的数目并 且在平面内校正表134中不存在与一块15相对应的平面内校正因子C的情况下，可以基于 已有的块15的平面内校正因子C来执行数据内插。换言之，包括不具有平面内校正因子C 的光接收元件lib的块15的平面内校正因子C可以通过数据内插来确定，并且可以使用通 过内插确定的平面内校正因子C来执行平面内校正。例如，目标块15的平面内校正因子C 可以根据与目标块15相邻的块15的平面内校正因子C来进行内插。从而，防止彼此相邻 的块15的平面内校正因子C之间存在大的差异，并且允许逐渐地改变平面内校正表134。 此外，允许减小用于存储平面内校正表134的所需存储器容量。此外，在上述实施例中，一个块15是由从以矩阵形式布置的光接收元件lib中选 择的彼此相邻的多个光接收元件lib来配置的，并且每个块15的平面内校正因子C被确定 以获得平面内校正表134。但是，针对每个像素16布置的每个光接收元件lib的平面内校 正因子C可被确定，并且多个平面内校正因子C可以被组合来获得平面内校正表134。在此 情况下，与获得每个块15的平面内校正因子C的情况相比，可以在平面内获得更详细的平面内校正因子C，因此可以获得经过具有更高准确性的平面内校正的图像。2.第二实施例 图22示出在根据本发明第二实施例的信息输入/输出设备中获取物体信息的过 程。另外，与根据第一实施例的信息输入/输出设备1相同的组件被标记相同的标号，并且 将不对它们进行描述。此外，在图22的步骤S31到S39之中，除了步骤S33之外的过程(步 骤S3US32和S34到S39)与步骤S2US22和S24到S29相同，并且将不对它们进行描述。在本实施例中，在与步骤S33相对应的灵敏度校正过程中，考虑由于温度波动所 引起的光接收信号和灵敏度监视信号的强度改变而对光接收信号执行温度校正，以便消除 这样的强度改变。更具体而言，在本实施例中，灵敏度监视传感器35还充当温度传感器。换 言之，如图22所示，灵敏度监视信号被输入到灵敏度校正表132A，从而根据环境温度执行 适当的灵敏度校正(以选择适当的灵敏度校正增益GAIN)。更具体而言，首先，通常，例如，如图23(A)所示，光接收信号和灵敏度监视信号的 强度根据环境温度而改变。此时，例如，如图23⑶所示，在某些情况下，在每个温度上，光接收信号强度和灵 敏度监视信号强度之比是一致的(在每个温度上的变化率是一致的)。另一方面，例如，如 图23(C)所示，在每个温度上，在某些情况下，光接收信号强度和灵敏度监视信号强度之比 发生改变(在各个温度上的变化率是不同的)。因此，在灵敏度校正部件131中，例如，如图24B所示，与灵敏度监视信号强度和温 度校正中的温度校正因子(Y/Y')相关联的温度校正表被用于通过将光接收信号乘以温 度校正因子来执行温度校正。更具体而言，首先，在图23 (B)所示的情况下(在每个温度上的变化率一致的情况 下)，如图24Α中的虚线箭头所指示的，考虑灵敏度监视信号强度和光接收信号强度从第一 实施例所描述的设置点Ρ30(Χ，Υ)发生改变的情况。在此情况下，光接收信号强度和灵敏度 监视信号强度之比是一致的(在每个温度上的变化率是一致的)，因此设置点沿着图中的 比例直线G30改变到(X'，YO')。因此，温度校正是通过将光接收信号强度的目标输出值 YO'返回到目标输出值Y(图中的箭头Ρ32所指示的)来执行的。在图24Β所示的温度校 正表中，该温度校正对应于使用由直线G32所指示的温度校正因子(Υ/Υ')来执行温度校 正。另一方面，在图23(C)的情况下(在各个温度上的变化率是不同的情况下)，考虑 如图24Α中的虚线箭头所指示的，灵敏度监视信号强度和光接收信号强度从设置点Ρ30(Χ， Y)发生改变的情况。在此情况下，光接收信号强度和灵敏度监视信号强度之比发生改变 (在各个温度上的变化率是不同的)(参见图中的箭头Ρ31)，因此设置点沿图中的曲线G31 改变到(X'，Yl')。因此，温度校正是通过将光接收信号强度的目标输出值Yl'返回到 目标输出值Y(图中的箭头Ρ32所指示的)来执行的。在图24Β所示的温度校正表中，该温 度校正对应于使用由直线G33所指示的温度校正因子(Υ/Υ')来执行温度校正(参见图中 的箭头Ρ33)。如上所述，在本实施例中，在灵敏度校正部件131中，考虑到由于温度波动所引起 的光接收信号和灵敏度监视信号的强度改变对光接收信号执行温度校正，以便消除这种光 接收信号和灵敏度监视信号的强度改变。因此，即使信号强度由于环境温度波动而发生改变，也可以从单个外部邻近物体获得具有一致强度的光接收信号。因此，基于还经过了这种温度校正的光接收信号来获得关于外部邻近物体的物体信息，从而能够以更高的准确性检 测诸如手指之类的邻近物体。此外，灵敏度监视传感器35还充当温度传感器，因此不需要单独地布置温度传感 器(随后将描述)，因此能够降低制造成本。第二实施例的修改(修改1)例如，如图25所示的输入/输出面板IlA的情况，温度传感器17可以分开布置在 光接收信号处理部件13和图像处理部件14中。在这种输入/输出面板IlA中，例如，允许 执行如图26所示的获取物体信息的过程。换言之，在对应于步骤S43的灵敏度校正过程中， 由温度传感器17检测到的温度传感器信号被输入到灵敏度校正表132B。从而，根据温度传 感器所检测的环境温度来执行适当的灵敏度校正(选择适当的灵敏度校正增益GAIN)。另外，在图26中的步骤S41到S49之中，除了步骤S43之外的过程(步骤S41、S42 和S44到S49)与图14(第一实施例)中的步骤S21、S22和S24到S29相同，并且将不对它 们进行描述。第二实施例的修改(修改2)图27示出根据第二实施例的修改(修改2)的输入/输出面板的一个示例(输入 /输出面板11B)的简要配置的示意性截面图。此外，图28A示出根据该修改的输入/输出 面板的另一示例(输入/输出面板11C)的简要配置的示意性截面图。另外，与第一和第二 实施例相同的组件被标注以相同的标号并且将不对它们进行描述。图27所示的输入/输出面板IlB包括背光30、液晶面板310、框体(frame) 321A 和32IB以及反射板32A和32B。液晶面板310包括包含上述透明基底311和上述绝缘层313到315的TFT基底 31A;液晶层316(未示出)；包含上述透明基底312和彩色过滤器(CF)(未示出)的CF基 底31B ；以及灵敏度监视传感器35。液晶面板310还包括布置在靠近TFT基底31A的背光 30 一侧的偏振板3IC和布置在靠近CF基底3IB的框体32IA和32IB —侧的偏振板31D。框体321A和321B是布置在液晶面板310的末端区域中的框体，并且在此情况下， 如图中箭头所指示的，允许框体321A和321B反射来自背光30的光(检测光)。框体321A 被布置为与偏振板31D相接触，并且框体321B被布置在偏振板31D之上，但是两者之间具 有空气层。反射板32A和32B允许来自背光30的光(检测光)进入到灵敏度监视传感器 35 (如图中箭头所指示的)，并被布置在输入/输出面板IlB的有效显示区域110中。更具 体而言，反射板32A被布置为与偏振板31D相接触，并且反射板32B被布置在偏振板31D之 上，但是两者之间具有空气层。另一方面，图28A所示的输入/输出面板IlC包括背光30、上述液晶面板310、树 脂层320和覆盖板322。覆盖板322包括作为基体的覆盖玻璃322B以及遮光部件322A(参考图28B所示 的平面图)，该遮光部件322A在输入/输出面板IlC中的有效显示区域10的边缘上方形 成遮光区域(框体区域)110A。覆盖板322还包括布置在遮光部件322A(遮光区域110A) 中的反射板32C。更具体而言，反射板32C被布置在偏振板31D上方，两者之间具有树脂层320。与上述反射板32A和32B的情况相同，反射板32C也允许来自背光30的光(检测光) 反射进入灵敏度监视传感器35。另外，上述遮光部件322A也允许来自背光30的光(检测 光)反射进入灵敏度监视传感器35。因此，在该修改中的灵敏度监视传感器35监视通过偏 振板31C和31D获得的来自背光30的光(检测光)的强度。在此情况下，图27和28A所示的偏振板31C和31D分别具有对近红外光(具体而 言，波长区域大约在720到IOOOnm的光)的透射率的温度依赖性，例如如图29和30所示。 更具体而言，例如，如图29所示，在温度从作为基准的室内温度(25°C)改变到70°C的情况 下，偏振板31C和31D中根据温度的透射率变化率对于上述近红外光的波长区域是很大的 (在此情况下，最大大约在8% )。此外，例如，如图30所示，当检查与近红外光相对应的波 长为850nm的光的、在室内温度(25°C )上被标准化的透射率的温度依赖性时，可以确认，标 准化的透射率是随温度增大单调降低的。更具体而言，当温度从_40°C增大到80°C时，标准 化的透射率的值从+7%单调减小到-5%。因此，在输入/输出面板IlB和IlC中的偏振板31C和31D对于近红外光的透射 率具有极大的温度依赖性，因此在近红外光被用作来自背光30的检测光的情况下，难以准 确地检测邻近物体。换言之，由于这种偏振板31C和31D中透射率的温度依赖性，从主传感 器34获得的光接收信号的强度和从灵敏度监视传感器35获得的灵敏度监视信号的强度根 据环境温度而发生极大地改变。因此，在该修改中，在灵敏度校正部件131中，考虑到由于这种偏振板31C和31D 中的透射率的温度依赖性所导致的光接收信号和灵敏度监视信号的强度改变，执行如第二 实施例的情况一样的温度校正。此时，从例如图27和图28A所示的反射板32A、32B和32C反射的来自背光30的检 测光(近红外光)进入灵敏度监视传感器35。但是，例如，如图27所示，框体321A和321B 等可以被使用以替代反射板，并且从框体321A和321B反射的来自背光30的检测光(近红 外光)可以进入灵敏度监视传感器35。此外，例如，如图28A所示，覆盖板322中的遮光部 件322A可以被使用以替代反射板，并且从遮光部件322A反射的来自背光30的检测光(近 红外光)可以进入灵敏度监视传感器35。此外，如图27中的标号P4所指示的，例如，来自 偏振板31D和空气层之间的分界面的反射可以被使用，并且从该分界面反射的来自背光30 的检测光(近红外光)可以进入灵敏度监视传感器35。另外，图28A示出在偏振板31D和 覆盖板322之间布置有树脂层320的示例。但是，例如，在偏振板31D和覆盖板322之间可 以布置空气层。因此，在本修改中，在灵敏度校正部件131中，考虑到偏振板31C和31D中的透射 率的温度依赖性所导致的光接收信号和灵敏度监视信号的强度改变而执行温度校正，因此 通过与第二实施例相同的功能可以获得与第二实施例的相同的效果。换言之，即使信号强 度由于环境温度波动而发生改变，也可以从单个外部邻近物体获得具有一致强度的光接收 信号。因此，基于还经过了这种温度校正的光接收信号来获得关于外部邻近物体的物体信 息，从而能够以更高的准确度检测诸如手指之类的邻近物体。另外，在该修改中，描述了考 虑到偏振板31C和31D中的透射率的温度依赖性所导致的光接收信号和灵敏度监视信号的 强度改变而执行温度校正的情况。但是，在上述第 一实施例中所述的自适应灵敏度校正也 可被应用。从而，即使在偏振板31C和31D中，由于随时间的退化等或光接收灵敏度中存在的个体差异而导致光接收灵敏度的改变，也能够从单个外部邻近物体获得具有一致强度的 光接收信号。3.第一和第二实施例的公共修改(修改3到5)接下来，将描述第一和第二实施例的公共修改(修改3到5)。另外，与第一和第二 实施例相同的组件被标注以相同的标号并且不对它们进行进一步的描述。修改3 图31示出在根据本发明的修改3的输入/输出面板中、包括灵敏度监视传感器35 的光接收电路的电路配置。该修改的光接收电路与图6所示第一实施例中的光接收电路相 比还包括一参考电路391，用于从灵敏度监视信号中减去一偏移分量。在参考电路391中，布置有晶体管Tr2和Tr3。晶体管Tr2的源极连接到电源VDD， 并且晶体管Tr2的漏极连接到晶体管Tr3的漏极，并且晶体管Tr2的栅极接地。此外，晶体 管Tr3的栅极连接到读取信号线Read，晶体管Tr3的源极连接到光接收信号输出线340。此 夕卜，在放大器38中，在灵敏度监视传感器35 —侧的光接收信号输出线340连接到同相输入 端，并且在参考电路391 —侧的光接收信号输出线340连接到反相输入端，并且来自这些输 出线的信号被差分放大。在具有这种配置的修改中，允许减去灵敏度监视信号中的偏移分量(由晶体管 Tr2和Tr3构成的源极跟随器电路中的偏移分量)。因此，允许在不产生第一实施例所述的 差异图像C的情况下减去该偏移分量。修改 4图32示出在根据本发明的修改4的输入/输出面板中、包括灵敏度监视传感器35 的光接收电路的电路配置。在该修改的光接收电路中，布置有参考电路392，以取代图31所 示的根据修改3的光接收电路中的参考电路391。参考电路392具有如下配置在参考电路391中的晶体管Tr2的栅极与地之间添 加了晶体管Trl。换言之，参考电路392除了不存在灵敏度监视传感器35之外，具有与灵敏 度监视传感器35的外围电路相同的配置。在具有这种配置的修改中，与上述修改3相比，参考电路的配置与灵敏度监视传 感器35的外围电路更相似，因此能够以更高的准确度减去灵敏度监视信号中的偏移分量。修改 5图33示出根据本发明的修改5的信息输入/输出设备2的框图配置。信息输入 /输出设备2由于图像处理部件14被布置在电子设备主体20中而与第一实施例中所描述 的信息输入/输出设备1相区别。换言之，在信息输入/输出设备2中，显示信号处理部件 12、输入/输出面板11和光接收信号处理部件13被布置在显示器10中，并且控制部分21 和图像处理部件14被布置在电子设备主体20中。即使在这样的信息输入/输出设备2中， 也能够获得与根据上述实施例的信息输入/输出设备1相同的效果。4.对电子设备的应用示例接下来，参考图34到图38A到38G，将描述在上述实施例和上述修改中所述的信息 输入/输出设备的应用示例。根据上述实施例等的信息输入/输出设备可被应用到任意领 域中的电子设备，例如电视机、数码相机、笔记本个人计算机、便携式终端设备(例如蜂窝 电话)以及摄像机。换言之，根据上述实施例等的信息输入/输出设备可被应用到任意领域中的将从外部输入的图片信号或在内部产生的图片信号显示为图像或照片的电子设备。应用示例1图34示出根据上述实施例等中的任意一个的信息输入/输出设备被应用到的电 视机的外形。该电视机例如具有图片显示屏幕部件510，其包括前面板511和过滤玻璃512。 该图片显示屏幕部件510由根据上述实施例等中的任意一个的信息输入/输出设备来配置。应用示例2图35A和35B示出根据上述实施例等中的任意一个的信息输入/输出设备被应用到的数码相机的外形。该数码相机例如具有用于闪光灯521的光发射部件、显示部件522、 菜单开关523和快门按钮524。显示部件522由根据上述实施例等中的任意一个的信息输 入/输出设备来配置。应用示例3图36示出根据上述实施例等中的任意一个的信息输入/输出设备被应用到的笔 记本个人计算机的外形。该笔记本个人计算机例如具有主体531、用于输入字符等的操作的 键盘532和用于显示图像的显示部件533。该显示部件533由根据上述实施例等中的任意 一个的信息输入/输出设备来配置。应用示例4图37示出根据上述实施例等中的任意一个的信息输入/输出设备被应用到的摄 像机的外形。该摄像机例如具有主体541、布置在主体541的前表面的用于拍摄物体的镜头 542、拍摄启动/停止开关543和显示部件544。该显示部件544由根据上述实施例等中的 任意一个的信息输入/输出设备来配置。应用示例5图38A到38G示出根据上述实施例等中的任意一个的信息输入/输出设备被应用 到的蜂窝电话的外形。该蜂窝电话是通过利用连接部件(枢轴部件)730彼此连接例如顶 部外壳710和底部外壳720来构成的。该蜂窝电话具有显示屏740、子显示屏750、图片灯 760和相机770。显示屏740或子显示屏750由根据上述实施例等中的任意一个的信息输 入/输出设备来配置。虽然参考实施例描述了本发明，但是本发明并不局限于此，而是可以进行各种修 改。例如，在上述实施例等中，灵敏度校正和平面内校正两者都被执行。但是，平面内 校正可以不执行，而是可以仅仅执行灵敏度校正。此外，灵敏度校正和平面内校正的执行顺 序也不局限于上述实施例等所描述的顺序。此外，在上述实施例中，描述了在输入/输出面板中布置有多个灵敏度监视传感 器35的情况。但是，在输入/输出面板中可以布置一个或多个灵敏度监视传感器35。此外，在上述实施例等中，描述了控制部分21被布置在电子设备主体20中的情 况。但是，控制部分21可以被布置在显示器10中。此外，在上述实施例等中，针对一个光发射单元CW布置一个光接收单元CR，但是 一个光接收单元CR可以被分配给多个光发射单元CW。此外，在上述实施例等中，描述了用包括背光30的液晶面板来配置输入/输出面板的情况。但是，用于显示的背光也可以充当用于检测的光源，或者可以只布置用于检测的 光源(照明光源)。此外，在布置用于检测的光源的情况下，更优选地使用除了可见光区域 之外的波长区域中的光(例如红外光)。在上述信息输入/输出设备1和2中，描述了使用液晶显示面板作为输入/输出面 板的配置。但是，本发明的信息输入/输出设备可以具有使用有机电致发光(EL)面板等作 为输入/输出面板的配置。有机EL元件是具有如下特性的显示元件当施加前向偏压时， 发射光，当施加后向偏压时接收光以产生电流。因此，有机EL元件包括显示元件Ila和光 接收元件lib。在此情况下，输入/输出面板通过为每个像素布置有机EL元件来配置，并且 当向每个有机EL元件施加前向偏压以允许每个有机EL元件发光时，图像被显示，并且当向 其他有机EL元件施加后向偏压时，允许这些有机EL元件接收反射光。本发明是参考包括如下输入/输出面板的信息输入/输出设备作为示例来描述 的所述输入/输出面板包括多个显示元件1 Ia和多个光接收元件1 Ib (具有检测外部邻近 物体的检测功能和图像显示功能)。但是，本发明可以应用到包括包含多个光接收元件lib 的输入面板(具有检测外部邻近物体的检测功能)的信息输入设备(图像拍摄设备)。在 这样的输入面板中，布置有发射用于检测外部邻近物体的检测光的光源(照明光源)。换言 之，这样的输入面板和用于基于由控制部分21产生的显示数据来显示图像的输出面板(显 示面板)可以分开布置。上述实施例等中所描述的过程可以由硬件或软件来执行。在由软件执行过程的情 况下，构成软件的程序被安装在通用计算机等中。这样的程序可以被预先存储在安装在计 算机中的记录介质中。本发明包含与2009年1月30日递交到日本特许厅的日本在先专利申请JP 2009-020676所公开的内容相关的主题，该在先申请的全部内容通过引用被结合于此。本领域技术人员应该理解，取决于设计需求和 其他因素可能发生各种修改、组合、 子组合和替换，只要它们落在所附权利要求书及其等同物的范围内即可。
权利要求
一种信息输入设备，包括输入面板，其包括照明光源、多个第一光接收元件和一个或多个第二光接收元件，所述照明光源发射用于检测外部邻近物体的检测光，所述多个第一光接收元件接收从所述照明光源发射、然后被所述外部邻近物体反射的检测光，所述第二光接收元件用于监视所述检测光的强度；校正部件，该校正部件通过使用由所述第二光接收元件获得的检测光的强度监视信号，来对由所述第一光接收元件获得的光接收信号执行自适应灵敏度校正；以及图像处理部件，该图像处理部件基于从经过所述校正部件的灵敏度校正的光接收信号中获得的拍摄图像，来获取关于所述外部邻近物体的位置、形状和尺寸中的一项或多项的物体信息。
2.如权利要求1所述的信息输入设备，其中在所述校正部件保持强度监视信号的强度和来自同一外部邻近物体的光接收信号之 比的同时，所述校正部件通过将所述光接收信号乘以根据所述强度监视信号的强度的灵敏 度校正增益来执行所述灵敏度校正，以使得所述光接收信号的强度达到在所述外部邻近物 体中设置的目标值。
3.如权利要求2所述的信息输入设备，其中所述校正部件使用如下灵敏度校正表来执行所述灵敏度校正，所述灵敏度校正表将与 设置在预定参考反射板中的针对所述光接收信号的强度的目标值相对应的所述强度监视 信号的强度与所述灵敏度校正增益相关联。
4.如权利要求3所述的信息输入设备，其中所述灵敏度校正表包括相对于如下比例直线的反比曲线，所述比例直线以来自所述参 考反射板的灵敏度监视信号的强度与光接收信号的强度之比为斜率。
5.如权利要求1所述的信息输入设备，其中所述校正部件还对所述光接收信号执行温度校正，以便消除由温度波动所导致的所述 光接收信号与所述强度监视信号的强度改变。
6.如权利要求5所述的信息输入设备，其中所述校正部件通过使用将所述强度监视信号的强度与所述温度校正中的温度校正因 子相关联的温度校正表来执行所述温度校正，所述温度校正是通过将所述光接收信号乘以 所述温度校正因子来执行的。
7.如权利要求5所述的信息输入设备，其中所述输入面板还包括温度传感器，并且所述校正部件根据由所述温度传感器检测到的温度来执行所述温度校正。
8.如权利要求1所述的信息输入设备，其中所述输入面板是在显示表面中包括多个第一光接收元件和多个显示元件的输入/输 出面板，所述输入/输出面板包括布置在所述多个显示元件上的偏振板，并且所述第二光接收元件监视通过所述偏振板获得的所述检测光的强度。
9.如权利要求8所述的信息输入设备，其中所述输入/输出面板具有有效显示区域，并且在所述有效显示区域的外部边缘上布置有遮光区域，并且在所述遮光区域中布置有反射板，用于允许来自所述照明光源的所述检测光被反射以 进入所述第二光接收元件。
10.如权利要求8所述的信息输入设备，其中 所述检测光是近红外光。
11.如权利要求1所述的信息输入设备，其中所述输入面板是在显示表面中包括多个第一光接收元件和多个显示元件的输入/输 出面板，所述校正部件还使用平面内校正表对来自每个所述第一光接收元件的光接收信号执 行平面内校正，其中所述平面内校正表将平面内校正因子与在所述显示表面上的位置相关 联，所述平面内校正因子包括了显示表面平面内分布，该显示表面平面内分布根据的是从 所述显示表面发射的光的显示表面平面内强度分布以及多个第一光接收元件的平面内光 接收灵敏度分布两者。
12.如权利要求11所述的信息输入设备，其中所述平面内校正因子的所述显示表面平面内分布是包括所述显示表面平面内强度分 布和所述平面内光接收灵敏度分布的组合分布的反相分布，并且所述校正部件通过将来自每个所述第一光接收元件的光接收信号乘以相应的平面内 校正因子来执行所述平面内校正。
13.如权利要求12所述的信息输入设备，其中所述平面内校正表是通过将所述多个第一光接收元件被划分成的多个块中的每个块 与所述平面内校正因子相关联而形成的。
14.如权利要求13所述的信息输入设备，其中所述平面内校正因子是通过利用所有块的光接收平均值中的最大值对每个光接收平 均值进行归一化而获得的归一化值的倒数，其中所述光接收平均值是通过在将参考反射板 布置为面对所述显示表面的状态下、当照亮所述显示表面时对来自每个所述块中的第一光 接收元件的光接收信号取平均而获得的。
15.如权利要求12所述的信息输入设备，其中所述平面内校正表是与每个所述第一光接收元件中的平面内校正因子相关联地形成的。
16.如权利要求15所述的信息输入设备，其中所述平面内校正因子是通过利用所有光接收信号中的最大值对每个光接收信号的值 进行归一化而获得的归一化值的倒数，其中所述光接收信号是在将参考反射板布置为面对 所述显示表面的状态下、当照亮所述显示表面时从每个所述第一光接收元件获得的。
17.如权利要求1所述的信息输入设备，其中所述输入面板包括光接收电路，该光接收电路包括所述第二光接收元件，并且 在所述光接收电路中布置有参考电路，用于在所述强度监视信号中减去偏移噪声分量。
18.如权利要求1所述的信息输入设备，其中 所述检测光是红外光。
19.一种信息输入/输出设备，包括输入/输出面板，其包括布置在显示表面中的多个显示元件、多个第一光接收元件和 一个或多个第二光接收元件，所述多个第一光接收元件被布置在所述显示表面上并且接收 从所述显示表面发射、然后被外部邻近物体反射的检测光，所述第二光接收元件用于监视 所述检测光的强度；校正部件，该校正部件通过使用由所述第二光接收元件获得的检测光的强度监视信 号，来对由所述第一光接收元件获得的光接收信号执行自适应灵敏度校正；以及图像处理部件，该图像处理部件基于从经过所述校正部件的灵敏度校正的光接收信号 中获得的拍摄图像，来获取关于所述外部邻近物体的位置、形状和尺寸中的一项或多项的 物体信息。
20.一种包含信息输入设备的电子设备，其中所述信息输入设备包括输入面板，其包括照明光源、多个第一光接收元件和一个或多个第二光接收元件，所述 照明光源发射用于检测外部邻近物体的检测光，所述多个第一光接收元件接收从所述照明 光源发射、然后被所述外部邻近物体反射的检测光，所述第二光接收元件用于监视所述检 测光的强度；校正部件，该校正部件通过使用由所述第二光接收元件获得的检测光的强度监视信 号，来对由所述第一光接收元件获得的光接收信号执行自适应灵敏度校正；以及图像处理部件，该图像处理部件基于从经过所述校正部件的灵敏度校正的光接收信号 中获得的拍摄图像，来获取关于所述外部邻近物体的位置、形状和尺寸中的一项或多项的 物体信息。
全文摘要
本发明提供了信息输入设备、信息输入/输出设备和电子设备。信息输入设备包括输入面板，其包括照明光源、多个第一光接收元件和一个或多个第二光接收元件，所述照明光源发射用于检测外部邻近物体的检测光，所述多个第一光接收元件接收从照明光源发射、然后被外部邻近物体反射的检测光，所述第二光接收元件用于监视检测光的强度；校正部件，该校正部件通过使用由第二光接收元件获得的检测光的强度监视信号，来对由第一光接收元件获得的光接收信号执行自适应灵敏度校正；以及图像处理部件，该图像处理部件基于从经过校正部件的灵敏度校正的光接收信号中获得的拍摄图像，来获取关于外部邻近物体的位置、形状和尺寸中的一项或多项的物体信息。
文档编号G06F3/042GK101847062SQ20101010722
公开日2010年9月29日 申请日期2010年2月1日 优先权日2009年1月30日
发明者仲岛义晴, 千田满, 原田勉, 山中刚, 高间大辅 申请人:索尼公司