集成有相机阵列的显示器的制造方法
【专利说明】集成有相机阵列的显示器
【背景技术】
[0001] 随着计算装置提供增加的处理能力和功能性，用户能够以越来越多种类的方式来 提供输入。举例来说，用户可能够通过在距计算装置某一距离处执行运动或示意动作来控 制计算装置，其中所述示意动作是使用用户的手或手指来执行。对于某些装置，使用能够检 视用户的相机所捕获的图像来确定示意动作，从而使所述装置能够确定所述用户所执行的 运动。然而，在一些情况下，用户的至少一部分将不在相机的视野内，这可能妨碍装置成功 确定正执行的运动或示意动作。虽然电容性触摸接近可感测非常靠近装置的触摸屏的手指 的存在，但相机的视野之外仍存在较大的死区，其妨碍确定用户手指的位置或移动。
【附图说明】
[0002] 将参考附图描述根据本公开的各种实施方案，其中：
[0003]图1说明根据各种实施方案的其中用户正与计算装置交互的实例情形；
[0004] 图2(a)、2(b)和2(c)说明可根据各种实施方案利用的实例相机阵列的视图；
[0005] 图3(a)、3(b)、3(c)、3(d)、3(e)和3(f)说明可使用根据各种实施方案的相机阵列 捕获的实例图像；
[0006] 图4(a)和4(b)说明根据各种实施方案的用于操作相机阵列的实例过程的部分；
[0007] 图5(a)、5(b)、5(c)和5(d)说明使用可根据各种实施方案利用的相机元件的组合 来确定特征位置的实例方法；
[0008] 图6说明可根据各种实施方案利用的实例装置；
[0009] 图7说明可在例如图6中所说明的装置中利用的一组实例组件；以及
[0010] 图8说明其中可实现各种实施方案的环境的实例。
【具体实施方式】
[0011] 根据本公开各种实施方案的系统和方法可克服前面提到的缺陷以及将输入提供 给电子装置的常规方法中所经历的其它缺陷中的一个或多个。明确地说，本文所论述的方 法利用相机元件的组合来捕获用户的特征（或正由用户握着的物体等）的图像和/或视 频，以用于确定用户所执行的运动、示意动作或其它此类动作。在至少一些实施方案中，当 特征（或物体）在装置的至少一个相机的视野中时，可使用一个或多个常规相机来捕获用 户特征的图像，例如用户的指尖，或用户握着的物体。所述装置还可包含相对较低分辨率相 机阵列，其可与装置的显示屏（或其它至少半透明元件）集成或接近其而定位，使得所述阵 列的元件可捕获经过显示屏的光（例如，环境光或IR光）。
[0012] 在至少一些实施方案中，所述阵列的每一元件是单独的光或辐射检测器，例如光 电二极管。在至少一些实施方案中，个别检测器可定位在显示屏"后面"，且在一些实施方案 中，可定位在IR透射片或能够阻止环境光被元件检测到的其它此类元件后面，从而使相机 阵列甚至在显示屏正积极显示内容时也能够操作。一个或多个照明元件可经配置以发射将 从附近物体反射且被阵列检测到的光。由于在至少一些实施方案中，检测器不具有透镜，因 此所述阵列将仅能够在距阵列某一距离范围内捕获可辨别图像。发射器可发射IR，其可穿 过IR透射片，且使得能够独立于屏幕的操作而确定屏幕附近的物体的位置。在至少一些实 施方案中，可结合来自不同IR发射器的不同方向的照明来捕获图像，以便获得在确定正检 测的特征的定向或其它方面中有用的深度信息。
[0013] 下文关于各种实施方案中的至少一些来描述和建议许多其它替代和变化。
[0014] 图1说明其中可实现各种实施方案的方面的实例环境100。在此实例中，用户102 正试图使用用户的手指106将示意动作输入提供给计算装置104。尽管展示便携式计算装 置（例如，电子书阅读器、智能电话或平板计算机），但应理解，根据本文所论述的各种实施 方案，可使用能够接收、确定和/或处理输入的任何电子装置，其中所述装置可包含（例如） 桌上型计算机、笔记本型计算机、个人数据助理、视频游戏控制台、电视机顶盒、智能电视机 以及便携式媒体播放器等等。
[0015] 在此实例中，计算装置104可包含一个或多个相机108,其经配置以捕获包含用户 手指106的视图的图像信息，其可由在计算装置上执行的应用程序分析，以确定手指相对 于计算装置104的相对位置。所述图像信息可为使用环境或红外光（以及此类选项）捕获 的静止图像或视频信息。另外，在各种实施方案的范围内，可使用任何适当数目的相同或不 同类型的相机。所述应用程序可确定手指（或另一此类物体）的位置，且可通过分析捕获 的图像信息来随时间跟踪手指的位置，以便允许向装置的运动和/或示意动作输入。举例 来说，用户可上下移动手指以调整音量，在平面内移动手指以控制虚拟光标，等等。
[0016] 然而，依靠相机信息可能具有某些缺点，因为每一相机将通常具有受限的视野，即 使对于广角透镜（即，例如具有大约120度的捕获角度）来说也是如此。即使鱼眼或其它 广角透镜也具有受限的视野，或至少提供在视野的边缘附近有些失真的图像。因此，在计算 装置周围通常将存在一个或多个死区，其中物体可能在相机中的任一个的视野之外。在指 尖进入至少一个相机的视野之前，装置无法在从相机中的任一个捕获的图像中定位指尖， 且因此无法确定或跟踪特征的运动。
[0017] 根据各种实施方案的方法可通过利用经定位以捕获穿过装置的显示屏或其它此 类元件的光（例如，环境或IR)的相机阵列（或传感器阵列）来解决计算装置上的一个或 多个相机的视野之间和/或视野之外的死区中的至少一些。根据各种实施方案，相机阵列 可与显示元件集成，或以其它方式相对于显示元件定位。在具有多个显示元件的装置中，可 存在多个相机阵列，其用来检测那些元件附近的运动、示意动作、徘徊或其它动作，所述元 件可能在装置上的至少一个常规相机的视野之外。
[0018] 图2(a)说明可根据各种实施方案利用的实例相机阵列的横截面图200。在此实例 中，所述阵列定位在显示屏"后面"，显示屏可至少包含显示层202,其可为至少半透明的，至 少部分地基于显示屏的类型（例如，IXD或0LED)。取决于显示器的类型，可利用也是已知 或用于此类目的的各种其它层和组件。举例来说，IXD显示器可包含背光层204,其用于接 收和引导光206 (来自装置上的来源，例如至少一个LED)穿过显示层202,以便在显示屏上 生成图像。此实例中的相机阵列包含定位在印刷电路板（PCB)、柔性电路或其它此类（大 体上平坦或平面）衬底212上的检测器阵列214,例如光电二极管，其中所述检测器定位在 朝向显示屏的一侧上，以便能够捕获从计算装置的外部入射在显示层202上且穿过显示层 202的光。然而，应理解，在各种实施方案的范围内，也可使用各种类型的单值或多值光或 辐射传感器。另外，显示器的其它层可充当各种发射器和/或检测器的衬底或支撑件，使得 在一些实施方案中不使用单独的衬底层。在具有背光层206的显示器中，检测器可相对于 显示层202定位在背光层206"后面"，因为归因于可包含复杂性和成本等因素，衬底212上 (或中）的电路、线路和/或其它组件在至少一些实施方案中通常将不是透明的。
[0019] 在此实例中，检测器214在两个维度中以规则间隔定位，间隔开相对固定的量，但 也可使用其它配置。可至少部分地基于每一检测器的大小、显示屏的大小和/或相机阵列 的所要分辨率以及其它此类因素来确定间距。在至少一些实施方案中，所述检测器中无一 个将含有聚焦透镜，使得相机阵列将有效地充当近场相机。透镜的缺乏可导致每一检测器 直接感测从手指返回的光，所述光在至少一些实施方案中只能从在距屏幕相对较短距离内 (例如在小于一或二英寸的范围内）的手指或其它物体辨别。超过所述范围的任何东西都 可能过于模糊而无法辨别，但由于常规相机配置的死区可为距显示屏大约两英寸或更小， 因此此范围至少对于确定特征在死区内的接近位置可为足够的。
[0020] 此方法具有优点，因为透镜的缺乏允许相机阵列相对较薄，这对于具有有限空间 的装置（例如便携式计算装置）来说可为合意的。另外，所述阵列可为相对便宜的，且不需 要光学对准，这在随阵列包含透镜时原本可能是需要的。由于相机阵列既定覆盖的距离相 对较靠近装置，例如在如上文所论述的相机死区内，因此当可在无此类透镜的情况下确定 指尖（或另一此类物体）的位置时，添加透镜的优点可能很少。
[0021] 在一些实施方案中，例如对于大体上透明的0LED显示器来说，检测器可捕获穿过 显示层的环境（或其它）光。然而，对于例如IXD显示器等显示装置，可能需要对检测器进 行定时以在显示器的刷新时间之间捕获图像，以便防止检测器饱和，或至少防止所捕获的 图像数据被来自正在显示屏上渲染的图像的光占领或污染。至少一些显示屏组合件包含至 少部分不透明背板层208,其可防止光被引导到装置中，且/或在显示器不再显示内容时， 使显示屏看起来是黑色（或另一适当颜色）。如果结合显示屏使用背板层208,那么检测器 可经定位以捕获穿过背板中的孔或开口的光，或所述检测器可至少部分地穿过背板层，以 及此类选项。
[0022] 在图2(a)的实例中，检测器经配置以捕获（至少）穿过显示层202的红外（IR) 光。在至少一些实施方案中，一个或多个IR发射器216 (例如，IRLED)可定位在装置上， 以使IR光被发射，所述IR光可由死区中的任何物体反射，使得反射的IR光的至少一部分 可由光电二极管214检测。虽然任何合适数目的IR发射器均可定位在装置上的任何合适 位置处，但在此实例中，存在定位于衬底212上的多个发射器216,以便引导光"向上"穿过 显示层（图中），其中所反射的光被引导返回"向下"穿过所述层。应理解，为了便于阐释， 使用例如"上"和"下"等方向，且不应将其解释为所需的方向，除非针对特定实施方案另有 陈述。另外，如所提到，在至少一些实施方案中，可将一个或多个发射器定位成远离衬底，例 如散布在显示器的背光的光源之间，以及此类选项。可使用可定位在衬底212的边缘处的 控制电路218和/或组件来控制和/或操作发射器和检测器，例如以便对IR的发射以及检 测器的检测进行定时。控制电路可包含用于收集和/或分析从检测器收集到的图像数据的 一个或多个处理器，或可将所述数据传递给所述装置的至少一个其它处理器（未图示）。可 使用离散读出电路，其可经历行/列选择过程以寻址每一检测器，因为有限的数目可使串 行读取过程能够相对快速地执行，但在一些方法中，可至少部分地并行执行所述读取。
[0023] 如所提到，显示屏可具有定位在显示层202 "后面"的背板208或其它至少部分地 不透明的层（例如，塑料或类似材料的黑片）。在至少一些实施方案中，此层可在可见光谱 内大体上不透明，但可允许IR光谱的至少一部分的发射。因此，可将发射器216和检测器 214定位在背板的后面，且经配置以分别发射和捕获穿过背板208的IR。能够利用穿过背板 层的IR的优点在于所述检测可在任何时间发生，独立于显示屏的操作。另外，入射在装置 上的环境光将不可能干扰检测器所检测到的光，例如在检测器可能不是专用IR检测器而 是可能够在较宽的波长范围