双向显示器及其控制的制作方法
【专利摘要】本发明涉及一种双向显示器，其具有包括多个发光像素的二维显示器阵列和包括多个光检测元件的二维相机阵列，其中这两阵列均可被逐行电触发以及在至少一些区域更适宜隔行扫描，特征在于，在该显示器阵列和相机阵列的电触发中，在该显示器阵列的行的发光期间，与所述行最接近的该相机阵列的行的光检测不起作用，即，该双向显示器的以行为顺序的电触发不起作用。
【专利说明】双向显示器及其控制[0001 ] 本发明涉及一种双向显示器及其电控制。[0002]例如，这种双向显示器能够特别使用于检测所谓的“头戴式显示器”(HMD)中的眼睛注视方向。在下文中，由此将首要参考这种HMD来描述依据本发明的双向显示器的实施例。然而，依据本发明的双向显示器也能够用于其他应用目的，例如用于数码相机用来控制菜单的视向控制取景窗。也可用于显微镜领域的使用者控制，例如通过视向控制来移动xy载台。进一步的应用领域是可以想象到的。
[0003]使用眼球追踪功能的HMD首先获知于每个HMD具有分离的组件以供虚像投射以及供检测使用者的视向方向的现有技术中(J.P.Rolland, H.Hua, P.Krishnashwamy:“Video-based eye tracking methods and algorithms in head-mounted displays，，，optics express (2006), Vol.14, H.10, p.4328-4350)。在此情况下，眼睛看穿半透明镜片而看到真实世界。虚拟显示图像被目镜放大且经由半透明镜片显现在眼球上。眼球被红外光放射源所照射且眼睛图像经由第二半透明镜片通过透镜而在相机中成像。由于显示器和相机在空间上分离的配置，在这样的HMD中并不会有光学或电串扰产生。然而这种系统架构由于需要大量的组件，因而仅可达到一定程度的小型化和中等的功率消耗。
[0004]此外，光学配置获知于至少一个发射电磁辐射元件与多个检测电磁辐射元件配置在一起或者至少一个检测电磁辐射元件与多个发射电磁辐射元件配置在共同基板上的现有技术(DE102006030541A1)中。在此情况下发射辐射和检测辐射的元件可用CMOS技术来实施(发射辐射元件可以是有机发光二极管，OLED ;检测辐射元件可以是CMOS光敏二极管)。显示在DE102006030541A1中的配置(见下文)可构成依据本发明(其稍后将由依据本发明的电控制来补充)的双向显示器的显示器阵列和相机阵列的基础。DE102006030541A1和叙述于其中的特定光学配置就因此作为本发明显示器阵列结构和相机阵列结构的组成部分。
[0005]双向显示器，例如以双向OLED微显示器的形式的用于检测眼睛视向方向的头戴式显示器，因此可以基于DE102006030541A1而实施成特别微小。然而，除了高功能性微小化的好处以外，在此情况下产生了一方面是操作时投射光密集虚拟图像至使用者且另一方面是检测眼睛图像以稳定地进行眼球追踪的各种问题。由于双向OLED微显示器的架构，OLED像素(在下文中非常普遍地也称为发光像素)与邻近的相机像素(下文中也称为光检测元件)产生的光学串扰发生在嵌套有源矩阵(显示器阵列和相机阵列彼此嵌套，见下文)内。然而，此光学串扰将使得光检测元件的输出信号的动态范围非常受限。此外，由于电路上的电路元件相互邻近，不仅有光学串扰也会有电串扰产生。由于例如在嵌套的显示器阵列和相机阵列内部信号线上的电容串扰，此电串扰之后将造成光检测元件的信号的干扰。
[0006](发生在HMD中的双向显示器的进一步问题是位于微显示器至视网膜的虚拟图像投射和眼睛图像在双向显示器的相机阵列上的成像之间所产生的光学去耦合。然而，此去耦合是在眼睛图像于近红外光范围被检测到时发生。在系统方面，使用者的眼球因此必须以近红外光范围的光线来照射。使用者眼球所反射的红外光辐射强度在此方面受制于系统中不同的消耗机制和法定限制的最大辐射强度。在双向微显示器内被检测到的眼睛图像品质会因为系统组件尺寸选择非最佳化而变差。系统的功率消耗进一步增加。劣质的图像品质甚至无法进行眼球追踪。)
[0007]以现有技术为由，本发明的目的因而在于提供可解决上述问题的双向显示器，并且在具有高度微小化的情况下确保有足够的光学和/或电的去耦合。
[0008]此目的由根据权利要求1的双向显示器和根据权利要求16的控制此类显示器的方法来达成。较优的实施例变型可见于附加的权利要求。依据本发明的用途可见于权利要求17。
[0009]本发明将首先在下文作一般性的叙述，之后再参考各种较优的实施例的变型加以叙述。在单独实施例中由本发明的单独各项特征互相组合而实施的发明的单独各项特征在此情况下没有必要与显示于各个实施例中的特征互相组合而精确地实施，但单独的各项特征也可以在权利要求所定义的保护范围框架内以不同的方式相互组合。显示于特定实施例中的单独各项特征也可特别地加以删除或也可被所显示实施例中的其他特征所取代。
[0010]依据本发明的双向显示器是基于显示器阵列和相机阵列两者之一的嵌套和/或重叠阵列结构，即是基于既是图像再现又是图像接收的阵列结构。一方面取决于相机定义的需求，另一方面取决于显示器定义的需求，光检测元件，即相机像素，可以例如被多个发光像素所包围，即被多个图像像素所包围，或者图像像素可以例如被多个相机像素所包围。相机像素和图像像素以每一个显示行交互排列(相机像素和图像像素的棋盘状图案)的配置就如同发光像素和光检测元件的互相嵌套的其他类型是可以设想的。
[0011]下文中除非另有注明，发光像素的最大发射光谱范围(例如:在可见光范围内的最大强度)是被放置足够远离光检测元件的最大灵敏度的光谱范围(例如:在近红外光谱内)使得尽管没有足够的光学去耦合，凭借这种措施已实施一定的去耦合。
[0012]依据本发明的双向显示器具有包含多个发光像素的显示器阵列以及包含多个光检测元件的相机阵列。这两阵列优选地是各自可逐行地电控制且优选是至少逐区地，尤其是优选彼此完全地嵌套排列(见以上对于有源阵列的解释)。
[0013]一般而言，显示器阵列和相机阵列二者均为二维阵列。然而，也可以了解的是，例如，这些阵列之一(例如相机阵列)仅必须被设计成一维阵列，即设计成单行且嵌套排列在另一阵列的一行中或者两行之间。
[0014]依据本发明实施在时间方面的顺序电控制。在此情况下，尤其是该显示器阵列及该相机阵列的电控制可被实施使得在该显示器阵列的一行的发光期间，由最邻近该行的该相机阵列的行(也可以是更远的相机行)所执行的光检测被关闭。该双向显示器的行顺序的电控制因此可特别地以以下的方式进行:首先在该显示器阵列的选定行发光；在此行发光结束之后，最邻近该显示器阵列的该行的该相机阵列的行启动，且该相机阵列的行拍摄图像。
[0015]本发明因此也自然地包含了逐列电控制而非逐行控制:所述阵列划分为行和列纯粹是定义问题使得(所述阵列旋转例如90° )列也可被考虑成行使得所述阵列的相应逐列控制也同等地被本发明所涵盖。
[0016]在进一步较优的实施例变型中，依据本发明的显示器阵列和相机阵列的电控制的发生使得在该显示器阵列的多个行，较佳为相邻行的该发光期间(同时间或有时间偏移)内，由该相机阵列的最邻近(即，邻近排列)上述多个行的各行所执行的光检测被关闭。[0017]此想法的逻辑连续性进而产生了进一步电控制的较优的实施例变型，其中在该显示器阵列的任一行的发光期间，由该相机阵列执行的任何所有的光检测都被关闭。在此情况下，展现出该显示器阵列的电控制及该相机阵列的电控制在时间方面的完全分离。如果在显示器阵列任一处发光，整个相机阵列被切换使得光不会在相机阵列上被检测到。
[0018]然而在另一方面，该显示器阵列及该相机阵列的电控制也有可能以以下方式进行:在该显示器阵列的一行(例如第一行、最上一行)的发光期间，光检测由该相机阵列的如下的行使能，即，该行是非最邻近该显示器阵列的此行的该相机阵列的该行，而是与正在发光的行具有足够的距离。被启动光检测的那行接着可特定地是该相机阵列的如下的行，即，该行是最远离接着发光的该显示器阵列的行。在此情况下自然也可能是该显示器阵列的多个行仍然发光，然而该相机阵列的多个行已经正在执行光检测(在时间上互相偏移或同时)或已经开始上述的光检测，该相机阵列的多个行排列成与该显示器阵列的发光行具有足够距离。
[0019]电控制有同等地可能，其中在由该相机阵列的一行、多个行或所有行执行的光检测期间，该显示器阵列的该/这些显示器阵列的一行或多个行中的编程被使能和/或将被呈现于最后行的数据到最后行的写入被使能，并且然后仅有在最后行中的编程和/或写入被使能，但不是与光传输相关的数据呈现被使能。
[0020]电控制也是可能的，其中在该相机阵列的被外部光源(特别是发射近红外光的光源)所照射期间和/或在该相机阵列的至少一行进行光检测期间，在该显示器阵列的任一行中，发光和/或电活动不被使能。
[0021]在进一步较优的实施例变型中，展现预定时间间隔At(对显示器阵列的一行或多个行)，该预定时间间隔△ t位于一方面这些行的编程结束时和/或将被呈现在这些行的数据的写入这些行结束时和另一方面开始执行光检测时(由该相机阵列的一行或多行所执行)之间。此时间间隔的长度在此情况下合计较优地至少为该相机阵列各行所执行该光检测的持续时间AtKE的1/10， 优选至少为1/5，优选至少为一半。
[0022]在进一步优选变型中，该发光的持续时间tAE对该显示器阵列的所有行而言有相同长度。对该显示器阵列的所有行而言，发光关闭和/或电关闭和/或各个行关断的持续时间tAD也可以有相同的长度。
[0023]该相机阵列所有行所执行的该光检测发生在同一时间间隔tKE，且该发光能够发生在该显示器阵列的单独行中彼此具有时间偏移，且对于该显示器阵列的所有行发生在该时间间隔tKE之外。
[0024]然而同等的可能是，相机阵列单独行中的光检测和该显示器阵列单独行中的发光两者均是在时间上彼此偏移地发生。在每一情况对于显示器阵列所有行而言，在最靠近(邻近)配置的相机阵列的行中的光检测接着发生在显示器阵列的相应行的该发光时间间隔之外。
[0025]根据本发明，行中的发光一词可被定义如下:将被呈现在此行中的数据的写入于此行和/或此行的编程和在此行中的数据呈现和自此行删除已呈现的数据可意谓着此处定义的发光。在此情况下，行中(或者也在整个显示器阵列中)的发光一词因此包含该行或整个显示器阵列的电活动的整个时间间隔。
[0026]然而根据本发明，同等的可能是将发光仅解释为上述的写入和/或编程及上述的数据呈现(这不包含接下来自该行删除已呈现的数据)。仅有呈现和删除也可被解释为发光。最后，本发明的发光一词也可以仅被解释成上述在行(或整个阵列)中的数据呈现。
[0027]根据本发明在显示器阵列和在相机阵列中的电控制方法接着必须根据写入和/或编程、数据呈现和数据删除的定义或相应的各时间周期而被调适。
[0028]在相机阵列的行(或者也可在整个相机阵列，只要所有的相机行同时被操作)中的光检测可同等地意谓着一直到光子的行积分开始为止的开启延迟(或它的持续时间)、该积分以及最后也是行信号的读取，该光子发射自外部光源且照射到该行上，该行信号由该外部光源的各入射光子的积分所产生。根据此定义，光检测(或它的持续时间)因此包含了相机阵列的行(或整个相机阵列)的整个电活动时期。
[0029]然而，同等的可能(具有时间控制的相应调适或者在显示器阵列和相机阵列的电控制中，具有各个持续时间的相应调适)是将光检测仅仅定义成包含上述积分和已述读取的时期。定义成仅包含上述开启延迟和上述积分的时间间隔或者仅定义成积分的时间间隔也是可能的。
[0030]依据本发明，发光和光检测可依次执行多次(即以循环的方式)，优选以相应于将被呈现在显示器的各个显示图像或帧的定期间隔而被执行(接着光检测也发生在每一个产生发光的循环，且显示器阵列单独行发光与相机阵列单独行光检测之间的关系能如上述实施例变型来实施)。
[0031]显示器阵列(或其各个发光像素)优选发射人眼可见光；然而尽可能少的红外光，优选不发射可见光以外的红外光。相反地，相机阵列(或其光检测元件)优选检测红外光(优选为近红外光范围)；然而尽可能少的可见光，优选不检测红外光以外的可见光。
[0032]显示器阵列的发光像素或像素可以是有机发光二极管，OLED0相机阵列的光检测元件或像素可以是光敏二极管或光敏晶体管。发光像素和光检测元件在此情况下可以实施成分离矩阵或实施成为彼此嵌套矩阵且以CMOS技术形成和/或集成的矩阵。
[0033]双向显示器可以是微显示器，该微显示器的发光像素具有介于4 μ m到40 μ m之间范围的边长。光检测元件边长可落在4 μ m到40 μ m之间的范围。
[0034]如已经所叙述过的，本发明的发光像素的集成和光检测元件的集成或者显示器阵列和相机阵列的嵌套可根据DE102006030541A1而发生。
[0035]本发明将参考多个实施例加以叙述如下。
[0036]其中:
[0037]图1为依据本发明的显示器结构的概要，该显示器具有二维显示器阵列和二维相机阵列，两阵列以两格栅彼此覆盖的形式而相互嵌套；
[0038]图2显示依据本发明可实施的显示器阵列的电控制和相机阵列的电控制两者在时间方面的完全分离，与现有技术的显示器(或显示器阵列)及相机(阵列)的并行操作的比较；
[0039]图3是依据本发明以行基准实施的显示器阵列和相机阵列的多个电控制与现有技术的并行操作的比较；
[0040]图4是依据本发明的显示器阵列和相机阵列的进一步电控制；
[0041]图5是在本发明的框架内可实施作为光检测元件的光敏二极管的放电电路；以及
[0042]图6是依据本发明的双向显示器对于例如可产生在HMD中的视向检测方向的信号流关系图。
[0043]图1简要说明了依据本发明的双向显示器的有源矩阵，该双向显示器具有二维显示器阵列1和二维相机阵列2，其中显示器阵列的各发光像素la，lb,…的位置对应于规律方形格栅的相交点，且相机阵列2的各光检测元件2a，2b，…的位置也同样地对应于另一规律方形格栅的位置(显示器阵列1格栅的格栅周期Pi在此情况下是对应于二维相机阵列2格栅的格栅周期p2的一半)。显示器阵列1和相机阵列2的两格栅在此情况下彼此嵌套偏移排列使得相机阵列2的每一光检测元件2a，2b...被显示器阵列1的四个各个单独的发光像素la，lb，…以规律的四面临近的方式所环绕。
[0044]因此所生成的双向显示器的第一行lzal对应于显示器阵列1的第一行；双向显示器的第二行2zkl对应于相机阵列2的第一行；双向显示器的第三行lza2对应于显示器阵列1的第二行；双向显示器的第四行lza3对应于显示器阵列1的第三行；双向显示器的第五行(行2zk2)对应于相机阵列2的第二行，等等。
[0045]此处的双向显示器因而包含了具有总数为2L = 10行，每行包括10个像素la,lb,...的显示器阵列2以及具有总数为L = 5行，每行包括了 5个光检测元件2a，2b，...的相机阵列2。显示器阵列1和相机阵列2可各自逐行地电控制(彼此独立)使得例如数据可逐行地被写入显示器阵列1的单独行中、可被显示于单独行，且可以再次顺序地自单独行中加以删除。由光检测元件2a，2b，…所产生的电信号的读取可同等地逐行发生。用于显示器阵列1和相机阵列2的这样的逐行控制的电路普遍为所属领域技术人员所熟知。
[0046]最接近或最邻近配置在显示器阵列1的第一行lzal的相机阵列1的行因而是行2zkl。该行2zkl也是相机阵列2的与阵列1的第二行lza2最接近的行。因此，与显示器阵列1的第三行lza3最接近的相机阵列2的行是相机阵列2的第二行2zk2。
[0047]在依据本发明的电`控制的最简单的变型中，在显示器阵列1的第一行lzal (及第二行lza2)的发光期间内，由最邻近2zkl所执行的光检测因而关闭(即在此行中相机检测被关闭)。这可以相对应地与显示器阵列1的其他行Iza3，lza4，…成对地实施。例如当显示器阵列1的另一行lza发光时，相机阵列2的所有行2zk也可自然地关闭。依据本发明的二阵列1，2的电控制进一步的细节将在下文叙述。
[0048]图2显示出依据本发明在图1中的显示器阵列1和相机阵列2的第一电控制(图形下半部:S)，与众所周知的现有技术的显示器阵列(“显示器”)和相机阵列(“相机”)的并行操作P)相比，在上述第一电控制中，一方面显示器阵列1的电控制或显示器阵列的电活动，以及另一方面相机阵列2的电控制或相机阵列的电活动，在时间方面上完全分离地发生。
[0049]图2显示出具有持续时间图片呈现周期(即显示图像的生成，在本发明的框架中也称为在单独行中发光)。在此周期中，照射在光检测元件2a，2b，…的红外光的检测同样地由在对红外光灵敏的相机阵列所执行(在本发明的框架中，也被称为相机阵列单独行的光检测)。在下个周期中(未在此显示)，可选择地变化的显示图像(例如，这里的图3中的“显示图像2”)的呈现接着发生。
[0050]操作P)叙述并行控制方法，其中显示器阵列1在双向显示器的有源矩阵中被逐行地编程且其中积分发生于相机阵列2内且在显示器阵列1单独行中的数据写入和呈现期间(“写入显示数据”)，相机阵列2单独行的相机数据读取也发生在相机阵列2内。叙述于P)中的所有程序的时间参考值为点时钟。例如在每一个点时钟，新的像素被编程入显示器阵列。在P)中示出的相机启动延迟的间隔是作为动态时间缓冲以在周期时间内调整相机积分时间。在操作时，相机积分必须依赖照射在光检测元件上的光量而加以调整，以实现高动态范围。
[0051]相反地，依据本发明，显示器阵列1(“显示器”)的电活动S)与相机阵列2的电活动是彼此完全分离的，其中，在显示器阵列I的电活动中，显示器阵列I的单独行的总发光被入射(在图的下部)，在相机阵列2的电活动期间，相机阵列2单独行所执行的光检测。在第一时间段Λ tl(此处相应大约是周期时间的开始的60%时间)，仅有电活动发生在显示器阵列I中，然而在接下来该周期(此处相应大约是周期持续时间的后40%时间)的第二时间段At2间隔，仅有电活动在相机阵列2中发生，而非在显示器阵列I中。换句话说，仅有显示器阵列I的控制发生在At1，然而在At2中仅有相机阵列2的控制发生。
[0052]在单独行中的将数据写入显示器阵列、这些数据的呈现及这些数据的删除在这方面于此范例中对应于显示器阵列的发光。相机的启动延迟，信号累积(“相机积分”)及相机阵列2的单独行中的相机数据读取在此对应于由相机阵列2的行所执行的光检测。因而图1所示的OLED显示器阵列I在相机启动、相机积分及相机数据读取期间完全关闭。
[0053]图3显示出依据图1中显示器阵列I和相机阵列2的本发明的总计三种电控制(这些依据本发明的控制或时序以符号V2，V3和V4表示)。图3中的纵坐标因而表示显示器阵列I或相机阵列2的不同电控制且在横坐标表示显示器阵列I的单独行的发光的时间进展和相机阵列2的单独行的光检测的时间进展。(因此控制逐行地发生在显示器阵列I和相机阵列2两者中，在此因为简单表示，在显示器阵列中仅有八个单独行Izal到IzaS被显示，在相机阵列中仅有总计四个单独行2zkl到2zk4被显示。)“显示图像I”在此情况下显示第一周期(对比图2);“显示图像2”显示在第一周期之后完全相同的第二周期。
[0054]纵坐标最上方部分(“相机”)因而显示相机阵列2自第一行到最后一行的单独行2zk的逐行控制。由所显示的相机阵列2的单独行2zkl到2zk4所同时执行的光检测(在所示情况中，在相机各行中的光检测对应于时间间隔tKE，在包含选择性出现的开启延迟的该时间间隔tKE中，相机2单独行中的入射光量子积分被执行)因而仅发生在对所有行均相同的时间间隔tKE内(例如在此处AtKE长度总计为5毫秒)。在不同情形中，单独相机行的读取发生在时间间隔tKE之后的时间偏移。
[0055]自顶端往下的第二纵坐标部分(“显示器VI”)显示出(也与图2中P)比较)众所周知的现有技术的相机和显示器并行操作案例的显示器阵列I单独行Iza的发光相关时间进展。在此众所周知的显示器阵列I和相机阵列2的电控制Vl中，电活动通过在间隔tKE内由相机单独行所执行的光检测期间，也以将显示数据写入显示器阵列的一行中(“编程显示器”)的类型(取决于显示器阵列的该行)或是以相应显示数据的呈现或删除(此处在“显示器点亮”时结合)的类型发生在显示器阵列中。在现有技术中的并行操作中，一方面显示器阵列I的电活动和另一方面相机阵列2的电活动因而是非分离的。
[0056]中间纵坐标部分(“显示器V2”)与上方纵坐标部分(“相机”)一起显示出依据本发明用于图1显示器阵列I和相机阵列2电控制的一种方法，在下文也称作时序V2。如果显示器阵列的行Iza中的发光被定义为其中此行的一个或多个发光像素呈现数据(即被点亮，“显示器点亮”)的那一时间段，则可以看出在如此定义的该发光中，在各情形中，在电控制中或在时序V2中，在显示器单独行中，在相机阵列2的一行或多行中没有光检测发生(“相机关闭”)。
[0057]仅仅当显示器阵列的行中的发光结束(“显示器关闭”)，电活动以在间隔tKE发生的光检测的形式，发生在相机阵列2的时序V2中(此处，光检测同时发生在相机阵列的所有各行中而且光检测包含了开启延迟到相机积分开始和在相机各行中的积分)。
[0058]在相机2的光检测期间(在间隔tKE内)，目前在显示器阵列1中没有发光，而是在显示器阵列1的发光期间仅有显示器阵列1的最后两行的编程发生(依定义在间隔tKE中没有被相机2的光检测涉及到的并且逐行依次执行的相机读取在此也可在后续的周期发生)。此处显示行的编程包含了将数据写入该显示行和前面的旧数据删除。
[0059]在本情形中，在此没有发生一方面显示器阵列1的电控制和另一方面相机阵列2的电控制的完全分离，因为显示器的最后两行的编程仍在相机曝光期间发生且当显示器点亮时，也发生了相机的触发。
[0060]时序V2已被证明固然对一方面显示器阵列1及另一方面相机阵列2已经改善了光学去耦合。然而依据本发明，这两阵列的电去耦合可在以下得到进一步改善:在相机执行光检测(此处包含开启延迟和积分)(“曝光相机”)期间，没有电活动发生在显示器阵列1中。此变型显示于时序V3:后者一般而言如同时序V2而实施；但显示器各行的编程如此发生使得对显示器阵列的每一行而言，在该行的编程结束时和相机阵列2的光检测开始时(时间间隔tKE的开始)之间，产生至少持续时间At(此处At总计例如为5毫秒)的预定中断。显示器阵列1的所有电活动发生在时间间隔tKE之外。
[0061]在显示器阵列1和相机阵列2的电控制V3中，显示器的发光度自显示器中的行编程结束时刻开始(即自图3中标示“显示器点亮”的时间段的开始起)随着图1中的基于0LED显示器阵列1的发光持续时间增加而减小。这是由于被照明的面板以脉冲方式操作且因此对观察者而言产生按照脉冲比率减小的平均亮度。
[0062]在显示器阵列1的单独行lza的行编程(“编程显示器”)结束后的不同时间点，显示区域的单独行的发光中断发生在时序V3中(在相机曝光所发生的时间间隔tKE内)。由此显然确保了周期内的单独显示行lza大致上在周期内的同一个持续时间内正在发光或被点亮(自周期内的编程结束，例如图3的“显示图像1”，直到下一周期相同行中的下一行编程的开始，与图3的“显示图像2”比较，较小的间隔tKE的长度AtKE)。在另一方面，由于例如400Hz的高显示图像速率或帧速率，显示器阵列的观察者最终观察到在每周期的预定时段期间输出的显示器阵列1单独行的发光度积分。如果现在单独行中的发光中断发生(自行编程的结束开始)在不同的时间点，由于在周期的时间过程中已述发光度的降低，根据已述积分，各行的由使用者观察到的图像亮度值将会不同。换言之，在位于行编程结束后的较早时间点的在时间间隔tKE内所发生发光中断的显示器阵列各行，与在位于行编程结束后的较晚时间点的在间隔tKE内所发生发光中断的显示器阵列各行相比较，对观察者而言前者显得较暗。然而，这不是想要的。
[0063]已述问题在以下电控制V4中或相应的时序中被解决:光检测诚然如同在时序V3中，在同一时间间隔tKE内发生在相机阵列的所有行2zk。此外，在各种情况下，显示器阵列的不同行lza的发光是时间偏移地发生(分别在相应行的编程结束时开始，且之后每一行lza的发光都发生在时间间隔tKE之外，即在相机阵列2的行2zk中的光检测之外)而且发光的持续时间tAE( “显示器点亮”包含在以相应显示行的编程结束时开始的单独行的显示数据呈现)对于显示器阵列的每一行Iza具有相同长度。换句话说，对所有行Iza而言，发光的持续时间tAE是相同的。在持续时间tAD内，单独显示行Iza的发光被关闭(即自一周期内的一行的发光结束时，直到下一周期同一行发光开始的持续时间)，且持续时间tAD对于显示器阵列I的所有行也是相同的。由此可确保相机曝光的时间间隔tKE落入显示器阵列I的每一行Iza的如下的时间间隔内，在该时间间隔中，显示器阵列I的相应行关闭，并且显示行的关闭持续时间和显示行发光持续时间的关系是相同的。因此根据时序V4，在时序V3中所述的问题在阵列1、2的电控制中不会发生。
[0064]图1中的显示器阵列I和相机阵列2的进一步电控制发明，在以下也称作时序V5，与已述的时序V4作比较而显示在图4中(在此图中显示出，相机阵列2的电控制的时间流逝是与显示器阵列I电控制的时间流逝重叠显示；此处仅显示相机阵列2的四行2zk和显示器阵列I的八行Iza)。
[0065]然而在已述的序列V4中，对相机所有行2zk而言，光检测同时发生(在相同的时间间隔tK)(仅有在单独相机行2zk的读取时间点因而被移位，即在间隔tKE结束之后时间偏移地发生)。依据本发明的时序V5将不再发生此种情况:不仅显示器阵列I的单独行Iza的发光在时序V5的时间间隔tAE中在时间上彼此偏移地发生，而且在时间段tAD中单独行2zk的光检测也是在时间上彼此偏移地发生，在时间段、期间显示器阵列I的相应行Ia分别被关闭或关灭。
[0066]换句话说，在时序V5用于单独显示行Iza (例如行Izal)和最靠近该行Iza的相机行2zk (例如最靠近显示行Izal的下一行2zkl)的周期是如以下方式进行:显示行Iza的编程、显示行Iza中的发光(在间隔tAE期间)、显示行Iza中的发光结束(接着显示行Iza在持续时间tAD保持关闭)、在相应相机行2zk的电活动开始即在该相机行的光检测的开始(接着在持续时间发生光检测)、在相应相机行2zk的光检测结束、在时间间隔tAK读取此相机行，以及最后，在相机读取tAK之后，开始下个周期或者开始相应显示行Iza的重复编程。
[0067]如图4纵坐标部分所示的“显示器V5”，第一相机行2zkl的电活动或光检测在此情况下开始于(在最靠近此行2zkl的显示行Izal关灭之后)如下的时间点，即，在该时间点，最远离此第一相机行2zkl的显示器阵列I的最后行Iza(2L)仍然被切换至发光。因此必须确保的是，显示器阵列I的最后行(多行)到相机阵列的开始的行(各行)2zkl，2zk2，…的距离足够大使得由显示器阵列I最后行(多行)发光所产生的进入相机阵列2的开始的行(多行)的光检测元件2的串扰是可被忽略地小。
[0068]依据本发明显示于图4的时序V5与时序V4相比较具有的优点是，对于经由针对相机阵列2各行可能的时间偏移而执行的光检测而言，时间间隔的可能长度在光检测上大于根据时序V4的时间间隔tKE而可用于单独行中的光检测的时间△ tKE (在时序V4中，相机所有行的光检测是同时发生)(最大光检测时间的最佳化，即相机行的最大积分时间的最佳化)。
[0069]依据本发明，显示器阵列和相机阵列的不同的基于行的顺序控制因而是可能的(例如涵盖时序V2至V5)，其中(见例如时序V4) —方面在显示器阵列I的电控制或电活动，另一方面在相机阵列2的电控制或电活动可彼此几乎完全分离或彼此完全分离。[0070]特别为了能够理想地实施依据本发明的双向显示器及其在HMD领域的电控制(以双向0LED微显示器的类型)，对系统组件的尺寸选择以及控制的流程是依据本发明在以下提出。在此情况下，图6显示出依据本发明的HMD中的视向方向检测的关系，该发明是以根据图1的双向0LED微显示器为基础。
[0071]人类眼睛仅可被红外辐射源3的光子所照射至法定限制值。该法定限制值连同其他相关事宜取决于IR发射器3的配置。该法定限制值规定于DIN EN62471标准的灯与灯系统的光生物学安全和DIN EN60825-1标准的激光产品安全之中。部分光子在眼球上发生反射且经由双向光系统而传送。在接下来的信号元件中，部分光子经由0LED层堆叠再次被传送且光子接着分别在光敏二极管2a, 2b,…内或相机阵列2内被转换成光电流Iph。相机像素单元电路将光电流转成电压％1()(在此情况下比较图5(t =时间))。模数转换器将电压信号U_数字化，使得数字化后的信号可使用于眼球追踪的软件演算法。
[0072]稳定的眼睛图像检测一般在像素单元中或在相机阵列2的光检测元件2a，2b，…中需要电压高峰值。在显示于图5的系统中，此电压峰值％1()可根据以下方程式1计算得出:
【权利要求】
1.一种双向显示器，该双向显示器具有包括多个发光像素(la，lb)的优选二维显示器阵列(1)以及包括多个光检测元件(2a，2b)的优选二维相机阵列(2)，其特征在于:所述显示器阵列(1)和所述相机阵列(2)的在时间方面的顺序的电控制。
2.根据前述权利要求所述的双向显示器，其特征在于:这两个阵列(1，2)是各自可逐行地电控制的且优选地是至少逐区地相互嵌套布置的；并且所述显示器阵列(1)和所述相机阵列(2)的所述顺序的电控制被设计为使得，在所述显示器阵列⑴的一行(lzal)中的发光期间，由所述相机阵列(2)的最邻近该行(lzal)的行(2zkl)执行的光检测被关闭，由此实现所述双向显示器的以行为顺序的电控制。
3.根据前述权利要求之一所述的双向显示器，其特征在于:在所述显示器阵列(1)和所述相机阵列(2)的电控制中，在所述显示器阵列(1)的多个行(lzal，lza2)、优选地相邻行的发光期间，由所述相机阵列(2)的最邻近该多个行(lzal，lza2)的行(2zkl，2zk2)所执行的光检测被关闭。
4.根据前述权利要求之一所述的双向显示器，其特征在于:在所述显示器阵列(1)和所述相机阵列(2)的电控制中，在所述显示器阵列(1)的一行(lzal)中的发光期间，由不是所述相机阵列的最邻近所述显示器阵列(1)的该行(lzal)的行(2zkl)使能光检测，且优选地由所述相机阵列的被布置为最远离所述显示器阵列(1)的该行(lzal)的行(2zkL)使能光检测。`
5.根据前述权利要求之一所述的双向显示器，其特征在于:在所述显示器阵列(1)和所述相机阵列(2)的电控制中，在由所述相机阵列(2)的一个行、多个行或所有行(2zkl，2zk2)执行的光检测期间，在所述显示器阵列(1)的一个或多个行(lzal，lza2)中，所述显示器阵列(1)的所述一个或多个行(lzal，lza2)的编程和/或待在所述一个或多个行(lzal，lza2)中呈现的数据的写入在所述一个或多个行(lzal，lza2)中被使能，但不在所述一个或多个行(lzal，lza2)中呈现数据。
6.根据权利要求2或3所述的双向显示器，其特征在于:在所述显示器阵列(1)和所述相机阵列(2)的电控制中，在所述相机阵列(2)的至少一部分被外部光源(3)、特别是被红外光源曝光期间，和/或，在由所述相机阵列(2)的一个行、多个行或所有行(2zkl，2zk2)执行光检测期间，在所述显示器阵列(1)的任一行中，未使能发光和/或电活动。
7.根据权利要求2或3所述的双向显示器，其特征在于:在所述显示器阵列(1)和所述相机阵列(2)的电控制中，在所述显示器阵列(1)的任一行中的发光期间，由所述相机阵列(2)执行的任何以及所有光检测均被关闭，也就是，通过所述显示器阵列(1)的电控制和所述相机阵列(2)的电控制在时间上的完全分离而关闭。
8.根据前述权利要求之一所述的双向显示器，其特征在于:针对所述显示器阵列的至少一个行、优选为多个行、且优选为所有行(lzal，lza2)，预定时间间隔△ t位于在一方面为该/这些行的编程的结束和/或将在该/这些行中出现的数据的写入的结束与在另一方面为由所述相机阵列(2)的一个行、多个行或所有行(2zkl，2zk2)执行的光检测的开始之间，所述预定时间间隔At的时长总量优选为由所述相机阵列(2)的行(2zkl，2zk2)执行的光检测的持续时间AtKE的至少1/10、优选为至少1/5、且优选为至少1/2。
9.根据前述权利要求之一所述的双向显示器，其特征在于: 发光的持续时间tAE对于所述显示器阵列(I)的所有行(lzal，lza2)而言具有相等的时长； 并且/或者 对于所述显示器阵列⑴的所有行(lzal，lza2)而言，发光的关闭和/或电关闭和/或各个行的关断的持续时间tAD具有相等的时长。
10.根据前述权利要求之一所述的双向显示器，其特征在于: 所述相机阵列(2)的所有行(2zkl，2zk2)中的光检测发生在同一个时间间隔tKE内；并且发光发生在所述显示器阵列(I)的各个行(lzal，lza2)中，对于所述显示器阵列(I)的所有行，所述发光具有相对于彼此的时间偏移并且发生在所述时间间隔tKE之外； 或者 在所述相机阵列(2)的各个行(2zkl，2zk2)中的所述光检测和在所述显示器阵列(I)的各个行(lzal，lza2)中的所述发光这两者在时间上相互产生偏移，使得对于所述显示器阵列(I)的所有行的所述光检测发生在所述相机阵列(2)的相应的接下来的最邻近的行中且在所述发光的所述时间间 隔外。
11.根据前述权利要求之一所述的双向显示器，其特征在于: 在所述显示器阵列(I)的行(lzal，lza2)中的发光: ?是指将待呈现在该行中的数据写入到该行中和/或该行的编程、数据在该行中的呈现以及将呈现的数据从该行中删除； ? 一方面仅是指上述的写入和/或编程，并且另一方面仅是指上述的呈现； ?仅是指上述的呈现和上述的删除； 或者 ?仅是指上述的呈现。
12.根据前述权利要求之一所述的双向显示器，其特征在于: 所述相机阵列(2)的行(2zkl，2zk2)中的光检测: ?是指直到下述的积分的开始的开启延迟，发射自外部光源(3)且入射到该行上的光量子的积分以及以此方式积分的行信号的读取； ?仅是指上述的开启延迟和上述的积分； ?仅是指上述的积分和上述的读取； 或者 ?仅是指上述的积分。
13.根据前述权利要求之一所述的双向显示器，其特征在于: 由所述显示器阵列(I)的各个行(lzal，lza2)所执行的多个相继的发光对应于将被呈现的多个显示图像或帧，使得由根据前述权利要求之一的所述相机阵列(I)所执行的光检测针对这些发光中的每一个发光而发生。
14.根据前述权利要求之一所述的双向显示器，其特征在于 所述显示器阵列(I)发射人眼可见光，优选地，所述显示器阵列(I)不发射在所述人眼可见光以外的红外光；并且/或者所述相机阵列(2)检测红外光，优选地，所述相机阵列(2)不检测在所述红外光以外的任何人眼可见光。
15.根据前述权利要求之一所述的双向显示器，其特征在于所述显示器阵列(1)包括作为发光像素(la，lb)的OLED ；并且/或者所述相机阵列(2)包括作为光检测元件(2a，2b)的光敏二极管或光敏晶体管；并且/或者所述发光像素(la，lb)和/或所述光检测元件(2a，2b)实现为分离的矩阵或彼此嵌套的矩阵或以CMOS技术形成和/或集成的矩阵；并且/或者所述双向显示器是微显示器，所述微显示器具有介于4 μ m和40 μ m之间范围的所述发光像素(la，lb)的边长和/或具有介于4 μ m和40 μ m之间范围的所述光检测元件(2a，2b)的边长。
16.一种双向显示器的在时间上的顺序的电控制的方法，其特征在于在根据前述权利要求之一所述的显示器的电控制中，所述双向显示器具有:包括多个发`光像素(la，lb)的优选二维显示器阵列(1)以及包括多个光检测元件(2a，2b)的优选二维相机阵列(2)；这两个阵列(1，2)优选地至少逐区地相互嵌套布置；这两个阵列(1，2)优选地各自逐行地电控制；并且这两个阵列(1，2)优选被控制使得，在所述显示器阵列(1)的一行(lzal)中的发光期间，由所述相机阵列⑵的最邻近该行(lzal)的行(2zkl)执行的光检测被关闭，由此实现所述双向显示器的以行为顺序的电控制。
17.一种将根据前述权利要求之一所述的双向显示器或控制双向显示器的方法用于眼球追踪领域的用途，特别是用于头戴式显示器、眼球控制和交互增强现实、数码相机中的视向控制取景窗和/或显微镜中的视向控制的用户控制的领域的眼球追踪，特别是用于显微镜载台、特别是XY载台的视向控制运动。
【文档编号】H01L31/173GK103688369SQ201180071349
【公开日】2014年3月26日 申请日期:2011年5月31日 优先权日:2011年5月31日
【发明者】R·赫罗尔德, B·里克特, U·沃格尔 申请人:德国弗劳恩霍夫应用研究促进协会