在用户与交互式显示系统之间执行基于目光的交互的方法

专利名称：在用户与交互式显示系统之间执行基于目光的交互的方法
技术领域：
本发明描述了一种在用户与交互式显示系统之间执行基于目光(gaze-based)的 交互的方法。本发明也描述了一种交互式显示系统。
背景技术：
近年来，在交互式橱窗显示器领域取得了进展，所述交互式橱窗显示器能够使用 例如高级投影技术呈现产品相关信息，目的是使得浏览或购物对于潜在的顾客更加有趣和 有吸引力。以这种方式呈现产品和产品相关信息促成更有趣的购物体验。对于店主而言的 一个优点在于，显示区域并不限于必须定期地替换或设置的一定数量的物理物品，而是可 以使用现在可用的投影和显示技术显示“虚拟的”物品。这种交互式橱窗可以呈现有关特 别地使潜在顾客感兴趣的一个或多个产品的信息。通过这种方式，顾客或许更可能进入商 店并且购买感兴趣的物品。这样的显示系统在展览会或博物馆中也变得更加令人感兴趣， 因为与对于陈列柜中的每个物品使用印刷标签或卡片而可能呈现的信息相比，可以呈现更 多的信息。交互式橱窗系统可以检测人何时站在窗口之前，并且相机用来跟踪人眼的运动。 目光跟踪的技术被应用于确定人正在看何处，即“目光航向(gaze heading)”，从而可以向 他呈现特定信息。交互式橱窗系统的适当响应可以是向该人呈现有关该对象的更详细信 息，例如价格、任何技术细节、特价等等。由于交互式橱窗系统领域是非常新的领域，这样的橱窗相对罕见，从而大多数人 不会意识到它们的存在，或者不能判断某个橱窗是传统的不活动的种类，还是更新的交互 式种类。目光跟踪作为一种交互手段对于公众是非常新的，从而带来如何向人传达系统可 以借助于目光而控制的挑战。这对于诸如购物区、博物馆、美术馆、游乐园等等之类的公共 场所中的交互式系统是特别重要的，在这些公共场所中，交互式系统必须对于用户是直观 和简单的，使得任何人都可以与它们交互，而不必首先查阅手册或者经过培训。如已经所指出的，这样的系统只能在人的目光可以实际检测的情况下起作用。通 常，在最新技术水平的系统中，人仅当在与显示区域中的对象关联的限定区域内检测到目 光矢量时接收反馈。换言之，仅在人特别地观看对象时才给他或她以反馈。当人在观看显 示区域中的对象之间的点时或者在目光扫视期间，不给出反馈，从而交互式系统的状态对 于该人是未知的。最新技术水平的目光跟踪并不给出对于用户输入的高度鲁棒的检测。此 夕卜，用户目光的检测精度可能通过改变照明状况、通过用户改变其在相机之前的位置或者 通过改变其头部相对于相机焦点的位置等等而变得更坏。最新技术水平的交互式系统中确 定目光检测方面的这样的困难可能导致或者例如在系统丢失了目光的跟踪时，不存在给用 户的关于系统状态的反馈的情形；或者即使当用户已经在看别处时，最近观看的对象仍然 突出的情形。这样的行为可能激怒用户或者潜在的顾客，这显然是不希望的。因此，本发明的目的是提供一种向用户传达交互式显示系统的能力的方式以避免 上面提及的问题。
发明内容
本发明的目的是通过依照权利要求1的在用户与交互式显示系统之间执行基于 目光的交互的方法以及依照权利要求10的交互式显示系统来实现的。在用户与包括其中设置了一定数量的物理对象的三维显示区域和观测装置的交 互式显示系统之间执行基于目光的交互的方法包括步骤从观测装置获取用户的目光相关 输出；基于目光相关输出从多个目光类别确定瞬时目光类别；以及依照该确定的瞬时目光 类别连续地产生显示区域反馈。所提出的解决方案可适用于提供基于目光的交互的公共显示，例如交互式橱窗、 交互式展览会、博物馆交互式展览等等。依照本发明的方法相对于最新发展水平的技术的一个优点在于，连续地提供关于 系统的目光检测状态的显示区域反馈，使得用户不断地被告知交互式显示系统的状态。换 言之，用户不必首先有意或无意地观看显示区域中的对象、物品或产品以便被提供反馈，相 反地，即使显示区域中的对象未被观看，也一直给用户以反馈。有利的是，对于这种类型的 交互式显示系统陌生的人直观地被提供显示区域能够做什么的指示，即指示该橱窗能够进 行基于目光的交互的反馈。用户只需瞥视显示区域以被给予目光检测状态的指示。事实 上，对于显示区域之前的用户而言，没有时间用户不被告知或者不知道系统状态，使得他能 够例如通过更直接地观看使他感兴趣的对象而选择相应地反应。在这里，“目光相关输出”指的是由观测装置输出的与潜在目光相关的任何信息。 例如，如果用户头部可以被观测装置检测，并且他的眼睛可以被跟踪，那么观测装置的目光 相关输出可以用来确定他正在观看的点。依照本发明的交互式显示系统包括三维显示区域，其中设置了一定数量的物理 对象；观测装置，其用于获取用户的目光相关输出；目光类别确定单元，其用于基于目光相 关输出从多个目光类别确定瞬时目光类别；以及反馈生成单元，其用于依照该确定的瞬时 目光类别连续地产生显示区域反馈。依照本发明的系统提供了一种让用户知道他可以容易地与显示区域交互、允许对 于公共交互式显示必不可少的自然和未经训练的行为的直观手段，对于所述公共交互式显 示而言，不得不训练用户既不是所希望的，也是不切实际的。从属权利要求和随后的描述公开了本发明的特别有利的实施例和特征。如已经所指出的，本发明所描述的交互式显示系统和执行基于目光的交互的方法 适合应用于任何适当的环境，例如应用于POP (购买点)处的自动产品呈现的商店内购物区 中的交互式橱窗，应用于展览会、商品交易会或者博物馆环境等等中的交互式陈列柜。在下 文中，不以任何方式限制本发明地，可以假设显示区域是橱窗。此外，可能与系统交互的人 在下文中称为“用户”。被呈现的显示区域的内容在下面可以称为“物品”、“对象”或者“产 品”，这不以任何方式限制本发明。依照本发明的交互式显示系统可以包括用于检测显示区域之前的用户的存在性 的检测模块，例如显示区域之前的地面上的一个或多个压力传感器、任何适当的运动传感 器或者红外传感器。当然，观测装置本身可以用来检测显示区域之前的用户的存在性。观测装置可以包括相机布置，例如安装在显示区域内部的一定数量的活动相机。被设计成跟踪人的头部的运动的观测装置通常称为“头部跟踪器”。一些系统可以跟踪人 脸中的眼睛，例如“智能眼一跟踪设备，以给出目光相关输出，即描述用户眼睛正在观看的 估计方向的信息。假如观测装置能够检测用户的眼睛，那么可以通过应用已知的算法推断 观看方向或目光方向。由于显示区域是三维区域，并且显示区域中对象的位置可以通过坐 标系统中的坐标来描述，因而有利的是通过例如这种坐标系统的头部姿态矢量描述目光方 向。构成头部姿态矢量的三维称为偏航或航向(水平旋转)、俯仰(竖直旋转)和摇摆(从一侧 向另一侧倾斜头部)。不是所有的该信息要求用于确定用户正在观看的点。描述观看方向 的矢量可以包括诸如仅仅航向或者航向连同俯仰的相关信息并且称为“目光航向”。因此， 在本发明的一个特别优选的实施例中，只要用户的目光方向可以从目光相关输出确定，则 将目 光相关输出转化成该用户的有效目光航向。在其中在显示区域之前没有检测到用户的 情况下，或者如果用户在那里，但是他的眼睛不能被跟踪，那么处理观测装置获得的数据的 算法或程序可以简单地给出无效、空或“零(null)”矢量以指示该情形。由于要连续地提供反馈，因而分析目光输出和目光航向以便确定要提供的反馈类 型。在依照本发明的方法中，依照瞬时目光类别提供反馈。因此，在本发明的另一特别优选 的实施例中，可以依照以下四个条件之一确定目光类别或分类。1)在第一目光类别中，目光航向指向显示区域中的对象不足预定义的停留时间， 例如当用户仅仅暂时观看对象并且然后观看别处时。这可以对应于“对象被观看”目光类 别。2)在第二目光类别中，目光航向指向显示区域中的对象至少预定义的停留时间。 这将意味着用户实际上对该特定对象感兴趣，并且可以与“对于对象的停留时间被超过”类 别关联。3)在第三目光类别中，目光航向指向显示区域中的对象之间。当例如用户正在观 察显示区域，但是没有意识到他可以单独使用目光与显示区域交互时，可能发生这种情形。 在所称的目光扫视期间，用户的目光也可以暂时离开他正在观看的对象而指向。在这里，可 能分配“对象之间”目光类别。4)在第四目光类别中，不能从目光相关输出确定目光航向。这可能因为显示区域 之前的用户正在观看一定方向，使得观测装置不能跟踪他的一只或两只眼睛。这可以对应 于“零”目光类别。该类别也可以应用于这样的情形，其中没有用户被检测到，但是以某种 方式可视地强调显示区域内容，例如旨在吸引潜在的顾客接近橱窗。在这里以及在下文中，上面列出的目光类别的描述性标题仅仅是示例性标题，并 且只是意在使得不同目光类别的解释更加清楚。在程序或算法中，可以适当地给予目光类 别任何合适的标识符或标记。一旦确定了瞬时目光类别，可以控制显示区域以反映该目光类别。在本发明的一 个优选的实施例中，基于瞬时目光类别选择显示区域中的对象或者显示区域中的点以便进 行视觉强调，并且产生显示区域反馈的步骤包括依照该瞬时目光类别控制显示区域以便在 视觉上强调选择的对象或者在视觉上指示被观看的点。在视觉上强调显示区域中的一个或 多个对象的不同方式在下文中加以描述。在本发明的一个优选的实施例中，如果用户直接观看对象，那么第一或第二目光 类别适用，并且依照瞬时目光类别产生显示区域反馈可以涉及在视觉上强调被观看的对象。例如，如果显示区域配备了诸如菲涅尔透镜阵列之类的活动聚光灯阵列，那么可以对其 控制以便使它们的光束指向标识的对象。例如，如果用户依次暂时观看一定数量的对象，那 么相继地突出这些对象，并且用户可以认识到系统正在对他的目光方向做出反应。对象的 视觉强调可以涉及使用如上面所提及的聚光灯突出对象，或者可以涉及将图像投影到对象 之上或对象之后，使得该对象在视觉上有别于显示区域中的其他对象。 使用户感兴趣的对象通常将保持用户的目光更长的时间段。在依照本发明的方法 中，可以定义最小停留时间，例如两秒的持续时间。如果用户观看对象至少这么长时间，那 么可以假设他对该对象感兴趣，从而瞬时(第二)目光类别为“停留时间被超过”，并且系统 可以相应地控制显示区域。依照瞬时“停留时间被超过”目光类别产生显示区域反馈可以 包括例如投影关于感兴趣对象的动画“光环”或“光晕”、增大指向该对象的聚光灯的强度或 者缩窄聚焦到该对象上的一定数量的聚光灯的组合光束。在该进一步优选的实施例中，系 统“让用户知道”它已经标识了用户感兴趣的对象。用户观看选择的对象的时间越长，对该 对象的突出可以变得越强烈，使得这种类型的反馈可以具有肯定的效果，从而让用户知道 系统正在响应他的目光。响应于用户的兴趣，诸如例如价格、可用尺寸、可用颜色、设计者姓 名等等之类的产品相关信息可以靠近该物品而被投影。当用户的目光离开该对象时，该信 息可以在适当的时间长度之后淡出。当然，可以设想，无论何时用户观看对象、无论多么短暂，都可以不区分“对象被观 看”目光类别和“停留时间被超过”目光类别地提供产品相关信息。然而，每当用户瞥视对 象时示出产品信息可能对于用户而言太混乱和太困惑，从而优选的是如上面所描述的区分 这些类别。在本发明的另一个优选的实施例中，当目光输出和目光航向指示用户确实正在观 察显示区域，但是观察显示区域中的对象之间，使得第三目光类别“对象之间”适用时，产生 反馈的步骤可以包括控制显示区域以便向用户表明他的目光正被系统记录。为此目的，可 以在用户的目光指向的点处示出视觉反馈。利用适当的已知算法，确定目光航向指向的点 是相对直接的。这种情况下的视觉反馈可以涉及例如通过以下方式在用户观看的点处示出 静态或动画图像例如再现跟随用户眼睛的运动的一双眼睛的图像，或者在用户移动其眼 睛的方向上运动的闪烁之星的图像。可替换地，可以使一个或多个聚光灯指向用户观看的 点，并且可以控制其依照用户的眼睛运动而运动。由于图像或突出跟随用户眼睛的运动，因 而它可以称作“目光光标”。这种类型的显示区域反馈对于对这种类型的交互式系统陌生的 用户而言可能是特别有帮助的，因为它可以向他指示他可以使用他的目光与系统交互。交互式显示区域的能力不必限于对象的简单突出。利用现代再现技术，有可能例 如借助于投影系统将图像或图像序列投影到屏幕上，例如投影到设置在显示区域中的对象 之后的屏幕上而向用户呈现信息。因此，在本发明的另一个实施例中，显示区域中物品的视 觉强调可以包括呈现物品相关信息。例如，对于橱窗中的产品，系统可以示出有关该产品的 信息，例如设计者姓名、价格、可用尺寸，或者可以在相同的产品以不同的颜色出现时示出 该产品。对于服装物品，系统可以示出该物品由模特穿着的简短视频。在展览会环境中，例 如在物品在陈列柜中展示的博物馆中，系统可以以一种或多种语言再现描述用户正在观看 的物品的信息。如已经指出的，示出的信息量可以与依照用户的目光行为确定的瞬时目光 类别联系。
如上面所提及的，可能在显示区域之前检测到用户，但是观测装置可能不能确定 目光航向，例如如果用户离显示区域一侧太远地观看。这种情形可能导致分配“零”目光类 另IJ。在这种情况下，依照第四目光类别产生显示区域反馈的步骤包括控制显示区域在视觉 上指示没有获得目光航向。例如，可以显示表达不能确定目光输出的文本消息，或者可以以 更巧妙的方法依次突出显示区域中的每一个对象，示出它们的有关信息。如果显示区域配 备了活动聚光灯，那么可以驱动这些聚光灯扫掠和回扫，使得显示区域中的对象以随机或 受控的方式被照射。可替换地，显示区域反馈可以涉及例如示出反映不能确定用户的目光 这一事实的某种视觉图像，例如在显示区域周围“漂移”的一双闭着的眼睛、疑惑的表情、问 号等等，以便指示“目光离开”。如果用户反应，即如果用户观察显示区域，使得观测装置能 够确定目光航向，那么该双眼睛可以“睁开”并且跟随用户眼睛的运动。失败的目光跟踪的 情况下的反馈也可以作音频输出消息而给出。在另一种方法中，当目光跟踪失败时，系统可 以模拟目光输入，产生注视点和扫视，从而模仿自然的目光路径并且相应地产生反馈。可替 换地，目光跟踪一失败，系统就可以对场景中的对象开始预先记录的多媒体演示，例如，它 将逐个突出场景的对象并且显示相关内容。该方法并不需要用户对发生的事情的任何理 解，并且实质上是没有用户交互地显示产品相关内容的另一种方式。 当然，依照本发明的方法并不限于这里描述的目光类别。其他适当的类别可以加 以使用。例如，在其中目光输出指示显示区域之前没有人的情况下，系统可能应用其中不进 行突出的“备用”目光类别。这在博物馆环境中可能是适当的。可替换地，这种“备用”类 型的类别可能涉及依次突出每个对象，以便例如在购物中心或者商品贸易会环境中吸引潜 在的用户，在所述环境中，可以预期人们将在显示区域之前经过。依照本发明的交互式显示系统可以包括可控或活动的聚光灯，其可以例如电子地 控制以便突出显示区域中的被观看对象。在这种环境中，反馈生成单元可以包括被实现为 控制聚光灯再现显示区域反馈的控制单元。例如，该控制单元可以发出改变聚光灯瞄准的 方向的信号以及控制其颜色或强度的信号。然而，出于无论什么原因，显示区域可能限于其 上可以放置对象以便呈现的搁板布置，或者橱窗可能限于宽而浅的区域。使用单个聚光灯， 可能难于精确地突出呈现区域中的对象。因此，依照本发明的交互式显示系统的一个实施 例优选地包括用于突出显示区域中的对象的可同步操作的聚光灯布置。这样的聚光灯可以 不引人注目地设置在搁板的底侧上。如上面所提及的，这样的聚光灯可以包括菲涅尔透镜 或者LC (液晶)透镜，其可以依照施加到聚光灯的电压产生运动的光束。优选地，可以例如 在运动、强度和颜色方面同步地控制若干这样的聚光灯，从而可以以特别简单和有效的方 式突出一个对象以便将其与显示区域中的其他对象区分。在用户观看对象之间的情况下， 可以控制一个或多个聚光灯，使得它们的光束会聚到用户观看的点处，并且跟随用户眼睛 的运动。如果不能检测到目光航向，那么可以控制这些聚光灯以便连续地照射对象。如果 检测到用户的目光停靠在所述对象之一上，那么若干光束可以会聚到该对象上，而其余对 象不被照射，从而为用户突出被观看的对象。如果他观看该对象的时间长于特定停留时间， 那么光束可以变得更窄并且可能也更强烈，从而发信号告知用户已经注意到他的兴趣。这 种反馈的优点在于，其实现起来相对经济，因为大多数橱窗装备了照明器具，并且这里描述 的聚光灯的控制相当直接。在一个稍微更复杂的实施例中，依照本发明的交互式显示系统可以包括将图像投影到显示区域中的微步进电机可控激光器。这样的设备可以定位在显示区域之前，使得它 可以将图像或照明效果投影到显示区域中的任何对象上或者显示区域中的对象之间。可替换地，可操纵投影仪可以用来将图像投影到显示区域中。由于投影方法允许 向用户示出详细的产品信息，因而所述交互式显示系统的一个特别优选的实施例包括显示 区域之后的屏幕，例如背投式屏幕。这种投影屏幕优选地依照反馈生成单元的输出加以控 制，该反馈生成单元可以依照瞬时目光类别向其提供适当的命令，例如对于“停留时间被超 过”目光类别呈现产品信息的命令，或者对于“对象之间”类别投影一双眼睛的图像的命令。 在一种可能的实现中，投影屏幕可以置于显示 区域中的对象之后。在另一种可能的实现中， 投影屏幕可以是具有例如范围从不透明到半透明到透明的不同透射模式的电泳显示器。更 优选地，投影屏幕可以包括低成本无源矩阵电泳显示器。这种类型的电泳屏幕可以置于用 户与显示区域之间。用户可以在这种显示器处于透明模式下时通过该显示器观看其后的对 象，在半透明模式下阅读该显示器上出现的通过该显示器同时可见的对象的信息，或者在 该显示器处于不透明模式下时仅仅看见投影到该显示器上的图像。当然，屏幕不必是投影 屏幕，而是可以为可以在其上再现图像或突出效果的任何适当类型的表面，例如液晶显示 器或TFT (薄膜晶体管)显示器。依照本发明的交互式显示系统优选地包括数据库或存储单元，其用于存储显示区 域中的对象的位置相关信息，使得针对有效目光输出确定的目光航向可以与一定对象关 联，该对象例如最靠近用户正观看的点的对象，或者用户正在观看的对象。对于能够在显示 区域中的屏幕上再现图像的系统而言，这种数据库或存储器优选地也存储对象的产品相关 信息，从而可以向反馈生成单元提供用于再现这样的信息的适当命令和数据以便给出对于 用户观看的产品的信息视觉强调。为了反馈生成单元可以用来正确地控制显示区域，有必要将显示区域中的对象与 对象相关内容“联系”，并且将该信息存储到数据库中。这可以例如使用嵌入到搁板中的 RFID (射频标识)读取器来实现以便检测嵌入或附接到对象以用于标识目的的RFID标记。 系统然后可以不断地跟踪对象的位置并且依照目光类别和目光航向获取对象相关内容。使 用RFID标识，系统可以在对象布置改变的任何时候更新对象的位置。可替换地，可以借助于图像识别标识显示区域中的对象。特别是在投影屏幕置于 对象之后并且用来通过给对象以可见的“光环”而突出对象的情况下，对象的实际形状或轮 廓需要为系统所知。存在自动地检测轮廓的若干方式。例如，第一方法涉及需要在产品布 置改变(例如一个产品被另一个取代)的任何时候进行的一次校准。为了开始校准，在产品 之后的屏幕上显示清晰的背景。相机摄取场景的快照并且通过从图像中减去该已知背景而 提取对象的轮廓。另一种方法在基于视觉的解决方案中使用TouchLight触摸屏，其在透明 屏幕之后使用两个相机检测触摸或附近的对象的轮廓。本发明的其他对象和特征根据以下结合附图考虑的详细描述将变得清楚明白。然 而，应当理解的是，这些附图仅仅被设计用于图示的目的，而不是作为本发明限制的定义。


图1示出了用户以及依照本发明实施例的交互式显示系统的示意图2a示出了显示区域的示意性前视图，其中使用依照本发明的方法为被观看的对象之间的点提供反馈；
图2b示出了显示区域的示意性前视图，其中使用依照本发明的方法为被观看的对象 提供反馈；
图2c示出了显示区域的示意性前视图，其中使用依照本发明的方法为被观看预定义 停留时间的对象提供反馈； 图3a示出了显示区域的示意性前视图，其中使用依照本发明的方法为被观看的对象 提供反馈；
图3b示出了显示区域的示意性前视图，其中使用依照本发明的方法为被观看的对象 之间的点提供反馈。在附图中，相似的数字始终表示相似的对象。示图中的对象不一定按比例绘制。
具体实施例方式图1示出了用户1在显示区域D之前，在这种情况下潜在顾客1在橱窗D之前。 为了清楚起见，该示意性表示保持非常简单。在橱窗D中，物品10、11、12、13被设置用于展 示，其在该实例中为不同的移动电话10、11、12、13。在这种情况下为压力垫4的检测装置4 定位在橱窗D之前的适当位置处，从而可以检测在橱窗D之前逗留的潜在顾客1的存在性。 具有相机布置的头部跟踪装置3置于显示区域D中，使得当用户1观察显示区域D时可以 跟踪用户1的头部运动。头部跟踪装置3可以响应于输送到控制单元20的来自检测装置4 的信号40而激活。显然，这样的检测装置4不一定需要，因为观测装置3也可以用来检测 用户1的存在性。然而，压力垫4或者类似物的使用可以触发观测装置3的功能，其在其他 情况下可以置于失活或备用模式下，从而在显示区域D之前没有人时可以节省能量。控制单元20通常对于用户1不可见，并且因而由虚线指示。控制单元20被示为包 括处理头部跟踪器3提供的目光输出数据30的目光输出处理单元21，头部跟踪器3可以监 视用户头部和/或眼睛的运动。数据库23或存储器23存储描述显示区域D中的物品10、 11、12、13的位置的信息28，并且也存储要在对象被选择时向用户再现的信息27，例如产品 细节，如价格、制造商、特价、关于该对象的其他版本的描述信息等等。如果目光输出处理单元21确定用户的目光方向指向显示区域D，那么将目光输出 30转化成有效的目光航向V。、Vb。。否则，将目光输出30转化成零值目光航向Vm，其可以简 单地为零矢量。显然，目光输出处理单元21的输出只需为单个输出，并且这里示出的不同 目光航向V。、Vb。、Vnr只是说明性的。当用户的目光L指向对象时，目光航向将“截取”该对象在显示区域中的位置。例 如，如图所示，用户1正在观看对象12。得到的目光航向V。由目光输出处理单元21使用存 储在数据库23中的对象10、11、12、13的坐标信息28确定，以便确定被观看的实际对象12。 如果用户1观看对象之间，那么这由目光输出处理单元21确定，其不能将有效的目光航向 Vb。与显示区域D中的对象的坐标匹配。在下面的目光类别确定单元22中，再次借助于数据库23提供的物品10、11、12、 13的位置信息28对于当前的目光航向V。、Vb。、Vm确定瞬时目光类别G。、Gdw、Gb。、Gm。例如， 当用户1正在观看对象并且该对象通过其坐标标识时，可以将瞬时目光类别G。分类为“对 象被观看”，在这种情况下，如下面将解释的突出该对象。如果用户注视该对象，即稳定地观看它达预定义的停留时间，那么可以将瞬时目光类别Gdw分类为“对于对象的停留时间被超 过”，在这种情况下，如下面将解释的向用户示出该对象的详细产品信息。对于用户观看对 象之间的情况而言，可以将瞬时目光类别Gb。分类为“对象之间”。如果观测装置不能跟踪用 户的眼睛，那么得到的零矢量使得目光类别确定单元22向瞬时目光类别Gnr分配“零”的解 释。在这里，出于说明的目的，目光类别确定单元22被示为与目光输出处理单元21分开的 实体，但是显然这些单元可以实现为单个单元。 瞬时目光类别G。、Gdw, Gb。、Gnr与来自数据库23的属于用户1观看的任何对象(对 于有效的目光航向V。)或者靠近用户1观看的点的对象(对于有效的目光航向Vb。)的产品 相关信息27和坐标信息28 —起转发到反馈生成单元25。显示控制器24产生驱动图中未 示出的诸如聚光灯、电机、投影仪等等之类的显示区域D的元件的命令29以便产生希望的 且合适的视觉强调，从而连续地向用户提供与其目光行为有关的反馈。依照本发明的交互式系统的一个基本实施例借助于图2a_2c而示出，图2a_2c示 出了显示区域D的示意性前视图。为了简单起见，在这里没有示出观测装置和控制单元，而 是假设它们是如上面利用图1所描述的交互式系统的一部分。包括可同步控制的菲涅尔聚光灯5的照明布置被示出，其中聚光灯5安装在搁板 61,62的底侧上，从而可以照射下搁板62、63上的对象14、15、16。图5示出了当用户观察 显示区域D时如何可以给用户(未示出)以反馈。让我们假设用户在显示区域D之前逗留， 并且其目光越过一定区域移动到中间搁板62上的鞋15的左边。他观看的点在控制单元中 确定，该控制单元向聚光灯5发出命令信号，使得上搁板61下面的聚光灯，使得从这些聚光 灯5发出的光束会聚到该点处。随着用户移动其眼睛以跨越显示区域观看，聚光灯被控制 成使得会聚的光束“跟随”其眼睛的运动。通过这种方式，用户立即知道系统对其目光做出 反应，并且他可以利用其目光控制该交互。如果用户观看中间搁板62上的鞋15，那么控制单元标识该对象15并且控制上搁 板上的聚光灯5以会聚在鞋15上，使得这些鞋被照射或突出，如图2b中所示。如果鞋15 是用户感兴趣的，那么他的目光可能停留在鞋15上，在这种情况下，系统做出反应，控制上 搁板61上的聚光灯5，使得光束变窄，如图2c中所示。图3a和图3b中示出了交互式显示系统的一个更复杂的实施例，图3a和图3b再 次没有控制单元或观测装置，尽管假设这些被包括在内。在该实施例中，显示区域D也包括 置于设置在搁板64、65上的对象14、15、16之后的投影屏幕30。图像可以通过使用图中未 示出的投影模块投影到屏幕30上。图3a示出了针对被观看的对象14提供的反馈，该对象在这种情况下为包14。包 的形状的知识存储在控制单元的数据库中，使得当目光输出处理单元确定该包14正被观 看时，其形状通过投影到屏幕30上的亮轮廓31或光晕31而被强调。如果用户观看包14 的时间长于预定义的停留时间，那么可以将该包14的诸如关于设计者的信息、可替换的颜 色、关于使用的材料的细节等等之类的附加产品信息投影到屏幕30上。通过这种方式，可 以保持显示区域“整齐”，同时如果用户感兴趣的话，可以向他示出关于任何对象14、15、16 的任何必要的信息。依照本发明的系统的该实施例可以用来非常直观地向用户表明他可以使用其目 光与系统交互。图3b示出了其中用户的目光在对象之间，例如如果用户经过时瞥视橱窗D的情形。他的目光被检测并且他观看的点被确定。在他的目光将相交的屏幕30上的点处， 投影目光光标32。在这种情况下，目光光标32示出在用户目光的相同方向上“运动”的流 星的图像，从而他可以立即理解他的目光被跟踪并且他可以使用他的目光与系统交互。
尽管以优选实施例及其变型的形式公开了本发明，但是应当理解的是，在不脱离 本发明的范围的情况下，可以对其做出许多附加的修改和变型。为了清楚起见，应当理解的是，整个本申请中“一”或“一个”的使用并没有排除复 数，并且“包括/包含”并没有排除其他的步骤或元件。除非另有说明，“单元”或“模块”可 以包括一定数量的单元或模块。
权利要求
1.一种在用户(1)与交互式显示系统(2)之间执行基于目光的交互的方法，所述交互 式显示系统包括其中设置了一定数量的物理对象(10，11，12，13，14，15，16)的三维显示区 域(D)和观测装置(3)，该方法包括步骤-从观测装置(3)获取用户(1)的目光相关输出(30)；-基于目光相关输出(30)从多个目光类别(G。，Gdw，Gb。，Gm)确定瞬时目光类别(G。，Gdw， Gbo，Gnr)；以及-依照该确定的瞬时目光类别(G。，Gdw，Gbo, Gnr)连续地产生显示区域反馈。
2.依照权利要求1的方法，其中如果用户(1)的目光方向(L)可以从目光相关输出 (30)确定，则将目光相关输出(30)转化成该用户(1)的目光航向(V。，Vb。)。
3.依照前面的权利要求中任何一项的方法，其中确定以下目光类别(G。，Gdw，Gb。，Gm)之-第一目光类别(G0)当目光航向(V0)指向显示区域(D)中的对象(10，11，12，13，14， 15，16)不足预定义的停留时间时；-第二目光类别(Gdw):当目光航向(V0)指向显示区域(D)中的对象(10，11，12，13，14， 15，16)至少预定义的停留时间时；-第三目光类别(Gbo):当目光航向(Vb。)指向显示区域(D)中的对象(10，11，12，13，14， 15，16)之间时；-第四目光类别(Gnr):当不能从目光相关输出(30)确定目光航向时。
4.依照权利要求3的方法，其中依照第一和第二目光类别(G。，Gdw)产生显示区域反馈 的步骤包括控制显示区域(D)以便在视觉上强调用户的目光指向的对象(14，15)。
5.依照权利要求3或4的方法，其中依照第二目光类别(Gdw)产生显示区域反馈的步 骤包括控制显示区域(D)以便依照停留时间在视觉上强调选择的对象(14，15)。
6.依照权利要求3-5中任何一项的方法，其中依照第三目光类别⑴b。)产生显示区域 反馈的步骤包括控制显示区域(D)以便在视觉上强调用户的目光(L)指向的点。
7.依照权利要求3的方法，其中依照第四目光类别(Gm)产生显示区域反馈的步骤包 括控制显示区域(D)以便在视觉上指示没有获得目光航向。
8.依照权利要求1-7中任何一项的方法，其中产生显示区域反馈的步骤包括在显示 区域(D)中再现图像(31，32)。
9.依照权利要求4-8中任何一项的方法，其中在视觉上强调显示区域(D)中的对象 (10，11，12，13，14，15，16)包括向用户(1)呈现对象相关信息。
10.一种交互式显示系统(2)，包括-三维显示区域(D)，其中设置了一定数量的物理对象(10，11，12，13，14，15，16)；-观测装置(3 )，其用于获取用户(1)的目光相关输出(30 )；-目光类别确定单元(22)，其用于基于目光相关输出(30)从多个目光类别(G。，Gdw， Gbo, Gnr)确定瞬时目光类别(G。，Gdw，Gbo, Gnr)；以及-反馈生成单元(25)，其用于依照该确定的瞬时目光类别(G。，Gdw，(ib。，Gnr)连续地产生 显示区域反馈(29)。
11.依照权利要求10的交互式显示系统(2)，包括用于在显示区域(D)中再现图像 (31，32)的再现模块。
12.依照权利要求10或11的交互式显示系统(2)，包括用于突出显示区域(D)中的对 象(14，15，16)的可同步操作的聚光灯(5)布置，并且其中反馈生成单元(25)包括被实现为 控制聚光灯(5)再现显示区域反馈(29)的控制单元(24)。
13.依照权利要求10-12中任何一项的交互式显示系统(2)，包括用于存储显示区域 (D)中的对象(10，11，12，13，14，15，16)的位置相关信息(28)的存储单元(23)。
14.依照权利要求10-13中任何一项的交互式显示系统(2)，其中显示区域(D)包括投 影屏幕(30)，并且其中反馈生成单元(25)包括被实现为控制投影屏幕(30)再现显示区域 反馈(29)的控制单元(24)。
全文摘要
本发明描述了一种在用户(1)与交互式显示系统(2)之间执行基于目光的交互的方法，所述交互式显示系统包括其中设置了一定数量的物理对象(10，11，12，13，14，15，16)的三维显示区域(D)和观测装置(3)，该方法包括步骤从观测装置(3)获取用户(1)的目光相关输出(30)；基于目光相关输出(30)从多个目光类别(Go，Gdw，Gbo，Gnr)确定瞬时目光类别(Go，Gdw，Gbo，Gnr)；以及依照该确定的瞬时目光类别(Go，Gdw，Gbo，Gnr)连续地产生显示区域反馈。本发明还描述了一种交互式显示系统(2)，该交互式显示系统包括三维显示区域(D)，其中设置了一定数量的物理对象(10，11，12，13，14，15，16)；观测装置(3)，其用于获取用户(1)的目光相关输出(30)；目光类别确定单元(22)，其用于基于目光相关输出(30)从多个目光类别(Go，Gdw，Gbo，Gnr)确定瞬时目光类别(Go，Gdw，Gbo，Gnr)；以及反馈生成单元(25)，其用于依照该确定的瞬时目光类别(Go，Gdw，Gbo，Gnr)连续地产生显示区域反馈(29)。
文档编号G06F3/01GK102144201SQ200980134379
公开日2011年8月3日 申请日期2009年8月31日 优先权日2008年9月3日
发明者H. 伯格曼 A., J. 范洛南 E., A. 拉施纳 T. 申请人:皇家飞利浦电子股份有限公司