编码光的检测的制作方法

本公开涉及借助于具有逐行捕获光的图像捕获元件的相机，比如在滚动式快门（rolling shtter）相机中，对编码光的检测。

背景技术：

编码光是指信号借此被嵌入在由诸如日常照明器之类的光源发射的可见光中的技术。该光因而包括用于照射诸如房间之类的目标环境（典型地光的主要目的）的可见光照贡献以及用于向环境中提供信息的嵌入式信号二者。为了这样做，该光以某一或某些调制频率调制，优选地以足够高的频率调制以便超越人类感知并且因此不影响主要光照功能。

在一些最简单的情况中，信号可以包括调制到来自给定照明器的光中的单波形或者甚至单音调。由多个照明器中的每一个照明器发射的光可以利用不同的相应调制频率来调制，该不同的相应调制频率在那些照明器之中是唯一的，并且该调制频率然后可以充当照明器或其光的标识符。例如，这可以用在调试阶段以标识来自每一个照明器的贡献，或者在操作期间可以用于标识照明器以便远程地控制它（例如经由RF反向信道）。在另一示例中，通过将标识符映射到照明器的已知地点或与该地点相关联的信息，该标识可以用于导航或其它基于地点的功能。

在其它情况下，包括更复杂数据的信号可以嵌入在光中。例如，使用幅度键控，可以改变光的幅度以编码数据，例如使用高和低水平来表示位或者使用更复杂的调制方案来表示不同的符号。或者使用频率键控，给定照明器可操作以在两个（或更多个）不同的调制频率上发射并且通过在不同调制频率之间切换来传输数据位（或更一般地，符号）。

WO2012/127439公开了一种借此可以使用如经常集成到像移动电话或平板电脑那样的移动设备中的日常的“滚动式快门”类型的相机来检测编码光的技术。在滚动式快门相机中，相机的图像捕获元件被分成按顺序逐行曝光的多个行（典型地水平行，即排）。即，为了捕获给定帧，第一行曝光于目标环境中的光下，然后序列中的下一行在稍后的时间处曝光，等等。典型地，序列依次序跨帧“滚动”，例如自上而下成排地滚动，因而得名“滚动式快门”。当用于捕获编码光时，这意味着帧内的不同行在不同时间处捕获光，并且因此如果行速率相对于调制频率足够高，则在调制波形的不同相位处捕获光。因而，光中的调制可以被检测。

技术实现要素：

在滚动式快门捕获或诸如此类的情况下，有效检测带宽取决于在传感器上编码光的出现或“足迹”。在光足迹覆盖尽可能多的图像传感器行的情况下，有效检测带宽被最大化。在此情况下，检测时间被最小化。值得注意地，尽管理想情况下光足迹被最大化，但是检测速度方面的提高可能已经在覆盖光足迹的传感器行的数量增加时发生。这意味着，当利用指向诸如天花板条灯之类的相对窄且细长的照明器的相机检测编码光时，相机的取向极大地影响检测的速度。例如，此情形典型地发生在移动设备的前置相机正在使用时。将合意的是，唤起用户旋转相机设备（例如移动电话），使得实现更优化的取向以用于针对每一种新情形对编码光进行检测。期望的用户动作可以通过显性指令而唤起，或者（优选地）通过用户接口的隐含方面（例如文本取向）而唤起，以使得实现期望的用户动作。

根据本文公开的一个方面，提供了一种包括用户接口、相机以及处理模块的设备；例如诸如智能电话或平板电脑之类的便携式设备。相机可操作来捕获包括来自光源的光的场景的图像，其中来自光源的光利用编码光成分进行调制。相机包括被分成多个行的图像捕获元件，由此，为了捕获图像，这些行按顺序在不同时间处被曝光，例如如在滚动式快门相机中。处理模块被配置成检测被投影到图像捕获元件的平面上的光源（即，如同它出现或将要出现在所捕获的图像中）相对于图像捕获元件的行的取向，并且基于此确定设备的目标重取向，其对于来自光源的光而言将是期望的以覆盖图像中增加数量的行（并且因此覆盖用于检测编码光的增加数量的行）。用户接口被布置成然后向用户输出目标重取向的指示，从而诱导用户使目标重取向发生。

因此，例如如果光源是长的、薄的矩形条灯并且行是水平排，则用户将被诱导旋转他或她的设备，以使得光源更竖直地出现在所捕获的图像中，从而覆盖用于编码光检测的更多行。

优选地，目标重取向是对足迹而言覆盖（给定设备距光源的当前距离时可被足迹覆盖的）最大数量的行所要求的目标重取向。尽管如此，即使不是最大值，它仍然可能有益于诱导相对于当前取向朝向任何增加数量的行的重取向。

在实施例中，用户接口包括显示器，但是所捕获的图像并未要求在所述显示器上是可见的。

在实施例中，用户接口包括显示器并且目标重取向的指示经由该显示器向用户输出。

例如，该指示可以包括正在显示器上被旋转的该显示器的内容，以使得对该内容的适当（垂直）观看要求用户将他或她的设备转到目标重取向。例如，该指示可以包括显示器上示出的文本，其在显示器上被定向，使得垂直地阅读该文本要求用户将设备转到所述目标重取向；和/或屏幕上的图形，其在屏幕上被定向，使得垂直地观看图形要求用户将设备转到所述目标重取向。

作为另一示例，该指示可以包括显示器上的指示将设备转到哪个方向以获得所述目标重取向的箭头。

在另外的示例中，该指示可以包括依据设备相对于目标重取向的当前取向改变显示器上的颜色和/或强度。例如，该指示可以包括改变显示器的边界像素的颜色。例如，该颜色可以是绿色以指示设备正在更靠近所述目标重取向地转动，该颜色可以是红色以指示设备正更远离目标重取向地转动。

在又一示例中，所述指示可以包括显示测量设备相对于目标取向的当前取向的度量。例如，该度量可以表示相对于在设备距光源的当前距离处的足迹可覆盖的最大数量的行，由所述足迹覆盖的图像捕获元件的当前数量的行。

处理模块优选地包括图像处理模块，其被配置成通过，例如基于用于检测编码光源的足迹识别技术和或一个或多个其它图像识别技术，检测在所捕获的图像中出现的光源相对于图像捕获元件的行的取向来执行所述检测。

然而，可替换地或此外，处理模块可以被配置成基于使用取向传感器测量的设备的绝对取向、使用定位系统测量的设备的位置以及该位置与光源的绝对取向的预定知识之间的映射来执行所述检测；处理模块因而从与光源的绝对取向相比的设备的绝对取向确定相对取向。

根据本文公开的另一个方面，提供了一种方法，包括：使用设备的相机捕获包括来自光源的光的场景的图像，其中来自光源的光利用编码光成分进行调制，并且相机包括被分成多个行的图像捕获元件，由此为了捕获图像，这些行按顺序在不同时间曝光；检测被投影到图像捕获元件上的光源相对于该图像捕获元件的行的取向；基于所述检测，针对来自光源的光的足迹确定设备的目标重取向以覆盖图像中增加数量的所述行；以及经由设备的用户接口向用户输出所述目标重取向的指示。

根据本文公开的另一个方面，提供了一种计算机程序产品，其包括包含在计算机可读介质上且被配置成当被执行时执行设备的对应操作的代码。例如该程序可以存储在服务器上以便可下载到设备，或者可以存储在设备的本地存储装置上，或别处；并且可以在设备的（微）处理器或设备的多个处理器中超过一个处理器（如果如此配备的话）上执行。

在实施例中，该方法可以进一步包括被进一步配置成根据本文公开的任意设备特征执行操作的步骤或计算机程序。

附图说明

为了辅助理解本公开并且为了示出实施例可以如何付诸实施，通过示例方式参照附图，在附图中：

图1示意性图示了包括照明系统和相机的空间，

图2是具有用于接收编码光的相机的设备的示意性框图，

图3示意性图示了滚动式快门相机的图像捕获元件，

图4示意性图示了滚动式快门对调制光的捕获，

图5是捕获图像的示意性表示，

图6是所捕获的图像的另一个示意性表示，

图7是所捕获的图像的另一个示意性表示，

图8是用于处理所捕获的图像的装置的示意性框图，

图9是经由用户接口输出的旋转的内容的示意性表示，

图10是通过用户接口输出的度量的示意性表示，以及

图11是图10的度量的另一个示意性表示。

具体实施方式

图1示出本文公开的实施例可以在其中部署的示例环境2。例如，该环境可以包括办公室、家庭、学校、医院、博物馆或其它室内空间的一个或多个房间和/或走廊；或者室外空间，比如公园、街道、体育场或这样的类似物；或者其它类型的空间，比如露台或车辆的内部。环境2安装有包括照明器形式的至少一个照明设备4的照明系统。在环境2中还存在用户终端6，优选地诸如智能电话或平板电脑之类的移动设备。照明器4包括照明元件，比如LED、LED阵列、白炽灯泡或气体放电灯。由一个或多个照明器中的每一个照明器的照明元件发射的光利用编码光成分以人眼基本上感觉不到的频率进行调制。

这可以通过选择足够高的调制频率并且通过包括测量以将光输出的频谱中的波动限制成（例如作为数据被调制的结果）低于人类视觉系统的临界闪烁频率来完成。关于数据相关光谱成分，注意到无DC码（DC-free codes）和/或无DC²码的使用可以特别地有益于限制光输出中的低频率成分。

图2给出了移动设备6的框图。设备6包括用户接口8（优选地诸如屏幕或触摸屏之类的显示器）、具有二维图像捕获元件20的相机10以及耦合到图像捕获元件20和用户接口8的图像分析模块12。图像分析模块12可操作以处理表示由图像捕获元件捕获的图像的信号，并且基于此对从中捕获图像的光中的编码光成分解码。图像分析模块12可以以存储在一个或多个计算机可读存储介质上且布置成在包括一个或多个处理单元的处理器上执行的代码的形式实现。可替换地，不排除图像分析模块12中的一些或所有图像分析模块可以在专用硬件电路或诸如FPGA之类的可重配置电路中实现。

图3表示相机10的图像捕获元件20。图像捕获元件20包括用于捕获表示入射在每一个像素上的光的信号的像素阵列，例如典型地方形或矩形像素的方形或矩形阵列。在滚动式快门相机中，像素被布置在多个行中，例如水平排22。为了捕获帧，每个行按顺序曝光，每个行用于相机曝光时间T_exp的连续实例。在此情况下，曝光时间是单独的行的曝光的持续时间。当然，注意到在数字相机的情境下，术语“使曝光”或“曝光”并不指机械快门或这样的类似物（该术语历史起源于其中），而相反地是指行主动地用于捕获或抽样来自环境的光的时间。还注意到，本公开中的序列意指时间序列，即因此每个行的曝光在稍微不同的时间开始（并且可选地行的曝光可以在时间中重叠）。例如，首先顶排22₁开始在持续时间T_exp内曝光，然后在稍后的时间第二排下22₂开始在T_exp内曝光，然后再次在稍后的时间第三排下22₃开始在T_exp内曝光，并且以此类推，直到底部排已被曝光为止。然后重复该过程以曝光帧序列。

在例如WO2012/127439中，已经描述了如何可以使用该类型的常规摄像机检测编码光。该信号检测利用滚动式快门图像捕获，其使得时间光调制转化成在连续的图像排上的空间强度变化。

这被图4示意性图示。当每个连续行22被曝光时，它在稍微不同的时间处曝光并且因此（如果行速率与调制频率相比足够高）在调制的稍微不同的相位处曝光。因此，每个行22被曝光于调制光的相应瞬时水平。这导致条纹图案，其在给定帧上随调制起伏或循环。基于此原理，图像分析模块14能够检测调制到由相机10接收的光中的编码光成分。

作为单个光电检测器的使用的可替换方案，使用滚动式快门相机检测编码光产生了各种优点。一个这样的优点是图像平面中不同光源的空间分离，其允许多个光源的同时标识以及它们在所照射的场景上的光分布（它们的“足迹”）的分离。

例如EP2,503,852描述了滚动式快门类型的技术如何可以不仅用于检测由编码光成分用信号传递的身份或数据，而且在有来自不同照明器的多个编码光成分存在于环境中的情况下用于检测单独的编码光成分的空间足迹。即，单独的成分的量级可以根据所捕获的图像内的空间坐标来确定，例如根据笛卡尔x和y像素坐标来确定，所述坐标从来自一个或多个其它成分的贡献中分离。

对于编码光检测，具有滚动式快门图像传感器的相机的特定使用还相对于全局快门读出（其中整个帧被一次曝光）具有优势，因为连贯的传感器行的不同时间实例使得快速光调制转化成空间图案，如关于图4所讨论。然而，与图4所示不同，来自给定的光源4的光（或者至少可用光）不一定覆盖整个图像捕获元件20的区域，而是相反地仅覆盖某足迹。因此，所捕获的光足迹的垂直伸展越短，编码光信号在其上可检测的持续时间越长。在实践中，这意味着只有整体编码光信号的时间片段可以在单个帧内被捕获，使得多个帧被要求以便捕获足够的移位信号片段以恢复编码光中嵌入的数据。每个帧中的信号片段越小，在数据恢复是可能的之前越多的所捕获的帧是必需的。

可以通过将相机10指向光源或者通过将相机指向被照射的表面来检测编码光。通过使用移动设备6的前置相机，可以在保持移动设备的显示器上自由观看的同时检测编码光。例如，这使得移动设备6能够用作照明安装阶段的部分（例如调试）。可替换地或此外，在安装之后，移动设备6可以基于最终用户在建筑物中的地点快速地恢复嵌入在编码光中的灯特定标识符以向他或她提供一系列服务。例如，这样的基于地点的服务可以用于室内导航，和/或通过调节由嵌入于编码光中的ID识别的照明器来对局部光照进行个性化控制（该控制经由适当的反向信道，例如RF，进行）。

在诸如办公室、商店和机场之类的大型公共空间中的普通情形是安装在天花板中的长排的窄照明器的使用。甚至在LED光照的情况下，照明器的线性形状经常对应于荧光照明器（TL管），这样的LED照明器经常形成对荧光照明器的替换。

利用滚动式快门相机的编码光检测的有效检测带宽由其上存在编码光信号的传感器行的数量确定。这意味着数据恢复所要求的时间强烈地取决于移动设备6相对于照明器4的长轴的取向（假定相机10是移动设备6的部分并且因此与其一起移动）。如果窄照明器4呈现为其长轴平行于图像传感器20的行，则检测时间可能变得非常长。在极端情况下，检测可能是根本不可能的。

图5-7示出了由移动设备6的前置相机10观察的（即如被投影到图像捕获元件20的平面上的）细长的天花板照明器的外观的三种典型情况。箭头指示相机框架中发光区域的垂向幅度。图5示出针对编码光的检测的最少有益的情形。如图6中、或者最佳地如图7中的设备的旋转提高了在其上捕获编码光信号或信号片段的垂向幅度。

将合意的是，在光源4的图像呈现为平行于图像捕获元件20的（例如水平的）行22（例如排）或者相对于图像捕获元件20的行22（例如排）成浅角度的情况下，实现或者改进编码光检测。根据下文，这是通过检测光源4的图像与行22之间的相对取向以及计算设备6的期望的重取向（假定相机10是设备6的部分并且因此与其一起移动）以使得光源4的图像呈现为相对于图像捕获元件20的行22的更陡的角度、优选地与行22（例如排）成直角（例如垂直于行22）来实现。目标重取向的指示被输出到用户接口8（优选地屏幕），该用户接口被设计成使得用户朝向相对于（多个）照明器的更有益的取向旋转他的移动设备。

图8给出了根据本公开的实施例配置的移动设备6的示意图。功能块用矩形块指示，并且信息流的相关元素用圆角块指示。

设备6优选地是移动设备，比如平板电脑或智能电话。如关于图2所讨论，它包括嵌入式相机10（优选地前置相机）、可以是具有信息和控件的显示器（例如触摸屏）的用户接口8以及处理模块12（例如其可以在设备6的微处理器和嵌入式存储器上实现）。处理模块12包括确定相对于相机10的光源的取向或被照射区域的取向的子系统或算法，以及以隐含地或明确地向用户建议他或她将设备旋转到优化编码光的检测的取向的方式来改变用户接口8的方位的构件。优选地，用户接口不要求相机图像在显示器8上是可见的。

如图8中所示，设备6的处理模块12包括取向确定块32和比较块38。取向确定块32被布置成从相机10的图像捕获元件20接收图像流30，该流30包括环境2的一个或多个图像的所捕获的图像数据，所述一个或多个图像包括至少一个所捕获的图像中的光源4的图像。取向确定块32包括足迹识别块，其被配置成例如使用如EP 2,503,852中公开的技术识别所捕获的图像中的光源4的足迹。基于此，当光源4出现在所捕获的图像中时，取向确定块32确定光源4的当前取向，例如如图5、6和7所示。取向确定块32然后向比较块38输出表示此当前取向的第一信号34。

可替换地或此外，相对取向可以以另一方式确定。例如，取向确定块32可以被配置成从取向传感器获得移动设备6的取向，并且将该取向与从定位系统得出的地点信息组合以便确定设备6与照明器4之间的相对取向。例如，取向传感器可以包括集成到移动设备6中的指南针、（多个）陀螺仪传感器和/或（多个）加速器，而定位系统可以包括基于卫星的定位系统（例如GPS、GLONASS或伽利略（Galileo））或本地RF通信网络（例如使用基于在移动设备6与网络的无线节点之间传输的信号的三角测量、三边测量或多边定位）。取向传感器提供设备6相对于世界的取向（假如信号是可靠的），并且从定位系统接收的信息给出了设备在世界中的地点。能够访问适当的照明数据库（本地存储在设备6上或者例如通过网络远程访问），这可以使得取向确定块32能够查找什么照明器4存在于当前地点以及它们的“绝对”取向，例如相对于环境的地图、建筑平面图或3D模型。还（从取向传感器）知道移动设备6相对于地图、建筑平面图或模型的取向，取向确定块32因而可以确定设备6和照明器4的相对取向，并且因而在照明器4将出现在所捕获的图像中时确定照明器4的取向。例如地点信息可以被映射到某商店，并且数据库可以记录照明器的局部取向，其一般地遍及整个商店空间是单向的。

因而，给定以上选项，在各种实施例中，移动设备8的取向可以从唯一地基于相机所捕获的图像、或者在没有相机的情况下基于取向传感器和定位系统的足迹识别确定；或者来自两种技术的信息可以在取向的确定中组合。

无论哪种方式，比较块38还在光源4将出现在所捕获的图像中时检索表示用于光源4的期望取向的第二信号36。例如，比较块38检索期望竖直取向的预编程知识（在水平行22的情况下）。比较块38然后比较这两个信号36、38以确定它经由用户接口8输出的设备6的优选重取向的指示40。

在实施例中，指示40通过确定用于用户接口8的所要求的用户接口（UI）取向来实现，其中该内容以一定取向显示在UI 8上，使得对于适当的（垂直的）阅读而言，用户必须将他或她的电话或平板电脑旋转到最有益于编码光检测的方向。因此，用户被隐含地唤起执行重取向。例如，设备的显示器上的文本被定向成使得对于适当的阅读而言，智能电话6需要在用于最优的（或者至少改进的）编码光检测的方向上旋转。作为另一示例，设备的显示器中的图形（例如照片或图）的取向使得为了适当的观看，智能电话需要在更有益于编码光检测的方向上旋转。例如，此图形可以包括公司标志、诸如通过与触摸屏交互进行调节的滑动器之类的交互式控件、和/或用户好奇要检查的图像。

例如，参见图9。这里，内容包括猫44的图片和/或一些文本42，但是旋转到一定角度。甚至不必思考，用户发现他或她自己希望赞美猫44或阅读文本42并且本能地旋转设备以使得内容垂直显示。设备6现在所保持的角度是用于编码光检测的最优角度。

在另一个实施例中，用户接口内容可以被旋转，但是给出旋转设备的消息的文本被垂直显示（并且可以在设备6旋转的同时保持垂直），使得设备6的用户以清晰方式看到旋转的指令。一旦设备6已被旋转到最优取向，该文本可以移除。

在另一个实施例中，显示器8上的箭头指示用于编码光检测的最优取向。

在另一个实施例中，颜色指示用于编码光检测的取向在什么程度上是最优的。可能的实现方式是使用颜色从红色变为绿色的着色的边界，这取决于照明器的取向。

在又一实施例中，该指示可以是显示给用户的显性度量，其量化相对于设备的当前取向的优选取向。例如，该度量可以测量光源4目前占用的行22的数量相比于在设备被旋转到最优位置的情况下光源可能潜在地占用的行22的估计的最大数量的比率或比例，并且/或者该度量可以测量设备6应当在一个或多个轴上转动的若干度数。此度量可以以数值或图形方式显示给用户，例如显示为位置或关于图形比例的程度。对于最终用户，该度量将优选地以图形方式呈现，例如以跨越当前和期望取向角度之间的范围的圆扇形的形式呈现。例如，图10和11示出指示设备的较不优化的取向与几乎最优的取向之间的差异的圆扇形的示例。第二指示符将相对检测速度表示为最大预期检测速度的百分比。

将要领会的是，上述实施例仅通过示例方式进行了描述。

例如，所公开的技术的范围不限于上文所讨论的目标取向的示例指示，并且可以使用其它指示，或者上述指示和/或其它指示的任意组合。一般地，目标重取向可以以任何形式表达，并且可以用取向的目标改变或要被定为目标的绝对取向的措辞来表达。

进一步地，尽管上文已经描述了处理模块12对编码光进行解码以及计算目标重定向，但是在所有可能的实施例中，情况不需要是这样。可替换地或此外，设备6上的处理模块12可以执行用于确定设备6的目标重取向的操作，并且所捕获的图像可以被传递到用于提取编码光信号的另一终端。例如，处理模块12可以（例如在本地或通过上传到主计算机或服务器）存储图像，使得在稍后的场合编码光可以从存储的图像中被解码。

此外，所公开的技术可以结合编码光的若干不同的应用来使用。编码光向光源以及被照射的环境增添信息，并且利用现有（移动）相机的检测为光源增添价值，因为所嵌入的信息变得可用于各种新应用。例如灯特定信息可以在新照明系统的调试期间使用，并且/或者利用智能电话或平板电脑提供对光的个性化本地控制。作为另一个示例，编码光使能照明器的集合可以提供用于室内导航和基于地点的服务的光信标的密集网格，这向消费者增添了价值并且为服务提供者带来精确的地点信息。作为又一示例，特定对象的编码光光照可以利用嵌入在光中的嵌入式标识符基本上“加标签于”对象。所公开的技术可以潜在地向这些应用中的任何应用增添鲁棒性。

将领会，本发明还适用于适于将本发明付诸实施的计算机程序，特别是载体上或其中的计算机程序。该程序可以是下述的形式：源代码、目标代码、代码中间源和诸如部分履行形式的目标代码，或者可以是适合于在根据本发明的方法的实现方式中使用的任何其它形式。

涉及计算机程序产品的另一个实施例包括对应于本文阐述的系统和/或产品中至少一个的每一个构件的计算机可执行指令。这些指令可以被细分成子例程并且/或者存储在可以静态或动态地链接的一个或多个文件中。

如上文所规定的，本发明可以进一步地以计算机程序产品的形式体现。当在载体上提供时，计算机程序的载体可以是能够承载程序的任何实体或设备。例如，该载体可以包括存储介质，比如ROM（例如CD ROM或半导体ROM）或者磁性记录介质（例如硬盘）。可替换地，该载体可以是程序嵌入在其中的集成电路，该集成电路适于执行相关方法或者在相关方法的执行中使用。

本领域技术人员在实践所要求保护的本发明时根据对附图、公开内容和所附权利要求的研究能够理解并实现所公开的实施例的其它变型。在权利要求中，词语“包括”不排除其它元件或步骤，并且不定冠词“一”不排除多个。单个处理器或其它单元可以完成权利要求中叙述的若干项的功能。在相互不同的从属权利要求中叙述某些措施的起码事实并不指示这些措施的组合不能用于获益。计算机程序可以存储/分布在适当的介质上，比如与其它硬件一起供应或作为其部分的光学存储介质或固态介质，但是也可以以其它形式分布，比如经由因特网或其它有线或无线电信系统分布。权利要求中的任何附图标记不应当解释为限制范围。