在输出面板与数字相机之间传送隐藏图像数据的制作方法

优先权声明

本申请要求于2015年3月06日提交的名称为“conveyanceofhiddenimagedatabetweenoutputpanelanddigitalcamera(在输出面板与数字相机之间传送隐藏图像数据)”的美国专利申请序列号14/641,062的优先权，所述专利申请出于所有目的通过引用以其全文结合在此。

背景技术：

数字相机是经常包括在商用电子媒体装置平台中的部件。数字相机现在以可穿戴形状因子可获得(例如，视频采集耳机、视频采集头戴装置、视频采集眼镜等)，并且嵌入在智能电话、平板计算机和笔记本计算机等之内。

数字显示器是经常用于向最终用户传送对媒体内容的视觉表示的部件。数字显示器包括多个空间排列以形成输出面板的可寻址图像元素(像素)。根据显示器技术，每个像素元件可以包括用于输出对媒体内容的视觉表示的电子管或光源。

考虑到数字相机和数字显示器的普遍存在的性质，可以在更大程度上协同利用其对应能力的系统可以向用户提供增强的娱乐和效用体验。

附图说明

在附图中通过示例的方式而非通过限制的方式展示了在此所描述的材料。为了图示的简明和清晰，图中所展示的元件不一定按比例绘制。例如，为清晰起见，某些元件的尺寸可以相对于其他元件被放大。另外，在认为适当的情况下，在附图之间对参考标记加以重复以指示相应的或类似的元件。在附图中：

图1a和图1b是示意图，根据一些实施例描绘了在显示器与相机之间传送隐藏图像数据；

图2a是流程图，根据一些实施例展示了一种接收隐藏图像数据的方法；

图2b是示意图，根据一些实施例描绘了使用待存储或显示的第二像素颜色对来替换所感测到的第一像素颜色对；

图3a是曲线图，根据一些实施例展示了绘制像素值编码空间的频率响应曲线；

图3b、图3c、图3d是时序图，根据一些实施例展示了基于显示像素刷新频移调制来对逻辑电平进行解码；

图4a、图4b、图4c、图4d、图4e根据一些实施例展示了隐藏图像数据编码结构；

图5是流程图，根据一些实施例展示了一种光学地传输隐藏图像数据的方法；

图6a是根据实施例的图像相机通信接收器的功能框图；

图6b是根据实施例的图像相机通信发射器的功能框图；

图7是根据一些实施例的数据处理系统的框图；

图8是根据一些实施例的包括隐藏图像数据解码器的示例性超低功率系统的图示；并且

图9是根据一些实施例安排的示例性移动手持平台的图示。

具体实施方式

参照附图描述了一个或多个实施例。虽然对特定配置和安排进行了详细的描绘和讨论，但应当理解这样做仅仅是出于说明性目的。相关领域的技术人员将认识到，在不背离本说明书的精神和范围的情况下，其他配置和安排是可能的。将对相关领域的技术人员明显的是，本文描述的技术和/或安排可以在本文详细描述的系统和应用之外的各种各样的其他系统和应用中被采用。

在以下具体实施方式中对附图进行参考，所述附图形成其一部分并且展示了示例性实施例。进一步地，应当理解，在不背离要求保护的主题的范围的情况下，可以利用其他实施例并且可以作出结构和/或逻辑改变。因此，以下具体实施方式不应以限制的含义来理解并且要求保护的主题的范围仅由所附权利要求书及其等效物来限定。

在以下描述中，阐述了许多细节，然而，将对本领域技术人员明显的是，可以在没有这些特定细节的情况实践实施例。以框图形式而非详细地示出了众所周知的方法和装置以避免模糊更显著的方面。贯穿本说明书对“实施例(anembodiment)”或“一个实施例(oneembodiment)”的引用意味着在至少一个实施例中包括了与所述实施例结合描述的特定特征、结构、功能或特性。因此，贯穿本说明书在各处出现的短语“在实施例中(inanembodiment)”或在“在一个实施例中(inoneembodiment)”不一定指同一个实施例。此外，在实施例的上下文中描述的特定特征、结构、功能或特性可以用任何适当的方式组合在一个或多个实施例中。例如，第一实施例可以与第二实施例在任何地方进行组合，其中，与这两个实施例相关联的特定特征、结构、功能或特性不相互排斥。

如在示例性实施例和随附的权利要求书的描述中所使用的，除非上下文明确指示，否则单数形式“一个(a)”、“一个(an)”和“所述(the)”旨在同样包含复数形式。还将理解的是，如本文使用的术语“和/或”指代并且包括相关联的列举项的一个或多个项的任何和所有可能组合。

如贯穿本说明书并且在权利要求书中使用的，由术语“的至少一个(atleastoneof)”或“的一个或多个(oneormoreof)”联接的项列表可以意味着所例举的项的任何组合。例如，短语“a、b或c中的至少一项”可意指a；b；c；a和b；a和c；b和c；或a、b和c。

术语“耦合”和“连接”连同其衍生词在此可以用于描述部件之间的功能关系或结构关系。应当理解的是，这些术语并不意为彼此的同义词。相反，在特定实施例中，“连接”可以用于指示两个或更多个元件彼此直接进行物理的、光学的或电学的接触。“耦合”可以用于指示两个或更多个元件彼此进行直接的或间接的(在它们之间具有介入元件)物理的、光学的或电学的接触，和/或指示两个或更多个元件彼此协作或交互(例如，由于因果关系的原因)。

就对计算机存储器内的数据位进行的操作的算法和符号表示而言，呈现在此提供的具体实施方式的一些部分。如从以下讨论中明显的是，除非另外特别声明，否则应认识到，贯穿本说明书，利用诸如“运算”、“计算”、“确定”、“估计”、“存储”、“收集”“显示”、“接收”、“合并”、“生成”、“更新”等术语的讨论是指计算机系统或类似电子计算装置的动作和过程，所述计算机系统或类似电子计算装置对表示为计算机系统的包括寄存器和存储器的电路系统中的物理(电子)量的数据进行操纵并且将其转换成类似地表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示装置中的物理量的其他数据。

虽然以下描述阐述可以在如例如片上系统(soc)架构的架构中显现的实施例，但是在此描述的技术和/或安排的实施方式不局限于具体的架构和/或计算系统，并且出于类似目的可以由任何架构和/或计算系统实施。使用例如多个集成电路(ic)芯片和/或封装体、和/或各种计算装置和/或消费电子产品(ce)装置(诸如机顶盒、智能电话等)的各架构可以实施在此描述的技术和/或安排。此外，虽然以下描述可能阐述许多特定的细节(诸如逻辑实施方式、系统部件的类型和内在关系、逻辑划分/集成选择等)，但可以在没有这些特定细节的情况下实践要求保护的主题。此外，可以不详细示出某些材料(如例如，控制结构和完整的软件指令序列)，以便不模糊在此公开的材料。

在此公开的材料的某些部分可以是在硬件(例如，如图像处理器中的逻辑电路系统)中实施的。某些其他部分可以在硬件、固件、软件、或其任何组合中实施。在此公开的至少一些材料还可以被实施为存储于机器可读介质上的指令，这些指令可以被一个或多个处理器(图形处理器和/或中央处理器)读取或执行。机器可读介质可以包括用于存储或传输具有由机器(例如，计算装置)可读的形式的信息的任何介质和/或机制。例如，机器可读介质可以包括只读存储器(rom)；随机存取存储器(ram)；磁盘存储介质；光学存储介质；闪存装置；电气、光学、声学或其他类似的非瞬态、有形介质。

下面描述了用于光学相机通信的示例性系统、方法和计算机可读介质。在一些实施例中，在显示器与相机之间传送隐藏图像数据。如在此进一步描述的，一些实施例利用高相机传感器截止频率和高频显示像素刷新能力，这两者可能远高于人眼的响应时间。在一些实施例中，通过相对于目标相机图像传感器帧速率而对显示像素输出幅度进行频率调制预定量来传送隐藏图像数据。因为对信息的调制编码可以使图像数据无法用肉眼看到，所以所传送的信息在本文中被称为“隐藏”或“间接”图像数据。在进一步实施例中，相机模块用于检测显示像素的状态和/或逻辑电平的与像素幅度输出中的频移调制相关联的一个或多个变化。然后，对所述逻辑电平进行解码以推导出所述隐藏图像数据。在一些实施例中，隐藏图像数据指示待输出至相机取景器显示器的一个或多个像素的颜色。在进一步实施例中，接收装置具有用于将所检测到的像素输出频移调制解码成对隐藏数据的视觉表示的逻辑。所述装置进一步包括输出面板，所述输出面板用于向用户输出对通过显示器传送的可以以其他方式从平面视图隐藏的隐藏数据的视觉表示。

图1a和图1b是示意图，根据一些实施例描绘了在显示器与相机之间传送隐藏图像数据。传送包括起始或发射(tx)源显示器和接收器(rx)相机。可以通过用于对相机输出执行图像信号处理(例如，如由相机通信应用软件配置成用于接收隐藏图像数据)的平台来承载相机。在一些示例性实施例中，相机被嵌入到移动装置(例如，智能电话相机)中。

首先参照图1a，发射显示器101可以被配置成用于空间的一般照明(例如，吊灯)或用于媒体内容显示或两者。显示器101包括例如在2-d(xy)显示平面上的多个空间排列的像素。每个显示像素可以包括多个光阀或光源。在一个示例性实施例中，显示器101采用发光二极管(led)技术。在一些实施例中，显示像素中的一个或多个可以在“高”与“低”输出幅度状态之间循环。按“高”、“低”“高”状态序列进行的调制在本文中被称为“像素刷新”。因此，在可以输出相同或不同的源显示像素颜色的两个连续的“高”输出幅度状态之间，在像素“低”状态期间，光输出处于显著更低的幅度。在一些实施例中，像素在像素高幅度状态期间“点亮”，并且在像素低幅度状态期间“熄灭”。在其他实施例中，像素可以被分类为在高和低输出幅度状态两者期间保持“点亮”。

例如，在每个led显示像素包括红、绿和蓝(rgb)二极管的情况下，向所有三个二极管施加以便输出给定像素颜色值(例如，rgb通道的混合)的电压在像素高(例如，点亮)与低(例如，熄灭)状态之间变化。在其他实施例中，显示器101采用也与通过相机通信来进行的对隐藏数据的传送相兼容的替代性显示器技术。例如，具有可控的点亮/熄灭或高/低状态的任何其他显示器都可以被适配成可通过相机来辨识，以便在示例性led显示器的情境下通过基于本文所描述的实施例中的一个或多个实施例的像素刷新频移调制(即，“键控”)来传送隐藏图像数据。

在一些实施例中，像素循环或像素刷新可以与面板刷新相关联。面板刷新通常与垂直消隐间隔(vbi)相关联，在vbi期间，可以翻转帧缓冲器，从而使得像素点亮状态值随着面板刷新而变化。在像素刷新与面板刷新相关联的一些实施例中，一个或多个led在vbi期间被置于熄灭状态，从而使得像素刷新与面板刷新一起进行。对于这种实施例，然后，可以出于传送隐藏图像数据的(附加)目的而调制面板刷新速率。因此，除了出于任何常规目的(例如，显示电力消耗控制、显示亮度控制、图像帧撕裂和/或扫描残迹减轻)而改变面板刷新速率之外，可以进一步如根据本文中的实施例的传送隐藏图像数据的手段那样对面板刷新速率进行调制。

在其他实施例中，用于传送隐藏图像数据的像素刷新独立于面板刷新。同样，像素刷新可以独立于帧缓冲器翻转。例如，在没有任何vbi的情况下驱动显示器并且显示器的像素甚至在帧缓冲器被翻转的同时保持处于“点亮”状态的情况下，可以出于根据本文中的实施例的传送隐藏图像数据的目的根据需要在“高”幅度输出与“低”幅度输出状态之间独立地循环像素。可以以受控的方式(例如，通过图形流水线)对在限定“低”状态像素值的输出图像帧与限定“低”状态像素值的像素刷新帧之间的帧缓冲器翻转的速率进行调制，以便对隐藏图像数据进行编码。

根据由显示器101输出(生成或反射)的电磁辐射的波长，肉眼可以在视觉上感知到或感知不到显示器101的输出。例如，在一些实施例中，由显示器101输出可见波段内的光。在这种实施例中的第一实施例中，显示器101的所有像素输出相同的颜色，诸如但不限于白色。然后，用户115仅感知均匀照亮的白色面板，白色面板是扁平面板照明应用的典型。在其他实施例中，由显示器101输出可见波段外的光。在一些这种实施例中，显示器101输出在跨越波长的近红外波段内肉眼无法看到的光。然后，用户115将显示器101感知为暗的(黑色)或未均匀点亮。在仍其他实施例中，在显示器101内的各个像素在输出可见光谱内的光的第一状态与输出可见光谱外的光的第二状态之间切换。例如，在任何给定时间，显示器101中的第一像素子集输出可见光(例如，白色)，而显示器101中的第二像素子集输出近红外波段内的光。包括在第一和第二子集中的显示像素群可能随着时间变化，从而使得用户115仅感知显示器101上的噪声或雪花。

对于显示器101输出可见波段内的光的一些实施例，显示器101的各个像素可以输出不同的颜色(例如，涵盖任何颜色空间域)以生成对具有各种图形对象、纹理等的一个或多个第一图像帧的视觉表示。例如，如图1b中进一步展示的，显示器101输出包括图形对象102(例如，化身)和103(例如，树)的第一图像。用户115具有观看包括对象102和103的常规媒体(例如，静态图像或视频)显示器的感知118。

在一些实施例中，显示器对一个或多个显示像素的像素幅度调制速率(刷新频率)进行调制，以便对隐藏输出数据进行编码。参照图1a和图1b，显示器101用于将一个或多个像素的像素刷新频率相对于目标相机帧速率调制预定量。在一个示例中，像素以大约相机110的标称视频帧速率的一半刷新，以便对隐藏图像数据进行编码。在一些进一步实施例中，一个或多个显示像素的最小像素刷新速率高于肉眼的响应截止(例如，至少80hz以及有利地100hz或更多)。在显示器101的最小像素刷新速率高于90hz到100hz的人眼响应截止的情况下，用户的感知118可能不受像素输出幅度调制速率的影响。然而，即使在像素以低于人眼响应截止的某个速率被刷新的情况下，用户也可以将像素输出调制感知为显示器101中的纯粹闪烁。

相机通信(camcom)接收器装置105包括数字相机110，所述数字相机用于对来自显示器101的输出进行采样。相机110包括具有有利地远高于显示器101所采用的最大刷新速率的响应截止的光学传感器。许多可商购获得的相机传感器具有大约1khz或更大的截止频率。相机110可以在多个像素刷新周期(以及可能地，多个面板刷新和/或帧缓冲器翻转)内记录显示器的视频。在此期间，相机110用于检测显示器101中的一个或多个像素的像素输出幅度调制速率的变化或偏移。

接收器装置105包括负责处理由相机100输出的图像的一个或多个处理器。在一些实施例中，可编程处理器执行相机通信应用软件以配置能够对在像素输出幅度调制变化内所编码的隐藏图像数据进行解码的成像处理流水线。在操作期间，图像处理流水线生成包括图形125的一个或多个输出图像帧。由接收器装置显示器120输出(生成或反射)的光包括对基于隐藏图像数据生成的图形125的视觉表示。对由显示器120输出的图形125的视觉表示可由用户120的肉眼感知。因此，用户120具有由与显示器101的基于相机的通信而产生的增强感知119。

在由图1b进一步展示的一些实施例中，由图像处理流水线基于来自相机110的输出而生成的一个或多个输出图像帧122可以包括待进一步存储和/或显示为隐藏在对用户115直接可见的对象103后面的图像数据的图形135。如此，可由用户115直接感知的各种图像数据可以与隐藏图像数据组合以实现基于camcom的输出图像帧122。

在本文详细描述的示例性实施例中，隐藏图像数据是由图像处理流水线用于构建除了通过起始(源)显示器的颜色值直接输出的图像之外的图像。在一些这种实施例中，隐藏图像数据包括关于如何修改由起始显示器输出的颜色像素值以生成对用户可见的衍生图像的信息。因此，在显示像素输出第一颜色集(例如，第一rgb通道值集)的情况下，对像素刷新速率的调制对针对图像处理流水线的信息进行编码以生成第二颜色集(例如，第二rgb通道值集)，以便存储或显示在接收装置的下游。然而，值得注意的是，本文所描述的用于图像数据的隐蔽传送的技术可以应用于传送包括任何形式的消息的非图像数据。

图2a是流程图，根据一些实施例展示了用于使用隐藏图像数据来替换可见图像数据的方法201的流程图。图2b是示意图，根据方法201的一些实施方式描绘了使用待存储或显示的第二输出像素颜色对来替换第一源像素颜色对。

首先参照图2a，方法201在操作205处开始，其中，使用已知对相关波长敏感的图像传感器(即，光检测器)来对源电磁辐射(例如，光)进行采样。所采样的(多道)源光与随着(多个)发射光源而变化的一个或多个刷新频率相关联。如以下进一步所描述的，在一些实施例中，源光像素刷新频率与对一道或多道源光的某个预定输出幅度调制(即，闪烁)相关联。

在示例性实施例中，在操作205处所采用的光采样传感器是对可见光波段的至少一部分敏感的光学相机图像传感器。传感器还可进一步对近红外波段等敏感。在一些实施例中，图像传感器包括在空间上以2-d相机传感器阵列排列的多个传感器像素。与每个传感器像素相关联的一个或多个像素光检测器用于生成与在对传感器阵列的扫描期间被积分并保持的光强度成比例的信号。光检测器具有非常高的检测带宽(例如，>数百khz)。在充分的照明下，光学图像传感器的积分时间可以足够短(例如，500μs到5ms)，以使相机快门截止频率大大超过人眼的响应频率。如图3a中进一步所展示的，本文所描述的相机通信技术可以在人眼响应曲线301(例如，大约100hz的截止)与相机图像传感器响应曲线302(例如，大约1000hz的快门截止频率)之间的频率范围内对隐藏图像数据进行编码(例如，替换像素值)。根据应用，图3a中所展示的曲线之外的操作空间也是可接受的。

在一些实施例中，在操作205处采用的传感器具有足以分辨源光的像素化的分辨率。换句话说，传感器像素子集可以与源照明像素子集空间关联。例如，如在图2b中进一步展示的，图像传感器210包括能够分辨显示像素202的多个传感器像素212。由一个或多个第一源显示像素206照亮一个或多个第一传感器像素216，而由一个或多个第二源显示像素208照亮一个或多个第二传感器像素218。

返回图2a，方法201在操作210处继续，其中，基于图像传感器采样指定原始传感器像素值。来自传感器像素的输出被空间映射到2-d图像帧上。例如，可以输出每个传感器像素位置在rgb颜色空间中的原始图像数据值。在示例性实施例中，在传感器可以分辨源光像素的情况下，源像素颜色与传感器像素的输出原始像素值之间存在关联性。例如，进一步参照图2b，一个或多个第一传感器像素216基于由一个或多个源像素206输出的颜色输出原始像素值。

返回到图2a，方法201继续操作215，其中，检测源光幅度调制速率(即，像素刷新频率)的变化。对于图像传感器可以分辨源光像素的实施例，在操作215处，图像传感器可以同时对多个像素刷新频率进行采样。例如，进一步参照图2b，一个或多个第一传感器像素216可以检测与一个或多个源像素206相关联的第一像素刷新频率调制偏移，而一个或多个第二传感器像素218可以检测与一个或多个第二源像素208相关联的第二像素刷新频率调制偏移。因此，对隐藏图像数据的多输入/多输出(mimo)传输的带宽至少取决于来源的分辨率、图像传感器的分辨率、相机光学器件以及来源与传感器之间的相隔距离。以下进一步表征每个可分辨的源像素的隐藏图像数据传输带宽。

在操作215处(图2a)，可以通过任何已知的技术检测源光输出幅度调制频率偏移。在一些实施例中，源光由图像传感器进行子采样，并且确定每次采样时的一个或多个源像素的状态。在相对于相机帧速率以适当频率进行源光切换的情况下，图像传感器可以在源像素点亮-熄灭(高-低)键控频率之间进行区分。在一些实施例中，采用频移键控(fsk)来对隐藏图像数据进行编码。对数字波形进行欠采样可能会导致混叠分量。在方法201中将发生混叠，其中，像素刷新速率大于视频相机帧速率(fps)的一半。对于源显示像素刷新速率和相机帧速率满足此条件的示例性实施例，可以通过更具体地称为欠采样频移开关键控(ufsook)的技术来传送隐藏图像数据。然而，仍可以以小于1/2fps的像素刷新速率来实践方法201。例如，在30fps的相机帧速率的情况下，以下像素刷新速率全都是合法的：0hz和15hz；15hz和30hz；30hz和45hz；45hz和60hz；60hz和75hz；75hz和90hz；90hz和105hz；105hz和120hz等。对于<大约100hz的频率，源光中的闪烁可能对人类观察者是可感知的。然而，以明显闪烁进行操作的源光不一定是不利的。例如，闪烁可以通知用户，源显示器正在发送隐藏图像，从而提示用户调用camcom装置。如果图像传感器采样率低于源刷新频率，则发生有利的源光混叠。

在发生混叠的实施例中，利用所产生的欠采样图像伪影来对源光输出幅度频率调制进行解码。对于以超过100hz的源光切换，图像传感器采样可以处于低于100hz的频率。在一些实施例中，相机图像传感器采样率是固定的，例如以生成固定数量的帧/秒(例如，30fps)。在其他实施例中，图像传感器采样率是可变的，例如以根据采样帧速率控制器生成15至60fps。在进一步实施例中，外部信号或用户通知指示图像传感器应或者被自动地或通过用户交互控制到什么采样频率以有效地将源像素刷新频率混叠下降至更低频率。

图3b至图3d是时序图，根据一些实施例展示了基于显示像素输出幅度频移调制对逻辑电平进行解码。在图3b中，源像素输出数字波形305表示在两个连续符号间隔期间的图像符号n和n+1。图像传感器在采样选通310处对波形305进行采样。采样以1/fps的规则时间间隔发生，并且可以具有任意相位。如图3b中所描绘的，符号n与第一波形频率相关联。符号n+1与第二波形频率相关联。在第一像素输出幅度调制频率下，在符号间隔期间发生7个源光像素低/高转换(6次像素刷新)。在第二像素输出幅度调制频率下，在符号间隔期间发生8个源光像素低/高转换(7次像素刷新)。由于存在每位两次采样，所以通过频移调制传送的图像数据位率是采样率的一半或15位/秒(针对30fps相机)。在图3b中所示出的示例中，源像素输出幅度调制频率在相机帧速率的3.5倍与4倍(例如，针对30fps相机的105hz与120hz)之间变化。还可以使用其他像素输出幅度调制频率和相机帧速率组合。

如果发生混叠，则迅速刷新源像素对相机图像传感器而言好像缓慢变化状态。如图3b中所示出的，在选通310处将光采样为点亮(高)、熄灭(低)、熄灭(低)、熄灭(低)。因此，在像素输出波形305具有第一频率(例如，105hz)的情况下，图像传感器像素将光感测为与每个帧(即，以15fps进行循环)一起切换点亮(高)和熄灭(低)。在一些实施例中，源像素光输出状态在符号间隔内的变化对第一逻辑电平(例如，逻辑1)进行编码。在像素输出波形305具有第二频率(例如，120hz)的情况下，图像传感器像素将光输出感测为具有恒定状态(例如，在图3b中保持熄灭)。在一些实施例中，符号间隔内的恒定光输出状态对第二逻辑电平(例如，逻辑0)进行编码。图3c和图3d展示了具有不同采样相位的其他示例。如图3c中所示出的，像素光输出被采样为点亮(高)、熄灭(低)、点亮(高)、点亮(高)，这可以再次对第一逻辑电平(例如，逻辑1)然后对第二逻辑电平(例如，逻辑0)进行编码。如图3d中所示出的，像素光输出被采样为熄灭(低)、点亮(高)、点亮(高)、点亮(高)，这可以再次对第一逻辑电平(例如，逻辑1)然后对第二逻辑电平(例如，逻辑0)进行编码。在相机的空间分辨率足以分辨单独的源像素的示例性实施例中，可以以此方式对来自每个源像素的逻辑电平流进行解码。

返回至图2a，方法201继续至操作220，其中，通过对像素输出幅度调制频率偏移进行解码来确定隐藏图像数据。在具有检测源像素刷新速率的变化的能力的情况下，可以对由相机模块输出的原始数据进行处理以根据像素刷新频移调制对逻辑电平流进行编码。在进行以上编码的情况下，在操作220处应用的解码规则用于响应于在位时间期间源像素输出改变状态而生成第一逻辑电平(逻辑1)，并且响应于源像素输出在位时间期间保持相同状态而生成第二逻辑电平(逻辑0)。

在进一步实施例中，可以应用任何已知的纠错(例如，fec)算法来补偿相移、边缘采样错误等。在进一步实施例中，通过像素刷新频移调制来传送的隐藏图像数据可以通过添加适当的起始帧定界符(sfd)被组织成数据帧。就同步协议(例如，rs232等)来说，sfd有助于源像素输出调制与传感器像素采样之间的同步。可以使用任何已知的sfd数据结构来建立位定时。图4a中展示了简单的隐藏图像数据帧，其中，sfd字段415界定时期的开始，并且有效负载420包括在所述时期期间传输的隐藏图像数据符号。图4b进一步展示了根据一些实施例的sfd的示例性实施方式。如所示出的，sfd可以包括高频像素刷新部分415a(例如，两个帧)，在所述高频像素刷新部分期间，相机将像素视为点亮和熄灭两者。在示例性的两位实施例中，sfd的第一位以远远超出应用(例如，智能电话)的典型图像传感器的响应时间的频率发送。然后，像素积分器将提取平均光强度的一半。sfd的第二部分415b包括逻辑1的被发送以判定源像素和传感器像素是否足够同步的接下来两个帧。相反，如果逻辑0被读取，则丢弃帧。图4b进一步展示了适合于跳时(例如，具有三帧第一部分415c)、长sfd(例如，具有四帧第一部分415d)以及数据定界符(例如，具有包括非法或零频率的四帧第二部分415e)的替代性sfd结构。

图4c进一步根据一些实施例展示了隐藏图像数据代码分组结构。起始显示器的任何给定像素可以输出具有所展示的结构的分组。在示例性时空代码分组中，数据定界符417使sfd415(例如，正常的sfd415a/415b)与隐藏图像数据420分离。在采用空间复用的进一步实施例中，代码分组包括与有效负载相关联的id字段416。可以在mimo实施例中利用id字段416来标记空间复用的有效负载。id字段416可以例如标识图像帧内隐藏图像数据420适用的一个或多个像素位置或位置范围。id字段416可以为显示帧内的源像素位置与输出图像像素位置之间的映射提供基础。图4d进一步展示了根据空间编码实施例的隐藏图像数据代码分组结构。可由图像传感器分辨的任何给定的源显示像素对可以一起传送指定隐藏图像数据和要应用隐藏图像数据的一个或多个像素位置的第一和第二数据分组。在一些实施例中，一个或多个第一像素传送sfd415(例如，长sfd415d/415b)，而一个或多个第二像素传送一定量(例如，1位)隐藏图像数据421。多个第二像素可以用于同时传输多个位的隐藏图像数据。例如，在多个第二像素中的每个像素重复地从一个指定的空间位置传输位的情况下，所述位可以一起传输“空间编码”的多位隐藏图像数据。

返回至图2a，方法201在操作225处继续，其中，在逻辑电平中的一个或多个逻辑电平中编码的隐藏图像数据映射到输出图像帧的像素值上。在一些实施例中，隐藏图像数据是用于构造输出图像的替换信息。基于替换信息来替换或修改与像素位置相关联的原始像素值，隐藏数据与所述像素位置相关联。在示例性实施例中，像素值替换信息指示应被生成、存储和/或显示为经处理的相机输出帧的输出颜色。然后，此输出帧是对在操作230处存储和/或显示在相机取景器显示器上的相机传达隐藏图像数据的视觉表示。

在相机的空间分辨率足以分辨单独源像素的示例性实施例中，可以对经编码的隐藏数据进行映射以便确定待显示在由发送信息的特定源像素照亮的所有图像传感器像素位置上的输出颜色。例如，进一步参照图2b，多个源显示像素202中的多个或所有源显示像素经历可变频率的刷新频率调制(例如，在高与低输出幅度状态之间切换)以便对像素级隐藏图像数据进行编码。然后，隐藏图像数据解码器确定与一个或多个传感器像素212相关联的不同逻辑电平流。传感器像素216和218例如分别由源像素206和208照亮。然后，将像素级隐藏图像数据消息映射到输出图像帧220内的相应像素位置。

图2b展示了一个示例性实施例，其中，通过源像素输出幅度调制频移指示的颜色显示在映射到经刷新频率调制的源像素照亮的图像传感器像素上的像素位置处。然而，源像素位置与输出图像像素位置之间的多个其他空间映射是可能的。对于说明性示例，在第一源像素位置(例如，像素208)处的刷新频率调制照亮了第一传感器像素位置(例如，像素218)并可以对待显示在不同于源和传感器像素位置的第二像素位置(例如，像素226)处的颜色进行编码。在一些实施例中，包括在隐藏图像数据代码分组中的id字段为隐藏图像数据提供空间映射。

如在图2b中进一步展示的，可以基于与一个或多个像素位置相关联的隐藏图像数据来替代或修改由传感器210输出的与所述一个或多个像素位置相关联的原始rgb值。对于所展示的实施例，使用隐藏rgb数据来替代由(多个)源显示像素208照亮的(多个)图像传感器像素218相关联的原始rgb数据，所述隐藏rgb数据通过对显示器220内的相应像素位置处的(多个)源像素208的像素输出幅度调制频移来传输。因此，(多个)显示像素228具有通过源显示器201的像素刷新频移来确定的颜色(例如，rgb通道值集)。因此，对于一些实施例，隐藏图像数据分组的有效负载字段包括指示将为输出图像帧内的特定像素和/或像素位置指定什么样的(多个)像素颜色值的代码。图4e根据一些实施例展示了隐藏图像数据字段430与输出像素颜色440之间的映射。在此说明性示例中，第一隐藏图像数据00映射到像素值1(例如，黑色、绿色、蓝色、红色、白色等)上。可以设计利用更大数量的隐藏数据位的更多复杂代码以提供任何期望颜色定义范围。

图5是流程图，展示了用于以适合于相机通信的方式来光学地传输隐藏图像数据的方法501。在一些实施例中，方法501由包括源显示器(例如，图1a中的显示器101)的源装置平台执行。方法501在操作505处以接收或生成第一图像数据开始。第一图像数据将是在视觉上被呈现为来自方法501的输出的第一部分的一个或多个明显图像帧的基础。第一图像数据可以采用任何适当形式，诸如但不限于原生数据、顶点数据、像素数据等。在操作520处，进一步接收或生成第二(隐藏)图像数据。第二图像数据将是被编码为来自方法501的输出的第二部分的一个或多个隐蔽图像帧的基础。第二图像数据可以采用任何适当形式，诸如但不限于原生数据、顶点数据、像素数据等。

在操作515处，通过任何已知的图形和/或图像处理流水线来处理第一图像数据。例如，可以通过顶点着色器、几何着色器、纹理采样器和像素渲染器中的一项或多项来处理包括基元的第一图像数据。在一个示例性实施例中，图形流水线生成第一数据输出帧内的一个或多个像素位置中的每个像素位置的一个或多个“高”状态像素值。所生成的第一图像数据可以作为第一输出图像帧而存储到图像帧缓冲器中。在操作530处，通过任何已知的图形和/或图像处理流水线来处理第二图像数据。例如，可以通过顶点着色器、几何着色器、纹理采样器和像素渲染器中的一项或多项来处理包括基元的第二图像数据，以得到由替换像素颜色值组成的隐藏图像数据。

在操作540处，将隐藏图像数据编码为像素刷新频率调制。采用任何适当配置的调制器可以执行上述刷新频移调制。在示例性实施例中，以随着第二图像数据而变化的变化频率对各自与输出面板的一个或多个像素相关联的多个输出信号进行独立调制。像素刷新频率调制由嵌入在显示器中的硬件实施。这种硬件可能需要电路系统来控制单独显示像素的电压。在一些实施例中，利用图形流水线能力来控制表示一个或多个“高”像素值的(多个)输出图像帧与表示一个或多个“低”像素值的(多个)参考图像帧之间的切换。在一个示例性实施例中，图形流水线生成隐藏数据参考输出帧内的一个或多个像素位置中的每个像素位置的一个或多个“低”状态像素值，诸如但不限于黑色(例如，rgb0,0,0)。所述一个或多个参考输出帧可以与(多个)第一数据输出帧交替以对各个像素的输出幅度进行调制。然后，可以改变这种调制的频率以对在操作530处生成的隐藏图像数据进行编码。在一些实施例中，帧缓冲器控制器用于控制所述一个或多个隐藏数据参考输出帧与在操作515处生成的缓冲器帧之间的翻转。然后，通过速率图像帧缓冲器翻转以及在操作515处生成的图像帧与隐藏数据参考输出帧之间的像素值的差异限定特定像素的明显像素刷新频率。

在操作550处，对第一图像数据的视觉表示例如由多个空间排列的显示像素使用任何已知的技术来输出。在一些实施例中，多个像素中的每个像素包括一个或多个led。基于在操作540处生成的所述多个输出信号来刷新显示像素中的一个或多个显示像素。在操作550处，第一图像数据的一个帧输出例如为静止图像或为时间连续序列的一部分(例如，视频)。当呈现第一图像数据时，对显示像素中的一个或多个显示像素的输出调制进行频移例如约相机标准的帧速率的一半。作为一个示例，15hz偏移调制(例如，在105hz与120hz之间)将适合于30fps相机接收。对于与更高速度(例如，100fps)相机的通信，更高调制(例如，50hz)也将是可能的。在一些实施例中，呈现一系列(多个)第一图像数据帧和(多个)隐藏图像数据参考帧，以对与第一图像数据帧相关联的像素刷新速率进行调制。

图6a是根据实施例的包括相机模块硬件110和隐藏图像数据解码器601的图像/视频camcom接收器(rx)装置600的功能框图。图6a进一步展示了隐藏图像数据解码器可以如何与各种其他部件整合以提供增强的视频相机输出。camcomrx装置600例如可以是移动计算装置平台的一部分。例如，移动计算装置可以指具有处理系统和移动电源或供电(诸如一个或多个电池)的任何装置。移动计算装置的示例可以包括膝上型计算机、平板计算机、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(pda)、蜂窝电话、组合式蜂窝电话/pda、电视、智能装置(例如，智能电话、平板计算机或智能电视)、移动互联网装置(mid)、消息装置、数据通信装置等。移动计算装置的示例还包括被配置成以由人穿戴的计算机和/或媒体捕获/传输装置(诸如手腕计算机、手指计算机、戒指计算机、眼镜计算机、皮带夹计算机、臂带计算机、鞋计算机、服装计算机、以及其他可穿戴计算机)。在各实施例中，例如移动计算装置可以被实施为能够执行计算机应用、以及语音通信和/或数据通信的智能电话。尽管一些实施例可以用作为以示例的方式实施为智能电话的移动计算装置来进行描述，但应理解，其他实施例也可以使用其他无线移动计算装置实施。实施例并不局限于此上下文中。

camcomrx600包括至少一个相机模块(cm)。在示例性实施例中，cm110进一步包括相机传感器658。例如，传感器658可以是hd、fhd、qxga、wqxga、qsxga或uhd格式的数字光学成像装置。在一个实施例中，传感器658具有800万像素分辨率。相机传感器658可以提供8位的颜色分辨率(或每像素更多)，可操作用于逐渐捕获连续视频帧。传感器658可以具有170mhz的像素或更多的频率。相机传感器658可以包括rgb拜耳滤色器、模拟放大器、a/d转换器、用于将入射光转换成与原始图像数据相对应的数字信号的其他部件。传感器658可以被控制为操作卷帘式快门或电子焦平面快门过程，在所述过程中，针对帧以线序方式逐渐读出像素。在示例性视频实施例中，传感器658输出多个连续曝光的帧。cm110可以输出与符合任何已知的流传输协议(诸如mipi)的连续采样帧相关联的原始数据。将原始图像数据输入至isp675。isp675用于在与cm110相关联的水平和/或垂直消隐期期间接收并分析原始图像数据。例如，在原始图像数据处理期间，isp675可以执行颜色空间转换、降噪、像素线性化和遮蔽补偿中的一项或多项。

可以进一步处理由cm110输出的原始数据和/或由isp675输出的经预处理的视频数据以结合隐藏图像数据。在所展示的实施例中，处理器650实施隐藏图像数据解码器601和隐藏图像数据处理流水线602。在一些实施例中，处理器650包括一个或多个(可编程的)逻辑电路，所述一个或多个逻辑电路用于执行用于使用由cm110收集的隐藏图像数据来替换由cm110输出的原始图像数据的方法的一个或多个阶段。例如，处理器650可以根据上述的一些实施例执行方法201(图2a)。操作系统(os)的内核空间内由处理器650实例化的子系统驱动器615可以响应于由例如在用户空间中执行的camcom软件应用层生成的命令而传达各种相机模块参数(诸如，相机快门速率、积分时间等)。在一些实施例中，处理器650用于访问存储在主存储器610中的隐藏图像数据码本612并且用于在所检测到的像素刷新频移调制与隐藏图像数据之间进行映射。

在实施例中，隐藏图像数据解码器601包括用于执行如在本文其他地方所描述的解码操作和算法的逻辑。在进一步实施例中，隐藏图像数据处理流水线602包括用于执行用于使用从解码器601接收的隐藏图像数据来替换原始图像数据的方法的一个或多个阶段的逻辑。在一些实施例中，使用已经通过(多个)软件指令配置的可编程电路系统来实施图像处理流水线逻辑。在一些实施例中，图像处理流水线602包括用于基于从解码器601接收的解码的隐藏图像数据确定输出图像帧的多个像素的像素值的逻辑。

软件或硬件实施方式或其组合适合于实施用于使用由cm110收集的隐藏图像数据替换由cm110输出的原始图像数据的方法的一个或多个阶段。对于硬件实施方式，隐藏图像数据解码器601和/或图像处理流水线602可以由例如isp675中提供的功能逻辑实施。对于软件实施方式，可以利用任何已知的可编程处理器(诸如，处理器650核或图形处理器的执行单元)来实施隐藏图像数据解码器601和/或图像处理流水线602的逻辑。处理器650可以仅负责从由cm110收集或从isp675输出的输入图像数据中生成隐藏图像数据。在一个示例性实施例中，通过由处理器650实例化的软件栈的用户空间调用隐藏图像数据解码器601和/或隐藏图像数据处理流水线602。在一些实施例中，处理器650执行在软件栈的内核空间中实例化的隐藏图像数据解码算法。在一些实施例中，使用存储在计算机可读介质上的指令来对处理器650进行编程以使处理器执行一种或多种隐藏图像数据解码方法。

如图6a中进一步展示的，可以将隐藏图像数据输出至存储/显示/传输流水线695。在一个示例性存储流水线实施例中，包括经解码的隐藏图像数据的输出图像数据被写入到电子存储器620(例如，ddr等)中以补充和/或替代原始图像数据。存储器620可以是单独的或主存储器610的一部分。可替代地或另外地，存储/显示/传输流水线695用于传输隐藏图像数据和/或输出包括camcomrx装置600的隐藏图像数据的图像数据。

图6b是根据实施例的包括显示像素输出幅度频移调制器633的图像/视频camcomtx装置625的功能框图。在一些实施例中，图像/视频camcomtx装置625用于执行用于光学地传输适合于相机通信的隐藏图像数据的方法(例如，方法501)。

camcomtx装置625例如可以是固定信息媒体装置平台或移动计算装置平台的一部分。固定媒体装置平台的示例包括大屏电视机、台式计算装置、机顶盒、数字广告牌或标识装置、普通照明装置以及自动自助服务装置(例如，自动柜员机、自动数字照片冲印机、自动信息终端)。在一些实施例中，camcomtx装置625包括显示器101，诸如，任何大小(例如，长度为厘米至数百米)的扁平面板led显示器。在其他实施例中，camcomtx装置625仅包括用于传达经编码的像素刷新频率调制信号的适合于耦合至外部显示器101的输出端。显示器101耦合至显示像素输出幅度调制器633的输出端并且用于接收对隐藏图像数据进行编码的偏移调制信号。在示例性实施例中，显示器101进一步耦合至图像数据显示流水线695的输出端以接收图像数据。显示器101用于显示对所接收的图像数据的视觉表示。在进一步实施例中，显示器101用于基于所接收的偏移调制信号刷新一个或多个显示像素。显示器101可以包括用于独立于一个或多个其他显示像素而在低与高状态之间切换一个或多个显示像素的像素级寻址逻辑电路系统。在一些实施例中，像素级刷新寻址逻辑电路系统耦合至刷新频率调制器633。

在一些实施例中，处理器651用于生成和/接收待包括在(多个)输入帧中的图形对象和/或图像(视频)数据。在所展示的示例中，图像数据处理流水线632和或isp675将图像数据输出至显示流水线695。在进一步实施例中，处理器651用于生成将编码在像素刷新频率调制信号中的图形对象和/或图像(视频)数据。在所展示的示例中，由图像数据处理流水线632和/或isp675生成和/或接收的隐藏图像数据输出至进一步用于将隐藏图像数据编码成一个或多个像素级刷新频移调制的刷新频率调制器633。在所展示的实施例中，处理器651实施刷新频率调制器601以及图像数据处理流水线632。在一些实施例中，处理器651包括一个或多个(可编程的)逻辑电路，所述一个或多个逻辑电路用于执行用于使用经刷新频移调制编码的图像数据来显示图像数据的方法的一个或多个阶段。例如，处理器651可以执行根据上述的一些实施例的方法501(图5)。os的内核空间内由处理器651实例化的子系统驱动器615可以响应于由例如在用户空间中执行的camcom软件应用层生成的命令而传达包括刷新频移调制信号的各种显示参数。在一些实施例中，处理器651用于访问存储在主存储器611中的隐藏图像数据码本612并且用于基于码本612在隐藏图像数据与刷新频移调制之间进行映射。

在实施例中，刷新频率调制器633包括用于执行如在本文其他地方所描述的编码操作和算法的逻辑。

或者软件或硬件实施方式或者其组合适合于实施用于使用被编码成刷新频移调制信号的隐藏图像数据来显示图像数据的方法的一个或多个阶段。对于硬件实施方式，刷新频率调制器633可以由例如在isp675中提供的固定功能逻辑实施。对于软件实施方式，可以利用任何已知的可编程处理器(诸如，处理器651的核或图形处理器的执行单元)来实施刷新频率调制器633和/或图像处理流水线632的逻辑。处理器651可以仅负责对由显示器101输出的隐藏图像数据进行编码。在一个示例性实施例中，通过由处理器651实例化的软件栈的用户空间来调用刷新频率调制器633。在一些实施例中，处理器651执行在软件栈的内核空间中实例化的隐藏图像数据编码算法。在一些实施例中，使用存储在计算机可读介质上的指令来对处理器651进行编程以使处理器执行一种或多种隐藏图像数据编码方法。

图7是可以用于使用待存储或显示的一个或多个经解码的像素颜色来替换一个或多个所感测到的像素颜色的数据处理系统700的框图。数据处理系统700包括一个或多个处理器702以及一个或多个图形处理器708，并且可以是单处理器桌面系统、多处理器工作站系统或具有大量处理器702或处理器核707的服务器系统。在一个实施例中，数据处理系统700是用于移动式、手持式、或嵌入式装置的片上系统(soc)集成电路。

数据处理系统700的实施例可以包括或并入基于服务器的游戏平台、游戏控制台(包括游戏和媒体控制台、移动游戏控制台、手持式游戏控制台或在线游戏控制台)。在一些实施例中，数据处理系统700是移动电话、智能电话、平板计算装置或移动互联网装置。数据处理系统700还可包括可穿戴装置(诸如，智能手表可穿戴装置、智能眼镜装置、增强现实装置、或虚拟现实装置)、与所述可穿戴装置耦合、或者集成在所述可穿戴装置中。在一些实施例中，数据处理系统700是电视或机顶盒装置，所述电视或机顶盒装置具有一个或多个处理器702以及由一个或多个图形处理器708生成的图形界面。

在一些实施例中，所述一个或多个处理器702各自包括用于处理当被执行时执行系统和用户软件的操作的指令的一个或多个处理器核707。在一些实施例中，所述一个或多个处理器核707中的每个处理器核被配置成用于处理特定的指令集709。在一些实施例中，指令集709可以促进复杂指令集计算(cisc)、精简指令集计算(risc)、或经由超长指令字(vliw)的计算。多个处理器核707可以各自处理不同的指令集709，所述指令集可以包括用于促进对其他指令集进行仿真的指令。处理器核707还可以包括其他处理装置(诸如，数字信号处理器(dsp))。

在一些实施例中，处理器702包括高速缓存存储器704。取决于架构，处理器702可以具有单个内部高速缓存或内部高速缓存的多个级。在一些实施例中，在处理器702的各部件当中共享高速缓存存储器。在一些实施例中，处理器702还使用外部高速缓存(例如，3级(l3)高速缓存或末级高速缓存(llc))(未示出)，可以使用已知的高速缓存一致性技术来在处理器核707当中共享外部高速缓存。另外地，寄存器组706包括在处理器702中，所述处理器可以包括用于存储不同类型的数据的不同类型的寄存器(例如，整数寄存器、浮点寄存器、状态寄存器、和指令指针寄存器)。一些寄存器可以是通用寄存器，而其他寄存器可以特定于处理器702的设计。

在一些实施例中，处理器702耦合至用于在处理器702与系统700内的其他部件之间传输数据信号的处理器总线710。系统700具有“中枢”系统架构，包括存储器控制器中枢716和输入输出(i/o)控制器中枢730。存储器控制器中枢716促进存储器装置与系统700的其他部件之间的通信，而i/o控制器中枢(ich)730经由本地i/o总线提供至i/o装置的连接。

存储器720可以是动态随机存取存储器(dram)装置、静态随机存取存储器(sram)装置、闪存装置或具有适当性能以用作进程存储器的其他存储器装置。存储器720可以存储数据722和指令721，以供在处理器702执行过程时使用。存储器控制器中枢716还与可选的外部图形处理器712耦合，所述可选的外部图形处理器可以与处理器702中的所述一个或多个图形处理器708通信，以执行图形和媒体操作。

在一些实施例中，ich730使得外围设备能够经由高速i/o总线连接至存储器720和处理器702。i/o外围装置包括音频控制器746、固件接口728、无线收发器726(例如，wi-fi、蓝牙)、数据存储装置724(例如，硬盘驱动器、闪存等)、以及用于将传统(例如，个人系统2(ps/2))装置耦合至所述系统的传统i/o控制器。一个或多个通用串行总线(usb)控制器742连接输入装置(诸如，键盘和鼠标744组合)。网络控制器734还可以耦合至ich730。在一些实施例中，高性能网络控制器(未示出)耦合至处理器总线710。

图8是根据一个或多个实施例的采用图像/视频camcomrx装置的示例性超低功率系统800的图示。尽管系统800不局限于此上下文，但系统800可以是移动装置。系统800可以并入可穿戴计算装置、膝上型计算机、平板计算机、触摸板、手持式计算机、掌上型计算机、蜂窝电话、智能装置(例如，智能电话、智能平板计算机或移动电视)、移动互联网装置(mid)、消息装置、数据通信装置等。系统800还可以是基础设施装置。例如，系统800可以并入大画幅电视、机顶盒、台式计算机或其他家用或商用网络装置中。

系统800包括装置平台802，所述装置平台可以实施以上在图1a至图4e的上下文中描述的隐藏图像接收和解码方法中的全部方法或其子集。在各个示例性实施例中，视频处理器815执行例如如在本文其他地方所描述的刷新频率检测和/或图像数据解码方法。视频处理器815包括实施隐藏图像数据解码器601的逻辑电路系统，所述隐藏图像数据解码器用于基于例如如本文中其他地方描述的像素刷新频移调制来对输出图像的替换像素值进行解码。在一些实施例中，一个或多个计算机可读介质可以存储指令，所述指令当由cpu810和/或视频处理器815执行时使(多个)处理器执行在本文中其他地方描述的图像数据解码和/或替换操作中的一项或多项操作。然后，由cm110输出的一个或多个图像数据帧可以存储在与替换图像数据相关联的存储器812中。

在实施例中，装置平台802耦合至人机接口装置(hid)820。平台802可以使用cm110和211来采集原始图像数据，所述原始图像数据被处理并输出到hid820。包括一个或多个导航特征的导航控制器850可以用于例如与装置平台802和/或hid820进行交互。在实施例中，hid820可以包括经由无线电818和/或网络860耦合至平台802的任何监视器或显示器。hid820可以包括例如计算机输出面板、触摸屏显示器、视频监视器、类似电视机的装置和/或电视机。

在实施例中，装置平台802可以包括cm110；芯片组805；处理器810、815；存储器/存储装置812；应用816和/或无线电818的任何组合。芯片组805可以提供处理器810、815、存储器812、视频处理器815、应用816、或无线电818当中的相互通信。

处理器810、815中的一个或多个处理器可以被实施为一个或多个复杂指令集计算机(cisc)或精简指令集计算机(risc)处理器；x86指令集兼容处理器；多核或任何其他微处理器或中央处理单元(cpu)。

存储器812可以被实施为易失性存储器装置，诸如但不限于：随机存取存储器(ram)、动态随机存取存储器(dram)或静态ram(sram)。存储器812还可以被实施为非易失性存储装置，诸如但不限于：闪存、电池备用sdram(异步dram)、磁性存储器、相变存储器等。

无线电818可以包括能够使用各种适当的无线通信技术来发射并接收信号的一个或多个无线电。这种技术可以涉及跨一个或多个无线网络的通信。示例无线网络包括(但不限于)无线局域网(wlan)、无线个人局域网(wpan)、无线城域网(wman)、蜂窝网和卫星网。在跨这种网络进行通信时，无线电618可以根据任何版本中的一个或多个可适用标准进行操作。

在实施例中，系统800可以被实施为无线系统、有线系统、或两者的组合。当被实施为无线系统时，系统800可以包括适合于通过无线共享介质(诸如，一个或多个天线、发射器、接收器、收发器、放大器、滤波器、控制逻辑等)进行通信的部件和接口。无线共享介质的示例可以包括无线频谱部分(诸如rf频谱等)。当被实施为有线系统时，系统800可以包括适用于通过有线通信介质(诸如，输入/输出(i/o)适配器、使用对应有线通信介质连接i/o适配器的物理连接器、网络接口卡(nic)、光盘控制器、视频控制器、音频控制器等)进行通信的部件和接口。有线通信介质的示例可以包括导线、电缆、金属引线、印刷电路板(pcb)、背板、交换光纤、半导体材料、双绞线、同轴电缆、光纤等。

可以在各种硬件架构、单元设计或“ip核”中实施与本文描述的示例性实施例一致的隐藏图像数据解码和图像数据替换方法。

如上所述，可以以变化的物理风格或形状因子来具体化系统800。图9进一步展示了可以在其中具体化平台802和/或系统800的移动手持装置900的实施例。在实施例中，例如，装置900可以被实施为具有无线能力的移动计算手持装置。如图9中所示出的，移动手持装置900可以包括具有前面901和背面902的壳体。装置900包括显示器904、输入/输出(i/o)装置906、和集成天线908。装置900还可以包括导航特征912。显示器904可以包括适合于移动计算装置的用于显示信息的任何适当的显示单元。i/o装置906可以包括用于将信息输入移动计算装置中的任何适当的i/o装置。i/o装置906的示例可以包括字母数字键盘、数字小键盘、触摸板、输入建、按钮、开关、麦克风、扬声器、话音识别装置和软件等。信息还可以经由麦克风(未示出)输入到装置900中或者可以由话音识别装置数字化。实施例并不局限于本上下文中。集成到至少背面902的是相机模块910(例如，包括一个或多个镜头、光圈和成像传感器)，通过所述相机模块，图像数据被采样并输出至例如如在本文其他地方所描述的隐藏图像数据解码器。

如以上例示的，可以使用硬件元件、软件元件或两者的组合来实施本文描述的实施例。硬件元件或模块的示例包括：处理器、微处理器、电路系统、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(asic)、可编程逻辑器件(pld)、数字信号处理器(dsp)、现场可编程门阵列(fpga)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。软件元件或模块的示例包括：应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、例程、子例程、函数、方法、过程、软件接口、应用程序接口(api)、指令集、计算代码、计算机代码、代码段、计算机代码段、数据字、值、符号、或其任何组合。判定是否是使用硬件元件和/或软件元件来实施实施例可以根据针对设计选择所考虑的任何数量的因数而变化，诸如但不限于：期望的计算速率、功率水平、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其他设计或性能约束。

至少一个实施例的一个或多个方面可以由存储在机器可读存储介质上的代表性指令实施。这种指令在由机器对其进行执行的过程中可以完全地或至少部分地驻留在主存储器内和/或在处理器内，存储指令的主存储器和处理器部分然后还组成机器可读存储介质。可编程逻辑电路可以具有由实施计算机可读介质的处理器配置的寄存器、状态机等。然后，这种逻辑电路系统当被编程时可以被理解为被物理地转换成落入本文描述的实施例的范围内的系统。表示处理器内的各逻辑的指令当由机器读取时还可以使机器制造遵循本文描述的架构的逻辑和/或执行本文描述的技术。被称为元件设计或ip核的这种表示可以存储在有形的、机器可读的介质上或被供应至不同的消费者或制造设施以加载到实际上制造逻辑的制造机器或处理器中。

虽然已经参照实施例描述了本文阐述的某些特征，并不旨在以限制的含义解释本说明书。因此，本公开涉及的对本领域技术人员而言明显的对本文描述的实施方式以及其他实施方式的各种修改被视为是在本公开的精神和范围内。

以下段落简要描述了一些示例性实施例。

在一个或多个实施例中，一种设备包括相机模块，所述相机模块用于对与一个或多个显示像素相关联的光进行采样；基于所述采样为输入图像帧的一个或多个像素指定原始像素值；并且检测所述显示像素中的至少一个显示像素的输出调制速率的一个或多个变化。所述设备进一步包括图像处理模块，所述图像处理模块耦合至所述相机模块，用于：基于所述一个或多个输出调制速率变化来确定隐藏图像数据；以及通过基于所述隐藏图像数据来替换或修改所述原始像素值从而从所述输入图像帧中生成输出图像帧。

在第一实施例的进一步方案中，所述图像处理模块用于：基于所述一个或多个像素输出调制速率变化来确定与所述输入图像帧的一个或多个像素相关联的一个或多个逻辑电平；以及基于所述一个或多个逻辑电平来确定隐藏像素值。

在第一实施例的进一步方案中，所述相机模块用于基于对所述光的采样与像素输出调制频率之间的时域混叠的偏移调制伪像来检测所述一个或多个像素输出调制速率变化。

在第一实施例的进一步方案中，所述图像处理模块用于根据像素输出频移调制对逻辑电平流进行解码；确定通过所述逻辑电平流编码的隐藏像素值；并且通过将所述原始像素值改变成所述隐藏像素值来生成所述输出图像帧。

在第一实施例的进一步方案中，所述设备进一步包括以下各项中至少一个项：电子存储器，所述电子存储器用于存储所述输出图像帧；或输出面板，所述输出面板用于输出所述输出图像帧。

在第一实施例的进一步方案中，所述图像处理模块用于：响应于所述采样率比像素输出调制速率小第一量而对与所述输入图像帧的所述一个或多个像素相关联的第一逻辑电平进行解码；响应于所述采样率比像素输出调制速率小不同于所述第一量的第二量而对与所述输入图像帧的所述一个或多个像素相关联的第二逻辑电平进行解码。

在第一实施例的进一步方案中，所述相机模块用于：在包括所述输入图像帧的多个像素上空间地映射原始像素值。所述成像处理模块用于：基于与所述多个像素中的每个像素相关联的像素输出调制速率的一个或多个变化来对与所述多个像素中的每个像素相关联的一个或多个逻辑电平进行解码；并且通过响应于对与所述像素中的第一像素相关联的一个或多个第一逻辑电平进行解码而使用隐藏像素值来替代所述像素中的所述第一像素的所述原始像素值从而生成所述输出图像帧。

在上文紧接的实施例的进一步方案中，所述图像处理模块用于响应于对与所述像素中的第二像素相关联的一个或多个第二逻辑电平进行解码而保留所述像素中的所述第二像素的所述原始像素值。

在一个或多个第二实施例中，一种用于确定像素值的方法包括：对与一个或多个显示像素相关联的光进行采样；基于样本为输入图像帧的一个或多个像素指定原始像素值；检测所述一个或多个显示像素的输出调制速率的一个或多个变化；基于所述一个或多个像素输出调制速率变化来确定隐藏图像数据；以及通过基于所述隐藏图像数据来替换或修改所述原始像素值从而从所述输入图像帧中生成输出图像帧。

在第二实施例的进一步方案中，生成所述输出图像帧进一步包括：根据所述像素输出调制速率变化对逻辑电平流进行解码；根据所述逻辑电平流确定隐藏像素值；以及通过将所述原始像素值改变为所述隐藏像素值来生成所述输出图像帧。

在上文紧接的实施例的进一步方案中，确定所述一个或多个逻辑电平进一步包括：响应于所述采样率比像素输出调制速率小第一量而对与所述输入图像帧的所述一个或多个像素相关联的第一逻辑电平进行解码；以及响应于所述采样率比像素输出调制速率小不同于所述第一量的第二量而对与所述输入图像帧的所述一个或多个像素相关联的第二逻辑电平进行解码。

在第二实施例的进一步方案中，为所述输入图像帧的一个或多个像素指定原始像素值进一步包括：在包括所述输入图像帧的多个像素上空间地映射原始像素值。确定隐藏图像数据进一步包括：基于对所述光的采样与所述光中与刷新所述多个像素中的每个像素相关联的幅度调制之间的时域混叠来对与所述多个像素中的每个像素相关联的一个或多个逻辑电平进行解码。生成所述输出图像帧进一步包括：响应于对与所述像素中的第一像素相关联的一个或多个第一逻辑电平进行解码而使用隐藏像素值来替代所述像素中的所述第一像素的所述原始像素值。

在上文紧接的实施例的进一步方案中，生成所述输出图像帧进一步包括：响应于对与所述像素中的第二像素相关联的一个或多个第二逻辑电平进行解码而保留所述像素中的所述第二像素的所述原始像素值。

在一个或多个第三实施例中，一种设备包括用于执行所述第二实施例中的任一项的装置。

在一个或多个第四实施例中，一种或多种计算机可读介质包括存储于其上的指令，所述指令当由处理系统执行时使所述系统执行所述第二实施例中的任一项。

在第四实施例的进一步方案中，所述介质进一步包括存储于其上的指令，所述指令当由处理系统执行时使所述系统执行一种方法，所述方法包括：根据所述像素输出调制速率变化对逻辑电平流进行解码；根据所述逻辑电平流确定所述隐藏像素值；以及通过将所述原始像素值改变为所述隐藏像素值来生成所述输出图像帧。

在一个或多个第五实施例中，一种设备包括图像处理流水线，所述图像处理流水线用于生成包括多个像素位置的输出图像帧；显示像素输出调制器，所述显示像素输出调制器用于将与所述多个像素位置中的一个或多个像素位置相关联的隐藏数据编码为像素输出调制速率的一个或多个变化；以及输出面板，耦合至所述刷新调制器并且包括多个空间排列的像素，所述输出面板用于：在所述像素中的一个或多个像素以像素输出调制速率被调制的同时输出对所述输出图像帧的视觉表示。

在第五实施例的进一步方案中，所述设备进一步包括图像流水线，所述图像流水线用于使第一像素值和第二像素值与所述输出图像帧相关联；所述输出面板用于至少部分地基于所述第一像素值而发射表示所述输出图像帧的光；并且所述显示像素输出调制器用于利用对所述空间排列的像素的至少一部分进行的时变幅度调制来对所述第二像素值的传输进行编码。

在上文紧接的第五实施例的进一步方案中，所述图像流水线用于：使所述第一像素值和所述第二像素值两者与所述第一和第二图像帧两者内的第一像素位置相关联；所述空间排列的像素中与所述第一像素位置相关联的一个或多个像素用于发射指示所述第一像素值的光；并且所述显示像素输出调制器用于：通过改变对由所述空间排列的像素中与所述第一像素位置相关联的一个或多个像素发射的光被调制的速率来对所述第二像素值进行编码。

在上文紧接的第五实施例的进一步方案中，所述图像流水线用于针对所述第一和第二图像帧内的多个像素位置中的每个像素位置关联所述第一像素值和所述第二像素值两者；所述显示像素输出调制器用于确定指示所述第二像素值的多个逻辑电平；并且空间地映射到所述多个像素位置的所述输出面板像素用于：以取决于与相应像素位置相关联的逻辑电平的不同像素输出调制速率来发射指示所述相应第一像素值的光。

在上文紧接的第五实施例的进一步方案中，所述图像流水线用于：接收指示第一图形对象的第一输入；基于所述第一输入来确定所述第一像素位置的所述第一像素值；接收指示第二图形对象的第二输入；以及基于所述第二输入来确定所述第一像素位置的所述第二像素值。

在第五实施例的进一步方案中，响应于来自所述显示像素输出调制器的一个或多个输入，所述输出面板像素用于：以至少90hz的像素输出调制速率在第一多个像素刷新周期内发射光；以及以第二输出调制速率在第二多个像素刷新周期内发射光，所述第二输出调制速率为至少90hz且至少大10hz。

在一个或多个第六实施例中，一种光学地传输隐藏图像数据的方法包括：将多个像素位置中的每个像素位置的一个或多个像素值编码为像素输出调制速率的一个或多个变化；以及利用空间排列的多个像素来输出对包括所述多个像素位置的输出图像帧的视觉表示，所述空间排列的多个像素中的一个或多个像素是以所述像素输出调制速率来进行调制的。

在第六实施例的进一步方案中，输出所述视觉表示进一步包括：使用多个空间排列的光源来发射表示第一图像帧的光，其中，每个光源发射以至少90hz但小于1khz的速率被幅度调制的光；并且所述编码进一步包括：通过改变所述光源中的至少一些光源的幅度调制来对从所述视觉表示中排除的一个或多个像素值进行编码。

在第六实施例的进一步方案中，所述编码进一步包括：通过将所述像素中的一个或多个像素的所述像素输出调制速率改变至少10hz来在与所述像素位置中的一个或多个像素位置相关联的第一逻辑电平与第二逻辑电平之间进行区分；并且所述改变所述像素中的至少一些像素的所述刷新速率对指示从所述视觉表示中排除的所述不同像素值的所述第一逻辑电平与所述第二逻辑电平之间的多个偏移进行编码。

在第六实施例的进一步方案中，第一像素值和第二像素值两者与所述输出图像帧内的第一像素位置相关联；由所述像素中与所述第一像素位置相关联的一个或多个像素发射的光指示所述第一像素值；并且影响由所述像素中与所述第一像素位置相关联的一个或多个像素发射的所述光的幅度调制的所述像素输出调制速率的变化对所述第二像素值进行编码。

在一个或多个第四实施例中，一种设备包括用于执行所述第六实施例中的任一项的装置。

在一个或多个第七实施例中，一种或多种计算机可读介质包括存储在于其上的指令，所述指令当由处理系统执行时使所述系统执行所述第四实施例中的任一项。

在第七实施例的进一步方案中，所述介质具有存储于其上的指令，所述指令当由处理系统执行时进一步使所述系统执行一种方法，所述方法包括：使用多个空间排列的光源来输出所述视觉表示，光表示所述第一图像帧，其中，每个光源发射以至少90hz但小于1khz的速率来幅度调制的光；以及通过改变所述光源中的至少一些光源的幅度调制来对从所述视觉表示中排除的一个或多个像素值进行编码。

将理解的是，实施例不限于如此描述的示例性实施例，而是能够在不偏离所附权利要求的范围的情况下通过修改和变更来实践。例如，以上实施例可以包括特征的特定组合。然而，以上实施例不局限于这个方面，并且在实施例中，以上实施例可以包括仅采取这类特征的子集、采取这类特征的不同顺序、采取这类特征的不同组合和/或采取除了明确例举的那些特征之外的附加特征。因此，范围连同被授予权利的这些权利要求书的等效物的全部范围应参照所附权利要求书来确定。