用于数据嵌入的设备和方法以及光通信系统和其方法

用于数据嵌入的设备和方法以及光通信系统和其方法
【专利摘要】在光通信系统中，安置在发送器侧通信数据处理单元和发光装置驱动之间的数据嵌入单元根据调制方案将通信处理的数据嵌入在原始图像的空间域中，并且获得用于通信数据嵌入的图像的多个RGB值。接收设备检测发送器侧通信数据嵌入的图像，生成接收器侧通信数据嵌入的图像，补偿接收器侧通信数据嵌入的图像的变形，输出变形的通信数据嵌入的图像，并且从变形的通信数据嵌入的图像提取通信处理的数据。
【专利说明】用于数据嵌入的设备和方法以及光通信系统和其方法
【技术领域】
[0001]本公开总的涉及一种用于在光通信中的数据嵌入的设备和方法以及光通信系统和其方法。
【背景技术】
[0002]光通信是使用具有400THZ到800THZ频率之间人类可见光的无线通信技术。RF带宽是稀有资源。因此，可见光通信可以提供可选的技术以便满足无线通信的强烈需求。例如，从一个或多个发光二极管(LED)发出的可见光被广泛使用在家庭和办公室中，因此这使得从一个或多个LED发出的可见光对于普适(ubiquitous)数据发送器非常理想。图1A和图1B分别示出了白光LED的两个示例类型的示意图。图1A示出了示例白光LED，其使用蓝色LEDllO和黄色磷光体115。黄色磷光体115限制调制带宽不大于约10Mbps。图1B示出了另一个白光LED的示例类型，其使用可以包括蓝色LED121、红色LED122和绿色LED123的RGB三元组，并且这三种LED分别发出蓝光131、红光132和绿光133。与图1A中示出的白光LED相比较，RGB三元组有潜在的更高的带宽并且三元组的混合可以由蓝光、红光和绿光的任意组合生成任何期望的颜色。因此，RGB三元组LED阵列可以被同时用作高比特率数据发送器和照明装置。
[0003]图2A示出了普通发送器200的示意图，其中普通发送器200使用了具有单输入数据流212的RGB三元组LED。在发送器200中，由误差修正编码器214接收单输入数据流212，并且调制器216的输出被直接应用于三元组LED驱动218。三原色(即红、绿和蓝)的三个输出功率PK、Pg和Pb由三元组LED驱动218生成。图2Β示出了具有开-关键控调制方案的调制器的输出的示例。由调制器216输出的比特流被连续地分配到三元组LED，其中R、G和B分别代表三原色的三个比特流。图2C示出了三元组LED驱动的输出功率的示例。
[0004]图3A示出了波分多路复用(WDM)发送器300的示意图，其中波分多路复用发送器300使用具有多输入数据的RGB三元组LED。在发送器300中，每个多输入数据(例如输入数据O、输入数据I和输入数据2)有单独的误差修正编码器和调制器。三个调制器的输出直接耦接到三个LED驱动。图3B示出了三个LED驱动的输出功率的示例。
[0005]图4示出了用于可见光通信(VLC)的技术的示意图。如图4中所示，VLC设备可以包括发送侧装置410和接收侧装置420。用于发送多个通信数据(例如数据1、数据2、数据3等)的发送侧装置410包括用于生成照明光的照明器412、通信量调节器413和调制器411。通信量调节器413接收多个通信数据信号的每一个，并且对多个单独的光源的相应的一个生成虚拟数据以便将要通过每一个光源发送的数据有相等的通信量。调制器411将每一个接收的通信数据信号和接收的虚拟信号调制为用于所述多个光源的每一个的驱动信号。
[0006]图5示出了说明使用可见光通信的数据发送设备的示意图。如图5中所示，数据发送设备510可以包括码生成 器512、调制单元514、多个LED518和光源驱动516，其中码生成器512根据时间T0, T1,…，TN-1, Tn将发送数据转换为具有不同颜色和图案的二维数据码520，调制单元514通过调制该二维数据码生成调制信号，多个LED518被排列为二维形式并且发光，光源驱动516根据调制信号控制LED518的接通。
[0007]从上述的技术，可以看出如果一个或多个调制器或者一个或多个调制单元的输出被直接应用于一个或多个LED驱动，三原色的各自的能量分配可以彼此不同。因此，在此种情况下可能有不期望的色调。此外，当发送器同时作为照明装置时，随时间变化的亮度可以由人眼感知。光通信仍然是全球无线光谱不足的潜在解决方案。已经提出了用于可见光通信技术的各种解决方案。在用于使用设备以同时执行图像或视频显示和光通信的这些解决方案中存在挑战。

【发明内容】

[0008]本公开的示例实施例可以提供用于在光通信中的数据嵌入的设备和方法以及光通信系统和其方法。
[0009]一个示例实施例涉及适用于发送器的用于在光通信中的数据嵌入的设备。用于在光通信中的数据嵌入的设备可以包括数据嵌入单元，数据嵌入单元被安置在发送器的发送器侧通信数据处理单元和发光装置驱动之间。数据嵌入单元根据调制方案在原始图像的空间域嵌入通信处理的数据，并且对于通信数据嵌入的图像获得多个RGB值。
[0010] 另一个示例实施例涉及适用于发送器的用于在光通信中的数据嵌入的方法。用于在光通信中的数据嵌入的方法可以包括:在发送器的发送器侧通信数据处理单元和发光装置驱动之间安置数据嵌入单元；通过使用数据嵌入单元根据调制方案在空间域嵌入通信处理的数据以便生成通信调制的图像；以及执行反向变换和将通信调制的图像从频率域变换到空间域的域变换，并且对于通信数据嵌入的图像获得多个RGB值。
[0011]另一个示例实施例涉及用于在光通信中的数据嵌入的接收设备。接收设备可以包括图像感应装置，图像变形单元，和数据提取单元。图像感应装置检测由发光装置发送的发送器侧通信数据嵌入的图像，并且生成接收器侧通信数据嵌入的图像。图像变形单元通过对发送器侧通信数据嵌入的图像执行图像变形处理补偿接收器侧通信数据嵌入的图像的变形，并且输出变形的通信数据嵌入的图像。数据提取单元从变形的通信数据嵌入的图像提取通信处理的数据。
[0012]另一个示例实施例涉及用于在光通信中的数据嵌入的接收方法。接收侧法可以包括:在图像感应装置和接收器侧通信数据处理单元之间配置图像变形单元和数据提取单元；通过使用图像感应装置，检测由发光装置发送的发送侧通信数据嵌入的图像并且生成接收侧通信数据嵌入图像；通过使用图像变形单元，对于发送器侧通信数据嵌入的图像执行图像变形处理并且输出变形的通信数据嵌入的图像；以及通过使用数据提取单元，从变形的通信数据嵌入的图像提取通信处理的数据。
[0013]另一个示例实施例涉及光通信系统。光通信系统可以包括发送器和接收设备。发送器在原始图像的频率域变换的一个或多个频率系数处嵌入通信处理的数据，对于通信调制的图像执行反向变换和域变换，并且由在原始图像中嵌入多个RGB值形成通信数据嵌入的图像。接收设备检测由发光装置发送的通信数据嵌入的图像并且生成接收器侧通信数据嵌入的图像，并且执行图像变形处理以便由接收器侧通信数据嵌入的图像恢复通信数据嵌入的图像，并且从变形的通信数据嵌入的图像提取通信处理的数据。
[0014]另一个示例实施例涉及光通信方法。光通信方法可以包括:在发送器中，在原始图像的频率域变换的一个或多个频率系数处嵌入通信处理的数据，在通信调制的图像执行反向变换和域变换，并且通过在原始图像中嵌入多个RGB值形成通信数据嵌入的图像；并且在接收设备中，检测由发光装置发送的通信数据嵌入的图像并且生成接收器侧通信数据嵌入的图像，并且执行图像变形处理以便由接收器侧通信数据嵌入的图像恢复通信数据嵌入的图像，并且从变形的通信数据嵌入的图像提取通信处理的数据。
【专利附图】

【附图说明】
[0015]图1A和图1B分别示出白光LED的两个示例类型的示意图。
[0016]图2A示出使用具有单输入数据流的RGB三元组LED的普通发送器的示意图。
[0017]图2B示出具有开-关键控调制方案的调制器的输出的示例。
[0018]图2C示出三元组LED驱动的输出功率的示例。
[0019]图3A示出使用具有多输入数据流的RGB三元组LED的WDM发送器的示意图。
[0020]图3B示出三个LED驱动的输出功率的示例。
[0021]图4示出用于可见光通信的技术的示意图。
[0022]图5示出说明使用可见光通信的数据发送设备的示意图。
[0023]图6示出根据示例实施例，光通信系统的示意图。
[0024]图7示出根据示例实施例，适用于发送器的用于在光通信中的数据嵌入的设备。
[0025]图8示出根据示例实施例，包括预处理器的用于在光通信中的数据嵌入的设备的框图。
[0026]图9示出根据示例实施例，由将原始输入图像作为示例的数据嵌入单元的操作。
[0027]图10示出根据示例实施例，用于采用BPSK调制方案的通信处理的数据嵌入的第一范例。
[0028]图11示出根据示例实施例，用于采用BPSK调制方案的通信处理的数据嵌入的第二范例。
[0029]图12示出根据示例实施例，用于采用QPSK调制方案的通信处理的数据嵌入的第三范例。
[0030]图13示出根据示例实施例，用于由混合的BPSK和QPSK调制方案的通信处理的数据嵌入的第四范例。
[0031]图14示出根据示例实施例，用于采用扩展频谱序列的通信处理的数据嵌入的第五范例。
[0032]图15示出根据示例实施例，利用原始图像将通信调制的图像嵌入到空间YUV域中的第一范例。
[0033]图16示出根据示例实施例，利用原始图像将通信调制的图像嵌入到空间RGB域中的第二范例。
[0034]图17示出根据示例实施例，适用于发送器的用于在光通信中的数据嵌入的方法。
[0035]图18示出根据示例实施例，用于在光通信中的数据嵌入的接收设备。
[0036]图19示出根据示例实施例，在图像变形处理中的三角形的点的重心坐标变换。
[0037]图20示出根据示例实施例，图像变形处理的操作。
[0038]图21示出根据示例实施例，数据提取单元的操作。[0039]图22示出根据示例实施例，用于在光通信中的数据嵌入的接收方法。
【具体实施方式】
[0040]以下，将参考附图详细描述示例实施例使得示例实施例由有本领域中一般知识的人容易地实现。本发明的构思可以以各种形式实现，而不受限于在此所述的示例实施例。为了清楚起见，省略了公知的部分的描述，并且相同的参考标号至始至终指示相同的元素。
[0041]本公开的示例实施例提供用于在光通信中的数据嵌入的技术以便同时执行图像或视频显示和光通信。该技术对于在将通信处理的数据应用于发光装置或图像/视频显示装置之前的通信处理的数据采用数据嵌入技术。与直接将通信处理的数据应用到发光装置驱动(例如LED驱动)相反，公开的示例实施例当执行光通信时，将通信处理的数据嵌入在图像或视频的空间域中频率系数的眼睛不敏感部分。
[0042]如图6中可知，光通信系统600的一个示例实施例可以包括发送侧装置610和接收侧装置620。发送侧装置610可以包括发送器侧通信数据处理单元612、数据嵌入单元614、发光装置驱动616和发光装置618。发送器侧通信数据处理单元612可以执行通信输入数据612a的信号处理。数据嵌入单元614可以根据调制编码方案将通信处理的数据614a嵌入在原始图像614b的频率域变换的一个或多个频率系数中。在嵌入通信处理的数据614a之前，外部指示器614c可以用来指示预处理过程是否被执行。外部指示器614c可以由软件模块或硬件元件生成。发光装置驱动616可以根据由数据嵌入单元614处理的输出数据驱动发光装置618。
[0043]接收侧装置620可以包括图像感应装置622、图像变形单元624、数据提取单元626和接收器侧通信数据处理单元628。图像感应单元可以检测经由信道从发光装置发送的通信数据嵌入的图像618b。图像变形单元624可以执行图像变形功能以便补偿来自图像感应单元的感应的图像的变形。数据提取单元626可以从图像变形单元624的输出提取通信处理的数据614a。接收器侧通信数据处理单元628执行公共通信数据处理(例如，解调和误差修正)以便从由数据提取单元626提取的通信处理的数据恢复通信输入数据612a。
[0044]如图6所述，发送器侧通信数据处理单元可以在发送侧装置中执行公共通信信号处理(例如误差修正编码和调制等)以便生成通信处理的数据。通信处理的数据可以是信号流的比特流(例如I/O对)，但不限于信号流的比特流。图7示出根据示例实施例，适用于发送器700的用于在光通信中的数据嵌入的设备。参考图7，用于在光通信中的数据嵌入的设备可以包括数据嵌入单元614，数据嵌入单元614被安置在发送器700中的发送器侧通信数据处理单元612和发光装置驱动616之间。数据嵌入单元614可以根据调制方案在原始图像614b的频率域变换(例如离散余弦变换(DCT))的一个或多个频率系数处嵌入通信处理的数据614a。没有嵌入的通信数据的原始图像614b可以是静止图像或视频序列中的帧。在嵌入频率域变换的一个或多个频率系数之后，数据嵌入单元执行域变换(例如反向DCT (IDCT))，域变换将通信调制的图像从频率域变换到空间域变换(步骤730)，并且例如通过将亮度和色度信号转换为RGB信号，获得用于通信数据嵌入的图像618b的多个RGB值732。
[0045]换句话说，数据嵌入单元614可以生成通信调制的图像722，并且对于通信数据嵌入的图像获得多个RGB值。数据嵌入单元可以通过将由一个或多个图像强度调制的一个或多个帧插入到多个原始帧间，将通信处理的数据嵌入在原始图像上。通过原始图像上的不同区域中的一个或多个部分图像的一个或多个强度调制插入的一个或多个帧。
[0046]数据嵌入单元可以通过将通信处理的数据嵌入在原始图像的频率域变换的一个或多个频率系数中，生成通信调制的图像。数据嵌入单元可以通过在频率域中将通信调制的图像嵌入在原始图像中，执行频率域变换，和将多个亮度和色度数据转换为多个RGB值，生成通信数据嵌入的图像。或者数据嵌入单元可以对通信调制的图像执行从频率域到空间RGB域的域变换，并且将多个得到的亮度和色度数据转换为多个RGB值，并且由将多个RGB值嵌入在原始图像生成通信数据嵌入的图像。或者数据嵌入单元可以对通信调制的图像执行从频率域到空间域的域变换，并且通过对于原始图像嵌入变换的结果以及将数据嵌入的图像的多个得到的亮度和色度数据转换为多个RGB值生成通信数据嵌入的图像。
[0047]在嵌入通信处理的数据之前，用于在光通信中的数据嵌入的设备可以根据外部指示器614c执行预处理过程。例如，预处理过程可以包括将原始图像614b的像素阵列从第一域(例如RGB域)转换到第二域(例如YUV (或YCbCr)域)并且在YUV域中在像素阵列执行DCT。外部指示器614c指示预处理过程是否被执行。外部指示器可以由软件模块或者硬件元件生成。数据嵌入单元可以在原始图像的预定义的一个或多个频率系数(例如离散余弦变换(DCT))处嵌入通信处理的数据。发光装置驱动根据由数据嵌入单元处理的信号驱动发光装置。发送器中的发光装置618的输出是用于光通信的将要发送的通信数据嵌入的图像。
[0048]因此，如图8的示例实施例中所示，图7中所示的用于在光通信中的数据嵌入的设备还可以包括预处理器810，预处理器810被配置为根据外部指示器614c、在嵌入通信处理的数据之前执行预处理过程812。在预处理过程之后，数据嵌入单元614在空间域的一个或多个频率系数处嵌入通信处理的数据614 (即执行步骤720和730)，并且获得通信数据嵌入的图像618b的多个RGB值732。
[0049]图9示出根据示例实施例，由将原始图像作为示例的适用于发送器的用于在光通信中的数据嵌入的设备的操作。在此实施例中，原始输入图像由8x8RGB像素阵列912组成。当外部指示器614c指示应该执行预处理过程时，预处理器810在嵌入通信处理的数据前执行预处理过程，例如将原始图像的像素阵列912从RGB域转换到另一诸如YUV (或YCbCr)域的域(即RGB2YUV的步骤910)以便在YUV (或YCbCr)域922中生成像素阵列，并且在YUV域中的像素阵列922执行DCT (即步骤920)以便在DCT之后生成通信调制的图像的像素阵列932。外部指示器614c可以由使用软件编程寄存器或者硬件元件生成。
[0050]数据嵌入单元614根据调制编码方案可以在DCT块的Y、U和V部分的任意组合的一个或多个频率系数处嵌入通信处理的数据614a(即嵌入Y、U和V部分的任意组合的频率系数的步骤930)，因此产生诸如已经在空间域的频率系数上被嵌入通信处理的数据614a的三个像素阵列932。数据嵌入单元614可以移除原始输入图像的系数并且根据通信处理的数据614a和调制类型加入至少一个值。数据嵌入单元614可以执行IDCT (步骤940)以便依次恢复像素阵列922和YUV (YCbCr)为RGB变换(即步骤950)，以便获取通信数据嵌入的图像的多个RGB值952。在此示例中，通过将获取的RGB值952嵌入8x8RGB像素阵列912中形成通信数据嵌入的图像932，并且将由发送器发送。RGB值952将会应用于驱动发光装置以便输出通信数据 嵌入的图像的发光装置驱动。[0051]通过适当的选择用于通信处理的数据嵌入的一个或多个频率系数，例如但不限于中-低频率系数，在嵌入通信处理的数据之后的失真可以是不被人眼感知的。以下的示例说明用于通信处理的数据嵌入的一些方案。图10示出根据示例实施例，用于采用BPSK调制方案的通信处理的数据嵌入的第一范例。在图10的范例中，例如但不限于图像由多个8x8像素阵列组成，并且多个DCT块的每一个是8x8大小的。在此通信处理的数据是由{bQ(l，b01,…，b13}表示的二进制比特流,其中by表示嵌入在第i帧中的第j比特。使Yc^Y1为分别在时刻0、1的DCT结果的两个Y要素。使{fi(l，fn，…，fifrl)}为用于嵌入通信处理的数据的N个频率系数，其中N是在每个DCT块中频率系数的数量。对于BPSK调制方案，根据通信处理的数据中的输入比特，fiQ，fn,...,和fi(N_D的值被设定为fi(l=fn=…Zfifrl)=+!!!或
…=fi(N-D=-m。在图10的范例中，分别由三个斜线方块标识的三个频率系数被用于采用BPSK调制嵌入通信处理的数据。在此情况下，我们有N=3和m=4。根据1?第一行上的4个DCT块的12个低和中系数都被设定为值-4或4，第二行上的4个DCT块的12个低和中频率系数都被设定为值1?,以此类推。
[0052]图11示出根据示例实施例，用于通过交错方式的BPSK调制方案的通信处理的数据嵌入的第二范例。在图11的范例中，在采用BPSK调制方案的DCT块的低和中系数处嵌入并且交错通信处理的数据Ibtltl, V，…，b17}。当通信处理的数据的输入比特值是I时，关联的DCT块的低和中系数(由斜线方块表示)被设定为值4 ;否则，系数被设定为_4。在此范例中，第一行上的两个DCT块的6个低和中系数根据1?的值设定，并且第一行上的另两个DCT块的6个低和中系数根据1?的值设定，以此类推。
[0053]图12示出根据示例实施例，用于采用QPSK调制方案的通信处理的数据嵌入的第三范例。在范例中，多个 DCT块的每一个是8x8大小的，并且每一个小方块代表DCT块中
的系数。通信处理的数据由QPSK码元组成。使{fi(LQ(l，fiLOo,…，fi(N-D—、{fio_oi, fiLoi,…，fi(N-l)—ClJ、{fiO—10，fil—10，...，fi(N_l)—ItJ 和{fiO—11，『il—11，...，f i (N_l)—11 }分别为对于4个QPSK码元
00、01、10、11的每一个DCT块中的N个频率系数，其中N是每一个DCT块中的频率系数的数量。在图12的示例中，我们有N=3。当通信处理的数据中的QPSK码元是00、01、10、11时，相应的DCT块的低和中系数(由斜线方块表示)分别由{-4，-4，-4}、{-4，4，4}、{4，-4，-4}和{4，4，4}代替。
[0054]图13示出根据示例实施例，用于由混合的BPSK和QPSK调制方案的通信处理的数据嵌入的第四范例。在范例中，像素阵列和DCT块两者都是8x8大小的，并且在块中混合两个调制方案。因为当从图像感应装置接收时，所以图像可能遭受噪声和几何变形，中间频率的系数比高频率的系数更可靠。因此通信处理的数据可以被嵌入在采用强调制方案的高频率系数中，以及在采用较弱调制方案的中间频率系数中。在此范例中，通信处理的数据被嵌入在采用QPSK调制的中间频率系数中，以及在采用BPSK调制的高频率系数中。
[0055]图14示出根据示例实施例，用于采用扩展频谱序列的通信处理的数据嵌入的第五范例。在范例中，像素阵列和DCT块两者都是8x8大小的。通信处理的数据由二进制比特流表示。使{fio—o, fn—O，…，fi(N-l)—(J和{fid—1，fil—I，…，fi(N-；o—J分别为用于嵌入比特O和比特I的每一个DCT块中的N个频率系数，其中N是每一个DCT块中的频率系数的数量，并且这些fu的值可以是不同的。在图14的范例中，我们有N=28，以及采用扩展频谱模式(序列)1410嵌入在频率系数中的具有比特值O的通信处理的数据，以及采用扩展频谱模式(序列)1420嵌入在频率系数中的具有比特值I的通信处理的数据。频率系数的不同组合可以用来代表扩展频谱编码。接收器可以在频率域中提取系数作为输入信号，并且以两个扩展频谱序列计算相关性以便恢复通信处理的数据。例如，当输入信号和值O的序列之间的相关性大于输入信号和值I的序列之间的相关性时，扩展频谱编码为O ;否则，扩展频谱编码为I。
[0056]发送器中有用于在原始图像中嵌入的通信处理的数据的不同的方案。图15和图16中分别示出两个范例。图15示出根据示例实施例，利用原始图像将通信调制的图像嵌入在空间YUV域中的第一范例。在图15的范例中，在嵌入通信处理的数据之前，预处理器(例如RGB2YUV) 910可以将原始图像的像素阵列从第一空间域(例如RGB域)转换到第二空间域(例如YUV(YCbCr))。在处理之后，数据嵌入单元614可以根据调制方案在频率域中的系数处(例如嵌入如930标注的Y、U和V部分的任意组合的频率系数)嵌入通信处理的数据，并且利用嵌入的频率系数生成通信调制的图像1510，并且执行IDCT转换。数据嵌入单元通过在空间YUV域中利用原始图像嵌入通信调制的图像1510，在空间YUV域中生成通信数据嵌入的图像1520。最后，数据嵌入单元将通信数据嵌入的图像1520从空间YUV (YCbCr)域变换到空间RGB域，以便获得用于光通信的空间RGB域中的通信数据嵌入的图像的RGB值。
[0057]图16根据示例实施例，利用原始图像将通信调制的图像嵌入到空间RGB域中的第二范例。在图16的范例中，没有执行预处理过程。数据嵌入单元614根据调制方案在频率域中的系数处嵌入通信处理的数据以便生成通信调制的图像1510，执行通信调制的图像1510的IDCT变换，并且将通信调制的图像1510从YUV (YCbCr)域变换到RGB域以便依次获得空间RGB域中的通信调制的图像1620的RGB值。最后，数据嵌入单元614将通信调制的图像中的RGB值嵌入在空间RGB域中的原始图像1620的RGB值中以便生成用于光通信的空间RGB域中的通信数据嵌入的图像的RGB值。
[0058]如以上所述，根据示例实施例，适用于发送器的用于在光通信中的数据嵌入的方法可以在图17中示出。在图17中，该方法可以将数据嵌入单元安置在发送器中的发送器侧通信数据处理单元和发光装置驱动之间(步骤1710)，并且根据调制方案通过使用数据嵌入单元在原始图像的频率域的一个或多个频率系数中嵌入通信处理的数据，以便生成通信调制的图像(步骤1720)，执行反向变换和将通信调制的图像从频率域变换到空间域的域变换，并且获得通信数据嵌入的图像的多个RGB值(步骤1730)，其中通过在原始图像中嵌入多个RGB值形成通信数据嵌入的图像。
[0059]如上所述，当预处理过程根据外部指示器执行时，原始图像可以从RGB空间域被变换到空间YUV域。在已完成预处理过程和生成通信调制的图像之后，所述方法可以通过在空间YUV域中利用原始图像嵌入通信调制的图像生成通信数据嵌入的图像，将通信数据嵌入的图像从空间YUV域变换到空间RGB域，以便获得用于光通信的通信数据嵌入的图像的多个RGB值。当没有执行预处理过程时，所述方法可以在已执行IDCT变换后将通信调制的图像从YUV (YCbCr)域变换到RGB域，以便依次获得在空间RGB域中的通信调制的图像的RGB值，将通信调制的图像的RGB值嵌入在空间RGB域中的原始图像的RGB值中以便生成用于光通信的空间RGB域中的通信数据嵌入的图像。
[0060] 如上所述，用于光通信中的数据嵌入的方法可以根据调制编码方案在DCT块的Y、U和V部分的任意组合的一个或多个频率系数处嵌入通信处理的数据嵌入。采用不同的调制方案的通信处理的数据嵌入(例如但不限于图10到图14中所示的例子)可以被应用于所述方法。
[0061]当经由用于光通信的信道由发光驱动装置618发送通信数据嵌入的图像时，用于在光通信中的数据嵌入的接收设备的一个示例实施例可以参考图18。在图18中，用于在光通信中的数据嵌入的接收设备1800可以包括图像感应设备1822、图像变形单元1824和数据提取单元1826。图像感应单元1822可以检测由发光装置618经由信道发送的发送器方的通信数据嵌入的图像1822a，并且生成接收器侧的通信数据嵌入的图像1822b。因为接收器侧的通信数据嵌入的图像1822b的大小和形状可以与发送器侧的通信数据嵌入图像1822a不同，图像变形单元1824被配置为通过在发送器侧的通信数据嵌入的图像1822a执行图像变形处理补偿接收器侧的通信数据嵌入的图像1822b的变形，并且输出变形的通信数据嵌入的图像1824b。数据提取单元1826被配置为从变形的通信数据嵌入的图像1824b中提取通信处理的数据614a。接收设备还可以对于通信处理的数据614a执行通信数据处理1828以便获取恢复的数据。
[0062]由图像变形单元1824执行的图像变形处理可以包括对于发送器侧的通信数据嵌入的图像1822a的区域中的多个像素数据的坐标变换，并且坐标(例如重心坐标)可以被用在图像变形处理中。图19示出根据示例实施例，在图像变形处理中的三角形的点的重心坐标变换。使abc为由其顶点a、b和c定义的三角形。三角形abc中的点P可以被表示为aa+Pb+Yc其中α、β和Y可以由每个三角形的面积比计算，并且必须满足约束条件α+β + Υ = 1。换句话说，可以由以下公式表达点P和约束条件。
[0063]P= a a+ β b+ Y c, and a =Aa/A, β =Ab/A, y =Ac/A, a + β + y =1，
[0064]其中Aa是二角形bcp的面积，Ab是二角形cap的面积，以及A。是二角形abp的面积，以及A是二角形abc的面积。
[0065]基于重心坐标，图20示出根据示例实施例，图像变形单元的操作。参考图20,利用具有发送器侧的通信数据嵌入的图像1822a中的三角形a’ b’ c’相应于接收器侧的通信数据嵌入的图像1822b中的三角形abc，图像变形单元可以将发送器侧的通信数据嵌入的图像1822a分成几个三角形，并且对每个三角形a’ b’ c’中的每个点P，计算相应的重心坐标(α, β, Y )ρ，并且对发送器侧通信数据嵌入的图像1822a的每个三角形a’ b’ c’中的每个点P’，在变形后执行计算接收器侧通信数据嵌入的图像中的相应点P= a a+ β b+ Y c的步骤2020。并且对发送器侧通信数据嵌入的图像1822a的每个三角形a’ b’ c’中的每个点p’，图像变形单元还可以通过接收的像素在P周围执行像素值插值以便恢复P’的像素值的步骤2030。在发送器侧的通信数据嵌入的图像1822a的区域中的点执行重心坐标变换之后，可以在图像变形处理中由接收器侧的通信数据嵌入的图像1822b的像素值恢复发送器侧通信数据嵌入的图像1822a的像素值。
[0066]根据示例实施例，可以在图21中示出数据提取单元1826执行的操作。参考图21，数据提取单元1826可以将多个数据在变形的通信数据嵌入的图像上从第一空间表示(例如RGB表示)转换到第二空间表示(例如YUV (或YCbCr)表示)(步骤2110)，将在第二空间表示(例如YUV表示)的变形的通信数据嵌入的图像分成频率域中的多个块，并且对于多个块的每一个执行频率域变换(例如DCT或子波(wavelet))(步骤2120)，提取嵌入在一个或多个频率系数中的比特(步骤2130)以便通过对于从一个或多个频率系数提取的比特执行多数表决、去映射或者模式匹配，确定通信处理的数据614a。用于光通信的接收设备还可以包括接收器侧图像数据处理单元，接收器侧图像数据处理单元可以在接收设备中执行公共通信数据处理(例如解调和误差修正)以便从提取的通信处理的数据中恢复通信数据，并且输出恢复的数据。
[0067]因此，根据示例实施例，可以在图22中示出用于在光通信中的数据嵌入的接收方法。在图22中，用于在光通信中的数据嵌入的接收方法可以在图像感应装置和接收器侧通信数据处理单元之间配置图像变形单元和数据提取单元(步骤2210);通过使用图像感应单元，检测由发光装置发送的发送器侧通信数据嵌入的图像并且生成接收器侧通信数据嵌入的图像(步骤2220);通过使用图像变形单元，对于发送器侧通信数据嵌入的图像执行图像变形处理并且输出变形的通信数据嵌入的图像；并且通过使用数据提取单元，从变形的通信数据嵌入的图像中提取通信处理的数据(步骤2230)。
[0068]对于采用扩展频谱序列嵌入的通信处理的数据的范例，用于在光通信中的数据嵌入的接收方法可以对接收器侧通信数据嵌入的图像执行图像变形并且将变形的通信数据嵌入的图像上的数据点从RGB表示转换到YUV表示，对于每一个这样的8x8块执行DCT并且提取每一个块的一个或多个频率系数，并且执行每一个块的序列匹配以及进行一组块的多数表决。检测到的通信处理的数据还可以被应用于接收器侧通信数据处理单元。[0069]如上所述，光通信系统的一个示例实施例可以包括发送器和接收装置。发送器可以被配置为在原始图像的频率域变换的一个或多个频率系数处嵌入通信处理的数据，生成通信调制的图像，对于通信调制的图像执行反向变换和域变换，并且由利用原始图像嵌入多个RGB值形成通信数据嵌入的图像。接收设备可以被配置为检测通过发光装置发送的通信数据嵌入的图像并且生成接收器侧通信数据嵌入的图像，并且执行图像变形处理以便由接收器侧通信数据嵌入的图像恢复发送器侧通信数据嵌入的图像，并且从变形的通信数据嵌入的图像中提取通信处理的数据。
[0070]光通信系统中的发送器还可以包括发光装置驱动以便驱动发光装置以便发送通信数据嵌入的图像。发送器还可以包括预处理器，预处理器根据外部指示器在嵌入通信处理的数据之前执行预处理过程。如果不需要预处理过程，则通过在空间RGB域中的原始图像中嵌入空间RGB域中的通信调制的图像形成通信数据嵌入的图像。
[0071]因此，根据示例实施例，在发送器中，光通信方法可以在原始图像的频率域变换的一个或多个频率系数处嵌入通信处理的数据嵌入，以便生成通信调制的图像，在通信调制的图像执行反向变换和域变换，并且通过利用原始图像嵌入多个RGB值形成通信数据嵌入的图像。在接收设备中，光通信方法可以检测由发光装置发送的通信数据嵌入的图像并且生成接收器侧通信数据嵌入的图像，并且执行图像变形处理以便由接收器侧通信数据嵌入的图像恢复通信数据嵌入的图像，并且从变形的通信数据嵌入的图像中提取通信处理的数据。
[0072]在以上示例实施例中已经描述了在嵌入通信处理的数据、形成通信数据嵌入的图像、执行图像变形处理以及提取通信处理的数据之前执行预处理过程的细节，这些细节在此省略。
[0073]总结本公开，公开的示例实施例提供了用于在光通信中的数据嵌入的设备和方法，以及光通信系统和其方法。所述技术在将通信处理的数据应用于发光装置驱动或图像/视频显示驱动之前采用用于通信处理的数据的数据嵌入技术。与以现有的光通信技术将通信处理的数据直接应用于发光装置驱动相反，公开的示例实施例当光通信执行时将通信处理的数据嵌入在原始图像或视频的空间域中的频率系数的眼睛不敏感部分上。因此，公开的示例实施例可以同时执行图像或视频显示和光通信。
[0074] 本领域的技术人员将清楚可以对公开的实施例进行各种修改和变更。本说明书和示例仅意欲被看做范例，本公开的真正范围由以下权利要求和他们的等效物指示。
【权利要求】
1.一种适用于发送器的用于在光通信中的数据嵌入的设备，所述设备包括: 数据嵌入单元，其被安置在发送器中的发送器侧通信数据处理单元和发光装置驱动之间； 其中所述数据嵌入单元根据调制方案将通信处理的数据嵌入在原始图像的空间域中，并且获得用于通信数据嵌入的图像的多个RGB值。
2.如权利要求1所述的设备，其中所述设备还包括预处理器，所述预处理器根据外部指示器在嵌入通信处理的数据之前执行预处理过程。
3.如权利要求1所述的设备，其中所述数据嵌入单元通过在原始图像的频率域变换的一个或多个频率系数处嵌入通信处理的数据来生成通信调制的图像。
4.如权利要求2所述的设备，其中所述预处理器将原始图像的多个像素阵列从第一空间域转换到第二空间域，并且对于第二空间域中的多个像素阵列执行离散余弦变换。
5.如权利要求2所述的设备，其中所述预处理器将原始图像的多个像素阵列从空间RGB域转换到空间YUV或YCbCr域，并且对于空间YUV或YCbCr域中的多个像素阵列执行离散余弦变换。
6.如权利要求3所述的设备，其中所述数据嵌入单元通过在频率域中将通信调制的图像嵌入原始图像中，执行频率域变换以及将多个亮度和色度数据转换为多个RGB值，而生成通信数据嵌入的图 像。
7.如权利要求1所述的设备，其中所述数据嵌入单元通过将通过一个或多个图像强度调制的一个或多个帧插入到原始图像上的多个原始帧间，而嵌入通信处理的数据。
8.如权利要求7所述的设备，其中通过原始图像上的不同区域中的一个或多个部分图像的一个或多个强度调制所述一个或多个插入的帧。
9.如权利要求3所述的设备，其中数据嵌入单元对通信调制的图像执行从频率域到空间RGB域的域变换，并且将多个得到的亮度和色度数据转换为多个RGB值，并且通过在原始图像中嵌入多个RGB值，而生成通信数据嵌入的图像。
10.如权利要求3所述的设备，其中数据嵌入单元对通信调制的图像执行从频率域到空间域的域变换，并且通过利用原始图像嵌入变换的结果以及将数据嵌入的图像的多个得到的亮度和色度数据转换为多个RGB值，而生成通信数据嵌入的图像。
11.一种适用于发送器的用于在光通信中的数据嵌入的方法，所述方法包括: 将数据嵌入单元安置在发送器中的发送器侧通信数据处理单元和发光装置驱动之间； 通过使用数据嵌入单元，根据调制方案将通信处理的数据嵌入在空间域中以便生成通信调制的图像；以及 执行反向变换和将通信调制的图像从频率域变换到空间域的域变换，并且获得用于通信数据嵌入的图像的多个RGB值。
12.如权利要求11所述的方法，其中所述方法还包括根据外部指示器的在嵌入通信处理的数据之前的预处理过程。
13.如权利要求12所述的方法，其中所述预处理过程还包括: 将原始图像的多个像素阵列从第一空间域转换到第二空间域。
14.如权利要求12所述的方法，其中所述外部指示器由使用软件编程寄存器或硬件元件生成。
15.如权利要求11所述的方法，其中所述方法还包括: 通过在频率域变换的一个或多个频率系数处嵌入通信处理的数据产生通信调制的图像。
16.如权利要求15所述的方法，其中所述方法根据调制编码方案，在一个或多个离散余弦变换(DCT)块的空间YUV域中的Y、U和V部分的任意组合的一个或多个频率系数处嵌入通信处理的数据。
17.如权利要求16所述的方法，其中采用多个方案中的一个嵌入所述通信处理的数据，所述多个方案包括嵌入扩展频谱模式、嵌入QPSK模式、以交错方式使用BPSK调制方案和使用混合的BPSK和QPSK调制方案。
18.如权利要求11所述的方法，其中所述方法通过将由一个或多个图像强度调制的一个或多个帧插入到原始图像上的多个原始帧间，而嵌入通信处理的数据。
19.如权利要求18所述的方法，其中所述一个或多个插入的帧由原始图像上的不同区域中的一个或多个部分图像的一个或多个强度调制。
20.如权利要求15所述的方法，其中所述方法还包括: 通过数据嵌入单元，通过在频率域中嵌入通信调制的图像，执行频率域变换，以及将多个亮度和色度数据转换为多个RGB值，而生成通信数据嵌入的图像。
21.如权利要求15所述的方法，其中所述方法还包括: 通过数据嵌入单元，对通信调制的图像执行从频率域到空间RGB域的域变换，将多个得到的亮度和色度数据转换为多个RGB值，并且由在原始图像中嵌入多个RGB值来产生通信数据嵌入的图像。
22.如权利要求15所述的方法，其中所述方法还包括: 通过数据嵌入单元，对通信调制的图像执行从频率域到空间域的域变换，并且通过利用原始图像嵌入变换的结果以及将数据嵌入的图像的多个得到的亮度和色度数据转换为多个RGB值，而生成通信数据嵌入的图像。
23.一种用于在光通信中的数据嵌入的接收设备，包括: 图像感应装置，其检测由发光装置发送的发送器侧通信数据嵌入的图像，并且生成接收器侧通信数据嵌入的图像； 图像变形单元，其通过对发送器侧通信数据嵌入的图像执行图像变形处理补偿接收器侧通信数据嵌入的图像的变形，并且输出变形的通信数据嵌入的图像；以及 数据提取单元，其从变形的通信数据嵌入的图像中提取通信处理的数据。
24.如权利要求23所述的接收设备，其中通过所述图像变形单元执行的所述图像变形处理包括对于发送器侧通信数据嵌入的图像的区域中的多个像素数据的坐标变换。
25.如权利要求23所述的接收设备，其中所述数据提取单元将变形的通信数据嵌入的图像上的多个像素数据从第一空间表示转换到第二空间表示，将第二空间表示中的变形的通信数据嵌入的图像分成空间域中的多个块，对于多个块的每一个执行频率域变换，并且提取一个或多个嵌入在一个或多个频率系数中的比特以便确定通信处理的数据。
26.如权利要求25所述的接收设备，其中所述数据提取单元对于一个或多个频率系数的一个或多个提取的比特执行多数表决、去映射或模式匹配。
27.一种用于在光通信中的数据嵌入的接收方法，包括: 在图像感应装置和接收器侧通信数据处理单元之间配置图像变形单元和数据提取单元; 通过使用图像感应装置，检测由发光装置发送的发送器侧通信数据嵌入的图像并且生成接收器侧通信数据嵌入的图像； 通过使用图像变形单元，对于发送器侧通信数据嵌入的图像执行图像变形处理并且输出变形的通信数据嵌入的图像；以及 通过使用数据提取单元，从变形的通信数据嵌入的图像提取通信处理的数据。
28.如权利要求27所述的接收方法，其中所述图像变形处理还包括: 对于发送器侧通信数据嵌入的图像的区域中的多个像素数据执行坐标变换；以及通过接收器侧通信数据嵌入的图像的多个像素数据恢复发送器侧通信数据嵌入的图像的多个像素数据。
29.如权利要求27所述的接收方法，其中提取所述通信处理的数据还包括: 将变形的通信数据嵌入的图像上的多个数据点从第一空间表示转换到第二空间表示； 将第二空间表示中的变形的通信数据嵌入的图像分成在空间域中的多个块，并且对于多个块的每一个执行频率域变换；以及 提取嵌入在一个或多个频率系数中的一个或多个比特以便确定通信处理的数据。
30.如权利要求29所述的接收方法，其中对于嵌入在一个或多个频率系数中的一个或多个比特执行多数表决、去映射或模式匹配。
31.一种光通信系统，包括: 发送器，其在原始图像的频率域变换的一个或多个频率系数处嵌入通信处理的数据，对于通信调制的数据执行反向变换和域变换，并且通过在原始图像中嵌入多个RGB值形成通信数据嵌入的图像；以及 接收设备，其检测由发光装置发送的通信数据嵌入的图像以及生成接收器侧通信数据嵌入的图像，并且执行图像变形处理以便由接收器侧通信数据嵌入的图像恢复通信数据嵌入的图像，并且从变形的通信数据嵌入的图像中提取通信处理的数据。
32.如权利要求31所述的系统，其中所述发送器还包括发光装置驱动以便驱动发光装置以便发送通信数据嵌入的图像。
33.如权利要求31所述的系统，其中所述发送器还包括预处理器，预处理器在嵌入通信处理的数据之前执行预处理过程。
34.如权利要求33所述的系统，其中所述发送器根据由软件编程寄存器或硬件元件生成的外部指示器执行预处理过程。
35.如权利要求33所述的系统，其中所述预处理器将原始图像的多个像素阵列从第一空间域转换到第二空间域，并且对于第二空间域中的多个像素阵列执行离散余弦变换。
36.如权利要求31所述的系统，其中通过利用空间RGB域的原始图像中嵌入空间RGB域中的通信调制的图像形成所述通信数据嵌入的图像。
37.如权利要求31所述的系统，其中所述接收设备对于通信数据嵌入的图像的区域中的多个像素数据执行坐标变换，并且在图像变形处理中通过接收器侧通信数据嵌入的图像的多个像素数据恢复通信数据嵌入的图像的多个像素数据。
38.如权利要求31所述的系统，其中所述接收设备将变形的通信数据嵌入的图像上的多个数据点从第一空间表示转换到第二空间表示，并且将第二空间表示中的变形的通信数据嵌入的图像分成空间域中的多个块。
39.如权利要求38所述的系统，其中所述接收设备对于多个块的每一个执行频率域变换，并且提取嵌入在一个或多个频率系数中的一个或多个比特以便确定通信处理的数据。
40.—种光通信方法,包括: 在发送器中，在原始图像的频率域变换的一个或多个频率系数处嵌入通信处理的数据，对于通信调制的图像执行反向变换和域变换，并且通过在原始图像中嵌入多个RGB值形成通信数据嵌入的图像；以及 在接收设备中，检测由发光装置发送的通信数据嵌入的图像以及生成接收器侧通信数据嵌入的图像，执行图像变形处理以便由接收器侧通信数据嵌入的图像恢复通信数据嵌入的图像，并且从变形的通信数据嵌入的图像中提取通信处理的数据。
41.如权利要求40所述的方法，其中所述方法根据外部指示器在嵌入通信处理的数据之前执行预处理过程。
42.如权利要求40所述的方法，其中所述图像变形处理包括对于通信数据嵌入的图像的区域中的多个像素数据的坐标变换。
43.如权利要求40 所述的方法，其中在所述接收设备中，所述方法还包括: 将变形的通信数据嵌入的图像上的多个像素数据从第一空间表示转换到第二空间表示； 将第二空间表示中的变形的通信数据嵌入的图像分成空间域中的多个块，并且对于多个块的每一个执行频率域变换；以及 提取嵌入在一个或多个频率系数中的一个或多个比特以便确定通信处理的数据。
44.如权利要求41所述的方法，其中执行所述预处理过程还包括: 将原始图像的多个像素阵列从第一空间域转换到第二空间域。
【文档编号】H04B10/116GK103905118SQ201210581071
【公开日】2014年7月2日 申请日期:2012年12月27日 优先权日:2012年12月24日
【发明者】陈佳苹, 萧昌龙, 陈仁智, 徐沛玮 申请人:财团法人工业技术研究院