从t0到t8时刻，LED光源21可发送序列“010011010”。本申请中，LED光源的调制方式可以采用无线光通信中常用的调制方式，比如开关键控(OOK)、脉冲位置调制(PPM)、差分脉冲位置调制(DPPM)、数字脉冲间隔调制(DPIM)、反向归零码控开关键控(R00K-RZ)、反向脉冲位置调制(RPPM)、反向差分脉冲位置调制(RDPPM)、反向数字脉冲间隔调制(RDP頂)等。本实施例中的显示增强方法中LED的驱动采用OOK调制方式，可以相对节省能量，且较为容易实现。当然，可以根据系统整体的不同设计需求选用上述其它的调制方式，这里不再一一描述其优缺点和适用情况。
[0040]图5是CMOS图像传感器的卷帘式快门技术的原理示意图。图像采集单元12可采用卷帘式快门CMOS图像传感器。如图5所示，CMOS图像传感器包括若干行像素，卷帘式快门技术的特征是将像素以行为单位，逐行按从上到下的顺序进行曝光和数据读取。因此，不同行的曝光时间不同，所以可以利用行像素的曝光强度表征行像素曝光时的光照强度，即CMOS图像传感器捕获的图像中各行像素亮度与像素曝光时的光照强度是对应的。在时明时暗的调制光载波的曝光作用下，CMOS图像传感器捕获的图像中可以产生明暗相间的水波纹。
[0041]图6是将CMOS图像传感器捕获图像中水波纹的分布信息转换为数字序列的原理图。由于LED光源21交替工作于明暗状态，当图像采集单元12的曝光速率合适时，图像采集单元12捕获的图像中会带有明显的水波纹，即呈交替分布的亮条纹和暗条纹，亮条纹由充分曝光的行像素组成，与LED光源21的开启状态对应，暗条纹由未充分曝光的行像素组成，与LED光源21的断开状态对应。因此可以将亮条纹和暗条纹分别与调制信号的数字编码“I”和“O”对应。由于CMOS传感器的曝光顺序是从顶端的行像素开始，按一定时间间隔逐次曝光下一行像素，所以亮条纹和暗条纹的顺序与调制信号的发送顺序也是对应的。因此容易知道，亮条纹和暗条纹的分布信息(即亮条纹和暗条纹的宽度)与调制信号发送的数字序列是对应的。通过图像识别算法可以计算条纹的宽度(即亮条纹/暗条纹内像素的行数)。在一些具体的实施方式中，条纹宽度的识别可以通过线侦测算法来实现，例如Canny边缘检测算法、霍夫变换、索贝尔边缘检测算子、微分、Prewitt边缘检测算子、罗伯特交叉侦测器中的一种。
[0042]下面介绍根据条纹宽度获取数字序列的方法。
[0043]假定CMOS传感器的曝光时间为ta，且总共有η行像素，那么每行的曝光时间为At= ta/n;例如，测得一个亮条纹的宽度为j(即具有j行较亮的像素)，那么可以认为LED光源21的开启时间为tj = j* △ t，同时假定LED光源21的光载波周期为tb;则在tj时隙由LED光源21内传输的二进制代码“I”的个数为n = tj/tb = ta*j/(tb*n)。因此只需测得条纹宽度就可以判断调制信号发送的数字序列。
[0044]下一步，经过对数字序列按解码规则进行解码就可以获得数字序列中包含的对象信息了。相关技术可以参考现有技术，此处不再赘述。
[0045]综上所述，通过利用图像采集单元12捕获显示世界的图像，并识别和解码图像中的光载波标记，可以获得光载波标记中的对象信息。相对于通过图像识别技术识别并匹配图像中的对象，对光载波的解码过程中的计算量相对较少，因此本发明的显示增强技术可以大幅度提高处理速度，并且本发明的现实增强方法可以使用户不依赖服务供应商，在本地根据所述对象信息即可产生增强信息，所以使用起来较为方便灵活。而且本发明可利用冗余度较高、健壮度较好的编码对光载波进行编码，以提高解码的成功率，使得本发明的现实增强方法和装置可提供更好的识别度。同时，用户可自行对对象信息进行修改，可大大提高系统的可扩展性。
[0046]上述实施例及附图以脉冲宽度调制为例对光载波标记的产生和识别过程进行了描述，然而，本发明并不局限于采用此种调制方式。光载波标记的产生方式可以有多种，对应的，在捕获的图像上进行解码的详细步骤也有一些差异。例如，在一种实施方式中，对LED光源进行幅度调制，使得LED产生明暗相间的发光序列，对应的，在捕获的含有该LED光源的对象图像中便会出现明暗相间的条纹。请参考图7，在不同幅度信号的调制下，产生了相对灰度分别为A、B、C的三种明暗条纹，通过边界识别和相对灰度判断，即可以解码该光载波标记所代表的的对象信息。当然，明暗条纹也可以只有两种相对灰度，则能传递的信息量相对少，也可以使用更多的幅度种类或者级数，已达到传递更多信息的目的，此处不再详述。
[0047]在另一种实施方式中，光载波标记可以通过调整三原色(RGB)的PffM信号相位达到产生不同色彩信号的效果，从而在捕获的对象图像中得到彩色相移编码条纹图，对该条纹图进行识别或解码可获得相应的对象信息。
[0048]本申请中的LED，可以是蓝光配黄色荧光粉的白光LED，也可以是红绿蓝三色混光LED，可以是单个LED，也可以是多个LED，可以根据信号调制方式、所要传递的信息量等各种需求来选择合适的LED。
[0049]本领域技术人员可以理解，上述实施例中各种方法的全部或部分步骤可以通过程序来指令相关硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括:只读存储器、随机存储器、磁盘或光盘等。
[0050]以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干简单推演或替换。
【主权项】
1.基于光载波标记的现实增强方法，其特征在于，包括如下步骤: 提供一个利用光载波作为标记的对象，所述光载波标记包含与所述对象有关的对象信息; 捕获对象的图像； 识别并解码所述图像中的光载波标记以获取其中的对象信息； 根据所述对象信息产生增强信息； 在显示图像中显示所述增强信息。2.如权利要求1所述的现实增强方法，其特征在于，还包括获取所述光载波标记在所述图像中的位置，并且在所述显示图像的相应位置处显示所述增强信息的步骤。3.如权利要求1所述的现实增强方法，其特征在于，解码所述光载波标记的步骤包括: 识别捕获的所述图像中的水波纹，获取水波纹在图像中的分布信息； 将识别的所述水波纹的分布信息转换为数字序列； 根据解码规则对该数字序列进行解码得到所述对象信息。4.现实增强装置，其特征在于，包括: 图像采集单元，用于捕获真实世界的一个以光载波作为标记的对象，所述光载波载有所述对象的对象信息； 图像处理单元，用于分析所述图像以识别其中的光载波标记，并解码所述光载波标记以获取所述对象信息； 增强单元，用于根据所述对象信息产生增强信息； 显示单元，用于显示所述图像和所述增强信息。5.如权利要求4所述的现实增强装置，其特征在于，所述图像处理单元还用于获取所述光载波标记在所述图像中的位置信息，并且所述显示单元根据所述位置信息在显示画面的相应位置处显示所述增强信息。6.如权利要求4所述的现实增强装置，其特征在于，所述图像处理单元还包括: 水波纹识别模块，用于获取所述图像中的水波纹分布信息； 数字化模块，用于根据所述水波纹分布信息获取所述光载波标记对应的数字序列； 数字解码模块，用于根据解码规则解码所述数字序列以获取所述对象信息。7.现实增强系统，其特征在于，包括至少一个对象和现实增强装置，其中， 所述对象具有标记单元，用于发出载有对象信息的调制可见光作为光载波标记， 并且，所述现实增强装置包括: 图像采集单元，用于捕获包含所述对象的图像； 图像处理单元，用于识别并解码所述图像中的光载波标记以获取对象信息； 增强单元，用于根据所述对象信息产生增强信息； 显示单元，显示所述图像和所述增强信息。8.如权利要求7所述的现实增强系统，其特征在于，所述图像处理单元还用于获取所述光载波标记在所述图像中的位置信息，并且所述显示单元根据所述位置信息在显示图像的相应位置处显示所述增强信息。9.如权利要求7所述的现实增强系统，其特征在于，所述图像处理单元包括: 水波纹识别模块，用于获取所述图像中的水波纹分布信息； 数字化模块，用于根据所述水波纹分布信息获取所述光载波标记对应的数字序列； 数字解码模块，用于根据解码规则解码所述数字序列以获取所述对象信息。10.如权利要求7所述的现实增强系统，其特征在于，所述图像采集单元包括CMOS图像传感器。
【专利摘要】本发明提供了基于光载波标记的现实增强方法，其包括如下步骤：获取真实世界的图像；识别所述图像中的光载波标记，并解码所述光载波标记以获取其中的对象信息；根据所述对象信息在显示图像中叠加增强信息。本发明还提供用于上述方法的装置和系统。实施本发明可以提高现实增强的处理速度和识别率，为用户提供更好的使用体验。
【IPC分类】G06K9/00, H04B10/116
【公开号】CN105701475
【申请号】CN201610071487
【发明人】张雷
【申请人】嘿灯（深圳）智能科技有限公司
【公开日】2016年6月22日
【申请日】2016年2月2日