信号解码方法、信号解码装置以及程序与流程

文档序号:13352239阅读:215来源:国知局
信号解码方法、信号解码装置以及程序与流程

本公开涉及可见光信号的解码方法、信号解码装置以及程序。



背景技术:

在近年来的家庭网络中,除了由ethernet(注册商标)或无线lan(localareanetwork)下的ip(internetprotocol)连接进行的av家电的协同之外、还通过具有对应于环境问题的电力使用量的管理、或具有来自住宅外的电源on/off这样的功能的家庭能源管理系统(hems)而推进多种多样的家电设备连接在网络的家电协同功能的导入。但是,在具有通信功能方面,也有运算力不充分的家电、或在成本方面难以实现通信功能的搭载的家电等。

为了解决这样的问题,在专利文献1中,记载有在使用光向自由空间传递信息的光空间传送装置中,通过进行使用多个照明光的单色光源的通信,能够在有限的发送装置中有效率地实现设备间的通信的技术。

现有技术文献

专利文献

专利文献1:日本特开2002-290335号公报



技术实现要素:

但是,在所述以往的方式中,限定于所应用的设备具有如照明的三色光源的情况。

本公开提供解决这样的课题,可以进行多种设备间的通信的可见光信号的信号解码方法、信号解码装置以及程序等。

本公开的一个技术方案涉及的信号解码方法,判断作为可见光信号的数据包所含的数据部的位长度的datapart长度是否为8位,根据所述datapart长度的判断结果对所述数据部进行解码,关于所述数据部的解码,在所述datapart长度的判断中,在判断为所述datapart长度不是8位长度的情况下,以lsb(leastsignificantbit)在先实施解码,在所述datapart长度的判断中,在判断为所述datapart长度是8位长度的情况下,以msb(mostsignificantbit)在先实施解码。

另外,这些全局性或具体的技术方案既可以通过系统、方法、集成电路、计算机程序或计算机可读取的cd-rom等的记录介质实现,也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合实现。

根据本公开,能够实现可以进行包含照明以外的设备的方式的设备间的通信的可见光信号的信号解码方法、信号解码装置以及程序。

附图说明

图1是表示实施方式1的发光部的亮度的观测方法的一例的图。

图2是表示实施方式1的发光部的亮度的观测方法的一例的图。

图3是表示实施方式1的发光部的亮度的观测方法的一例的图。

图4是表示实施方式1的发光部的亮度的观测方法的一例的图。

图5a是表示实施方式1的发光部的亮度的观测方法的一例的图。

图5b是表示实施方式1的发光部的亮度的观测方法的一例的图。

图5c是表示实施方式1的发光部的亮度的观测方法的一例的图。

图5d是表示实施方式1的发光部的亮度的观测方法的一例的图。

图5e是表示实施方式1的发光部的亮度的观测方法的一例的图。

图5f是表示实施方式1的发光部的亮度的观测方法的一例的图。

图5g是表示实施方式1的发光部的亮度的观测方法的一例的图。

图5h是表示实施方式1的发光部的亮度的观测方法的一例的图。

图6a是表示实施方式1的信息通信方法的流程图。

图6b是表示实施方式1的信息通信装置的框图。

图7是表示实施方式2的接收机的各模式的一例的图。

图8是表示实施方式2的接收机的摄影动作的一例的图。

图9是表示实施方式2的接收机的摄影动作的另一例的图。

图10a是表示实施方式2的接收机的摄影动作的另一例的图。

图10b是表示实施方式2的接收机的摄影动作的另一例的图。

图10c是表示实施方式2的接收机的摄影动作的另一例的图。

图11a是表示实施方式2的接收机的摄像头配置的一例的图。

图11b是表示实施方式2的接收机的摄像头配置的另一例的图。

图12是表示实施方式2的接收机的显示动作的一例的图。

图13是表示实施方式2的接收机的显示动作的一例的图。

图14是表示实施方式2的接收机的动作的一例的图。

图15是表示实施方式2的接收机的动作的另一例的图。

图16是表示实施方式2的接收机的动作的另一例的图。

图17是表示实施方式2的接收机的动作的另一例的图。

图18是表示实施方式2的接收机的动作的另一例的图。

图19是表示实施方式2的接收机的动作的另一例的图。

图20是表示实施方式2的接收机的动作的另一例的图。

图21是表示实施方式2的接收机、发送机和服务器的动作的一例的图。

图22是表示实施方式2的接收机的动作的另一例的图。

图23是表示实施方式2的接收机的动作的另一例的图。

图24是表示实施方式2的接收机的初始设定的例子的图。

图25是表示实施方式2的接收机的动作的另一例的图。

图26是表示实施方式2的接收机的动作的另一例的图。

图27是表示实施方式2的接收机的动作的另一例的图。

图28是表示实施方式2的接收机的动作的另一例的图。

图29是表示实施方式2的接收机的动作的另一例的图。

图30是表示实施方式2的接收机的动作的另一例的图。

图31a是表示在实施方式2的接收机的操作中使用的笔的图。

图31b是表示实施方式2的使用笔的接收机的动作的图。

图32是表示实施方式2的接收机的外观的一例的图。

图33是表示实施方式2的接收机的外观的另一例的图。

图34是表示实施方式2的接收机的动作的另一例的图。

图35a是表示实施方式2的接收机的动作的另一例的图。

图35b是表示使用实施方式2的接收机的应用例的图。

图36a是表示实施方式2的接收机的动作的另一例的图。

图36b是表示使用实施方式2的接收机的应用例的图。

图37a是表示实施方式2的发送机的动作的一例的图。

图37b是表示实施方式2的发送机的动作的另一例的图。

图38是表示实施方式2的发送机的动作的另一例的图。

图39是表示实施方式2的发送机的动作的另一例的图。

图40是表示实施方式2的多个发送机与接收机之间的通信形态的一例的图。

图41是表示实施方式2的多个发送机的动作的一例的图。

图42是表示实施方式2的多个发送机与接收机之间的通信形态的另一例的图。

图43是表示实施方式2的接收机的动作的另一例的图。

图44是表示实施方式2的接收机的应用例的图。

图45是表示实施方式2的接收机的应用例的图。

图46是表示实施方式2的接收机的应用例的图。

图47是表示实施方式2的发送机的应用例的图。

图48是表示实施方式2的发送机的应用例的图。

图49是表示实施方式2的接收方法的应用例的图。

图50是表示实施方式2的发送机的应用例的图。

图51是表示实施方式2的发送机的应用例的图。

图52是表示实施方式2的发送机的应用例的图。

图53是表示实施方式2的接收机的动作的另一例的图。

图54是表示实施方式3的接收机的动作的一例的流程图。

图55是表示实施方式3的接收机的动作的另一例的流程图。

图56a是表示实施方式3的发送机的一例的框图。

图56b是表示实施方式3的发送机的另一例的框图。

图57是表示实施方式3的包括多个发送机的系统的结构例的图。

图58是表示实施方式3的发送机的另一例的框图。

图59a是表示实施方式3的发送机的一例的图。

图59b是表示实施方式3的发送机的一例的图。

图59c是表示实施方式3的发送机的一例的图。

图60a是表示实施方式3的发送机的一例的图。

图60b是表示实施方式3的发送机的一例的图。

图61是表示实施方式3的接收机、发送机及服务器的处理动作的一例的图。

图62是表示实施方式3的接收机、发送机及服务器的处理动作的一例的图。

图63是表示实施方式3的接收机、发送机及服务器的处理动作的一例的图。

图64a是用来说明实施方式3的多个发送机的同步的说明图。

图64b是用来说明实施方式3的多个发送机的同步的说明图。

图65是表示实施方式3的发送机及接收机的动作的一例的图。

图66是表示实施方式3的发送机及接收机的动作的一例的图。

图67是表示实施方式3的发送机、接收机及服务器的动作的一例的图。

图68是表示实施方式3的发送机及接收机的动作的一例的图。

图69是表示实施方式3的接收机的外观的一例的图。

图70是表示实施方式3的发送机、接收机及服务器的动作的一例的图。

图71是表示实施方式3的发送机及接收机的动作的一例的图。

图72是表示实施方式3的发送机及接收机的动作的一例的图。

图73是表示实施方式3的发送机及接收机的动作的一例的图。

图74是表示实施方式3的发送机及接收机的动作的一例的图。

图75a是表示实施方式3的由发送机发送的信息的结构的一例的图。

图75b是表示实施方式3的由发送机发送的信息的结构的另一例的图。

图76是表示实施方式3的发送机的4值ppm调制方式的一例的图。

图77是表示实施方式3的发送机的ppm调制方式的一例的图。

图78是表示实施方式3的发送机的ppm调制方式的一例的图。

图79a是表示实施方式3的与头(前导码部)对应的亮度变化的样式的一例的图。

图79b是表示实施方式3的亮度变化的样式的一例的图。

图80a是表示实施方式3的亮度变化的样式的一例的图。

图80b是表示实施方式3的亮度变化的样式的一例的图。

图81是表示实施方式4的店前的情形中的接收机的动作的一例的图。

图82是表示实施方式4的店前的情形中的接收机的动作的另一例的图。

图83是表示实施方式4的店前的情形中的接收机的下个动作的一例的图。

图84是表示实施方式4的店前的情形中的接收机的下个动作的一例的图。

图85是表示实施方式4的店前的情形中的接收机的下个动作的一例的图。

图86是表示实施方式4的店内的情形中的显示装置的动作的一例的图。

图87是表示实施方式4的店内的情形中的显示装置的下个动作的一例的图。

图88是表示实施方式4的店内的情形中的显示装置的下个动作的一例的图。

图89是表示实施方式4的店内的情形中的接收机的下个动作的一例的图。

图90是表示实施方式4的店内的情形中的接收机的下个动作的一例的图。

图91是表示实施方式4的店内的情形中的接收机的下个动作的一例的图。

图92是表示实施方式4的店内的情形中的接收机的下个动作的一例的图。

图93是表示实施方式4的店内的情形中的接收机的下个动作的一例的图。

图94是表示实施方式4的店内的情形中的接收机的下个动作的一例的图。

图95是表示实施方式4的寻找店铺的情形中的接收机的动作的一例的图。

图96是表示实施方式4的寻找店铺的情形中的接收机的下个动作的一例的图。

图97是表示实施方式4的寻找店铺的情形中的接收机的下个动作的一例的图。

图98是表示实施方式4的电影广告的情形中的接收机的动作的一例的图。

图99是表示实施方式4的电影广告的情形中的接收机的下个动作的一例的图。

图100是表示实施方式4的电影广告的情形中的接收机的下个动作的一例的图。

图101是表示实施方式4的电影广告的情形中的接收机的下个动作的一例的图。

图102是表示实施方式4的美术馆的情形中的接收机的动作的一例的图。

图103是表示实施方式4的美术馆的情形中的接收机的下个动作的一例的图。

图104是表示实施方式4的美术馆的情形中的接收机的下个动作的一例的图。

图105是表示实施方式4的美术馆的情形中的接收机的下个动作的一例的图。

图106是表示实施方式4的美术馆的情形中的接收机的下个动作的一例的图。

图107是表示实施方式4的美术馆的情形中的接收机的下个动作的一例的图。

图108是表示实施方式4的公共汽车停靠站的情形中的接收机的动作的一例的图。

图109是表示实施方式4的公共汽车停靠站的情形中的接收机的下个动作的一例的图。

图110是用来说明实施方式4的摄像的图。

图111是用来说明实施方式4的发送及摄像的图。

图112是用来说明实施方式4的发送的图。

图113是表示实施方式5的发送机的动作的一例的图。

图114是表示实施方式5的发送机的动作的一例的图。

图115是表示实施方式5的发送机的动作的一例的图。

图116是表示实施方式5的发送机及接收机的动作的一例的图。

图117是表示实施方式5的接收机的动作的一例的图。

图118是表示实施方式5的接收机的动作的一例的图。

图119是表示实施方式5的具有发送机、接收机及服务器的系统的动作的一例的图。

图120是表示实施方式5的发送机的结构的框图。

图121是表示实施方式5的接收机的结构的框图。

图122是表示实施方式5的发送机的动作的一例的图。

图123是表示实施方式5的发送机的动作的一例的图。

图124是表示实施方式5的发送机的动作的一例的图。

图125是表示实施方式5的发送机的动作的一例的图。

图126是表示实施方式5的发送机的动作的一例的图。

图127是表示实施方式5的发送机的动作的一例的图。

图128是表示实施方式5的发送机的动作的一例的图。

图129是表示实施方式5的发送机及接收机的动作的一例的图。

图130是表示实施方式5的发送机及接收机的动作的一例的图。

图131是表示实施方式5的发送机及接收机的动作的一例的图。

图132是表示实施方式5的发送机及接收机的动作的一例的图。

图133是表示实施方式5的发送机及接收机的动作的一例的图。

图134是表示实施方式5的发送机及接收机的动作的一例的图。

图135是表示实施方式5的发送机及接收机的动作的一例的图。

图136是表示实施方式5的发送机及接收机的动作的一例的图。

图137是表示实施方式5的发送机及接收机的动作的一例的图。

图138是表示实施方式5的发送机及接收机的动作的一例的图。

图139是表示实施方式5的发送机及接收机的动作的一例的图。

图140是表示实施方式5的发送机及接收机的动作的一例的图。

图141是表示实施方式5的发送机及接收机的动作的一例的图。

图142是表示实施方式5的编码方式的图。

图143是表示实施方式5的在从斜方向摄像的情况下也能够受光的编码方式的图。

图144是表示实施方式5的根据距离而信息量不同的编码方式的图。

图145是表示实施方式5的根据距离而信息量不同的编码方式的图。

图146是表示实施方式5的将数据分割的编码方式的图。

图147是表示实施方式5的插入反相图像的效果的图。

图148是表示实施方式5的插入反相图像的效果的图。

图149是表示实施方式5的超解像处理的图。

图150是表示实施方式5的与可见光(可视光)通信对应的显示的图。

图151是表示实施方式5的使用可见光通信信号的信息取得的图。

图152是表示实施方式5的数据格式的图。

图153是表示实施方式5的推测立体形状而接收的图。

图154是表示实施方式5的推测立体形状而接收的图。

图155是表示实施方式5的立体投影的图。

图156是表示实施方式5的立体投影的图。

图157是表示实施方式5的发送机及接收机的动作的一例的图。

图158是表示实施方式5的发送机及接收机的动作的一例的图。

图159是表示实施方式6的发送信号的一例的图。

图160是表示实施方式6的发送信号的一例的图。

图161a是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。

图161b是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。

图161c是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。

图162a是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。

图162b是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。

图163a是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。

图163b是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。

图163c是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。

图164是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。

图165是表示实施方式6的发送信号的一例的图。

图166是表示实施方式6的接收机的动作的一例的图。

图167是表示实施方式6的在接收机的屏幕上显示的向用户的指示的一例的图。

图168是表示实施方式6的在接收机的屏幕上显示的向用户的指示的一例的图。

图169是表示实施方式6的信号发送方法的一例的图。

图170是表示实施方式6的信号发送方法的一例的图。

图171是表示实施方式6的信号发送方法的一例的图。

图172是表示实施方式6的信号发送方法的一例的图。

图173是表示使用各实施方式所记载的接收方法的服务提供系统的图。

图174是表示服务提供的流程的流程图。

图175是表示另一例的服务提供的流程图。

图176是表示另一例的服务提供的流程图。

图177a是用来说明实施方式8的容易接收的调制方式的图。

图177b是用来说明实施方式8的容易接收的调制方式的图。

图178是用来说明实施方式8的容易接收的调制方式的图。

图179是用来说明实施方式8的基于亮线的通信和图像识别的并用的图。

图180a是用来说明实施方式8的适合于可见光信号的接收的摄像元件的利用方法的图。

图180b是用来说明实施方式8的适合于可见光信号的接收的摄像元件的利用方法的图。

图180c是用来说明实施方式8的适合于可见光信号的接收的摄像元件的利用方法的图。

图180d是用来说明实施方式8的适合于可见光信号的接收的摄像元件的利用方法的图。

图180e是用来说明实施方式8的适合于可见光信号的接收的摄像元件的利用方法的流程图。

图181是表示实施方式8的适合于可见光信号的接收的摄像图像尺寸的图。

图182a是表示实施方式8的适合于可见光信号的接收的摄像图像尺寸的图。

图182b是表示实施方式8的用于切换到适合于可见光信号的接收的摄像图像尺寸的动作的流程图。

图182c是表示实施方式8的用于切换成适合于可见光信号的接收的摄像图像尺寸的动作的流程图。

图183是用来说明实施方式8的利用变焦的可见光信号的接收的图。

图184是用来说明实施方式8的适合于可见光信号的接收的图像数据尺寸的压缩方法的图。

图185是用来说明实施方式8的接收错误检测精度较高的调制方式的图。

图186是用来说明实施方式8的基于状况的差异的接收机的动作的变更的图。

图187是用来说明实施方式8的向人的可见光通信的通知的图。

图188是用来说明实施方式8的基于散光板的接收范围的放大的图。

图189是用来说明实施方式8的从多个投影仪的信号发送的同步方法的图。

图190是用来说明实施方式8的从多个显示器的信号发送的同步方法的图。

图191是用来说明实施方式8的基于照度传感器和图像传感器的可见光信号的接收的图。

图192是用来说明实施方式8的接收开始的触发的图。

图193是用来说明实施方式8的接收开始的手势的图。

图194是用来说明实施方式8的对汽车导航的应用例的图。

图195是用来说明实施方式8的对汽车导航的应用例的图。

图196是用来说明实施方式8的对内容保护的应用例的图。

图197a是用来说明实施方式8的作为电子锁的应用例的图。

图197b是实施方式8的信息通信方法的流程图。

图197c是实施方式8的信息通信装置的框图。

图198是用来说明实施方式8的作为来店信息传递的应用例的图。

图199是用来说明实施方式8的与场所对应的订购控制的应用例的图。

图200是用来说明实施方式8的对道路指引的应用例的图。

图201是用来说明实施方式8的对所在地联络的应用例的图。

图202是用来说明实施方式8的对利用日志储存和解析的应用例的图。

图203是用来说明实施方式8的对画面共享的应用例的图。

图204是用来说明实施方式8的对画面共享的应用例的图。

图205是用来说明实施方式8的利用无线接入点的位置推测的应用例的图。

图206是表示实施方式8的进行基于可见光通信和无线通信的位置推测的结构的图。

图207是表示实施方式8的信息通信方法的应用例的图。

图208是表示实施方式8的信息通信方法的应用例的流程图。

图209是表示实施方式8的信息通信方法的应用例的流程图。

图210是表示实施方式9的发送机和接收机的应用例的图。

图211是表示实施方式9的发送机的应用例的图。

图212是实施方式9的信息通信方法的流程图。

图213是实施方式9的信息通信装置的框图。

图214a是表示实施方式9的发送机及接收机的应用例的图。

图214b是表示实施方式9的接收机的动作的流程图。

图215是表示实施方式9的发送机及接收机的应用例的图。

图216是表示实施方式9的发送机的应用例的图。

图217a是表示实施方式9的发送机及接收机的应用例的图。

图217b是表示实施方式9的接收机的动作的流程图。

图218是表示实施方式9的接收机的动作的图。

图219是表示实施方式9的发送机的应用例的图。

图220是表示实施方式9的接收机的应用例的图。

图221a是表示实施方式9的发送机的动作的一例的流程图。

图221b是表示实施方式9的发送机的动作的一例的流程图。

图222是表示实施方式9的发送机的动作的一例的流程图。

图223是表示实施方式9的摄像设备的动作的一例的流程图。

图224是表示实施方式9的摄像设备的动作的一例的流程图。

图225是表示实施方式9的由发送机发送的信号的一例的图。

图226是表示实施方式9的由发送机发送的信号的一例的图。

图227是表示实施方式9的由发送机发送的信号的一例的图。

图228是表示实施方式9的由发送机发送的信号的一例的图。

图229是表示实施方式9的包括发送机和接收机的系统结构的一例的图。

图230是表示实施方式9的包括发送机和接收机的系统结构的一例的图。

图231是表示实施方式9的包括发送机和接收机的系统结构的一例的图。

图232是表示实施方式9的发送机的动作的一例的图。

图233是表示实施方式9的发送机的动作的一例的图。

图234是表示实施方式9的发送机的结构及动作的一例的图。

图235是表示实施方式9的发送机的结构及动作的一例的图。

图236是表示搭载了实施方式10的光传感器的时钟的图。

图237是表示实施方式10的接收机的一例的图。

图238是表示实施方式10的接收机的一例的图。

图239a是本公开的一技术方案涉及的信息通信方法的流程图。

图239b是本公开的一技术方案涉及的便携终端的框图。

图240是表示实施方式10的接收系统的一例的图。

图241是表示实施方式10的接收系统的一例的图。

图242a是表示实施方式10的调制方式的一例的图。

图242b是表示实施方式10的调制方式的一例的图。

图242c是表示实施方式10的调制方式的一例的图。

图242d是表示实施方式10的混合信号的分离的一例的图。

图242e是表示实施方式10的混合信号的分离的一例的图。

图242f是表示实施方式10的信息处理程序的处理的流程图。

图242g是实施方式10的信息处理装置的框图。

图243a是表示实施方式10的可见光通信系统的一例的图。

图243b是用来说明实施方式10的使用场景的图。

图243c是表示实施方式10的信号发送接收系统的一例的图。

图244是表示实施方式10的排除了干涉的接收方法的流程图。

图245是表示实施方式10的发送机的方位的推测方法的流程图。

图246是表示实施方式10的接收的开始方法的流程图。

图247是表示实施方式10的并用其它媒体的信息的id的生成方法的流程图。

图248是表示实施方式10的基于频率分离的接收方式的选择方法的流程图。

图249是表示实施方式10的曝光时间较长的情况下的信号接收方法的流程图。

图250是表示实施方式10的发送机的调光(调整明亮度)方法的一例的图。

图251是表示构成实施方式10的发送机的调光功能的方法的一例的图。

图252a是表示实施方式11的接收机的动作的一例的流程图。

图252b是表示实施方式11的接收机的动作的一例的流程图。

图252c是表示实施方式11的接收机的动作的一例的流程图。

图252d是表示实施方式11的接收机的动作的一例的流程图。

图253是用来说明ex变焦的图。

图254a是表示实施方式10的接收程序的处理的流程图。

图254b是实施方式10的接收装置的框图。

图255是表示实施方式12的信号接收方法的一例的图。

图256是表示实施方式12的信号接收方法的一例的图。

图257是表示实施方式12的信号接收方法的一例的图。

图258是表示实施方式12的接收机的画面显示方法的一例的图。

图259是表示实施方式12的信号接收方法的一例的图。

图260是表示实施方式12的信号接收方法的一例的图。

图261是表示实施方式12的信号接收方法的一例的流程图。

图262是表示实施方式12的信号接收方法的一例的图。

图263a是表示实施方式12的接收程序的处理的流程图。

图263b是实施方式12的接收装置的框图。

图264是表示接收到可见光信号时的接收机的显示的一例的图。

图265是表示接收到可见光信号时的接收机的显示的一例的图。

图266是表示取得数据图像的显示的一例的图。

图267是表示保存或者丢弃取得数据的情况下的操作的一例的图。

图268是表示阅览取得数据时的显示例子的图。

图269是表示实施方式12的发送机的一例的图。

图270是表示实施方式12的接收方法的一例的图。

图271是表示实施方式13的头样式的例子的图。

图272是用来说明实施方式13的通信协议的数据包的结构的例子的图。

图273是表示实施方式13的接收方法的一例的流程图。

图274是表示实施方式13的接收方法的一例的流程图。

图275是表示实施方式13的接收方法的一例的流程图。

图276是用来说明实施方式13的接收机使用了比调制频率的周期(调制周期)长的曝光时间的接收方法的图。

图277是用来说明实施方式13的接收机使用了比调制频率的周期(调制周期)长的曝光时间的接收方法的图。

图278是表示实施方式13的对于发送数据的尺寸有效的分割数的图。

图279a是表示实施方式13的设定方法的一例的图。

图279b是表示实施方式13的设定方法的另一例的图。

图280a是表示实施方式13的信息处理程序的处理的流程图。

图280b是实施方式13的信息处理装置的框图。

图281是用来说明实施方式13的发送接收系统的应用例的图。

图282是表示实施方式13的发送接收系统的处理动作的流程图。

图283是用来说明实施方式13的发送接收系统的应用例的图。

图284是表示实施方式13的发送接收系统的处理动作的流程图。

图285是用来说明实施方式13的发送接收系统的应用例的图。

图286是表示实施方式13的发送接收系统的处理动作的流程图。

图287是用来说明实施方式13的发送机的应用例的图。

图288是用来说明实施方式14的发送接收系统的应用例的图。

图289是用来说明实施方式14的发送接收系统的应用例的图。

图290是用来说明实施方式14的发送接收系统的应用例的图。

图291是用来说明实施方式14的发送接收系统的应用例的图。

图292是用来说明实施方式14的发送接收系统的应用例的图。

图293是用来说明实施方式14的发送接收系统的应用例的图。

图294是用来说明实施方式14的发送接收系统的应用例的图。

图295是用来说明实施方式14的发送接收系统的应用例的图。

图296是用来说明实施方式14的发送接收系统的应用例的图。

图297是用来说明实施方式14的发送接收系统的应用例的图。

图298是用来说明实施方式14的发送接收系统的应用例的图。

图299是用来说明实施方式14的发送接收系统的应用例的图。

图300是用来说明实施方式14的发送接收系统的应用例的图。

图301是用来说明实施方式14的发送接收系统的应用例的图。

图302是用来说明实施方式15的接收机的动作的图。

图303a是用来说明实施方式15的接收机的另一动作的图。

图303b是表示实施方式15的通过输出部1215显示的指示器的例子的图。

图303c是表示实施方式15的ar的显示例的图。

图304a是用来说明实施方式15的发送机的一例的图。

图304b是用来说明实施方式15的发送机的另一例的图。

图305a是用来说明实施方式15的多个发送机的同步发送的一例的图。

图305b是用来说明实施方式15的多个发送机的同步发送的另一例的图。

图306是用来说明实施方式15的多个发送机的同步发送的另一例的图。

图307是用来说明实施方式15的发送机的信号处理的图。

图308是表示实施方式15的接收方法的一例的流程图。

图309是用来说明实施方式15的接收方法的一例的说明图。

图310是表示实施方式15的接收方法的另一例的流程图。

图311是表示实施方式15的曝光时间为发送周期的3倍且发送信号为0或1这两个值的情况下的例子的图。

图312是表示实施方式15的状态转变路径的图。

图313是表示实施方式16的对以高速闪烁的物体进行摄像而得的图像的图。

图314是示出实施方式16的使用了lss的情况下的接收期间和遮蔽(blind)期间的图。

图315是示出实施方式16的能够连续接收的裁剪扫描的图。

图316是表示实施方式16的基于频率调制的码元的例子的图。

图317是表示实施方式16的lss的频率响应的图。

图318是示出实施方式16的4ppm码元和v4ppm码元的一例的图。

图319是示出实施方式16的曼彻斯特编码码元和vppm码元的一例的图。

图320是用来对实施方式16的v4ppm和vppm的效率比较地进行说明的图。

图321是表示实施方式16的频域的信号和噪声的大小的图。

图322a是表示实施方式16的发送频率和接收频率(接收信号的最大频率成分)的差的图。

图322b是表示实施方式16的相对于频率裕度的错误率的一例的图。

图322c是表示实施方式16的相对于频率裕度的错误率的另一例的图。

图322d是表示实施方式16的相对于频率裕度的错误率的另一例的图。

图322e是表示实施方式16的相对于频率裕度的错误率的另一例的图。

图322f是表示实施方式16的相对于频率裕度的错误率的另一例的图。

图323是表示实施方式16的v4ppm码元的数据包接收错误率的图。

图324是表示实施方式17的显示系统的结构的框图。

图325是表示实施方式17的影像标准信号发送部与影像标准信号接收部之间的发送接收方式的图。

图326是表示实施方式17的影像标准信号发送部与影像标准信号接收部之间的具体发送接收方式的一例的图。

图327是表示实施方式17的影像标准信号发送部与影像标准信号接收部之间的具体发送接收方式的另一例的图。

图328是表示实施方式17的影像标准信号发送部与影像标准信号接收部之间的具体发送接收方式的另一例的图。

图329a是表示实施方式17的在电力发送用传送路径中发送的电力的一例的图。

图329b是表示实施方式17的在电力发送用传送路径中发送的电力的另一例的图。

图330是表示实施方式17的影像标准信号发送部与影像标准信号接收部之间的具体发送接收方式的另一例的图。

图331是表示实施方式17的影像标准信号发送部与影像标准信号接收部之间的具体发送接收方式的另一例的图。

图332是表示实施方式18涉及的可见光通信系统的一例的概略图。

图333是表示实施方式18涉及的显示装置的概略结构的一例的框图。

图334a是表示实施方式18的实施例1涉及的在b.l控制信号重叠可见光通信信号前的状态的一例的图。

图334b是表示实施方式18的实施例1涉及的在b.l控制信号重叠了可见光通信信号的状态的一例的图。

图335是用来说明实施方式18的实施例2的第1方法的时序图。

图336是用来说明实施方式18的实施例2的第1方法的时序图。

图337a是用来说明实施方式18的实施例2的第2方法的时序图。

图337b是用来说明实施方式18的实施例2的第2方法的时序图。

图337c是用来说明实施方式18的实施例2的第2方法的时序图。

图337d是用来说明实施方式18的实施例2的第2方法的时序图。

图338a是用来说明实施方式18的实施例2的第2方法的时序图。

图338b是用来说明实施方式18的实施例2的第2方法的时序图。

图338c是用来说明实施方式18的实施例2的第2方法的时序图。

图338d是用来说明实施方式18的实施例2的第2方法的时序图。

图339是用来说明实施方式18的实施例3的在b.l控制信号重叠可见光通信信号的方法的时序图。

图340是用来说明实施方式19的第2处理部的动作的流程图。

图341a是用来说明实施方式19的在b.l控制信号重叠编码信号的具体的方法的图。

图341b是用来说明实施方式19的在b.l控制信号重叠编码信号的具体的方法的图。

图341c是用来说明实施方式19的在b.l控制信号重叠编码信号的具体的方法的图。

图341d是用来说明实施方式19的在b.l控制信号重叠编码信号的具体方法的图。

图342是用来说明实施方式19的在b.l控制信号重叠编码信号的又一具体方法的图。

图343是用来说明实施方式20的第2处理部的动作的流程图。

图344是表示实施方式20的区域的组分割的一例的时序图。

图345是表示实施方式20的区域的组分割的又一例的时序图。

图346是表示实施方式20的区域的组分割的又一例的时序图。

图347是用来说明实施方式21的第2处理部的动作的流程图。

图348a是用来对实施方式21的b.l控制信号与可见光通信信号的相位关系进行说明的图。

图348b是用来对实施方式21的b.l控制信号与可见光通信信号的相位关系进行说明的图。

图349a是用来说明实施方式21的第2处理部的动作的时序图。

图349b是用来说明实施方式21的第2处理部的动作的时序图。

图349c是用来说明实施方式21的第2处理部的动作的时序图。

图350a是用来说明实施方式22的第2处理部的动作的时序图。

图350b是用来说明实施方式22的第2处理部的动作的时序图。

图351是表示实施方式23的应用局部调光(localdimming)时的背光源控制的时序图。

图352是用来说明实施方式23的第2处理部的动作的一例的流程图。

图353是用来说明实施方式23的第2处理部的动作的一例的时序图。

图354是用来说明实施方式23的第2处理部的动作的一例的流程图。

图355是用来说明实施方式23的第2处理部的动作的一例的时序图。

图356是用来说明实施方式23的第2处理部的动作的一例的时序图。

图357是实施方式24涉及的可见光通信系统的概略图。

图358是实施方式24涉及的显示装置的框图。

图359是说明实施方式24涉及的可见光通信信号的生成例的图。

图360是实施方式24涉及的接收装置的框图。

图361是说明实施方式24涉及的针对显示装置的背光源的点亮/熄灭的接收装置的摄像图像的图。

图362是说明实施方式24涉及的针对显示装置的发送帧的接收装置的摄像图像的图。

图363是说明实施方式24涉及的显示装置的发送时钟的频率和接收装置的摄像部的帧速率的关系的图。

图364是说明实施方式24涉及的针对1个信号单元的发送帧的第1生成例的图。

图365a是说明实施方式24涉及的针对1个信号单元的发送帧的第2生成例的图。

图365b是说明实施方式24涉及的针对1个信号单元的发送帧的第3生成例的图。

图365c是说明实施方式24涉及的针对1个信号单元的发送帧的第4生成例的图。

图365d是说明实施方式24涉及的针对1个信号单元的发送帧的第5生成例的图。

图365e是说明实施方式24涉及的针对1个信号单元的发送帧的第6生成例的图。

图366是说明实施方式24涉及的显示装置的可见光通信信号处理部的动作的流程图。

图367是说明实施方式25涉及的显示装置的可见光通信信号处理部的动作的流程图。

图368是说明实施方式25涉及的决定针对1个信号单元的发送帧的任意的块的发送次数的方法的一例的图。

图369是说明实施方式25涉及的针对1个信号单元的发送帧的生成例的图。

图370是说明实施方式26涉及的显示装置的可见光通信信号处理部的动作的流程图。

图371是说明实施方式26涉及的决定针对1个信号单元的发送帧的任意的块的发送次数的方法的一例的图。

图372是说明实施方式26涉及的从显示装置输出的针对1个信号单元的发送帧的生成例的图。

图373是说明实施方式26涉及的从显示装置输出的针对1个信号单元的发送帧的另一生成例的图。

图374是说明实施方式27涉及的针对1个信号单元的发送帧的第1生成例的图。

图375a是说明实施方式27涉及的针对1个信号单元的发送帧的第2生成例的图。

图375b是说明实施方式27涉及的针对1个信号单元的发送帧的第3生成例的图。

图375c是说明实施方式27涉及的针对1个信号单元的发送帧的第4生成例的图。

图376是说明实施方式27涉及的显示装置的可见光通信信号处理部的动作的流程图。

图377是用来对实施方式28涉及的在发送装置是电视机等动态图像显示装置的情况下的可见光通信的切换控制进行说明的图。

图378是表示实施方式29涉及的以可见光通信发送逻辑数据的次序的图。

图379是表示实施方式29涉及的以可见光通信发送逻辑数据的次序的图。

图380是用来说明实施方式29涉及的逻辑数据分割部的分割处理的图。

图381是用来说明实施方式29涉及的逻辑数据分割部的分割处理的图。

图382是表示实施方式29的发送信号的一例的图。

图383是表示实施方式29的发送信号的另一例的图。

图384是表示实施方式29的发送信号的另一例的图。

图385a是用来说明实施方式30的发送机的图。

图385b是表示实施方式30的rgb的各自的亮度变化的图。

图386是表示实施方式30的绿色荧光成分以及红色荧光成分的残光特性的图。

图387是用来说明实施方式30的为了抑制条码的读取错误的产生而新产生的课题的图。

图388是用来说明由实施方式30的接收机进行的下采样的图。

图389是表示实施方式30的接收机的处理动作的流程图。

图390是表示实施方式31的接收装置(摄像装置)的处理动作的图。

图391是表示实施方式31的接收装置(摄像装置)的处理动作的图。

图392是表示实施方式31的接收装置(摄像装置)的处理动作的图。

图393是表示实施方式31的接收装置(摄像装置)的处理动作的图。

图394是表示实施方式32的应用的一例的图。

图395是表示实施方式32的应用的一例的图。

图396是表示实施方式32的发送信号的例子和声音同步方法的例子的图。

图397是表示实施方式32的发送信号的例子的图。

图398是表示实施方式32的接收机的处理流程的一例的图。

图399是表示实施方式32的接收机的用户界面的一例的图。

图400是表示实施方式32的接收机的处理流程的一例的图。

图401是表示实施方式32的接收机的处理流程的另一例的图。

图402a是用来说明实施方式32的同步再现的具体方法的图。

图402b是表示实施方式32的进行同步再现的再现装置(接收机)的结构的框图。

图402c是表示实施方式32的进行同步再现的再现装置(接收机)的处理动作的流程图。

图403是用来说明实施方式32的同步再现的事先准备的图。

图404是表示实施方式32的接收机的应用例的图。

图405a是实施方式32的保持于支架的接收机的主视图。

图405b是实施方式32的保持于支架的接收机的后视图。

图406是用来说明实施方式32的保持于支架的接收机的使用场景的图。

图407是表示实施方式32的保持于支架的接收机的处理动作的流程图。

图408是表示实施方式32的通过接收机显示的图像的一例的图。

图409是表示实施方式32的支架的另一例的图。

图410a是示出实施方式33的可见光信号的一例的图。

图410b是示出实施方式33的可见光信号的一例的图。

图410c是示出实施方式33的可见光信号的一例的图。

图410d是示出实施方式33的可见光信号的一例的图。

图411是示出实施方式33的可见光信号的构成的图。

图412是示出实施方式33的通过接收机的摄像得到的亮线图像的一例的图。

图413是示出实施方式33的通过接收机的摄像得到的亮线图像的其它例的图。

图414是示出实施方式33的通过接收机的摄像得到的亮线图像的其它例的图。

图415是用于说明实施方式33的接收机应用于进行hdr合成的摄像头系统的图。

图416是用于说明实施方式33的可见光通信系统的处理动作的图。

图417a是示出实施方式33的使用了可见光的车车间通信的一例的图。

图417b是示出实施方式33的使用了可见光的车车间通信的其它例的图。

图418是示出实施方式33的多个led的位置决定方法的一例的图。

图419是示出实施方式33的通过对车辆进行摄像而得到的亮线图像的一例的图。

图420是示出实施方式33的接收机和发送机的应用例的图。此外,图420是从后面观察汽车的图。

图421是示出实施方式33的接收机和发送机的处理动作的一例的流程图。

图422是示出实施方式33的接收机和发送机的应用例的图。

图423是示出实施方式33的接收机7007a和发送机7007b的处理动作的一例的流程图。

图424是示出实施方式33的、在电车的车内应用的可见光通信系统的结构的图。

图425是示出实施方式33的、在游乐场等设施应用的可见光通信系统的结构的图。

图426是示出实施方式33的、包括游乐设备和智能手机的可见光通信系统的一例的图。

图427是示出实施方式34的发送信号的一例的图。

图428是示出实施方式34的发送信号的一例的图。

图429是示出实施方式34的发送信号的一例的图。

图430是示出实施方式34的发送信号的一例的图。

图431是示出实施方式34的发送信号的一例的图。

图432是示出实施方式34的发送信号的一例的图。

图433是示出实施方式34的发送信号的一例的图。

图434是示出实施方式34的接收算法的一例的图。

图435是示出实施方式34的接收算法的一例的图。

图436是示出实施方式34的接收算法的一例的图。

图437是示出实施方式34的接收算法的一例的图。

图438是示出实施方式35的发送信号的一例的图。

图439是示出实施方式35的发送信号的一例的图。

图440是示出实施方式35的发送信号的一例的图。

图441是示出实施方式35的发送信号的一例的图。

图442是示出实施方式35的发送信号的一例的图。

图443是示出实施方式35的发送信号的一例的图。

图444是示出实施方式35的发送信号的一例的图。

图445是示出实施方式35的发送信号的一例的图。

图446是示出实施方式35的发送接收系统的一例的图。

图447是示出实施方式35的发送接收系统的处理的一例的流程图。

图448是示出实施方式35的服务器的动作的流程图。

图449是示出实施方式35的接收机的动作的一例的流程图。

图450是示出实施方式35的简易模式下的进展状况的计算方法的流程图。

图451是示出实施方式35的最大似然推定模式下的进展状况的计算方法的流程图。

图452是示出实施方式35的进展状况不减少的显示方法的流程图。

图453是示出实施方式35的存在多个数据包长度的情况的进展状况的显示方法的流程图。

图454是示出实施方式35的接收机的动作状态的一例的图。

图455是示出实施方式35的发送信号的一例的图。

图456是示出实施方式35的发送信号的一例的图。

图457是示出实施方式35的发送信号的一例的图。

图458是示出实施方式35的发送信号的一例的图。

图459是示出实施方式35的发送机的一例的框图。

图460是示出实施方式35的以本公开的光id调制信号驱动led显示器的情况的时序图的图。

图461是示出实施方式35的以本公开的光id调制信号驱动led显示器的情况的时序图的图。

图462是示出实施方式35的以本公开的光id调制信号驱动led显示器的情况的时序图的图。

图463a是示出本公开的一个技术方案的发送方法的流程图。

图463b是示出本公开的一个技术方案的发送装置的功能构成的框图。

图464是示出实施方式35的发送信号的一例的图。

图465是示出实施方式35的发送信号的一例的图。

图466是示出实施方式35的发送信号的一例的图。

图467是示出实施方式35的发送信号的一例的图。

图468是示出实施方式35的发送信号的一例的图。

图469是示出实施方式35的发送信号的一例的图。

图470是用于说明实施方式35的idlen、ptype以及addr的各自的信号的图。

图471是示出实施方式35的发送帧以及body字段的一例的图。

图472是示出实施方式35的发送信号的一例的图。

图473是示出实施方式35的接收处理的一例的图。

图474a是示出实施方式35的信号生成方法的一例的流程图。

图474b是示出实施方式35的信号生成装置的结构的一例的框图。

图475a是示出实施方式35的信号解码方法的一例的流程图。

图475b是示出实施方式35的信号解码装置的结构的一例的框图。

具体实施方式

本公开的一个技术方案的信号解码方法,判断可见光信号的数据包所含的数据部的位长度即datapart长度是否为8位,根据所述datapart长度的判断结果对所述数据部进行解码,在所述数据部的解码中,在所述datapart长度的判断中判断为所述datapart长度不是8位长度的情况下,以lsb优先即最低有效位优先来实施解码,在所述datapart长度的判断中判断为所述datapart长度是8位长度的情况下,以msb优先即最高有效位优先来实施解码。此外,数据包例如与图472的帧相当,数据部与图472的datapart相当。

由此,例如图473的(b)的步骤s111那样,能够接收msb优先和lsb优先这两种方式的来自发送机的信号并适当地进行解码。

另外,也可以是,所述数据包还包含表示所述数据部是构成结合数据的多个数据部中的哪一个的序列编号,在所述数据包所含的所述序列编号是所述多个数据部各自的序列编号中的最终的序列编号并且在所述datapart长度的判断中判断为所述datapart长度是8位长度的情况下,在所述数据部的解码中,进一步,判断所述最终的序列编号是否是特定值,在判断为不是所述特定值的情况下,以lsb优先来实施解码,在判断为是所述特定值的情况下,以msb优先来实施解码。例如,所述特定值可以是“0010”、“0100”和“0101”中的任一个。此外,结合数据例如与图472的联接数据(joineddata)相当。

由此,例如图473的(b)的步骤s112那样,即使datapart长度是8位,也根据最终的序列编号(也即是,最终序列的seqno)以lsb优先来对数据部进行解码。因此,能够提高是以msb优先来实施解码还是以lsb优先来实施解码的自由度。

另外,也可以是,在所述数据部的解码中,在所述最终的序列编号的判断中判断为所述最终的序列编号是所述特定值的情况下,进一步,判断解码模式是否是与lsb优先和msb优先这双方对应的双对应模式,在判断为不是所述双对应模式的情况下,以msb优先来实施解码,在判断为是所述双对应模式的情况下,以msb优先和lsb优先中的任一个来实施解码。例如,也可以是,在所述数据部的解码中,在所述解码模式的判断中判断为所述解码模式是所述双对应模式的情况下,以msb优先和lsb优先这双方来实施解码。此时,也可以是,在所述双方的解码的实施中,以msb优先和lsb优先分别对包含所述多个数据部的各数据部的多个数据包实施解码,选择通过以所述msb优先的解码而得到的第1数据和通过以所述lsb优先的解码而得到的第2数据中的、包含被进行了解码的所述多个数据包的全部并且未检测到错误的数据。

由此,例如图473的(b)的步骤s113那样,如果接收机的解码模式不是双对应模式,则以msb优先来实施解码。另外,如果其解码模式是双对应模式,则以msb优先和lsb优先中的至少一方、例如以双方来实施解码。因此,如果解码模式是双对应模式,则数据包无论是由lsb优先来构成还是由msb优先来构成,都能够适当地对该数据包进行解码。

此外,这些总括性的或者具体的方式可以由装置、系统、方法、集成电路、计算机程序或者计算机可读取的cd-rom等记录介质实现,也可以由装置、系统、方法、集成电路、计算机程序或者记录介质的任意的组合来实现。

以下,一边参照附图一边对实施方式具体地进行说明。

此外,以下说明的实施方式都是表示全局或具体的例子的。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例,并不是限定本公开的意思。此外,关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素,设为任意的构成要素进行说明。

(实施方式1)

以下,对实施方式1进行说明。

(发光部的亮度的观测)

提出了一种在拍摄1张图像时、不是使全部的摄像元件在相同的定时曝光、而是按照每个摄像元件在不同的时刻开始/结束曝光的摄像方法。图1是使排列为1列的摄像元件同时曝光、按照列从近到远的顺序将曝光开始时刻错开而摄像的情况下的例子。这里,称作同时曝光的摄像元件的曝光线,将与该摄像元件对应的图像上的像素的行称作亮线。

在使用该摄像方法将正在闪烁的光源摄像到摄像元件的整面上而摄像的情况下,如图2那样,在摄像图像上产生沿着曝光线的亮线(像素值的明暗的线)。通过识别该亮线的样式,能够推测超过摄像帧速率的速度的光源亮度变化。由此,通过将信号作为光源亮度的变化发送,能够进行摄像帧速率以上的速度的通信。在通过光源取两种亮度值来表现信号的情况下,将较低的亮度值称作低(lo),将较高的亮度值称作高(hi)。低可以是光源不发光的状态,也可以是与高相比较弱地发光。

通过该方法,以超过摄像帧速率的速度进行信息的传送。

在一张摄像图像中,曝光时间不重叠的曝光线有20行,当摄像的帧速率为30fps时,能够识别1.67毫秒周期的亮度变化。在曝光时间不重叠的曝光线有1000行的情况下,能够识别3万分之1秒(约33微秒)周期的亮度变化。另外,曝光时间例如设定得比10毫秒短。

图2表示一个曝光线的曝光完成后开始下个曝光线的曝光的情况。

在此情况下,当每1秒的帧数(帧速率)为f、构成1图像的曝光线数为l时,如果根据各曝光线是否受光一定以上的光来传送信息,则最大能够以fl位每秒的速度传送信息。

另外,在不是按照行、而是按照像素以时间差进行曝光的情况下,能够更高速地进行通信。

此时,在每曝光线的像素数是m像素、通过各像素是否受光一定以上的光来传送信息的情况下,传送速度最大为flm位每秒。

如图3那样,如果能够将由发光部的发光带来的各曝光线的曝光状态用多个水平识别,则通过将发光部的发光时间以比各曝光线的曝光时间短的单位的时间来控制,能够传送更多的信息。

在能够以elv个阶段识别曝光状态的情况下,最大能够以flelv位每秒的速度传送信息。

此外,通过在与各曝光线的曝光的时刻稍稍错开的时刻使发光部发光,能够识别发信的基本周期。

图4表示在一个曝光线的曝光完成之前开始下个曝光线的曝光的情况。即,为相邻的曝光线的曝光时间具有部分的时间上重叠的结构。通过这样的结构,(1)与等待一个曝光线的曝光时间的结束而开始下个曝光线的曝光的情况相比,能够使规定的时间内的样本数变多。通过规定时间内的样本数变多,能够将作为被拍摄对象的光发送机产生的光信号更适当地检测到。即,能够降低检测光信号时的错误率。进而,(2)与等待一个曝光线的曝光时间的结束而开始下个曝光线的曝光的情况相比,能够使各曝光线的曝光时间变长,所以即使在被拍摄对象较暗的情况下,也能够取得更明亮的图像。即,能够使s/n比提高。此外,不需要在全部的曝光线中相邻的曝光线的曝光时间具有部分的时间上的重叠的结构,也可以是一部分的曝光线不具有部分的时间上的重叠的结构。通过做成一部分的曝光线不具有部分的时间上的重叠的结构,能够抑制摄像画面上的因曝光时间的重叠带来的中间色的发生,能够更适当地检测亮线。

在此情况下,根据各曝光线的明亮程度计算曝光时间,识别发光部的发光的状态。

另外,在通过亮度是否是阈值以上的2值判别各曝光线的明亮程度的情况下,为了识别不发光的状态,发光部必须将不发光的状态持续各行的曝光时间以上的时间。

图5a表示在各曝光线的曝光开始时刻相等的情况下、因曝光时间的差异带来的影响。7500a是前个曝光线的曝光结束时刻与下个曝光线的曝光开始时刻相等的情况,7500b是与其相比曝光时间更长的情况。通过如7500b那样做成相邻的曝光线的曝光时间具有部分的时间上的重叠的结构,能够较长地取得曝光时间。即,向摄像元件入射的光增大,能够得到明亮的图像。此外,通过将用来摄像相同的明亮度的图像的摄像感光度降低,能够得到噪声较少的图像,所以通信错误被抑制。

图5b表示在曝光时间相等的情况下、因各曝光线的曝光开始时刻的差异带来的影响。7501a是前个曝光线的曝光结束时刻与下个曝光线的曝光开始时刻相等的情况,7501b是比前个曝光线的曝光结束更早地开始下个曝光线的曝光的情况。通过如7501b那样做成相邻的曝光线的曝光时间具有部分的时间上的重叠的结构,能够增加每单位时间能够曝光的行。由此,分辨率变得更高,能够得到较多的信息量。样本间隔(=曝光开始时刻的差)变密,所以能够更正确地推测光源亮度的变化,能够降低错误率,进而能够识别更短的时间中的光源亮度的变化。通过使曝光时间具有重叠,能够利用相邻的曝光线的曝光量的差来识别比曝光时间短的光源的闪烁。

如在图5a、图5b中说明那样,在以使相邻的曝光线的曝光时间具有部分的时间上的重叠的方式将各曝光线依次曝光的结构中,通过将曝光时间设定得比通常摄影模式短,并将由此产生的亮线样式用于信号传送,能够使通信速度飞跃性地提高。这里,通过将可见光通信时的曝光时间设定为1/480秒以下,能够产生适当的亮线样式。这里,如果设帧频率=f,则需要设定为曝光时间<1/8×f。在摄影时产生的消隐(blanking)最大为1帧的一半的大小。即,由于消隐时间是摄影时间的一半以下,所以实际的摄影时间在最短的时间下成为1/2f。进而,由于在1/2f的时间内需要接受4值的信息,所以至少需要曝光时间比1/(2f×4)短。由于通常帧速率是60帧/秒以下,所以通过设定为1/480秒以下的曝光时间,能够使图像数据产生适当的亮线样式,进行高速的信号传送。

图5c表示在各曝光线的曝光时间不重叠的情况下、曝光时间较短的情况下的优点。在曝光时间较长的情况下,即使光源如7502a那样进行2值的亮度变化,在摄像图像中也如7502e那样形成中间色的部分,有难以识别光源的亮度变化的倾向。但是,通过如7502d那样,设定为在一个曝光线的曝光结束后、在下个曝光线的曝光开始前设置预定的不曝光的空闲时间(预定的等待时间)td2的结构,能够使光源的亮度变化变得容易识别。即,如7502f那样,能够检测更适当的亮线样式。如7502d那样设置预定的不曝光的空闲时间的结构可以通过使曝光时间te比各曝光线的曝光开始时刻的时间差td小来实现。在通常摄影模式是相邻的曝光线的曝光时间具有部分的时间上的重叠的结构的情况下,可以通过将曝光时间设定得与通常摄影模式时相比短到产生预定的不曝光的空闲时间来实现。此外,即使通常摄影模式是前个曝光线的曝光结束时刻与下个曝光线的曝光开始时刻相等的情况,也可以通过将曝光时间设定得较短直到发生预定的不曝光的时间来实现。此外,通过如7502g那样使各曝光线的曝光开始时刻的间隔td变大,也能够采用在一个曝光线的曝光结束后、在下个曝光线的曝光开始前设置预定的不曝光的空闲时间(预定的等待时间)td2的结构。在该结构中,由于能够使曝光时间变长,所以能够摄像明亮的图像,由于噪声变少,所以耐错性较高。另一方面,在该结构中,由于在一定时间内能够曝光的曝光线变少,所以如7502h那样具有样本数变少的缺点,所以希望根据状况而区分使用。例如,通过在摄像对象较明亮的情况下使用前者的结构、在较暗的情况下使用后者的结构,能够降低光源亮度变化的推测误差。

另外,不需要在全部的曝光线中相邻的曝光线的曝光时间具有部分的时间上的重叠,也可以是一部分的曝光线不具有部分的时间上的重叠。此外,不需要在全部的曝光线中、在一个曝光线的曝光结束后到下个曝光线的曝光开始之前设置预定的不曝光的空闲时间(预定的等待时间),也可以是一部分的曝光线具有部分的时间上的重叠。通过做成这样的结构,能够发挥各自的结构中的优点。此外,在以通常的帧速率(30fps,60fps)进行摄影的通常摄影模式和以进行可见光通信的1/480秒以下的曝光时间进行摄影的可见光通信模式中,也可以通过相同的读出方法或电路进行信号的读出。通过用相同的读出方法或电路将信号读出,不再需要对通常摄影模式和可见光通信模式使用分别不同的电路,能够使电路规模变小。

图5d表示光源亮度的最小变化时间ts、曝光时间te、各曝光线的曝光开始时刻的时间差td和摄像图像的关系。在设为te+td<ts的情况下,一个以上的曝光线从曝光的开始到结束为止必定以光源不变化的状态摄像,所以如7503d那样能够得到亮度清晰的图像,容易识别光源的亮度变化。在设为2te>ts的情况下,有时能够得到与光源的亮度变化不同样式的亮线,难以根据摄像图像识别光源的亮度变化。

图5e表示光源亮度的变迁时间tt和各曝光线的曝光开始时刻的时间差td的关系。与tt相比,td越大,成为中间色的曝光线越少,光源亮度的推测越容易。当td>tt时,中间色的曝光线为连续的2行以下,是优选的。tt在光源是led的情况下为1微秒以下,在光源是有机el的情况下为5微秒左右,所以通过使td为5微秒以上,能够使光源亮度的推测变容易。

图5f表示光源亮度的高频噪声tht与曝光时间te的关系。与tht相比,te越大,摄像图像中高频噪声的影响越少,光源亮度的推测变容易。当te为tht的整数倍时,不再有高频噪声的影响,光源亮度的推测变得最容易。在光源亮度的推测中,优选的是te>tht。高频噪声的主要的原因来源于开关电源电路,在许多电灯用的开关电源中,由于tht是20微秒以下,所以通过使te成为20微秒以上,能够容易地进行光源亮度的推测。

图5g是表示tht为20微秒的情况下的曝光时间te与高频噪声的大小的关系的曲线图。考虑tht根据光源而有偏差,根据曲线图,te是与噪声量取极大时的值相等的值,如果设定为15微秒以上、35微秒以上、54微秒以上或74微秒以上,则能够确认到效率较好。根据高频噪声降低的观点,te优选的是较大,但如上述那样,还具有在te越小则越不易产生中间色部分这一点上光源亮度的推测变容易的性质。因此,当光源亮度的变化的周期为15~35微秒时te优选的是设定为15微秒以上,当光源亮度的变化的周期为35~54微秒时te优选的是设定为35微秒以上,当光源亮度的变化的周期为54~74微秒时te优选的是设定为54微秒以上,当光源亮度的变化的周期为74微秒以上时te优选的是设定为74微秒以上。

图5h表示曝光时间te与识别成功率的关系。曝光时间te相对于光源的亮度为一定的时间,具有相对性的意义,所以取将光源亮度变化的周期ts除以曝光时间te的值(相对曝光时间)为横轴。根据曲线图可知,在想要使识别成功率大致成为100%的情况下,只要将相对曝光时间设为1.2以下即可。例如,在设发送信号为1khz的情况下,只要将曝光时间设为约0.83毫秒以下即可。同样,在想要使识别成功率成为95%以上的情况下,只要使相对曝光时间为1.25以下即可,在想要使识别成功率成为80%以上的情况下,只要使相对曝光时间为1.4以下即可。此外,由于在相对曝光时间1.5附近识别成功率急剧下降,在1.6大致成为0%,所以可知相对曝光时间应设定为不超过1.5。此外可知,在识别率在7507c成为0之后,在7507d或7507e、7507f再次上升。因此,在想要使曝光时间变长而摄像明亮的图像的情况下等,相对曝光时间只要利用从1.9到2.2、从2.4到2.6、从2.8到3.0的曝光时间即可。例如,作为图7的中间模式优选的是使用这些曝光时间。

图6a是本实施方式的信息通信方法的流程图。

本实施方式的信息通信方法是从被拍摄对象取得信息的信息通信方法,包含步骤sk91~sk93。

即,该信息通信方法包括:第1曝光时间设定步骤sk91,设定图像传感器的第1曝光时间,以使得在由上述图像传感器对上述被拍摄对象进行摄影而得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的多个曝光线对应的多个亮线;第1图像取得步骤sk92,上述图像传感器以设定的上述第1曝光时间对亮度变化的上述被拍摄对象进行摄影,由此取得包括上述多个亮线的亮线图像;以及信息取得步骤sk93,对由所取得的上述亮线图像中包含的上述多个亮线的样式确定的数据进行解调,由此取得信息;在上述第1图像取得步骤sk92中,上述多个曝光线各自依次在不同的时刻开始曝光,并且从与该曝光线相邻的相邻曝光线的曝光结束后起经过预定的空闲时间后,开始曝光。

图6b是本实施方式的信息通信装置的框图。

有关本发明的一技术方案的信息通信装置k90,是从被拍摄对象取得信息的信息通信装置,具备构成要素k91~k93。

即,该信息通信装置k90具备:曝光时间设定部k91,设定上述图像传感器的曝光时间,以使得在由图像传感器对上述被拍摄对象进行摄影而得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的多个曝光线对应的多个亮线;图像取得部k92,以设定的上述曝光时间对亮度变化的上述被拍摄对象进行摄影,由此取得包括上述多个亮线的亮线图像;以及信息取得部k93,对由所取得的上述亮线图像中包含的上述多个亮线的样式确定的数据进行解调,由此取得信息;上述多个曝光线分别依次在不同的时刻开始曝光,并且从与该曝光线相邻的相邻曝光线的曝光结束后起经过预定的空闲时间后,开始曝光。

在这样的图6a及图6b所示的信息通信方法及信息通信装置k90中,如使用例如图5c等说明的那样,多个曝光线分别在从与该曝光线相邻的相邻曝光线的曝光结束后起经过预定的空闲时间后,开始曝光,因此能够容易地识别被拍摄对象的亮度变化。结果,能够适当地从被拍摄对象取得信息。

另外,在上述实施方式中,各构成要素也可以由专用的硬件构成、或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过cpu或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序读出并执行来实现。

(实施方式2)

在本实施方式中,说明使用作为上述实施方式1的信息通信装置k90的智能电话等的接收机和作为led和/或有机el等光源的闪烁样式而发送信息的发送机的各应用例。

图7是表示本实施方式的接收机的各模式的一例的图。

接收机8000在通常摄影模式中,通过以例如1/100秒的快门速度摄影,取得通常摄影图像,将该通常摄影图像显示到显示器上。在此情况下,在该通常摄影图像中,例如鲜明地映照出路灯或作为店铺的招牌构成的标识板等的被拍摄对象和其周围。

此外,接收机8000在可见光通信模式中,通过以例如1/10000秒的快门速度摄影,取得可见光通信图像。例如,在上述路灯或标识板作为上述实施方式1所示的光源即发送机而通过亮度变化来发送信号的情况下,在该可见光通信图像中,在发送了信号的部位映照出1个或多个亮线(以下称作亮线图样),在该部位以外什么都不映照。即,在该可见光通信图像中,仅映照出亮线图样,没有映照出被拍摄对象的亮度不变化的部分及被拍摄对象的周围。

此外,接收机8000在中间模式中,通过以例如1/3000秒的快门速度摄影,取得中间图像。在该中间图像中,映照出亮线图样,并且也映照出上述被拍摄对象的亮度不变化的部分及被拍摄对象的周围。因而,接收机8000通过将该中间图像显示在显示器上,用户能够知道从哪里或哪个位置发送了信号。另外,通过该中间图像映照出的亮线图样、被拍摄对象及其周围与可见光通信图像的亮线图样、通常摄影图像的被拍摄对象及其周围相比并不鲜明,但具有可被用户识别的鲜明度。

另外,在以下的说明中,将通常摄影模式或通常摄影模式下的摄影称作通常摄影,将可见光通信模式或可见光通信模式下的摄影称作可见光摄影(可见光通信)。此外,也可以代替通常摄影及可见光摄影而使用中间模式的摄影,也可以代替后述的合成图像而使用中间图像。

图8是表示本实施方式的接收机的摄影动作的一例的图。

接收机8000将摄影模式如通常摄影、可见光通信、通常摄影、…那样切换。并且,接收机8000通过将通常摄影图像与可见光通信图像合成,生成鲜明地映照出亮线图样、被拍摄对象及其周围的合成图像,将该合成图像显示到显示器上。该合成图像是通过在通常摄影图像中的发送了信号的部位叠加可见光通信图像的亮线图样而生成的图像。此外,由该合成图像映照出的亮线图样、被拍摄对象及其周围分别是鲜明的,具有对于用户而言可充分识别的鲜明度。通过显示这样的合成图像,用户能够更明确地知道从哪里或哪个位置发送了信号。

图9是表示本实施方式的接收机的摄影动作的另一例的图。

接收机8000具备摄像头ca1及摄像头ca2。在这样的接收机8000中,摄像头ca1进行通常摄影,摄像头ca2进行可见光摄影。由此,摄像头ca1取得上述那样的通常摄影图像,摄像头ca2取得上述那样的可见光通信图像。并且,接收机8000通过将通常摄影图像及可见光通信图像合成,生成上述合成图像,显示到显示器上。

图10a是表示本实施方式的接收机的摄影动作的另一例的图。

在具有两个摄像头的上述接收机8000中,摄像头ca1将摄影模式如通常摄影、可见光通信、通常摄影、…那样切换。另一方面,摄像头ca2持续进行通常摄影。并且,当由摄像头ca1和摄像头ca2同时进行通常摄影时,接收机8000根据由这些摄像头取得的通常摄影图像,利用立体视(三角测量的原理),推测从接收机8000到被拍摄对象的距离(以下称作被拍摄对象距离)。通过使用这样推测出的被拍摄对象距离,接收机8000能够将可见光通信图像的亮线图样叠加到通常摄影图像的适当的位置。即,能够生成适当的合成图像。

图10b是表示本实施方式的接收机的摄影动作的另一例的图。

接收机8000例如具备3个摄像头(摄像头ca1、摄像头ca2及摄像头ca3)。在这样的接收机8000中,两个摄像头(摄像头ca2及摄像头ca3)持续进行通常摄影,其余的1个摄像头(摄像头ca1)持续进行可见光通信。由此,不论是怎样的定时,都基于由进行通常摄影的两个摄像头得到的通常摄影图像推测被拍摄对象距离。

图10c是表示本实施方式的接收机的摄影动作的另一例的图。

接收机8000例如具备3个摄像头(摄像头ca1、摄像头ca2及摄像头ca3)。在这样的接收机8000中,各个摄像头将摄影模式如通常摄影、可见光通信、通常摄影、…那样切换。这里,在1个期间中,以这些摄像头的中的某两个摄像头进行通常摄影、其余的1个摄像头进行可见光通信的方式,将各个摄像头的摄影模式按照期间切换。即,进行通常摄影的摄像头的组合周期性地变化。由此,不论是怎样的期间,都能够基于由进行通常摄影的两个摄像头得到的通常摄影图像推测被拍摄对象距离。

图11a是表示本实施方式的接收机的摄像头配置的一例的图。

在接收机8000具备两个摄像头ca1及ca2的情况下,如图11a所示,两个摄像头ca1及ca2被配置在相互离开的位置。由此,能够精度良好地推测被拍摄对象距离。即,两个摄像头的间的距离越长,能够越高精度地推测被拍摄对象距离。

图11b是表示本实施方式的接收机的摄像头配置的另一例的图。

在接收机8000具备3个摄像头ca1、摄像头ca2及摄像头ca3的情况下,如图11b所示,通常摄影用的两个摄像头ca1及ca2被配置在相互离开的位置。此外,可见光通信用的摄像头ca3被配置在例如摄像头ca1与摄像头ca2之间。由此,能够高精度地推测被拍摄对象距离。即,通过将最远离的两个摄像头用于通常摄影,能够高精度地推测被拍摄对象距离。

图12是表示本实施方式的接收机的显示动作的一例的图。

接收机8000如上述那样,将摄影模式如可见光通信、通常摄影、可见光通信、…那样切换。这里,接收机8000在最初进行可见光通信时将应用程序起动。并且,接收机8000基于通过可见光通信接收到的信号,推测自己的位置。接着,接收机8000在进行通常摄影时,在通过该通常摄影取得的通常摄影图像中显示ar(augmentedreality)信息。该ar信息是基于如上述那样推测出的位置等取得的信息。此外,接收机8000基于9轴传感器的检测结果及通常摄影图像的运动检测等,推测接收机8000的移动及方向的变化,与该推测出的移动及方向的变化相应地使ar信息的显示位置移动。由此,能够使ar信息追随于通常摄影图像的被拍摄对象像。

此外,接收机8000如果将摄影模式从通常摄影切换为可见光通信,则在该可见光通信时,将ar信息叠加到在紧接着之前的通常摄影时取得的最新的通常摄影图像上。并且,接收机8000将叠加了ar信息的通常摄影图像显示。此外,接收机8000与通常摄影时同样,基于9轴传感器的检测结果,推测接收机8000的移动及方向的变化,与该推测出的移动及方向的变化相应地使ar信息及通常摄影图像移动。由此,在可见光通信时,也与通常摄影时同样,能够与接收机8000的移动等相应地使ar信息追随于通常摄影图像的被拍摄对象像。此外,能够与接收机8000的移动等相应地将该通常图像放大及缩小。

图13是表示本实施方式的接收机的显示动作的一例的图。

例如,接收机8000也可以如如图13的(a)所示那样显示映照出亮线图样的上述合成图像。此外,接收机8000也可以如图13的(b)所示,通过代替亮线图样而将作为用来通知发送了信号的具有预定颜色的图像的信号明示对象叠加到通常摄影图像中,生成合成图像并显示该合成图像。

此外,接收机8000也可以如图13的(c)所示那样,显示发送了信号的部位用点线的框和识别码(例如,id:101、id:102等)表示的通常摄影图像作为合成图像。此外,接收机8000也可以如图13的(d)所示,通过代替亮线图样而将作为用来通知发送了特定种类的信号的具有预定颜色的图像的信号识别对象叠加到通常摄影图像中,生成合成图像并显示该合成图像。在此情况下,该信号识别对象的颜色根据从发送机输出的信号的种类而不同。例如,在从发送机输出的信号是位置信息的情况下叠加红色的信号识别对象,在从发送机输出的信号是优惠券的情况下叠加绿色的信号识别对象。

图14是表示本实施方式的接收机的动作的一例的图。

例如,接收机8000也可以在通过可见光通信接收到信号的情况下,显示通常摄影图像,并输出用来向用户通知发现了发送机的声音。在此情况下,接收机8000也可以根据发现的发送机的个数、接收到的信号的种类或由该信号确定的信息的种类等,使输出的声音的种类、输出次数或输出时间不同。

图15是表示本实施方式的接收机的动作的另一例的图。

例如,如果用户触碰合成图像中映照出的亮线图样,则接收机8000基于从与该触碰的亮线图样对应的从被拍摄对象发送的信号来生成信息通知图像,并显示该信息通知图像。该信息通知图像例如表示店铺的优惠券或场所等。另外,亮线图样也可以是图13所示的信号明示对象、信号识别对象或点线框等。关于以下记载的亮线图样也是同样的。

图16是表示本实施方式的接收机的动作的另一例的图。

例如,如果用户触碰合成图像上映照出的亮线图样,则接收机8000基于从与该触碰的亮线图样对应的被拍摄对象发送的信号来生成信息通知图像,显示该信息通知图像。该信息通知图像例如用地图等表示接收机8000的当前地。

图17是表示本实施方式的接收机的动作的另一例的图。

例如,接收机8000从作为发送机构成为被拍摄对象的两个路灯接收信号。并且,接收机8000与上述同样,基于这些信号推测自己的当前地。并且,接收机8000显示通常摄影图像,并将表示该推测结果的信息通知图像(表示纬度及经度等的图像)叠加到通常摄影图像上而显示。另外,接收机8000也可以将辅助信息通知图像叠加到通常摄影图像中而显示。该辅助信息通知图像例如用来向用户建议对9轴传感器(特别是地磁传感器)进行校准的操作、即用来将漂移消除的操作。通过进行这样的操作,能够以高精度推测上述当前地。

此外,如果显示的信息通知图像被用户触碰,则接收机8000也可以代替通常摄影图像而显示表示该推测出的位置的地图。

图18是表示本实施方式的接收机的动作的另一例的图。

例如,如果用户对显示有合成图像的接收机8000进行划动操作,则接收机8000显示与图13的(c)所示的通常摄影图像同样的具有点线框及识别码的通常摄影图像,并以追随于划动操作的方式显示信息的一览。在该一览中,表示通过从由各识别码表示的部位(发送机)发送的信号确定的信息。此外,划动例如也可以是从接收机8000中的显示器的右侧的外方向中间移动手指的操作。另外,划动也可以是从显示器的上侧、下侧或左侧向中间移动手指的操作。

此外,如果由用户对该一览中包含的信息轻击,则接收机8000显示更详细地表示该信息的信息通知图像(例如表示优惠券的图像)。

图19是表示本实施方式的接收机的动作的另一例的图。

例如,如果用户对显示有合成图像的接收机8000进行划动操作,则接收机8000以追随于划动操作的方式将信息通知图像叠加在合成图像上而显示。该信息通知图像是将被拍摄对象距离与箭头一起向用户容易理解地表示的图像。此外,划动例如也可以是从接收机8000的显示器的下侧的外方向中间移动手指的操作。另外,划动也可以是从显示器的左侧、上侧或右侧向中间移动手指的操作。

图20是表示本实施方式的接收机的动作的另一例的图。

例如,接收机8000将表示多个店铺的作为标识板的发送机作为被拍摄对象摄影,显示由该摄影取得的通常摄影图像。这里,如果用户将映照在通常摄影图像中的被拍摄对象中包含的1个店铺的标识板的图像轻击,则接收机8000基于从该店铺的标识板发送的信号生成信息通知图像,显示该信息通知图像8001。该信息通知图像8001例如是表示店铺的空席状况等的图像。

图21是表示本实施方式的接收机、发送机和服务器的动作的一例的图。

首先,构成为电视机的发送机8012通过亮度变化向接收机8011发送信号。该信号例如包括用来向用户提示与正在视听的节目关联的内容的购买的信息。接收机8011如果通过可见光通信接收到该信号,则基于该信号,显示向用户提示内容的购买的信息通知图像。如果用户进行用来购买该内容的操作,则接收机8011将插入在接收机8011中的sim(subscriberidentitymodule)卡中包含的信息、用户id、终端id、信用卡信息、用于核款的信息、口令及发送机id中的至少1个向服务器8013发送。服务器8013按照每个用户将用户id和支付信息建立联系而管理。并且,服务器8013基于从接收机8011发送的信息确定用户id,确认与该用户id建立了联系的支付信息。通过该确认,服务器8013判断是否对用户许可内容的购买。并且,服务器8013如果判断为许可,则向接收机8011发送许可信息。接收机8011如果接收到许可信息,则向发送机8012发送该许可信息。接收到许可信息的发送机8012例如经由网络取得并再现该内容。

此外,发送机8012也可以通过亮度变化将包含发送机8012的id的信息对接收机8011发送。在此情况下,接收机8011将该信息向服务器8013发送。服务器8013如果取得该信息,则能够判断为正在由该发送机8012视听例如电视机节目,能够进行电视机节目的视听率调查。

此外,接收机8011通过将由用户操作的内容(投票等)包含在上述信息中向服务器8013发送,服务器8013能够将该内容反映到电视机节目中。即,能够实现视听者参加型的节目。进而,接收机8011在受理了用户的写入的情况下,通过将该写入的内容包含在上述信息中向服务器8013发送,服务器8013能够将该写入反映到电视机节目或网络上的公告板等上。

进而,通过由发送机8012发送上述那样的信息,服务器8013能够对基于收费广播或点播程序的电视机节目的视听进行核款。此外,服务器8013可以对接收机8011显示广告,或显示向发送机8012显示的电视机节目的详细信息,或显示表示该详细信息的站点的url。进而,服务器8013通过取得由接收机8011显示了广告的次数或通过该广告购买的商品的金额等,能够对广告主进行与该次数或金额对应的核款。这样的基于金额的核款,即使看到了广告的用户不立即购买该商品也能够进行。此外,服务器8013从发送机8012经由接收机8011取得了表示发送机8012的生产商的信息时,能够对由该信息表示的生产商进行服务(例如对于上述商品的销售的报酬的支付)。

图22是表示本实施方式的接收机的动作的另一例的图。

例如,用户将接收机8021的摄像头朝向作为照明体构成的多个发送机8020a~8020d。此时,使接收机8021移动,以将发送机8020a~8020d分别依次作为被拍摄对象进行摄影。并且,接收机8021通过在该移动的期间中进行可见光通信,从各发送机8020a~8020d接收信号。在这些信号中包含表示发送机的位置的信息。接收机8021基于由该接收到的来自发送机8020a~8020d的信号表示的位置、接收机8021中具备的9轴传感器的检测结果和通过摄影得到的图像的运动,使用三角测量的原理推测接收机8021的位置。在此情况下,通过移动接收机8021,将9轴传感器(特别是地磁传感器)的漂移消除,所以能够推测精度更高的位置。

图23是表示本实施方式的接收机的动作的另一例的图。

接收机8030例如构成为具备摄像头的头戴显示器。当开始按钮被按下时,该接收机8030开始基于可见光通信模式的摄影、即可见光通信。并且,在通过可见光通信接收到信号的情况下,接收机8030将与该接收到的信号对应的信息向用户通知。该通知例如通过从接收机8030所具备的扬声器输出声音来进行、或通过图像的显示来进行。此外,可见光通信在开始按钮被按下时以外,也可以在指示开始的声音的输入被接收机8030受理时或指示开始的信号被接收机8030以无线通信接收到时开始。此外,也可以在接收机8030所具备的9轴传感器得到的值的变化幅度超过预定的范围时、或在通常摄影图像中稍稍出现了亮线图样时开始可见光通信。

图24是表示本实施方式的接收机的初始设定的例子的图。

接收机8030在初始设定时显示对位图像8031。该对位图像8031用来进行由用户在通过接收机8030的摄像头的摄影而得到的图像内指示的位置和由接收机8030显示的图像的对位。如果用户将指尖对准于由该对位图像8031表示的圆的位置,则接收机8030将该指尖的位置与圆的位置建立关联而进行对位。即,进行由用户指示的位置的校准。

图25是表示本实施方式的接收机的动作的另一例的图。

如果接收机8030通过可见光通信确定了发送信号的部位,则显示在该部位映照出亮线图样的合成图像8034。用户对于该亮线图样进行轻击或双轻击等的操作。接收机8030如果受理了该操作,则确定作为该操作的对象的亮线图样,显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。

图26是表示本实施方式的接收机的动作的另一例的图。

接收机8030与上述同样地显示合成图像8034。这里,用户进行移动指尖以将合成图像8034中的亮线图样围起的操作。接收机8030如果受理了该操作,则确定作为该操作的对象的亮线图样,显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。

图27是表示本实施方式的接收机的动作的另一例的图。

接收机8030与上述同样地显示合成图像8034。这里,用户进行将指尖以预先决定的时间以上抵按在合成图像8034中的亮线图样上的操作。接收机8030如果受理了该操作,则确定作为该操作的对象的亮线图样,显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。

图28是表示本实施方式的接收机的动作的另一例的图。

接收机8030与上述同样地显示合成图像8034。这里,用户进行通过划动将指尖朝向合成图像8034的亮线图样移动的操作。接收机8030如果受理了该操作,则确定作为该操作的对象的亮线图样,显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。

图29是表示本实施方式的接收机的动作的另一例的图。

接收机8030与上述同样地显示合成图像8034。这里,用户进行将使视线朝向合成图像8034的亮线图样的状态持续预先决定的时间以上的操作。或者,用户进行在将视线朝向该亮线图样的状态下以预先设定的次数眨眼的操作。接收机8030如果受理了该操作,则确定作为该操作的对象的亮线图样,显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。

图30是表示本实施方式的接收机的动作的另一例的图。

接收机8030与上述同样地显示合成图像8034,并显示与合成图像8034中的亮线图样分别建立了关联的箭头。这些箭头按照亮线图样而朝向不同的方向。这里,用户进行将头沿着某个箭头移动的操作。接收机8030如果基于9轴传感器的检测结果受理了该操作,则确定与对应于该操作的箭头、即朝向头移动的方向的箭头建立了关联的亮线图样。并且,接收机8030显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。

图31a是表示在本实施方式的接收机的操作中使用的笔的图。

笔8033具备通过亮度变化来发送信号的发送机8033a、按钮8033b和按钮8033c。如果按钮8033b被按下,则发送机8033a发送预先决定的第1信号,如果按钮8033c被按下,则发送机8033a发送与第1信号不同的预先决定的第2信号。

图31b是表示本实施方式的使用笔的接收机的动作的图。

笔8033被作为上述用户的指尖的替代物使用,如记录笔那样使用。此外,通过将按钮8033b和按钮8033c区分使用,能够将笔8033作为通常的笔使用,或如擦除橡皮那样使用。

图32是表示本实施方式的接收机的外观的一例的图。

接收机8030具备第1接触传感器8030a和第2接触传感器8030b。这些接触传感器被安装在接收机8030的框架上。例如,如果用户将指尖抵按在第1接触传感器8030a上并移动,则接收机8030在向用户显示的图像上使指针与该指尖的运动对应地移动。此外,如果用户触碰第2接触传感器8030b,则接收机8030进行在向用户显示的图像上选择指针被对准的对象的处理。

图33是表示本实施方式的接收机的外观的另一例的图。

接收机8030具备接触传感器8030c。该接触传感器8030c安装在接收机8030的框架上。例如,如果用户将指尖抵按在接触传感器8030c上并移动,则接收机8030在向用户显示的图像上使指针与该指尖的运动对应地移动。此外,如果用户将接触传感器8030c按下,则接收机8030进行在向用户显示的图像上选择指针被对准的对象的处理。即,接触传感器8030c构成为所谓可点击接触传感器。

图34是表示本实施方式的接收机的动作的另一例的图。

接收机8030与上述同样地显示合成图像8034,并在合成图像8034中显示上述指针8035。在接收机8030具备第1接触传感器8030a和第2接触传感器8030b的情况下,用户通过将指尖抵按在第1接触传感器8030a上并移动而移动该指针,将该指针对准于作为亮线图样的对象。并且,用户通过触碰第2接触传感器8030b而使接收机8030选择该亮线图样。接收机8030如果选择了亮线图样,则显示基于从该亮线图样的部位发送的信号的信息通知图像8032。

此外,在接收机8030具备接触传感器8030c的情况下,用户通过将指尖抵按在接触传感器8030c上并移动而移动该指针,将该指针对准于作为亮线图样的对象。然后,用户通过将接触传感器8030c按下,使接收机8030选择该亮线图样。接收机8030如果选择了该亮线图样,则将基于从该亮线图样的部位发送的信号的信息通知图像8032显示。

图35a是表示本实施方式的接收机的动作的另一例的图。

接收机8030基于通过进行可见光通信得到的信号,显示手势确认图像8036。该手势确认图像8036例如是为了向用户提供服务而向该用户提示预定的手势的图像。

图35b是表示使用本实施方式的接收机的应用例的图。

用户8038佩戴着接收机8030而处于例如店铺中。这里,接收机8030向用户8038显示上述手势确认图像8036。用户8038按照该手势确认图像8036进行预定的手势。这里,处于店铺中的店员8039佩戴着接收机8037。接收机8037构成为具备摄像头的头戴显示器,也可以具有与接收机8030相同的结构。接收机8037也基于通过进行可见光通信得到的信号而显示手势确认图像8036。店员8039判断由显示的手势确认图像8036表示的预定的手势与由用户8038进行的手势是否一致。店员8039判断为一致时,对用户8038提供与手势确认图像8036建立了关联的服务。

图36a是表示本实施方式的接收机的动作的另一例的图。

接收机8030基于通过进行可见光通信得到的信号而显示手势确认图像8040。该手势确认图像8040例如是为了许可无线通信而向用户提示预定的手势的图像。

图36b是表示使用本实施方式的接收机的应用例的图。

用户8038佩戴着接收机8030。这里,接收机8030向用户8038显示上述手势确认图像8040。用户8038按照该手势确认图像8040进行预定的手势。这里,处于用户8038的周围的人8041佩戴着接收机8037。接收机8037构成为具备摄像头的头戴显示器,也可以具有与接收机8030相同的结构。接收机8037通过摄像由用户8038进行的预定的手势,取得在该手势中包含的口令等的认证信息。并且,接收机8037如果判断为该认证信息与预先决定的信息一致,则确立与接收机8030之间的无线连接。在进行该确立后,接收机8030和接收机8037能够相互进行无线通信。

图37a是表示本实施方式的发送机的动作的一例的图。

发送机以例如预先决定的周期将信号1和信号2交替地发送。信号1的发送和信号2的发送分别通过可见光的闪烁等的亮度变化进行。此外,用来发送信号1的亮度变化的样式和用来发送信号2的亮度变化的样式相互不同。

图37b是表示本实施方式的发送机的动作的另一例的图。

发送机也可以不像上述那样将信号1和信号2连续发送,而隔开缓冲时间断续地将信号1和信号2发送。这里,发送机在缓冲时间中不进行亮度变化。或者,发送机也可以在缓冲时间中将表示是缓冲时间的信号通过亮度变化发送、或进行与用来分别发送信号1及信号2的亮度变化不同的亮度变化。由此,接收机能够将信号1和信号2不串扰而适当地接收。

图38是表示本实施方式的发送机的动作的另一例的图。

发送机将由前导码(preamble)、块1、块2、块3及检验信号构成的结构单位的信号列通过亮度变化反复发送。这里,块1具有前导码、地址1、数据1及检验信号。块2及块3也与块1同样地构成。此外,通过使用在块1、块2及块3各自中包含的数据而得到特定的信息。

即,在上述那样的信号列中,将1个数据或信息分为3个块保存。因而,在摄影中需要消隐期间的接收机,即使不能从1个信号列接收到块1、块2及块3的全部的数据,也能够从其它信号列接收其余的数据。结果,即使是需要消隐期间的接收机,也能够从至少1个信号列适当地取得特定的信息。

此外,在上述那样的信号列中,相对于3个块的集合配置有前导码和检验信号。因而,不需要消隐期间而能够受光的接收机、例如具备照度传感器等的接收机通过使用相对于该集合配置的前导码和检验信号,能够将1个信号列一次接收,能够在短期间中取得特定的信息。

图39是表示本实施方式的发送机的动作的另一例的图。

发送机如上述那样,将包括块1、块2及块3的结构单位的信号列反复发送时,也可以按照信号列来变更该信号列中包含的块的配置。例如,在最初的信号列中,以块1、块2、块3的顺序配置各块,在下个信号列中,以块3、块1、块2的顺序配置各块。由此,能够避免由需要周期性的消隐期间的接收机仅取得相同的块。

图40是表示本实施方式的多个发送机与接收机之间的通信形态的一例的图。

接收机8050也可以接收从构成为照明体的发送机8051a及发送机8051b发送并被反射面反射的信号(可见光)。由此,能够将来自许多发送机的信号一起接收。此外,在此情况下,发送机8051a及发送机8051b分别发送相互不同的频率或协议的信号。由此,接收机8050能够将来自这些发送机的信号不串扰地接收。

图41是表示本实施方式的多个发送机的动作的一例的图。

也可以是,发送机8051a及发送机8051b中的一方监视来自另一方的信号的发送状况,发送信号以防止与另一方的信号的串扰。例如,一方的发送机接收从另一方的发送机发送的信号,发送与该信号不同协议的信号。或者,一方的发送机检测从另一方的发送机不发送信号的期间,在该期间中发送信号。

图42是表示本实施方式的多个发送机与接收机之间的通信形态的另一例的图。

发送机8051a及发送机8051b也可以分别发送相同的频率或协议的信号。在此情况下,接收机8050确定从这些发送机发送的信号的强度,即在通过摄影得到的图像中包含的亮线的边缘强度。接收机8050与发送机之间的距离越长,该强度越弱。在接收机8050与发送机8051a及发送机8051b的各自之间的距离不同的情况下,能够利用这样的距离的差异。即,接收机8050根据该确定的强度,能够将从发送机8051a及发送机8051b分别发送的信号适当分离并接收。

图43是表示本实施方式的接收机的动作的另一例的图。

接收机8050接收从发送机8051a发送并被反射面反射的信号。此时,接收机8050也可以基于通过摄影得到的图像内的亮度的强度分布(多个位置处的亮度的差)推测发送机8051a的位置。

图44是表示本实施方式的接收机的应用例的图。

例如构成为智能电话的接收机7510a用后摄像头(外置摄像头)7510c将光源7510b摄像,接收从光源7510b发送的信号,根据接收到的信号取得光源7510b的位置和朝向。接收机7510a根据光源7510b的摄像图像中的摄像方式及接收机7510a中具备的9轴传感器的传感器值,推测接收机7510a自身的位置和朝向。接收机7510a用前摄像头(面部摄像头、内置摄像头)7510f对用户7510e进行摄像,通过图像处理推测7510e的头部的位置和朝向及视线方向(眼球的位置和朝向)。接收机7510a将推测结果向服务器发送。接收机7510a根据用户7510e的视线方向变更行为(显示器的显示内容及再现音)。通过后摄像头7510c的摄像和通过前摄像头7510f的摄像既可以同时进行,也可以交替地进行。

图45是表示本实施方式的接收机的应用例的图。

例如构成为智能电话的接收机7511d、7511i与上述同样,接收来自光源7511b、7511g的信号,推测自身的位置和朝向,推测用户7511e、7511j的视线方向。此外,接收机7511d、7511i基于接收到的数据,从服务器取得周边的物体7511a~7511c、7511f~7511h的信息。接收机7511d、7511i以从用户观察时如同透过接收机7511d、7511i看到面向的一侧的物体的方式,使显示器的显示变化。接收机7511d、7511i根据显示器上显示的内容,显示7511k那样的ar(扩展现实)对象。当用户7511j的视线超过摄像头的摄像的摄像范围时,接收机7511i如7511l那样显示是范围外。或者,在范围外的区域中显示ar对象或其它信息。或者,将范围外区域与过去摄像时的图像接合而显示。

图46是表示本实施方式的接收机的应用例的图。

例如构成为智能电话的接收机7512c与上述同样,接收来自光源7512a的信号,推测自身的位置和朝向,推测用户7512d的视线方向。接收机7512c进行与处于用户7512d的视线方向上的物体7512b有关的处理。例如,将与物体7512b有关的信息显示在画面上。当用户7512h的视线方向从物体7512f向接收机7512g移动时,接收机7512g判断用户7512h的兴趣在于物体7512f,继续进行与物体7512f有关的处理。例如,保持将物体7512f的信息显示在画面上的原状。

图47是表示本实施方式的发送机的应用例的图。

例如,构成为照明体的发送机7513a亮度较高,不论在作为发送信号而亮度较高(hi)时和亮度较低(lo)时,都在由接收机摄像的情况下超过上限的明亮度,如7513b那样不出现亮线。所以,如7513c所示,通过具备如散光板或棱镜那样使光发散或减弱的部分7513d而使亮度下降,接收机能够如7513e那样对亮线进行摄像。

图48是表示本实施方式的发送机的应用例的图。

例如,构成为照明体的发送机7514a由于光源不是均匀的,所以摄像图像如7514b那样,在亮度中发生不匀,引起接收错误。所以,如7514c所示,通过具备如散光板或棱镜那样使光发散的部分7514d而使得亮度变均匀,能够抑制接收错误。

图49是表示本实施方式的接收方法的应用例的图。

发送机7515a、7515b的中心部分的亮度较高,在接收机的摄像图像中不出现亮线,在周边部分出现亮线。接收机虽然因亮线中断而不能从7515d的部分接收信号,但能够从7515c的部分接收信号。接收机通过以7515e的路径读取亮线,能够从比7515c的部分多的亮线接收信号。

图50是表示本实施方式的发送机的应用例的图。

例如,构成为照明体的发送机7516a、7516b、7516c、7516d与7513a同样,亮度较高,在用接收机摄像时不易产生亮线。所以,通过具备散光板-棱镜7516e、反射板7516f、反射板-半反射镜7516g、反射板7516h或散光板-棱镜7516j,能够使光发散而使产生亮线的部分变大。这些发送机将摄像图像以如7515a那样在周围产生亮线的形式进行摄像。接收机由于使用摄像图像上的发送机的大小推测接收机与发送机之间的距离,所以通过将光发散的部分作为光源的大小,并与发送id建立关联存储到服务器等中,接收机能够正确地推测到发送机的距离。

图51是表示本实施方式的发送机的应用例的图。

例如,构成为照明体的发送机7517a与7513a同样亮度较高,在由接收机摄像时不易产生亮线。所以,通过具备反射板7517b,能够使光发散而使产生亮线的部分变大。

图52是表示本实施方式的发送机的应用例的图。

发送机7518a通过使来自光源的光被7518c反射,接收机能够将亮线在大范围中摄像。发送机7518d通过将光源朝向散光板或棱镜7518e,接收机能够将亮线在大范围中摄像。

图53是表示本实施方式的接收机的动作的另一例的图。

接收机通过上述那样的合成图像或中间图像等来显示亮线图样。此时,接收机也可以不能接收来自与该亮线图样对应的发送机的信号。这里,如果用户通过进行对亮线图样的操作(例如轻击)而选择该亮线图样,则接收机通过进行光学变焦,显示该亮线图样的部位被放大的合成图像或中间图像。通过进行这样的光学变焦,接收机能够将与该亮线图样对应的来自发送机的信号适当地接收。即,即使通过摄像得到的图像过小而不能取得信号,通过进行光学变焦,也能够将该信号适当地接收。此外,即使是显示有能够取得信号的大小的图像的情况,通过进行光学变焦,也能够进行较快的接收。

(本实施方式的总结)

本实施方式的信息通信方法,是从被拍摄对象取得信息的信息通信方法,包括:第1曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;亮线图像取得步骤,通过由上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间进行摄影,取得作为包含上述亮线的图像的亮线图像;图像显示步骤,基于上述亮线图像,以能够识别出现上述亮线的部位的空间位置的方式,显示映照出上述被拍摄对象和该被拍摄对象的周围的显示用图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得发送信息。

例如,将图7~图9及图13所示那样的合成图像或中间图像作为显示用图像显示。此外,在映照出被拍摄对象和该被拍摄对象的周围的显示用图像中,将出现亮线的部位的空间位置通过亮线图样、信号明示对象、信号识别对象或点线框等识别。因而,用户通过观察这样的显示图像,能够容易地找出通过亮度变化来发送信号的被拍摄对象。

此外,也可以是,上述信息通信方法还包括:第2曝光时间设定步骤,设定比上述曝光时间长的曝光时间;通常图像取得步骤,通过由上述图像传感器将上述被拍摄对象和该被拍摄对象的周围以上述较长的曝光时间进行摄影,取得通常摄影图像;合成步骤,基于上述亮线图像确定在上述通常摄影图像中出现上述亮线的部位,通过将作为指示上述部位的图像的信号对象叠加到上述通常摄影图像上,生成合成图像;在上述图像显示步骤中,将上述合成图像作为上述显示用图像显示。

例如,信号对象是亮线图样、信号明示对象、信号识别对象或点线框等,如图8、图9及图13所示,显示合成图像作为显示用图像。由此,用户能够更容易地找到通过亮度变化来发送信号的被拍摄对象。

此外,也可以是,在上述第1曝光时间设定步骤中,将曝光时间设定为1/3000秒;在上述亮线图像取得步骤中,取得映照出上述被拍摄对象的周围的上述亮线图像;在上述图像显示步骤中,将上述亮线图像作为上述显示用图像显示。

例如,如图7所示,取得亮线图像作为中间图像并显示。因而,不需要进行取得通常摄影图像和可见光通信图像并合成等的处理,能够实现处理的简略化。

此外,也可以是,上述图像传感器包括第1图像传感器和第2图像传感器;在上述通常图像取得步骤中,通过由上述第1图像传感器进行摄影而取得上述通常摄影图像;在上述亮线图像取得步骤中,通过由上述第2图像传感器与上述第1图像传感器的摄影同时地进行摄影,取得上述亮线图像。

例如,如图9所示,将通常摄影图像和作为亮线图像的可见光通信图像通过各自的摄像头取得。因而,与用1个摄像头取得通常摄影图像和可见光通信图像的情况相比,能够更快地取得这些图像,能够使处理高速化。

此外,也可以是,上述信息通信方法还包括:信息提示步骤,在通过用户的操作指定了上述显示用图像中的出现上述亮线的部位的情况下,提示基于从指定的部位的上述亮线的样式取得的上述发送信息的提示信息。例如,上述用户的操作,是轻击、划动、将指尖持续预定的时间以上抵按在上述部位上的操作,持续预定的时间以上使视线朝向上述部位的状态的操作,将上述用户的身体的一部分向与上述部位建立关联而表示的箭头移动的操作,将亮度变化的笔尖抵按在上述部位上的操作,或通过触碰接触传感器而将显示在上述显示用图像上的指针对准于上述部位的操作。

例如,如图15~图20、图25~图34所示,将提示信息作为信息通知图像显示。由此,能够向用户提示希望的信息。

此外,也可以是,上述图像传感器被装备在头戴显示器上;在上述图像显示步骤中,搭载在上述头戴显示器上的投影仪显示上述显示用图像。

由此,例如如图23~图30所示,能够简单地向用户提示信息。

此外,也可以是从被拍摄对象取得信息的信息通信方法,包括:第1曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;亮线图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间进行摄影,取得作为包含上述亮线的图像的亮线图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;在上述亮线图像取得步骤中,通过在上述图像传感器被移动的期间中对多个上述被拍摄对象进行摄影,取得包含多个出现上述亮线的部位的上述亮线图像;在上述信息取得步骤中,通过按照每个上述部位将由该部位的上述亮线的样式确定的数据解调,取得多个上述被拍摄对象各自的位置;上述信息通信方法还包括基于所取得的多个上述被拍摄对象各自的位置及上述图像传感器的移动状态来推测上述图像传感器的位置的位置推测步骤。

由此,例如如图22所示,根据多个照明体等的被拍摄对象的亮度变化,能够正确地推测包括图像传感器的接收机的位置。

此外,也可以是从被拍摄对象取得信息的信息通信方法,包括:第1曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;亮线图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间进行摄影,取得作为包含上述亮线的图像的亮线图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;信息提示步骤,提示所取得的上述信息;在上述信息提示步骤中,对于上述图像传感器的用户将提示预先决定的手势的图像作为上述信息提示。

由此,例如如图35a~图36b所示,能够根据用户是否进行被提示的手势来进行对于该用户的认证等,能够提高方便性。

此外,也可以是从被拍摄对象取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间进行摄影,取得包含上述亮线的图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;在上述图像取得步骤中,通过将映照在反射面上的多个上述被拍摄对象进行摄影而取得上述亮线图像;在上述信息取得步骤中,根据上述亮线图像中包含的亮线的强度,将上述亮线分离为与多个上述被拍摄对象分别对应的亮线,通过按照上述被拍摄对象将由与该被拍摄对象对应的亮线的样式确定的数据解调,来取得信息。

由此,例如如图42所示,即使是多个照明体等的被拍摄对象分别亮度变化的情况,也能够从被拍摄对象分别取得适当的信息。

此外,也可以是从被拍摄对象取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间进行摄影,取得包含上述亮线的亮线图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;在上述图像取得步骤中,通过将映照在反射面上的多个上述被拍摄对象进行摄影而取得上述亮线图像;上述信息通信方法还包括基于上述亮线图像内的亮度分布来推测上述被拍摄对象的位置的位置推测步骤。

由此,例如如图43所示,能够基于亮度分布推测适当的被拍摄对象的位置。

此外,也可以是通过亮度变化来发送信号的信息通信方法,包括:第1决定步骤,通过对发送对象的第1信号进行调制来决定亮度变化的第1样式;第2决定步骤,通过对发送对象的第2信号进行调制来决定亮度变化的第2样式;发送步骤,通过由发光体交替地进行按照所决定的上述第1样式的亮度变化和按照所决定的上述第2样式的亮度变化,来发送上述第1及第2信号。

由此,例如如图37a所示,能够将第1信号和第2信号分别没有延迟地发送。

此外,也可以是,在上述发送步骤中,当使亮度变化在按照上述第1样式的亮度变化和按照上述第2样式的亮度变化之间切换时,隔开缓冲时间来切换。

由此,例如如图37b所示,能够抑制第1信号和第2信号的串扰。

此外,也可以是通过亮度变化来发送信号的信息通信方法,包括:决定步骤,通过对发送对象的信号进行调制来决定亮度变化的样式;发送步骤,通过由发光体按照所决定的上述样式而进行亮度变化,发送上述发送对象的信号;上述信号由多个大块构成;上述多个大块分别包括第1数据、与上述第1数据对应的前导码、和与上述第1数据对应的检验信号;上述第1数据由多个小块构成,上述小块包括第2数据、与上述第2数据对应的前导码和与上述第2数据对应的检验信号。

由此,例如如图38所示,不论是需要消隐期间的接收机、还是不需要消隐期间的接收机,都能够适当地取得数据。

此外,也可以是通过亮度变化来发送信号的信息通信方法,包括:决定步骤,通过由多个发送机分别对发送对象的信号进行调制,决定亮度变化的样式;发送步骤,按照每个发送机,由该发送机中具备的发光体按照所决定的上述样式而进行亮度变化,从而发送上述发送对象的信号;在上述发送步骤中,发送频率或协议相互不同的信号。

由此,例如如图40所示,能够抑制来自多个发送机的信号的串扰。

此外,也可以是通过亮度变化来发送信号的信息通信方法,包括:决定步骤,通过有多个发送机分别对发送对象的信号进行调制,决定亮度变化的样式;发送步骤,按照每个发送机,由该发送机中具备的发光体按照所决定的上述样式而进行亮度变化,从而发送上述发送对象的信号;在上述发送步骤中,上述多个发送机中的1个发送机接收从另一方的发送机发送的信号,以不与接收到的信号串扰的方式发送其它信号。

由此,例如如图41所示,能够抑制来自多个发送机的信号的串扰。

(实施方式3)

在本实施方式中,对使用上述实施方式1或2的智能电话等接收机和作为led或有机el等的闪烁样式而发送信息的发送机的各应用例进行说明。

图54是表示实施方式3的接收机的动作的一例的流程图。

首先,接收机用照度传感器接收信号(8101)。接着,接收机基于接收到的信号,从服务器取得位置信息等的信息(8102)。接着,接收机将能够将照度传感器的受光方向摄像的图像传感器起动(8103)。接着,接收机用图像传感器将信号的一部分或全部接收,确认该一部分或全部是否是与由照度传感器接收到的信号相同的信号(8104)。接着,接收机根据摄像图像(摄影图像)中的发送机的位置、来自接收机中具备的9轴传感器的信息和发送机的位置信息,推测接收机的位置(8105)。这样,接收机将耗电较少的照度传感器起动,在通过该照度传感器接收到信号的情况下,将图像传感器起动。并且,接收机利用该图像传感器的摄像进行位置推测。由此,能够在抑制耗电的同时,高精度地推测接收机的位置。

图55是表示实施方式3的接收机的动作的另一例的流程图。

接收机根据照度传感器的传感器值,识别亮度的周期性的变化(8111)。接着,接收机将能够将照度传感器的受光方向摄像的图像传感器起动,接收信号(8112)。即,与上述同样,接收机将耗电较少的照度传感器起动,在通过该照度传感器接收到亮度的周期性的变化的情况下,将图像传感器起动。并且,接收机通过该图像传感器的摄像,接收正确的信号。由此,能够在抑制耗电的同时接收正确的信号。

图56a是表示实施方式3的发送机的一例的框图。

发送机8115具备电源部8115a、信号控制部8115b、发光部8115c和发光部8115d。电源部8115a向信号控制部8115b供给电力。信号控制部8115b将从该电源部8115a供给的电力向发光部8115c及发光部8115d分配,控制发光部8115c及发光部8115d的亮度变化。

图56b是表示实施方式3的发送机的另一例的框图。

发送机8116具备电源部8116a、信号控制部8116b、发光部8116c和发光部8116d。电源部8116a向发光部8116c及发光部8116d供给电力。这里,信号控制部8116b通过控制从电源部8116a供给的电力,控制发光部8116c及发光部8116d的亮度变化。这样,通过由信号控制部8116b控制向发光部8116c及发光部8116d分别供给电力的电源部8116a,能够提高电力的使用效率。

图57是表示实施方式3的包括多个发送机的系统的结构例的图。

该系统具备集中控制部8118、发送机8117及发送机8120。集中控制部8118控制通过发送机8117及发送机8120各自的亮度变化进行的信号的发送。例如,集中控制部8118从发送机8117及发送机8120分别以相同的定时发送相同的信号,或仅对某一方的发送机使该发送机发送固有的信号。

发送机8120具备两个发送单元8121及8122、信号变更部8123、信号存储部8124、同步信号输入部8125、同步控制部8126和受光部8127。

两个发送单元8121及8122分别具有与图56a所示的发送机8115同样的结构,通过亮度变化来发送信号。具体而言,发送单元8121具备电源部8121a、信号控制部8121b、发光部8121c及发光部8121d。发送单元8122具备电源部8122a、信号控制部8122b、发光部8122c及发光部8122d。

信号变更部8123将发送对象的信号调制为表示亮度变化的样式的信号。信号存储部8124存储有表示其亮度变化的样式的信号。发送单元121的信号控制部8121b将保存在信号存储部8124中的信号读出,根据该信号而使发光部8121c及发光部8121d亮度变化。

同步信号输入部8125根据集中控制部8118的控制而取得同步信号。同步控制部8126如果取得该同步信号,则使发送单元8121和发送单元8122的亮度变化同步。即,同步控制部8126通过控制信号控制部8121b及信号控制部8122b,使发送单元8121和发送单元8122的亮度变化同步。这里,受光部8127检测来自发送单元8121和发送单元8122的发光。同步控制部8126根据由该受光部8127检测到的光,进行向信号控制部8121b及信号控制部8122b的反馈控制。

图58是表示实施方式3的发送机的另一例的框图。

发送机8130具备通过亮度变化来发送信号的发送单元8131、和不进行信号的发送而发光的非发送单元8132。

发送单元8131具有与图56a所示的发送机8115同样的结构,具备电源部8131a、信号控制部8131b及发光部8131c~8131f。此外,非发送单元8132具备电源部8132a及发光部8132c~8132f,不具备信号控制部。即,在包含电源的单元是多个、在这些单元间不能进行亮度变化的同步控制的情况下,如图58所示的结构那样,仅在某1个单元中具备信号控制部,仅使该1个单元亮度变化。

这里,在这样的发送机8130中,发送单元8131的发光部8131c~8131f被连续地配置为一列。即,在发光部8131c~8131f的集合中,不会混杂非发送单元8132的发光部8132c~8132f的某个。由此,亮度变化的发光体的尺寸变大,所以接收机能够容易地接收通过该亮度变化发送的信号。

图59a是表示实施方式3的发送机的一例的图。

发送机8134例如构成为标牌,具备3个发光部(发光区域)8134a~8134c。另外,来自这些发光部8134a~8134c的光不会相互干涉。这里,在能够仅使发光部8134a~8134c中的某1个亮度变化而发送信号的情况下,如图59a的(a)所示,优选的是使处于中央的发光部8134b亮度变化。此外,在能够使发光部8134a~8134c中的两个亮度变化的情况下,如图59a的(b)所示,优选的是使处于中央的发光部8134b和处于端部的发光部8134a或发光部8134c亮度变化。通过使处于这样的位置的发光部亮度变化,接收机能够将通过亮度变化发送的信号适当地接收。

图59b是表示实施方式3的发送机的一例的图。

发送机8135例如构成为标牌,具备3个发光部8135a~8135c。另外,来自这些发光部8135a~8135c中的彼此相邻的发光部的光相互干涉。这里,在能够仅使发光部8135a~8135c中的某1个亮度变化而发送信号的情况下,如图59b的(a)所示,优选的是使配置在端部的发光部8135a或发光部8135c亮度变化。由此,能够抑制用来发送信号的亮度变化与来自其它发光部的光干涉。此外,在能够使发光部8135a~8135c中的两个亮度变化的情况下,如图59b的(b)所示,优选的是使处于中央的发光部8135b和处于端部的发光部8135a或发光部8135c亮度变化。通过使处于这样的位置的发光部亮度变化,接收机能够将通过亮度变化发送的信号适当地接收。

图59c是表示实施方式3的发送机的一例的图。

发送机8134在能够使3个发光部8134a~8134c中的两个亮度变化的情况下,如图50c所示,也可以使处于两端的发光部8134a及发光部8134c亮度变化。在此情况下,在通过接收机的摄像中,能够放大摄像有亮度变化的部位的摄像范围。

图60a是表示实施方式3的发送机的一例的图。

发送机8137例如构成为标牌,通过字符部分“ashop”和发光部8137a亮度变化来发送信号。发光部8137a例如形成为在水平方向上较长的矩形状而均匀地亮度变化。通过该发光部8137a均匀地亮度变化,接收机能够将通过亮度变化发送的信号适当地接收。

图60b是表示实施方式3的发送机的一例的图。

发送机8138例如构成为标牌,通过字符部分“ashop”和发光部8138a亮度变化来发送信号。发光部8138a例如沿着标牌的边缘而形成为框状,均匀地亮度变化。即,该发光部8138a形成为,使得当将发光部射影到任意的直线上时连续的射影部分的长度为最大。通过该发光部8138a均匀地亮度变化,接收机能够将通过亮度变化发送的信号适当地接收。

图61是表示实施方式3的接收机、发送机及服务器的处理动作的一例的图。

例如构成为智能电话的接收机8142取得表示自己的位置的位置信息,将该位置信息向服务器8141发送。另外,接收机8142例如利用gps等,在接收到其它信号时取得其位置信息。服务器8141将与由该位置信息表示的位置建立了对应的id列表向接收机8142发送。在id列表中,按照“abcd”等的id,包括该id和与该id建立了对应的信息。

接收机8142例如从构成为照明设备的发送机8143接收信号。此时,接收机8142有只能接收id的一部分(例如“b”)作为上述信号的情况。在此情况下,接收机8142从id列表中检索包括该id的一部分的id。在找不到唯一的id的情况下,接收机8142还从发送机8143接收包括该id的其它部分的信号。由此,接收机8142取得该id中的更多的部分(例如“bc”)。并且,接收机8142从id列表再次检索包含该id的一部分(例如“bc”)的id。通过进行这样的检索,接收机8142即使仅能够取得id的一部分,也能够确定id的全部。另外,接收机8142当从发送机8143接收信号时,不仅是id的一部分,还接收crc(cyclicredundancycheck)等的检验部分等。

图62是表示实施方式3的接收机,发送机及服务器的处理动作的一例的图。

例如构成为智能电话的接收机8152取得表示自己的位置的位置信息。另外,接收机8152例如利用gps等,在接收到其它信号时取得其位置信息。进而,接收机8152从例如构成为照明设备的发送机8153接收信号。此时,在该信号中,仅包含id中的该id的一部分(例如“b”)。这里,接收机8152将该位置信息和id的一部分向服务器8151发送。

服务器8151从与由该位置信息表示的位置建立了对应的id列表中,检索包含该id的一部分的id。在找不到唯一的id的情况下,服务器8151将id的确定失败向接收机8152通知。

接着,接收机8152从发送机8153接收包含该id的另一部分的信号。由此,接收机8152取得该id中的更多的部分(例如“be”)。并且,接收机8152将该id的一部分(例如“be”)和位置信息向服务器8151发送。

服务器8151从与由该位置信息表示的位置建立了对应的id列表中,检索包含该id的一部分的id。如果找到唯一的id,则服务器8151将该id(例如“abef”)被确定的情况向接收机8152通知,并将与该id建立了对应的信息向接收机8152发送。

图63是表示实施方式3的接收机、发送机及服务器的处理动作的一例的图。

接收机8152也可以不是将id中的仅一部分、而是将其全部与位置信息一起向服务器8151发送。此时,在该完全的状态的id(例如“wxyz”)没有包含在id列表中的情况下,服务器8151向接收机8152通知错误。

图64a是用来说明实施方式3的多个发送机的同步的说明图。

发送机8155a及发送机8155b通过亮度变化来发送信号。这里,发送机8155a通过将同步信号向发送机8155b发送,与该发送机8155b同步而进行亮度变化。此外,发送机8155a和发送机8155b分别从发信源取得信号,进行与该信号对应的亮度变化。这里,有在从发信源向发送机8155a的信号发送中花费的时间(第1延迟时间)和在从发信源向发送机8155b的信号发送中花费的时间(第2延迟时间)不同的情况。所以,测量这些发送机8155a、8155b与发信源之间的信号的往复时间,将它们的往复时间的1/2确定为上述第1或第2延迟时间。发送机8155a通过发送同步信号以将这些第1或第2延迟时间的差消除,进行与发送机8155b同步的亮度变化。

图64b是用来说明实施方式3的多个发送机的同步的说明图。

受光传感器8156检测来自发送机8155a及发送机8155b的光,将其结果作为检测信号向发送机8155a及发送机8155b输出。发送机8155a及发送机8155b如果接收到来自该受光传感器8156的检测信号,则基于该检测信号进行相互同步的亮度变化,或进行信号的强度的调整。

图65是表示实施方式3的发送机及接收机的动作的一例的图。

例如构成为电视机的发送机8165从控制部8166取得图像和与该图像建立了对应的id(id1000)。并且,发送机8165将该图像显示,并通过亮度变化,将该id(id1000)向接收机8167发送。接收机8167通过摄像来接收该id(id1000),并显示与该id(id1000)建立了对应的信息。这里,控制部8166将向发送机8165输出的图像变更为其它图像。此时,控制部8166将向发送机8165输出的id也变更。即,控制部8166与其它图像一起,将与其它图像建立了对应的其它id(id1001)也向发送机8165输出。由此,发送机8165将其它图像显示,并通过亮度变化将其它id(id1001)向接收机8167发送。接收机8167通过摄像而将其它id(id1001)接收,并显示与其它id(id1001)建立了对应的信息。

图66是表示实施方式3的发送机及接收机的动作的一例的图。

发送机8170例如构成为标牌,将图像切换而显示。并且,发送机8170在将图像显示时,将与显示的图像对应的id和表示显示该图像的时刻的id时刻信息通过亮度变化向接收机8171发送。例如,发送机8170在时刻t1,显示表示圆图形的图像,并将与该图像对应的id(id:1000)和表示该图像被显示的时刻(time:t1)的id时刻信息发送。

这里,发送机8170不仅将与当前显示的图像对应的id时刻信息、还将与过去显示的图像对应的id时刻信息发送至少1个。例如,发送机8170在时刻t2,显示表示四方的图形的图像,并将与该图像对应的id(id:1001)和表示该图像被显示的时刻(time:t2)的id时刻信息发送。进而,此时,发送机8170将与表示圆图形的图像对应的id(id:1000)和表示该图像被显示的时刻(time:t1)的id时刻信息发送。同样,在时刻t3,发送机8170将表示三角形的图形的图像显示,并将与该图像对应的id(id:1002)和表示该图像被显示的时刻(time:t3)的id时刻信息发送。进而,此时,发送机8170将与表示四方的图形的图像对应的id(id:1001)、和表示该图像被显示的时刻(time:t2)的id时刻信息发送。即,发送机8170将多个id时刻信息以相同的定时发送。

例如,用户为了得到与表示四方的图形的图像关联的信息,在显示有表示该四方的图形的图像的时刻t2,将接收机8171的图像传感器罩向发送机8170,开始通过接收机8171的摄像。

这里,接收机8171有虽然在时刻t2开始摄像、但在表示该四方的图形的图像显示在发送机8170上的期间中不能取得与该图像对应的id时刻信息的情况。即使是这样的情况,如上述那样,由于将与过去显示的图像对应的id时刻信息也从发送机8170发送,所以接收机8171在时刻t3,不仅能取得与表示三角形的图形的图像对应的id时刻信息(id:1002,time:t3),还能够取得与表示四方的图形的图像对应的id时刻信息(id:1001,time:t2)。并且,接收机8171从这些id时刻信息中,选择表示被罩向发送机8170的时刻(t2)的id时刻信息(id:1001,time:t2),确定由该id时刻信息表示的id(id:1001)。由此,接收机8171在时刻t3,能够基于该确定的id(id:1001),从例如服务器等得到关于表示四方的图形的图像的信息。

另外,上述时刻并不限于绝对的时刻,也可以是取得接收机8171被罩向发送机8170的时刻与接收机8171取得id时刻信息的时刻之间的时间(所谓相对时刻)。此外,发送机8170将与过去显示的图像对应的id时刻信息和与当前显示的图像对应的id时刻信息一起发送,但也可以发送与未来计划显示的图像对应的id时刻信息。此外,发送机8170在接收机8171的接收处于困难的状况的情况下,也可以增加被发送的过去或未来的id时刻信息的数量。

此外,发送机8170在不是标牌而构成为电视机的情况下,发送机8170也可以代替id时刻信息而发送表示与显示的图像对应的频道的信息。即,在将广播的电视机节目的图像实时地用发送机8170显示的情况下,由发送机8170显示的图像的显示时刻能够按照频道唯一地确定。因而,接收机8171能够基于通过摄像得到的图像和其频道,确定接收机8171被罩向发送机8170的时刻、即接收机8171开始摄像的时刻。并且,接收机8171能够基于频道和其时刻,从例如服务器等得到关于通过摄像得到的图像的信息。另外,发送机8170也可以代替id时刻信息而发送表示显示的图像的显示时刻的信息。在此情况下,接收机8171从此时广播的全部的电视机节目中检索包括通过摄像得到的图像的电视机节目,能够基于该电视机节目的频道和其显示时刻从服务器等得到与该图像关联的信息。

图67是表示实施方式3的发送机、接收机及服务器的动作的一例的图。

如图67的(a)所示,接收机8176通过将发送机8175摄像而取得包含亮线的图像,从该图像确定(取得)发送机8175的id。进而,接收机8176将该id向服务器8177发送,从服务器8177取得与该id建立了关联的信息。

另一方面,如图67的(b)所示,接收机8176也可以通过将发送机8175摄像,取得包括亮线的图像,将该图像作为摄像数据向服务器8177发送。此外,接收机8176也可以对包含亮线的图像进行图像的信息量变少那样的前处理,将进行前处理后的图像作为摄像数据向服务器8177发送。该前处理例如是图像的二值化处理等。服务器8177如果取得该摄像数据,则根据由摄像数据表示的图像确定(取得)发送机8175的id。进而,服务器8177将与该id建立了关联的信息向接收机8176发送。

图68是表示实施方式3的发送机及接收机的动作的一例的图。

当用户处于位置a时,接收机8183通过取得从亮度变化的发送机8181发送的信号,确定接收机8183的位置。结果,接收机8183将表示该确定的位置的点8183b与该位置的误差范围8183a一起显示。

接着,如果用户从位置a移动而到达位置b,则接收机8183成为不能从发送机8181取得信号的状态。此时,接收机8183通过使用装备在自身上的9轴传感器等,推测自己的位置。并且,接收机8183将表示该推测出的位置的点8183b与该位置的误差范围8183a一起显示。此时,由于该位置是由9轴传感器推测的,所以将误差范围8183a较大地显示。

接着,如果用户从位置b移动而到达位置c,则接收机8183通过取得从亮度变化的其它发送机8182发送的信号,确定接收机8183的位置。结果,接收机8183将表示该确定的位置的点8183b与该位置的误差范围8183a一起显示。这里,接收机8183不将表示使用9轴传感器推测的位置的点8183b及误差范围8183a直接切换为如上述那样确定的位置及误差范围而显示,而是使它们平滑地移动而切换。此外,此时误差范围8183a变小。

图69是表示实施方式3的接收机的外观的一例的图。

接收机8183例如构成为智能电话(高性能便携电话),如图69的(a)所示,在接收机8183的前表面上,配置有图像传感器8183c、照度传感器8183d及显示器8183e。图像传感器8183c通过将如上述那样亮度变化的被拍摄对象摄像,取得包含亮线的图像。照度传感器8183d检测上述被拍摄对象的亮度变化。因而,照度传感器8183d根据被拍摄对象的状态或状况,能够作为图像传感器8183c的替代物使用。显示器8183e显示图像等。这里,接收机8183也可以具备作为亮度变化的被拍摄对象的功能。在此情况下,接收机8183通过使显示器8183e亮度变化来发送信号。

此外,如图69的(b)所示,在接收机8183的背面上,配置有图像传感器8183f、照度传感器8183g及闪光发光部8183h。图像传感器8183f与上述图像传感器8183c相同,通过如上述那样将亮度变化的被拍摄对象摄像,取得包含亮线的图像。照度传感器8183g与上述照度传感器8183d相同,检测被拍摄对象的亮度变化。因而,照度传感器8183g根据被拍摄对象的状态或状况,能够作为图像传感器8183f的替代物使用。闪光发光部8183h为了摄像而发出闪光。这里,接收机8183也可以不具备作为亮度变化的被拍摄对象的功能,在此情况下,通过使闪光发光部8183h亮度变化而发送信号。

图70是表示实施方式3的发送机、接收机及服务器的动作的一例的图。

例如构成为智能电话的发送机8185通过使显示器8185a中的除了条码部分8185b以外的部分亮度变化,即通过可见光通信,将例如表示“优惠券减去100日元”的信息发送。此外,发送机8185不使条码部分8185b亮度变化,而使该条码部分8185b显示条码。该条码表示与通过上述可见光通信发送的信息相同的信息。进而,发送机8185在显示器8185a中的除了条码部分8185b以外的部分上,显示表示通过可见光通信发送的信息的字符或图画,例如字符“优惠券减去100日元”。通过将这样的字符或图画显示,发送机8185的用户能够容易地掌握发送了怎样的信息。

接收机8186通过摄像,取得通过可见光通信发送的信息和由条码表示的信息,将这些信息向服务器8187发送。服务器8187判断这些信息是否一致或关联,在判断为一致或关联时,执行按照这些信息的处理。或者,服务器8187将该判断结果向接收机8186发送,使接收机8186执行遵循这些信息的处理。

另外,发送机8185也可以将由条码表示的信息中的一部分通过可见光通信发送。此外,也可以在条码中表示服务器8187的url。此外,发送机8185也可以作为接收机而取得id,通过将该id向服务器8187发送,取得与该id建立了对应的信息。与该id建立了对应的信息与通过上述可见光通信发送的信息、或由条码表示的信息相同。此外,服务器8187也可以经由接收机8186将与从发送机8185发送的信息(可见光通信的信息或条码的信息)建立了对应的id向发送机8185发送。

图71是表示实施方式3的发送机及接收机的动作的一例的图。

例如构成为智能电话的发送机8185通过使显示器8185a亮度变化而发送信号。接收机8188具备有遮光性的圆锥状的容器8188b和照度传感器8188a。照度传感器8188a被收存在容器8188b的内部,配置在该容器8188b的前端附近。在从发送机8185通过可见光通信发送信号的情况下,接收机8188的容器8188b的开口部(底部)被朝向显示器8185a。由此,来自显示器8185a的光以外的光不进入到容器8188b内,所以接收机8188的照度传感器8188a能够不受作为噪声的光的影响,而将来自显示器8185a的光适当地受光。结果,接收机8188能够将来自发送机8185的信号适当地接收。

图72是表示实施方式3的发送机及接收机的动作的一例的图。

发送机8190例如构成为公共汽车停靠站的标识塔,通过亮度变化,将表示公共汽车的运行状况等的运行信息向接收机8183发送。例如,将表示公共汽车的前往地、该前往地的公共汽车到达公共汽车停靠站的时刻、和该公共汽车的当前地等的运行信息向接收机8183发送。接收机8183如果接收到该运行信息,则将由该运行信息表示的内容向显示器显示。

这里,例如在相互不同的前往地的公共汽车停在该公共汽车停靠站的情况下,发送机8190将关于这些前往地的公共汽车的运行信息发送。接收机8183如果接收到这些运行信息,则从这些运行信息中,选择由用户利用的频度较高的前往地的公共汽车的运行信息,将由该运行信息表示的内容向显示器显示。具体而言,接收机8183例如通过使用gps等,确定由用户利用过的公共汽车的前往地,将该前往地的履历记录。接收机8183通过参照该履历,选择由用户利用的频度较高的前往地的公共汽车的运行信息。或者,接收机8183也可以将由通过用户的操作从这些运行信息中选择的运行信息表示的内容向显示器显示。或者,接收机8183也可以将通过用户的操作选择的频度较高的前往地的公共汽车的运行信息优先地显示。

图73是表示实施方式3的发送机及接收机的动作的一例的图。

例如构成为标牌的发送机8191通过亮度变化,将多个店铺的信息向接收机8183发送。该信息是将关于多个店铺的信息汇集的信息,不是各店铺所固有的信息。因而,接收机8183如果通过摄像接收到该信息,则不仅是1个店铺、能够显示关于多个店铺的信息。这里,接收机8183在这些关于多个店铺的信息中,选择关于摄像范围中包含的店铺(例如“bshop”)的信息,将该选择的信息显示。此外,接收机8183在将该信息显示时,将用来表示该信息的语言翻译为预先登记的语言,用该翻译后的语言显示该信息。此外,在发送机8191中,也可以通过字符等显示敦促通过接收机8183的图像传感器(摄像头)的摄像的消息。具体而言,如果使专用的应用程序起动而用摄像头进行摄像,则将通知能够接受信息的提供的消息(例如“用摄像头get信息”等)向发送机8191显示。

图74是表示实施方式3的发送机及接收机的动作的一例的图。

例如,接收机8183将包括多个人物8197及路灯8195的被拍摄对象摄像。路灯8195具备通过亮度变化发送信息的发送机8195a。通过该摄像,接收机8183取得将发送机8195a的像表示为上述亮线图样的图像。进而,接收机8183例如从服务器等取得与由该亮线图样表示的id建立了关联的ar对象8196a。并且,接收机8183将该ar对象8196a叠加到通过通常摄影得到的通常摄影图像8196上,将叠加了该ar对象8196a的通常摄影图像8196显示。

图75a是表示由实施方式3的发送机发送的信息的结构的一例的图。

例如,由发送机发送的信息由前导码部、固定长的数据部和检验部构成。接收机使用检验部进行数据部的检验,将由这些各部分构成的信息正常地接收。这里,接收机将前导码部和数据部接收,当不能接收到检验部时,将使用该检验部的检验省略。即使是将这样的检验省略的情况,接收机也能够正常地接收由这些各部分构成的信息。

图75b是表示由实施方式3的发送机发送的信息的结构的另一例的图。

例如,由发送机发送的信息由前导码部、检验部和可变长的数据部构成。由发送机发送的下个信息也由前导码部、检验部和可变长的数据部构成。这里,接收机当在接收中接收到前导码部、再接收到下个前导码部时,将从前个前导码部到下个前导码部的紧接着之前的信息作为构成1个意思的信息来识别。此外,接收机也可以通过使用检验部来确定在该检验部的下个被接收的数据部的末端。在此情况下,接收机即使不能接收上述下个前导码部(前导码部的全部或一部分),也能够将之前发送的形成1个意思的信息适当地接收。

图76是表示实施方式3的发送机的4值ppm调制方式的一例的图。

发送机通过4值ppm调制方式,将发送对象的信号调制为亮度变化的样式。此时,发送机不论发送对象的信号是怎样的信号,都能够将亮度变化的光的明亮度保持为一定。

例如在将明亮度保持为75%的情况下,发送机将发送对象的信号“00”、“01”、“10”及“11”分别调制为连续的4个时隙中的某1个表示亮度l(low)、其余的3个表示亮度h(high)的亮度变化的样式。具体而言,发送机将发送对象的信号“00”调制为第1个时隙表示亮度l、第2~第4个时隙表示亮度h的亮度变化的样式(l,h,h,h)。即,在该亮度变化中,在第1个时隙与第2个时隙之间有亮度的上升。与此同样,发送机将发送对象的信号“01”调制为第2个时隙表示亮度l、第1、第3及第4个时隙表示亮度h的亮度变化的样式(h,l,h,h)。即,在该亮度变化中,在第2个时隙与第3个时隙之间有亮度的上升。

此外,在将明亮度保持为50%的情况下,发送机将发送对象的信号“00”、“01”、“10”及“11”分别调制为4个时隙中的某两个表示亮度l(low)、其余的两个表示亮度h(high)的亮度变化的样式。具体而言,发送机将发送对象的信号“00”调至为第1及第4个时隙表示亮度l、第2及第3个时隙表示亮度h的亮度变化的样式(l,h,h,l)。即,在该亮度变化中,在第1个时隙与第2个时隙之间有亮度的上升。与此同样,发送机将发送对象的信号“01”调制为第1及第2个时隙表示亮度l、第3及第4个时隙表示亮度h的亮度变化的样式(l,l,h,h)。或者,发送机将发送对象的信号“01”调制为第2及第4个时隙表示亮度l、第1及第3个时隙表示亮度h的亮度变化的样式(h,l,h,l)。即,在这些亮度变化中,在第2个时隙与第3个时隙之间有亮度的上升。

此外,在将明亮度保持为25%的情况下,发送机将发送对象的信号“00”、“01”、“10”及“11”分别调制为4个时隙中的某3个表示亮度l(low)、其余的1个表示亮度h(high)的亮度变化的样式。具体而言,发送机将发送对象的信号“00”调至为第1、第3及第4个时隙表示亮度l、第2个时隙表示亮度h的亮度变化的样式(l,h,l,l)。即,在该亮度变化中,在第1个时隙与第2个时隙之间有亮度的上升。与此同样,发送机将发送对象的信号“01”调制为第1、第2及第4个时隙表示亮度l、第3个时隙表示亮度h的亮度变化的样式(l,l,h,l)。即,在该亮度变化中,在第2个时隙与第3个时隙之间有亮度的上升。

发送机通过上述那样的4值ppm调制方式,能够抑制闪变,并且能够将明亮度阶段性地容易地调节。此外,接收机通过确定亮度的上升的位置,能够将该亮度变化的样式适当地解调。另外,接收机将由4个时隙构成的时隙群与下个时隙群之间的边界处的亮度的上升的有无不用于亮度变化的样式的解调而忽视。

图77是表示实施方式3的发送机的ppm调制方式的一例的图。

发送机与图76所示的4值ppm调制方式同样,将发送对象的信号调制为亮度变化的样式,但也可以不按照时隙将亮度切换为l和h而进行ppm调制。即,发送机通过将图76所示的连续的4个时隙的时间宽度(以下称作单位时间宽度)中的亮度的上升位置根据发送对象的信号切换来进行ppm调制。例如,发送机如图77所示,将发送对象的信号“00”调制为在单位时间宽度中的25%的位置处亮度上升那样的亮度变化的样式。与此同样,发送机如图77所示,将发送对象的信号“01”调制为在单位时间宽度中的50%的位置处亮度上升那样的亮度变化的样式。

此外,发送机在将明亮度保持为75%的情况下,将发送对象的信号“00”调制为在上述单位时间宽度中的0~25%的位置处表示亮度l、在25~100%的位置处表示亮度h的亮度变化的样式。这里,发送机在将明亮度保持为99%的情况下,将发送对象的信号“00”调制为在上述单位时间宽度中的24~25%的位置处表示亮度l、在0~24%的位置及25~100%的位置处表示亮度h的亮度变化的样式。同样,发送机在将明亮度保持为1%的情况下,将发送对象的信号“00”调制为在上述单位时间宽度中的0~25%的位置及26~100%的位置处表示亮度、在25~26%的位置处表示亮度h的亮度变化的样式。

这样,通过不按照时隙将亮度切换为l和h、而在单位时间宽度的任意的位置处将亮度切换为l和h,能够将明亮度连续地调节。

图78是表示实施方式3的发送机的ppm调制方式的一例的图。

发送机与图77所示的ppm调制方式同样进行调制,但不论发送对象的信号是怎样的信号,都将该信号调制为在单位时间宽度的最初必定表示亮度h、并且在单位时间宽度的最后必定表示亮度l的亮度变化的样式。由此,在单位时间宽度与下个单位时间宽度的边界发生亮度的上升,接收机能够适当地确定该边界。因而,接收机及发送机能够将时钟的偏差修正。

图79a是表示实施方式3的与头(前导码部)对应的亮度变化的样式的一例的图。

发送机例如在发送图75a及图75b所示的头(前导码部)的情况下,按照图79a所示的样式而进行亮度变化。即,在头由7个时隙构成的情况下,发送机按照由l,h,l,h,l,h,h表示的样式而进行亮度变化。此外,在头由8个时隙构成的情况下,发送机按照由h,l,h,l,h,l,h,h表示的样式而进行亮度变化。这些样式由于能够与图76所示的亮度变化的样式区别,所以能够使接收机明确地知道由这些样式表示的信号是头。

图79b是表示实施方式3的亮度变化的样式的一例的图。

如图76所示,在4值ppm调制方式中,在将明亮度保持为50%的状态下将数据部中包含的发送对象的信号“01”调制的情况下,发送机将该信号调制为两个样式中的某个样式。即,调制为由l,l,h,h表示的第1样式、或者由h,l,h,l表示的第2样式。

这里,在与头对应的亮度变化的样式是图79a所示那样的样式的情况下,发送机优选的是将上述发送对象的信号“01”调制为由l,l,h,h表示的第1样式。例如将在上述数据部中包含的发送对象的信号“11,01,11”在使用上述第1样式的情况下调制为“h,h,l,l,l,l,h,h,h,h,l,l”的样式。另一方面,在使用上述第2样式的情况下,将在上述数据部中包含的发送对象的信号“11,01,11”调制为“h,h,l,l,h,l,h,l,h,h,l,l”的样式。在此情况下,在该样式“h,h,l,l,h,l,h,l,h,h,l,l”中,包含与图79a所示的、由7个时隙构成的头的样式相同的样式。因而,为了使头与数据部的区别变明确,优选的是将上述发送对象的信号“01”调制为第1样式。

图80a是表示实施方式3的亮度变化的样式的一例的图。

如图76所示,在4值ppm调制方式中,在将发送对象的信号“11”调制的情况下,发送机将该信号调制为“h,h,h,l”的样式、“h,h,l,l”的样式或“h,l,l,l”的样式,以使得不发生亮度的上升。但是,如图80a所示,发送机也可以为了调整明亮度而将发送对象的信号“11”调制为“h,h,h,h”的样式或“l,l,l,l”的样式。

图80b是表示实施方式3的亮度变化的样式的一例的图。

如图76所示,在4值ppm调制方式中,在将明亮度保持为75%、对发送对象的信号“11,00”进行调制的情况下,发送机将该信号调制为“h,h,h,l,l,h,h,h”的样式。但是,在亮度l要连续发生的情况下,也可以将连续的亮度l中的最后的亮度l以外的亮度变更为h,以使亮度l不连续。在此情况下,发送机将该信号“11,00”调制为“h,h,h,h,l,h,h,h”的样式。

由此,亮度l不连续,所以能够抑制发送机的负荷。此外,能够使发送机中具备的电容器的电容较小,能够使控制电路的容积变小。进而,由于发送机的光源的负荷较小,所以能够容易地制作光源。进而,能够提高发送机的电力效率。此外,由于保证了亮度l不连续,所以接收机能够容易地将该亮度变化的样式解调。

(本实施方式的总结)

本实施方式的信息通信方法,是通过亮度变化来发送信号的信息通信方法,包括:决定步骤,通过对发送对象的信号进行调制,决定亮度变化的样式;发送步骤,通过由发光体按照所决定的上述样式而进行亮度变化,发送上述发送对象的信号;上述亮度变化的样式是在预先设定的时间宽度中的任意的各位置出现相互不同的两个亮度值中的一方的样式;在上述决定步骤中,对于发送对象的相互不同的信号的每一个,以使上述时间宽度中的作为亮度的上升位置或下降位置的亮度变化位置相互不同的方式,决定上述亮度变化的样式、并且上述时间宽度中的上述发光体的亮度的积分值成为与预先设定的明亮度对应的相同的值。

例如,如图77所示,对于发送对象的相互不同的信号“00”、“01”、“10”及“11”,分别决定亮度变化的样式,以使亮度的上升位置(亮度变化位置)相互不同、并且预先决定的时间宽度(单位时间宽度)中的发光体的亮度的积分值成为与预先决定的明亮度(例如99%或1%等)对应的相同的值。由此,能够对于发送对象的信号分别将发光体的明亮度保持为一定,能够抑制闪变,并且将该发光体摄像的接收机能够基于亮度变化位置将该亮度变化的样式适当地解调。此外,亮度变化的样式由于是在单位时间宽度中的任意的各位置出现相互不同的两个亮度值(亮度h(high)或亮度l(low))中的一方的样式,所以能够使发光体的明亮度连续地变化。

此外,也可以是,上述信息通信方法还包括将多个图像的分别依次切换而显示的图像显示步骤;在上述决定步骤中,每当由上述图像显示步骤显示图像,就通过将与显示的图像对应的识别信息调制为上述发送对象的信号,决定与上述识别信息对应的亮度变化的样式;在上述发送步骤中,每当由上述图像显示步骤显示图像,就通过上述发光体按照对与所显示的图像对应的识别信息决定的亮度变化的样式而进行亮度变化,来发送上述识别信息。

由此,例如如图65所示,每当显示图像,就发送与所显示的图像对应的识别信息,所以用户能够基于显示的图像容易地选择使接收机接收的识别信息。

此外,也可以是,在上述发送步骤中,每当由上述图像显示步骤显示图像,就通过上述发光体还按照对与过去显示的图像对应的识别信息决定的亮度变化的样式而进行亮度变化,将上述识别信息发送。

由此,例如如图66所示,即使是因显示的图像切换而接收机不能接收到在切换前发送的识别信号的情况,由于与当前显示的图像对应的识别信息一起将与过去显示的图像对应的识别信息也发送,所以能够将在切换前发送的识别信息重新由接收机适当地接收。

此外,也可以是,在上述决定步骤中,每当由上述图像显示步骤显示图像,就通过将与所显示的图像对应的识别信息和上述图像被显示的时刻调制为上述发送对象的信号,决定与上述识别信息及上述时刻对应的亮度变化的样式;在上述发送步骤中,每当由上述图像显示步骤显示图像,就通过上述发光体按照对与所显示的图像对应的识别信息及时刻决定的亮度变化的样式而进行亮度变化,将上述识别信息及上述时刻发送,还通过上述发光体按照对与过去显示的图像对应的识别信息及时刻决定的亮度变化的样式而进行亮度变化,将上述识别信息及上述时刻发送。

由此,例如如图66所示,由于每当显示图像时,就将多个id时刻信息(由识别信息及时刻构成的信息)发送,所以接收机能够从接收到的多个id时刻信息中,基于在该id时刻信息的各自中包含的时刻而容易地选择在过去被发送而未能接收到的识别信号。

此外,也可以是,上述发光体具有分别发光的多个区域,上述多个区域中彼此相邻的区域的光相互干涉;在上述多个区域中的仅1个按照所决定的上述亮度变化的样式而进行亮度变化的情况下,在上述发送步骤中,仅上述多个区域中的配置在端部的区域按照所决定的上述亮度变化的样式而进行亮度变化。

由此,例如如图59b的(a)所示,由于仅配置在端部的区域(发光部)亮度变化,所以与仅配置在端部以外的区域亮度变化的情况相比,能够抑制由来自其它区域的光带来的向其亮度变化的影响。结果,接收机能够通过摄影适当地捕捉其亮度变化的样式。

此外,也可以是,在仅上述多个区域中的两个按照所决定的上述亮度变化的样式而进行亮度变化的情况下,在上述发送步骤中,上述多个区域中的配置在端部的区域和与上述配置在端部的区域相邻的区域按照所决定的上述亮度变化的样式而进行亮度变化。

由此,例如如图59的(b)所示,由于配置在端部的区域(发光部)和与该配置在端部的区域相邻的区域(发光部)亮度变化,所以与相互离开的区域亮度变化的情况相比,能够将在空间上连续而进行亮度变化的范围的面积保持得较大。结果,接收机能够通过摄影适当地捕捉该亮度变化的样式。

本实施方式的信息通信方法,是从被拍摄对象取得信息的信息通信方法,包括:信息发送步骤,发送表示在上述被拍摄对象的摄影中使用的图像传感器的位置的位置信息;列表接收步骤,接收与由上述位置信息表示的位置建立了对应的、包含多个识别信息的id列表;曝光时间设定步骤,设定上述图像传感器的曝光时间,以使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间摄影,取得包含上述亮线的亮线图像;信息取得步骤,通过将由在所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;检索步骤,从上述id列表中检索包含所取得的上述信息的识别信息。

由此,例如如图61所示,由于预先接收了id列表,所以即使所取得的信息“bc”仅为识别信息的一部分,也能够基于id列表确定适当的识别信息“abcd”。

此外,也可以是,在上述检索步骤中没有唯一确定包含所取得的上述信息的识别信息的情况下,通过反复进行上述图像取得步骤及上述信息取得步骤,取得新的信息;上述信息通信方法还包括从上述id列表中检索包含所取得的上述信息和上述新的信息的识别信息的再检索步骤。

由此,例如如图61所示,即使是所取得的信息“b”仅为识别信息的一部分、仅通过该信息不能唯一确定识别信息的情况,由于取得新的信息“c”,所以能够基于该新的信息和id列表确定适当的识别信息“abcd”。

本实施方式的信息通信方法,是从被拍摄对象取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,以使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间摄影,取得包含上述亮线的亮线图像;信息取得步骤,通过将由在所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;发送步骤,将所取得的上述识别信息和表示上述图像传感器的位置的位置信息发送;错误接收步骤,在与由上述位置信息表示的位置建立了对应的、包含多个识别信息的id列表中没有所取得的上述识别信息的情况下,接收用来通知错误的错误通知信息。

由此,例如如图63所示,由于在id列表中没有所取得的识别信息的情况下接收错误通知信息,所以接收到该错误通知信息的接收机的用户能够容易地掌握不能得到与该取得的识别信息建立了关联的信息的情况。

(实施方式4)

在本实施方式中,对使用上述实施方式1~3的智能电话等接收机和作为led或有机el等的闪烁样式而发送信息的发送机的各个情形的应用例进行说明。

<情形:店前>

首先,使用图81~图85,对携带着接收机的用户处于悬挂着构成为发送机的广告用的招牌的店铺之前的应用例进行说明。

图81是表示店前的情形中的接收机的动作的一例的图。

例如,用户在携带着构成为智能电话的接收机8300(终端装置)而步行时,发现店铺的招牌8301。该招牌8301是如上述实施方式1~3的某种发送机那样通过亮度变化来发送信号的发送机(被拍摄对象)。这里,用户如果对该店铺有兴趣并且判断为该招牌8301正通过亮度变化来发送信号,则通过操作接收机8300,使该接收机8300的可见光通信用的应用软件(以下称作通信应用)启动。

图82是表示店前的情形中的接收机8300的动作的另一例的图。

接收机8300也可以不受理用户的操作,而使通信应用自动启动。例如,接收机8300通过利用gps或9轴传感器等检测自己的当前地,判断该当前地是否进入了对招牌8301预先设定的特定区域。另外,该特定区域是招牌8301的周边区域。并且,接收机8300如果判断为接收机8300的当前地进入了该特定区域,则使通信应用启动。此外,接收机8300也可以通过利用内置的9轴传感器等来检测将该接收机8300伸出的动作或使接收机8300旋转的动作,来使通信应用启动。由此,能够省去用户的操作,能够提高使用方便性。

图83是表示店前的情形中的接收机8300的下个动作的一例的图。

如上述那样使通信应用启动后的接收机8300将构成为通过亮度变化来发送信号的发送机的招牌8301进行摄像(可见光摄影)。即,接收机8300与招牌8301进行可见光通信。

图84是表示店前的情形中的接收机8300的下个动作的一例的图。

接收机8300通过上述摄像,取得包含亮线的图像。并且,接收机8300通过对由该亮线的样式确定的数据进行解调,取得招牌8301的设备id。即,接收机8300通过实施方式1~15的可见光摄影或可见光通信,从招牌8301取得设备id。进而,接收机8300将该设备id向服务器发送,从服务器取得与该设备id建立了关联的广告信息(服务信息)。

另外,接收机8300也可以从事先保持的多个广告信息中取得与该设备id建立了关联的广告信息。在此情况下,接收机8300在判断为接收机8300的当前地进入了上述特定区域时,将该特定区域或当前地向服务器通知,从服务器事先取得与该特定区域对应的全部的设备id和与该设备id分别建立了关联的广告信息,并将它们保持(高速缓存)。由此,接收机8300当在该特定区域内取得了招牌8301的设备id时,不用特意向服务器请求与该设备id对应的广告信息,就能够从与预先保持的各设备id建立了关联的广告信息中,迅速地取得与该招牌8301的设备id建立了关联的广告信息。

接收机8300如果取得与招牌8301的设备id建立了关联的广告信息,则显示该广告信息。例如,接收机8300显示由招牌8301表示的店铺的优惠券、空席状况、和表示与它们相同的内容的条码。

这里,接收机8300也可以通过可见光通信,不仅取得设备id,还从该招牌8301取得优惠数据。该优惠数据例如表示随机id(随机数)、或者该优惠数据被发送的时刻或时间带等。接收机8300在取得了优惠数据时,将该优惠数据也与设备id一起向服务器发送。并且,接收机8300从服务器取得与该设备id及优惠数据建立了关联的广告信息。由此,接收机8300能够接受根据优惠数据而不同的广告信息。例如,如果将招牌8301摄像时的时间带是早晨,则接收机8300能够取得表示早晨折扣的优惠券的广告信息并显示。即,能够对相同招牌的广告赋予与优惠数据(时间带等)对应的变化。结果,用户能够接受与时间带等相适合的服务的提供。另外,在本实施方式中,将服务信息等信息向用户的提示(显示)称作服务的提供。

此外,接收机8300也可以通过可见光通信,从招牌8301将高精度(误差1m以内)地表示该招牌8301的空间上的配置的3维信息与设备id一起取得。或者,接收机8300也可以从服务器取得与该设备id建立了关联的3维信息。此外,接收机8300也可以代替3维信息或与3维信息一起,取得表示招牌8301的大小的尺寸信息。接收机8300如果取得该尺寸信息,则基于由该尺寸信息表示的招牌8301的大小与在通过摄像得到的图像中映照出的招牌8301的大小的差,计算从接收机8300到招牌8301的距离

此外,接收机8300也可以在将通过可见光通信取得的设备id向服务器发送时,将自己预先保持的保持信息(附属信息)与设备id一起向服务器发送。例如,保持信息是接收机8300的用户的个人信息(性别或年龄等)或用户id。与设备id一起接收到这样的保持信息的服务器将与该设备id建立了关联的至少1个广告信息中的与该保持信息(个人信息或用户id)建立了对应的广告信息向接收机8300发送。即,接收机8300能够获取与个人信息等匹配的店铺的广告信息或与用户id对应的店铺的广告信息等。结果,用户能够接受更有益的服务的提供。

或者,保持信息表示对接收机8300事先设定的接收条件。该接收条件例如在店铺是饮食店的情况下是来客人数。与设备id一起接收到这样的保持信息的服务器将与该设备id建立了关联的至少1个广告信息中的与该接收条件(来客人数)建立了对应的广告信息向接收机8300发送。即,接收机8300能够获取与来客人数匹配的店铺的广告信息,具体而言,能够获取表示与该来客人数对应的空席状况的信息。此外,店铺通过显示根据来店人数或周几、时间带而变更了折扣率的广告信息,能够实现吸引顾客和利益的最优化。

或者,保持信息表示由接收机8300事先检测到的当前地。与设备id一起接收到这样的保持信息的服务器不仅将与该设备id建立了关联的广告信息、还将与该保持信息表示的当前地(当前地和其周边)对应的其它设备id、和与其它设备id建立了关联的广告信息向接收机8300发送。由此,接收机8300能够将其它设备id和与其它设备id建立了关联的广告信息高速缓存。因而,当接收机8300在该当前地(当前地和其周边)在与其它发送机之间进行可见光通信时,不用访问服务器就能够迅速地取得与其它发送机的设备id建立了关联的广告信息。

图85是表示店前的情形中的接收机8300的下个动作的一例的图。

接收机8300如果如上述那样从服务器取得广告信息,则例如作为由该广告信息表示的空席状况,显示记述有“有空席”的按钮。这里,如果用户进行将手指对按钮“有空席”接触的操作,则接收机8300将该操作结果向服务器通知。服务器如果接受到该通知,则进行对招牌8301的店铺的临时预约,将该临时预约完成的情况向接收机8300通知。接收机8300如果从服务器接受到该通知,则代替按钮“有空席”而显示表示临时预约完成的字符串“临时预约”。接收机8300将包括由招牌8301表示的店铺的优惠券、证明已临时预约的字符串“临时预约”、和表示与它们相同的内容的条码在内的图像作为事先取得图像向存储器保存。

这里,服务器按照使用图84及图85说明的动作,能够将有关在招牌8301与接收机8300之间进行的可见光通信的信息进行记录。即,服务器能够将进行了可见光通信的发送机(招牌)的设备id、进行了可见光通信的场所(接收机8300的当前地)、表示进行了可见光通信的时间带等的优惠数据、以及进行了可见光通信的接收机8300的用户的个人信息等进行记录。服务器能够使用所记录的这些信息中的至少1个,解析招牌8301的价值、即招牌8301对店铺的广告及宣传的贡献程度作为广告效果。

<情形:店内>

接着,使用图86~图94,对携带着接收机8300的用户进入了与显示的广告信息(服务信息)对应的店铺的情形中的应用例进行说明。

图86是表示店内的情形中的显示装置的动作的一例的图。

例如,与上述招牌8301进行了可见光通信的接收机8300的用户进入与所显示的广告信息对应的店铺。此时,接收机8300使用可见光通信检测用户进入了与所显示的广告信息对应的店铺(进店)。例如,接收机8300在与招牌8301进行可见光通信后,从服务器取得表示与招牌8301的设备id建立了关联的店铺的所在地的店铺信息。并且,接收机8300判断利用gps或9轴传感器等得到的接收机8300的当前地是否进入了由该店铺信息表示的店铺的所在地。这里,接收机8300通过判断为当前地进入了店铺的所在地,来检测上述进店。

并且,接收机8300如果检测到进店,则例如经由服务器等向显示装置8300b通知进店。或者,接收机8300通过可见光通信或无线通信向显示装置8300b通知进店。显示装置8300b如果接受到该通知,则取得表示由该店铺提供的商品或劳务的菜单等的商品劳务信息,显示由该商品劳务信息表示的上述菜单。另外,显示装置8300b既可以是由接收机8300的用户或店铺的店员携带的便携终端,也可以是装备在店铺中的装置。

图87是表示店内的情形中的显示装置8300b的下个动作的一例的图。

用户从显示在显示装置8300b上的菜单中,选择希望的商品。即,用户进行将手指对菜单中的显示有希望的商品的名称的部分接触的操作。由此,显示装置8300b受理商品选择的操作结果。

图88是表示店内的情形中的显示装置8300b的下个动作的一例的图。

受理了商品选择的操作结果的显示装置8300b将表示所选择的商品的图像及该商品的价格显示。由此,显示装置8300b促使用户确认所选择的商品。另外,上述表示商品的图像及表示商品的价格的信息等例如也可以包含在上述商品劳务信息中。

图89是表示店内的情形中的接收机8300的下个动作的一例的图。

被促使确认的用户进行用来订购该商品的操作。接收机8300如果被进行该操作,则将电子结算所需要的结算信息经由显示装置8300b或服务器向店铺的pos(pintofsale)系统通知。进而,接收机8300判断是否有利用与该店铺的招牌8301的可见光通信取得并保存的上述事先取得图像。接收机8300如果判断为有该事先取得图像,则显示该事先取得图像。

另外,在本情形中使用了显示装置8300b,但也可以不使用显示装置8300b,而接收机8300代之进行显示装置8300b的处理。在此情况下,接收机8300如果检测到进店,则从服务器取得表示由该店铺提供的商品或劳务的菜单等的商品劳务信息,将由该商品劳务信息表示的上述菜单显示。此外,接收机8300如果受理了用来订购商品的操作,则将订购的商品和电子结算所需要的结算信息经由服务器向店铺的pos系统通知。

图90是表示店内的情形中的接收机8300的下个动作的一例的图。

店铺的店员将pos系统的条码扫描仪8302罩在显示于该接收机8300上的事先取得图像的条码上。条码扫描仪8302将该事先取得图像的条码读取。结果,pos系统进行与由该条码表示的优惠券对应的电子结算。并且,pos系统的条码扫描仪8302将表示电子结算完成的结算完成信息通过亮度变化向接收机8300发送。即,条码扫描仪8302还具有作为可见光通信的发送机的功能。接收机8300如果通过可见光通信取得结算完成信息,则显示该结算完成信息。该结算完成信息例如表示“感谢购买”这样的消息和结算的金额。通过进行这样的电子结算,pos系统、服务器及接收机8300能够判断出,在与显示于店铺前的广告信息(服务信息)对应的店铺,用户利用了由该广告信息表示的服务。

如以上这样,通过图86~图90所示那样的接收机8300及pos系统等的动作,进行店内的商品的订购。因而,用户只要进入店铺,就能够从自动显示在显示装置8300b或接收机8300上的该店铺的菜单进行商品的订购。即,店铺的店员不需要给用户看菜单就直接从用户受理商品的订购。结果,能够大幅削减店员的负担。此外,在上述例子中,条码扫描仪8302将条码读入,但也可以不使用条码扫描仪8302。例如,接收机8300也可以将条码所表示的信息经由服务器向pos系统发送。并且,接收机8300也可以经由服务器从该pos系统取得结算完成信息。由此,能够将店员的作业进一步削减,用户能够不经由店员而进行商品的订购。或者,也可以是显示装置8300b和接收机8300以可见光通信将订购或核款的数据交换,或通过使用利用可见光通信交换的密钥的无线通信将上述数据交换。

此外,招牌8301也有由属于连锁店的多个店铺中的1个店铺发出的情况。在这样的情况下,使用与招牌8301的可见光通信取得的广告信息能够在属于连锁店的全部的店铺中利用。但是,即使在相同的连锁店中,也可以在发出招牌8301的店铺(广告店铺)和没有发出的店铺(非广告店铺)间、在用户接受的服务上设置差异。例如,在用户进入了非广告店铺的情况下,用户接受如事先取得图像所示的优惠券那样的折扣率(例如20%)的服务,在用户进入到广告店铺的情况下,接受比该优惠券的折扣率高的折扣率(例如30%)的服务。即,接收机8300在检测到向广告店铺的进店的情况下,从服务器取得表示10%的进一步折扣的附加性的服务信息,代替图89所示的事先取得图像而显示表示30%(20%+10%)的折扣率的图像。另外,接收机8300基于从服务器取得的上述店铺信息,检测用户进入了广告店铺中还是进入了非广告店铺中。在店铺信息中,与属于连锁店的多个店铺的各自的所在地一起示出这些店铺是广告店铺还是非广告店铺。

此外,在相同的连锁店中有多个非广告店铺的情况下,也可以在各个非广告店铺间在用户接受的服务上设置差异。例如,向进入到非广告店铺中的用户提供与从招牌8301的位置、或从与招牌8301进行可见光通信时的接收机8300的当前地到该非广告店铺为止的距离对应的服务。或者,向进入到该非广告店铺中的用户提供与接收机8300和招牌8301进行可见光通信的时刻与用户进入到非广告店铺中的时刻的差(时间差)对应的服务。即,接收机8300从服务器取得根据上述距离(招牌8301的位置)和时间差而不同的、表示进一步的折扣的附加性的服务信息,代替图89所示的事先取得图像而显示表示反映了进一步的折扣的折扣率(例如30%)的图像。另外,这样的服务由服务器或pos系统、或者由它们相互协同来决定。此外,这样的服务也可以没有广告店铺及非广告店铺的区别,而对属于连锁店的全部的店铺适用。

此外,在用户进入非广告店铺而进行了利用广告信息的订购的情况下,非公告店铺的pos系统也可以将通过订购得到的金额的一部分返还给广告店铺的pos系统。

进而,服务器在每当显示广告信息时,能够判定该广告信息是否已被利用,并通过将该判定出的结果累积,能够解析招牌8301的广告效果。此外,服务器还能够通过将招牌8301的位置、显示广告信息的时刻、利用广告信息的店铺的位置、利用广告信息的时刻及用户的进店时刻中的至少1个累积,来实现招牌8301的广告效果的解析精度的提高,并能够找到广告效果最高的招牌8301的位置。

此外,接收机8300也可以从服务器取得表示广告信息被利用于商品订购的利用次数量的进一步的折扣的附加性的服务信息,代替图89所示的事先取得图像而显示表示反映了该利用次数量的进一步的折扣的折扣率(例如30%)的图像。例如,服务器也可以与pos系统协同来进行利用次数越多则使折扣率越高那样的服务。

此外,服务器也可以在由接收机8300接收到与由店铺发出的全部的招牌8301的设备id分别建立了关联的广告信息的情况(全部的广告信息的取得完成的情况)下,向进入到该招牌8301的店铺中的用户提供特别服务。特别服务例如是折扣率很高的服务、或将订购商品以外的商品免费提供的服务。即,如果接收机8300检测到用户的进店,则服务器对于与该店铺建立了关联的全部的招牌分别判断接收机8300是否进行了包括可见光通信等的处理。并且,在判断为进行了该处理的情况下,接收机8300从服务器取得表示进一步的折扣的附加性的服务信息作为上述特别服务,代替图89所示的事先取得图像而显示表示反映了进一步的折扣的折扣率(例如50%)的图像。

此外,接收机8300也可以从服务器取得根据与招牌8301进行可见光通信而显示广告信息的时刻和用户进入到店铺中的时刻的差而不同的、表示进一步的折扣率的附加性的服务信息,代替图89所示的事先取得图像而显示表示反映了进一步的折扣的折扣率(例如30%)的图像。例如,接收机8300从服务器取得该差越小则表示越高的折扣率的附加性的服务信息。

图91是表示店内的情形中的接收机8300的下个动作的一例的图。

结束了订购及电子结算的接收机8300接收从构成为店铺内的照明设备的发送机通过亮度变化发送的信号,通过将该信号向服务器发送,取得表示用户的座席位置(例如黑圈)的店铺内的导引图。进而,接收机8300与上述实施方式1~3的任一个同样,使用该接收到的信号确定接收机8300的位置。并且,接收机8300将所确定的接收机8300的位置(例如星号)显示到导引图中。由此,用户能够容易地掌握在店铺内怎样前进能到达自己的座席。

此外,接收机8300在用户移动时,也通过与构成为店铺内的照明设备的附近的发送机进行可见光通信,随时进行上述那样的接收机8300的位置的确定。因而,接收机8300将显示的接收机8300的位置(例如星号)依次更新。由此,能够将用户适当地导引到座席。

图92是表示店内的情形中的接收机8300的下个动作的一例的图。

如果用户到达座席,则接收机8300通过与构成为照明设备的发送机8303进行可见光通信,确定接收机8300的位置,判断为该位置处于用户的座席位置。并且,接收机8300将已到达座席的情况与用户名或昵称一起经由服务器向店铺内的终端通知。由此,店员能够掌握哪个用户坐在哪个座席。

图93是表示店内的情形中的接收机8300的下个动作的一例的图。

发送机8303通过亮度变化,发送包括顾客id和通知订购商品已备好的消息的信号。另外,接收机8300例如在从服务器取得表示商品的菜单等的商品劳务信息时,从服务器也取得并保持上述顾客id。接收机8300通过将发送机8303可见光摄影,接收上述信号。进而,接收机8300判断该信号中包含的顾客id是否与预先保持的顾客id一致。这里,接收机8300如果判断为一致,则将在该信号中包含的消息(例如“商品已备好”)显示。

图94是表示店内的情形中的接收机8300的下个动作的一例的图。

将订购商品送达用户的座席的店员为了证明送达了该订购商品,将手持终端8302a朝向接收机8300。手持终端8302a构成为发送机,将表示送达了订购商品的信号通过亮度变化向接收机8300发送。接收机8300通过将手持终端8302a摄像而接收该信号,将由该信号表示的消息(例如“请用餐”)显示。

<情形:寻找店铺>

接着,使用图95~图97,对携带着接收机8300的用户寻找有兴趣的店铺的情形中的应用例进行说明。

图95是表示寻找店铺的情形中的接收机8300的动作的一例的图。

用户发现登载着有兴趣的饮食店的标牌8304。此时,用户如果判断为该标牌8304正通过亮度变化来发送信号,则与图81所示的例子同样,通过操作接收机8300,使该接收机8300的通信应用启动。另外,也可以与图82所示的例子同样,接收机8300使通信应用自动启动。

图96是表示寻找店铺的情形中的接收机8300的下个动作的一例的图。

接收机8300通过将标牌8304的整体或标牌8304中的登载着用户有兴趣的饮食店的部分进行摄像,接收用来识别该标牌8304或该饮食店的id。

图97是表示寻找店铺的情形中的接收机8300的下个动作的一例的图。

接收机8300如果接收到上述id,则将该id向服务器发送,从服务器取得与该id建立了关联的广告信息(服务信息)并显示。此时,接收机8300也可以将进入饮食店的预定人数(附属信息)与该id一起向服务器通知。由此,接收机8300能够取得与该人数对应的广告信息。例如,接收机8300能够取得表示在该饮食店中是否有该通知的人数量的空席的广告信息。

<情形:电影广告>

接着,使用图98~图101,对携带着接收机8300的用户处于登载着有兴趣的电影广告的标牌前的情形中的应用例进行说明。

图98是表示电影广告的情形中的接收机8300的动作的一例的图。

用户发现登载着有兴趣的电影广告的标牌8305、和例如构成为液晶显示器且显示电影广告用的运动图像的标牌8306。标牌8305例如具备描绘有表示电影广告的图像的透射性的薄膜、和配置在该薄膜的背面侧并将该薄膜照明的多个led。即,该标牌8305通过多个led的发光,将描绘在薄膜上的图像作为静止图像明亮地显示。此外,该标牌8305构成为通过亮度变化来发送信号的发送机。

这里,用户如果判断该标牌8305正通过亮度变化来发送信号,则与图81所示的例子同样,通过操作接收机8300,使该接收机8300的通信应用启动。另外,也可以与图82所示的例子同样,接收机8300使通信应用自动启动。

图99是表示电影广告的情形中的接收机8300的下个动作的一例的图。

接收机8300通过将标牌8305摄像,取得该标牌8305的id。并且,接收机8300将该id向服务器发送,将与该id建立了关联的电影广告用的运动图像数据作为服务信息从服务器下载并再现。

图100是表示电影广告的情形中的接收机8300的下个动作的一例的图。

通过如上述那样下载的运动图像数据的再现而显示的运动图像,例如与由标牌8306显示的运动图像相同。因而,用户在想要观看电影广告用的运动图像的情况下,不用站立在标牌8306前而能够在任意的场所观看该运动图像。

图101是表示电影广告的情形中的接收机8300的下个动作的一例的图。

接收机8300不仅将运动图像数据,还可以与该运动图像数据一起将表示电影的上映时间等的上映信息也作为服务信息下载。由此,接收机8300能够将上映信息的内容显示并向用户通知,并且能够与其它终端(其它智能电话等)共享该上映信息。

<情形:美术馆>

接着,使用图102~图107,对携带着接收机8300的用户进入美术馆鉴赏馆内的各展示物的情形中的应用例进行说明。

图102是表示美术馆的情形中的接收机8300的动作的一例的图。

用户例如在要向美术馆入馆时,发现挂在该美术馆的入口处的导引公告板8307。此时,用户如果判断为该导引公告板8307正通过亮度变化来发送信号,则与图81所示的例子同样,通过操作接收机8300,使该接收机8300的通信应用启动。另外,也可以与图82所示的例子同样,接收机8300使通信应用自动启动。

图103是表示美术馆的情形中的接收机8300的下个动作的一例的图。

接收机8300通过将导引公告板8307摄像,取得该导引公告板8307的id。并且,接收机8300将该id向服务器发送,作为与该id建立了关联的服务信息而将该美术馆的导引用应用程序(以下称作美术馆应用)从服务器下载并使其启动。

图104是表示美术馆的情形中的接收机8300的下个动作的一例的图。

如果美术馆应用启动,则接收机8300按照该美术馆应用,显示美术馆内的导引图。进而,接收机8300与上述实施方式1~3的某一个同样,确定接收机8300的美术馆中的位置。并且,接收机8300将所确定的接收机8300的位置(例如星号)显示在导引图中。

接收机8300为了如上述那样确定位置,例如在下载美术馆应用时,从服务器取得表示导引公告板8307的大小及形状等的形态信息。并且,接收机8300基于由该形态信息表示的导引公告板8307的大小及形状、和在通过上述摄像得到的图像中映照出的导引公告板8307的大小及形状,按照三角测量的方法等,确定接收机8300相对于导引公告板8307的相对位置。

图105是表示美术馆的情形中的接收机8300的下个动作的一例的图。

如上述那样启动了美术馆应用的接收机8300,如果用户进入到美术馆内,则通过与处于美术馆内的构成为照明设备的近处的发送机进行可见光通信,随时进行接收机8300的位置的确定。例如,接收机8300通过将构成为照明设备的发送机8308摄像,从该发送机8308取得发送机8308的id。并且,接收机8300从服务器取得与该id建立了关联的表示发送机8308的位置的位置信息、和表示发送机8308的大小及形状等的形态信息。并且,接收机8300基于由该形态信息表示的发送机8308的大小及形状、和在通过上述摄像得到的图像中映照出的发送机8308的大小及形状,按照三角测量的方法等,推测接收机8300相对于发送机8308的相对位置。此外,接收机8300基于从服务器取得的位置信息所表示的发送机8308的位置、和如上述那样推测出的接收机8300的相对位置,确定接收机8300在美术馆中的位置。

并且,接收机8300每当进行了接收机8300的位置的确定,就使显示的星号移动到所确定的最新的位置。由此,进入到美术馆中的用户只要看到显示在接收机8300上的导引图和星号,就能够容易地掌握自己处于美术馆的何处。

图106是表示美术馆的情形中的接收机8300的下个动作的一例的图。

进入到美术馆内的用户如果发现有兴趣的展示物8309,则进行将该接收机8300罩向展示物8309的动作,以使接收机8300能够将该展示物8309摄像。这里,展示物8309被照明设备8310的光照亮。此外,照明设备8310是对于展示物8309专用的,构成为通过亮度变化来发送信号的发送机。因而,展示物8309被亮度变化的光照亮,将来自照明设备8310的信号间接地发送。

接收机8300如果基于来自例如内置的9轴传感器的输出而检测到将接收机8300罩向展示物8309的动作,则通过将该展示物8309摄像,接收来自照明设备8310的信号。该信号例如表示展示物8309的id等。并且,接收机8300从服务器取得与该id建立了关联的展示物8309的介绍信息(服务信息)。该介绍信息表示用来介绍展示物8309的图,并将用于介绍的文章通过日语、英语及法语等的各国语言表示。

接收机8300如果从服务器取得介绍信息,则将由该介绍信息表示的图和文章显示。这里,接收机8300在将文章显示时,从各国语言的文章中,提取由用户预先设定的语言的文章,仅显示该语言的文章。此外,接收机8300也可以通过用户的选择操作来变更该语言。

图107是表示美术馆的情形中的接收机8300的下个动作的一例的图。

接收机8300如果通过用户的操作结束了介绍信息的图及文章的显示,则再次通过与构成为照明设备的近处的发送机(例如照明设备8311)进行可见光通信,进行接收机8300的位置的确定。并且,接收机8300如果确定了接收机8300的新的位置,则使显示的星号移动到该确定的新的位置。由此,鉴赏完展示物8309的用户通过观看显示在接收机8300上的导引图和星号,能够容易地向下个想要鉴赏的展示物移动。

<情形:公共汽车停靠站>

接着,使用图108~图109,对携带着接收机8300的用户处于公共汽车停靠站的情形中的应用例进行说明。

图108是表示公共汽车停靠站的情形中的接收机8300的动作的一例的图。

用户例如为了乘公共汽车而来到公共汽车停靠站。在此,用户如果判断为处于该公共汽车停靠站的标识塔8312正通过亮度变化来发送信号,则与图81所示的例子同样,通过操作接收机8300,使该接收机8300的通信应用启动。另外,也可以与图82所示的例子同样,接收机8300使通信应用自动启动。

图109是表示公共汽车停靠站的情形中的接收机8300的下个动作的一例的图。

接收机8300通过将标识塔8312摄像,取得该标识塔8312所处的公共汽车停靠站的id。并且,接收机8300将该id向服务器发送,从服务器取得与该id建立了关联的运行状况信息。另外,该运行状况信息是表示交通状况的信息,是表示向用户提供的服务的服务信息。

这里,服务器通过从在包括该公共汽车停靠站的地域中运行的各公共汽车收集信息,管理这些公共汽车的运行状况。因而,服务器当从接收机8300取得了公共汽车停靠站的id时,基于管理的运行状况,推测公共汽车到达该id的公共汽车停靠站的时间,将表示该推测出的时间的运行状况信息向接收机8300发送。

取得了运行状况信息的接收机8300将由该运行状况信息表示的时间如例如“还有10分钟到达”那样显示。由此,用户能够容易地掌握公共汽车的运行状况。

(补充)

在摄像侧的扫描方向是便携终端的垂直方向(上下方向)的情况下,如果使曝光时间较短而摄像,则对于led的照明装置整体的开启/关闭,如图110的(a)那样,能够在与扫描方向相同的方向上摄像出作为黑白的样式的亮线。在图110的(a)中,由于将纵长的led照明装置的长边方向以相对于摄像侧的扫描方向为垂直的方式摄像(便携终端的左右方向),所以能够在与扫描方向相同的方向上摄像出许多黑白样式的亮线。即,能够使能够发送接收的信息量变大。另一方面,如图110的(b)那样,在将纵长的led照明装置以相对于摄像侧的扫描方向为平行的方式摄像的情况(便携终端的上下方向),能够摄像的黑白样式的亮线变少。即,能够发送的信息量变少。

这样,根据相对于摄像侧的扫描方向的led照明装置的朝向,产生能够摄像出许多黑白样式的亮线的情况(将纵长的led照明装置的长边方向以相对于摄像侧的扫描方向为垂直的方式摄像的情况)、和仅能够摄像出少量的黑白样式的亮线的情况(使纵长的led照明装置的长边方向相对于摄像侧的扫描方向为平行的情况)。

在本实施方式中,说明即使在仅能够摄像少量的黑白样式的亮线的情况下也能够摄像许多亮线的照明装置的控制方法。

在图111中表示在纵向上配设有多个led的照明装置和其驱动信号的一例。图111的(a)是在纵向上配设有多个led的照明装置。设各led元件相当于将可见光通信信号编码的横条纹的最小单位,相当于编码后的开启/关闭信号。这样,生成黑白的样式,通过将各led元件开启/关闭而照明,摄像侧的扫描方向与纵长的led照明装置的长边方向是并行的,能够将led元件单位的黑白样式摄影。

图111的(c)及(d)表示生成黑白的样式、将各led元件开启/关闭而照明的例子。在照明装置中,如果作为黑白的样式照明,则尽管是短时间但有光亮中发生不匀的情况。因此,表示生成反相位的样式并交替地照明的例子的为图111的(c)及(d)。在图111的(c)中为开启的元件在图111的(d)中为关闭,在图111的(c)中为关闭的元件在图111的(d)中为开启。通过这样将黑白的样式将正相位的样式和反相位的样式依次交替而照明,不会发生光亮的不匀,并且不受摄像侧的扫描方向与照明装置的朝向的关系的影响,在可见光通信中能够收发较多的信息。此外,并不限于交替地生成正相位的样式、反相位的样式这两种样式而照明的情况,也可以考虑生成3种以上的样式而照明的情况。图112表示将4种样式依次照明的例子。

通常,也可以考虑led照明整体进行闪烁(图111的(b))、以预定时间生成黑白样式而以led元件单位照明的结构。例如,可以考虑在预定的数据单位的收发的时间中led照明整体进行闪烁、然后在短时间中以led元件单位照明黑白样式的结构。这里,预定的数据单位例如是指从第1头到接下来的第2头的数据单位。此时,在图110的(a)的方向上摄像的情况下从将led照明整体的闪烁进行了摄像的亮线接收信号,在图110的(b)的方向上接收的情况下从led元件单位的发光样式接收信号。

另外,本实施方式并不限定于led照明装置,只要是与led元件同样能够以较小的元件单位控制开启/关闭的元件,是怎样的元件都可以。此外,并不限于照明装置,也可以是电视机、投影仪、或标牌等装置。

此外,在本实施方式中,对以黑白样式照明的例子进行了说明,但也可以不是黑白样式而使用颜色。例如,也可以使rgb中的rg总是点灯、仅使用b来闪烁。与r及g相比,仅使用b时不易被人辨识,能够抑制闪变。作为另一例,也可以代替黑白样式而使用在加法混色中为互补色的颜色(红和青绿的样式、绿和洋红的样式、黄和蓝的样式等)来显示开启/关闭。通过使用在加法混中为互补色的颜色,能够抑制闪变。

此外,在本实施方式中,使用将led元件1维地配置的例子进行了说明,但也可以不是将led元件1维地排列,而是2维地配置,如2维条码那样进行显示。

(本实施方式的总结)

本实施方式的服务提供方法,使用具备具有多个曝光线的图像传感器的终端装置向上述终端装置的用户提供服务,包括:图像取得步骤,将上述图像传感器的各曝光线的曝光依次在不同的时刻开始,并且以1/480秒以下的曝光时间进行被拍摄对象的摄影以使上述各曝光线的曝光时间在与相邻的曝光线之间具有局部的时间上的重叠,由此取得图像数据;可见光通信步骤,通过将上述图像数据中出现的、与上述各曝光线对应的亮线样式解调,取得上述被拍摄对象的识别信息;以及服务提示步骤,将与上述被拍摄对象的识别信息建立了关联的服务信息向上述用户提示。

由此,利用被拍摄对象及终端装置分别作为发送机及接收机而相互通信,向终端装置的用户提示与被拍摄对象关联的服务信息,所以能够将对于用户而言有益的信息作为服务以多种形态向该用户提供。例如,在上述服务提示步骤中,将与上述被拍摄对象关联的店铺的广告、表示空席状况或预约状况的信息、表示商品或劳务的价格的折扣率的信息、电影广告用的运动图像、表示上映时间的信息、用来在建筑物内部导引的信息、用来介绍展示物的信息、和表示交通状况的信息中的至少1个作为上述服务信息提示。

此外,也可以是,上述服务提供方法还包括:识别信息发送步骤,上述终端装置将上述被拍摄对象的识别信息向服务器发送;以及服务取得步骤,上述终端装置从上述服务器取得与上述被拍摄对象的识别信息建立了关联的上述服务信息;在上述服务提示步骤中,上述终端装置将所取得的上述服务信息向上述用户提示。

由此,能够将服务信息与被拍摄对象的识别信息建立关联而使服务器管理,所以能够使服务信息的更新等的维护变容易。

此外,也可以是,在上述识别信息发送步骤中,与上述被拍摄对象的识别信息一起将附属信息向上述服务器发送;在上述服务取得步骤中,取得与上述被拍摄对象的识别信息和上述附属信息建立了关联的上述服务信息。

由此,能够提供与附属信息对应的、对于用户而言更适当的服务。例如,如使用图84及图97说明的动作那样,在上述识别信息发送步骤中,将上述用户的个人信息、上述用户的识别信息、表示包括上述用户的组的人数的人数信息或表示上述终端装置的位置的位置信息作为上述附属信息发送。

此外,也可以是,上述服务提供方法还包括:位置发送步骤,上述终端装置将表示上述终端装置的位置的位置信息向服务器发送;以及事先取得步骤,上述终端装置从上述服务器取得并保持处于包括由上述位置信息表示的位置的预定的范围中的至少1个设备的识别信息、和与上述识别信息分别建立了关联的至少1个服务信息;在上述服务提示步骤中,上述终端装置从在上述事先取得步骤中保持的上述至少1个服务信息之中,选择与上述被拍摄对象的上述识别信息建立了关联的服务信息,将该服务信息向上述用户提示。

由此,例如如使用图82说明的动作那样,当终端装置取得了被拍摄对象的识别信息时,其后不用与服务器等通信就能够从预先保持的至少1个服务信息之中取得与该被拍摄对象的识别信息建立了关联的服务信息并提示。因而,能够使服务的提供高速化。

此外,也可以是,上述服务提供方法还包括:进店判别步骤,通过确定上述用户的位置,判别上述用户是否进入到与在上述服务提示步骤中提示的服务信息对应的店铺中;以及商品劳务提示步骤,当在上述进店判别步骤中判别为上述用户进入到上述店铺中时,上述终端装置从服务器取得关于上述店铺的商品或劳务的商品劳务信息,并向上述用户提示。

由此,如使用例如图86~图90说明的动作那样,如果用户进入到店铺中,则能够将店铺的菜单等作商品劳务信息自动地向用户提示。因而,店铺的店员不需要将菜单等向用户提示,用户便能够对店铺简单地进行订购。

此外,也可以是,上述服务提供方法还包括:进店判别步骤,通过确定上述用户的位置,判别上述用户是否进入到与在上述服务提示步骤中提示的服务信息对应的店铺中;以及附加服务提示步骤,当在上述进店判别步骤中判别为上述用户进入到上述店铺中时,上述终端装置向上述用户提示根据上述被拍摄对象的位置及上述服务信息被提示的时刻中的至少一方而不同的上述店铺的附加性的服务信息。

由此,如使用例如图86~图90说明的处理那样,被拍摄对象距用户进入的店铺越近,或者用户进入到店铺中的时刻与服务信息被提示的时刻(或进行了被拍摄对象的摄影的时刻)越接近,越能够将对于用户而言更有益的服务信息作为附加性的服务信息向该用户提示。具体而言,有属于连锁店的多个店铺分别是与在服务提示步骤中提示的服务信息对应的店铺、由这些店铺中的1个店铺(广告店铺)发出了作为被拍摄对象的招牌的情况。在这样的情况下,属于上述连锁店的多个店铺中的广告店铺典型地处于距该被拍摄对象(招牌)最近的位置。因而,被拍摄对象距用户进入的店铺越近,或者用户进入到店铺中的时刻与服务信息被提示的时刻越接近,用户进入的店铺是广告店铺的可能性越高。所以,在用户进入到广告店铺中的可能性较高的情况下,能够将对于用户而言更有益的服务信息作为附加性的服务信息向该用户提示。

此外,也可以是,上述服务提供方法还包括:进店判别步骤,通过确定上述用户的位置,判别上述用户是否进入到与在上述服务提示步骤中提示的服务信息对应的店铺中;以及附加服务提示步骤,当在上述进店判别步骤中判别为上述用户进入到上述店铺中时,上述终端装置向上述用户提示根据上述用户在上述店铺中利用了由上述服务信息表示的服务的次数而不同的上述店铺的附加性的服务信息。

由此,如使用例如图86~图90说明的动作那样,服务的利用次数越多,越能够将对于用户而言更有益的服务信息作为附加性的服务信息向该用户提示。例如可以是,如果表示商品价格的20%折扣的服务信息的利用次数超过阈值,则将表示10%的进一步的折扣的附加性的服务信息向用户提示。

此外,也可以是,上述服务提供方法还包括:进店判别步骤,通过确定上述用户的位置,判别上述用户是否进入到与在上述服务提示步骤中提示的服务信息对应的店铺中;完全判断步骤,当在上述进店判别步骤中判别为上述用户进入到了上述店铺中时,判断是否对与上述店铺建立了关联的上述被拍摄对象以外的全部的其它被拍摄对象分别也进行了包括上述图像取得步骤、上述可见光通信步骤以及上述服务提示步骤的处理;以及附加服务提示步骤,当在上述完全判断步骤中判断为进行了上述处理时,上述终端装置向上述用户提示上述店铺的附加性的服务信息。

由此,如使用例如图86~图90说明的动作那样,例如店铺将一些被拍摄对象作为招牌发出,在对这些招牌的全部进行了图像取得步骤、可见光通信步骤及服务提示步骤的情况下,能够将对于用户而言最有益的服务信息作为附加性的服务信息向该用户提示。

此外,也可以是,上述服务提供方法还包括:进店判别步骤,通过确定上述用户的位置,判别上述用户是否进入到与在上述服务提示步骤中提示的服务信息对应的店铺中;以及附加服务提示步骤,当在上述进店判别步骤中判别为上述用户进入到上述店铺中时,上述终端装置向上述用户提示根据上述服务信息被提示的时刻与上述用户进入到上述店铺中时刻的差而不同的上述店铺的附加性的服务信息。

由此,如使用例如图86~图90说明的动作那样,服务信息被提示的时刻(或进行了被拍摄对象的摄影的时刻)与用户进入到店铺中的时刻的差越小,越能够将对于用户而言更有益的服务信息作为附加性的服务信息向该用户提示。即,能够对从通过被拍摄对象的摄像接受服务信息的提示起到进店为止的时间较短的用户附加地提供更有益的服务。

此外,也可以是,上述服务提供方法还包括:利用判断步骤,判断在与上述服务提示步骤中提示的服务信息对应的店铺中上述用户是否利用了由上述服务信息表示的服务;以及解析步骤,每当上述服务信息被提示,就将在上述利用判断步骤中判断的结果累积,基于累积的内容解析上述被拍摄对象的广告效果。

如使用例如图86~图90说明的动作那样,在服务信息中示出商品价格的20%折扣等的服务的情况下,判断该服务是否通过例如电子结算而被利用。即,每当在被拍摄对象的摄像时向用户提供服务,就判断该服务是否被利用。结果,例如在判断为被利用的情况较多的情况下,能够解析为被拍摄对象的广告效果较高。即,能够基于利用结果适当地解析被拍摄对象的广告效果。

此外,也可以是,在上述解析步骤中,与在上述利用判断步骤中判断出的结果一起,将上述被拍摄对象的位置、上述服务信息被提示的时刻、上述店铺的位置及上述用户进入到上述店铺中的时刻中的至少1个累积,基于累积的内容解析上述被拍摄对象的广告效果。

由此,能够将被拍摄对象的广告效果更详细地解析。例如在改变了被拍摄对象的位置的情况下,能够将改变位置的前后的广告效果比较,结果,能够将被拍摄对象发出到广告效果较高的位置。

此外,也可以是,上述服务提供方法还包括:利用判断步骤,判断在与在上述服务提示步骤中提示的服务信息对应的店铺中上述用户是否利用了由上述服务信息表示的服务;店铺判断步骤,当在上述利用判断步骤中判断为利用了上述服务时,判断作为利用了上述服务的店铺的利用店铺是否是与上述被拍摄对象建立了关联的特定店铺;以及返还步骤,当在上述店铺判断步骤中判断为上述利用店铺不是上述特定店铺时,将在上述利用店铺中利用上述服务而结算的金额的至少一部分使用电子商务交易向上述特定店铺返还。

由此,即使如使用例如图86~图90说明的动作那样,即使在没有在特定店铺(例如发出作为被拍摄对象的招牌的广告店铺)利用服务的情况下,特定店铺也能够作为例如对作为被拍摄对象的招牌的设置的补偿而得到利益。

此外,也可以是,在上述服务提示步骤中,在上述图像取得步骤中摄影了被亮度变化的光照射的上述被拍摄对象的情况下,上述终端装置向上述用户提示用来介绍上述被拍摄对象的上述服务信息,在上述图像取得步骤中将亮度变化的照明设备作为上述被拍摄对象摄影的情况下,上述终端装置向上述用户提示用来在配置有上述被拍摄对象的建筑物内部进行导引的上述服务信息。

由此,如使用例如图105及图106说明的动作那样,能够将例如美术馆等的馆内的导引服务和作为被拍摄对象的展示物的介绍服务适当地向用户提供。

此外,本实施方式的信息通信方法,从具有多个发光元件的被拍摄对象取得信息,包括:曝光时间设定步骤,设定图像传感器的曝光时间,以使得在通过上述图像传感器对上述被拍摄对象进行摄影而得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的各曝光线对应的亮线;图像取得步骤,上述图像传感器在设定的上述曝光时间中摄影按照用来表示第1信息的亮度变化的样式而上述多个发光元件的全部以相同的方式亮度变化的上述被拍摄对象,由此取得作为包含上述亮线的图像的亮线图像;第1信息取得步骤,将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据进行解调,由此取得上述第1信息;以及第2信息取得步骤,将上述多个发光元件分别以相互不同的两个亮度值中的一方的亮度值发光的上述被拍摄对象摄影,将由通过摄影得到的图像中表示的、沿着与上述曝光线平行的方向的亮度的明暗的排列确定的数据进行解调,由此取得第2信息。

或者,本实施方式的信息通信方法,通过亮度变化来发送信号,包括:决定步骤,通过将发送对象的第1信号调制,决定亮度变化的样式;第1发送步骤,按照所决定的上述亮度变化的样式,发光体具有的多个发光元件的全部以相同的方式亮度变化,由此发送上述第1信号;以及第2发送步骤,上述多个发光元件分别以相互不同的两个亮度值中的一方的亮度值发光,在配置有上述发光体的空间上呈现亮度的明暗的排列,由此将发送对象的第2信号发送。

由此,如使用例如图110~图112说明的动作那样,即使作为被拍摄对象或发光体的照明装置是具备排列为一列的多个led的细长的结构,接收机也能够与摄影的朝向无关地适当地取得来自该照明装置的信息或信号。即,在接收机所具备的图像传感器的曝光线(摄像侧的操作方向)与多个led的排列方向不平行的情况下,接收机能够根据照明装置的整体的亮度变化,适当地取得信息或信号。进而,接收机在曝光线与上述排列方向平行的情况下,接收机也能够根据沿着与曝光线平行的方向的亮度的明暗的排列,适当地取得信息或信号。换言之,能够抑制摄像的朝向对于信息的接收的依赖性。

(实施方式5)

在本实施方式中,对使用上述实施方式1~4的智能电话等的接收机、和作为led或有机el等的闪烁样式发送信息的发送机的应用例进行说明。

图113是表示实施方式5的发送机的动作的一例的图。

发送机8321、发送机8322及发送机8323分别具备与上述实施方式1~4的任一种发送机同样的功能,构成为通过亮度变化而发送信号(可见光通信)的照明设备。此外,这些发送机8321~8323通过分别以相互不同的频率进行亮度变化来发送信号。例如,发送机8321通过以频率a(例如9200hz)进行亮度变化来发送该发送机8321的id“1000”,发送机8322通过以频率b(例如9600hz)进行亮度变化来发送该发送机8322的id“2000”,发送机8323通过以频率c(例如10000hz)进行亮度变化来发送该发送机8323的id“3000”。

接收机以这些发送机8321~8323全部包含在视角中的方式,将发送机8321~8323与上述实施方式1~4同样地摄像(可见光摄影)。在通过该摄像得到的图像中,显现与各发送机对应的亮线样式。另外,根据亮线样式,能够确定与该亮线样式对应的发送机的亮度变化的频率。

这里,假如在发送机8321~8323各自的频率相同的情况下,根据与发送机分别对应的亮线样式确定的频率也相同。进而,在这些亮线样式相互相邻的情况下,根据这些亮线样式确定的频率也相同,所以难以将这些亮线样式区别。

所以,如上述那样,通过发送机8321~8323以相互不同的频率进行亮度变化,接收机能够将这些亮线样式容易地区别,通过将由各自的亮线样式确定的数据解调,能够适当地取得发送机8321~8323各自的id。即,接收机能够将来自发送机8321~8323的信号适当地区别。

另外,发送机8321~8323各自的频率既可以由遥控器设定,也可以随机地设定。此外,也可以是发送机8321~8323分别与旁边的发送机通信,自动地设定自身发送机的频率以使其与旁边的通信机的频率不同。

图114是表示实施方式5的发送机的动作的一例的图。

在上述例子中,发送机以分别不同的频率进行亮度变化,但在有5个以上的发送机的情况下,也可以不以分别不同的频率进行亮度变化。即,5个以上的发送机只要分别以4种频率中的某1个频率进行亮度变化就可以。

例如,如图114所示,即使是与5个以上的发送机分别对应的亮线样式(图114中的矩形区域)相邻的状况,频率的种类也不是需要发送机的数量,而是只要有4种(频率a、b、c、d),就能够使相互相邻的亮线样式的频率可靠地不同。这由四色问题或四色定理给出理由。

即,在本实施方式中,多个发送机分别以至少4种频率中的某1个频率进行亮度变化,多个发送机中的两个以上的发光体以相同的频率进行亮度变化。此外,在向接收机的图像传感器的受光面投影该多个发送机的情况下,该多个发送机分别亮度变化,以使得在该受光面上相互相邻的全部的发送机(作为发送机的像的亮线样式)间亮度变化的频率不同。

图115是表示实施方式5的发送机的动作的一例的图。

发送机通过按照预先设定的时间单位(时隙)输出较高的亮度的光(h)或较低的亮度的光(l)而亮度变化,通过该亮度变化发送信号。这里,发送机按照由头(header)和主体(body)构成的块发送信号。头例如如图79a所示那样使用7个时隙表现为(l,h,l,h,l,h,h)。并且,主体由多个符号(00,01,10或11)构成,各符号使用4个时隙(4值ppm)表现。此外,块使用预先设定的数量(在图115的例子中是19)的时隙来表现。此外,id是通过将例如包含在4个块的各自中的主体结合而得到的。另外,块也可以使用33个时隙表现。

通过接收机的摄像得到的亮线样式包括与该头对应的样式(pattern)(头样式)和与主体对应的样式(数据样式)。在数据样式中不包括与头样式相同的样式。因而,接收机能够根据亮线样式容易地找出头样式,能够计测头样式与下个头样式之间的像素数(与块对应的曝光线的数量)。接收机由于1块的时隙数(在图115的例子中是19)不论频率如何都被设定为固定的数量,所以能够根据该计测的像素数确定发送机的频率(1时隙的时间幅度的倒数)。即,接收机像素数越多则确定越低的频率,像素数越少则确定越高的频率。

这样,接收机能够通过发送机的摄像取得该发送机的id,并且能够确定该发送机的频率。这里,接收机能够利用这样确定的频率,判断所取得的id是否是适当的,即能够进行id的错误检测。具体而言,接收机计算与id对应的散列值,将该散列值与所确定的频率比较。接收机在该散列值与频率一致的情况下,判断所取得的id是适当的,在不一致的情况下,判断所取得的id是不适当的(错误)的。例如,接收机将id除以预先设定的除数而得到的余数作为散列值来处理。反言之,发送机通过以与对应于发送对象的id的散列值相同的值的频率(1个时隙的时间幅度的倒数)进行亮度变化,发送该发送对象的id。

图116是表示实施方式5的发送机及接收机的动作的一例的图。

发送机也可以不使用如上述那样与散列值相同的值的频率,而使用任意的频率以该任意的频率进行亮度变化。在此情况下,发送机将表示与该发送机的id不同的值的信号发送。例如,在发送机的id是“100”、该发送机作为任意的频率而使用2khz的情况下,发送机发送组合了id和频率的信号“1002”。同样,在其它发送机的id是“110”、其它发送机作为任意的频率而使用1khz的情况下,其它发送机发送组合了id和频率的信号“1101”。

在此情况下,接收机将从发送机发送而取得的信号中的下数第一位的数值用于错误检测,将其余的位的数值作为发送机的id提取。并且,接收机将根据亮度样式确定的频率与在所取得的信号中包含的上述下数第一位的数值比较。接收机在该下数第一位的数值与频率一致的情况下,判断为提取出的id是适当的,在不一致的情况下,判断为所提取的id是不适当的(错误)。

由此,在接收机中能够进行错误检测,并且能够增加发送机中的亮度变化的频率的设定自由度。

图117是表示实施方式5的接收机的动作的一例的图。

如图117所示,在通过接收机的摄像(可见光摄影)得到的图像中,有亮线样式8327a和亮线样式8327b的各自的一部分重叠的情况。在这样的情况下,接收机从亮线样式8327a和亮线样式8327b重叠的部分8327c不进行数据的解调,而从亮线样式8327a和亮线样式8327b的各自的部分8327c以外的部分进行数据的解调。由此,接收机能够从亮线样式8327a和亮线样式8327b分别取得适当的id。

图118是表示实施方式5的接收机的动作的一例的图。

发送机如图118的(a)所示,例如按照块切换用来将该块发送的亮度变化的频率。由此,接收机能够更容易地判别块与块的划分。

此外,发送机如图118的(b)所示,例如使用来对块的头进行发送的亮度变化的频率与用来对该块的主体进行发送的亮度变化的频率不同。由此,能够抑制在主体中出现与头相同的样式。结果,接收机能够更适当地判断头和主体的区别。

图119是表示实施方式5的具有发送机、接收机及服务器的系统的动作的一例的图。

本实施方式的系统具备发送机8331、接收机8332和服务器8333。发送机8331具备与上述实施方式1~4的某个发送机同样的功能,构成为将发送机8331的id通过亮度变化进行发送(可见光通信)的照明设备。接收机8332具备作为上述实施方式1~4的某个接收机的功能,通过将发送机8331摄像(可见光摄影),从该发送机8331取得发送机8331的id。服务器8333与发送机8331及接收机8332经由例如因特网等网络进行通信。

另外,在本实施方式中,发送机8331的id不变更而被固定。另一方面,在发送机8331的亮度变化(可见光通信)中使用的频率可以通过设定而任意地变更。

在这样的系统中,发送机8331首先将在亮度变化(可见光通信)中使用的频率向服务器8333登记。具体而言,发送机8331将自身id、表示其频率的登记频率信息、以及与发送机8331关联的关联信息向服务器8333发送。服务器8333如果接收到发送机8331的id、登记频率信息和关联信息,则将它们建立关联而记录。即,将发送机8331的id、在发送机8331的亮度变化中使用的频率、以及关联信息相互建立关联而记录。由此,将在发送机8331的亮度变化中使用的频率登记。

接着,发送机8331通过该登记的频率的亮度变化,将发送机8331的id发送。接收机8332通过将发送机8331摄像,取得该id,并且与上述同样,确定该发送机8331的亮度变化的频率。

接着,接收机8332将该取得的id和表示所确定的频率的确定频率信息向服务器8333发送。服务器8333如果接收到由接收机8332发送的id及确定频率信息,则检索与该id建立关联记录的频率(由登记频率信息表示的频率),判断该记录的频率与由确定频率信息表示的频率是否一致。这里,如果判断为一致,则服务器8333将与该id及频率建立关联记录的关联信息(数据)向接收机8332发送。

由此,如果由接收机8332确定的频率与登记在服务器8333中的频率不一致,则不会从服务器8333向接收机8332发送关联信息。因而,通过将登记到服务器8333中的频率随时变更,能够防止只要接收机8332从发送机8331即便一次取得id、接收机8332就成为总是能够从服务器8333获取关联信息的状态的情况。即,发送机8331通过将登记在服务器8333中的频率(即在亮度变化中使用的频率)变更,能够将由在变更前取得了id的接收机8332进行的关联信息的取得禁止。换言之,通过频率的变更,能够对关联信息的取得设定有效期限。例如,在接收机8332的用户住宿在设有发送机8331的旅馆中的情况下,在住宿后旅馆的管理者将频率变更。由此,接收机8332仅在该用户住宿的日子能够取得关联信息,在住宿后能够禁止该接收机8332取得关联信息。

另外,服务器8333也可以将多个频率与1个id建立关联而登记。例如,服务器8333每当从接收机8332取得登记频率信息,就总是将由最新的4个登记频率信息表示的频率与id建立关联而登记。由此,即使是过去取得了id的接收机8332,直到频率被变更3次,也能够从服务器8333取得关联信息。此外,服务器8333也可以按照登记的每个频率,管理该频率被设定给发送机8331的时刻或时间带。在此情况下,服务器8333当从接收机8332接受到id及确定频率信息时,通过确认对于由该确定频率信息表示的频率管理的时间带等,能够确定该接收机8332取得了id的时间带。

图120是表示实施方式5的发送机的结构的框图。

发送机8334具备与上述实施方式1~4的某个发送机同样的功能,并且具备频率存储部8335、id存储部8336、检验值存储部8337、检验值比较部8338、检验值计算部8339、频率计算部8340、频率比较部8341、发送部8342及错误报告部8343。

频率存储部8335存储有在亮度变化(可见光通信)中使用的频率。id存储部8336存储有发送机8334的id。检验值存储部8337存储有用来判断存储在id存储部8336中的id是否适当的检验值。

检验值计算部8339将存储在id存储部8336中的id读出,通过对该id应用预定的函数,计算与该id对应的检验值(计算检验值)。检验值比较部8338将存储在检验值存储部8337中的检验值读出,将该检验值与通过检验值计算部8339计算出的计算检验值比较。检验值比较部8338如果判断为计算检验值与检验值不同,则将错误向错误报告部8343通知。例如,检验值存储部8337将表示存储在id存储部8336中的id是偶数的值“0”作为检验值存储。检验值计算部8339通过将存储在id存储部8336中的id读出并除以值“2”,计算其余数作为计算检验值。并且,检验值比较部8338将检验值“0”和作为上述除法的余数的计算检验值进行比较。

频率计算部8340将存储在id存储部8336中的id经由检验值计算部8339读出,根据该id计算频率(计算频率)。例如,频率计算部8340通过将id除以预先设定的值,计算其余数作为频率。频率比较部8341将存储在频率存储部8335中的频率(存储频率)与计算频率进行比较。频率比较部8341如果判断为计算频率与存储频率不同,则将错误向错误报告部8343通知。

发送部8342通过以由频率计算部8340计算出的计算频率进行亮度变化,将存储在id存储部8336中的id发送。

错误报告部8343当被从检验值比较部8338及频率比较部8341中的至少一方通知了错误时,通过蜂鸣音、闪烁或点灯等来报告错误。具体而言,错误报告部8343具备灯以用于错误的报告,通过使该灯点灯或闪烁来报告错误。或者,错误报告部8343当发送机8334的电源开关被切换为on时,通过使为了发送id等信号而亮度变化的光源在预定的期间(例如10秒)以人能够辨别的周期闪烁来报告错误。

由此,检验存储在id存储部8336中的id和根据该id计算的频率是否适当,所以能够防止错误的id的发送和错误的频率下的亮度变化。

图121是表示实施方式5的接收机的结构的框图。

接收机8344具备与上述实施方式1~4的某个接收机同样的功能,并且具备受光部8345、频率检测部8346、id检测部8347、频率比较部8348及频率计算部8349。

受光部8345例如具备图像传感器,通过将亮度变化的发送机摄像(可见光摄影),取得包括亮线样式的图像。id检测部8347从该图像中检测发送机的id。即,id检测部8347通过将由该图像中包含的亮线样式确定的数据解调,取得发送机的id。频率检测部8346根据该图像来检测发送机的亮度变化的频率。即,频率检测部8346如使用图115说明的例子那样,根据该图像中包含的亮线样式确定发送机的频率。

频率计算部8349根据由id检测部8347检测到的id,例如如上述那样对id进行除法,由此计算发送机的频率。频率比较部8348将由频率检测部8346检测出的频率与由频率计算部8349计算出的频率比较。这里,频率比较部8348在这些频率不同的情况下,判断为检测到的id是错误的,使id检测部8347重新进行id的检测。由此,能够防止取得错误的id。

图122是表示实施方式5的发送机的动作的一例的图。

发送机也可以通过在预先设定的时间单位中使有亮度变化的位置不同,将符号“00,01,10,11”分别区别而发送。

例如在将符号“00”发送时,发送机通过仅在时间单位中的最初的区间即第1区间中亮度变化,将该符号“00”发送。此外,在将符号“01”发送时,发送机通过仅在时间单位中的第二个区间即第2区间中亮度变化,将该符号“01”发送。同样,当发送符号“10”时,发送机通过仅在时间单位中的第三个区间即第3区间中亮度变化,将该符号“10”发送,在将符号“11”发送时,发送机通过仅在时间单位中的第四个区间即第4区间中亮度变化,将该符号“11”发送。

这样,在本实施方式中,在将哪个符号发送时,在1个区间内都亮度变化,所以与使1个区间(时隙)的整体为较低的亮度的上述发送机相比,能够抑制闪变。

图123是表示实施方式5的发送机的动作的一例的图。

发送机也可以通过在预先设定的时间单位中使亮度变化的有无不同,将符号“0,1”分别区别而发送。例如,在将符号“0”发送时,发送机通过在时间单位中亮度不变化,发送该符号“0”。此外,在将符号“1”发送时,发送机通过在时间单位中亮度变化,将该符号“1”发送。

图124是表示实施方式5的发送机的动作的一例的图。

发送机也可以通过使预先设定的时间单位中的亮度变化的剧烈度(频率)不同,来将符号“00,01,10,11”分别区别而发送。例如,在将符号“00”发送时,发送机通过在时间单位中亮度不变化,将该符号“00”发送。此外,在将符号“01”发送时,发送机通过在时间单位中亮度变化(以较低的频率亮度变化),将该符号“01”发送。此外,在将符号“10”发送时,发送机通过在时间单位中剧烈地亮度变化(以较高的频率亮度变化),将该符号“10”发送。并且,在将符号“11”发送时,发送机通过在时间单位中更剧烈地亮度变化(以更高的频率亮度变化),将该符号“11”发送。

图125是表示实施方式5的发送机的动作的一例的图。

发送机也可以通过使预先设定的时间单位中的亮度变化的相位不同,将符号“0,1”分别区别而发送。例如,在将符号“0”发送时,发送机通过在时间单位以预先设定的相位进行亮度变化,将该符号“0”发送。此外,在将符号“1”发送时,发送机通过在时间单位中以与上述相位相反的相位进行亮度变化,将该符号“1”发送。

图126是表示实施方式5的发送机的动作的一例的图。

发送机在将id等信号发送时,也可以按照例如红色、绿色及蓝色等的每个颜色而亮度变化。由此,对于能够识别每个颜色的亮度变化的接收机,发送机能够将更多的信息量的信号发送。此外,也可以将某种颜色的亮度变化用于时钟对准。例如也可以将红色的亮度变化用于时钟对准。在此情况下,红色的亮度变化作为头发挥作用。结果,在红色以外的颜色(绿色及蓝色)的亮度变化中不需要使用头,能够抑制冗长的数据的发送。

图127是表示实施方式5的发送机的动作的一例图。

发送机例如也可以通过将红色、绿色及蓝色等多个颜色合成来表现合成色(例如白色)的亮度。即,发送机通过按照红色、绿色及蓝色等每个颜色进行亮度变化,表现合成色的亮度变化。通过该合成色的亮度变化,与上述可见光通信同样,将发送对象的信号发送。这里,也可以将红色、绿色及蓝色中的某1个以上的颜色的亮度在用来表现合成色的预先设定的亮度的调整用中使用。由此,能够通过合成色的亮度变化发送信号,并能够通过红色、绿色及蓝色中的某两个颜色的亮度变化来发送信号。即,发送机对于仅能够识别上述那样的合成色(例如白色)的亮度变化的接收机也能够发送信号,并且对于红色、绿色及蓝色等各色都能够识别的接收机能够将更多的信号例如作为附带信息进行发送。

图128是表示实施方式5的发送机的动作的一例的图。

发送机具备4个光源。这4个光源(例如led电灯)分别发出在图128表示的ciexy色度图中由相互不同的位置8351a、8351b、8352a、8352b表示的颜色的光。

发送机通过切换第1点灯发送和第2点灯发送来发送各信号。这里,第1点灯发送是在4个光源中、通过使发出位置8351a的颜色的光的光源和发出位置8351b的颜色的光的光源点灯、来发送信号“0”的处理。此外,第2点灯发送是通过使发出位置8352a的颜色的光的光源和发出位置8352b的颜色的光的光源点灯、来发送信号“1”的处理。接收机的图像传感器由于能够识别由位置8351a、8351b、8352a、8352b分别表示的颜色,所以接收机能够将信号“0”和信号“1”适当地接收。

这里,在进行第1点灯发送时,在ciexy色度图中由处于位置8351a、8351b的中间的位置表示的颜色映入人的眼中。同样,在进行第2点灯发送时,在ciexy色度图中由处于位置8352a、8352b的中间的位置表示的颜色映入人的眼中。因而,通过将4个光源的颜色及亮度适当地调整,能够使处于位置8351a、8351b的中间的位置和处于位置8352a、8352b的中间的位置(与位置8353)一致。由此,即使切换第1点灯发送和第2点灯发送,在人的眼中也映照为发送机的发光色被固定,所以能够抑制人感到闪变。

图129是表示实施方式5的发送机及接收机的动作的一例的图。

发送机具备id存储部8361、随机数生成部8362、加法部8363,加密部8364及发送部8365。id存储部8361存储有发送机的id。随机数生成部8362每一定时间生成不同的随机数。加法部8363将由随机数生成部8362生成的最新的随机数对存储在id存储部8361中的id进行组合,将其结果作为编辑id输出。加密部8364通过对该编辑id进行加密而生成加密编辑id。发送部8365通过亮度变化而将该加密编辑id向接收机发送。

接收机具备接收部8366、解码部8367及id取得部8368。接收部8366通过将发送机摄像(可见光摄影),从发送机接收加密编辑id。解码部8367通过将该接收到的加密编辑id解码,将编辑id复原。id取得部8368通过从复原后的编辑id中提取id,取得该id。

例如,id存储部8361存储有id“100”,随机数生成部8362生成最新的随机数“817”(例1)。在此情况下,加法部8363通过将随机数“817”对id“100”组合,生成编辑id“100817”并输出。加密部8364通过对该编辑id“100817”进行加密,生成加密编辑id“abced”。接收机的解码部8367通过将该加密编辑id“abced”解码,将编辑id“100817”复原。并且,id取得部8368从复原后的编辑id“100817”中提取id“100”。换言之,id取得部8368通过将编辑id的下3位删除而取得id“100”。

接着,随机数生成部8362生成新的随机数“619”(例2)。在此情况下,加法部8363通过将随机数“619”对id“100”组合,生成编辑id“100619”并输出。加密部8364通过对该编辑id“100619”进行加密,生成加密编辑id“difia”。发送机的解码部8367通过将该加密编辑id“difia”解码,将编辑id“100619”复原。并且,id取得部8368从复原后的编辑id“100619”中提取id“100”。换言之,id取得部8368通过将编辑id的下3位删除而取得id“100”。

这样,发送机不是将id单纯地加密,而是将组合了按每一定时间被变更的随机数而得到的值进行加密,所以能够防止根据从发送部8365发送的信号简单地解读id。即,在将单纯被加密的id从发送机向接收机多次发送的情况下,即使该id被加密,由于只要该id相同,从发送机向接收机发送的信号也相同,所以也有可能将该id解读。但是,在图129所示的例子中,将按每一定时间被变更的随机数与id组合,将组合了该随机数的id加密。因而,即使是将相同的id向接收机多次发送的情况,只要这些id的发送的定时不同,就能够使从发送机向接收机发送的信号不同。结果,能够防止id被容易地解读。

图130是表示实施方式5的发送机及接收机的动作的一例的图。

发送机具备id存储部8371、计时部8372、加法部8373、加密部8374及发送部8375。id存储部8371存储有发送机的id。计时部8372计时,输出当前日期时间(当前的年月日及时刻)。加法部8373对于存储在id存储部8371中的id,将从计时部8372输出的当前日期时间作为发送日期时间进行组合,将其结果作为编辑id输出。加密部8374通过对该编辑id进行加密而生成加密编辑id。发送部8375通过亮度变化,将该加密编辑id向接收机发送。

接收机具备接收部8376、解码部8377、有效判断部8378及计时部8379。接收部8376通过将发送机摄像(可见光摄影),从发送机接收加密编辑id。解码部8377通过将该接收到的加密编辑id解码,将编辑id复原。计时部8379计时,输出当前日期时间(当前的年月日及时刻)。有效判断部8378通过从复原后的编辑id中提取id而取得该id。进而,有效判断部8378从复原后的编辑id中提取发送日期时间,通过将该发送日期时间与从计时部8379输出的当前日期时间进行比较,判断该id的有效性。例如,有效判断部8378在发送日期时间与当前日期时间的差比预先设定的时间长的情况下,或在发送日期时间比当前日期时间新的情况下,判断为该id是无效的。

例如,id存储部8371存储有id“100”,计时部8372将当前日期时间“201305011200”(2013年5月1日12时0分)作为发送日期时间输出(例1)。在此情况下,加法部8373通过对id“100”组合发送日期时间“201305011200”,生成编辑id“100201305011200”并输出。加密部8374通过对该编辑id“100201305011200”进行加密,生成加密编辑id“ei39ks”。接收机的解码部8377通过将该加密编辑id“ei39ks”解码,将编辑id“100201305011200”复原。并且,有效判断部8378从复原后的编辑id“100201305011200”中提取id“100”。换言之,有效判断部8378通过将编辑id的下12位删除而取得id“100”。进而,有效判断部8378从复原后的编辑id“100201305011200”中提取发送日期时间“201305011200”。并且,如果发送日期时间“201305011200”比从计时部8379输出的当前日期时间早、该发送日期时间与当前日期时间的差例如是10分钟以内,则有效判断部8378判断为该id“100”是有效的。

另一方面,id存储部8371存储有id“100”,计时部8372将当前日期时间“201401011730”(2014年1月1日17时30分)作为发送日期时间输出(例2)。在此情况下,加法部8373通过对id“100”组合发送日期时间“201401011730”,生成编辑id“100201401011730”并输出。加密部8374通过对该编辑id“100201401011730”进行加密,生成加密编辑id“002jflk”。接收机的解码部8377通过将该加密编辑id“002jflk”解码,将编辑id“100201401011730”复原。并且,有效判断部8378从复原后的编辑id“100201401011730”中提取id“100”。换言之,有效判断部8378通过将编辑id的下12位删除而取得id“100”。进而,有效判断部8378从复原后的编辑id“100201401011730”中提取发送日期时间“201401011730”。并且,如果发送日期时间“201401011730”比从计时部8379输出的当前日期时间新,则有效判断部8378判断为该id“100”是无效的。

这样,发送机不是将id单纯地加密,而是将组合了按每一定时间被变更的当前日期时间而得到的值进行加密,所以能够防止从发送部8375发送的信号简单地解读id。即,在将单纯被加密的id从发送机向接收机多次发送的情况下,即使该id被加密,由于只要该id相同,从发送机向接收机发送的信号也相同,所以也有可能将该id解读。但是,在图130所示的例子中,将按每一定时间被变更的当前日期时间与id组合,将组合了该当前日期时间的id加密。因而,即使是将相同的id向接收机多次发送的情况,也只要这些id的发送的定时不同,就能够使从发送机向接收机发送的信号不同。结果,能够防止id被容易地解读。

进而,通过将加密编辑id被发送的发送日期时间与当前日期时间进行比较,判断所取得的id是否有效,所以能够基于发送接收的时间来管理id的有效性。

另外,也可以是,图129及图130所示的接收机如果取得加密编辑id,则将该加密编辑id向服务器发送,从该服务器取得id。

(车站中的导引)

图131是表示电车的站台中的本公开的利用形态的一例的图。用户使便携终端面向电子公告板或照明,通过可见光通信,取得显示在电子公告板上的信息、或者设置有电子公告板的车站的电车信息/车站的站内信息等。这里,既可以将显示在电子公告板上的信息自身通过可见光通信向便携终端发送,也可以将与电子公告板对应的id信息向便携终端发送,便携终端通过将所取得的id信息向服务器查询,取得显示在电子公告板上的信息。服务器在从便携终端发送来id信息的情况下,基于id信息,将显示在电子公告板上的内容向便携终端发送。将保存在便携终端的存储器中的电车的车票信息与显示在电子公告板上的信息对比,在与用户的车票对应的车票信息显示在电子公告板上的情况下,在便携终端的显示器上,显示表示向用户计划乘坐的电车到达的站台的前往地的箭头。也可以在下车时显示到出口或距换乘路径较近的车辆的路径。在座席指定的情况下,也可以显示到该座席的路径。当显示箭头时,通过使用与地图或电车导引信息中的电车的路线的颜色相同的颜色来显示箭头,能够更容易理解地显示。此外,也可以与箭头的显示一起而显示用户的预约信息(站台号码、车辆号码、发车时刻、座席号码)。通过将用户的预约信息一起显示,能够防止误识别。在车票信息保存在服务器中的情况下,通过从便携终端向服务器查询而取得车票信息并对比、或者在服务器侧将车票信息与显示在电子公告板上的信息对比,能够取得与车票信息关联的信息。也可以是,根据用户进行了换乘检索的履历推测目标路线并显示路径。此外,也可以不仅取得显示在电子公告板上的内容,还取得设置有电子公告板的车站的电车信息/站内信息并进行对比。对于显示器上的电子公告板的显示,也可以将与用户关联的信息强调显示,也可以改写显示。在用户的乘车计划不明的情况下,也可以显示向各路线的乘车处的导引的箭头。在取得了车站的站内信息的情况下,也可以将向小卖店/洗手间等进行导引的箭头显示在显示器上。也可以构成为,将用户的行动特性预先用服务器管理,在用户在车站站内顺便到小卖店/洗手间的情况较多的情况下,将向小卖店/洗手间等进行导引的箭头显示到显示器上。由于仅对具有顺便到小卖店/洗手间的行动特性的用户显示向小卖店/洗手间等导引的箭头,对于其它用户不进行显示,所以能够减少处理量。也可以将向小卖店/洗手间等导引的箭头的颜色设为与对向站台的前往地进行导引的箭头不同的颜色。当将两者的箭头同时显示时,通过设为不同的颜色,能够防止误识别。另外,在图131中表示了电车的例子,但如果是飞机或汽车等,也能够以同样的结构进行显示。

(导引招牌的翻译)

图132表示从设置在飞机场或车站内、观光地或医院等中的电子导引显示板、通过可见光通信取得信息的情况下的一例。通过可见光通信,从电子导引显示板取得显示内容的信息,在将显示内容的信息翻译为对便携终端设定的语言信息后,在便携终端的显示器上进行显示。由于翻译为用户的语言而显示,所以用户能够容易地理解信息。语言的翻译既可以在便携终端内进行,也可以在服务器中进行。在服务器中进行翻译的情况下,可以将通过可见光通信取得的显示内容的信息和便携终端的语言信息向服务器发送,在服务器中进行翻译,并向便携终端进行发送,在便携终端的显示器上进行显示。此外,也可以构成为,在从电子导引显示板取得了id信息的情况下,将id信息向服务器发送,从服务器取得与id信息对应的显示内容信息。进而,也可以基于保存在便携终端中的国籍信息、车票信息或随身行李寄存信息,显示向用户接着要前往的场所进行导引的箭头。

(优惠券的弹出)

图133是表示如果用户接近店铺则显示通过可见光通信取得的优惠券信息、或者在便携终端的显示器上显示弹出消息的一例的图。用户使用便携终端,通过可见光通信从电子公告板等取得店铺的优惠券信息。接着,如果用户进入距店铺为预定距离的范围内,则显示店铺的优惠券信息或弹出消息。用户是否进入距店铺为预定距离的范围内,使用便携终端的gps信息和优惠券信息中包含的店铺信息来判断。并不限于优惠券信息,也可以是票券信息。由于如果能够利用优惠券或票券的店铺等接近则自动地报信,所以用户能够将优惠券或票券适当地利用。

图134是表示在收款机或检票处等在便携终端的显示器上显示优惠券信息/票券信息或弹出消息的一例的图。通过可见光通信从设置在收款机或检票处的照明取得位置信息,在所取得的位置信息与在优惠券信息/票券信息中包含的信息一致的情况下进行显示。另外,也可以是,条码读取器具有发光部,通过与发光部进行可见光通信来取得位置信息,也可以从便携终端的gps取得位置信息。也可以是,在收款机附近设置有发送机,用户通过使接收机面向该发送机,在接收机的显示器上显示优惠券或支付信息,也可以是接收机与服务器通信来进行支付处理。此外,也可以是,在优惠券信息/票券信息中包含设置在店铺等中的wi-fi信息,在用户的便携终端取得了与在优惠券信息/票券信息中包含的wi-fi信息相同的信息的情况下进行显示。

(操作用应用的起动)

图135是表示用户使用便携终端通过可见光通信从家电取得信息的一例的图。在通过可见光通信从家电取得了id信息或关于该家电的信息的情况下,用来操作该家电的应用自动地启动。在图135中,表示使用电视机的例子。通过这样的结构,仅通过使便携终端面向家电,就能够将用来操作家电的应用起动。

(在条码读取器的动作中停止发送)

图136是表示当条码读取器8405a将商品的条码读取时、在条码读取器8405a的附近将可见光通信用的数据通信中止的一例的图。通过在条码读取时将可见光通信停止,能够防止条码读取器8405a将条码误识别。条码读取器8405a当条码读取按钮被按下时将发送停止信号向可见光信号发送机8405b发送,当手指从按钮离开时、或者当手指从按钮离开且经过预定的时间时,将发送再开始信号向可见光信号发送机8405b发送。发送停止信号和发送再开始信号通过有线/无线通信或红外线通信、声波的通信来进行。条码读取器8405a也可以是,当根据条码读取器8405a中具备的加速度传感器的计测值而推测出条码读取器8405a被移动时将发送停止信号发送,当推测出条码读取器8405a在预定的时间中没有被移动时将发送再开始信号发送。条码读取器8405a也可以是,当根据条码读取器8405a中具备的静电传感器或照度传感器的计测值而推测出条码读取器8405a被握住时将发送停止信号发送,当推测出手离开时将发送再开始信号发送。条码读取器8405a也可以是,根据设在条码读取器8405a的接地面上的开关从按下状态被释放而检测到条码读取器8405a被抬起,将发送停止信号发送,根据上述按钮被按下而检测到条码读取器8405a被放下,将发送再开始信号发送。条码读取器8405a也可以根据条码读取器放置处的开关或红外线传感器的计测值检测出条码读取器8405a被抬起而将发送停止信号发送,检测到条码读取器8405a被放回而将发送再开始信号发送。收款机8405c也可以在开始操作时将发送停止信号发送,在进行精算操作时将发送再开始信号发送。

例如构成为照明体的发送机8405b在接收到发送停止信号时将信号发送停止,此外,进行动作以使100hz~100khz的波动(亮度变化)变小。或者,使信号样式的亮度变化变小而继续信号发送。或者,使输送波的周期比条码读取器8405a的条码的读取时间长,或使输送波的周期比条码读取器8405a的曝光时间短。由此,能够防止条码读取器8405b的误动作。

如图137所示,例如构成为照明体的发送机8406b用人感传感器或摄像头检测到人处于条码读取器8406a的附近,将信号发送停止。或者,进行与上述发送机8405b接收到发送停止信号时同样的动作。发送机8406b在检测出在条码读取器8406a的附近不再有人时再次开始信号发送。发送机8406b也可以检测条码读取器8406a的动作音,在预定的时间中停止信号发送。

(从个人计算机的信息发送)

图138是表示本公开的利用形态的一例的图。

例如构成为个人计算机的发送机8407a经由所装备的显示器、所连接的显示器或投影仪等显示装置发送可见光信号。发送机8407a将浏览器正在显示的网站的url、剪贴板的信息或由具有焦点的应用决定的信息发送。例如,将由网站取得的优惠券信息发送。

(数据库)

图139是表示管理发送机发送的id的服务器所保持的数据库的结构的一例的图。

数据库具有保持对以id为关键字的查询提供的数据的id-数据表、和保存以id为关键字的查询记录的访问日志表。id-数据表具有发送机发送的id、对以id为关键字的查询提供的数据、提供数据的条件、存在以id为关键字的访问的次数、将条件取消而提供了数据的次数。在提供数据的条件中,有日期时间、访问次数、访问成功次数、查询源的终端的信息(终端的机种、进行了查询的应用、终端的当前位置等)、以及查询源的用户信息(年龄、性别、职业、国籍、使用语言、信教等)。通过以访问成功次数为条件,能够实现“每访问1次1日元,但以100日元为上限,在这以后不返回数据”的服务的方法。日志表当存在以id为关键字的访问时,记录该id、请求的用户的id、时刻、其它附带信息、是否将条件取消而提供了数据、以及提供的数据的内容。

(接收开始的手势)

图140是表示使通过本通信方式的接收开始的手势动作的一例的图。

用户通过使例如构成为智能电话的接收机伸出,并使手腕左右旋转的动作而开始接收。接收机根据9轴传感器的计测值检测该动作,开始接收。接收机也可以在检测到该动作的至少某一方的情况下开始接收。在使接收机伸出的动作中,由于接收机向发送机接近,发送机被更大地摄像,有接收速度及精度提高的效果。在使手腕左右旋转的动作中,通过使接收机的角度变化,将本方式的角度依存性消除,有能够稳定进行接收的效果。

另外,该动作也可以仅在主画面为前景时进行。由此,能够防止在使用其它应用的过程中违背用户的意图而进行本通信。

另外,也可以是,在接收机被伸出的动作的检测时将图像传感器启动,若没有将手腕左右摇晃的动作则停止接收。图像传感器的启动需要几百毫秒到2秒左右的时间,因此能够进一步提高响应性。

(通过电力线进行的发送机的控制)

图141是表示本公开的发送机的一例的图。

信号控制部8410g控制发送机8410a的发送状态(发送的信号的内容、发送的有无、在发送中使用的亮度变化的强度等)。信号控制部8410g将发送机8410a的控制内容向配电控制部8410f传送。配电控制部8410f通过使向发送机8410a的电源部8410b供给的电压、电流或频率变化,以变化的大小或变化的时刻的形式传递控制内容。电源部8410b由于不受电压、电流及频率的多少的变化影响而进行固定的输出,所以通过用超过电源部8410b的稳定化能力的变化、例如将电力供给切断的定时或时间幅度表现信号来传递信号。亮度控制部8410d考虑由电源部8410b进行的变换,获取配电控制部8410f发送的内容,使发光部的亮度变化样式变化。

(编码方式)

图142是说明可见光通信图像的编码方式之一的图。

在该编码方式中,由于白和黑的比例为相同程度,所以正相图像和反相图像的平均亮度为相同程度,具有人不易感到闪变的优点。

(从斜向摄像的情况下也能够受光的编码方式)

图143是说明可见光通信图像的编码方式之一的图。

图像1001a是将白和黑的行用均匀的宽度显示的图像。如果将该图像1001a从斜向摄像,则在通过该摄像得到的图像1001b中,将左方的行较细表示,将右方的行较粗地表示。此外,在将图像1001a投影到曲面上的情况下,在通过该摄像得到的图像1001i中,表示不同粗细的行。

所以,通过以下的编码方式制作可见光通信图像。可见光通信图像1001c从左起,由白行、白行的3倍的粗细的黑行、该黑行的3分之1的粗细的白行构成。这样,将前导码编码为左邻行的3倍的粗细的行,左邻行的3分之1的粗细的行连续的图像。如可见光通信图像1001d、1001e那样,将与左邻行相同粗细的行编码为“0”。如可见光通信图像1001f、1001g那样,将左邻行的2倍的粗细或左邻行的一半的粗细的行编码为“1”。即,在使编码对象行的粗细与左邻行的粗细不同的情况下,将该编码对象行编码为“1”。作为使用该编码方式的例子,将接着前导码并包含“010110001011”的信号通过可见光通信图像1001h那样的图像表现。另外,这里,将与左邻行相同粗细的行编码为“0”,将与左邻行不同粗细的行编码为“1”,但也可以将与左邻行相同粗细的行编码为“1”,将与左邻行不同粗细的行编码为“0”。此外,并不限于与左邻行的对比,也可以进行与右邻行的对比。即也可以是,在编码对象行的粗细与右邻行的粗细的对比中,根据粗细相同还是不同而编码“1”、“0”。这样,在发送机侧,通过是与编码对象行不同的颜色、并且使邻接的行的粗细与编码对象行的粗细相同从而编码“0”,通过设为不同的粗细而编码“1”。

在接收机侧,将可见光通信图像摄像,在摄像的可见光通信图像中检测白行或黑行的粗细。在是与解码对象的行不同的颜色、并且将与解码对象的行相邻(左邻或右邻)的行的粗细与解码对象的行的粗细比较而粗细相同的情况下,将解码对象行解码为“0”,在粗细不同的情况下将解码对象行解码为“1”。也可以在粗细相同的情况下解码为“1”,在粗细不同的情况下解码为“0”。基于进行解码后的1、0的数据列,最终进行数据的解码。

该编码方式使用局部的行的粗细的关系。如在图像1001b及图像1001i中可看到那样,由于旁边的行的粗细不较大地变化,所以即使是从斜向摄像的情况或投影到曲面上的情况下,也能够将以该编码方式制作的可见光通信图像正确地解码。

在该编码方式中,由于白和黑的比例为相同程度,所以正相图像和反相图像的平均亮度为相同程度,有人不易感到闪变的优点。此外,该编码方式由于没有白黑的分别,所以有即使是正相信号和反相信号的任一方的可见光通信图像也能够以相同的算法解码的优点。

此外,有代码的追加较容易的优点。例如,可见光通信图像1001j是左邻的4倍的粗细的行和左邻的4分之1的行的组合。这样,如“左邻的5倍和5分之1”、“左邻的3倍和3分之2”那样,存在许多唯一的样式,能够定义为具有特别的意义的信号。例如,可以考虑可见光通信图像虽然能够用多张表示一个数据,但作为显示因为发送的数据被变更而到此为止接收到的数据的一部分成为无效这一情况的取消信号,使用可见光通信图像1001j。另外,关于颜色,并不限于白、黑,只要是不同的颜色,是怎样的颜色都可以。例如也可以使用互补色。

(根据距离而信息量不同的编码方式)

图144、图145是说明可见光通信图像的编码方式之一的图。

如图144的(a-1)那样,若通过使被划分为四个的图像中的一个部分为黑、使其余的部分为白来表现2位的信号,则该图像的平均亮度在设白为100%、黑为0%的情况下为75%。如图144的(a-2)那样,若使白和黑的部分相反,则平均亮度成为25%。

图像1003a是将用图143的编码方式制作出的可见光通信图像的白的部分用图144的(a-1)的图像表现、将用图144的编码方式制作出的可见光通信图像的黑的部分用图143的(a-2)的图像表现的可见光通信图像。该可见光通信图像表示用图143的编码方式编码的信号a和用图144的(a-1)及(a-2)编码的信号b。如果近处的接收机1003b将可见光通信图像1003a摄像,则得到精细的图像1003d,能够接收信号a和信号b两者。如果远处的接收机1003c将可见光通信图像1003a摄像,则得到较小的图像1003e。在图像1003e中不能确认详细的部分,由于成为图144的(a-1)的部分变白、图144的(a-2)的部分变黑的图像,所以仅能够接收信号a。由此,可见光通信图像与接收机的距离越近,能够传递越多的信息。作为将信号b编码的方式,也可以使用图144的(b-1)和(b-2)的组合或图144的(c-1)和(c-2)的组合。

通过使用信号a和信号b,能够用信号a表示基本而重要的信息,用信号b表示附加性的信息。此外,在接收机将信号a、b作为id信息向服务器发送、服务器将与id信息对应的信息向接收机发送的情况下,能够根据信号b的有无使服务器发送的信息变化。

(将数据分割的编码方式)

图146是说明可见光通信图像的编码方式之一的图。

将发送的信号1005a分割为多个数据片1005b、1005c、1005d。对各数据片附加表示该数据片的位置的地址,还附加前导码、错误检测/校正码、帧类型记述等,构成帧数据1005e、1005f、1005g。对帧数据进行编码,制作可见光通信图像1005h、1005i、1005j并显示。在显示区域足够大的情况下,显示将多个可见光通信图像连结而得到的可见光通信图像1005k。

另外,如图146所示,作为在影像中插入可见光通信图像的方法,在使用固体光源的显示设备的情况下,通常通过先显示可见光通信信号图像、仅在显示的期间使固定光源点灯、在其以外的期间将固体光源灭灯的方法来实现,从而能够应用宽幅的显示装置,例如使用dmd的投影仪、使用以lcos为代表的液晶的投影仪、具有mems的显示装置。此外,在将图像显示分割为子帧来显示的类型的显示装置、例如pdp或el等不使用背光灯等光源的显示设备中,通过将一部分子帧置换为可见光通信图像,也能够应用。另外,作为固体光源,可以想到半导体激光器、led光源等。

(将反相图像插入的效果)

图147和图148是说明可见光通信图像的编码方式之一的图。

如图147的(1006a)那样,发送机向影像与可见光通信图像(正相图像)之间插入黑图像。由接收机对其摄像后的图像成为图147的(1006b)所示的图像那样。对于接收机而言,由于被同时曝光的像素的行是黑一色的部分的搜索较容易,所以能够将可见光通信图像被摄像的位置容易地确定为在其下个定时被曝光的像素的位置。

如图147的(1006a)那样,发送机在将可见光通信图像(正相图像)显示后,显示使白黑反转的反相的可见光通信图像。接收机通过求出正相图像与反相图像的像素值的差,能够得到仅利用正相图像的情况的2倍的sn比。相反,在确保相同的sn比的情况下,能够将白黑的亮度差抑制为一半,能够抑制人看到时的闪变。此外,如图148的(1007a)及(1007b)那样,影像与可见光通信图像的亮度的差的期望值的移动平均在正相图像和反相图像中被消除。由于人的视觉的时间分辨能力是1/60秒左右,所以通过使显示可见光通信图像的时间成为这以下,对于人而言能够感到没有显示可见光通信图像。

如图147的(1006c)所示,发送机可以还向正相图像与反相图像之间插入黑图像。在此情况下,通过接收机的摄像,得到图147的(1006d)所示的图像。在图147的(1006b)所示的图像中,由于正相图像的样式和反相图像的样式相邻,所以在边界部分有像素值被平均化的情况,但在图147的(1006d)所示的图像中不发生这样的问题。

(超解像)

图149是说明可见光通信图像的编码方法之一的图。

如图149的(a)那样,在影像数据和以可见光通信发送的信号数据被分离的情况下,对影像数据进行超解像处理,在得到的超解像图像上叠加可见光通信图像。即,对于可见光通信图像不进行超解像处理。在如图149的(b)那样在影像数据中已经叠加有可见光通信图像的情况下,进行超解像处理,以使得:(1)将可见光通信图像的边缘(通过白黑等颜色的差异表示数据的部分)保持陡峭不变;(2)可见光通信图像的正相图像和反相图像的平均图像成为一样的亮度。这样,通过根据在影像数据中是否叠加有可见光通信图像来变更对于可见光通信图像的处理,能够更适当地进行可见光通信(使错误率降低)。

(对应于可见光通信的显示)

图150是说明发送机的动作之一的图。

发送机8500a将对应于可见光通信的信息叠加到投影或显示的图像中而显示。该显示例如仅在将发送机8500a起动后的预定时间的期间中显示。

发送机8500a将自身对应于可见光通信这一情况向所连接的设备8500c发送。设备8500c显示发送机8500a对应于可见光通信。例如,在设备8500c的显示器上,显示发送机8500a对应于可见光通信。设备8500c在所连接的发送机8500a对应于可见光通信的情况下,将可见光通信用的数据向发送机8500a发送。发送机8500a对应于可见光通信这一情况的显示,既可以在设备8500c被连接到发送机8500a上时显示,也可以在从设备8500c对发送机8500a发送了可见光通信用数据的情况下显示。在从设备8500c发送了可见光通信用数据时显示的情况下,也可以是,发送机8500a从数据中取得表示可见光通信的识别信息,在识别信息表示在数据中包含有可见光通信用数据的情况下,显示发送机8500a对应于可见光通信。

这样,通过在投影画面或设备的显示器上进行发送机(照明、投影仪、影像显示设备)对应于可见光通信这一情况或表示是否对应的显示,用户能够容易地掌握发送机是否对应于可见光通信。因而,即使从设备对发送机发送了可见光通信用的数据,也能够防止成为无法进行可见光通信的误动作。

(使用可见光通信信号的信息取得)

图151是说明可见光通信的应用例之一的图。

发送机8501a从设备8501c接收影像数据和信号数据,将可见光通信图像8501b显示。接收机8501d将可见光通信图像8501b摄像,接收包含在可见光通信图像中的信号。接收机8501d根据接收信号中包含的信息(地址或口令等)与设备8501c进行通信,将发送机8501a显示的影像本身及其附带信息(影像id、url、口令、ssid、翻译数据、声音数据、散列标签、商品信息、购买信息、优惠券、空席信息等)接收。也可以是,设备8501c将向发送机8501a的发送状况向服务器8501e发送,接收机8501d从服务器8501e得到上述信息。

(数据格式)

图152是说明可见光通信数据的格式之一的图。

图152的(a)所示的数据具有在存储域中表示影像数据的位置的影像地址表、和表示通过可见光通信发送的信号数据的位置的位置地址表。在不对应于可见光通信的影像显示装置中,由于仅参照影像地址表,所以即使在输入中包含信号地址表和信号数据,也不给影像显示带来影响。由此,保持对于不与可见光通信对应的影像显示装置的后方互换性。

在图152的(b)所示的数据的格式中,将表示后续的数据是影像数据的识别码配设在影像数据之前,将表示后续的数据是信号数据的识别码配设在信号数据之前。通过设为识别码,仅在有影像数据或信号数据的情况下向数据插入,所以能够使整体的代码量变小。此外,也可以配设表示是影像数据还是信号数据的识别信息。进而,也可以在节目信息中包含表示是否包含可见光通信用数据的识别信息。通过在节目信息中包含表示是否包含可见光通信用数据的识别信息,用户在节目检索时能够判断是否能够可见光通信。另外,包含在节目信息中的也可以是表示包含可见光通信用数据的识别码。进而,通过按每个数据附加识别码/识别信息,能够进行每个数据的亮度的切换及超解像的切换等处理的切换,能够降低可见光通信时的错误率。

图152的(a)所示的数据的格式适合于从光盘等储存型介质将数据读出的状况,图152的(b)所示的数据的格式适合于电视广播等流型的数据。另外,在信号数据中,包括通过可见光通信发送的信号的值、发送开始时刻、发送结束时刻、显示器或投影面上的发送中利用的场所、可见光通信图像的亮度、可见光通信图像的条码的朝向等信息。

(推测立体形状并接收)

图153和图154是说明可见光通信的应用例之一的图。

如图153所示,例如构成为投影仪的发送机8503a除了影像和可见光通信图像以外,还将测距用图像投影。在测距用图像中表示的点样式是任意的点的附近的预定数量的点的位置关系与其它任意的组合的点的位置关系不同的点样式。接收机通过将测距用图像摄像,能够确定局部的点样式,推测投影面8503b的立体形状。接收机根据投影面的立体形状将畸变的可见光通信图像向平面图像复原而接收信号。另外,测距用图像或可见光通信图像也可以用人不能感知的红外线投影。

如图154所示,例如构成为投影仪的发送机8504a具备用红外线将测距用图像投影的红外线投影装置8504b。接收机根据测距用图像推测投影面8504c的立体形状,将可见光通信图像的畸变复原而接收信号。另外,发送机8504a也可以将影像用可见光投影,将可见光通信图像用红外线投影。另外,红外线投影装置8504b也可以将可见光通信图像用红外线投影。

(立体投影)

图155和图156是说明可见光通信图像的显示方法之一的图。

在进行立体投影的情况、或在圆筒状的显示面上显示可见光通信图像的情况下,如图155所示,通过显示可见光通信图像8505a~8505f,能够进行从较大的角度的接收。通过显示可见光通信图像8505a、8505b,能够在水平方向上从较大的角度接收。通过将可见光通信图像8505a与8505b组合,即使将接收机倾斜也能够接收。既可以将可见光通信图像8505a和可见光通信图像8505b交替地显示,也可以显示将这些图像合成后的图像即可见光通信图像8505f。进而,通过添加可见光通信图像8505c和可见光通信图像8505d,能够在垂直方向上从较大的角度接收。也可以通过如可见光通信图像8505e那样设置以中间色投影的部分及不投影的部分,来表现可见光通信图像的划分。通过使可见光通信图像8505a~8505f旋转,能够从更大的角度接收。另外,在图155中,在圆筒状的显示面上显示可见光通信图像,但也可以在圆柱的显示面上显示可见光通信图像。

在进行立体投影的情况下、或在球状的显示面上显示可见光通信图像的情况下,如图156所示,通过显示可见光通信图像8506a~8506d,能够进行从较大的角度的接收。在可见光通信图像8506a中,虽然水平方向上的可接收区域较大,但垂直方向上的可接收区域较小,所以与具有相反性质的可见光通信图像8506b组合来显示可见光通信图像8506a。既可以将可见光通信图像8506a和可见光通信图像8506b交替地显示,也可以显示将这些图像合成后的图像即可见光通信图像8506c。如可见光通信图像8506a的上部那样条码集中的部分显示较细,将信号误接收的可能性较高。所以,通过如可见光通信图像8506d那样将该部分用中间色显示或什么都不投影,能够防止接收错误。

(按每个区段(zone)而不同的通信协议)

图157是表示实施方式5的发送机和接收机的动作的一例的图。

接收机8420a从基站8420h获取区段信息,识别自身位于哪个区段,选择接收协议。基站8420h构成为例如便携电话的通信基站、wi-fi接入点、imes发送机、扬声器或无线发送机(bluetooth(注册商标)、zigbee、特定小电力无线站等)。另外,接收机8420a也可以基于从gps等得到的位置信息来确定区段。作为例子,假设决定为在区段a中以9.6khz的信号频率进行通信,在区段b中顶棚照明以15khz的信号频率进行通信,标牌以4.8khz的信号频率进行通信。接收机8420a在位置8420j处,根据基站8420h的信息识别出当前地是区段a,以9.6khz的信号频率进行接收,将发送机8420b/8420c发送的信号接收。接收机8420a在位置8420l处,根据基站8420i的信息识别出当前地是区段b,进而因为内部摄像头被朝向上方所以推测为要接收来自顶棚照明的信号,以15khz的信号频率进行接收,将发送机8420e/8420f发送的信号接收。接收机8420a在位置8420m处,从基站8420i的上方识别出当前地是区段b,进而根据使外部摄像头伸出的运动,推测要接收标牌发送的信号,以4.8khz的信号频率进行接收,将发送机8420g发送的信号接收。接收机8420a在位置8420k处,接收基站8420h和基站8420i两者的信号,不能判断出当前地是区段a和区段b的哪个,所以以9.6khz和15khz两者进行接收处理。另外,也可以是,根据区段而协议不同的部分不仅是频率,还可以使发送信号的调制方式、信号格式、查询id的服务器也不同。另外,基站8420h/8420i既可以将区段内的协议向接收机发送,也可以仅将表示区段的id发送,接收机以区段id为关键字从服务器获得协议信息。

发送机8420b~8420f将基站8420h/8420i发送的区段id及协议信息接收,决定信号发送协议。能够接收基站8420h和基站8420i两者发送的信号的发送机8420d利用信号强度更强的基站的区段的协议,或交替地利用两者的协议。

(区段的识别和每区段的服务)

图158是表示实施方式5的接收机和发送机的动作的一例的图。

接收机8421a根据接收到的信号,识别自身的位置属于的区段。接收机8421a提供按每个区段设定的服务(优惠券的分发、点数的赋予、道路导引等)。作为一例,接收机8421a接收从发送机8421b的左侧发送的信号,识别出处于区段a中。这里,发送机8421b也可以根据发送方向而发送不同的信号。此外,发送机8421b也可以通过使用2217a那样的发光样式的信号来发送信号,以使得根据到接收机的距离而接收不同的信号。此外,接收机8421a也可以根据发送机8421b的被摄像的方向和大小来识别与发送机8421b的位置关系,识别自身位于的区段。

也可以使表示位于相同区段的信号的一部分共通。例如,使从发送机8421b和发送机8421c发送的表示区段a的id前半为共通。由此,接收机8421a仅通过接收信号的前半,就能够识别自身位于的区段。

(本实施方式的总结)

本实施方式的信息通信方法,是通过亮度变化来发送信号的信息通信方法,包括:决定步骤,通过将多个发送对象的信号分别调制,决定多个亮度变化的样式;发送步骤,通过多个发光体分别按照所决定的多个亮度变化的样式中的某1个样式而亮度变化,将与上述某1个样式对应的发送对象的信号发送;在上述发送步骤中,上述多个发光体中的两个以上的发光体分别按照对该发光体预先设定的每个时间单位而以相互不同的频率进行亮度变化,以输出相互亮度不同的两种光中的某一方的光、并且对上述两个以上的发光体分别预先设定的上述时间单位相互不同。

由此,如使用图113说明的动作那样,由于两个以上的发光体(例如构成为照明设备的发送机)分别以相互不同的频率进行亮度变化,所以从这些发光体接收发送对象的信号(例如发光体的id)的接收机能够容易地将这些发送对象的信号区别并取得。

此外,也可以是,在上述发送步骤中,上述多个发光体分别以至少4种频率中的某1个频率进行亮度变化,上述多个发光体中的两个以上的发光体以相同的频率进行亮度变化。例如,在上述发送步骤中,在向用来接收上述多个发送对象的信号的图像传感器的受光面投影上述多个发光体的情况下,上述多个发光体分别亮度变化,以使得在上述受光面上相互相邻的全部的发光体间亮度变化的频率不同。

由此,如使用图114说明的动作那样,如果在亮度变化中使用的频率至少有4种,则即使在以相同的频率亮度变化的发光体有两个以上的情况下,即,即使在频率的种类的数量比多个发光体的数量少的情况下,也能够基于四色问题或四色定理,在图像传感器的受光面上相互相邻的全部的发光体间使亮度变化的频率可靠地不同。结果,接收机能够将从多个发光体发送的发送对象的信号分别容易地区别并取得。

此外,也可以是,在上述发送步骤中,上述多个发光体分别通过以由发送对象的信号的散列值确定的频率进行亮度变化,发送上述发送对象的信号。

由此,如使用图113说明的动作那样,多个发光体分别以由发送对象的信号(例如发光体的id)的散列值确定的频率进行亮度变化,所以接收机在接收到发送对象的信号时,能够判断根据实际的亮度变化确定的频率与通过散列值确定的频率是否一致。即,接收机能够判断在接收到的信号(例如发光体的id)中是否有错误。

此外,也可以是,上述信息通信方法还包括:频率计算步骤,根据存储在信号存储部中的发送对象的信号,按照预先设定的函数,计算与该发送对象的信号对应的频率作为第1频率;频率判断步骤,判断存储在频率存储部中的第2频率与计算出的上述第1频率是否一致;频率错误报告步骤,在判断为上述第1频率与上述第2频率不一致的情况下,报告错误;在判断为上述第1频率与上述第2频率一致的情况下,在上述决定步骤中,通过将存储在上述信号存储部中的上述发送对象的信号调制来决定亮度变化的样式;在上述发送步骤中,通过上述多个发光体中的某1个发光体按照所决定的上述样式以上述第1频率进行亮度变化,将存储在上述信号存储部中的上述发送对象的信号发送。

由此,如使用图120说明的动作那样,判断存储在频率存储部中的频率与根据存储在信号存储部(id存储部)中的发送对象的信号计算出的频率是否一致,在判断为不一致的情况下报告错误,所以能够容易地进行发光体的信号发送功能的异常检测。

此外,也可以是,上述信息通信方法还包括:检验值计算步骤,根据存储在信号存储部中的发送对象的信号,按照预先设定的函数计算第1检验值;检验值判断步骤,判断存储在检验值存储部中的第2检验值与计算出的上述第1检验值是否一致;检验值错误报告步骤,在判断为上述第1检验值与上述第2检验值不一致的情况下,报告错误;在判断为上述第1检验值与上述第2检验值一致的情况下,在上述决定步骤中,通过将存储在上述信号存储部中的上述发送对象的信号调制来决定亮度变化的样式;在上述发送步骤中,通过上述多个发光体中的某1个发光体按照所决定的上述样式进行亮度变化,将存储在上述信号存储部中的上述发送对象的信号发送。

由此,如使用图120说明的动作那样,判断存储在检验值存储部中的检验值与根据存储在信号存储部(id存储部)中的发送对象的信号计算出的检验值是否一致,在判断为不一致的情况下报告错误,所以能够容易地进行发光体的信号发送功能的异常检测。

此外,本实施方式的信息通信方法,是从被拍摄对象取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,以使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的多个曝光线对应的多个亮线;图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象在设定的上述曝光时间中摄影,取得包含上述多个亮线的亮线图像;信息取得步骤,通过将由在所取得的上述亮线图像中包含的上述多个亮线的样式确定的数据解调,取得信息;频率确定步骤,基于在所取得的上述亮线图像中包含的上述多个亮线的样式,确定上述被拍摄对象的亮度变化的频率。例如,在上述频率确定步骤中,确定在上述多个亮线的样式中包含的、作为为了分别表示头而预先设定的多个样式的多个头样式,将与上述多个头样式间的像素数对应的频率确定为上述被拍摄对象的亮度变化的频率。

由此,如使用图115说明的动作那样,由于被拍摄对象的亮度变化的频率被确定,所以在将亮度变化的频率不同的多个被拍摄对象摄影的情况下,能够将来自这些被拍摄对象的信息容易地区别并取得。

此外,也可以是,在上述图像取得步骤中,通过将分别亮度变化的多个被拍摄对象摄影,取得包含分别由多个亮线表示的多个样式的上述亮线图像;在上述信息取得步骤中,在所取得的上述亮线图像中包含的上述多个样式的各自的一部分重叠的情况下,通过将由从上述多个样式的各自中除了上述一部分以外的部分确定的数据解调,从上述多个样式分别取得信息。

由此,如使用图117说明的动作那样,由于从多个样式(多个亮线样式)重叠的部分不进行数据的解调,所以能够防止取得错误的信息。

此外,也可以是,在上述图像取得步骤中,通过将上述多个被拍摄对象在相互不同的定时摄影多次,取得多个亮线图像;在上述频率确定步骤中,按每个亮线图像,确定与该亮线图像中包含的上述多个样式分别对应的频率;在上述信息取得步骤中,从上述多个亮线图像中,检索被确定了相同的频率的多个样式,将检索出的上述多个样式结合,通过将由结合后的上述多个样式确定的数据解调,来取得信息。

由此,从多个亮线图像中检索被确定了相同的频率的多个样式(多个亮线样式),将检索出的多个样式结合,从结合后的多个样式取得信息,所以即使是多个被拍摄对象移动的情况,也能够将来自这些多个被拍摄对象的信息容易地区别并取得。

此外,也可以是,上述信息通信方法还包括:发送步骤,对于对识别信息分别登记了频率的服务器,发送在上述信息取得步骤中取得的信息中包含的上述被拍摄对象的识别信息、和表示在上述频率确定步骤中确定的频率的确定频率信息;关联信息取得步骤,从上述服务器取得与上述识别信息和由上述确定频率信息表示的频率建立了关联的关联信息。

由此,如使用图119说明的动作那样,取得与基于被拍摄对象(发送机)的亮度变化取得的识别信息(id)和该亮度变化的频率建立了关联的关联信息。因而,通过将被拍摄对象的亮度变化的频率变更,将登记在服务器中的频率更新为变更后的频率,能够防止在频率的变更前取得了识别信息的接收机从服务器取得关联信息。即,通过匹配于被拍摄对象的亮度变化的频率的变更而将登记在服务器中的频率也变更,能够防止过去取得了被拍摄对象的识别信息的接收机无期限地成为能够从服务器取得关联信息的状态。

此外,也可以是,上述信息通信方法还包括:识别信息取得步骤,通过从在上述信息取得步骤中取得的上述信息中提取一部分,取得上述被拍摄对象的识别信息;设定频率确定步骤,将由在上述信息取得步骤中取得的上述信息中的上述一部分以外的其余的部分表示的数,确定为对于上述被拍摄对象设定的亮度变化的设定频率。

由此,如使用图116说明的动作那样,能够在从多个亮线的样式得到的信息中不相互依存地包含被拍摄对象的识别信息、和对被拍摄对象设定的亮度变化的设定频率,所以能够提高识别信息和设定频率的自由度。

(实施方式6)

在本实施方式中,对使用上述实施方式1~5的智能电话等的接收机和作为led的闪烁样式发送信息的发送机的各应用例进行说明。

图159是表示实施方式6的发送信号的一例的图。

将发送信号d分割为预定的大小的数据片dx(例如,dx=d1、d2、d3),将根据各数据片计算出的错误检测-校正用的帧检验序列fcs和头hdr向各数据片附加。进而,将根据原数据计算出的错误检测-校正用的帧检验序列fcs2和头hdr2附加。由hdr、dx、fcs构成的数据是用来由图像传感器接收的结构。由于图像传感器适合于在短时间接收连续的数据,所以hdr、dx、fcs连续地发送。由hdr2、dx、fcs2构成的数据是用来由照度传感器接收的结构。由图像传感器接收的hdr和fcs越短越好,但比由照度传感器接收的hdr2和fcs2可以为更长的信号列。通过在hdr2中使用较长的信号系列,能够提高头检测精度。通过使fcs2变长,能够采用能够将许多的位错误进行检测-校正的代码,能够使错误检测-校正的性能提高。另外,也可以不发送hdr2和fcs2,而代之由照度传感器接收hdr或fcs。照度传感器也可以接收hdr和hdr2的两者或fcs和fcs2的两者。

图160是表示实施方式6的发送信号的一例的图。

fcs2信号长较长,如果被频繁地插入,则图像传感器中的接收效率变差。所以,减小fcs2的插入频度,代之而插入表示fcs2的场所的信号pofcs2。作为例子,在信号表现中使用每单位时间具有2位的信息量的4ppm的情况下,如果在fcs2中使用crc32,则需要16单位的发送时间,但值域为0~3的pofcs2能够在1单位时间中发送。通过比仅插入fcs2的情况缩短发送时间,能够使图像传感器接收的效率提高。照度传感器将接着发送信号d的pofcs2接收,根据pofcs2确定fcs2的发送时刻,接收fcs2。进而,接收接着fcs2的pofcs2,确定下个fcs2的发送时刻,接收下个fcs2。如果先接收到的fcs2与后接收到的fcs2相同,则推测为接收机接收到相同的信号。

图161a~图161c是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。

在图161a所示的摄像图像中,由于摄像较小,所以亮线的数量较少。因而,从该摄像图像一次仅能接收少量的数据。图161b所示的摄像图像是使用变焦摄像的图像,由于摄像较大,所以亮线的数量较多。因而,如果使用变焦摄像,则一次能接收大量的数据。此外,能够从远处接收数据,即使是较小的发送机的信号也能够接收。在变焦方法中,使用光学变焦或ex变焦。光学变焦是通过使透镜的焦点距离变长实现的变焦。ex变焦是在以比摄像元件的能力低的分辨率摄像的情况下、通过不是使用摄像元件的全部、而是仅使用一部分摄像来将摄像图像的一部分放大的变焦方法。图161c所示的摄像图像是使用电子变焦(图像的放大)摄像的图像。虽然摄像变大,但在通过电子变焦实现的放大中,亮线变粗,亮线的数量与变焦前没有变化,所以接收特性与变焦前没有变化。

图162a及图162b是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。

图162a所示的摄像图像是将焦点对准于被拍摄对象而摄像的图像,图162b所示的摄像图像是将焦点偏离而摄像的图像。在图162b所示的摄像图中,由于模糊地摄像,所以在实际的发送机的周围能够观察到亮线,能够观察到更多的亮线。因而,如果将焦点偏离而摄像,则一次能够接收较多的数据,此外能够从更远处接收数据。通过使用微距模式摄像,也能够将与图162b所示的摄像图像同样的图像摄像。

图163a~图163c是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。

通过将曝光时间设定得比可见光通信模式长、比通常摄像模式短而摄像,能够得到图163a所示那样的图像。将能够得到这样的图像的摄像模式称作亮线检测模式(中间模式)。在图163a所示的图像中,在左中央能够观察到发送机的亮线,在其以外的部分显现较暗的通常的摄像图像。通过将该图像显示到接收机上,用户能够将接收机朝向目标的发送机而容易地摄像。在亮线检测模式中,由于比通常摄像模式更暗地摄像,所以通过以高感光度模式摄像,能够将与通常摄像模式接近的、人容易辨识的明亮度的图像摄像。如果将感光度设定得过高,则亮线的较暗的部分变得明亮,所以感光度设定为能够观察到亮线的程度。接收机转移到可见光通信模式,将在用户以接触图像等的手段指定的部分处摄像的发送机的发送信号接收。接收机也可以在摄像图像中找到了亮线(发送信号)的情况下自动转移到可见光通信模式而接收信号。

接收机根据摄像图像中的亮线找到发送信号,通过将该部分如图163b所示那样强调显示,能够将发送了信号的部分向用户容易理解地提示。亮线不仅是发送信号,有时通过被拍摄对象的图样也能够观察到。所以,也可以不是根据1张图像的亮线判断发送信号的有无,而是在多个图像中亮线的位置变化的情况下判断为有发送信号。

由于以亮线检测模式摄像的图像比以通常摄像模式摄像的图像暗而辨识性较差,所以也可以将通过图像处理提高了辨识性的图像显示。图163c所示的图像是提取边缘而将被摄像物的边界强调的图像的一例。

图164是表示实施方式6的接收机的摄像图像(亮线图像)的一例的图。具体而言,图164是将使信号发送的周期为1/9600秒的发送机用图的下部所示的曝光时间的比摄像的图。在比作为发送周期的1/9600秒短的曝光时间中,摄像图像大致相同,能够摄像鲜明的亮线。如果曝光时间变长,则亮线的轮廓模糊,但在该信号表现的例子中,只要是发送周期的约1.5倍以内的曝光时间,亮线的样式就能够观察,就能够接收信号。此外,在该信号表现的例子中,只要是发送周期的约20倍以内的的曝光时间就能够观察亮线,能够使用该范围的曝光时间作为亮线检测模式的曝光时间。

在何种程度的曝光时间以内能够接收信号,根据信号表现的方法而不同。如果亮线较少、使用亮线间的间隔变长的信号表现规则,则传送效率下降,但通过更长的曝光时间也能够接收信号,此外,通过更长的曝光时间也能够观察亮线。

(中间摄像模式的曝光时间)

根据图164,只要曝光时间是调制周期的3倍左右以内,就能够观察出清晰的亮线。由于调制频率是480hz左右,所以中间摄像模式(中间模式)的曝光时间优选的是1/160秒以下。

此外,在曝光时间为1/10000秒以下时,在照明光下即使以高感光度模式摄像,也难以看到非发光物,所以中间摄像模式的曝光时间优选的是1/10000秒以上。但是,今后通过摄像元件的感光度提高,该限制能够缓和。

图165是表示实施方式6的发送信号的一例的图。

接收机由于将接收到的多个数据片合并而接收一系列的信号,所以如果发送信号被突然变更,则变更前后的数据片混杂,不能将信号正确地合并。所以,如图165的(a)那样,发送机在发送信号变更时,作为缓冲带而在预定的时间的期间中进行通常点灯,不发送信号。接收机在比上述预定的时间t1短的预定的时间t2的期间中不能接收信号的情况下,通过将到此为止接收到的数据片丢弃,能够避免变更前后的数据片的混合。或者,如图165的(b)那样,发送机在发送信号变更时,将通知该情况的信号x反复发送。通过反复发送,防止发送信号变更通知x的漏接收。或者,如图165的(c)那样,发送机在发送信号变更时,将前导码反复发送。接收机在以比在通常的信号中前导码出现的周期短的周期接收到前导码的情况下,将到此为止接收到的数据片丢弃。

图166是表示实施方式6的接收机的动作的一例的图。

图166的(a)所示的图像是以合焦(justfocus)将发送机摄像的图像。接收机通过将焦点偏离地摄像,能够摄像出图166的(b)那样的图像。如果进一步将焦点偏离,则摄像图像成为图166的(c)所示的图像那样。在图166的(c)中,多个发送机的亮线重叠,接收机不能接收信号。因此,接收机调整焦点以使多个发送机的亮线不重叠,进行摄像。在摄像范围中仅存在一个发送机的情况下,接收机调整焦点,以使得在摄像图像中发送机的大小为最大。

接收机也可以将摄像图像在与亮线平行的方向上压缩,但在与亮线垂直的方向上不进行图像压缩。或者,接收机使垂直的方向的压缩的程度变低。由此,能够防止通过压缩而亮线模糊、发生接收错误的情况。

图167及图168是表示在实施方式6的接收机的屏幕上显示的向用户的指示的一例的图。

接收机通过将多个发送机摄像,能够根据各发送机的位置信息、摄像图像中的各发送机的位置和大小及角度,以三角测量的原理推测接收机的位置。所以,在以仅一个发送机能够接收的形式摄像的情况下,用户通过改变接收机的方向、或者后退而摄像等而使多个发送机摄像,所以接收机通过显示包含箭头等的图像,能够进行摄像方向及移动方向的指示。图167的(a)是将接收机朝向右方而使右侧的发送机摄像的指示的显示例,图167的(b)是后退而使跟前的发送机摄像的指示的显示例。图168是因为对于接收机而言其它发送机的位置是不明的、所以将接收机摆动等而使其它发送机摄像的指示的显示例。优选的是在一张摄像图像中摄影多个发送机,但也可以使用图像处理或9轴传感器的传感器值来推测多张图像中的发送机的位置关系。接收机也可以使用从一个发送机接收到的id,将周边的发送机的位置信息向服务器询问,向用户进行指示以将最容易摄像的发送机摄像。

接收机根据9轴传感器的传感器值检测用户使接收机移动的情况,在移动结束而经预定的时间后,进行基于最后接收到的信号的画面的显示。由此,能够防止当用户将接收机朝向想要的发送机时、在接收机的移动中接收到其它发送机的信号而进行基于不想要的发送机的发送信号的处理的情况。

接收机也可以在被移动的期间中也继续接收处理,进行基于接收到的信号的处理,例如以接收信号为关键字的来自服务器的信息取得等。在此情况下,在该处理后也继续接收处理,将基于最后接收到的信号的处理作为最终的处理。

接收机也可以将接收到预定的次数的信号处理或向用户通知。接收机也可以将在被移动的期间中最多次数能够接收到的信号处理。

接收机也可以具备当信号的接收成功时、或在摄像图像中检测到信号的存在时向用户通知的通知机构。通知机构通过声音、振动或显示器的更新(弹出显示等)等进行通知。由此,用户能够知道发送机的存在。

图169是表示实施方式6的信号发送方法的一例的图。

例如作为显示器构成的多个发送机被相邻地配置。多个发送机在发送相同的信号的情况下,使信号发送的定时同步,如图169的(a)那样,从整面发送信号。通过该结构,在接收机中多个显示器被作为一个大的发送机观察到,所以接收机能够更高速地、此外能够从更远距离接收信号。在多个发送机发送不同的信号的情况下,如图169的(b)那样,多个发送机设置不发送信号的缓冲带(非发送区域)而发送信号。通过该结构,接收机识别出多个发送机是隔开缓冲带的相互不同的发送机,能够接收各自的信号。

图170是表示实施方式6的信号发送方法的一例的图。

如图170的(a)所示,液晶显示器设置背灯灭灯期间,通过在背灯的灭灯中使液晶的状态变化,使状态变化中的图像不可视,能够提高动态分辨率。对于进行了这样的背灯控制的液晶显示器,如图170的(b)所示,匹配于背灯的点灯周期而叠加信号。通过将一连串的数据(hdr、data、fcs)连续发送,能够提高接收效率。此外,在背灯的点灯期间的最初和最后,发光部为明亮的状态(hi)。这是因为,如果发光部较暗的状态(lo)与背灯灭灯期间连续,则在接收机中不能进行是作为信号而发送了lo、还是因背灯灭灯期间而处于较暗的状态的判断。

背灯灭灯期间也可以叠加使平均亮度变低的信号。

通过叠加信号,与不叠加的情况相比平均亮度变,所以将背灯点灯期间增减或使背灯点灯时的亮度升降而调整,以使平均亮度成为相等。

图171是表示实施方式6的信号发送方法的一例的图。

液晶显示器通过将背灯控制以按照位置而不同的定时进行,能够使画面整体的亮度变化降低。将其称作背灯扫描。背灯扫描通常如图171的(a)那样以从端部起依次使背灯点灯的方式进行。此时,能得到摄像图像8802a。但是,在摄像图像8802a中,亮线存在的部分被分断,有显示器的画面整体不能推测为一个发送机的情况。所以,如图171的(b)那样,通过在设纵轴为背灯扫描的分割方向的空间轴、设横轴为时间轴显示时,设定背灯扫描的顺序以使发光的(叠加了信号的)部分全部相连,能够得到摄像图像8802b。在摄像图像8802b中,亮线部分全部连结,能够容易地推测出是来自一个发送机的发送信号。此外,由于能够连续接收的亮线的数量增加,所以能够迅速地、从远处接收信号。此外,发送机的大小的推测也变得容易,所以能够根据摄像图像中的发送机的位置、大小、角度高精度地推测接收机的位置。

图172是表示实施方式6的信号发送方法的一例的图。

在时间分割背灯扫描中,在背灯的点灯期间较短、在设纵轴为背灯扫描的分割方向的空间轴、设横轴为时间轴的曲线图上不能将发光的(叠加了信号的)部分相连的情况下,在各自的发光部分中,与图170的情况同样,匹配于背灯的发光定时而叠加信号。此时,通过控制背灯以使其与曲线图上的其它背灯点灯部分的距离成为最大,能够防止相邻部分的亮线混杂。

(实施方式7)

图173是表示使用已经说明的实施方式所记载的接收方法的服务提供系统的图。

首先,对于管理服务器ex8002的企业aex8000,其它企业b或个人ex8001委托向便携终端的信息的分发。例如委托对于与标牌可见光通信的便携终端发送详细的广告信息、优惠券信息或地图信息等。管理服务器的企业aex8000与任意的id信息对应而管理向便携终端分发的信息。便携终端ex8003通过可见光通信从被拍摄对象ex8004取得id信息,将所取得的id信息向服务器ex8002发送。服务器ex8002将与id信息对应的信息向便携终端发送,并将发送了与id信息对应的信息的次数计数。管理服务器的企业aex8000将与计数的次数对应的费用对委托的企业b或个人ex8001核款。例如,计数数越大,使核款的金额越大。

图174是表示服务提供的流程的流程图。

在步骤ex8000中,管理服务器的企业a从其它企业b接受信息分发的委托。接着,在步骤ex8001中,在企业a管理的服务器中,将接受到分发委托的信息与特定的id信息建立关联。在步骤ex8002中,便携终端通过可见光通信从被拍摄对象接收特定的id信息,向企业a管理的服务器发送。关于可见光通信方法的详细情况,由于在其它实施方式中已经说明,所以省略。服务器将与从便携终端发送的特定的id信息对应的信息对便携终端发送。在步骤ex8003中,在服务器中,将信息分发的次数计数。最后,在步骤ex8004中,将与信息分发的计数数对应的费用对企业b核款。这样,通过根据计数数进行核款,能够将与信息分发的宣传效果对应的适当的费用向企业b核款。

图175是表示另一例的服务提供的流程图。关于与图174重复的步骤省略说明。

在步骤ex8008中,判断是否从信息分发的开始起经过了预定时间。如果判断为预定时间内,则在步骤ex8011中,不进行对企业b的核款。另一方面,在判断为经过了预定期间的情况下,在步骤ex8009中,将分发了信息的次数计数。并且,在步骤ex8010中,将与信息分发的计数对应的费用对企业b核款。这样,在预定期间内免费进行信息分发,所以企业b能够在确认宣传效果等后接受核款服务。

图176是表示另一例的服务提供的流程图。关于与图175重复的步骤省略说明。

在步骤ex8014中,将分发了信息的次数计数。在步骤ex8015中,在判断为从信息分发开始起没有经过预定期间的情况下,在步骤ex8016中不进行核款。另一方面,在判断为经过了预定期间的情况下,在步骤ex8017中进行分发了信息的次数是否为预定值以上的判断。在分发了信息的次数不到预定值的情况下,将计数数复位,再次将分发了信息的次数计数。在此情况下,关于分发了信息的次数不到预定值的预定期间,对企业b不进行核款。在步骤ex8017中,如果计数数是预定值以上,则在步骤ex8018中将计数数复位一次,再次再开始计数。在步骤ex8019中,将与计数数对应的费用对企业b核款。这样,通过在免费进行了分发的期间内的计数数较少的情况下再次设置免费分发的期间,企业b能够以适当的定时接受核款服务。此外,企业a也能够在计数数较少的情况下将信息内容分析,例如在为不与季节对应的信息那样的情况下,可以对企业b提案以将信息内容变更。另外,在再次设置免费的信息分发期间的情况下,也可以设为比初次的预定的期间短的期间。通过比初次的预定的期间短,能够使对于企业a的负担变小。此外,也可以做成隔开一定期间再次设置免费的分发期间的结构。例如,如果是受到季节的影响的信息,则可以在季节变化之前隔开一定期间再次设置免费的分发期间。

另外,也可以不取决于信息的分发次数,而根据数据量变更核款费用。也可以做成使一定的数据量的分发为免费、在预定的数据量以上核款的结构。此外,也可以随着数据量变大而使核款费用也变。此外,也可以在将信息与特定的id信息建立对应而管理时将管理费用核款。通过作为管理费用核款,在委托了信息分发的时间点能够决定费用。

(实施方式8)

在本实施方式中,对使用了作为上述各实施方式的智能电话等接收机和作为led和/或有机el的闪烁样式而发送信息的发送机的各应用例进行说明。

(容易接收的调制方式)

图177a、图177b及图178是表示实施方式8的信号的编码的一例的图。

发送信号由头(h)和主体(body)构成。在头中包含有唯一的信号样式。接收机从接收信号中找出该唯一的样式,以该位置为基准,识别接收信号的哪个部分表示头、主体,并接收数据。

当将发送信号用图177a的(a)的样式调制时,接收机在将头和随后的主体连续接收到时能够接收数据。接收机能够连续接收信号的时间长度由摄像图像(摄影图像)中摄入的发送机的大小决定。在发送机较小的情况或将发送机从远处摄像的情况下,接收机能够连续接收信号的时间较短。在接收机能够连续接收信号的时间(连续接收时间)与包括头和主体的1块的发送时间相同的情况下,仅在头的发送开始时间点与接收开始时间点相等的情况下接收机能够接收数据。图177a的(a)表示连续接收时间比包括头和主体的1块的发送时间稍长的情况。箭头线表示连续接收时间,在以由粗线表示的定时接收到信号的情况下能够接收数据,但在以由细线表示的定时接收到信号的情况下,由于在接收信号中头和主体不齐全,所以不能接收数据。

通过将发送信号用图177a的(b)的样式调制,能够以更宽泛的接收定时进行数据的接收。发送机发送以“主体-头-主体”为一组调制成的信号。这里,处于相同的组中的两个主体是相同的信号。接收机即使不将主体连续接收,也能够通过将头的前后的主体接合而将主体复原,所以只要能够将头中包含的全部的信号连续地接收,就能够接收数据。在图177a中,将能够接收数据的接收定时用粗线表示,可知在(b)的情况下,与(a)的情况相比能够以更宽泛的接收定时进行数据的接收。

在图177a的(b)的调制方式的情况下,只要主体的信号长是固定值,接收机就能够将主体复原。或者,只要在头中包含主体的信号长的信息,接收机就能够将主体复原。

即,如图177b所示,接收机首先从包含亮线的摄影图像(亮线图像)中寻找由唯一的亮线的样式构成的头。并且,接收机将接在该头之后(图177b中的(1)的方向)的主体的各信号依次读出。此时,接收机每当读出信号,就判断是否以主体的信号长的量读出了该主体的信号。即,判断是否已将主体中包含的全部的信号读出。当判断为没有读出时,接收机将在被读出的信号之后接着的信号读出。但是,在其之后没有接着的信号的情况下,接收机将在头之前(图177b中的(2)的方向)接续的主体的各信号依次读出。由此,将主体中包含的全部的信号读出。这里,如果主体的信号长是固定长,则接收机将该信号长预先保持,使用该信号长进行上述判断。或者,接收机根据头确定主体的信号长,使用该信号长进行上述判断。

此外,在主体的信号长是可变长的情况下,也通过设定调制方式以使相同的发送机调制的主体为相同的信号长,接收机能够根据两个头间的信号长推测主体的信号长并将主体复原。此时,在图177a的(b)的调制方式中,必须将两个头和两个主体的信号一次接收。但是,如果是图178所示的调制方式,则仅通过接收两个主体和一个信号就能够推测主体的信号长。另外,在图178中,是以“主体-头-主体-头2(h2)”为一组的调制方式,接收机只要能够将头中包含的全部的信号连续接收,就能够接收数据。

这样,本实施方式的发送机决定与作为发送对象的信号中的一部分的主体对应的第1亮度变化的样式、和表示用来确定该主体的头的第2亮度变化的样式,通过以第1亮度变化的样式、第2亮度变化的样式、该第1亮度变化的样式的顺序,按照各个样式进行亮度变化,将头及主体发送。此外,发送机也可以还决定表示与头不同的其它的头的第3亮度变化的样式,以第1亮度变化的样式、第2亮度变化的样式、第1亮度变化的样式、第3亮度变化的样式的顺序,按照各个样式而进行亮度变化,将头、主体及其它的头发送。

(基于亮线的通信和图像识别的并用)

图179是表示实施方式8的摄像图像的一例的图。

接收机能够从摄像图像中的亮线读取信号,并将亮线以外的部分通过图像处理进行解析。由此,作为例子,接收机从例如构成为数字标牌的发送机接收信号,即使在接收到相同的信号的情况下也能够根据此时映照在发送机的画面上的图像而显示不同的广告等。

亮线在图像处理中为噪声,所以也可以从亮线的左右的像素将亮线部分的像素值进行插补后进行图像处理。此外,也可以对除了亮线部分以外的图像进行图像处理。

(适合于可见光信号的接收的摄像元件的利用方法)

图180a~图180c是表示实施方式8的接收机的一例的图。

如图180a所示,8910a是接收机的摄像元件。摄像元件由作为将图像摄像的部分的有效像素、用于暗电流等的噪声测量的光学黑和无效区域8910b构成。在光学黑中,还有测量垂直方向的噪声的vob和测量水平方向的噪声的hob。由于亮线向8910c的方向(水平方向)产生,所以在对vob或无效区域8910b曝光的时间中得不到亮线,不能接收信号。因此,在可见光通信时,通过切换为不利用vob和无效区域8910b或以最小限度利用的摄像模式,能够增加能够接收信号的时间。

如图180b所示,通过不利用vob和无效区域8910b,能够延长在作为包含有效像素的区域的有效像素区域中被曝光的时间。具体而言,如图180b的(a)所示,在通常摄影时,在时刻t0~t10、时刻t10~t20及时刻t20~t30的各自的期间中取得1张摄影图像。此外,为了取得各个摄影图像,还利用vob和无效区域8910b,所以在有效像素区域中被曝光的时间(电荷被读出的时间,图180b中的阴影部分)是时刻t3~t10、时刻t13~t20及时刻t23~t30。

另一方面,通过在可见光通信时不利用vob和无效区域8910b,如图180b的(b)所示,能够将在有效像素区域中被曝光的时间延长不利用vob和无效区域8910b的时间。即,能够增加能够以可见光通信接收的时间。结果,能够接收更多信号。

另外,如图180c的(a)所示,在通常摄影时,有效像素区域的各曝光线的曝光在相邻的曝光线的曝光开始起经过预定时间m后开始。另一方面,如图180c的(b)所示,在可见光通信时,如果将在有效像素区域中被曝光的时间延长,则有效像素区域的各曝光线的曝光在相邻的曝光线的曝光开始起经过预定时间n(n>m)后开始。

这样,本实施方式的接收机在进行通常摄影时,对于处于包含图像传感器的光学黑的区域中的多个曝光线,分别在从进行了对于该曝光线的相邻的曝光线的电荷的读出的时间点起经过预定的时间后进行电荷的读出。并且,接收机在进行可见光通信时,不将光学黑用于电荷的读出,而对处于图像传感器的光学黑以外的区域中的多个曝光线分别从进行了对该曝光线的相邻的曝光线的电荷的读出的时间点起经过比上述预定的时间长的时间后进行电荷的读出。

此外,在可见光通信时,通过设为纵向的像素数不会因去马赛克或剪裁等的处理而减少那样的摄像模式,能够进一步增加可接收信号的时间。

如果不利用vob或无效区域8910b,而以不减少纵向的像素的模式摄像,则摄像图像的下端与下一帧的摄像图像的上端的曝光定时在时间上连续,能够将信号连续地接收。此外,即使在不能完全使vob等无效的情况下,也能够通过以能够纠错的方式调制发送信号来将信号连续地接收。

在图180a中,由于将水平方向的光电二极管同时曝光,所以出现水平方向的亮线。在可见光通信时,通过将该曝光模式和将垂直方向的光电二极管同时曝光的曝光模式交替地重复,能够得到水平的亮线和垂直的亮线,所以不论发送机是怎样的形状,都能够稳定地接收信号。

(连续的信号接收)

图180d是表示实施方式8的信号接收方法的一例的图。

在摄像元件中,有作为以受光到的光的强度为图像的像素的有效像素、和不以受光到的光的强度为图像而例如作为暗电流的强度的基准使用的无效像素。因此,在通常摄像模式中,如(a)所示,存在仅无效像素受光的时间,在此期间中不能接收信号。所以,在可见光通信模式中,通过如(b)那样使仅无效像素受光的时间为最小限度、或如(c)那样设定为总是有效像素受光,能够更长地取得可接收的时间。此外,由此能够进行连续的接收。在(b)的情况下存在不能接收的时间,但通过在发送数据中使用错误校正码,在一部分的信号不能接收的情况下也能够推测整体的信号。

(来自较小地摄像的发送机的信号的接收方法)

图180e是表示实施方式8的信号接收方法的一例的流程图。

如图180e所示,在步骤9000a中开始,在步骤9000b中接收信号,在步骤9000c中检测头。在步骤9000d中确认接着头的主体的数据尺寸是否是已知的,在“是”的情况下向步骤9000f前进。在“否”的情况下向步骤9000e前进,将接着头的主体的数据尺寸从头读出,向步骤9000f前进。在步骤9000f中,确认是否能够将接着头而意味着主体的信号全部接收,在“是”的情况下向步骤9000g前进,从接着头接收到的信号将主体部分读出,在步骤9000p中结束。在“否”的情况下向步骤9000h前进,确认如果将接着头接收到的部分与在头之前接收到的部分的数据长加在一起是否足够主体的数据长,在“是”的情况下向步骤9000i前进,通过将接着头接收到的部分与在头之前接收到的部分连结,将主体部分读出,在步骤9000p中结束。在“否”的情况下向步骤9000j前进,确认是否有从发送机摄像许多亮线的手段,在“是”的情况下向步骤9000n前进,变更为能够将亮线较多摄像的设定,向步骤9000b返回。在“否”的情况下向步骤9000k前进,通知虽然发送机存在但摄像的大小不充分的情况,在步骤9000m中通知发送机的方向,通知只要向那里接近就能够接收,在步骤9000p中结束。

通过该方法,在摄像图像中的穿过发送机的曝光线较少的情况下,也能够稳定地接收信号。

(适合于可见光信号的接收的摄像图像尺寸)

图181及图182a是表示实施方式8的接收方法的一例的图。

在摄像元件的有效像素区域是4:3的情况下,如果以16:9摄像,则将图像的上下的部分裁剪。在亮线在水平方向上出现的情况下,通过该裁剪而亮线丢失,能够接收信号的时间变短。同样,在摄像元件的有效像素区域是16:9的情况下,如果以4:3摄像,则图像的左右的部分被裁剪,在亮线在垂直方向上出现的情况下能够接收信号的时间变短。所以,不发生裁剪的纵横比,即,在图181中将4:3、在图182a中将16:9作为可见光通信模式下的摄像纵横比。由此,能够使能够接收的时间取得较长。

即,本实施方式的接收机还设定通过图像传感器得到的图像的纵幅与横宽的比率。并且,接收机在进行可见光通信时,根据设定的比率盘点各图像中的与曝光线(亮线)垂直的方向的端部是否被裁剪,当判定为端部被裁剪时,将设定的比率变更为作为其端部没有被裁剪的比率的非裁剪比率。并且,接收机的图像传感器通过将亮度变化的被拍摄对象摄影,取得该非裁剪比率的亮线图像。

图182b是表示实施方式8的接收方法的一例的流程图。

在该接收方法中,将接收时间延长,设定用来接收来自较小的发送机的信号的摄像纵横比。

即,如图182b所示,在步骤8911ba中开始,在步骤8911bb中将摄像模式向可见光通信模式变更。在步骤8911bc中确认摄像图像的纵横比设定是否为与有效像素的纵横比最近的设定。在“是”的情况下向步骤8911bd前进,将摄像图像的纵横比设定设为与有效像素的纵横比最接近的设定。在步骤8911be中结束。在“否”的情况下向步骤8911be前进并结束。通过在可见光通信模式中这样设定纵横比,能够减少不能接收的时间。此外,能够接收来自较小的发送机或较远的发送机的信号。

图182c是表示实施方式8的接收方法的一例的流程图。

在该接收方法中,设定用来增加每单位时间的样本数的摄像纵横比。

即,如图182c所示,在步骤8911ca中开始,在步骤8911cb中将摄像模式向可见光通信模式变更。在步骤8911cc中确认是否能够确认曝光线的亮线但每单位时间的样本数较少而不能接收信号。在“是”的情况下向步骤8911cd前进,将摄像图像的纵横比设定设为与有效像素的纵横比最不同的设定。在步骤8911ce中提高摄像帧速率,向步骤8911cc返回。在“否”的情况下向步骤8911cf前进,接收信号并结束。

通过在可见光通信模式中这样设定纵横比,能够接收频率高的信号。另外,在噪声大的环境下也能够接收。

(利用变焦的可见光信号的接收)

图183是表示实施方式8的接收方法的一例的图。

接收机从摄像图像8913a中找到存在亮线的区域,进行变焦以便产生尽可能多的亮线。如摄像图像8913b那样,在与亮线的方向垂直的方向上亮线区域放大至达到画面的上端下端,由此能够使亮线的数量成为最大。

此外,接收机也可以找到亮线被清晰显示的区域,如8913c那样进行变焦以使该部分被较大地映照。

另外,在摄像图像中存在多个亮线区域的情况下,也可以对各个亮线区域依次进行上述处理。此外,也可以对用户从摄像图像中指定的亮线区域进行上述处理。

(适合于可见光信号的接收的图像数据尺寸的压缩方法)

图184是实施方式8的接收方法的一例。

当将摄像图像(a)从摄像部向图像处理部传送时、或从摄像终端(接收机)向服务器发送时,在需要图像数据尺寸的压缩的情况下,如果如(c)那样对亮线在水平的方向上进行缩小或像素间隔剔除,则能够不减少亮线的信息量而将数据尺寸压缩。如果进行(b)或(d)那样的缩小或像素间隔剔除,则亮线的数量减少,或亮线的识别变困难。在图像压缩时,也通过在与亮线垂直的方向上不压缩、或者使垂直方向的压缩率比水平方向的压缩率小,能够防止接收效率的降低。另外,移动平均过滤器在垂直方向和水平方向上都可以使用,对于数据尺寸缩小和噪声降低的两者是有效的。

即,本实施方式的接收机还通过在与亮线图像中包含的多个亮线分别平行的方向上将该亮线图像压缩而生成压缩图像,将该压缩图像发送。

(接收错误检测精度较高的调制方式)

图185是表示实施方式8的信号调制方法的一例的图。

基于校验位的错误检测由于检测1位的接收错误,所以不能检测出“01”和“10”的弄错、和“00”和“11”的弄错。在(a)的调制方式中,“01”和“10”由于l的位置仅有一个不同,所以容易弄错,而在(b)的调制方式中,“01”和“10”、“00”和“11”的l的位置分别有两个不同。通过使用(b)的调制方式,能够以较高的精度检测接收错误。这在图76到图78的调制方式中也是同样的。

即,在本实施方式中,将亮度值(例如l)出现的定时相互不同的亮度变化的样式分别预先分配给相互不同的信号单位,以使得该定时相互相邻的两个亮度变化的样式不被分配给相同的奇偶性的信号单位(例如,“01”和“10”)。并且,本实施方式的发送机对发送对象的信号中包含的信号单位分别决定分配给该信号单位的亮度变化的样式。

(根据状况的差异进行的接收机的动作的变更)

图186是表示实施方式8的接收机的动作的一例的图。

接收机8920a根据开始接收的状况而进行不同的动作。例如在日本启动的情况下,接收以60khz的相位偏移调制方式调制后的信号,以接收到的id为关键字从服务器8920d下载数据。在美国启动的情况下,接收以50khz的频率偏移调制方式调制后的信号,以接收到的id为关键字从服务器8920e下载数据。使接收机的动作变更的上述状况包括,接收机8920a所存在的场所(国家或建筑物)、与接收机8920a通信的基站或无线接入点(wi-fi、bluetooth(注册商标)、imes等)、时刻等。

例如,接收机8920a将位置信息或最后接入的无线基站(载波通信网或wi-fi、bluetooh(注册商标)、imes等的基站)、或通过可见光通信最后接收到的id向服务器8920f发送。服务器8920f基于接收到的信息推测接收机8920a的位置,将能够接收该位置附近的发送机的发送信号的接收算法和管理该位置附近的发送机的id的id管理服务器的信息(uri等)发送。接收机8920a使用接收到的算法接收发送机8920b或8920c的信号,向接收到的id管理服务器8920d、8920e进行以id为关键字的查询。

通过该方法,能够以国家、地域或建筑物的单位进行不同方式的通信。此外,本实施方式的接收机8920a也可以是,当接收到信号时,根据在该信号的调制中利用的频率,切换作为访问对象的服务器或切换接收算法,或切换图185所示的信号调制方法。

(向人通知可见光通信)

图187是表示实施方式8的发送机的动作的一例的图。

发送机8921a的发光部如图187的(a)所示,反复进行人能够辨识的闪烁(即亮灭)和可见光通信。通过进行人能够辨识的闪烁,能向人通知能够可见光通信的情况。用户通过发送机8921a的闪烁,注意到能够可见光通信,将接收机8921b朝向发送机8921a而进行可见光通信,进行发送机8921b的用户登记。

即,本实施方式的发送机交替地反复进行发光体通过亮度变化来发送信号的步骤、和进行闪烁以使发光体能够被人的眼睛辨识的步骤。

发送机也可以如图187的(b)那样将可见光通信部和闪烁部分别设置。

发送机使用图77、图78的调制方式,如图187的(c)那样动作,由此能够一边进行可见光通信,一边使人看到发光部正在闪烁。即,发送机交替地反复进行例如明亮度75%的高亮度可见光通信和明亮度1%的低亮度可见光通信。例如当在发送机中发生异常等而发送与通常不同的信号时,通过进行图187的(c)的动作,能够不停止可见光通信而向用户提起注意。

(基于散光板的接收范围的放大)

图188是表示实施方式8的接收机的一例的图。

图188的(a)表示接收机8922a的通常模式的状况,图188的(b)表示接收机8922a的可见光通信模式的状况。接收机8922a在摄像部之前具备散光板8922b。接收机8922a在可见光通信模式时使散光板8922b移动到摄像部之前,将光源扩散而摄像。此时,调整散光板8922b的位置以使来自多个光源的光不重叠。另外,也可以代替散光板8922b而使用微透镜或变焦透镜。由此,能够接收远处的发送机或较小的发送机的信号。

另外,也可以代替使散光板8922b移动而使摄像部的摄像方向移动。

另外,散光板8922b映照的图像传感器的区域,在通常摄像模式中不利用,仅在可见光通信模式中利用。由此,将散光板8922b和摄像部都不用移动便能够得到上述效果。

(从多个发送机的信号发送的同步方法)

图189和图190是表示实施方式8的发送系统的一例的图。

在为了投影映射等而使用多个投影仪的情况下,为了避免干扰,需要在一处的投影中只有一个投影仪发送信号、或者使多个投影仪的信号发送定时同步。图189表示用于发送定时的同步的机制。

对相同的投影面进行投影的投影仪a和投影仪b如图189那样发送信号。接收机将其摄像并接收,计算信号a与信号b的时间差,调整各投影仪的信号发送定时。

在动作开始时,由于投影仪a和投影仪b不同步,所以通过设置从哪一个都不发送信号的时间(全休止时间),来防止信号a和信号b重叠而不能接收。也可以随着投影仪的定时调整的进行而使投影仪发送的信号变化。例如,通过在动作开始时将全休止时间取较长、随着定时调整的进行而使全休止时间变短,能够高效率地进行定时调整。

为了正确地调整定时,优选的是在1张摄像图像中包含信号a和信号b。接收机的摄像帧速率为60fps到7.5fps的情况较多。通过使信号发送的周期为7.5分之1秒以下,能够将信号a和信号b包含在以7.5fps摄像的图像中。此外,通过使信号发送的周期为60分之1秒以下,能够可靠地将信号a和信号b包含在以30fps摄像的图像中。

图190是表示将由多个显示器构成的发送机同步的情况的图。同步的显示器进行摄像以包含于1张图像中,并进行定时调整。

(照度传感器和图像传感器的可见光信号的接收)

图191是表示实施方式8的接收机的动作的一例的图。

图像传感器由于与照度传感器相比消耗电力较高,所以接收机8940a在由照度传感器8940c检测到信号时将图像传感器8940b启动而接收信号。如图191的(a)所示,接收机8940a将发送机8940d发送的信号用照度传感器8940c接收。然后,接收机8940a将图像传感器8940b启动,用图像传感器将发送机8940d的发送信号接收,此外,识别发送机8940d的位置。此时,图像传感器8940b在接收到信号的一部分的时间点,如果该部分与由照度传感器8940c接收到的信号相同,则临时判断为接收到相同的信号,进行后段的处理、例如当前位置的显示等。在由图像传感器8940b接收完全部的信号的时间点,完成判断。

另外,在临时判断时,也可以显示判断没有完成的情况。例如,使当前位置的显示为半透明,或显示位置的误差。

另外,所谓上述信号的一部分,例如设定为整体的信号长度的20%、或错误检测码部分等。

在图191的(b)那样的状况下,在照度传感器8940c中,虽然信号干扰而不能接收,但能够识别出存在信号。例如在对照度传感器8940c的传感器值进行了傅立叶变换时,在发送信号的调制频率中出现峰值的情况下,可以推测为存在信号。接收机8940a当根据照度传感器8940c的传感器值推测为存在信号时,将图像传感器8940b启动,接收来自发送机8940e、8940f的信号。

(接收开始的触发)

图192是表示实施方式8的接收机的动作的一例的图。

如果将图像传感器或照度传感器(以下称作受光传感器)启动,则消耗电力,所以通过在不需要时停止、在需要时启动,能够使消耗电力效率提高。另外,由于照度传感器的消耗电力比图像传感器少,所以以下也可以设为照度传感器总是启动,而仅控制图像传感器。

在图192的(a)中,接收机8941a根据9轴传感器的传感器值检测移动,将受光传感器启动而开始接收。

在图192的(b)中,根据9轴传感器的传感器值检测将接收机放倒的动作,将朝向上方一侧的受光传感器启动,开始接收。

在图192的(c)中,根据9轴传感器的传感器值检测将接收机伸出的动作,将被伸出的方向的受光传感器启动,开始接收。

在图192的(d)中,根据9轴传感器的传感器值检测将接收机朝向上方的动作或摇晃的动作,将朝向上方的一侧的受光传感器启动,开始接收。

即,本实施方式的接收机还判定接收机(接收装置)是否以预先设定的形态运动,当判定为以预先设定的形态运动时,将图像传感器起动。

(接收开始的手势)

图193是表示本通信方式的开始接收的手势动作的一例的图。

例如构成为智能电话的接收机8942a根据9轴传感器的传感器值,检测将接收机竖起并在横向上滑动的动作、或反复向横向的滑动的动作。然后,接收机8942b开始接收,基于接收到的id取得发送机的位置。然后,接收机8942b根据多个发送机8942b与自身的相对位置关系,取得自身的位置。接收机8942b通过被滑动,能够稳定地将多个发送机摄像,并通过三角测量的方法能够高精度地推测自己位置。

另外,该动作也可以仅在主画面为前台时进行。由此,能够防止在使用其它应用的过程中违背用户的意图而进行本通信。

(对汽车导航的应用例)

图194和图195是表示实施方式8的发送接收系统的应用例的一例的图。

例如构成为汽车导航的发送机8950b发送蓝牙(bluetooth)的配对信息、wi-fi的ssid和口令、ip地址等用于向发送机8950b无线连接的信息。例如构成为智能电话的接收机8950a基于接收到的信息与发送机8950b建立无线连接,以后的交换经由该无线连接进行。

例如,用户向智能电话8950a输入目的地或要搜索的店铺信息等,智能电话8950a将经由无线连接而输入到汽车导航8950b中的信息传递,汽车导航8950b将路径信息进行显示。此外,例如使智能电话8950a作为汽车导航8950b的控制器动作,对汽车导航8950b要再现的音乐或影像进行控制。此外,例如由汽车导航8950b再现智能电话8950a保持的音乐或影像。此外,例如汽车导航8950b取得周边的店铺信息或道路的混杂信息,使智能电话8950a显示。此外,例如智能电话8950a当有来信时,使用无线连接的汽车导航8950b的麦克风和扬声器进行通话。另外,智能电话8950a也可以在有来信时建立无线连接而进行上述动作。

汽车导航8950b当被设定为无线连接的自动连接模式时,自动与登记的终端无线连接。汽车导航8950b当不是自动连接模式时,使用可见光通信发送连接信息,并等待连接。另外,汽车导航8950b也可以在自动连接模式时也使用可见光通信发送连接信息并等待连接。另外,汽车导航在被手动连接的情况下,既可以将自动连接模式解除,也可以将与自动连接的终端的连接切断。

(对内容保护的应用例)

图196是表示实施方式8的发送接收系统的应用例的一例的图。

例如构成为电视机的发送机8951b发送在自身或连接的设备8951c中保持的内容保护信息。例如构成为智能电话的接收机8951a接收上述内容保护信息,然后在预定的时间的期间中进行内容保护,以便能够将8951b或设备8951c的被内容保护信息保护的内容进行再现。由此,能够将保持在用户拥有的别的设备中的内容用接收机再现。

另外,也可以是,发送机8951b将内容保护信息保持在服务器中,接收机8951a以接收到的8951b的id为关键字从服务器取得内容保护信息。

另外,接收机8951a也可以将所取得的内容保护信息再向其它设备发送。

(作为电子锁的应用例)

图197a是表示实施方式8的发送接收系统的应用例的一例的图。

接收机8952a接收发送机8952b发送的id,向服务器8952c发送。服务器8952c在从接收机8952a送来发送机8952b的id的情况下,将门8952d解锁或将自动门打开,将向登记在接收机8952a中的层移动的电梯呼叫到接收机8952a所在的层。由此,接收机8952a起到钥匙的作用,能够在用户到达门8952d之前进行解锁等。

即,本实施方式的接收机通过将亮度变化的被拍摄对象(例如上述发送机)摄影,取得作为包含多个亮线的图像的第1亮线图像,通过将由所取得的第1亮线图像中包含的多个亮线的样式确定的数据解调,取得第1发送信息(例如被拍摄对象的id)。并且,接收机通过在取得了第1发送信息后发送控制信号(例如被拍摄对象的id),使门的开闭驱动设备将该门打开。

为了防止有恶意的操作,服务器8952c也可以利用接收机8952a的安全元件等的安全保护,确认通信对方是接收机8952a。此外,为了确认接收机8952a确实处于发送机8952b的附近,服务器8952c也可以在接收到发送机8952b的id时向发送机8952b发出发送不同信号的命令,在从接收机8952a送来上述信号的情况下进行解锁。

此外,在构成为照明设备的发送机8952b沿着朝向门8952d的通路排列有多个的情况下,接收机8952a通过从这些发送机8952b接收id,能够判定接收机8952a是否接近了门8952d。例如,在以取得了这些id的顺序而由这些id表示的值变小的情况下,判定为接收机接近了门。或者,接收机基于这些id确定各个发送机8952b的位置,还基于这些发送机8952b的位置和摄入在摄影图像中的这些发送机8952b的位置推测自己的位置。并且,接收机通过将预先保持的门8952d的位置与推测出的自己的位置随时比较,判定是否接近了门8952d。并且,接收机当判定为接近了门8952d时,将所取得的某些id对服务器8952c发送。结果,服务器8952c进行用来将门8952d打开的处理等。

即,本实施方式的接收机通过将亮度变化的其它被拍摄对象进行摄影,取得作为包含多个亮线的图像的第2亮线图像,通过将由在所取得的第2亮线图像中包含的多个亮线的样式确定的数据解调,来取得第2发送信息(例如其它被拍摄对象的id)。并且,接收机基于所取得的第1及第2发送信息判定接收机是否接近了门,当判定为接近了门时发送控制信号(例如某个被拍摄对象的id)。

图197b是本实施方式的信息通信方法的流程图。

有关本发明的一形态的信息通信方法,是通过亮度变化来发送信号的信息通信方法,包括步骤sk21~sk24。

即,该信息通信方法包括:第1曝光时间设定步骤sk21,设定图像传感器的第1曝光时间,以使得在通过上述图像传感器对作为上述被拍摄对象的第1被拍摄对象的摄影得到的图像中,根据上述第1被拍摄对象的亮度变化而产生与上述图像传感器中包含的各曝光线对应的多个亮线;第1亮线图像取得步骤sk22,通过上述图像传感器将亮度变化的上述第1被拍摄对象以设定的上述第1曝光时间摄影,取得作为包含上述多个亮线的图像的第1亮线图像;第1信息取得步骤sk23,通过将由在所取得的上述第1亮线图像中包含的上述多个亮线的样式确定的数据解调,取得第1发送信息;门控制步骤sk24,通过在取得上述第1发送信息后发送控制信号,使门的开闭驱动设备将上述门打开。

图197c是本实施方式的信息通信装置的框图。

本实施方式的信息通信装置k20,是通过亮度变化来发送信号的信息通信装置,具备构成要素k21~k24。

即,该信息通信装置k20具备:曝光时间设定部k21,设定上述图像传感器的曝光时间,以使得在通过图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的各曝光线对应的多个亮线;亮线图像取得部k22,具有图像传感器,上述图像传感器通过将亮度变化的上述被拍摄对象以设定的上述曝光时间摄影,取得作为包含上述多个亮线的图像的亮线图像;信息取得部k23,通过将由在所取得的上述亮线图像中包含的上述多个亮线的样式确定的数据解调,取得发送信息;门控制部k24,通过在取得上述发送信息后发送控制信号,使门的开闭驱动设备将上述门打开。

在这样的由图197b及图197c表示的信息通信方法及信息通信装置k20中,例如如图197a所示,能够将具备图像传感器的接收机如门的钥匙那样使用,能够不需要特别的电子锁。结果,能够在包括运算力较少那样的设备的多种多样的设备间进行通信。

另外,在上述各实施方式中,各构成要素也可以由专用的硬件构成、或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过cpu或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序读出并执行来实现。例如,程序使计算机执行由图197b的流程图表示的信息通信方法。

(作为来店信息传递的应用例)

图198是表示实施方式8的发送接收系统的应用例的一例的图。

接收机8953a将发送机8953b发送的id向服务器8953c发送。服务器8953c将与接收机8953a建立了关联的订购信息向店员8953d通知。店员8953d基于上述订购信息准备商品等。由此,在用户进入店铺等的时间点订购被准备,所以用户能够迅速地获取商品等。

(与场所对应的订购控制的应用例)

图199是表示实施方式8的发送接收系统的应用例的一例的图。

接收机8954a仅在接收到发送机8954b的发送信号时显示能够进行订购的画面。由此,店铺能够避免不在附近的顾客的订购。

或者,接收机8954a将发送机8954b的id添加到订购信息中而进行订购。由此,店铺能够掌握订购者的位置,掌握将商品送达的位置。或者,店铺能够推测订购者来店为止的时间。另外,接收机8954a也可以将根据移动速度计算出的到店铺的移动时间添加到订购信息中。此外,接收机根据当前位置判断,也可以对不自然的购买(例如,从当前位置的车站以外出发的乘车券的购入)不受理该购买。

(对道路指引的应用例)

图200是表示实施方式8的发送接收系统的应用例的一例的图。

接收机8955a接收例如构成为指引板的发送机8955b的发送id,从服务器取得显示在指引板上的地图的数据并显示。此时,也可以是,服务器发送适合于接收机8955a的用户的广告,接收机8955a将该广告信息也进行显示。接收机8955a显示从当前地点到用户指定的场所的路径。

(对所在地联络的应用例)

图201是表示实施方式8的发送接收系统的应用例的一例的图。

接收机8956a接收例如构成为家庭或学校的照明的发送机8956b发送的id,将以该id为关键字而取得的位置信息向终端8956c发送。由此,持有终端8956c的保护者能够知道持有接收机8956a的儿童回到家中或到达了学校。此外,持有终端8956c的监督者能够掌握持有接收机8956a的作业者的当前位置。

(对利用日志储存和解析的应用例)

图202是表示实施方式8的发送接收系统的应用例的一例的图。

接收机8957a接收例如构成为招牌的发送机8957b发送的id,从服务器取得优惠券信息并显示。接收机8957a向服务器8957c保存其后的用户的行动,例如将优惠券保存、移动到显示在优惠券上的店铺、或在该店铺进行了购物、没有将优惠券保存而离去等行动。由此,能够将从招牌8957b取得了信息的用户的其后的行动进行解析,能够估计招牌8957b的广告价值。

(对画面共享的应用例)

图203和图204是表示实施方式8的收发系统的应用例的一例的图。

例如构成为投影仪或显示器的发送机8960b发送用于向自身无线连接的信息(ssid、无线连接用口令、ip地址、用来操作发送机的口令)。或者,发送作为用于对这些信息进行访问的关键字的id。例如构成为智能电话、平板电脑、笔记本电脑或摄像头的接收机8960a接收从发送机8960b发送的信号并取得上述信息,建立与发送机8960b的无线连接。该无线连接既可以经由路由器连接,也可以通过wi-fidirect、bluetooth或wirelesshomedigitalinterface等直接连接。接收机8960a发送在发送机8960b上显示的画面。由此,能够轻松地将接收机的图像显示到发送机上。

另外,发送机8960b当与接收机8960a连接时,为了画面显示,除了发送机发送的信息以外,也可以将需要口令之意向接收机8960a传送,在没有送来正确的口令的情况下不显示所发送的画面。此时,接收机8960a显示8960d那样的口令输入画面,供用户输入口令。

图204是经由接收机8960a使发送机8960b的画面显示发送机8961c的画面的例子的图。例如构成为笔记本电脑的发送机8961c发送用于向自身连接的信息或与该信息建立了关联的id。接收机8960a接收从发送机8960b发送的信号和从发送机8961c发送的信号,建立与各发送机的连接,使得从发送机8961c传送用于显示到发送机8960b上的图像。发送机8960b和发送机8961c既可以直接通信,也可以经由接收机8960a或路由器通信。由此,即使在发送机8961c不能接收发送机8960b发送的信号的情况下也能够轻松地使发送机8960b显示发送机8961c的图像。

另外,接收机8960a也可以仅在接收到发送机8960b发送的信号的时刻与接收到发送机8961c发送的信号的时刻的差是预定的时间以下时进行上述动作。

另外,发送机8961c也可以仅在从接收机8960a接收到正确的口令的情况下将图像向发送机8960b发送。

(利用无线无线接入点的位置推测的应用例)

图205是表示实施方式8的发送接收系统的应用例的一例的图。

例如构成为智能电话的接收机8963a接收发送机8963b发送的id。接收机8963a以接收到的id为关键字取得发送机8963b的位置信息,根据摄像图像中的发送机8963b的位置和方向推测自身的位置。此外,接收机8963a接收来自例如构成为wi-fi接入点的电波发信机8963c的信号。接收机8963a根据信号中包含的电波发信机8963c的位置信息和电波发信方向信息,推测自身的位置。接收机8963a通过用多个手段推测自己位置,能够高精度地推测自己位置。

对利用无线发信机8963c的信息推测自己位置的方法进行说明。无线发信机8963c从多个天线向不同的方向发送同步的信号。此外,无线发信机8963c将信号发送的方向依次变更。接收机8963a将电波强度最强时的电波发信方向推测为从无线发信机8963c向自身的方向。此外,根据从别的天线发信、并分别穿过了路径8963d、8963e、8963f的电波的到达时间的差计算路径差,根据各电波发信角度差θ12、θ13、θ23计算无线发信机8963c与自身的距离。进而,通过利用周围的电场信息、电波反射物信息,能够更高精度地推测自己位置。

(基于可见光通信和无线通信的位置推测)

图206是表示进行基于可见光通信和无线通信的位置推测的结构的图。即,图206表示使用可见光通信和无线通信进行终端的位置推测的结构。

便携终端(智能电话末端)通过与发光部进行可见光通信,来取得发光部的id。将所取得的id向服务器问询,来取得发光部的位置信息。由此,便携终端取得作为mimo(multiple-inputandmultiple-output)无线接入点与发光部之间的x方向和y方向的各自的距离即实距离l1和实距离l2。此外,如已经在其它实施方式中所说明的那样,便携终端使用陀螺仪传感器等来检测该便携终端的倾斜度θ1。

另一方面,在从mimo无线接入点朝向便携终端被发送波束的情况下,波束形成的角度θ2是mimo无线接入点设定的角度,是已知的值。因此,便携终端通过无线通信等来取得波束的角度θ2。

其结果,便携终端能够使用实距离l1和实距离l2、便携终端的倾斜度θ1和波束的角度θ2,来计算以mimo无线接入点为基准的便携终端的坐标位置(x1,y1)。此外,mimo无线接入点能够形成多个波束,所以通过利用多个波束,也能够进行精度更高的位置推测。

这样,根据本实施方式,通过使用基于可见光通信的位置推测和基于无线通信的位置推测的双方,能够进一步提高位置推测的精度。

以上,基于实施方式对一个或者多个方式的信息通信方法进行了说明,但本公开不限定于该实施方式。只要不脱离本公开的主旨,本领域技术人员可以想到的各种变形施加于本实施方式而得到的技术和/或将不同的实施方式的构成要素组合而构筑的形态也可以包含于一个或者多个方式的范围内。

此外,如图207、图208和图209所示那样,也可以应用本公开的一方式的信息通信方法。

图207是表示实施方式8的发送接收系统的应用例的一例的图。

作为可见光通信的接收机而构成的摄像头以通常摄像模式进行摄像(步骤1)。通过该摄像,摄像头取得由例如exif(exchangeableimagefileformat)等格式构成的图像文件。接着,摄像头以可见光通信摄像模式进行摄像(步骤2)。摄像头基于通过该摄像而得到的图像中的亮线的样式,从作为被拍摄对象的发送机取得通过可见光通信而发送的信号(可见光通信信息)(步骤3)。然后,摄像头通过将该信号(接收信息)作为关键字而访问服务器,来从服务器取得与该关键字对应的信息(步骤4)。然后,摄像头将从被拍摄对象通过可见光通信而发送的信号(可见光接收数据)、从服务器取得的信息、表示由图像文件所示的图像中的作为被拍摄对象的发送机所显示的位置的数据以及表示接收到通过可见光通信而发送的信号的时刻(动画中的时刻)的数据等分别作为上述的图像文件中的元数据而保存。此外,摄像头在通过摄像而得到的图像(图像文件)中多个发送机作为被拍摄对象而显示的情况下,按每个发送机,将与该发送机对应的一些元数据保存于该图像文件。

作为可见光通信的发送机而构成的显示器或者投影仪在显示由上述图像文件所示的图像时,通过可见光通信来发送与该图像文件所包含的元数据相应的信号。例如,显示器或者投影仪可以通过可见光通信来发送元数据自身,也可以将与在图像中显示的发送机相关联的信号作为关键字而发送。

作为可见光通信的接收机而构成的便携终端(智能电话)通过对显示器或者投影仪的图像进行拍摄,来接收从显示器或者投影仪通过可见光通信而发送的信号。便携终端在该接收到的信号是上述关键字时,使用该关键字,从显示器、投影仪或者服务器取得与该关键字相关联的发送机的元数据。此外,便携终端在该接收到的信号是从实际的发送机通过可见光通信而发送的信号(可见光接收数据或者可见光通信信息)时,从显示器、投影仪或者服务器取得与该可见光受光数据或者可见光通信信息对应的信息。

图208是表示实施方式8的发送接收系统的摄像头(接收机)的动作的流程图。

首先,摄像头在检测到摄像按钮的按下时(步骤s901),以通常摄像模式进行摄像(步骤s902)。然后,摄像头通过将快门速度提升到一定的速度以上,即通过设定比通常摄像模式短的曝光时间,进行可见光摄像模式的摄像(步骤s903)。由此,摄像头取得从被拍摄对象通过可见光通信而发送的信号。

之后,摄像头通过将通过可见光通信取得的信号(信息)作为关键字来处理,来从服务器取得与该关键字相关联的信息(步骤s905)。接着,摄像头在通过通常摄像模式下的摄像而得到的图像文件的元数据区域(exif的存储大地坐标数据的区域等)保存该信号、各信息以及各数据(步骤s905)。即,摄像头保存通过可见光通信而取得的信号、从服务器取得的信息以及表示作为通过可见光通信而发送信号的被拍摄对象的发送机的图像(通过通常摄像模式下的摄像而得到的图像)中的位置的位置数据等。

然后,摄像头判断是否进行动画的摄像(步骤s906),在判断为进行动画的摄像的情况下(步骤s906的“是”),反复执行自步骤s902起的处理。另一方面,摄像头在判断为不进行动画的摄像的情况下(步骤s906的“否”),结束摄像的处理。

图209是表示实施方式8的发送接收系统的显示器(发送机)的动作的流程图。

首先,显示器通过确认图像文件的元数据区域,来判断在由该图像文件所示的图像中显示的发送机是1个还是多个(步骤s911)。此处,显示器在判断为发送机是多个时(步骤s911的“多个”),进一步判断是否作为可见光通信的模式而设定了分割发送模式(步骤s912)。然后,显示器在判断为设定了分割发送模式时(步骤s912的“是”),对显示器的显示区域(发送部分)进行分割,从各自的显示区域发送信号(步骤s914)。具体而言,显示器按每个发送机,将显示有该发送机的区域或者显示了该发送机和其周边的区域作为显示区域而处理,通过可见光通信从该显示区域发送与该发送机对应的信号。

另一方面,在步骤s912中判断为没有设定为分割发送模式时(步骤s912的“否”),显示器从显示器的显示区域的整体,通过可见光通信发送与多个发送机的各个对应的信号(步骤s913)。即,显示器从画面整体发送与多个信息相关联的关键字。

此外,在步骤s911中判断为发送机是1个时(步骤s911的“1个”),显示器从显示器的显示区域的整体通过可见光通信发送与该1个发送机对应的信号(步骤s915)。即,显示器从画面整体进行发送。

然后,显示器在步骤s913~s915的任一个之后,例如从便携终端(智能电话)受理将通过可见光通信而发送的信号(发送信息)作为关键字而处理的访问时,将图像文件中的与该关键字对应的元数据交付给作为访问源的便携终端(步骤s916)。

(本实施方式等的总结)

本实施方式的信息通信方法,是从被拍摄对象取得信息的方法,包括:第1曝光时间设定步骤,设定图像传感器的第1曝光时间,以使得在通过上述图像传感器对作为上述被拍摄对象的第1被拍摄对象进行摄影而得到的图像中,根据上述第1被拍摄对象的亮度变化而产生与上述图像传感器中包含的各个曝光线对应的多个亮线;第1亮线图像取得步骤,通过上述图像传感器以所设定的上述第1曝光时间对亮度变化的上述第1被拍摄对象进行摄影,取得作为包含上述多个亮线的图像的第1亮线图像;第1信息取得步骤,通过对由所取得的上述第1亮线图像中包含的上述多个亮线的样式确定的数据进行解调,取得第1发送信息;以及门控制步骤,在取得了上述第1发送信息后,通过发送控制信号,使门的开闭驱动设备打开上述门。

由此,例如图197a所示,能够如门钥匙那样使用具有图像传感器的接收机,能够不需要特殊的电子锁。结果,能够在包括运算力较少的设备的多种多样的设备间进行通信。

此外,上述信息通信方法也可以包括:第2亮线图像取得步骤,通过上述图像传感器以所设定的上述第1曝光时间对亮度变化的第2被拍摄对象进行摄影,取得作为包含多个亮线的图像的第2亮线图像;第2信息取得步骤,通过对由所取得的上述第2亮线图像中包含的上述多个亮线的样式确定的数据进行解调,取得第2发送信息;以及接近判定步骤,基于所取得的上述第1及第2发送信息,判定具备上述图像传感器的接收装置是否接近了上述门,在上述门控制步骤中,当判定为上述接收装置接近了上述门时,发送上述控制信号。

由此,例如图197a所示,能够仅在接收装置(接收机)靠近了门时,即,仅在适当的定时打开该门。

此外,上述信息通信方法也可以包括:第2曝光时间设定步骤,设定比上述第1曝光时间长的第2曝光时间;以及通常图像取得步骤,通过上述图像传感器以所设定的上述第2曝光时间对第3被拍摄对象进行摄影,取得显示了上述第3被拍摄对象的通常图像,在上述通常图像取得步骤中,针对上述图像传感器的处于包含光学黑的区域中的多个曝光线,分别在从针对该曝光线的相邻的曝光线进行了电荷的读出的时刻起经过预定的时间后,进行电荷的读出;在上述第1亮线图像取得步骤中,不将上述光学黑用于电荷的读出,而是针对上述图像传感器中的处于上述光学黑以外的区域中的多个曝光线,分别在从针对该曝光线的相邻的曝光线进行了电荷的读出的时刻起经过比上述预定的时间长的时间后,进行电荷的读出。

由此,例如图180a~图180e所示,在取得了第1亮线图像时,由于不进行针对光学黑的电荷的读出(曝光),所以能够使针对图像传感器中的除了光学黑以外的区域即有效像素区域的电荷的读出(曝光)所花费的时间变长。结果,能够使在该有效像素区域中接收信号的时间变长,能够取得较多的信号。

此外,上述信息通信方法也可以还包括:长度判定步骤,判定上述第1亮线图像中包含的上述多个亮线的样式的、与该多个亮线分别垂直的方向的长度是否小于预先决定的长度;帧速率变更步骤,在判定为上述样式的长度小于上述预先决定的长度的情况下,将上述图像传感器的帧速率变更为比取得了上述第1亮线图像时的第1帧速率慢的第2帧速率;第3亮线图像取得步骤,通过上述图像传感器以上述第2帧速率且以所设定的上述第1曝光时间对亮度变化的上述第1被拍摄对象进行摄影,取得作为包含多个亮线的图像的第3亮线图像;以及第3信息取得步骤,通过对由所取得的上述第3亮线图像中包含的上述多个亮线的样式确定的数据进行解调,取得上述第1发送信息。

由此,例如图217a所示那样,由第1亮线图像中包含的亮线的样式(亮线区域)表示的信号长度小于所发送的信号的例如1个宏块的量的情况下,帧速率降低,亮线图像改为取得第3亮线图像。结果,能够使第3亮线图像中包含的亮线的样式的长度变长,能够取得一个宏块的量的所发送的信号。

此外,上述信息通信方法也可以还包括设定由上述图像传感器得到的图像的纵宽与横宽的比率的比率设定步骤;上述第1亮线图像取得步骤包括:裁剪判定步骤,判定是否根据所设定的上述比率裁剪上述图像中的与上述各曝光线垂直的方向的端部;比率变更步骤,当判定为上述端部被裁剪时,将在上述比率设定步骤中设定的上述比率变更为作为上述端部不被裁剪的比率的非裁剪比率;以及取得步骤,通过上述图像传感器对亮度变化的上述第1被拍摄对象进行摄影,取得上述非裁剪比率的上述第1亮线图像。

由此,例如图181以及图182a~图182c所示那样,在图像传感器的有效像素区域的横宽与纵宽的比率是4:3,图像的横宽与纵宽的比率设定为16:9,且呈现出亮线沿着水平方向的情况下,即,曝光线沿着水平方向的情况下,判定为上述图像的上端以及下端要被裁剪。即,判定为第1亮线图像的端部缺失。这种情况下,将该图像的比率变更为不被裁剪的比率即例如4:3。结果,能够防止第1亮线图像的端部的缺失,能够从第1亮线图像取得更多的信息。

此外,上述信息通信方法也可以还包括:压缩步骤,通过在与上述第1亮线图像中包含的上述多个亮线分别平行的方向上对上述第1亮线图像进行压缩,生成压缩图像;以及压缩图像发送步骤,发送上述压缩图像。

由此,例如图184所示那样,能够适当压缩第1亮线图像,而不会缺失由多个亮线表示的信息。

此外,上述信息通信方法也可以还包括:手势判定步骤,判定具备上述图像传感器的接收装置是否被以预先决定的方式移动了;以及启动步骤,当判定为被以上述预先决定的方式移动了时,启动上述图像传感器。

由此,例如图192所示那样,能够仅在需要时简单地启动图像传感器,能够提高耗电效率。

(实施方式9)

在本实施方式中,对使用上述各实施方式的智能电话等的接收机、和作为led或有机el的闪烁样式而发送信息的发送机的各应用例进行说明。

图210是表示实施方式9的发送机和接收机的应用例的图。

机器人8970例如具有作为自行式的清扫机的功能和作为上述各实施方式的接收机的功能。照明设备8971a、8971b具有分别作为上述各实施方式的发送机的功能。

例如,机器人8970一边在室内移动一边进行清扫,并将照明其室内的照明设备8971a进行摄影。该照明设备8971a通过亮度变化而发送照明设备8971a的id。结果,机器人8970与上述各实施方式同样,从照明设备8971a接收该id,基于该id推测自己的位置(自己位置)。即,机器人8970基于9轴传感器的检测结果、在通过摄影得到的图像中摄入的照明设备8971a的相对位置和通过id确定的照明设备8971a的绝对位置,一边移动一边推测自己位置。

进而,机器人8970如果由于移动而从照明设备8971a离开,则对照明设备8971a发送命令灭灯的信号(灭灯命令)。例如,机器人8970如果从照明设备8971a离开了预先设定的距离则发送灭灯命令。或者,机器人8970当在通过摄影得到的图像中没有摄入该照明设备8971a时,或者如果其它照明设备摄入在该图像中,将灭灯命令向照明设备8971a发送。照明设备8971a如果从机器人8970接收到灭灯命令,则根据该灭灯命令而灭灯。

接着,机器人8970在移动而进行清扫的中途,基于推测出的自己位置,检测接近于照明设备8971b的情况。即,机器人8970保持表示照明设备8971b的位置的信息,当自己位置与该照明设备8971b的位置之间的距离成为预先设定的距离以下时,检测出接近于照明设备8971b的情况。并且,机器人8970对该照明设备8971b发送命令点灯的信号(点灯命令)。照明设备8971b如果接受到点灯命令,则根据该点灯命令而点灯。

由此,机器人8970一边移动一边仅使自己的周围变亮,能够容易地进行清扫。

图211是表示实施方式9的发送机的应用例的图。

例如,如图211的(a)所示,在显示器中排列显示多个发光区域a~f,通过该发光区域a~f分别进行亮度变化而发送信号。这里,在图211的(a)所示的例子中,发光区域a~f分别是矩形状,沿着水平方向及垂直方向排列。在这样的情况下,亮度不变化的非亮度变化区域沿着显示器的水平方向通过发光区域a、b、c与发光区域d、e、f之间而横贯该显示器。进而,亮度不变化的其它的非亮度变化区域沿着显示器的垂直方向通过发光区域a、d与发光区域b、e之间而横贯该显示器。进而,亮度不变化的其它的非亮度变化区域沿着显示器的垂直方向通过发光区域b、e与发光区域c、f之间而横贯该显示器。

因而,上述各实施方式的接收机如果以将接收机的曝光线朝向水平方向的状态下将该显示器摄影,则在通过该摄影得到的图像(摄影图像)的、与沿着水平方向的非亮度变化区域对应的部分中不显现亮线。即,在该摄影图像中,亮线显现的区域(亮线区域)变得不连续。此外,如果接收机在将该曝光线朝向垂直方向的状态下将该显示器摄影,则在摄影图像的与沿着垂直方向的两个非亮度变化区域对应的部分中不显现亮线。即,此时也在该摄影图像中亮线区域变得不连续。如果这样亮线区域变得不连续,则难以接收通过亮度变化发送的信号。

所以,本实施方式的显示器8972具有作为上述各实施方式的发送机的功能,将多个发光区域a~f分别错开而配置,以使亮线区域连续。

例如,如图211的(b)所示,显示器8972将上段的发光区域a、b、c和下段的发光区域d、e、f相互在水平方向上错开配置。或者,如图211的(c)所示,显示器8972分别显示平行四边形或菱形的发光区域a~f。由此,能够将沿着显示器8972的垂直方向通过发光区域a~f之间而横贯显示器8972的非亮度变化区域去除。结果,即使接收机在将该曝光线朝向垂直方向的状态下将显示器8972摄影,在摄影图像中也能够使亮线区域连续。

进而,如图211的(d)及(e)所示,显示器8972也可以将发光区域a~f分别在垂直方向上错开而配置。由此,能够将沿着显示器8972的水平方向通过发光区域a~f之间而横贯显示器8972的非亮度变化区域也去除。结果,即使接收机在将该曝光线朝向水平方向的状态下将显示器8972摄影,在摄影图像中也能够使亮线区域连续。

此外,如图211的(f)所示,显示器8972也可以将分别为六边形的发光区域a~f以各自的区域的边相互平行的方式显示。在这样的情况下,也与上述同样,能够将沿着显示器8972的水平方向及垂直方向通过发光区域a~f之间而横贯显示器8972的非亮度变化区域去除。结果,不论接收机是在将该曝光线朝向水平方向的状态下将显示器8972摄影,还是在将该曝光线朝向垂直方向的状态下将显示器8972摄影,在摄影图像中都能够使亮线区域连续。

图212是本实施方式中的信息通信方法的流程图。

本实施方式的信息通信方法,是通过亮度变化来发送信号的信息通信方法,包括步骤sk11及sk12。

即,该信息通信方法包括:决定步骤sk11,通过对发送对象的信号进行调制,来决定亮度变化的样式;和发送步骤sk12,通过多个发光体按照所决定的亮度变化的样式而发生亮度变化,来发送上述发送对象的信号。并且,在配置有上述多个发光体的面中,以处于上述多个发光体外而不发生亮度变化的非亮度变化区域不会沿着上述面的垂直方向和水平方向中的至少一方通过上述多个发光体之间而横贯上述面的方式,将上述多个发光体配置于上述面上。

图213是本实施方式的信息通信装置的框图。

本实施方式的信息通信装置k10是通过亮度变化而发送信号的信息通信装置,具备构成要素k11和k12。

即,该信息通信装置k10具备:决定部k11,其通过对发送对象的信号进行调制,来决定亮度变化的样式;和发送部k12,其通过多个发光体按照所决定的亮度变化的样式而发生亮度变化,来发送上述发送对象的信号。并且,在配置有上述多个发光体的面中,以处于上述多个发光体外而不发生亮度变化的非亮度变化区域不会沿着上述面的垂直方向和水平方向中的至少一方通过上述多个发光体之间而横贯上述面的方式,将上述多个发光体配置于上述面上。

在由这样的图212和图213所示的信息通信方法和信息通信装置k10中,例如如图211所示,在通过利用接收机所具备的图像传感器对上述面(显示器)的摄影而取得的摄影图像中,能够使亮线区域连续。结果,能够容易地接收发送对象的信号,能够在包括运算力较少的设备的多种多样的设备间进行通信。

此外,在上述各实施方式中,各构成要素可以通过由专用的硬件来构成或者执行与各构成要素相适的软件程序来实现。各构成要素也可以通过cpu或者处理器等程序执行部读出并执行记录于硬盘或者半导体存储器等的记录介质的软件程序来实现。例如程序使计算机执行由图212的流程图表示的信息通信方法。

图214a是表示实施方式9的发送机和接收机的应用例的图。

接收机8973构成为具有作为上述各实施方式的接收机的功能的智能电话。该接收机8973如图214a的(a)所示,将显示器8972进行摄影,试图读取在摄影图像中显现的亮线。这里,在显示器8972较暗的情况下,接收机8973有时不能将该亮线读取而不能接收来自显示器8972的信号。此时,接收机8973如图214a的(b)所示,以预先设定的节奏释放闪光。显示器8972如果接受到该闪光,则如图214a的(c)所示,进行将亮度提高的明亮的显示。结果,接收机8973能够将显现在摄影图像中的亮线读取,能够接收来自显示器8972的信号。

图214b是表示实施方式9的接收机8973的动作的流程图。

接收机8973首先判定是否受理了用于接收开始的用户的操作或手势(步骤s831)。这里,接收机8973如果判断为已受理(步骤s831的“是”),则开始通过使用图像传感器的摄影的接收(步骤s832)。接着,接收机8973判定是否没有接收完成而从接收开始经过了预定的时间(步骤s833)。这里,接收机8973如果判定为经过了预定的时间(步骤s833的“是”),则以预先设定的节奏使闪光闪烁(步骤s834),将从步骤s833起的处理反复执行。另外,在反复进行步骤s833的处理的情况下,接收机8973判定是否接收没有完成而从使闪光闪烁起经过了预定的时间。此外,在步骤s834中,接收机8973也可以代替使闪光闪烁,而产生人难以听到的频率的预先设定的声音、或将用来通知是接收等待的信号向作为显示器8972的发送机发送。

图215是表示实施方式9的发送机及接收机的应用例的图。

照明设备8974具有作为上述各实施方式的发送机的功能。该照明设备8974一边进行亮度变化一边对例如处于火车站中的路线公告板8975进行照明。由用户朝向了该路线公告板8975的接收机8973对该路线公告板8975进行摄影。由此,接收机8973取得该路线公告板8975的id,取得作为与该id建立了关联的信息、且关于记载在该路线公告板8975中的各路线的详细的信息。并且,接收机8973显示表示该详细的信息的导引图像8973a。例如,导引图像8973a表示到记载在路线公告板8975中的路线的距离、朝向该路线的方向、和在该路线中下一电车到达的时刻。

这里,接收机8973如果被用户接触该导引图像8973a,则显示补充导引图像8973b。该补充导引图像8973b例如是用来将铁路的时刻表、关于与由导引图像8973a表示的路线不同的别的路线的信息、以及关于该车站的详细的信息中的某个根据用户的选择操作而显示的图像。

图216是表示实施方式9的发送机的应用例的图。

照明设备8976a~8976c分别具有作为上述各实施方式的发送机的功能,对店铺的招牌8977进行照明。这里,如图216的(a)所示,照明设备8976a~8976c也可以通过分别同步地进行亮度变化来发送相同的id。此外,如图216的(b)所示,也可以通过仅配置在两端的照明设备8976a和照明设备8976c同步地进行亮度变化来发送相同的id,配置在这些照明设备之间的照明设备8976b不通过亮度变化发送id而对招牌8977进行照明。此外,也可以如图216的(c)所示,在该照明设备8976b没有发送id的状态下,配置在两端的照明设备8976a和照明设备8976c通过亮度变化而发送相互不同的id。在此情况下,由于处于照明设备8976a与照明设备8976c之间的照明设备8976b不进行用于id的发送的亮度变化,所以能够防止来自照明设备8976a和照明设备8976c的各自的信号串扰。另外,通过照明设备8976a发送的id和通过照明设备8976c发送的id相互不同,但也可以将相同的信息对于这些id建立关联。

图217a是表示实施方式9的发送机及接收机的应用例的图。

照明设备8978具有作为上述各实施方式的发送机的功能,如图217a的(1)所示,总是通过亮度变化来发送信号。

本实施方式的接收机对该照明设备8978进行摄影。此时,如图217a所示,在接收机的摄影范围8979中,包含照明设备8978和该照明设备8978以外的部分。即,在该摄影范围8979的上侧的范围a和下侧的范围c的各自中包含照明设备8978以外的部分,在摄影范围8979的中央的范围b中包含照明设备8978。

接收机如图217a的(2)及(3)所示,通过照明设备8978的摄影取得包含通过照明设备8978的亮度变化产生的多个亮线的摄影图像(亮线图像)。在该亮线图像中,在与上述上侧的范围a及下侧的范围c对应的部分不出现亮线,仅在与中央的范围b对应的部分出现亮线。

这里,在接收机以例如30fps的帧速率将照明设备8978摄影的情况下,如图217a的(2)所示,亮线图像中的亮线区域的长度b较短,在接收机以例如15fps的帧速率将照明设备8978摄影的情况下,如图217的(3)所示,亮线图像中的亮线区域的长度b较长。另外,亮线区域(亮线的样式)的长度是与该亮线区域中包含的各亮线垂直的方向的长度。

因而,本实施方式的接收机例如以30fps的帧速率将照明设备8978摄影,判定亮线图像中的亮线区域的长度b是否不到预先设定的长度。预先设定的长度例如是与通过照明设备8978的亮度变化发送的信号的1块对应的长度。并且,接收机如果判定为不到预先设定的长度,则将该帧速率变更为例如15fps。由此,接收机能够将1块的信号从照明设备8978一起接收。

图217b是表示实施方式9的接收机的动作的流程图。

接收机首先判定在摄影图像中是否包含亮线,即,是否摄影了由曝光线形成的条纹(步骤s841)。这里,接收机如果判定为摄影了(步骤s841的“是”),则判断被设定为哪个摄像模式(摄影模式)(步骤s842)。接收机如果判断摄像模式是中间摄像模式(中间模式)或通常摄像模式(通常摄影模式),则将该摄像模式变更为可见光摄像模式(可见光通信模式)(步骤s843)。

接着,接收机判断亮线区域(亮线的样式)中的与亮线垂直的方向的长度是否是预定的长度以上(步骤s844)。即,接收机判定是否在与曝光线垂直的方向上有预定的大小以上的条纹的区域。这里,如果判定为不是预定的长度以上(步骤s844的“否”),则接收机判定是否能够利用光学变焦(步骤s845)。这里,如果判定为能够利用光学变焦(步骤s845的“是”),则接收机进行光学变焦,以使亮线区域变长,即条纹的区域放大(步骤s846)。另一方面,如果判定为不能利用光学变焦(步骤s845的“否”),则接收机判定为是否能够利用ex变焦(ex光学变焦)(步骤s847)。这里,如果判定为能够利用ex变焦(步骤s847的“是”),则进行ex变焦,以使亮线区域变长,即条纹的区域放大(步骤s848)。另一方面,如果判定为不能利用ex变焦(步骤s847的“否”),则接收机使摄像帧速率变低(步骤s849)。并且,接收机通过以设定的帧速率将照明设备8978摄影而接收信号(步骤s850)。

另外,在图217b所示的例子中,在不能利用光学变焦及ex变焦的情况下降低帧速率,但也可以在能够利用这些变焦的情况下降低帧速率。此外,所谓ex变焦,是限定图像传感器的使用区域而使摄影像角变窄、使看起来的焦点距离成为望远的功能。

图218是表示实施方式9的接收机的动作的图。

接收机在摄影图像8980a中较小地摄像出作为发送机的照明设备8978的情况下,通过使用光学变焦或ex变焦,能够取得较大地摄像出照明设备8978的摄影图像8980b。即,接收机通过使用光学变焦或ex变焦,能够取得在与亮线垂直的方向上具有较长的亮线区域的亮线图像(摄影图像)。

图219是表示实施方式9的发送机的应用例的图。

发送机8981具有作为上述各实施方式的发送机的功能,例如与操作面板8982通信。操作面板8982具备发送开关8982a和电源开关8982b。

如果将发送开关8982a开启,则操作面板8982向发送机8981指示以进行可见光通信。发送机8981如果受理了该指示,则通过亮度变化来发送信号。此外,如果将发送开关8982a关闭,则操作面板8982向发送机8981指示以停止可见光通信。发送机8981如果受理了该指示,则不进行亮度变化而停止信号的发送。

如果将电源开关8982b开启,则操作面板8982向发送机8981指示以将发送机8981的电源开启。发送机8981如果受理了该指示,则将自己的电源开启。例如,在发送机8981构成为照明设备的情况下,发送机8981通过电源开启而将周边照亮,在发送机8981构成为电视机的情况下,发送机8981通过电源开启而显示影像等。此外,如果将电源开关8982b关闭,则操作面板8982向发送机8981指示以将发送机8981的电源关闭。发送机8981如果受理了该指示,则将自己的电源关闭而成为待机状态。

图220是表示实施方式9的接收机的应用例的图。

构成为智能电话的接收机8973具有例如作为上述各实施方式的发送机的功能,从服务器8983取得认证id及有效期限。接收机8973如果现时刻是该有效期限内,则例如通过使显示器亮度变化,将该认证id向周边设备8984发送。周边设备8984例如是摄像头、条码读取器或个人计算机。

周边设备8984如果从接收机8973接收到该认证id,则将该认证id向服务器8983发送,委托进行对照。服务器8983将从周边设备8984发送的认证id与自己保持而向接收机8973发送的认证id对照,如果一致则将一致的情况向周边设备8984通知。周边设备8984如果从服务器8983接受到一致的通知,则将对自己设定的锁止解除或进行电子结算的支付处理,或进行登入等的处理。

图221a是表示实施方式9的发送机的动作的一例的流程图。

本实施方式的发送机具有作为上述各实施方式的发送机的功能,例如构成为照明设备或显示器。这样的发送机例如判定调光等级(明亮度的等级)是否低于预定的等级(步骤s861a)。这里,发送机如果判定为低于预定的等级(步骤s861a的“是”),则将通过亮度变化来发送信号的动作停止(步骤s861b)。

图221b是表示实施方式9的发送机的动作的一例的流程图。

本实施方式的发送机判定调光等级(明亮度的等级)是否高于预定的等级(步骤s862a)。这里,发送机如果判定为高于预定的等级(步骤s862a的“是”),则开始通过亮度变化来发送信号的动作(步骤s862b)。

图222是表示本实施方式的发送机的动作的一例的流程图。

本实施方式的发送机判定是否选择了预定的模式(步骤s863a)。例如,预定的模式是节能模式或节电模式等。这里,发送机如果判定为选择了预定的模式(步骤s863a的“是”),则停止通过亮度变化来发送信号的动作(步骤s863b)。另一方面,发送机如果判定为没有选择预定的模式(步骤s863a的“否”),则开始通过亮度变化来发送信号的动作(步骤s863c)。

图223是表示实施方式9的摄像设备的动作的一例的流程图。

本实施方式的摄像设备例如是摄像机,判定是否是录像中(步骤s864a)。这里,摄像设备如果判定为是录像中(步骤s864a的“是”),则对于通过亮度变化来发送信号的发送机发送可见光发送停止命令(步骤s864b)。接受到该可见光发送停止命令的发送机将通过亮度变化的信号的发送(可见光发送)停止。另一方面,摄像设备如果判定不是录像中(步骤s864a的“否”),则判定是否停止了录像停止,即是否是录像后(步骤s864c)。这里,摄像设备如果判定为停止了录像(步骤s864c的“是”),对于上述发送机发送可见光发送开始命令(步骤s864d)。接受到该可见光发送开始命令的发送机开始通过亮度变化的信号的发送(可见光发送)。

图224是表示实施方式9的摄像设备的动作的一例的流程图。

本实施方式的摄像设备例如是数字静像摄像头,判定摄像按钮(快门按钮)是否被半按下、或是否进行了对焦(步骤s865a)。接着,摄像设备判定在沿着该摄像设备所具备的图像传感器的曝光线的方向上是否出现了浓淡(步骤s865b)。这里,如果判定为出现了浓淡(步骤s865b的“是”),则有可能通过亮度变化来发送信号的发送机处于摄像设备的附近。所以,摄像设备对于该发送机发送可见光发送停止命令(步骤s865c)。接着,摄像设备通过进行摄像而取得摄影图像(步骤s865d)。并且,摄像设备对于上述发送机发送可见光发送开始命令(步骤s865e)。由此,摄像设备能够不受发送机的亮度变化的影响而取得摄影图像。此外,通过亮度变化的信号的发送被停止的期间被限定于由摄像设备进行摄像的很短的期间,所以能够抑制不能仅可见光通信的期间。

图225是表示由实施方式9的发送机发送的信号的一例的图。

本实施方式的发送机具有作为上述各实施方式的发送机的功能,通过按照时隙将较高的亮度的光(hi)或较低的亮度的光(lo)输出来发送信号。具体而言,时隙是104.2μs的时间单位。此外,发送机通过输出hi而发送表示1的信号,通过输出lo而发送表示0的信号。

图226是表示由实施方式9的发送机发送的信号的一例的图。

上述发送机通过按照时隙输出hi或lo,将作为信号单位的phy(physicallayer)帧依次发送。phy帧包括由8时隙构成的前导码、由2时隙构成的fcs(framechecksequence)、和由20时隙构成的主体。另外,将phy帧中包含的各部分以前导码、fcs、主体的顺序发送。

前导码相当于phy帧的头,例如包括“01010111”。另外,前导码也可以由7时隙构成。在此情况下,前导码包括“0101011”。fcs在主体中包含的1的数量是偶数的情况下包含“01”,在主体中包含的1的数量是奇数的情况下包含“11”。主体包含5个由4时隙构成的码元。码元在4ppm调制的情况下包括“0111”、“1011”、“1101”或“1110”。

图227是表示由实施方式9的发送机发送的信号的一例的图。

将上述码元通过接收机变换为2位的值。例如,码元“0111”、“1011”、“1101”及“1110”分别被变换为“00”、“01”、“10”及“11”。因而,phy帧的主体(20时隙)被变换为10位的信号。该10位的主体包括由表示phy帧的类别的3位构成的type、由表示phy帧或主体的地址的2位构成的addr、和由表示数据的实体的5位构成的data。例如在phy帧的类别是type1的情况下,type表示“000”。addr表示“00”、“01”、“10”或“11”。

在接收机中,将在4个phy帧的各自的主体中包含的data结合。在该结合中利用上述addr。即,接收机通过将在具有addr“00”的phy帧的主体中包含的data、在具有addr“01”的phy帧的主体中包含的data、在具有addr“10”的phy帧的主体中包含的data和在具有addr“11”的phy帧的主体中包含的data结合,生成由20位构成的数据。由此,将4个phy帧解码。该生成的数据包含由16位构成的有效data和由4位构成crc(cyclicredundancycheck)。

图228是表示由实施方式9的发送机发送的信号的一例的图。

在上述phy帧的类别中,有type1、type2、type3及type4。按照这些类别,主体的长度、addr的长度、data的长度、连结的data的数量(连结数)、有效data的长度及crc的类别不同。

例如在type1的情况下,type(typebit)表示“000”,主体的长度是20时隙,addr的长度是2位,data的长度是5位,连结数是4个,有效data的长度是16位,crc的类别是crc-4。另一方面,在type2的情况下,type(typebit)表示“001”,主体的长度是24时隙,addr的长度是4位,data的长度是5位,连结数是8个,有效data的长度是32位,crc的类别是crc-8。

通过这样的图225~图228所示的信号,能够适当地进行可见光通信。

图229是表示实施方式9的包括发送机和接收机的系统结构的一例的图。

本实施方式的系统具备具有与上述各实施方式的发送机同样的功能的发送机8991、例如构成为智能电话的接收机8973、内容共享服务器8992和id管理服务器8993。

例如,内容创造者将表示用来介绍商品的静止图像或运动图像的音频视频数据等的内容、表示关于该商品的制造商、产地、原料或规格等的商品信息上载到内容共享服务器8992中。并且,内容共享服务器8992与用来识别该内容的内容id建立关联而将商品信息登录到id管理服务器8993中。

接着,发送机8991根据用户的操作,从内容共享服务器8992将内容和内容id下载,显示内容,并通过亮度变化即通过可见光通信将内容id发送。用户视听该内容,在对由该内容介绍的商品有兴趣的情况下,将接收机8973朝向发送机8991而进行摄影。接收机8973通过将显示在发送机8991上的内容摄影而接收内容id。

接着,接收机8973向id管理服务器8993访问,对id管理服务器8993进行关于该内容id的查询。由此,接收机8973从id管理服务器8993取得与该内容id建立了关联的商品信息,显示该商品信息。这里,接收机8973如果受理了敦促与该商品信息对应的商品的购买的操作,则向该商品的制造商访问,执行用来购买商品的处理。

接着,id管理服务器将表示对内容id进行的查询的数量或访问的数量等的查询信息向由与该内容id建立了关联的商品信息表示的制造商通知。制造商如果接受到查询信息,则将与由该查询信息表示的查询的数量等对应的分属报偿金向由内容id确定的内容创造者经由id管理服务器8993及内容共享服务器8992通过电子结算支付。

图230是表示实施方式9的包括发送机和接收机的系统结构的一例的图。

在图229所示的例子的情况下,内容共享服务器8992如果被进行内容和商品信息的上载,则与内容id建立关联而将商品信息登录到id管理服务器8993中,但也可以不进行这样的登录。例如,如图230所示,内容共享服务器8992从id管理服务器中检索用来识别被上载的商品信息的商品的商品id,将该商品id向被上载的内容植入。

接着,发送机8991根据用户的操作,从内容共享服务器8992将植入了商品id的内容和内容id下载,显示内容,并通过亮度变化即通过可见光通信,将内容id及商品id发送。用户将该内容视听,在对由该内容介绍的商品有兴趣的情况下,将接收机8973朝向发送机8991而进行摄影。接收机8973通过将显示在发送机8991上的内容摄影,接收内容id及商品id。

接着,接收机8973向id管理服务器8993访问,对id管理服务器8993进行关于该内容id及商品id的查询。由此,接收机8973从id管理服务器8993取得与该商品id建立了关联的商品信息,显示该商品信息。这里,接收机8973如果受理了敦促与该商品信息对应的商品的购买的操作,则向该商品的制造商访问,执行用来购买商品的处理。

接着,id管理服务器将表示对内容id及商品id进行的查询的数量或访问的数量等的查询信息向由与该商品id建立了关联的商品信息表示的制造商通知。制造商如果接受到查询信息,则将与由该查询信息表示的查询的数量等对应的分属报偿金向由内容id确定的内容创造者经由id管理服务器8993及内容共享服务器8992通过电子结算支付。

图231是表示实施方式9的包括发送机和接收机的系统结构的一例的图。

本实施方式的系统代替图230所示的内容共享服务器8992而具备内容共享服务器8992a,还具备sns服务器8994。该sns服务器8994是进行社交网络服务的服务器,进行由图230所示的内容共享服务器8992进行的处理的一部分。

具体而言,sns服务器8994取得从内容创造者上载的内容和商品信息,进行与该商品信息对应的商品id的检索,向该内容植入商品id。并且,sns服务器8994将植入了该商品id的内容向内容共享服务器8992a转送。内容共享服务器8992a获取从sns服务器8994转送的内容,将植入了该商品id的内容和内容id向发送机8991发送。

即,在图231所示的例子中,包括sns服务器8994和内容共享服务器8992a的单元起到作为图230所示的内容共享服务器8992的作用。

在这样的图229~图231所示的系统中,对于使用可见光通信进行了查询的广告(内容)能够适当地支付适当的分属报偿金。

以上,关于有关一个或多个形态的信息通信方法基于实施方式进行了说明,但本公开并不限定于该实施方式。只要不脱离本公开的主旨,对本实施方式实施了本领域的技术人员想到的各种变形的形态、或将不同的实施方式的构成要素组合而构建的形态也包含在一个或多个形态的范围内。

以下,对本实施方式进行补充。

(混合调制方式)

图232和图233是表示实施方式9的发送机的动作的一例的图。

如图232那样,发送机将发送信号以多个调制方式调制,将调制出的信号交替地或同时发送。

通过将相同的信号以多个调制方式调制并发送,即使是仅对应于某个调制方式的接收机也能够接收。此外,例如通过并用传送速度较快的调制方式、对于噪声耐受性较强的调制方式及通信距离较长的调制方式,能够匹配于接收侧的环境而用最优的方法进行接收。

在接收机对应于多个调制方式的接收的情况下,接收机将用多个方法调制的信号接收。发送机在将相同的信号调制的情况下赋予相同的信号id而发送调制信号。由此,接收机通过确认信号id,能够识别出相同的信号被用不同的调制方式调制,通过从多个种类的调制信号将具有相同的信号id的信号合成,能够迅速而正确地接收信号。

例如,发送机具备信号分割部和调制部1~3。信号分割部将发送信号分割成部分信号1和部分信号2,并且使信号id附随于该部分信号1,使其它信号id附随于部分信号2。调制部1通过对附随有信号id的部分信号1进行频率调制来生成表示正弦波的信号。调制部2通过对附随有信号id的部分信号1进行与调制部1不同的频率调制来生成表示矩形波的信号。另一方面,调制部3通过对附随有其它的信号id的部分信号2进行脉冲位置调制来生成表示矩形波的信号。

如图233那样,发送机将用多个调制方式调制出的信号一起发送。在图233的例子中,接收机通过将曝光时间设定得较长,能够仅接收用使用较低的频率的频率调制方式调制的信号。此外,接收机通过将曝光时间设定得较短,能够接收使用较高的频带的脉冲位置调制方式。此时,接收机通过在与亮线垂直的方向上取亮度的平均,将受光的光的强度在时间上平均化,能够得到曝光时间较长的情况下的信号。

(发送信号的验证和数字调制)

图234和图235是表示实施方式9的发送机的结构和动作的一例的图。

如图234所示,发送机具备信号存储部、信号验证部、信号调制部、发光部、异常报告部、原密钥存储部以及密码生成部。信号存储部将发送信号、和使用后述的验证密钥将发送信号变换后的信号变换值存储。在该变换中使用单向函数。原密钥存储部例如作为电阻值或时间常数等的电路常数等而存储作为密钥的来源的值的原密钥。密钥生成部根据原密钥生成验证密钥。

信号验证部通过使用验证密钥将存储在信号存储部中的发送信号变换,得到信号变换值。根据这里得到的信号变换值与存储在信号存储部中的信号变换值是否相等,验证在信号中是否有篡改。由此,仅单单将信号存储部的信号复制到其它发送机中时,由于在其它发送机中验证密钥不同,所以不能发送信号,能够进行发送机的防伪造。

在信号中有篡改的情况下,异常报告部显示该消息。作为其方法,例如有以人能够辨识的周期使发光部闪烁、鸣响声音的方法。通过将异常报告仅限于电源刚投入后的预定的时间,即使是在信号中有异常的情况,也能够将发送机用于发送以外的用途。

在信号中没有篡改的情况下,信号调制部将信号向发光样式调制。在该调制方式中可以使用各种各样的调制方式。在这里能够使用的调制方式中,例如有振幅偏移调制(ask)、相位偏移调制(psk)、频率偏移调制(fsk)、直角相位振幅调制(qam)、德尔塔调制(dm)、最小偏位调制(msk)、互补型符号调制(cck)、正交频分多路复用方式(ofdm)、振幅调制(am)、频率调制(fm)、相位调制(pm)、脉冲宽度调制(pwm)、脉冲振幅调制(pam)、脉冲密度调制(pdm)、脉冲位置调制(ppm)、脉冲符号调制(pcm)、频率跳变波谱扩散(fhss)、直接序列展频扩散(dsss)等,匹配于发送信号的性质(模拟还是数字、是否是连续数据发送等)及被要求的性质(传送速度、耐噪声性或传送距离)而选择。进而,可以使用将它们组合的调制方式。

另外,实施方式1至9在使用用这里所述的调制方式调制成的信号的情况下也能够得到同样的效果。

如图235所示那样,发送机也可以取代信号验证部而具备信号解调部。在该情况下,信号存储部保持使用与由密码生成部生成的解码密钥成对的加密密钥来使发送信号加密化了的加密化发送信号。在信号解调部中,使用解码密钥来对加密化发送信号进行解码。通过该构成,使得难以进行发送机的伪造、即发送任意的信号的发送机的作成。

(实施方式10)

在本实施方式中,对使用上述各实施方式的智能电话等的接收机和作为led和/或有机el的闪烁样式而发送信息的发送机的各应用例进行说明。

(多个受光部的从多个方向的信号的接收)

图236是表示搭载有光传感器的时钟的图。

此时钟作为可见光通信的接收机而构成,具备多个光传感器和与多个光传感器的各个对应的聚光透镜。具体而言,如图236的横剖视图所示,在光传感器的上面配置有聚光透镜。在图236中,聚光透镜配置成具有预定的倾斜度。聚光透镜的形状不限于此,只要是能够聚光的形状,也可以是其它形状。通过这样的结构,光传感器能够通过透镜将来自外界的光源的光聚光而受光。因而,即使是搭载于时钟的较小的光传感器,也能够进行可见光通信。在图236中构成为,划分为12个区域而搭载12个光传感器,在各光传感器的上面配置聚光透镜。这样,通过将时钟内部分为多个区域而配置多个光传感器,能够取得来自多个光源的信息。例如,在图236中,能够用第1光传感器接受来自光源1的光,用第2光传感器接受来自光源2的光。此外,作为光传感器,也可以使用太阳光能电池。通过作为光传感器而使用太阳能电池,能够用单一的光传感器在进行太阳能发电的同时进行可见光通信,所以能够削减成本并且做成紧凑的形状。进而,在配置多个光传感器的情况下,能够同时取得来自多个光源的信息,所以能够提高位置推测精度。在本实施方式中,采用在时钟中设置光传感器的结构,但并不限定于此,只要是便携电话或便携终端等可移动的终端,也可以将光传感器设置于其它的装置。

图237是表示实施方式10的接收机的一例的图。

例如构成为手表的接收机9020a具备多个接收部。例如,接收机9020a如图237所示,具备在支承手表的长针和短针的旋转轴的上端部配置的受光部9020b和在手表的周缘部的表示12点钟的文字附近配置的受光部9020c。受光部9020b接受沿着上述的旋转轴的方向朝向受光部9020b的光,受光部9020c接受沿着将该旋转轴和表示12点钟的文字连结的方向朝向受光部9020c的光。由此,在如用户确认时刻时那样将接收机9020a举到胸前时,受光部9020b能够接受来自上方向的光。结果,接收机9020a能够接收来自顶棚照明的信号。进而,在如用户确认时刻时那样将接收机9020a举到胸前时,受光部9020c能够接受来自正面方向的光。结果,接收机9020a能够接收来自处于正面的标牌等的信号。

通过这些受光部9020b和9020c具有指向性,即使在较近的位置有多个发送机的情况下也能够不串扰地接收信号。

图238是表示实施方式10的接收机的一例的图。

例如,如图238的(a)所示,构成为手表的接收机9021具备17个受光元件(受光部)。这些受光元件配置于文字盘上。此外,这些受光元件中的12个受光元件配置于与文字盘上的1~12点钟分别对应的位置,剩余的5个配置于文字盘上的中央部分。此外,这17个受光元件分别具有互不相同的指向性,接受与各自相关联的方向的光(信号)。这样,通过配置多个具有指向性的受光元件,接收机9021能够推测接收到的信号的方向。此外,如图238的(b)所示,也可以在受光元件的跟前,配置将光引导至受光元件的棱镜。即,接收机9021具备等间隔地配置于文字盘上的周缘部的8个受光元件和向这些受光元件中的至少一个引导光的多个棱镜。通过具备这样的棱镜,即使是较少数量的受光元件,也能够推测发送机的精细的方向。例如,在8个受光元件中仅受光元件9021d接受到光的情况下,接收机9021能够推测为在将文字盘的中心和棱镜9021a连结的方向上存在发送机,在受光元件9021d和受光元件9021e接收了同一信号的情况下,能够推测为在将文字盘的中心和棱镜9021b连结的方向上存在发送机。此外,也可以给手表的防风玻璃加入指向性的功能和/或棱镜的功能。

图239a是本公开的一方式的信息通信方法的流程图。

本公开的一方式的信息通信方法是便携终端取得信息的信息通信方法,包含步骤se11和se12。

即,该信息通信方法包括:受光步骤(se11),便携终端所具备的分别具有指向性的多个太阳能电池中的至少1个太阳能电池接受沿着与该太阳能电池的指向性相应的方向发出的可见光;和信息取得步骤(se12),通过对由接受到的可见光确定的信号进行解调来取得信息。

图239b是本公开的一方式的便携终端的框图。

本公开的一方式的便携终端e10是取得信息的便携终端,具备分别具有指向性的多个太阳能电池e11和信息取得部e12。信息取得部e12在多个太阳能电池e11中的至少1个太阳能电池e11接受到沿着与该太阳能电池e11的指向性相应的方向发出的可见光的情况下,通过对由接受到的可见光确定的信号进行解调来取得信息。

在这样的由图239a和图239b所示的信息通信方法和便携终端e10中,能够在将太阳能电池e11用作用于可见光通信的光传感器的同时,也将其利用于发电,所以既能抑制取得信息的便携终端e10的成本,又能实现便携终端e10的紧凑化。此外,多个太阳能电池e11分别具有指向性,所以能够基于接受到可见光的太阳能电池e11的指向性,来推测发出该可见光的发送机所存在的方向。进而,多个太阳能电池e11分别具有指向性,所以能够分别区分地接受从多个发送机发出的可见光,能够从多个发送机分别适当地取得信息。

进而,在上述受光步骤(se11)中,如图238的(b)所示,太阳能电池e11(9021d、9021e)也可以接受透过便携终端e10(9021)所具备的棱镜(9021a、9021b或者9021c)的可见光。由此,既能抑制便携终端e10所具备的太阳能电池e11的数量,又能以高的精度推测发出可见光的发送机所处的方向。进而,如图238所示,便携终端e10也可以是手表,多个太阳能电池e11(受光元件)也可以分别沿着手表的文字盘的周缘配置,由多个太阳能电池e11分别接受的可见光的朝向彼此不同。由此,能够通过手表适当地取得信息。

(手表型接收机与智能电话的协同)

图240是表示实施方式10的接收系统的一例的图。

例如构成为手表的接收机9022b经由bluetooth(注册商标)等的无线通信与智能电话9022a或眼镜型显示器9022c连接。接收机9022b在接收到信号的情况或能够确认存在信号的情况下,将表示接收了该信号的情况向显示器9022c显示。接收机9022b将接收到的信号(接收信号)向智能电话9022a传递。智能电话9022a从服务器9022d取得与接收信号建立了联系的数据,将所取得的数据向眼镜型显示器9022c显示。

(手表型显示器的道路导引)

图241是表示实施方式10的接收系统的一例的图。

例如构成为手表的接收机9023b经由bluetooth(注册商标)等的无线通信与智能电话9023a连接。接收机9023b的字符盘由液晶等的显示器构成,能够显示时刻以外的信息。智能电话9022a根据接收机9023b接收到的信号识别当前地,将到目的地的路径及距离显示到接收机9023b的显示面上。

(频率偏移调制和频率多路复用调制)

图242a、图242b以及图242c是表示实施方式10的调制方式的一例的图。

图242a的(a)将特定的信号表达为特定的调制频率。接收侧进行光样式(光源的亮度变化的样式)的频率解析来求出支配性的调制频率,将信号复原。

通过如图242c的(a)那样,使调制频率在时间上变化,能够表达大量的值。一般的图像传感器的摄像帧速率是30fps,所以通过将一个调制频率持续30分之1秒以上,能够可靠地接收。此外,通过如图242c的(b)那样,在使频率变化时在其间设置不叠加信号的时间,接收机能够容易地识别调制频率的变化。不叠加信号的时间的光样式可以通过使明亮度为一定或设为特定的调制频率,来与信号叠加部分区别。作为在这里使用的特定的调制频率,如果设定为30hz的整数倍的频率,则在差分图像中不易表达,成为接收处理的妨碍。通过将不叠加信号的时间的长度设为与信号所使用的光样式中最长的周期的信号相同的长度以上,接收变容易。作为例子,如果最低的调制频率的光样式是100hz,则不叠加信号的时间为100分之1秒以上。

图242a的(b)将特定的位和特定的调制频率相关联,是将光样式表达为叠加了对应的位为1的调制频率的波形的例(1)。具体而言,在发送第1位是1的信息的情况下,发送机以频率f1=1000hz的光样式进行亮度变化。此外,在发送第2位是1的信息的情况下,发送机以频率f2=1100hz的光样式进行亮度变化。此外,在发送第3位是1的信息的情况下,发送机以频率f3=1200hz的光样式进行亮度变化。因此,在发送例如包括“110”的位串的信息的情况下,发送机在时间t2以频率f2的光样式进行亮度变化,在比时间t2长的时间t1以频率f1的光样式亮度变化。此外,在发送例如包括“111”的位串的信息的情况下,发送机在时间t2以频率f2的光样式进行亮度变化,在比时间t2短的时间t3以频率f3的光样式进行亮度变化,进而,在时间t1以频率f1的光样式进行亮度变化。在该情况下,与(a)的调制方式相比较,变得需要高的cn比(carriertonoiseratio),但能够表达更多的值。在例(1)中,在成为激活的位的数多的情况下,即,成为包含多的频率的波形的情况下,每一个频率的能量变少,存在需要更高的cn比的问题。

于是,在表达光样式的例(2)中,将波形所包含的频率的数限定为预定的数以下,即,设为能够使频率的数在预定的数以下变动。此外,在表达光样式的例(3)中,将波形所包含的频率的数限定为预定的数。由此,能够避免上述的问题。在例(3)中,所包含的频率的数已决定,所以信号与噪声的分离能够比例(1)和例(2)更容易地进行,成为最耐噪声的方法。

在使用n种频率来表达信号的情况下,在例(1)中,能够表达2n-1通信号,进而,在将频率的种类限定为m种类的例(2)中,能够表达σ(k=1~m)nck)-1通信号,在(3)中,能够表达ncm通信号。

作为将多个调制频率叠加的方法,存在如下方法:(i)将各个波形单纯相加的方法,(ii)进行对各个波形赋予权重的加权平均的方法,(iii)使各个频率的波形依次反复的方法。在接收侧进行离散余弦级数展开等的频率解析的情况下,存在越是高频率则峰值越变小的倾向,所以在(ii)中,优选以各频率的峰值成为同程度的大小的方式进行调节而进行加权平均。即,优选频率越高,则赋予的权重越大。在(iii)中,并非一次一次(1个周期1个周期)地反复输出各频率的波形输出,而是调整输出次数(周期数)的比率,由此能够调整接收时的频率峰值的大小。可以越是高频率则越增加输出的周期数,也可以越是高频率则越加长输出的时间。通过该调整,能够容易地使频率峰值的大小相一致而进行接收处理,通过对频率峰值的大小的差异赋予意义,还能够表达附加的信息。例如,在对频率峰值的大小的顺序赋予了意义的情况下,若所包含的频率为n种类,则能够附加log2(n!)位的信息量。可以每1周期变更频率,也可以每1周期或者半周期变更频率,还可以每半周期的定数倍变更频率,也可以每一定时间变更频率。变更频率的定时可以是亮度变为最高时,也可以是最低时,还可以是成为任意的值时。通过使变更频率前后的亮度相等(=连续变更亮度),能够抑制闪变。因而,在所发送的各频率的半波长的整数倍的长度的时间输出其频率即可。此时,输出各频率的时间不同。此外,通过在半周期的整数倍的长度的时间输出某频率的信号,即使在数字输出的情况下,也能够在接收侧通过频率解析来容易地识别其频率包含于信号。与连续发送相同频率相比,非连续输出的闪变更难以被人眼和/或摄像头捕捉。例如,在以2次周期t1、2次t2、1次t3的比例输出的情况下,t1t2t3t2t1比t1t1t2t2t3更好。也可以不反复进行预定的顺序的输出,而是一边变更顺序一边输出。通过对该顺序赋予意义,还能够表达附加的信息。频率峰值中虽然不体现该顺序,但是通过进行频率的顺序的解析,能够取得该信息。与频率峰值的解析相比进行频率的顺序的解析的情况下,更需要将曝光时间设定为短,所以可以仅在需要附加信息的情况下将曝光时间设定为短,也可以设为只有能够将曝光时间设定得短的接收机能够取得该附加信息。

图242b示出以2值的光样式表达图242a的信号的情况。作为叠加频率的方式,(i)(ii)的方法中,模拟波形成为复杂的形状,即使将该模拟波形2值化,也不能表达复杂的形状。因而,接收机不能得到准确的频率峰值,接收错误增加。(iii)的方法中,模拟波形不会成为复杂的形状,所以由2值化引起的影响少,能够得到比较准确的频率峰值。因而,在使用以2值和/或少数的值数字化后的光样式的情况下,(iii)的方法优异。该调制方法若着眼于以光样式的频率表达信号这一点,则能够解释为频率调制的一种,若着眼于通过调整脉冲的时间宽度的长短来表达信号这一点,则也能够解释为pwm调制的一种。

通过将亮度变化的时间的单位设为离散值,能够与脉冲调制同样地发送接收。通过不局限于发送的频率的周期的长度,将亮度低的区间设为最短的时间单位,能够提高平均亮度。此时,发送频率的周期长的话平均亮度变高,所以通过增多该周期长的频率的输出次数,能够提高平均亮度。即使亮度低的区间为相同长度,通过将亮度高的区间的长度设为从发送频率的周期减去亮度低的区间的长度而得到的长度,在进行频率解析时,发送频率会出现频率峰值。因此,即使不将接收机的曝光时间设定得那么短,通过使用离散余弦变换等频率解析手法,也能够接收信号。

如图242c的(c)所示,通过与图242c的(a)同样使调制频率的叠加在时间上变化,能够表达许多值。

较高的调制频率的信号如果不将曝光时间设定得较短就不能接收,但在某种程度之高的调制频率以内不设定曝光时间就能够利用。通过将使用从较低的调制频率到较高的调制频率的频率进行调制后的信号发送,全部的终端能够接收以较低的调制频率表达的信号,在能够将曝光时间设定得较短的终端的情况下,通过接收到较高的调制频率的信号,能够从同一发送机迅速地接收更多的信息。或者,也可以设为在通常摄像模式下寻找到低频率的调制信号的情况下,接收在可见光通信模式下包含高频率的调制信号的整体的发送信号。

频率偏移调制方式或频率多路复用调制方式与通过脉冲位置表达信号相比,具有即使在使用较低的调制频率的情况下也不使人的眼睛感到闪变的效果,所以能够使用较多的频带。

另外,实施方式1到10在使用由这里所述的接收方式―调制方式调制后的信号的情况下也能够得到同样的效果。

(混合信号的分离)

图242d和图242e是表示实施方式10的混合信号的分离的一例的图。

接收机具备图242d的(a)的功能。受光部接受光样式。频率解析部通过将光样式傅立叶变换,将信号映射到频率域中。峰值检测部检测光样式的频率成分的峰值。在没有由峰值检测部检测出峰值的情况下,将以后的处理中断。峰值时间变化解析部将峰值频率的时间变化解析。信号源确定部在检测出多个频率峰值的情况下,确定从相同的发送机发送的信号的调制频率是哪个组合。

由此,在多个发送机配置在附近的情况下也能够避免信号的串扰而进行接收。此外,当接受来自发送机的光从地面、墙壁或顶棚等反射后的光时,来自多个发送机的光多数情况下被混合,但在这样的情况下,也能够避免信号的串扰而进行接收。

作为例子,接收机在接收到发送机a的信号和发送机b的信号混合的光样式的情况下,得到图242d的(b)那样的频率峰值。由于fa1消失而出现fa2,所以能够确定fa1和fa2是来自相同的发送机的信号。同样,能够确定fa1、fa2和fa3是来自相同的发送机的信号,fb1、fb2和fb3是来自相同的发送机的信号。

通过使一个发送机变更调制频率的时间间隔设为一定,能够容易地确定来自相同的发送机的信号。

在多个发送机的调制频率变化的定时相等时,通过上述方法不能确定来自相同的发送机的信号。所以,通过按照发送机的个体使变更发送机的调制频率的时间间隔不同,能够避免多个发送机的调制频率变化的定时总相等的状况,能够确定来自相同的发送机的信号。

如图242d的(c)所示,通过将从发送机变更调制频率开始到下次变更为止的时间设为根据当前的调制频率和变更前的调制频率求出的值,即使是多个发送机在相同的定时使调制频率变化的情况,也能够确定哪个调制频率的信号从相同的发送机发送。

发送机也可以识别其它发送机的发送信号,进行调整以使调制频率变化的定时不相等。

以上的方法不仅是一个发送信号由一个调制频率构成的频率偏移调制的情况,在一个发送信号由多个调制频率构成的情况下,也能够用同样的方法得到同样的效果。

如图242e的(a)所示,在以频率多路复用调制方式使光样式在时间上不变化的情况下,虽然不能确定来自相同的发送机的信号,但如图249e的(b)所示,通过包含没有信号的区间、或变化为特定的调制频率,能够根据峰值的时间变化确定来自相同的发送机的信号。

图242f是示出实施方式10的信息处理程序的处理的流程图。

该信息处理程序是用于使上述发送机的发光体(或者发光部)以图242a的(b)或者图242b的(b)所示的光样式进行亮度变化的程序。

即,该信息处理程序是为了通过亮度变化发送发送对象的信息而使计算机处理该发送对象的信息的信息处理程序。具体而言,该信息处理程序使计算机执行决定步骤sa11和输出步骤sa12,决定步骤sa11通过将发送对象的信息编码来决定亮度变化的频率,输出步骤sa12输出表示所决定的亮度变化的频率的信号,以使得通过发光体按照所决定的亮度变化的频率而发生亮度变化,来发送发送对象的信息。在决定步骤sa11中,将第1频率(例如频率f1)和与第1频率不同的第2频率(例如频率f2)分别决定为亮度变化的频率。在输出步骤sa12中,以使得发光体在第1时间(例如时间t1)按照第1频率进行亮度变化,在经过第1时间后,在与第1时间不同的第2时间(例如时间t2)按照第2频率进行亮度变化的方式,将表示第1频率和第2频率的信号作为表示所决定的亮度变化的频率的信号而输出。

由此,能够通过第1频率和第2频率的可见光信号适当地发送发送对象的信息。此外,通过使第1时间和第2时间不同,能够进行与各种各样的状况相符的发送。结果,使得能够在各种各样的设备间进行通信。

例如,如图242a和图242b所示,第1时间是与第1频率的一周期量相当的时间。此外,第2时间是与第2频率的一周期量相当的时间。

此外,在输出步骤sa12中,也可以以表示第1频率的信号和表示第2频率的信号各自的输出次数不同的方式,反复输出表示第1频率的信号和表示第2频率的信号中的至少一方。由此,能够进行与各种各样的状况相符的发送。

此外,在输出步骤sa12中,也可以以表示第1频率和第2频率的信号中低频率的信号的输出次数比高频率的信号的输出次数多的方式,反复输出表示第1频率的信号和表示第2频率的信号中的至少一方。

由此,在发光体按照由所输出的各信号表示的频率发生亮度变化的情况下,发光体能够以亮的亮度发送发送对象的信息。例如,假定按照作为低频率的第1频率的亮度变化与按照作为高频率的第2频率的亮度变化之间,暗的亮度持续的时间相同。在该情况下,在按照第1频率(即低频率)的亮度变化中,与按照第2频率(即高频率)的亮度变化相比,亮的亮度持续的时间长。因此,通过多输出表示第1频率的信号,发光体能够以亮的亮度对发送对象的信息进行发送。

此外,在输出步骤sa12中,也可以以表示第1频率和第2频率的信号中高频率的信号的输出次数成为比低频率的信号的输出次数多的方式,反复输出表示第1频率的信号和表示第2频率的信号中的至少一方。例如,如图242a和图242b所示,频率f2的信号的输出次数变得比频率f1的信号的输出次数多。

由此,在发光体按照由所输出的各信号表示的频率而发生亮度变化的情况下,能够提高通过其亮度变化而发送的信息的接收效率。例如,在通过由多个频率表达的可见光信号而向接收机发送发送对象的信息的情况下,接收机通过对通过摄像得到的图像进行傅里叶变换等频率解析,来检测该可见光信号所包含的频率的峰值。此时,越是高的频率,则越难以进行峰值检测。于是,如上述那样,以表示第1频率和第2频率的信号中高频率的信号的输出次数比低频率的信号的输出次数多的方式输出各信号,所以能够容易地进行高频率的峰值检测。结果,能够提高接收效率。

此外,在输出步骤sa12中,也可以以表示相同频率的信号不被连续输出的方式,反复输出表示第1频率的信号和表示第2频率的信号中的至少一方。例如,如图242a和图242b所示,表示频率f1的信号不被连续地输出,表示频率f2的信号也不被连续地输出。

由此,在发光体按照由所输出的各信号表示的频率而发生亮度变化的情况下,能够使来自该发光体的光的闪变不容易被人眼和/或摄像头捕捉。

图242g是实施方式10的信息处理装置的框图。

该信息处理装置a10是用于使上述的发送机的发光体以图242a的(b)或者图242b的(b)所示的光样式发生亮度变化的装置。

即,该信息处理装置a10是为了通过亮度变化发送发送对象的信息而处理发送对象的信息的装置。具体而言,信息处理装置a10具备:频率决定部a11,其通过将发送对象的信息编码,来决定亮度变化的频率;和输出部a12,其输出表示所决定的亮度变化的频率的信号,以使得通过发光体按照所决定的亮度变化的频率发生亮度变化来发送发送对象的信息。此处,频率决定部a11将第1频率和与第1频率不同的第2频率分别决定为亮度变化的频率。输出部a12以使得发光体在第1时间按照第1频率发生亮度变化,在经过第1时间后,在与第1时间不同的第2时间按照第2频率发生亮度变化的方式,将表示第1频率和第2频率的信号作为表示所决定的亮度变化的频率的信号而输出。在这样的信息处理装置a10中,能够起到与上述的信息处理程序同样的效果。

(经由通过可见光通信的照明的家电的操作)

图243a是表示实施方式10的可见光通信系统的一例的图。

例如构成为顶棚照明(照明设备)的发送机具备wi-fi或bluetooth(注册商标)等的无线通信功能。发送机通过可见光通信发送用来通过无线通信连接到发送机的信息(发光机id和识别id等)。例如构成为智能电话(便携终端)的接收机a基于接收到的信息与发送机进行无线通信。接收机a既可以使用其它信息与发送机连接,在此情况下也可以不具有接收功能。接收机b构成为例如电灶等的电子设备(控制对象设备)。发送机将配对的接收机b的信息向接收机a发送。接收机a作为可操作的设备而显示接收机b的信息。接收机a将接收机b的操作命令(控制信号)经由无线通信向发送机传递,发送机经由可见光通信将操作命令向接收机b传递。由此,用户能够经由接收机a操作接收机b。此外,经由因特网等与接收机a连接的设备能够经由接收机a操作接收机b。

通过接收机b具备发送功能、发送机具备接收功能,能够进行双向通信。发送功能既可以作为发光的可见光实现,也可以进行基于声音的通信。例如,发送机具备集音部,通过识别接收机b发出的声音,能够识别接收机b的状态。例如,识别接收机b的运转结束音,向接收机a传递,接收机a通过将接收机b的运转结束显示到显示器上,能够向用户通知。

接收机a和接收机b具备nfc。接收机a接收来自发送机的信号,接着经由nfc与接收机b进行通信,将接收机b能够接收来自发送了刚刚接收到的信号的发送机的信号这一情况,登记于接收机a和发送机。将其称作发送机和接收机b的配对。接收机a在接收机b移动了的情况下等,将配对的解除登记于发送机。在接收机b与别的发送机配对了的情况下,新配对的发送机将该信息传递给之前配对的发送机,解除之前的配对。

图243b是用来说明实施方式10的使用场景的图。使用该图243b,叙述使用了采用本公开的ppm方式或者fdm方式fsk方式或者频率分配方式的调制方式的接收部1028的情况下的实施方式。

首先叙述作为照明设备的发光机1003的发光动作。在安装在顶棚或墙壁上的照明器具或tv监视器等的发光机1003中,首先使用按照时间变化的随机数发生部1012,由认证id发生部1010产生认证id。对于发光机1003的id和该认证id1004,在没有中断处理(步骤1011)的情况下,判断为发光机1003没有从便携终端1020发送的“发送数据列”,将(1)发光机id、(2)认证id、和用来识别是否存在从作为控制对象设备的电子设备1040经由便携终端1020送来的发送数据列1009的识别码即(3)发送数据列标志=0这3个,从led等的发光部1016连续或间歇地向外部发送光信号。

发送的光信号被电子设备1040的光传感器1041接收(步骤1042),电子设备1040在步骤1043中确认电子设备1040的设备id和认证id(设备认证id和发光机id)是否是正规的。如果确认的结果是“是”(正规),则电子设备1040检验是否发送数据列标志=1(步骤1051)。仅在检验结果为“是”的情况下(发送数据列标识=0),电子设备1040执行发送数据列的数据、例如料理的烹饪法执行等的用户命令(步骤1045)。

这里,叙述电子设备1040的使用本公开的光调制方式进行光发送的机制。电子设备1040将设备id、用来认证设备的认证id、以及如上述那样电子设备1040接收到的即能够可靠地接收的发光机1003的发光机id使用显示部1047的led背灯部1050等发送(步骤1046)。

从电灶或pos机等的液晶等的显示部1047,将本公开的光信号以没有闪变的60hz以上的调制频率以ppm、fdm或fsk方式发送,所以对于一般消费者而言不知道发送了光信号。所以在显示部1047上能够进行例如电灶的菜单等的独立的显示。

(电子设备1040能够接收的发光机1003的id检测方法)

要使用电灶等的使用者用便携终端1020的内摄像头部1017获取来自发光机1003的光信号,在内摄像头处理部1026中,预先接收发光机id和发光机认证id(步骤1027)。也可以是,电子设备1040的能够受光的发光机id记录在使用3g等的便携电话的电波或wi-fi的位置信息和云1032或便携终端内部中,检测存在于该位置的发光机id(步骤1025)。

使用者如果将便携终端1020的外摄像头1019朝向例如电灶(电子设备)1040的显示部1047,则能够将本公开的光信号1048使用mos摄像头解调。如果加快快门速度,则能够接收更高速的数据。在接收部1028中,接收电子设备1040的设备id、认证id、服务id或从服务id变换后的服务提供用的云的url、或设备的状况。

在步骤1029中,经由3gwi-fi通信部1031使用处于终端的内部或接收到的url向处于外部的云1032连接,发送服务id、设备id。在云1032中,检索处于数据库1033中的与设备id、服务id分别对应的数据,向便携终端1020发送。基于该数据,在便携终端的画面上显示视频数据或命令的按钮等。看到该显示的使用者通过将画面的按钮按下等输入方法输入希望的命令(步骤1030)。在“是”(输入)的情况下,btle(bluetooth(注册商标)lowenergy)收发部1021的发送机1022将包括电子设备1040等的设备id、设备认证id、发光机id、发光机认证id、步骤1030的用户命令等的发送数据列发送。

发光机1003由btle收发部1004的接收部1007接收“发送数据列”,当由中断处理部1011检测出接收到“发送数据列”(步骤1013的“是”)时,用本公开的调制部将“发送数据列+id+发送数据标志=1”的数据调制,从led等发光部1016进行光发送。在没有接收到“发送数据列”的情况下(步骤1013的“否”的情况下),将发光机id1003等连续地发送。

如上述那样,该电子设备1040已经实际接收并确认了能够接收来自发光机1003的信号,所以能够可靠地接收。

在此情况下,在中断处理部1011中,由于在发送数据列中包含发光机id,所以可知在该id的发光机的光照射范围内存在发送对象的电子设备。因而,不从其它发光机发送信号,而仅从处于电子设备所处的很狭小的位置的发光机发送,所以能够将电波空间有效率地使用。

在不采用该方式的情况下,由于蓝牙(注册商标)信号达到较远处,所以从处于与电子设备不同的其它位置的发光机送来光信号。因而,在某个发光机发光期间中,不能进行向想要发送的其它电子设备的光发送,或者带来妨碍,所以该方式的解决对策是有效的。

接着叙述电子设备的误动作对策。

在光传感器1041中,在步骤1042中接收光信号。首先,为了检验发光机id而能够将别的发光机id的发光信号除去,所以误动作减少。

在本公开中,在发送数据列1009中包含要接收的电子设备的设备id和设备认证id。因而,在步骤1043中检验设备认证id和设备id是否是该电子设备1040的id,所以不进行误动作。电子设备1040具有能够防止将由向别的电子设备发送的信号误处理而引起的电灶等的误动作的效果。

叙述防止用户命令的执行的误动作的方法。

在步骤1044中数据标志=1时,判断为有用户命令,在数据标志=0时停止。在数据标志=1时,在将用户数据列的设备id、认证id认证后,执行用户命令等的发送数据列,例如,电子设备1040将烹饪法取出而显示到画面上,如果使用者将按钮按下,则没有误动作地开始烹饪法即将600w进行3分钟、将200w进行1分钟、将蒸烹进行2分钟的动作。

如果执行用户命令,则在电灶的情况下,产生2.4ghz的电磁噪声。为了减轻该情况,在经由智能电话以蓝牙(注册商标)或wi-fi接受命令而动作的情况下,由间歇驱动部1061间歇地例如在两秒钟内以100ms的程度将电灶的输出停止。在此期间中能够进行蓝牙(注册商标)或wi-fi802.11n等的通信。例如在不将电灶停止时,妨碍从智能电话以btle向发光机1003发送停止命令。另一方面,在本公开中不受到妨碍电波的影响而发送,能够通过光信号将电灶停止,或进行电灶的烹饪法的变更。

本实施方式的特长是,仅通过将1个几日元左右的成本的光传感器1041追加到带有显示部的电子设备中,就能够与和云协同的智能电话进行双向的通信,所以具有能够实现搭载在低成本的白家电中而智能家电化的效果。但是,虽然作为实施方式而使用白家电,但也可以是带有显示部的pos终端,超级市场的电子价签或个人计算机也能够得到同样的效果。

此外,在该实施方式中,仅能够从处于电子设备的上部的照明器接收发光机id。由于接收区域较狭小,所以通过按照每个发光机预定wi-fi等的较小的区id、在各个区中分配位置的下述id,还有能够减少发光部的id的位数的效果。在此情况下,通过本公开的使用上述ppm、fsk或fdm发送的发光机的id的位数减少,具有能够从较小的光源接收光信号、或较快地取得id、或能够接收较远的光源的数据等的效果。

图243c是示出实施方式10的信号发送接收系统的一例的图。

信号发送接收系统具备作为多功能便携电话的智能电话(智能手机)、作为照明设备的led发光机、冰箱等家电设备以及服务器。led发光机进行使用btle(bluetooth(注册商标)lowenergy)的通信,并且进行使用led(lightemittingdiode)的可见光通信。例如,led发光机通过btle控制冰箱,与空调进行通信。此外,led发光机通过可见光通信来控制电灶、空气清洁剂或者电视机(tv)等的电源。

电视机例如具备太阳能发电元件,将该太阳能发电元件作为光传感器加以利用。即,在led发光机通过亮度变化来发送信号时,电视机根据由太阳能发电元件发出的电力的变化,来检测该led发光机的亮度变化。然后,电视机通过对由该检测出的亮度变化表示的信号进行解调,来取得从led发光机发送的信号。电视机在该信号为表示电源on的命令的情况下,将自己的主电源切换为on,在该信号为表示电源off的命令的情况下,将自己的主电源切换为off。

此外,服务器经由路由器和特定小功率无线站(特小)与空调进行通信。并且,空调能够经由btle与led发光机进行通信,所以服务器能够与led发光机进行通信。因此,服务器能够经由led发光机将tv的电源切换为on和off。此外,智能电话通过与服务器经由例如wi-fi(wirelessfidelity)等进行通信,能够经由服务器控制tv的电源。

如图243a~图243c所示,本实施方式中的信息通信方法包括:无线通信步骤,便携终端(智能电话)通过与可见光通信不同的无线通信(btle或者wi-fi等)将控制信号(发送数据列或者用户指令)发送到照明设备(发光机);可见光通信步骤,照明设备通过根据该控制信号而发生亮度变化,进行可见光通信;以及执行步骤,控制对象设备(电灶等)检测该照明设备的亮度变化,通过对由检测到的亮度变化而确定的信号进行解调来取得控制信号,执行与该控制信号相应的处理。由此,便携终端即使不能进行用于可见光通信的亮度变化,也能够通过无线通信,取代便携终端而使照明设备发生亮度变化,能够适当地控制控制对象设备。此外,便携终端也可以不是智能电话而是手表。

(排除了干涉的接收)

图244是表示实施方式10的排除了干涉的接收方法的流程图。

首先,在步骤9001a中开始,在步骤9001b中确认在受光的光的强度中是否存在周期性变化,在“是”的情况下进入步骤9001c。在“否”的情况下进入步骤9001d,使受光部的透镜成为广角而接受大范围的光,返回步骤9001b。在步骤9001c中确认是否能够接收信号,在“是”的情况下进入步骤9001e,接收信号,在步骤9001g中结束。在“否”的情况下进入步骤9001f,使受光部的透镜成为望远,接受小范围的光,返回步骤9001c。

通过该方法,既能排除来自多个发送机的信号的干涉,又能接收来自处于较广的方向的发送机的信号。

(发送机的方位的推测)

图245是表示实施方式10中的发送机的方位的推测方法的流程图。

首先,在步骤9002a中开始,在步骤9002b中使受光部的透镜成为最大望远,在步骤9002c中确认接受的光的强度是否存在周期性变化,在“是”的情况下进入步骤9002d。在“否”的情况下进入步骤9002e,使受光部的透镜成为广角而接受大范围的光,返回步骤9002c。在步骤9002d中接收信号,在步骤9002f中使受光部的透镜成为最大望远,使受光方向以沿着受光范围的边界的方式变化,检测受光强度为最大的方向,推测为发送机处于该方向,在步骤9002d中结束。

通过该方法,能够推测发送机存在的方向。此外,也可以最初设为最大广角,逐渐设为望远。

(接收的开始)

图246是示出实施方式10的接收的开始方法的流程图。

首先,在步骤9003a中开始,在步骤9003b中确认是否接收到来自wi-fi、bluetooth(注册商标)或imes等基站的信号,在“是”的情况下,进入步骤9003c。在“否”的情况下返回步骤9003b。在步骤9003c中确认上述基站是否作为接收开始的触发事件而登记在接收机或服务器中,在“是”的情况下进入步骤9003d,开始信号的接收,在步骤9003e中结束。在“否”的情况下返回步骤9003b。

通过该方法,即使用户不进行接收开始的操作也能够开始接收。此外,与总是进行接收相比能够抑制消耗电力。

(并用其它媒体的信息的id的生成)

图247是表示实施方式10的并用其它媒体的信息的id的生成方法的流程图。

首先,在步骤9004a中开始,在步骤9004b中,将连接的载波通信网、wi-fi或bluetooth(注册商标)等的id或从上述id得到的位置信息或从gps等得到的位置信息向高位位id索引服务器发送。在步骤9004c中,从高位位id索引服务器接收可见光id的高位位,在步骤9004d中,接收来自发送机的信号作为可见光id的低位位。在步骤9004e中,将可见光id的高位位和低位位加在一起而向id解决服务器发送,在步骤9004f中结束。

通过该方法,能够得到在接收机的附近的场所共通地使用的高位位,能够使发送机发送的数据量变少。此外,能够提高接收机接收的速度。

另外,发送机也可以发送高位位和低位位双方。在该情况下,使用该方法的接收机能够在接收到低位位的时刻将id合成,不使用该方法的接收机从发送机接收id整体而得到id。

(基于频率分离的接收方式的选择)

图248是表示实施方式10的基于频率分离的接收方式的选择方法的流程图。

首先,在步骤9005a中开始,在步骤9005b中,将接收到的光信号施加给频率滤波电路,或进行离散傅立叶级数展开而进行频率分解。在步骤9005c中确认是否存在低频率成分,在“是”的情况下进入步骤9005d,将用频率调制等的低频率区域表现的信号解码,进入步骤9005e。在“否”的情况下进入步骤9005e。在步骤9005e中,确认上述基站是否作为接收开始的触发事件而登记在接收机或服务器中,在“是”的情况下进入步骤9005f,将用脉冲位置调制等的高频率区域表现的信号解码,进入步骤9005g。在“否”的情况下进入步骤9005g。在步骤9005g中开始信号的接收,在步骤9005h中结束。

通过该方法,能够接收用多个调制方式调制成的信号。

(曝光时间较长的情况下的信号接收)

图249是表示实施方式10的曝光时间较长的情况下的信号接收方法的流程图。

首先,在步骤9030a中开始,在步骤9030b中,在能够设定感光度的情况下将感光度设定为最高。在步骤9030c中,在能够设定曝光时间的情况下设定为比通常摄影模式短的时间。在步骤9030d中,对两张图像进行拍摄,求出亮度的差分。在对两张图像进行拍摄的期间中摄像部的位置或方向变化了的情况下,将该变化消除,生成如同从相同的位置方向摄像那样的图像,求出差分。在步骤9030e中,求出将差分图像或与摄像图像的曝光线平行的方向的亮度值平均后的值。在步骤9030f中,将上述平均后的值在与曝光线垂直的方向上排列而进行离散傅立叶变换,在步骤9030g中识别在预定的频率的附近是否有峰值,在步骤9030h中结束。

通过该方法,在不能设定曝光时间的情况或对通常图像同时进行拍摄的情况下等曝光时间较长的情况下,也能够接收信号。

在使曝光时间为自动设定的情况下,如果将摄像头朝向构成为照明的发送机,则通过自动曝光修正功能将曝光时间设定为60分之1秒到480分之1秒左右。在不能进行曝光时间的设定的情况下,以该条件接收信号。在实验中,在使照明周期性地闪烁的情况下,只要1周期的时间是曝光时间的约16分之1以上,就能够在与曝光线垂直的方向上辨识条纹,能够通过图像处理识别闪烁的周期。此时,由于拍摄有照明的部分亮度过高而难以确认条纹,所以优选的是根据照明光反射的部分求出信号的周期。

在使用如频率偏移调制方式或频率多路复用调制方式那样使发光部周期性地点亮、灭灯的方式的情况下,与使用脉冲位置调制方式的情况相比,即使是相同的调制频率,对人而言也不易辨识到闪变,此外,在由摄像机摄影的运动图像中也不易出现闪变。因此,能够将较低的频率作为调制频率使用。人的视觉的时间分辨能力是60hz左右,所以可以使用该频率以上的频率作为调制频率。

另外,当调制频率为接收机的摄像帧速率的整数倍时,由于两张图像的相同位置的像素在发送机的光样式相同的相位的时刻进行摄像,所以在差分图像中不会出现亮线,难以进行接收。接收机的摄像帧速率通常是30fps,所以如果调制频率设定为30hz的整数倍以外则容易进行接收。此外,由于接收机的摄像帧速率存在各种各样的值,所以通过将互质的两个调制频率分配给相同的信号,发送机将这两个调制频率交替使用来进行发送,接收机通过接收至少一个信号就能够容易地将信号复原。

图250是表示发送机的调光(调整明亮度)方法的一例的图。

通过调整亮度高的区间和亮度低的区间的比例,平均亮度变化,能够调整明亮度。此时,通过将使亮度的高低反复的周期t1保持为一定,能够将频率峰值保持为一定。例如,图250的(a)、(b)、(c)均为,变得比平均亮度亮的第1亮度变化与第2亮度变化之间的时间t1保持一定,同时在将发送机调光为暗时,缩短比平均亮度亮地照明的时间。另一方面,在将发送机调光为亮时,加长比平均亮度亮地照明的时间。图250的(b)、(c)被调光成比(a)暗,图250的(c)被调光成最暗。由此,能够一边发送具有同一意义的信号一边进行调光。

也可以通过使亮度高的区间的亮度或者亮度低的区间的亮度或者其双方的亮度的值变化,来使平均亮度变化。

图251是表示构成发送机的调光功能的方法的一例的图。

由于构成零件的精度存在极限,所以即使进行了相同调光设定,与其它的发送机相比明亮度也稍微地不同。但是,在将发送机排列地配置的情况下,若相邻的发送机的明亮度不同,则会感到不自然。于是,用户通过操作调光修正操作部,来调整发送机的明亮度。调光修正部保持修正值,调光控制部按照修正值控制发光部的明亮度。在用户操作调光操作部从而调光的程度变化了的情况下,调光控制部以变化后的调光设定值和保持于调光修正部的修正值为基础,控制发光部的明亮度。此外,调光控制部通过连动调光部向其它发送机传递调光设定值。在从其它设备通过连动调光部而传递了调光设定值的情况下,调光控制部以该调光设定值和保持于调光修正部的修正值为基础,控制发光部的明亮度。

根据本公开的一实施方式,也可以是控制通过使发光体亮度变化来发送信号的信息通信装置的控制方法,包括:决定步骤,通过使信息通信装置的计算机调制包含多个不同信号的发送对象的信号,来按不同的信号决定不同的频率的亮度变化的样式;和发送步骤,以在与单一频率相符的时间仅包含调制了单一信号的亮度变化的样式的方式,使发光体亮度变化,由此来发送发送对象的信号。

例如,在与单一频率相符的时间包含调制了多个信号的亮度变化的样式的情况下,随着时间经过,亮度变化的波形变得复杂,难以适当地接收。但是,通过以在与单一频率相符的时间仅包含调制了单一信号的亮度变化的样式的方式进行控制,能够在接收时更适当地进行接收。

根据本公开的一实施方式,也可以决定步骤中,在预定的时间内,以使得发送多个不同的信号中的一个信号的发送次数与发送其它信号的发送次数不同的方式决定发送次数。

通过使发送一个信号的发送次数与发送其它信号的发送次数不同,能够防止发送时的闪变。

根据本公开的一个实施方式,也可以在决定步骤中,在预定的时间内,使与高频率相符的信号的发送次数比其它信号的发送次数多。

在接收侧进行频率变换时,与高频率相符的信号虽然亮度变小,但通过使发送次数增多,能够加大进行频率变换时的亮度值。

根据本公开的一个实施方式,亮度变化的样式也可以是,随着时间经过的亮度变化的波形成为矩形波、三角波、锯齿波的任一个的样式。

通过设为矩形波等,能够更适当地进行接收。

根据本公开的一个实施方式,也可以在加大发光体的平均亮度的值的情况下,在与单一频率相符的时间内,将发光体的亮度成为比预定的值大的时间设为比使所述发光体的平均亮度的值变小的情况长。

通过在与单一频率相符的时间内,调整发光体的亮度变得比预定的值大的时间,能够发送信号且调整发光体的平均亮度。例如,在使用发光体作为照明的情况下,能够一边将整体的明亮度设为暗或者设为亮,一边发送信号。

接收机通过利用设定曝光时间的api(应用程序编程接口的省略,指用于利用os的功能的手段),能够将曝光时间设定为预定的值,能够稳定地接收可见光信号。此外,接收机通过利用设定感光度的api,能够将感光度设定为预定的值,即使在发送信号的明亮度暗的情况或亮的情况下也能够稳定地接收可见光信号。

(实施方式11)

在本实施方式中,对于使用上述各实施方式中的智能电话等接收机和作为led和/或有机el的闪烁样式发送信息的发送机的各应用例进行说明。

(曝光时间的设定)

图252a~图252d是表示实施方式11的接收机的动作的一例的流程图。

为了使用本公开的方式而由图像传感器接收可见光信号,需要将曝光时间设定为比预定的时间短的时间。预定的时间根据可见光信号的调制方式和调制频率而决定。通常,调制频率越高,越需要缩短曝光时间。

随着缩短曝光时间,亮线能够被清晰地观察到,另一方面,若曝光时间变短,则因为受光量减少,所以摄像图像整体变暗。即,信号强度衰减。因而,通过能够在可检测到可见光信号的存在的范围内缩短曝光时间,能够提高接收性能(接收速度和/或错误率)。

如图252a所示,接收机首先将摄像模式设为可见光摄像模式(步骤s9201)。此时,接收机判定是否具有黑白摄像功能且接收仅以亮度信息调制了的信号(步骤s9202)。这里,在判定为具有黑白摄像功能且接收仅以亮度信息调制了的信号时(步骤s9202的“是”),接收机将摄像模式中与颜色相关的模式设定为使用该黑白摄像功能的黑白摄像模式(步骤s9203)。由此,在接收仅以亮度信息调制了的信号的情况下,即,接收仅由亮度变化表示信息的可见光信号的情况下,不处理彩色信息,由此能够提高处理速度。另一方面,在步骤s9202中,判定为不具有黑白摄像功能或不接收仅以亮度信息调制了的信号时(步骤9202的“否”),即,在利用颜色信息表达可见光信号的情况下,接收机将摄像模式中的与颜色相关的模式设定为彩色摄像模式(步骤s9204)。

接着,接收机判定上述的包含图像传感器的摄像部是否具备指定曝光时间的功能(步骤s9205)。此处,若判定为具备(步骤s9205的“是”),则接收机以摄像图像中显示亮线的方式使用该功能而将曝光时间设定为比上述的预定的时间短的时间(步骤s9206)。另外,接收机也可以在摄像图像中,以在可看到发送可见光信号的发送机的范围内尽量缩短曝光时间的方式,设定其曝光时间。

另一方面,若在步骤s9205中判定为不具备指定曝光时间的功能(步骤s9205的“否”),则接收机进一步判定摄像部是否具备设定感光度的功能(步骤s9207)。此处,若判定为具备设定感光度的功能(步骤s9207的“是”),则接收机通过该功能,将感光度设定为最大(步骤s9208)。结果,若以该设为最大的感光度进行摄像而得到摄像图像,则该摄像图像变亮。于是,在接收机中,若将自动曝光设定为了有效,则通过该自动曝光,以曝光处于一定范围内的方式,将曝光时间设定得短。另外,在自动曝光中,每当进行摄像时,通过该摄像而得到的摄像图像被用于自动曝光的输入,基于该摄像图像,以曝光处于一定范围内的方式随时调整曝光时间。对于自动曝光的详情后面详述。

然后,接收机判定摄像部是否具备设定f值(光圈)的功能(步骤s9209)。这里,若判定为具备设定f值的功能(步骤s9209的“是”),则接收机通过该功能,将f值设定为最小(开放光圈)(步骤s9210)。结果,若通过以该被设为最小的f值进行摄像来得到摄像图像,则该摄像图像变亮。于是,在接收机中,若将自动曝光设定为了有效,则通过该自动曝光,以曝光处于一定范围内的方式将曝光时间设定得短。

然后,接收机判定摄像部是否具备指定曝光修正的值的功能(步骤s9211)。这里,若判定为具备指定曝光修正的值的功能(步骤s9211的“是”),则接收机通过该功能,将曝光修正的值设定为最小(步骤s9212)。结果,在接收机中,若将自动曝光设定为了有效,则通过该自动曝光,为了使曝光降低而将曝光时间设定得短。

此外,用于拍摄以高速运动的被拍摄对象的场景模式(高速场景模式)一般以“运动”和/或“行动”的名称来定义。

如图252b所示,接收机在步骤s9211或者步骤s9212后,判定是否满足如下条件:摄像部具备设定为高速场景模式的功能,且没有通过设为高速场景模式而将感光度设定为比场景模式设定前低,或者将f值设定为比场景模式设定前高,或者将曝光修正的值设定为比场景模式设定前高(步骤s9213)。这里,若判定为满足上述条件(步骤s9213的“是”),则接收机将场景模式设定为高速场景模式(步骤s9214)。结果,在接收机中,若将自动曝光设定为了有效,则为了以不抖动的方式对高速运动的被拍摄对象进行拍摄,通过该自动曝光,将曝光时间设定得短。

接着,接收机将自动曝光设定为有效(步骤s9215),拍摄被拍摄对象(步骤s9216)。

如图252c所示,接收机在步骤s9215后,判定摄像部是否具备变焦功能(步骤s9217)。此处,若判定为具备变焦功能(步骤s9217的“是”),则接收机进而判定是否能够指定变焦的中心位置,即,判定是否能够将其中心位置设为摄像图像内的任意的位置(步骤s9218)。若判定为能够指定中心位置(步骤s9218的“是”),则接收机通过将变焦的中心位置指定为摄像图像内的亮的部分,以与该亮的部分对应的被拍摄对象能够在中央被较大地拍摄的方式进行变焦(步骤s9219)。另一方面,若判定为不能指定中心位置(步骤s9218的“否”),则接收机判定摄像图像的中心是否比预定的值的明亮度亮,或者判定是否比摄像图像中的预定的各部位的平均的明亮度亮(步骤s9220)。这里,若判定为亮(步骤s9220的“是”),则接收机进行变焦(步骤s9221)。即,此时,与亮的部分对应的被拍摄对象能够在中央被较大地拍摄。

通常,具备摄像部的装置大多在测光方式中使用中央重点测光,所以若在摄像图像内亮的部分处于中央,则即使在不将测光位置指定为其它的位置的情况下也以亮的部分为基准来调整曝光。由此,将曝光时间设定得短。此外,因为通过变焦而亮的部分的面积增大,以更亮的画面为基准调整曝光,所以曝光时间被设定得短。

接着,接收机判定是否具有指定测光位置或者焦点位置的功能(步骤s9222)。这里,若判定为具有该功能(步骤s9222的“是”),则接收机进行用于在摄像图像中找出亮的场所的处理。即,接收机进行用于从摄像图像中找出具有比预定的明亮度亮的具有预定的形状和大小的区域的场所的处理。具体而言,接收机首先判定用于自动曝光的曝光评价的计算式是否为已知(步骤s9224)。在判定为已知的情况下(步骤s9224的“是”),接收机通过使用与该已知的计算式相同的计算式,来评价摄像图像中的各区域的明亮度,由此来寻找上述的亮的区域的场所(步骤s9226)。另一方面,在判定为曝光评价的计算式为未知的情况下(步骤s9224的“否”),接收机使用计算预定的形状和大小的区域中的各像素的明亮度的平均值的预定的计算式,评价摄像图像中的各区域的明亮度,由此找出上述的亮的区域的场所(步骤s9225)。此外,预定的形状例如是矩形、圆形或者十字形状等。此外,该区域也可以由非连续的多个区域构成。此外,在计算上述平均值时,也可以不使用单纯的平均,而是使用越是中心部则赋予越大的权重的加权平均。

接收机判定找到的所有的亮的区域的合计的面积是否比预定的面积小(步骤s9227)。此处,若判定为小(步骤s9227的“是”),则接收机以该亮的区域的合计的面积为预定的面积以上的大小拍摄的方式进行变焦(步骤s9228)。接着,接收机判定是否能够指定测光位置(步骤s9229)。在判定为能够指定测光位置的情况下(步骤s9229的“是”),接收机将最亮的区域的场所指定为测光位置(步骤s9230)。在自动曝光中,因为以测光位置的明亮度来调整曝光,所以通过将最亮的区域的场所指定为测光位置,能够通过自动曝光来将曝光时间设定得短。另一方面,在步骤s9229中判定为不能够指定测光位置的情况下(步骤s9229的“否”),即,在能够指定焦点位置的情况下,接收机将最亮的区域的场所指定为焦点位置。接收机能够搭载各种摄像部,在该各种摄像部中的一部分的摄像部的自动曝光中,以焦点位置的明亮度来调整曝光。因此,通过将最亮的区域的场所指定为焦点位置,通过自动曝光将曝光时间设定得短。这里指定的场所也可以与明亮度的评价或者计算所使用的区域的场所不同,与摄像部的设定方式相应地设定。作为例子,若指定的形式是指定中心点的形式,则接收机指定最亮的区域的中心,若指定的形式是指定矩形区域的形式,则接收机指定包含最亮的区域的中心的矩形区域。

接着,接收机判定在摄像图像中是否存在比被指定为测光位置或者焦点位置的场所的区域还亮的区域(步骤s9232)。这里,若判定为存在该区域(步骤s9232的“是”),则接收机反复执行自步骤s9217起的处理。另一方面,若判定为无该区域(步骤s9232的“否”),则接收机拍摄被拍摄对象(步骤s9233)。

接着,接收机判定是否应该基于由步骤s9233的摄像而得到摄像图像结束自动曝光,或者判定是否在将自动曝光设定为有效之后经过了一定时间(步骤s9234)。这里,在例如判定为不应该结束自动曝光的情况下(步骤s9234的“否”),接收机进而基于由步骤s9233的摄像得到的摄像图像,判定是否摄像部的位置或者摄像方向发生了变化(步骤s9235)。在判定为摄像部的位置或者摄像方向变化了的情况下(步骤s9235的“是”),接收机再次进行自步骤s9217起的处理。由此,即使在指定为测光位置和/或焦点位置的场所在摄像图像中移动了的情况下,也能够在该时刻重新指定最亮的区域的场所。另一方面,在步骤s9235中判定为摄像部的位置或者摄像方向没有变化的情况下(步骤s9235的“否”),接收机反复进行自步骤s9232起的处理。此外,接收机也可以在每当通过摄像取得1张摄像图像时检索最亮的区域,重新指定测光位置和/或焦点位置。

此外,在步骤s9234中判定为应该结束自动曝光的情况下,判定为曝光时间不再变化的情况下或者判定为经过了一定时间的情况下(步骤s9234的“是”),或者,在步骤s9206中设定了曝光时间的情况下,接收机将自动曝光设定为无效(步骤s9236),拍摄被拍摄对象(步骤s9237)。然后,接收机判定是否通过该摄像接收到可见光信号(步骤s9238)。这里,在判定为没有接收到可见光信号的情况下(步骤s9238的“否”),接收机还判定是否经过了预定的时间(步骤s9239)。在判定为没有经过预定的时间的情况下(步骤s9239的“否”),接收机反复执行自步骤s9237起的处理。另一方面,在判定为经过了预定的时间的情况下(步骤s9239的“是”),即,在即使经过预定的时间也没能接收到可见光信号的情况下,接收机反复执行自步骤s9232起的处理,由此重新进行最亮的区域的检索。

另外,接收机在利用变焦功能的情况下,也可以在任意的定时关闭变焦。即,接收机也可以在变焦关闭时,检测在变焦期间没有被拍摄但若不变焦则可被拍摄的范围内是否存在亮的被拍摄对象。此外,该亮的被拍摄对象很可能是通过亮度变化来发送可见光信号的发送机。由此,能够接收来自处于大范围内的发送机的信号。

这里,对于自动曝光和测光方法进行说明。

以下,对图252a~图252d中的自动曝光进行说明。自动曝光是接收机的摄像部调节曝光时间、感光度以及光圈,将测光结果自动地调整为预定的值的动作、处理或者功能。

在用于得到测光结果的测光方法中,存在平均测光(全面测光)、中央重点测光、点测光(部分测光)和分割测光等方式。在平均测光中,计算通过摄像而得到的图像全体的平均的明亮度。在中央重点测光中,计算越接近图像的中央(或者指定部分)则越增加权重的明亮度的加权平均值。在点测光中,计算以图像的中央或者指定部分为中心而定义的预定的一处(或者数处)的范围的明亮度的平均值(或者加权平均值)。在分割测光中,将图像分为多个部分而在各个部分进行测光,计算综合的明亮度的值。

在具有自动曝光的功能的摄像部中,即使不能直接将曝光时间设定得短,也能够通过该自动曝光的功能,间接地设定曝光时间。例如,若将感光度设定得高(例如最大值),则在其它条件相同的情况下,通过摄像而得到的图像变亮,所以能够通过自动曝光将曝光时间设定得短。此外,若以打开(即开放)光圈的方式进行设定,则同样能够将曝光时间设定得短。此外,若将表示曝光修正的水平的值设定得低(例如最小值),则通过自动曝光根据摄像而得到的图像变暗。即,曝光时间被设定得短。通过将图像内的最亮的场所指定为测光位置,由此能够将曝光时间设定得短。此外,若能够指定测光方法,则通过指定点测光,能够将曝光时间设定得短。若能够指定测光范围,则通过将测光范围指定为最小,能够将曝光时间设定得短。在图像内的亮的部分的面积大的情况下,以不超过该部分的方式尽量在大范围内指定测光范围,能够将曝光时间设定得短。若能够指定多个测光位置,则通过多次指定相同场所作为测光位置,能够将曝光时间设定得短。通过变焦将摄像图像内的亮的场所拍摄得较大,将该场所指定为测光位置,由此能够将曝光时间设定得短。

此处,对于ex变焦进行说明。

图253是用来说明ex变焦的图。

图252c中的变焦、即得到大的像的方法中,存在调整透镜的焦点距离来使映在摄像元件的像的大小变化的光学变焦、以数字处理插补映在摄像元件的像来得到大的像的数字变焦、以及通过变更使用于摄像的多个摄像元件来得到大的像的ex变焦。ex变焦能够利用于与摄像图像的分辨率相比包含于图像传感器的摄像元件的数量多的情况。

例如,在图253所示的图像传感器10080a中,32×24个摄像元件排列成矩阵状。即,摄像元件配置成横32个、纵24个。通过该图像传感器10080a的摄像,在得到横16×纵12的分辨率的图像的情况下,如图253的(a)所示,图像传感器10080a所包含的32×24个的摄像元件中,只有在图像传感器10080a中整体均匀地分散配置的16×12个摄像元件(例如,图253的(a)中的图像传感器1080a中由黑色方形表示的摄像元件)用于摄像。即,在纵方向和横方向分别排列的多个摄像元件中仅第奇数个或者第偶数个的摄像元件用于摄像。由此,可得到期望的分辨率的图像10080b。另外,在图253中,图像传感器1008a中显示了被拍摄对象,但这是为了使得各摄像元件和通过摄像而得到的图像的对应关系容易理解。

具备该图像传感器10080a的接收机在通过拍摄大的范围来探索发送机或者接收来自多个发送机的信息的情况下,仅使用图像传感器10080a中整体均匀地分散配置的一部分的摄像元件来进行摄像。

此外,接收机在进行ex变焦时,如图253的(b)所示,仅将在图像传感器10080a中局部紧密地配置的一部分的摄像元件(例如,图253的(b)中的图像传感器1080a中由黑色方形表示的16×12个的摄像元件)用于摄像。由此,图像10080b中与该一部分的摄像元件对应的部分被进行变焦,来得到图像10080d。通过这样的ex变焦,将发送机拍摄得较大,由此变得能够长时间接收可见光信号,接收速度提高,此外能够从远处接收可见光信号。

在数字变焦中,不能增加接受可见光信号的曝光线的数量,可见光信号的接收时间也不会增加,所以尽可能使用其它变焦比较好。光学变焦需要透镜和/或图像传感器的物理性的移动时间,而ex变焦仅进行电子设定变更,所以具有变焦所花费的时间短这一优点。从该观点来看,各变焦的优先顺序是(1)ex变焦、(2)光学变焦、(3)数字变焦。接收机也可以根据该优先顺序和变焦倍率的必要性,来选择并使用某一个或者多个变焦。此外,在图253的(a)和(b)所示的摄像方法中,通过使用没有使用的摄像元件,能够抑制图像噪声。

图254a是表示实施方式10的接收程序的处理的流程图。

该接收程序是使接收机所具备的计算机执行例如图252a~图253所示的处理的程序。

即,该接收程序是用于从发光体接收信息的接收程序。具体而言,该接收程序使计算机执行:曝光时间设定步骤sa21,使用自动曝光设定图像传感器的曝光时间;亮线图像取得步骤sa22,通过以设定的曝光时间使图像传感器拍摄亮度变化的发光体,来取得包含与图像传感器所包含的多个曝光线分别对应的亮线的图像即亮线图像;以及信息取得步骤sa23,其通过对所取得的亮线图像所包含的多个亮线的样式进行解码来取得信息。此外,在曝光时间设定步骤sa21中,如图252a的步骤s9208所示,将图像传感器的感光度设定为针对该图像传感器预先决定的范围中的最大值,通过自动曝光设定与最大值的感光度相应的曝光时间。

由此,即使不能直接设定图像传感器的曝光时间,也能够利用搭载于一般的摄像头的自动曝光的功能,来设定可取得适当的亮线图像的程度的短的曝光时间。即,在自动曝光中,基于由图像传感器的摄像取得的图像的明亮度来调整曝光。于是,由于如果将图像传感器的感光度设定为大的值,则该图像变为明亮,因此,为了抑制曝光,而将图像传感器的曝光时间设定为短。如果将图像传感器的感光度设定为最大值,则能够将曝光时间设定为更短,能够取得适当的亮线图像。即,能够适当地接收来自发光体的信息。其结果,能够在多种多样的设备间进行通信。此外,感光度例如是iso感光度。

此外,在曝光时间设定步骤sa21中,如图252a的步骤s9212所示,将表示图像传感器的曝光修正的水平的值设定为针对该图像传感器预先决定的范围中的最小值,通过自动曝光来设定为与最大值的感光度和最小值的水平的曝光修正相应的曝光时间。

由此,由于表示曝光补正的水平的值被设定为最小值,因此,能够通过欲抑制曝光的自动曝光的处理,来将曝光时间设定为更短,能够取得更适当的亮线图像。此外,表示曝光补正的级数(level)的值的单位例如为ev。

此外,在曝光时间设定步骤sa21中,如图252c所示,在通过包含发光体的被拍摄对象的图像传感器的摄像而取得的第1图像中确定比其它部分亮的部分。然后,通过光学变焦来放大与该亮的部分对应的被拍摄对象的一部分。进而,将通过图像传感器对放大后的被拍摄对象的一部分的摄像而取得的第2图像使用于自动曝光的输入,来设定曝光时间。此外,在亮线图像取得步骤sa22中,以设定的曝光时间使图像传感器拍摄放大后的被拍摄对象的一部分,来取得亮线图像。

由此,由于与第1图像的明亮的部分对应的被拍摄对象的一部分通过光学变焦被放大、即明亮的发光体通过光学变焦被放大,因此,能够使第2图像与第1图像相比整体上变为明亮。并且,该明亮的第2图像被用于自动曝光的输入,因此,通过欲抑制曝光的自动曝光的处理,能够使曝光时间被设定为更短,能够取得适当的亮线图像。

此外,在曝光时间设定步骤sa21中,如图252c所示,判定通过包含发光体的被拍摄对象的通过图像传感器进行的摄像而取得的第1图像的中央部分是否比第1图像中的多个位置的平均的明亮度亮。并且,在中央部分被判定为亮的情况下,通过光学变焦放大与中央部分对应的被拍摄对象的一部分。进而,将通过图像传感器对放大后的被拍摄对象的一部分的摄像而取得的第2图像使用于自动曝光的输入,来设定曝光时间。此外,在亮线图像取得步骤sa22中,通过以设定的曝光时间使图像传感器拍摄放大后的被拍摄对象的一部分,来取得亮线图像。

由此,由于与第1图像的明亮的中央部分对应的被拍摄对象的一部分通过光学变焦被放大、即明亮的发光体通过光学变焦被放大,因此,能够使第2图像与第1图像相比整体上变为明亮。并且,由于该明亮的第2图像用于自动曝光的输入,因此,能够通过欲抑制曝光的自动曝光的处理,将曝光时间设定为更短,能够取得适当的亮线图像。另外,对于光学变焦,如果不能任意地设定放大的中心位置,则将视角(视场角)或图像的中央部分放大。因此,即便在无法任意地设定其中心位置的情况下,如果第1图像的中央部分明亮,则能够通过利用光学变焦,来使第2图像整体上变为明亮。进而,即便在第1图像的中央部分暗的情况下,如果进行基于光学变焦的放大,则第2图像会变暗,曝光时间会变长。于是,如上所述,仅限于在判定为中央部分明亮的情况下,能够通过进行基于光学变焦的放大,来防止曝光时间变长。

此外,在曝光时间设定步骤sa21中,如图253所示,在通过仅由图像传感器所包含的k个(k为3以上的整数)的摄像元件中的图像传感器内均匀分散配置的n个(n为小于k且2以上的整数)的摄像元件对包含发光体的被拍摄对象的摄像而取得的第1图像中,确定比其它部分亮的部分。进而,将通过仅由图像传感器所包含的k个摄像元件中与亮的部分对应的密集的n个摄像元件进行的摄像而取得的第2图像使用于自动曝光的输入,来设定曝光时间。此外,在亮线图像取得步骤sa22中,通过仅使图像传感器所包含的密集的n个摄像元件以设定的曝光时间拍摄,来取得亮线图像。

由此,通过所谓的ex变焦,即使第1图像中的亮的部分不在中央,也能够使第2图像整体亮,能够将曝光时间设定得更短。

此外,在曝光时间设定步骤sa21中,如图252c所示,设定通过图像传感器拍摄被拍摄对象而取得的图像内的测光位置,通过自动曝光来设定与所设定的测光位置的明亮度相应的曝光时间。

由此,若在通过摄像而取得的图像内将亮的部分设定为测光位置,则通过想要抑制曝光的自动曝光的处理,能够将曝光时间设定得更短,能够取得适当的亮线图像

此外,接收程序也可以还使计算机执行将图像传感器的摄像模式从用于通过摄影取得彩色图像的彩色摄像模式切换为用于通过摄影取得黑白图像的黑白摄像模式的摄像模式设定步骤。在该情况下,在曝光时间设定步骤sa21中,将通过黑白摄像模式取得的图像使用于自动曝光的输入,来设定曝光时间。

由此,通过黑白摄像模式而取得的图像被用于自动曝光的输入,所以能够不受颜色的信息影响,而设定适当的曝光时间。此外,在通过黑白摄像模式设定曝光时间的情况下,通过按照该模式的摄像来取得亮线图像。因此,在仅通过亮度变化从发光体发送信息的情况下,能够适当地取得该信息。

此外,在曝光时间设定步骤sa21中,在每当通过图像传感器对发光体的摄像来取得图像时,将所取得的图像使用于自动曝光的输入,来更新图像传感器的曝光时间。这里,例如如图252d的步骤s9234所示,在随时更新的曝光时间的变动幅度成为了预定的范围以下时,结束通过自动曝光实现的曝光时间的更新,来设定曝光时间。

由此,在曝光时间的变动稳定时,即,在通过摄像取得的图像的明亮度收敛于通过自动曝光而被设为目标的明亮度时,将此时的曝光时间使用于用于取得亮线图像的摄像。因此,能够取得适当的亮线图像。

图254b是表示实施方式10中的接收装置的框图。

该接收装置a20是例如执行图252a~图253所示的处理的上述的接收机。

即,该接收装置a20是用于从发光体接收信息的装置,具备:曝光时间设定部a21,其使用自动曝光来设定图像传感器的曝光时间;摄像部a22,其通过以设定的曝光时间使图像传感器拍摄发生亮度变化的发光体,来取得包含与图像传感器所包含的多个曝光线分别对应的亮线的图像即亮线图像;以及解码部a23,通过对所取得的亮线图像所包含的多个亮线的样式进行解码来取得信息。曝光时间设定部a21将图像传感器的感光度设定为针对该图像传感器预先决定的范围中的最大值,通过自动曝光设定与最大值的感光度相应的曝光时间。在该接收装置a20中,能够实现与上述的接收程序同样的效果。

本公开的一技术方案涉及的接收程序,是用于从亮度根据通过上述的信息处理程序输出的信号变化的发光体接收信息的接收程序,该接收程序使计算机执行如下步骤:曝光时间设定步骤,其使用自动曝光来设定图像传感器的曝光时间;亮线图像取得步骤,其通过以设定的所述曝光时间使所述图像传感器拍摄包含发生亮度变化的所述发光体的被拍摄对象,来取得包含与所述图像传感器所包含的多个曝光线分别对应的亮线的图像即亮线图像;以及信息取得步骤,其通过对所取得的所述亮线图像所包含的所述多个亮线的样式进行解码来取得信息,在所述曝光时间设定步骤中,将所述图像传感器的感光度设定为针对该图像传感器预先决定的范围中的最大值,通过所述自动曝光设定与所述最大值的感光度相应的所述曝光时间。

由此,如图252a~图254b所示,即便无法直接设定图像传感器的曝光时间,也能够利用搭载于一般的摄像头的自动曝光的功能,来设定可以取得适当的亮线图像的程度的短的曝光时间。即,在自动曝光中,基于由图像传感器的摄像取得的图像的明亮度来调整曝光。于是,由于如果将图像传感器的感光度设定为大的值,则该图像变为明亮,因此,为了抑制曝光,而将图像传感器的曝光时间设定为短。如果将图像传感器的感光度设定为最大值,则能够将曝光时间设定为更短,能够取得适当的亮线图像。即,能够适当地接收来自发光体的信息。其结果,能够在多种多样的设备间进行通信。此外,感光度例如是iso感光度。

另外,在所述曝光时间设定步骤中,也可以是,将表示所述图像传感器的曝光补正的水平的值设定为针对该图像传感器预先设定的范围中的最小值,利用所述自动曝光来设定与所述最大值感光度以及所述最小值水平的曝光补正相应的所述曝光时间。

由此,由于表示曝光补正的水平的值被设定为最小值,因此,能够通过希望抑制曝光的自动曝光的处理,来将曝光时间设定为更短,能够取得更适当的亮线图像。此外,表示曝光补正的水平(level,级数)的值的单位例如为ev。

另外,也可以是,在所述曝光时间设定步骤中,在包含所述发光体的被拍摄对象的通过所述图像传感器的摄像而取得的第1图像中确定与其它部分相比明亮的部分,利用光学变焦将与所述明亮的部分对应的所述被拍摄对象的一部分放大,并将由所述图像传感器拍摄放大后的所述被拍摄对象的一部分而取得的第2图像用于所述自动曝光的输入,据此设定所述曝光时间,在所述亮线图像取得步骤中,通过以所设定的所述曝光时间使所述图像传感器拍摄放大后的所述被拍摄对象的一部分,来取得所述亮线图像。

由此,由于与第1图像的明亮的部分对应的被拍摄对象的一部分通过光学变焦被放大、即明亮的发光体通过光学变焦被放大,因此,能够使第2图像与第1图像相比整体上变为明亮。并且,该明亮的第2图像被用于自动曝光的输入,因此,通过希望抑制曝光的自动曝光的处理,能够使曝光时间被设定为更短,能够取得适当的亮线图像。

另外,也可以是,在所述曝光时间设定步骤中,判定包含所述发光体的被拍摄对象的通过所述图像传感器的摄像而取得的第1图像的中央部分是否比所述第1图像中的多个位置的明亮度的平均明亮,在判定为所述中央部分明亮的情况下,通过光学变焦将与所述中央部分对应的所述被拍摄对象的一部分放大,将利用所述图像传感器拍摄放大后的所述被拍摄对象的一部分而取得的第2图像用于所述自动曝光的输入,据此来设定所述曝光时间,在所述亮线图像取得步骤中,通过以所设定的所述曝光时间使所述图像传感器拍摄放大后的所述被拍摄对象的一部分,来取得所述亮线图像。

由此,由于与第1图像的明亮的中央部分对应的被拍摄对象的一部分通过光学变焦被放大、即明亮的发光体通过光学变焦被放大,因此,能够使第2图像与第1图像相比整体上变为明亮。并且,由于该明亮的第2图像用于自动曝光的输入,因此,能够通过希望抑制曝光的自动曝光的处理,将曝光时间设定为更短,能够取得适当的亮线图像。另外,对于光学变焦,如果不能任意地设定放大的中心位置,则将视角或图像的中央部分放大。因此,即便在无法任意地设定其中心位置的情况下,如果第1图像的中央部分明亮,则也能够通过利用光学变焦,来使第2图像整体上变为明亮。进而,即便在第1图像的中央部分暗的情况下,如果进行基于光学变焦的放大,则第2图像会变暗,曝光时间会变长。于是,如上所述,仅限于在判定为中央部分明亮的情况下,能够通过进行基于光学变焦的放大,来防止曝光时间变长。

另外,也可以是,在所述曝光时间设定步骤中,在仅利用所述图像传感器所含的k个(k为3以上的整数)摄像元件中的、在所述图像传感器内均等地分散配置的n个(n为小于k且2以上的整数)摄像元件拍摄包含所述发光体的被拍摄对象而取得的第1图像中,确定比其它的部分明亮的部分,将仅通过所述图像传感器所含的k个摄像元件中的、与所述明亮的部分对应的密集的n个摄像元件的摄像而取得的第2图像用于所述自动曝光的输入,据此,设定所述曝光时间,在所述亮线图像取得步骤中,通过以所设定的所述曝光时间仅使所述图像传感器所含的所述密集的n个摄像元件进行摄像,来取得所述亮线图像。

由此,利用所谓的ex变焦,即便第1图像中的明亮的部分不位于中央,也能够使第2图像整体上变为明亮,能够将曝光时间设定为更短。

另外,在所述曝光时间设定步骤中,也可以是,设定通过所述图像传感器对所述被拍摄对象进行摄像而取得的图像内的测光位置,利用所述自动曝光设定与所设定的所述测光位置的明亮度相应的所述曝光时间。

由此,如果在通过摄像取得的图像内将明亮的部分设定为测光位置,则能够通过欲抑制曝光的自动曝光的处理,将曝光时间设定为更短,能够取得适当的亮线图像。

另外,也可以是,所述接收程序还使所述计算机执行摄像模式设定步骤,在摄像模式设定步骤中,将所述图像传感器的摄像模式,从用于通过摄影取得彩色图像的彩色摄像模式切换为用于通过摄影取得单色的图像的单色摄像模式,在所述曝光时间设定步骤中,通过将利用所述单色摄像模式取得的图像用于所述自动曝光的输入,来设定所述曝光时间。

由此,由于通过单色摄像模式取得的图像用于自动曝光的输入,因此,能够不被颜色的信息影响地设定适当的曝光时间。另外,在通过单色摄像模式设定曝光时间的情况下,通过依据该模式的摄像来取得亮线图像。因此,在仅通过来自发光体的亮度的变化发送信息的情况下,能够适当地取得该信息。

另外,在所述曝光时间设定步骤中,也可以是,每当通过所述图像传感器拍摄所述发光体而取得图像,就将所取得的图像用于所述自动曝光的输入,据此,更新所述图像传感器的曝光时间,当随时更新的所述曝光时间的变动幅度成为了预定的范围以下时,通过结束基于所述自动曝光的所述曝光时间的更新,来设定所述曝光时间。

由此,在曝光时间的变动稳定时,即,在通过摄像取得的图像的明亮度收敛于通过自动曝光而被设为目标的明亮度时,将此时的曝光时间用于为了取得亮线图像的摄像。因此,能够取得适当的亮线图像。

(实施方式12)

在本实施方式中,对于使用上述各实施方式中的智能电话等的接收机和作为led和/或有机el的闪烁样式发送信息的发送机的各应用例进行说明。

在本实施方式中,按每个曝光线或者每个摄像元件来设定曝光时间。

图255、图256、图257是表示实施方式12的信号接收方法的一例的图。

如图255所示,在作为接收机所具备的摄像部的图像传感器10010a中,按每个曝光线设定曝光时间。即,对预定的曝光线(图255中白色的曝光线)设定通常摄像用的长的曝光时间,对其它曝光线(图255中黑色的曝光线),设定可见光摄像用的短的曝光时间。例如,针对在垂直方向排列的各曝光线,交替设定长的曝光时间和短的曝光时间。由此,在通过亮度变化来拍摄发送可见光信号的发送机时,能够几乎同时进行通常摄像和可见光摄像(可见光通信)。另外,两个曝光时间可以按每1行交替地设定,也可以按每数行进行设定,还可以在图像传感器10010a的上部与下部分别设定曝光时间。通过这样使用2个曝光时间,分别汇集通过被设定成相同曝光时间的多个曝光线的摄像而得到的数据,可得到通常摄像图像10010b和表示多个亮线的样式的亮线图像即可见光摄像图像10010c。通常,在摄像图像10010b中,因为缺少没有以长的曝光时间摄像的部分(即,与被设定为短的曝光时间的多个曝光线对应的图像),所以通过插补该部分,能够显示预览图像10010d。此处,能够在预览图像10010d中叠加根据可见光通信而得到的信息。该信息是与通过对可见光摄像图像10010c所包含的多个亮线的样式进行解码而得到的可见光信号相关联的信息。另外,接收机也可以将通常摄像图像10010b或者对该通常摄像图像10010b进行了插补的图像保存为摄像图像,将接收到的可见光信号或者与该可见光信号相关联的信息作为附加信息,附加于保存的摄像图像。

如图256所示,也可以取代图像传感器10010a而使用图像传感器10011a。在图像传感器1011a中,不是按每个曝光线,而是按每个包括沿着与曝光线垂直的方向排列的多个摄像元件的列(以下,称作垂直行),设定曝光时间。即,对预定的垂直行(图256中白色的垂直行)设定通常摄像用的长的曝光时间,对其它垂直行(图256中黑色的垂直行)设定可见光摄像用的短的曝光时间。在该情况下,在图像传感器10011a中,与图像传感器10010a同样,在按每个曝光线而彼此不同的定时开始曝光,但在各曝光线中,该曝光线所包含的各摄像元件的曝光时间不同。接收机通过该图像传感器10011a的摄像,来得到通常摄像图像10011b和可见光摄像图像10011c。进而,接收机基于该通常摄像图像10011b和与从可见光摄像图像10011c得到的可见光信号相关联的信息,生成并显示预览图像10011d。

在该图像传感器10011a中,与图像传感器10010a不同,能够对可见光摄像使用所有曝光线。结果,在通过图像传感器10011a得到的可见光摄像图像10011c中,包含比可见光摄像图像10010c多的亮线,所以能够提高可见光信号的接收精度。

此外,如图257所示,也可以取代图像传感器10010a而使用图像传感器10012a。在图像传感器10012a中,以沿水平方向和垂直方向对各摄像元件不连续设定相同曝光时间的方式,按每个摄像元件设定曝光时间。即,以设定长的曝光时间的多个摄像元件和设定短的曝光时间的多个摄像元件分布为格子状或者相间方格图案那样的方式,对各摄像元件设定曝光时间。在该情况下,也与图像传感器10010a同样,在按每个曝光线彼此不同的定时开始曝光,但在各曝光线中该曝光线所包含的各摄像元件的曝光时间不同。接收机通过该图像传感器10012a的摄像,来得到通常摄像图像10012b和可见光摄像图像10012c。进而,接收机基于该通常摄像图像10012b和与从可见光摄像图像10012c得到的可见光信号相关联的信息,生成并显示预览图像10012d。

通过图像传感器10012a而得到的通常摄像图像10012b持有配置成格子状或者均匀配置的多个摄像元件的数据,所以能够与通常摄像图像10010b和通常摄像图像10011b相比更准确地进行插补和/或调节。此外,可见光摄像图像10012c通过使用图像传感器10012a的所有曝光线的摄像而生成。即,在该图像传感器10012a中,与图像传感器10010a不同,能够在可见光摄像中使用所有曝光线。结果,通过图像传感器10012a而得到的可见光摄像图像10012c中,与可见光摄像图像10011c同样地,与可见光摄像图像10010c相比包含更多亮线,所以能够高精度地进行可见光信号的接收。

此处,对预览图像的交叉显示进行说明。

图258是表示实施方式12的接收机的画面显示方法的一例的图。

具备上述的图255所示的图像传感器10010a的接收机每隔预定的时间将对第奇数个曝光线(以下,称作奇数行)设定的曝光时间与对第偶数个曝光线(以下,称作偶数行)设定的曝光时间调换。例如,如图258所示,接收机在时刻t1,对奇数行的各摄像元件设定长的曝光时间,对偶数行的各摄像元件设定短的曝光时间,进行使用这些设定的曝光时间的摄像。进而,接收机在时刻t2,对奇数行的各摄像元件设定短的曝光时间,对偶数行的各摄像元件设定长的曝光时间,进行使用这些设定的曝光时间的摄像。然后,接收机在时刻t3,进行使用与时刻t1时同样地设定的各曝光时间的摄像,在时刻t4,进行使用与时刻t2时同样地被设定的各曝光时间的摄像。

此外,接收机在时刻t1,取得包含通过摄像而从多个奇数行分别得到的图像(以下,称作奇数行像)和通过摄像而从多个偶数行分别得到的图像(以下,称作偶数行像)的image1。此时,在多个偶数行的各个中,曝光时间短,所以在偶数行像的各个中,被拍摄对象没有被鲜明地显示。因此,接收机通过对多个奇数行像进行像素值的插补,生成多个插补行像。然后,接收机取代多个偶数行像而显示包含多个插补行像的预览图像。即,预览图像中,交替排列有奇数行像和插补行像。

接收机在时刻t2,取得包含通过摄像而得到的多个奇数行像和偶数行像的image2。此时,在多个奇数行的各个中,曝光时间短,所以在奇数行像的各个中,被拍摄对象没有被鲜明地显示。因此,接收机取代image2的奇数行像,而显示包含image1的奇数行像的预览图像。即,预览图像中,交替排列有image1的奇数行像和image2的偶数行像。

进而,接收机在时刻t3,通过摄像取得包含多个奇数行像和偶数行像的image3。此时,与时刻t1时同样,在多个偶数行的各个中,曝光时间短,所以在偶数行像的各个中,被拍摄对象没有被鲜明地显示。因此,接收机取代image3的偶数行像,而显示包含image2的偶数行像的预览图像。即,预览图像中,交替排列有image2的偶数行像和image3的奇数行像。然后,接收机在时刻t4,通过摄像取得包含多个奇数行像和偶数行像的image4。此时,与时刻t2时同样,在多个奇数行的各个中,曝光时间短,所以在奇数行像的各个中,被拍摄对象没有被鲜明地显示。因此,接收机取代image4的奇数行像,而显示包含image3的奇数行像的预览图像。即,预览图像中交替排列有image3的奇数行像和image4的偶数行像。

这样,接收机进行显示包含所取得的定时互不相同的偶数行像和奇数行像的image的所谓的交叉显示。

这样的接收机能够一边进行可见光摄像一边显示精细的预览图像。此外,设定相同曝光时间的多个摄像元件可以是图像传感器10010a那样沿着与曝光线水平的方向排列的多个摄像元件,也可以是图像传感器10011a那样沿着与曝光线垂直的方向排列的多个摄像元件,还可以是图像传感器10012a那样呈相间方格图案排列的多个摄像元件。此外,接收机也可以将预览图像保存为摄像数据。

接着,对通常摄像和可见光摄像的空间比率进行说明。

图259是表示实施方式12的信号接收方法的一例的图。

在接收机所具备的图像传感器10014b中,与上述的图像传感器10010a同样,按每个曝光线设定长的曝光时间或者短的曝光时间。在该图像传感器10014b中,设定长的曝光时间的摄像元件的数量和设定短的曝光时间的摄像元件的数量的比是1:1。另外,该比是通常摄像与可见光摄像的比,以下,称作空间比率。

但是,在本实施方式中,其空间比率不需要是1:1。例如,接收机也可以具备图像传感器10014a。在该图像传感器10014a中,短的曝光时间的摄像元件比长的曝光时间的摄像元件多,空间比率是1:n(n>1)。此外,接收机也可以具备图像传感器10014c。在该图像传感器10014c中,短的曝光时间的摄像元件比长的曝光时间的摄像元件少,空间比率是n(n>1):1。此外,接收机也可以取代图像传感器10014a~10014c,而具备按上述的垂直行设定曝光时间,分别具有1:n、1:1或者n:1的空间比率的图像传感器10015a~10015c中的任一个。

在这样的图像传感器10014a、10015a中,短的曝光时间的摄像元件多,所以能够提高可见光信号的接收精度或者接收速度。另一方面,在图像传感器10014c、10015c中,长的曝光时间的摄像元件多,所以能够显示精细的预览图像。

此外,接收机也可以使用图像传感器10014a、10014c、10015a、10015c,如图258所示,进行交叉显示。

接着,对通常摄像和可见光摄像的时间比率进行说明。

图260是表示实施方式12的信号接收方法的一例的图。

接收机也可以如图260的(a)所示,按每个帧将摄像模式切换为通常摄像模式和可见光摄像模式。通常摄像模式是对接收机的图像传感器的所有摄像元件设定通常摄像用的长的曝光时间的摄像模式。可见光摄像模式是对接收机的图像传感器的所有摄像元件设定可见光摄像用的短的曝光时间的摄像模式。这样,通过切换曝光时间的长/短,既能通过短的曝光时间的摄像接收可见光信号,又能通过长的曝光时间的摄像来显示预览图像。

另外,接收机也可以在通过自动曝光决定长的曝光时间的情况下,无视通过短的曝光时间的摄像而得到的图像,仅以通过长的曝光时间的摄像而得到的图像的明亮度为基准而进行自动曝光。由此,能够将长的曝光时间决定为适当的时间。

此外,接收机也可以如图260的(b)所示,按每个具有多帧的组将摄像模式切换为通常摄像模式和可见光摄像模式。在曝光时间的切换花费时间的情况和/或到曝光时间稳定为止花费时间的情况下,如图260的(b)所示,通过按每个具有多帧的组使曝光时间变化,能够使可见光摄像(可见光信号的接收)和通常摄像同时成立。此外,组所包含的帧的数量越多,则曝光时间的切换的次数越少,所以能够抑制接收机的电力消耗和发热。

此处,通过以通常摄像模式下的长的曝光时间的摄像而连续生成的至少1个帧的数量和通过以可见光摄像模式下的短的曝光时间的摄像而连续生成的至少1个帧的数量的比(以下,称作时间比率)也可以不是1:1。即,在图260的(a)和(b)所示的情况下,时间比率是1:1,但其时间比率也可以不是1:1。

例如,接收机也可以如图260的(c)所示,将可见光摄像模式的帧设为比通常摄像模式的帧多。由此,能够使可见光信号的接收速度变快。若预览图像的帧速率为预定的速率以上,则由帧速率引起的预览图像的不同不会被人的眼识别。在摄像的帧速率充分高的情况,例如其帧速率为120fps的情况下,接收机对连续的3帧设定可见光摄像模式,对接下来的1帧设定可见光摄像模式。由此,接收机能够一边以比上述的预定的速率足够高的30fps的帧速率显示预览图像,一边高速地接收可见光信号。此外,因为切换的次数变少,所以还可得到图260的(b)所说明的效果。

此外,接收机也可以如图260的(d)所示,将通常摄像模式的帧设为比可见光摄像模式的帧多。这样,通过使通常摄像模式的帧即通过以长的曝光时间的摄像而得到的帧变多,能够平顺地显示预览图像。此外,因为进行可见光信号的接收处理的次数减少,所以具有省电力效果。此外,因为切换的次数变少,所以还可得到图260的(b)所说明的效果。

此外,接收机如图260的(e)所示,首先与图260的(a)所示的情况同样,按每个帧切换摄像模式,接着,当可见光信号的接收完成时,也可以与图260的(d)所示的情况同样,使通常摄像模式的帧变多。由此,在可见光信号的接收完成后,既能平顺地显示预览图像,又能继续是否存在新的可见光信号的探索。此外,因为切换的次数少,所以还可得到图260的(b)所说明的效果。

图261是表示实施方式12的信号接收方法的一例的流程图。

接收机开始接收可见光信号的处理即可见光接收(步骤s10017a),将曝光时间长短设定比设定为用户所指定的值(步骤s10017b)。曝光时间长短设定比是上述的空间比率与时间比率中的至少一个。用户可以仅指定空间比率、仅指定时间比率或者指定该空间比率和时间比率的双方的值,接收机也可以与用户的指定无关地自动设定。

接着,接收机判定接收性能是否为预定的值以下(步骤s10017c)。若判定为预定的值以下(步骤s10017c的“是”),则接收机将短的曝光时间的比率设定得高(步骤s10017d)。由此,能够提高接收性能。此外,短的曝光时间的比率在空间比率的情况下是设定短的曝光时间的摄像元件的数量相对于设定长的曝光时间的摄像元件的数量的比率,在时间比率的情况下,是以可见光摄像模式连续生成的帧的数量相对于以通常摄像模式连续生成的帧的数量的比率。

接着,接收机接收可见光信号的至少一部分,判定是否对该接收到的可见光信号的至少一部分(以下,称作接收信号)设定了优先度(步骤s10017e)。另外,在设定有优先度的情况下,表示优先度的识别码包含于接收信号。接收机在判定为设定有优先度时(步骤s10017e的“是”),按照该优先度设定曝光时间长短比(步骤s10017f)。即,优先度越高,接收机将短的曝光时间的比率设定得越高。例如,通过构成为发送机的紧急灯发生亮度变化,来发出表示高的优先度的识别码。在该情况下,接收机通过提高短的曝光时间的比率来提升接收速度,能够快速地显示避难路径等。

接着,接收机判定可见光信号的所有接收是否已完成(步骤s10017g)。这里,在判定为没有完成时(步骤s10017g的“否”),接收机反复执行来自步骤s10017c的处理。另一方面,在判定为已完成时(步骤s10017g的“是”),接收机将长的曝光时间的比率设定得高,转移至省电力模式(步骤s10017h)。此外,长的曝光时间的比率在空间比率的情况下,是被设定长的曝光时间的摄像元件的数量相对于被设定短的曝光时间的摄像元件的数量的比率,在时间比率的情况下,是以通常摄像模式连续生成的帧的数量相对于以可见光摄像模式连续生成的帧的数量的比率。由此,能够不进行不必要的可见光接收,而平顺地显示预览图像。

接着,接收机判定是否发现了其它可见光信号(步骤s10017i)。此处,在判定为发现了时(步骤s10017i的“是”),接收机反复执行自步骤s10017b起的处理。

接着,对可见光摄像和通常摄像的同时执行进行说明。

图262是表示实施方式12的信号接收方法的一例的图。

接收机也可以对图像传感器设定2个以上的曝光时间。即,如图262的(a)所示,图像传感器所包含的曝光线的各个以所设定的2个以上的曝光时间中最长的曝光时间连续曝光。接收机按每个曝光线,在上述的所设定的2个以上的曝光时间分别经过了的时刻,读出通过该曝光线的曝光而得到的摄像数据。这里,接收机在经过最长的曝光时间之前,不重置所读出的摄像数据。因此,接收机能够通过预先记录所读出的摄像数据的累积值,仅以最长的曝光时间的曝光得到多个曝光时间下的摄像数据。另外,图像传感器可以进行摄像数据的累积值的记录,也可以不进行。在图像传感器不进行的情况下,从图像传感器读出数据的接收机的构成要素进行累积的计算,即摄像数据的累积值的记录。

例如,在设定了2个曝光时间的情况下,如图262的(a)所示,接收机读出通过短的曝光时间的曝光而生成的包含可见光信号的可见光摄像数据,接着读出通过长的曝光时间的曝光而生成的通常摄像数据。

由此,能够同时进行用于接收可见光信号的摄像即可见光摄像和通常摄像,能够一边接收可见光信号一边进行通常的摄像。此外,通过使用多个曝光时间的数据,能够识别采用定理以上的信号频率,能够进行高频信号和/或高密度调制信号的接收。

进而,接收机在输出摄像数据时,如图262(b)所示,输出包含该摄像数据作为摄像数据主体的数据列。即,接收机通过将包含表示摄像模式(可见光摄像或者通常摄像)的摄像模式识别码、用于确定摄像元件或者摄像元件所属的曝光线的摄像元件识别码、表示摄像数据主体是第几个曝光时间的摄像数据的摄像数据号码以及表示摄像数据主体的大小的摄像数据长在内的附加信息附加于摄像数据主体,来生成并输出上述的数据列。在使用图262的(a)来说明的摄像数据的读出方法中,各个摄像数据不限于按曝光线的顺序输出。于是,通过附加图262的(b)所示的附加信息,能够确定摄像数据是哪个曝光线的摄像数据。

图263a是表示实施方式12的接收程序的处理的流程图。

该接收程序是使接收机所具备的计算机执行例如图255~图262所示的处理执行的程序。

即,该接收程序是用于从发生亮度变化的发光体接收信息的接收程序。具体而言,该接收程序使计算机执行步骤sa31、步骤sa32和步骤sa33。在步骤sa31中,对图像传感器所包含的k个(k为4以上的整数)摄像元件中的一部分的多个摄像元件设定第1曝光时间,对k个摄像元件中剩余的多个摄像元件设定比第1曝光时间短的第2曝光时间。在步骤sa32中,通过以所设定的第1曝光时间和第2曝光时间使图像传感器拍摄作为发生亮度变化的发光体的被拍摄对象,取得与来自被设定第1曝光时间的多个摄像元件的输出相应的通常图像,并且取得与来自被设定第2曝光时间的多个摄像元件的输出相应的、包含与图像传感器所包含的多个曝光线分别对应的亮线的图像即亮线图像。在步骤sa33中,通过对所取得的亮线图像所包含的多个亮线的样式进行解码来取得信息。

由此,因为通过被设定第1曝光时间的多个摄像元件和被设定第2曝光时间的多个摄像元件来进行摄像,所以能够在图像传感器的1次摄像中,取得通常图像和亮线图像。即,能够同时进行通常图像的摄像和可见光通信的信息的取得。

此外,在曝光时间设定步骤sa31中,可以对图像传感器所包含的l个(l为4以上的整数)摄像元件列中一部分的多个摄像元件列设定第1曝光时间,对l个摄像元件列中剩余的多个摄像元件列设定第2曝光时间。这里,l个摄像元件列分别包括图像传感器所包含的排列成一列的多个摄像元件。

由此,能够不对作为小单位的摄像元件分别单独设定曝光时间,而按每个作为大单位的摄像元件列设定曝光时间,减轻处理负担。

例如,l个摄像元件列分别如图255所示,是图像传感器所包含的曝光线。或者,l个摄像元件列分别如图256所示,包括沿着与图像传感器所包含的曝光线垂直的方向排列的多个摄像元件。

此外,如图258所示,在曝光时间设定步骤sa31中,可以对图像传感器所包含的l个摄像元件列中处于第奇数列的摄像元件列分别设定作为相同曝光时间的第1曝光时间和第2曝光时间中的另一方面,对l个摄像元件列中处于第偶数列的摄像元件列分别设定作为相同曝光时间的第1曝光时间和第2曝光时间中的另一方。然后,在反复进行曝光时间设定步骤sa31、图像取得步骤sa32和信息取得步骤sa33的情况下,在反复进行的曝光时间设定步骤sa31中,将在前一曝光时间设定步骤sa31中对第奇数列的摄像元件列分别设定的曝光时间与对第偶数列的摄像元件列分别设定的曝光时间调换。

由此,每当进行通常图像的取得时,能够将用于该取得的多个摄像元件列切换成第奇数列的多个摄像元件列和第偶数列的多个摄像元件列。结果,能够通过交叉来分别显示依次取得的通常图像。此外,通过相互补充连续取得的2个通常图像,能够生成包含第奇数列的多个摄像元件列的图像和第偶数列的多个摄像元件列的图像的新的通常图像。

此外,如图259所示,在曝光时间设定步骤sa31中,也可以将设定模式切换为通常优先模式和可见光优先模式,在被切换为通常优先模式的情况下,使被设定第1曝光时间的摄像元件的数量比被设定第2曝光时间的摄像元件的数量多。此外,在被切换为可见光优先模式的情况下,可以使被设定第1曝光时间的摄像元件的数量比被设定第2曝光时间的摄像元件的数量少。

由此,在设定模式被切换为通常优先模式的情况下,能够提高通常图像的画质,在被切换为可见光优先模式的情况下,能够提高来自发光体的信息的接收效率。

此外,也可以如图257所示那样,在曝光时间设定步骤sa31中,以被设定第1曝光时间的多个摄像元件和被设定第2曝光时间的多个摄像元件分布为相间方格图案(checkeredpattern)那样的方式按图像传感器所包含的每个摄像元件设定该摄像元件的曝光时间。

由此,因为被设定第1曝光时间的多个摄像元件和被设定第2曝光时间的多个摄像元件分别均匀地分布,所以能够取得在水平方向和垂直方向上无画质的偏倚的通常图像和亮线图像。

图263b是实施方式12的接收装置的框图。

该接收装置a30是执行例如图255~图262所示的处理的上述的接收机。

即,该接收装置a30是从发生亮度变化的发光体接收信息的接收装置,具备多个曝光时间设定部a31、摄像部a32以及解码部a33。多个曝光时间设定部a31对图像传感器所包含的k个(k为4以上的整数)摄像元件中一部分的多个摄像元件设定第1曝光时间,对k个摄像元件中剩余的多个摄像元件设定比第1曝光时间短的第2曝光时间。摄像部a32通过以所设定的第1曝光时间和第2曝光时间使图像传感器拍摄作为发生亮度变化的发光体的被拍摄对象,来取得与来自被设定第1曝光时间的多个摄像元件的输出相应的通常图像,并且取得与来自被设定第2曝光时间的多个摄像元件的输出相应的、包含与图像传感器所包含的多个曝光线分别对应的亮线的图像即亮线图像。解码部a33通过对所取得的亮线图像所包含的多个亮线的样式进行解码来取得信息。在这样的接收装置a30中,能够起到与上述的接收程序同样的效果。

接着,对与所接收到的可见光信号相关的内容的显示进行说明。

图264和图265是示出接收到可见光信号时的接收机的显示的一例的图。

如图264的(a)所示,接收机在拍摄发送机10020d时,显示映出了该发送机10020d的图像10020a。进而,接收机通过对图像10020a叠加对象10020e,来生成并显示图像10020b。对象10020e是表示存在该发送机10020d的像的场所和接收到来自该发送机10020d的可见光信号的图像。对象10020e也可以是根据可见光信号的接收状态(接收中的状态、探索发送机的状态、进行接收的程度、接收速度或者错误率等)而不同的图像。例如,接收机使对象1020e的颜色、线的粗细、线的种类(单线、双重线或者虚线等)或者虚线的间隔等变化。由此,能够使用户识别接收状态。接着,接收机通过将表示取得数据的内容的图像作为取得数据图像10020f而叠加于图像10020a,来生成并显示图像10020c。取得数据是接收到的可见光信号或者与由接收到的可见光信号所表示的id相关联的数据。

接收机在显示该取得数据图像10020f时,如图264的(a)所示那样,如来自发送机10020d的对白框那样显示取得数据图像10020f,或者在发送机10020d的附近显示取得数据图像10020f。此外,接收机也可以如图264的(b)所示那样,以取得数据图像10020f从发送机10020d逐渐向接收机侧靠近的方式显示该取得数据图像10020f。由此,能够使用户识别出取得数据图像10020f是基于从哪个发送机接收到的可见光信号的图像。此外,接收机也可以如图265所示,以取得数据图像10020f从接收机的显示器的端部逐渐出现的方式,显示该取得数据图像10020f。由此,能够使用户容易地认识到在此时取得了可见光信号。

接着,对ar(augmentedreality)进行说明。

图266是表示取得数据图像10020f的显示的一例的图。

接收机在显示器内发送机的像移动了的情况下,使取得数据图像10020f与发送机的像的移动相应地移动。由此,能够使用户认识到取得数据图像10020f与该发送机相对应。此外,接收机也可以使取得数据图像10020f不与该发送机的像而是与其它东西相关联地显示。由此,能够进行ar显示。

接着,对取得数据的保存和丢弃进行说明。

图267是表示保存或者丢弃取得数据的情况下的操作的一例的图。

例如,接收机在如图267的(a)所示那样,由用户对取得数据图像10020f进行向下侧的滑动时,保存由该取得数据图像10020f表示的取得数据。接收机将保存的表示取得数据的取得数据图像10020f配置在其它已经保存的1个或者多个表示取得数据的取得数据图像的顶端或末端。由此,能够使用户识别由取得数据图像10020f表示的取得数据是最后保存的取得数据。例如,接收机如图267的(a)所示那样,将取得数据图像10020f配置成在多个取得数据图像中最靠跟前。

此外,接收机在如图267的(b)所示那样,由用户对取得数据图像10020f进行向右侧的滑动时,丢弃由该取得数据图像10020f表示的取得数据。或者,接收机也可以在通过用户移动接收机来使发送机的像从显示器退出(frameout)时,丢弃由取得数据图像10020f表示的取得数据。另外,滑动的方向是上下左右的哪一个都可以得到与上述同样的效果。接收机也可以显示与保存或者丢弃对应的滑动的方向。由此,能够使用户认识到能够通过该操作来进行保存或者丢弃。

接着,对取得数据的阅览进行说明。

图268是表示阅览取得数据时的显示例子的图。

接收机如图268的(a)所示,将所保存的多个取得数据的取得数据图像在显示器的下端重叠地较小地显示。此时,若用户点击显示的取得数据图像的一部分,则接收机如图268的(b)所示,将多个取得数据图像分别较大地显示。由此,仅在需要各取得数据的阅览时,将这些取得数据图像较大地显示,在非必要时,能够将显示器有效利用于其它显示。

若在图268的(b)所示的状态下,用户点击想要显示的取得数据图像,则接收机如图268的(c)所示那样,将该点击的取得数据图像更大地显示,在该取得数据图像中显示较多的信息。此外,若用户点击背面显示按钮10024a,则接收机显示取得数据图像的背面,显示与该取得数据相关联的其它的数据。

接着,对使事故位置推测时的手抖动修正关闭进行说明。

接收机通过使手抖动修正无效(关闭)或者与手抖动修正的修正方向和修正量对应地变换摄像图像,能够取得准确的摄像方向,准确地进行自身位置推测。另外,摄像图像是通过接收机的摄像部的摄像而得到的图像。此外,自身位置推测是接收机推测自身的位置。在自身位置推测中,具体而言,接收机基于所接收到的可见光信号来确定发送机的位置,基于映在摄像图像的发送机的大小、位置或者形状等,来确定接收机与发送机之间的相对的位置关系。然后,接收机基于发送机的位置、接收机与发送机之间的相对的位置关系,来推测接收机的位置。

此外,在图255等所示的仅使用一部分的曝光线来进行摄像的部分读出时,即进行图255等所示的摄像时,因接收机的稍稍的抖动,发送机就会退出。这样的情况下,接收机通过将手抖动修正设为有效,能够持续接收信号。

接着,对使用非对称形的发光部的自身位置推测进行说明。

图269是表示实施方式12的发送机的一例的图。

上述的发送机具备发光部,通过使该发光部发生亮度变化来发送可见光信号。在上述的自身位置推测中,接收机基于摄像图像中的发送机(具体而言发光部)的形状,作为接收机与发送机之间的相对的位置关系,求出接收机与发送机之间的相对角度。这里,例如在如图269所示那样,发送机具备旋转对称的形状的发光部10090a的情况下,不能如上述那样基于摄像图像中的发送机的形状,准确地求出发送机与接收机之间的相对角度。于是,优选发送机具备非旋转对称的形状的发光部。由此,接收机能够准确地求出上述的相对角度。即,由于在用于取得角度的方位传感器中计测结果的误差大,所以接收机通过使用由上述的方法求出的相对角度,能够进行准确的自身位置推测。

这里,发送机也可以如图269所示那样,具备非完全的旋转对称的形状的发光部10090b。该发光部10090b的形状虽然相对于90°的旋转是对称形状,但并非完全的旋转对称。在该情况下,接收机利用方位传感器求出大致的角度,进而通过使用摄像图像中的发送机的形状,能够唯一地限定接收机与发送机之间的相对角度,能够进行准确的自身位置推测。

此外,发送机也可以具备图269所示的发光部10090c。该发光部10090c的形状基本上是旋转对称的形状。但是,通过在该发光部10090c的一部分设置导光板等,使得发光部10090c的形状成为非旋转对称的形状。

此外,发送机也可以具备图269所示的发光部10090d。该发光部10090d具备分别旋转对称的形状的照明。但是,通过将它们组合配置而构成的发光部10090d的整体形状不是旋转对称的形状。因此,接收机能够通过拍摄该发送机,来进行准确的自身位置推测。此外,并非发光部10090d所包含的所有照明需要是为了发送可见光信号而发生亮度变化的可见光通信用的照明,也可以仅一部分的照明是可见光通信用的照明。

此外,发送机也可以具备图269所示的发光部10090e和物体10090f。这里,物体10090f是构成为与发光部10090e之间的位置关系不变化的物体(例如,火灾报知机和/或配管等)。因为发光部10090e与物体10090f的组合的形状不是旋转对称的形状,所以接收机能够通过拍摄发光部10090e和物体10090f,来准确地进行自身位置推测。

接着,对自身位置推测的时序处理进行说明。

接收机在每当摄像时,能够根据摄像图像中的发送机的位置和形状,进行自身位置推测。结果,接收机能够推测摄像中的接收机的移动方向和距离。此外,接收机通过进行使用多个帧或者图像的三角测量,能够进行更准确的自身位置推测。通过综合使用多个图像的推测结果和/或使用不同组合的多个图像的推测结果,接收机能够更准确地进行自身位置推测。此时,接收机通过将根据最近的摄像图像推测的结果比较看重地进行综合,能够更准确地进行自身位置推测。

接着,对光学黑体的跳过进行说明。

图270是表示实施方式12的接收方法的一例的图。另外,图270所示的表的横轴表示时刻,纵轴表示图像传感器内的各曝光线的位置。进而,该曲线图的实线箭头表示开始图像传感器内的各曝光线的曝光的时刻(曝光定时)。

接收机在通常摄像时,如图270的(a)所示那样,读出图像传感器的水平光学黑体的信号,但也可以如图270的(b)所示那样,跳过水平光学黑体的信号。由此,能够接收连续的可见光信号。

水平光学黑体是与曝光线水平方向的光学黑体。此外,垂直光学黑体是光学黑体中的水平光学黑体以外的部分。

接收机通过从光学黑体读出的信号来进行黑水平的调整,所以能够在可见光摄像开始时与通常摄像时同样地使用光学黑体,来调整黑水平。在能够利用垂直光学黑体的情况下,接收机通过仅使用垂直光学黑体来进行黑水平调整,能够进行连续接收和黑水平调整。在可见光摄像继续时,接收机也可以每隔预定的时间使用水平光学黑体来调整黑水平。接收机在交替进行通常摄像和可见光摄像的情况下,在连续进行可见光摄像时,跳过水平光学黑体的信号,在其以外时,读出水平光学黑体的信号。然后,接收机通过基于该读出的信号来进行黑水平的调整,能够连续地接收可见光信号,同时进行黑水平的调整。接收机也可以将可见光摄像图像的最暗的部分作为黑来进行黑水平的调整。

这样,通过将读出信号的光学黑体仅设为垂直光学黑体,能够进行连续的可见光信号的接收。此外,通过具备跳过水平光学黑体的信号的模式,能够在通常摄像时进行黑水平调整,在可见光摄像时根据需要进行连续通信。此外,通过跳过水平光学黑体的信号,开始曝光线间的曝光的定时的差变大,所以还能够接收来自仅被拍摄得较小的发送机的可见光信号。

接着,对表示发送机的种类的识别码进行说明。

发送机也可以将表示发送机的种类的发送机识别码附加于可见光信号而进行发送。在该情况下,接收机能够在接收到发送机识别码的时刻,进行与该发送机的种类相应的接收动作。例如,在发送机识别码表示数字标牌的情况下,发送机除了用于进行发送机的个体识别的发送机id之外,还将表示当前正在显示哪个内容的内容id作为可见光信号发送。接收机通过基于发送机识别码将这些id分开处理,能够显示与发送机当前显示的内容相符的信息。此外,例如,在发送机识别码表示数字标牌和/或紧急灯的情况下,接收机能够提高感光度而摄像,由此减低接收错误。

(实施方式13)

在本实施方式中,对使用上述各实施方式的智能电话等接收机和作为led和/或有机el的闪烁样式而发送信息的发送机的各应用例进行说明。

首先,对本实施方式的头样式进行说明。

图271是表示本实施方式的头样式的例子的图。

发送机将发送的数据分割成数据包地发送。数据包例如由头和主体构成。头的亮度变化的样式,即头样式需要是主体中不存在的亮度变化的样式。由此,能够在连续发送的数据中确定数据包的位置。

例如,所发送的数据通过4ppm的调制方式而被调制。具体而言,在该4ppm中,所发送的数据被调制成4时隙中的1个时隙表示“0”,剩余的3个时隙表示“1”的亮度变化的样式。因此,若连续发送的数据被调制,则表示“0”的时隙连续的数量是2以下,在4时隙和接下来的4时隙中,表示“0”的时隙的数量是2以下。

于是,在本实施方式中,头样式被表达为图271的(a)所示的“111111111000”、(b)所示的“111111110001”、(c)所示的“111111101001”或者(d)所示的“111111100101”。由此,能够识别头和连续发送的数据(即主体)。即,在图271的(a)所示的头样式中,若只看头样式的后面的4时隙“1000”,则能够识别该4时隙是头的一部分。在该情况下,在头中表示“0”的时隙的数量是3,表示“0”的时隙所连续的最大的数量是4,所以接收机容易识别其亮度变化。即,接收机能够容易地接收来自小的发送机或者远的发送机的数据。

此外,在图271的(b)所示的头样式中,若只看头样式的后面的5时隙“10001”,则能够识别该5时隙是头的一部分。在该情况下,表示“0”的时隙所连续的最大的数量是3,比图271的(a)的情况少,所以能够抑制由其亮度变化引起的闪变。结果,能够抑制对发送机的回路的负担或者设计要求。即,能够减小电容器,能够抑制消耗电力、发热量或者对电源的负担。

此外,在图271的(c)或者(d)所示的头样式中,若只看头样式的后面的6时隙“101001”或者“100101”,则能够识别该6时隙是头的一部分。在该情况下,表示“0”的时隙所连续的最大的数量是2,比图271的(b)的情况更少,所以能够进一步抑制由该亮度变化引起的闪变。

图272是用来说明本实施方式的通信协议的数据包的结构的例子的图。

发送机将所发送的数据分割成数据包而发送。数据包由头、地址部、数据部以及错误订正码部构成。通过将头的亮度变化的样式设为在其它部分中不存在的亮度变化的样式,能够确定连续数据中的数据包的位置。在数据部中存储有分割的数据的一部分,地址部存储有表示数据部的数据是整体的哪个部分的地址。错误订正码部存储有用于检测或者订正数据包的一部分或者全部的接收错误的码(具体而言是图272所示的ecc1、ecc2或者ecc3,将它们合起来称作错误订正码)。

ecc1是地址部的错误订正码。通过不是设置数据包整体的错误订正码,而是设置地址部的错误订正码,能够与全体的可靠性相比使地址部的可靠性更高。由此,在接收到多个数据包时,通过比较相同地址的数据包的数据部,能够进行数据部的验证,能够降低接收错误率。即使使地址部的错误订正码比数据部的错误订正码长,也可得到同样的效果。

ecc2和ecc3是数据部的错误订正码。错误订正码部的数量也可以是2个以外。通过将数据部的错误订正码分成多个,能够使用到能够接收为止的错误订正码来进行错误订正,即使不接收数据包整体也能够接收可靠性高的数据。

发送机也可以发送预定的数量以下的数量的错误订正码。由此,接收机能够高速地接收数据。该发送方法对于例如射灯那样发光部的大小小且亮度高的发送机是有效的。这是因为,在亮度高的情况下,错误发生概率低,所以无需较多的错误订正码。在没有发送ecc3的情况下,在ecc2之后发送下一个头,所以亮度高的状态持续4时隙以上,接收机能够识别该部分不是ecc3。

另外,如图272的(b)所示那样,头、地址部以及ecc1以比数据部、ecc2和ecc3低的频率被发送。反而言之,数据部、ecc2和ecc3以比头、地址部以及ecc1高的频率被发送。由此,能够降低对头等数据的接收错误率,并且能够快速地发送数据部大的数据。

这样,在本实施方式中,数据包包括针对数据部的第1错误订正码(ecc2、ecc3)和针对地址部的第2错误订正码(ecc1)。并且,接收机在接收该数据包时,从发送机接收通过根据第2频率的亮度变化而发送的地址部以及第2错误订正码。进而,接收机从发送机接收通过根据比第2频率高的第1频率的亮度变化而发送的数据部以及第1错误订正码。

此处,对比较相同地址的数据部的接收方法进行说明。

图273是表示本实施方式的接收方法的一例的流程图。

接收机接收数据包(步骤s10101),进行错误订正(步骤s10102)。然后,接收机判定是否已经接收到与所接收的数据包的地址相同地址的数据包(步骤s10103)。这里,在判定为接收到了的情况下(步骤10103的“是”),接收机对这些数据进行比较。即,接收机判定数据部是否相等(步骤s10104)。这里,在判定为不相等的情况下(步骤s10104的“否”),接收机进一步判定多个数据部的差异是否为预定的数量以上,具体而言不同的位的数量或者亮度状态不同的时隙的数量是否为预定的数量以上(步骤s10105)。这里,若判定为预定的数量以上(步骤s10105的“否”),则接收机丢弃已经接收到的数据包(步骤s10106)。由此,在开始从其它发送机接收数据包时,能够避免与从以前的发送机接收到的数据包的串扰。另一方面,若判定为不是预定的数量以上(步骤s10105的“否”),则接收机将具有相等数据部的数据包最多的数据部的数据设为该地址的数据(步骤s10107)。或者,接收机将相等的位最多的位设为该地址的该位的值。或者,接收机将相等的亮度状态最多的亮度状态设为该地址的该时隙的亮度状态,对该地址的数据进行解调。

这样,在本实施方式中,接收机首先由多个亮线的样式,取得包含数据部以及地址部的第1数据包。接下来,接收机判定在第1数据包之前已经取得的至少1个数据包中是否存在至少1个作为包含与该第1数据包的地址部相同的地址部的数据包的第2数据包。接下来,接收机在判定为存在该至少1个第2数据包的情况下,判定该至少1个第2数据包与第1数据包的各自的数据部是否完全相等。在判定为各自的数据部不完全相等的情况下,接收机在该至少1个第2数据包的各个中,判定第2数据包的数据部所含的各部分中,与第1数据包的数据部所含的各部分不同的部分的数量是否存在预定的数量以上。这里,在该至少1个第2数据包中,存在被判定为不同的部分的数量存在预定的数量以上的第2数据包的情况下,接收机丢弃该至少1个第2数据包。另一方面,在该至少1个第2数据包中,不存在被判定为不同的部分的数量存在预定的数量以上的第2数据包的情况下,接收机确定第1数据包以及至少1个第2数据包中的、具有相同数据部的数据包的数量最多的多个数据包。并且,接收机通过对该多个数据包的各个所含的数据部进行解码来作为与第1数据包所含的地址部对应的数据部,从而取得可见光识别码(id)的至少一部分。

由此,在接收到具有同一地址部的多个数据包时,即便这些数据包的数据部不同,也能够对适当的数据部进行解码,能够正确地取得可见光识别码的至少一部分。即,具有从同一发送机发送的同一地址部的多个数据包,基本上具有同一数据部。但是,在接收机切换成为数据包的发送源的发送机的情况下,接收机有时会接收即便具有同一地址部也具有相互不同的数据部的多个数据包。在这样的情况下,在本实施方式中,如图273的步骤s10106所示,能够丢弃已经接收到的数据包(第2数据包),并解码最新的数据包(第1数据包)的数据部来作为与该地址部对应的正确的数据部。进而,即便在不存在上述那样的发送机的切换的情况下,与可见光信号的发送接收状况相应地,有时具有同一地址部的多个数据包的数据部略微不同。在这样的情况下,在本实施方式中,如图273的步骤s10107那样,能够通过所谓的多数决,对适当的数据部进行解码。

这里,对于从多个数据包解调数据部的数据的接收方法进行说明。

图274是表示本实施方式的接收方法的一例的流程图。

首先,接收机接收数据包(步骤s10111),进行地址部的错误订正(步骤s10112)。此时,接收机不进行数据部的解调,原样保持通过摄像得到的像素值。然后,接收机判定在已经接收到的多个数据包中,是否存在预定数量以上的相同地址的数据包(步骤s10113)。这里,若判定为存在(步骤s10113的“是”),则接收机与相当于具有相同地址的多个数据包的数据部的部分的像素值相匹配地进行解调处理(步骤s10114)。

这样,在本实施方式的接收方法中,根据多个亮线的样式,取得包含数据部以及地址部的第1数据包。并且,判定在第1数据包之前已经取得的至少1个数据包中是否存在预定数量以上的作为包含与第1数据包的地址部相同的地址部的数据包的第2数据包。在判定为存在该预定的数量以上的第2数据包的情况下,将与该预定数量以上的第2数据包的各个的数据部对应的亮线图像的一部分的区域的像素值和与第1数据包的数据部对应的亮线图像的一部分的区域的像素值相加。即,对像素值进行求和。通过该求和,算出合成像素值,通过对包含该合成像素值的数据部进行解码,取得可见光识别码(id)的至少一部分。

接收到多个数据包的定时分别不同,所以数据部的像素值成为反映了各自稍微不同的时刻的发送机的亮度的值。因此,如上述那样进行解调处理的部分会包含比单一数据包的数据部多的数据量(样本数)。由此,能够更准确地解调数据部。此外,通过样本数的增加,能够解调以更高的调制频率调制的信号。

如图272的(b)所示那样,数据部和其错误订正码部以比头部、地址部和地址部的错误订正码部更高的频率被调制。通过上述的解调方法,即使数据部以后以高的调制频率被调制也能够进行解调,所以根据该结构,能够缩短数据包整体的发送时间,即使从更远处,从更小的光源,也能够更快速地接收可见光信号。

接着,对接收可变长地址的数据的接收方法进行说明。

图275是表示本实施方式的接收方法的一例的流程图。

接收机接收数据包(步骤s10121),判定是否接收到数据部所有的位成为0的数据包(以下,称作0末端数据包)(步骤s10122)。这里,若判定为接收到了,即判定为存在0末端数据包(步骤s10122的“是”),则接收机判定该0末端数据包的地址以下的地址的数据包是否全部聚齐,即判定是否接收到了该0末端数据包的地址以下的所有的地址的数据包(步骤s10123)。另外,对于地址而言,针对通过对所发送的数据进行分割而生成的数据包的各个,按照这些数据包的发送顺序而被设为变大的值。接收机在判定为全部聚齐时(步骤s10123的“是”),判断为0末端数据包的地址是从发送机发送的数据包的最后的地址。然后,接收机通过将到0末端数据包为止的各地址的数据包的数据相关联,来复原数据(步骤s10124)。然后,接收机进行复原了的数据的错误检验(步骤s10125)。由此,在不知道被发送的数据被分割成几部分的情况下,即,地址不是固定长而是可变长的情况下,也能够发送接收可变长地址的数据,能够以高的效率发送接收比固定长地址的数据多的id。

这样,在本实施方式中,接收机根据多个亮线的样式,取得各自包含数据部以及地址部的多个数据包。并且,接收机判定所取得的多个数据包中,是否存在数据部所含的所有位(bit)表示0的数据包即0终端数据包。在判定为存在0终端数据包的情况下,接收机判定多个数据包中的、作为包含与该0终端数据包的地址部相关联的地址部的数据包的n个(n为1以上的整数)关联数据包是否全部存在。接着,接收机在判定为n个关联数据包全部存在的情况下,通过将n个关联数据包的各自的数据部排列并解码,来取得可见光识别码(id)。这里,与0终端数据包的地址部相关联的地址部,是表示比0终端数据包的地址部所示的地址小且0以上的地址的地址部。

接着,对使用比调制频率的周期长的曝光时间的接收方法进行说明。

图276和图277是用于对本实施方式的接收机使用比调制频率的周期(调制周期)长的曝光时间的接收方法进行说明的图。

例如如图276的(a)所示那样,若曝光时间被设定为与调制周期相等的时间,则有时不能正确地接收可见光信号。另外,调制周期是上述的1个时隙的时间。即,在这样的情况下,反映某时隙的亮度的状态的曝光线(图276中以黑表示的曝光线)少。结果,在这些曝光线的像素值偶然包含较多噪声的情况下,难以推测发送机的亮度。

另一方面,例如如图276的(b)所示那样,若曝光时间被设定为比调制周期长的时间,则能够正确地接收可见光信号。即,在这样的情况下,反映某时隙的亮度的曝光线多,所以能够根据较多的曝光线的像素值推测发送机的亮度,耐噪声强。

此外,若曝光时间过长,则反而不能正确地接收可见光信号。

例如,如图277的(a)所示那样,在曝光时间与调制周期相等的情况下,由接收机接收的亮度变化(即,各曝光线的像素值的变化)跟随用于发送信号的亮度变化。但是,如图277的(b)所示那样,在曝光时间为调制周期的3倍的情况下,由接收机接收的亮度变化不能充分地跟随用于发送信号的亮度变化。此外,如图277的(c)所示那样,在曝光时间为调制周期的10倍的情况下,由接收机接收的亮度变化完全不能跟随用于发送信号的亮度变化。即,曝光时间较长时能够根据较多的曝光线推测亮度,所以噪声耐性变高,但若曝光时间变长,则识别余裕下降,或者识别余裕变小,由此噪声耐性变低。通过他们的平衡,将曝光时间设为调制周期的2~5倍左右,能够使噪声耐性最高。

接着,对数据包的分割数量进行说明。

图278是表示相对于发送数据的大小的有效的分割数量的图。

在发送机通过亮度变化发送数据的情况下,若将所发送的所有数据(发送数据)包含于1个数据包,则该数据包的数据大小较大。但是,若如使用图272所说明那样,将该发送数据分割成多个部分数据,将这些部分数据包含于各数据包,则各个数据包的数据大小较小。这里,接收机通过摄像来接收该数据包。但是,数据包的数据大小越大,则接收机越难以通过一次摄像接收该数据包,需要反复进行摄像。

因此,发送机优选如图278的(a)和(b)所示那样,发送数据的数据大小越大则使该发送数据的分割数量越多。但是,若分割数过多,则若不全部接收这些部分数据则不能复原发送数据,所以反而接收效率下降。

因此,如图278的(a)所示那样,若在地址的数据大小(地址大小)可变、发送数据的数据大小为2-16位、16-24位、24-64位、66-78位、78-128位、128位以上的情况下,将发送数据分别分割成1-2个、2-4个、4个、4-6个、6-8个、7个以上的部分数据,则能够通过可见光信号有效地发送发送数据。此外,如图278的(b)所示那样,在地址的数据大小(地址大小)固定为4位、发送数据的数据大小为2-8位、8-16位、16-30位、30-64位、66-80位、80-96位、96-132位、132位以上的情况下,将发送数据分别分割成1-2个、2-3个、2-4个、4-5个、4-7个、6个、6-8个、7个以上的部分数据,则能够通过可见光信号有效地发送发送数据。

此外,发送机依次进行基于包含多个部分数据的各个的各数据包的亮度变化。例如,发送机按照各数据包的地址顺序,进行基于该数据包的亮度变化。进而,发送机也可以以与地址顺序不同的顺序,再次进行基于该多个部分数据的亮度变化。由此,能够使接收机可靠地接收各部分数据。

接着,对接收机的通知动作的设定方法进行说明。

图279a是表示本实施方式的设定方法的一例的图。

首先,接收机从处于接收机的附近的服务器取得用于识别通知动作的通知动作识别码和该通知动作识别码的优先度(具体而言,表示优先度的识别码)(步骤s10131)。此处,通知动作是在包含多个部分数据的各个的各数据包通过亮度变化被发送而被接收机接收到时,向接收机的用户通知接收到这些数据包的接收机的动作。例如,该动作是声音的鸣动、振动或者画面显示等。

接着,接收机接收包含数据包化了的可见光信号、即多个部分数据的各个的各数据包(步骤s10132)。这里,接收机取得包含于该可见光信号的通知动作识别码和该通知动作识别码的优先度(具体而言,表示优先度的识别码)(步骤s10133)。

然后,接收机读出接收机的当前的通知动作的设定内容,即预先设定于接收机的通知动作识别码和该通知动作识别码的优先度(具体而言,表示优先度的识别码)(步骤s10134)。另外,预先设定于接收机的通知动作识别码例如通过用户的操作而设定。

然后,接收机选择预先设定的通知动作识别码和在步骤s10131和步骤s10133中分别取得的通知动作识别码中优先度最高的识别码(步骤s10135)。接着,接收机通过重新自身设定所选择的通知动作识别码,来进行通过所选择的通知动作识别码表示的动作,向用户通知可见光信号的接收(步骤s10136)。

另外,接收机也可以不进行步骤s10131和步骤s10133的任另一方面,而从2个通知动作识别码中选择优先度高的通知动作识别码。

另外,也可以将从设置于剧场或者美术馆等的服务器发送的通知动作识别码的优先度或者在这些设施内发送的可见光信号所包含的通知动作识别码的优先度设定得高。由此,能够与用户的设定无关,在该设施内,不使用于接收通知的声音鸣响。此外,在其它设施中,通过使通知动作识别码的优先度低,由此接收机能够通过与用户的设定相应的动作来通知接收。

图279b是表示本实施方式的设定方法的另一例的图。

首先,接收机从处于接收机的附近的服务器取得用于识别通知动作的通知动作识别码和该通知动作识别码的优先度(具体而言,表示优先度的识别码)(步骤s10141)。接着,接收机接收包含数据包化了的可见光信号,即多个部分数据的各个的各数据包(步骤s10142)。这里,接收机取得包含于该可见光信号的通知动作识别码和该通知动作识别码的优先度(具体而言,表示优先度的识别码)(步骤s10143)。

进而,接收机读出接收机的当前的通知动作的设定内容,即预先设定于接收机的通知动作识别码和该通知动作识别码的优先度(具体而言,表示优先度的识别码)(步骤s10144)。

然后,接收机判定在预先设定的通知动作识别码和在步骤s10141和步骤s10143中分别取得的通知动作识别码中是否包含表示禁止通知音的产生的动作的动作通知识别码(步骤s10145)。这里,若判定为包含(步骤s10145的“是”),则接收机鸣响用于通知接收完成的通知音(步骤s10146)。另一方面,若判定为不包含(步骤s10145的“否”),则接收机通过例如振动等,通知用户接收完成(步骤s10147)。

另外,接收机也可以不进行步骤s10141和步骤s10143的任另一方面,而判定在2个通知动作识别码中是否包含表示禁止通知音的产生的动作的动作通知识别码。

此外,接收机也可以基于通过摄像而得到的图像来进行自身位置推测,通过与推测出的位置或者处于该位置的设施相关联的动作,通知用户接收。

图280a是表示实施方式13的信息处理程序的处理的流程图。

该信息处理程序是用于使上述的发送机的发光体按照图278所示的分割数而发生亮度变化的程序。

即,该信息处理程序是为了通过亮度变化发送发送对象的信息而使计算机处理发送对象的信息的信息处理程序。具体而言,该信息处理程序使计算机执行以下步骤:编码步骤sa41,通过将发送对象的信息编码而生成编码信号;分割步骤sa42,在所生成的编码信号的位数处于24~64位的范围的情况下将编码信号分割为4个部分信号;以及输出步骤sa43,依次输出4个部分信号。另外,这些部分信号作为图272的(a)所示的数据包而输出。此外,信息处理程序也可以使计算机确定编码信号的位数,基于该确定出的位数,决定部分信号的数量。在该情况下,信息处理程序使计算机通过将编码信号分割,来生成该决定出的数量的部分信号。

由此,在编码信号的位数处于24~64位的范围的情况下,编码信号被分割成4个部分信号而输出。结果,若按照所输出的4个部分信号而发光体发生亮度变化,则该4个部分信号分别作为可见光信号而发送并被接收机接收。这里,所输出的信号的位数越多,则接收机越难以通过摄像适当地接收该信号,接收效率下降。于是,优选将该信号分割为位数少的信号、即分割为小的信号。但是,若将信号过细地分割为大量的小的信号,则接收机若不单独分别接收所有小的信号,则不能接收原来的信号,所以接收效率下降。因此,如上述那样,在编码信号的位数处于24~64位的范围的情况下,将编码信号分割为4个部分信号而依次输出,由此能够以最高的接收效率将表示发送对象的信息的编码信号作为可见光信号而发送。结果,能够使得各种各样的设备间的通信成为可能。

此外,在输出步骤sa43中,也可以按照第1顺序输出4个部分信号,然后按照与第1顺序不同的第2顺序再次输出4个部分信号。

由此,这些4个部分信号改变顺序而反复输出,所以在所输出的各信号作为可见光信号而向接收机发送的情况下,能够进一步提高这些4个部分信号的接收效率。即,即使以相同顺序反复输出4个部分信号,也会产生相同部分信号不被接收机接收的情况,但通过该变其顺序,能够抑制产生那样的情况。

此外,也可以如图279a和图279b所示那样,在输出步骤sa43中,还使通知动作识别码附随于4个部分信号而输出。通知动作识别码是用于识别在4个部分信号通过亮度变化被发送而被接收机接收时通知接收机的用户接收到4个部分信号的接收机的动作的识别码。

由此,在该通知动作识别码作为可见光信号被发送并被接收机接收的情况下,接收机能够按照通过该通知动作识别码而识别的动作,通知用户4个部分信号的接收。即,在发送发送对象的信息侧,能够设定接收机的通知动作。

此外,也可以如图279a和图279b所示那样,在输出步骤sa43中,还使用于识别通知动作识别码的优先度的优先度识别码附随于4个部分信号而输出。

由此,在该优先度识别码和通知动作识别码作为可见光信号被发送并被接收机接收的情况下,接收机能够按照通过该优先度识别码而识别的优先度来处理通知动作识别码。即,在接收机取得其它通知动作识别码的情况下,接收机能够基于其优先度选择通过作为可见光信号发送的通知动作识别码而识别的通知动作和通过其它通知动作识别码而识别的通知动作中的一方。

图280b是实施方式13的信息处理装置的框图。

该信息处理装置a40是用于按照图278所示的分割数使上述的发送机的发光体(发光部)发生亮度变化的装置。

即,该信息处理装置a40是为了通过亮度变化来发送发送对象的信息,而处理发送对象的信息的装置。具体而言,该信息处理装置a40具备:编码部a41,其通过将发送对象的信息编码而生成编码信号;分割部a42,其在所生成的编码信号的位数处于24~64位的范围的情况下,将编码信号分割为4个部分信号;以及输出部a43,其依次输出该4个部分信号。在这样的信息处理装置a40中,能够起到与上述信息处理程序同样的效果。

本公开的一技术方案所涉及的信息处理程序是为了通过亮度变化来发送发送对象的信息,而使计算机处理所述发送对象的信息的信息处理程序,该信息处理程序使所述计算机执行如下步骤:编码步骤,通过对所述发送对象的信息进行编码而生成编码信号;分割步骤,在所生成的所述编码信号的位数处于24~64位的范围的情况下,将所述编码信号分割为4个部分信号;以及输出步骤,依次输出所述4个部分信号。

由此,如图277~图280b所示,在编码信号的位数处于24~64位的范围的情况下,编码信号被分割为4个部分信号并被输出。其结果,当发光体按照输出的4个部分信号发生亮度变化时,该4个部分信号分别作为可见光信号被发送并被接收机接收。这里,所输出的信号的位数越多,则接收机会越难以通过摄像适当地接收该信号,接收效率会降低。于是,优选将该信号分割为位数少的信号、即分割为小的信号。但是,若将信号过细地分割为大量的小的信号,则接收机若不单独分别接收所有的小的信号,则不能接收原来的信号,所以接收效率会降低。因此,如上述那样,在编码信号的位数处于24~64位的范围的情况下,将编码信号分割为4个部分信号而依次输出,由此,能够以最佳的接收效率将表示发送对象的信息的编码信号作为可见光信号而发送。结果,能够使得各种各样的设备间的通信成为可能。

另外,在所述输出步骤中,也可以按照第1顺序输出所述4个部分信号,然后,按照与所述第1顺序不同的第2顺序再次输出所述4个部分信号。

由此,这些4个部分信号改变顺序而反复输出,所以在所输出的各信号作为可见光信号而向接收机发送的情况下,能够进一步提高这些4个部分信号的接收效率。即,即使以相同顺序反复输出4个部分信号,也会产生相同部分信号不被接收机接收的情况,但通过改变其顺序,能够抑制产生那样的情况。

另外,也可以是,在所述输出步骤中,还使通知动作识别码附随于所述4个部分信号而输出,所述通知动作识别码用于识别在所述4个部分信号通过亮度变化被发送而被接收机接收时通知所述接收机的用户接收到所述4个部分信号的所述接收机的动作的识别码。

由此,在该通知动作识别码作为可见光信号被发送并被接收机接收的情况下,接收机能够按照通过该通知动作识别码而识别的动作,通知用户4个部分信号的接收。即,在发送发送对象的信息侧,能够设定接收机的通知动作。

另外,也可以是,在所述输出步骤中,还使用于识别所述通知动作识别码的优先度的优先度识别码附随于所述4个部分信号而输出。

由此,在该优先度识别码和通知动作识别码作为可见光信号被发送并被接收机接收的情况下,接收机能够按照通过该优先度识别码而识别的优先度来处理通知动作识别码。即,在接收机取得其它通知动作识别码的情况下,接收机能够基于其优先度选择通过作为可见光信号发送的通知动作识别码而识别的通知动作和通过其它通知动作识别码而识别的通知动作中的一方。

接着,对电子设备的网络连接的登录进行说明。

图281是用来说明本实施方式的发送接收系统的应用例的图。

该发送接收系统具备构成为例如洗衣机等电子设备的发送机10131b、构成为例如智能电话的接收机10131a以及构成为无线接入点或者路由器的通信装置10131c。

图282是表示本实施方式的发送接收系统的处理动作的流程图。

发送机10131b在按下开始按钮时(步骤s10165),将ssid、口令、ip地址、mac地址或者加密密钥等用于与自身连接的信息经由wi-fi、bluetooth(注册商标)或者以太网(注册商标)等而发送(步骤s10166),等候连接。发送机10131b可以直接发送这些信息,也可以间接发送这些信息。在间接发送的情况下,发送机10131b发送与这些信息相关联的id。接收到该id的接收机10131a例如从服务器等下载与该id相关联的信息。

接收机10131a接收该信息(步骤s10151),向发送机10131b连接,将用于向构成为无线接入点和/或路由器的通信装置10131c连接的信息(ssid、口令、ip地址、mac地址或者加密密钥等)向发送机10131b发送(步骤s10152)。接收机10131a将发送机10131b用于向通信装置10131c连接的信息(mac地址、ip地址或者加密密钥等)向通信装置10131c登记,使通信装置10131c等候连接。然后,接收机10131a通知发送机10131b从发送机10131b向通信装置10131c的连接准备完成(步骤s10153)。

发送机10131b切断与接收机10131a的连接(步骤s10168),向通信装置10131c连接(步骤s10169)。若连接成功(步骤s10170的“是”),则发送机10131b经由通信装置10131c通知接收机10131a连接成功,通过画面显示、led的状态、声音等通知用户连接成功(步骤s10171)。若连接失败(步骤s10170的“否”),则发送机10131b通过可见光通信通知接收机10131a连接失败,与成功时同样地通知用户(步骤s10172)。此外,也可以通过可见光通信通知连接成功。

接收机10131a与通信装置10131c连接(步骤s10154),若无连接成功或失败的通知(步骤s10155的“否”,且步骤s10156的“否”),则确认是否能够经由通信装置10131c来访问发送机10131b(步骤s10157)。若不能(步骤s10157的“否”),则接收机10131a使用从发送机10131b接收到的信息来判定是否向发送机10131b进行了预定次数以上的连接(步骤s10158)。这里,若判定为没有进行预定次数以上(步骤s10158的“否”),则接收机10131a反复进行自步骤s10152起的处理。另一方面,若判定为进行了预定次数以上(步骤s10158的“是”),则接收机10131a通知用户处理失败(步骤s10159)。此外,接收机10131a若在步骤s10156中判定为产生了连接成功的通知(步骤s10156的“是”),则通知用户处理成功(步骤s10160)。即,接收机10131a通过画面显示、声音等通知用户发送机10131b是否成功地与通信装置10131c连接。由此,即使用户不进行复杂的输入,也能够使发送机10131b向通信装置10131c连接。

接着,对电子设备的网络连接的登录(经由其它电子设备来连接的情况)进行说明。

图283是用来说明本实施方式的发送接收系统的应用例的图。

该发送接收系统具备:空调10133b、构成为与空调10133b连接的无线适配器等电子设备的发送机10133c、构成为例如智能电话的接收机10133a、构成为无线接入点或者路由器的通信装置10133d以及构成为例如无线适配器、无线无线接入点或者路由器等的其它电子设备10133e。

图284是表示本实施方式的发送接收系统的处理动作的流程图。另外,以下,将空调10133b或者发送机10133c称作电子设备a,将电子设备10133e称作电子设备b。

首先,电子设备a在按下开始按钮时(步骤s10188),发送用于与自身连接的信息(个体id、口令、ip地址、mac地址或者加密密钥等)(步骤s10189),等候连接(步骤s10190)。电子设备a可以将这些信息与上述同样地直接发送,也可以间接发送。

接收机10133a从电子设备a接收该信息(步骤s10181),向电子设备b发送该信息(步骤s10182)。电子设备b在接收到该信息时(步骤s10196),按照该接收到的信息向电子设备a连接(步骤s10197)。然后,电子设备b判定与电子设备a的连接是否成立(步骤s10198),将该是否成立通知给接收机10133a(步骤s10199或者步骤s101200)。

电子设备a若在预定的时间的期间内与电子设备b连接(步骤s10191的“是”),则经由电子设备b通知接收机10133a连接成功(步骤s10192),若没有连接(步骤s10191的“否”),则通过可见光通信通知接收机10133a连接失败(步骤s10193)。另外,电子设备a通过画面显示、发光状态、声音等,通知用户连接是否成功。由此,即使用户不进行复杂的输入,也能够使电子设备a(发送机10133c)向电子设备b(电子设备10133e)连接。此外,图283所示的空调10133b和发送机10133c可以一体构成,同样通信装置10133d和电子设备10133e也可以一体构成。

接着,对适当的摄像信息的发送进行说明。

图285是用来说明本实施方式的发送接收系统的应用例的图。

该发送接收系统具备构成为例如数字静态摄像头和/或数字摄影机的接收机10135a和构成为例如照明的发送机10135b。

图286是表示本实施方式的发送接收系统的处理动作的流程图。

首先,接收机10135a向发送机10135b发送摄像信息发送命令(步骤s10211)。接着,发送机10135b在接收到摄像信息发送命令的情况下、按下了摄像信息发送按钮的情况下、摄像信息发送开关接通的情况下、接入了电源的情况下(步骤s10221的“是”),发送摄像信息(步骤s10222)。摄像信息发送命令是用于发送摄像信息的命令,摄像信息表示例如照明的色温度、光谱分布、照度或者配光。发送机10135b与上述同样,可以直接发送摄像信息,也可以间接发送摄像信息。在间接发送的情况下,发送机10135b发送与摄像信息相关联的id。接收到该id的接收机10135a例如从服务器等下载与该id相关联的摄像信息。此时,发送机10135b也可以发送用于向自身发送发送停止命令的方法(传送发送停止命令的电波、红外线或者音波的频率或者用于向自身连接的ssid、口令或ip地址等)。

接收机10135a在接收到摄像信息时(步骤s10212),将发送停止命令向发送机10135b发送(步骤s10213)。这里,发送机10135b在从接收机10135a接收到发送停止命令时(步骤s10223的),停止摄像信息的发送,均匀地发光(步骤s10224)。

进而,接收机10135a按照在步骤s10212中接收到的摄像信息设定摄像参数(步骤s10214),或者,通知用户摄像信息。摄像参数例如是白平衡、曝光时间、焦点距离、感光度或者场景模式。由此,能够与照明相应地以最佳的设定进行摄像。接着,接收机10135a在停止来自发送机10135b的摄像信息的发送之后(步骤s10215的“是”),进行摄像(步骤s10216)。由此,能够消除由信号发送引起的被拍摄对象的明亮度的变化而进行摄像。另外,接收机10135a也可以在步骤s10216后,将促进开始发送摄像信息的发送开始命令向发送机10135b发送(步骤s10217)。

接着,对充电状态的显示进行说明。

图287是用来说明本实施方式的发送机的应用例的图。

构成为例如充电器的发送机10137b具备发光部,将表示蓄电池的充电状态的可见光信号从发光部发送。由此,即使不具备高价的显示装置,也能够通知蓄电池的充电状态。另外,在作为发光部使用了小的led的情况下,若不从附近拍摄该led,则不能接收可见光信号。此外,在该led的附近存在突起部的发送机10137c中,突起部成为妨碍而难以近拍led。因此,与来自发送机10137c的可见光信号相比,来自在led的附近无突起部的发送机10137b的可见光信号能够更容易接收。

(实施方式14)

在本实施方式中,对使用上述各实施方式的智能电话等接收机和led和/或作为有机el的闪烁样式而发送信息的发送机的各应用例进行说明。

首先,对演示模式时和故障时的发送进行说明。

图288是说明本实施方式的发送机的动作的一例的图。

发送机在产生了错误的情况下,能够通过发送表示产生了错误的信号或者与错误码对应的信号,来传递接收机产生了错误和/或错误内容。接收机能够通过与错误内容相应地表示适当的对应,来修复错误或者向服务中心适当地报告错误内容。

发送机在成为演示模式的情况下,发送演示码。由此,在例如店面处进行作为商品的发送机的演示的情况下,来店者能够接收演示码,取得与演示码相关联的商品说明。是否处于演示模式的判断能够根据发送机的动作设定成为了演示模式、插入了店面用cas卡、没有插入cas卡、没有插入记录用媒体这些点来判断。

接着,对来自遥控器的信号发送进行说明。

图289是说明本实施方式的发送机的动作的一例的图。

在例如构成为空调的遥控器的发送机接收了本体信息时,通过发送机发送本体信息,接收机能够从位于附近的发送机接收远处的本体的信息。接收机也能够从越过网络等而存在于不能进行可见光通信的场所的本体接收信息。

接着,对仅在处于亮的场所时发送的处理进行说明。

图290是说明本实施方式的发送机的动作的一例的图。

发送机在周围的明亮度为一定以上时进行发送,在成为一定以下时停止发送。由此,构成为例如电车的广告的发送机能够在车辆入库时自动停止动作,能够抑制电池的消耗。

接着,对与发送机的显示相符的内容分发(相关联的变更/调度)进行说明。

图291是说明本实施方式的发送机的动作的一例的图。

发送机与显示的内容的显示定时相匹配,将想要使接收机取得的内容与发送id相关联。每当变更显示内容时,将相关联的变更向服务器登记。

发送机在显示内容的显示定时为已知的情况下,以与显示内容的变化定时相匹配而将其它内容交付给接收机的方式设定服务器。服务器在接收机请求与发送id相关联的内容时,将与所设定的计划相符的内容向接收机发送。

由此,在构成为例如数字标牌的发送机不断变更显示内容的情况下,接收机能够取得与发送机所显示的内容相符的内容。

接着,对与发送机的显示相符的内容分发(时刻的同步)进行说明。

图292是说明本实施方式的发送机的动作的一例的图。

对于与预定的id相关联的内容取得的请求,以根据时刻而交付不同内容的方式,预先向服务器登记。

发送机与服务器同步时刻,以在预定的时刻显示预定的部分的方式调整定时而显示内容。

由此,在构成为例如数字标牌的发送机不断变更显示内容的情况下,接收机能够取得与发送机所显示的内容相符的内容。

接着,对与发送机的显示相符的内容分发(显示时刻的发送)进行说明。

图293是说明本实施方式的发送机和接收机的动作的一例的图。

发送机除了发送机的id之外,还发送显示中的内容的显示时刻。内容显示时刻是能够确定当前显示的内容的信息,例如能够表现为自内容的开始时间点起的经过时刻等。

接收机从服务器取得与所接收到的id相关联的内容,与所接收到的显示时刻相符地显示内容。由此,在构成为例如数字标牌的发送机不断变更显示内容的情况下,接收机能够取得与发送机所显示的内容相符的内容。

此外,接收机随着时间的经过,变更显示的内容。由此,即使在发送机的显示内容变化时不再次接收信号,也可显示与显示内容相符的内容。

接着,对与用户的许诺状况相符的数据的上传进行说明。

图294是说明本实施方式的接收机的动作的一例的图。

接收机在用户进行了账户登录的情况下,将账户登录时等用户进行了访问许可的信息(接收机的位置、电话号码、id、安装的应用、用户的年龄、性别、职业、喜好等)与接收到的id相匹配地向服务器发送。

在没有进行账户登录的情况下,若用户允许上述那样的信息的上传,则同样向服务器发送,在没有许可的情况下,仅将所接收到的id向服务器发送。

由此,用户能够接收与接收时的状况和/或自身的个性相符的内容,此外,服务器能够通过得到用户的信息而有助于数据解析。

接着,对内容再现应用的起动进行说明。

图295是说明本实施方式的接收机的动作的一例的图。

接收机从服务器取得与所接收到的id相关联的内容。在起动中的应用能够处理取得内容(能够显示或者再现)的情况下,通过起动中的应用来显示/再现取得内容。在不能处理的情况下,确认可处理的应用是否安装于接收机,在安装有可处理的应用的情况下,起动该应用而进行取得内容的显示/再现。在没有安装的情况下,自动进行安装,或者进行促使安装的显示,或者显示下载画面,在安装后进行取得内容的显示/再现。

由此,能够适当地处理取得内容(进行显示/再现等)。

接着,对指定应用的起动进行说明。

图296是说明本实施方式的接收机的动作的一例的图。

接收机从服务器取得与所接收到的id相关联的内容和指定要起动的应用的信息(应用id)。在起动中的应用为指定应用的情况下,显示/再现所取得的内容。在指定应用安装于接收机的情况下,起动指定应用来进行取得内容的显示/再现。在没有安装的情况下,自动进行安装,或者进行促使安装的显示,或者显示下载画面,在安装后进行取得内容的显示/再现。

接收机也可以从服务器仅取得应用id,起动指定应用。

接收机也可以进行所指定的设定。接收机也可以设定所指定的参数,起动所指定的应用。

接着,对流播放接收和通常接收的选择进行说明。

图297是说明本实施方式的接收机的动作的一例的图。

接收机在所接收到的数据的预定的地址的值是预定的值的情况和/或所接收到的数据包含预定的识别码的情况下,判断为信号被流播放分发,以流播放数据的接收方法进行接收。在不是这样的情况下,以通常的接收方法来接收。

由此,以流播放分发和通常分发的任一方法发送信号都能够进行接收。

接着,对私人数据进行说明。

图298是说明本实施方式的接收机的动作的一例的图。

接收机在所接收到的id的值处于预定的范围内的情况和/或包含预定的识别码的情况下,在应用内参照表格,若接收id存在于表格,则取得由该表格指定的内容。在不是这样的情况下,从服务器取得被设为了接收id的内容。

由此,即使不向服务器进行登录也能够接收内容。此外,因为不进行与服务器的通信,所以可得到迅速的回应。

接着,对与频率相符的曝光时间的设定进行说明。

图299是说明本实施方式的接收机的动作的一例的图。

接收机检测信号,识别信号的调制频率。接收机与调制频率的周期(调制周期)相应地设定曝光时间。例如,通过设为与调制周期同程度的曝光时间,能够容易地接收信号。此外,例如,通过将曝光时间设定成调制周期的整数倍或者与其接近的值(大致±30%左右),能够通过卷积解码容易地接收信号。

接着,对发送机的最佳参数设定进行说明。

图300是说明本实施方式的接收机的动作的一例的图。

除了从发送机接收的数据之外,接收机还将与当前位置信息和/或用户关联的信息(住所、性别、年龄、喜好等)向服务器发送。服务器与所接收的信息相应地,将用于使发送机最佳地动作的参数向接收机发送。接收机在能够对发送机设定所接收到的参数的情况下进行设定。在不能设定的情况下,显示参数,促使用户对发送机设定该参数。

由此,例如,能够与使用发送机的地域的水的性质最适化地使洗衣机动作,或者以最适合于用户所使用的米的种类的方法来煮饭的方式使电饭锅动作。

接着,对表示数据的结构的识别码进行说明。

图301是说明本实施方式的发送数据的结构的一例的图。

发送的信息包含识别码,接收机能够根据其值来得知后续的部分的结构。例如,能够确定数据的长度、错误订正码的种类和/或长度、数据的分割点等。

由此,发送机能够根据发送机和/或通信路的性质来变更数据本体和/或错误订正码的种类和/或长度。此外,发送机通过除了发送机的id之外,还发送内容id,能够使接收机取得与内容id相应的id。

(实施方式15)

在本实施方式中,对使用上述各实施方式的智能电话等接收机和作为led和/或有机el的闪烁样式而发送信息的发送机的各应用例进行说明。

图302是用来说明本实施方式的接收机的动作的图。

本实施方式中的接收机1210a,在进行基于图像传感器的连续的摄影时,例如以帧为单位将快门速度切换为高速和低速。进而,接收机1210a基于通过该摄影而得到的帧,将针对该帧的处理切换为条码识别处理和可见光识别处理。这里,条码识别处理是指对通过低速的快门速度得到的帧所映现的条码进行解码的处理。可见光识别处理是指对通过高速的快门速度得到的帧所映现的上述的亮线的样式进行解码的处理。

这样的接收机1210a具备:影像输入部1211、条码/可见光识别部1212、条码识别部1212a、可见光识别部1212b和输出部1213。

影像输入部1211具备图像传感器,切换基于图像传感器的摄影的快门速度。即,影像输入部1211例如以帧为单位将快门速度交替地切换为低速和高速。更具体而言,影像输入部1211针对第奇数个帧将快门速度切换为高速,针对第偶数个帧将快门速度切换为低速。低速的快门速度的摄影是上述通常摄影模式的摄影,高速的快门速度的摄影是上述可见光通信模式的摄影。即,在快门速度为低速的情况下,图像传感器所含的各曝光线的曝光时间长,映出了被拍摄对象的通常摄影图像可以作为帧而获得。另外,在快门速度为高速的情况下,图像传感器所含的各曝光线的曝光时间短,映出了上述亮线的可见光通信图像可以作为帧而获得。

条码/可见光识别部1212通过判别由影像输入部1211得到的图像上是否显现有条码、或是否显现有亮线,来切换针对该图像的处理。例如,如果通过低速的快门速度的摄影得到的帧上显现有条码,则条码/可见光识别部1212使条码识别部1212a执行针对该图像的处理。另一方面,如果通过高速的快门速度的摄影得到的图像上显现有亮线,则条码/可见光识别部1212使可见光识别部1212b执行针对该图像的处理。

条码识别部1212a对通过低速的快门速度的摄影得到的帧上显现的条码进行解码。条码识别部1212a通过该解码取得条码的数据(例如条码识别码),并将该条码识别码向输出部1213输出。此外,条码既可以是一维码,也可以是二维码(例如,qr码(注册商标))。

可见光识别部1212b对通过高速的快门速度的摄影得到的帧上显现的亮线的样式进行解码。可见光识别部1212b通过该解码取得可见光的数据(例如可见光识别码),并将该可见光识别码向输出部1213输出。此外,可见光的数据是上述可见光信号。

输出部1213仅显示通过低速的快门速度的摄影得到的帧。因此,在基于影像输入部1211的摄影的被拍摄对象是条码的情况下,输出部1213显示条码。另外,在基于影像输入部1211的摄影的被拍摄对象是发送可见光信号的数字标牌等的情况下,输出部1213不显示亮线的样式,而显示该数字标牌的像。并且,在取得了条码识别码的情况下,输出部1213从例如服务器等取得与该条码识别码相对应的信息,并显示该信息。另外,在取得了可见光识别码的情况下,输出部1213从例如服务器等取得与该可见光识别码相对应的信息,并显示该信息。

即,作为终端装置的接收机1210a具备图像传感器,一边将图像传感器的快门速度交替地切换为第1速度和比第1速度高速的第2速度,一边进行图像传感器的连续的摄影。并且,(a)在基于图像传感器的摄影的被拍摄对象是条码的情况下,接收机1210a利用快门速度为第1速度时的摄影,取得映现有条码的图像,并对该图像所映现的条码进行解码,由此,取得条码识别码。另外,(b)在基于图像传感器的摄影的被拍摄对象是光源(例如数字标牌等)的情况下,接收机1210a利用在快门速度是第2速度时的摄影,取得包含与图像传感器所含的多个曝光线的各个对应的亮线的图像即亮线图像。并且,接收机1210a通过对所取得的亮线图像所含的多个亮线的样式进行解码,取得可见光信号来作为可见光识别码。进而,该接收机1210a显示通过当快门速度是第1速度时的摄影得到的图像。

在这样的本实施方式的接收机1210a中,通过切换地进行条码识别处理和可见光识别处理,能够进行条码的解码,并且能够接收可见光信号。进而,通过切换,能够抑制消耗电力(功耗)。

本实施方式的接收机也可以与可见光处理同时地进行图像识别处理,而取代同时地进行条码识别处理。

图303a是用来说明本实施方式的接收机的另一动作的图。

本实施方式的接收机1210b,在进行基于图像传感器的连续的摄影时,例如以帧为单位将快门速度切换为高速和低速。进而,接收机1210b针对通过该摄影得到的图像(帧),同时执行图像识别处理和上述可见光识别处理。图像识别处理是对通过低速的快门速度得到的帧所映现的被拍摄对象进行识别的处理。

这样的接收机1210b具备:影像输入部1211、图像识别部1212c、可见光识别部1212b和输出部1215。

影像输入部1211具备图像传感器,并且切换基于图像传感器的摄影的快门速度。即,影像输入部1211例如以帧为单位将快门速度交替地切换为低速和高速。更具体而言,影像输入部1211针对第奇数个帧将快门速度切换为高速,针对第偶数个帧将快门速度切换为低速。低速的快门速度的摄影是上述通常摄影模式的摄影,高速的快门速度的摄影是上述可见光通信模式的摄影。即,在快门速度为低速的情况下,图像传感器所含的各曝光线的曝光时间长,映出了被拍摄对象的通常摄影图像作为帧而得到。另外,在快门速度为高速的情况下,图像传感器所含的各曝光线的曝光时间短,映出了上述亮线的可见光通信图像作为帧而得到。

图像识别部1212c对通过低速的快门速度的摄影得到的帧所映现的被拍摄对象进行识别,并且确定该被拍摄对象在帧内的位置。图像识别部1212c,作为识别的结果,判断该被拍摄对象是否被作为ar(augmentedreality;增强现实)的对象(以下,称为ar对象物)。并且,在判断为被拍摄对象是ar对象物时,图像识别部1212c生成用于显示与该被拍摄对象相关的信息的数据(例如,被拍摄对象的位置以及ar标记等)即图像识别数据,并将该ar标记向输出部1215输出。

输出部1215与上述输出部1213同样,仅显示通过低速的快门速度的摄影得到的帧。因此,在基于影像输入部1211的摄影的被拍摄对象是发送可见光信号的数字标牌等的情况下,输出部1213不显示亮线的样式,而显示该数字标牌的像。进而,当从图像识别部1212c取得图像识别数据时,输出部1215基于由图像识别数据表示的帧内的被拍摄对象的位置,将包围该被拍摄对象的白框状的指示器(indicator)重叠于该帧。

图303b是示出由输出部1215显示的指示器的例子的图。

输出部1215例如将包围构成为数字标牌的被拍摄对象的像1215a的白框状的指示器1215b重叠于帧。即,输出部1215显示表示被图像识别出的被拍摄对象的指示器1215b。进而,当从可见光识别部1212b取得可见光识别码时,输出部1215将该指示器1215b的颜色例如从白色变更为红色。

图303c是示出ar的显示例的图。

输出部1215还从例如服务器等取得与该可见光识别码相对应的、与被拍摄对象相关的信息作为关联信息。输出部1215对由图像识别数据表示的ar标记1215c记载关联信息,将记载有关联信息的ar标记1215c与帧内的被拍摄对象的像1215a相关联地显示。

在这样的本实施方式的接收机1210b中,通过同时地进行图像识别处理和可见光识别处理,能够实现利用了可见光通信的ar。此外,图303a所示的接收机1210a也可以与接收机1210b同样,显示图303b所示的指示器1215b。该情况下,当在通过低速的快门速度的摄影得到的帧中识别到条码时,接收机1210a显示包围该条码的白框状的指示器1215b。并且,若该条码被进行解码,则接收机1210a将该指示器1215b的颜色从白色变更为红色。同样地,当在通过高速的快门速度的摄影得到的帧中识别到亮线的样式时,接收机1210a确定与存在该亮线的样式的部位对应的低速帧内的部位。例如,在数字标牌发送可见光信号的情况下,确定低速帧内的数字标牌的像。此外,低速帧是指通过低速的快门速度的摄影得到的帧。并且,接收机1210a将包围低速帧内确定出的部位(例如,上述数字标牌的像)的白框状的指示器1215b重叠于低速帧并进行显示。并且,若该亮线的样式被进行解码,则接收机1210a将该指示器1215b的颜色从白色变更为红色。

图304a是用来说明本实施方式的发送机的一例的图。

本实施方式中的发送机1220a与发送机1230同步地发送可见光信号。即,发送机1220a在发送机1230发送可见光信号的定时,发送与该可见光信号相同的可见光信号。此外,发送机1230具备发光部1231,该发光部1231通过发生亮度变化来发送可见光信号。

这样的发送机1220a具备:受光部1221、信号解析部1222、发送时钟调整部1223a和发光部1224。发光部1224通过亮度变化发送与从发送机1230发送的可见光信号相同的可见光信号。受光部1221通过接受来自发送机1230的可见光,来从发送机1230接收可见光信号。信号解析部1222对通过受光部1221接收到的可见光信号进行解析,并将该解析结果向发送时钟调整部1223a发送。发送时钟调整部1223a基于该解析结果,来调整从发光部1224发送的可见光信号的定时。即,发送时钟调整部1223a调整发光部1224的亮度变化的定时,以使得从发送机1230的发光部1231发送可见光信号的定时与从发光部1224发送可见光信号的定时一致。

由此,能够使由发送机1220a发送的可见光信号的波形和由发送机1230发送的可见光信号的波形在定时上一致。

图304b是用来说明本实施方式的发送机的另一例的图。

本实施方式的发送机1220b与发送机1220a同样,与发送机1230同步地发送可见光信号。即,发送机1200b在发送机1230发送可见光信号的定时,发送与该可见光信号相同的可见光信号。

这样的发送机1220b具备:第1受光部1221a、第2受光部1221b、比较部1225、发送时钟调整部1223b以及发光部1224。

第1受光部1221a与受光部1221同样地,通过接受来自发送机1230的可见光,从该发送机1230接收可见光信号。第2受光部1221b接受来自发光部1224的可见光。比较部1225对通过第1受光部1221a接收到可见光的第1定时和通过第2受光部1221b接收到可见光的第2定时进行比较。并且,比较部1225将该第1定时与第2定时的差(即延迟时间)向发送时钟调整部1223b输出。发送时钟调整部1223b对从发光部1224发送的可见光信号的定时进行调整,以使得该延迟时间缩短。

由此,能够使由发送机1220b发送的可见光信号的波形和由发送机1230发送的可见光信号的波形在定时上更准确地一致。

此外,在图304a以及图304b所示的例子中,两个发送机发送相同可见光信号,但也可以发送不同的可见光信号。即,两个发送机当发送相同可见光信号时,如上述那样取得同步并发送。并且,两个发送机当发送不同的可见光信号时,仅两个发送机中的一方的发送机发送可见光信号,在此期间,另一方的发送机一样地点亮或熄灭。之后,一方的发送机一样地点亮或熄灭,在此期间,仅另一方的发送机发送可见光信号。此外,两个发送机也可以同时地发送相互不同的可见光信号。

图305a是用来说明本实施方式的多个发送机的同步发送的一例的图。

如图305a所示那样,本实施方式的多个发送机1220例如排列成一列。此外,这些发送机1220具有与图304a所示的发送机1220a或图304b所示的发送机1220b相同的结构。这样的多个发送机1220的每一个与左右相邻的发送机1220中的一方的发送机1220同步地发送可见光信号。

由此,许多发送机能够将可见光信号同步地发送。

图305b是用来说明本实施方式的多个发送机的同步发送的一例的图。

本实施方式中的多个发送机1220中的一个发送机1220成为用于取得可见光信号的同步的基准,其余的多个发送机1220按照该基准发送可见光信号。

由此,许多发送机能够将可见光信号更准确地同步地发送。

图306是用来说明本实施方式的多个发送机的同步发送的另一例的图。

本实施方式的多个发送机1240的每一个接收同步信号,与该同步信号相应地发送可见光信号。由此,从多个发送机1240的每一个同步地发送可见光信号。

具体而言,多个发送机1240的每一个具备:控制部1241、同步控制部1242、光耦合器1243、led驱动电路1244、led1245和光电二极管1246。

控制部1241接收同步信号,并将该同步信号向同步控制部1242输出。

led1245是发出可见光的光源,根据led驱动电路1244的控制而进行亮灭(即亮度变化)。由此,可见光信号从led1245被发送至发送机1240之外。

光耦合器1243将同步控制部1242与led驱动电路1244之间进行电绝缘,并且在其间传递信号。具体而言,光耦合器1243将从同步控制部1242发送的下述的发送开始信号向led驱动电路1244传递。

led驱动电路1244若从同步控制部1242经由光耦合器1243接收到发送开始信号,则在接收到该发送开始信号的定时,使led1245开始可见光信号的发送。

光电二极管1246检测从led1245发出的可见光,并将表示检测到可见光的检测信号向同步控制部1242输出。

同步控制部1242若从控制部1241接收到同步信号,则将发送开始信号经由光耦合器1243向led驱动电路1244发送。通过发送该发送开始信号,而开始可见光信号的发送。另外,同步控制部1242若通过该可见光信号的发送而从光电二极管1246接收到检测信号,则算出作为接收到该检测信号的定时与从控制部1241接收到同步信号的定时之差的延迟时间。同步控制部1242若从控制部1241接收到下一个同步信号,则基于该算出的延迟时间,来调整发送下一个发送开始信号的定时。即,同步控制部1242对发送下一个发送开始信号的定时进行调整,以使得针对下一个同步信号的延迟时间成为预先决定的设定延迟时间。由此,同步控制部1242在该调整后的定时,发送下一个发送开始信号。

图307是用来说明发送机1240的信号处理的图。

同步控制部1242当接收到同步信号时,生成在预定的定时产生延迟时间设定脉冲的延迟时间设定信号。此外,具体而言,接收同步信号是指接收同步脉冲。即,同步控制部1242生成延迟时间设定信号以使得:在从同步脉冲的下降开始经过了上述设定延迟时间的定时,延迟时间设定脉冲上升。

并且,同步控制部1242在从同步脉冲的下降开始延迟了上次得到的补正值n的定时将发送开始信号经由光耦合器1243向led驱动电路1244发送。结果,通过led驱动电路1244从led1245发送可见光信号。这里,同步控制部1242在从同步脉冲的下降开始延迟了固有延迟时间和补正值n的和的定时,从光电二极管1246接收检测信号。即,从该定时开始可见光信号的发送。以下,将该定时称为发送开始定时。此外,上述固有延迟时间是起因于光耦合器1243等的电路的延迟时间,是即便同步控制部1242接收到同步信号就马上发送发送开始信号也会产生的延迟时间。

同步控制部1242确定从发送开始定时到延迟时间设定脉冲的上升为止的时间差来作为修正补正值n。并且,同步控制部1242利用补正值(n+1)=补正值n+修正补正值n算出补正值(n+1)并加以保持。由此,同步控制部1242在接收到下一个同步信号(同步脉冲)时,在从该同步脉冲的下降开始延迟了补正值(n+1)的定时将发送开始信号向led驱动电路1244发送。此外,修正补正值n不仅可以是正值,也可以成为负值。

由此,多个发送机1240的每一个,在从接收同步信号(同步脉冲)开始经过设定延迟时间后发送可见光信号,因此,能够正确地同步地发送可见光信号。即,在多个发送机1240的每一个中,即便起因于光耦合器1243等的电路的固有延迟时间存在偏差,也能够不受该偏差的影响地,正确地使来自多个发送机1240的每一个的可见光信号的发送同步。

此外,led驱动电路是消耗大功率的电路,要使用光耦合器等与处理同步信号的控制电路电绝缘。因此,在使用这样的光耦合器的情况下,由于上述的固有延迟时间的偏差,难以使来自多个发送机的可见光信号的发送同步。但是,在本实施方式的多个发送机1240中,利用光电二极管1246检测led1245的发光定时,利用同步控制部1242检测来自同步信号的延迟时间,将该延迟时间调整为成为预先设定的延迟时间(上述设定延迟时间)。由此,即便各个例如构成为led照明的多个发送机所具备的光耦合器存在个体偏差,也能够以高精度地同步的状态从多个led照明发送可见光信号(例如可见光id)。

此外,对于可见光信号发送期间以外,既可以使led照明点亮,也可以使其熄灭。在所述可见光信号发送期间以外使之点亮的情况下,检测可见光信号的最初的下降沿即可。在使所述可见光信号发送期间以外使之熄灭的情况下,检测可见光信号的最初的上升沿即可。

此外,在上述的例子中,发送机1240每当接收同步信号时就发送可见光信号,但是,即便未接收同步信号,也可以发送可见光信号。即,发送机1240如果与同步信号的接收相应地发送一次可见光信号,则即便未接收到同步信号也可以依次发送可见光信号。具体而言,发送机1240可以针对同步信号的一次接收,依次进行2次~几千次的可见光信号的发送。另外,发送机1240也可以以每100m秒1次的比例或每数秒1次的比例进行与同步信号相应的可见光信号的发送。

另外,当反复进行与同步信号对应的可见光信号的发送时,存在由于上述的设定延迟时间而使led1245的发光连续性丧失的可能性。即存在产生稍长的消隐期间的可能性。其结果,存在产生led1245的闪烁会被人视觉辨认的所谓的闪光(flicker)的可能性。于是,发送机1240也可以以60hz以上的周期进行与同步信号相应的可见光信号的发送。由此,闪烁会高速地进行,该闪烁会难以被人视觉辨认。其结果,能够抑制闪光的产生。或者,发送机1240也可以以例如每几分钟1次的周期等足够长的周期,进行与同步信号对应的可见光信号的发送。由此,闪烁虽然会被人视觉辨认,但是能够防止闪烁反复连续地被视觉辨认,能够减轻闪光带给人的不舒适感。

(接收方法的前处理)

图308是示出本实施方式的接收方法的一例的流程图。另外,图309是用来说明本实施方式的接收方法的一例的说明图。

首先,接收机计算排列在与曝光线平行的方向上的多个像素的各自的像素值的平均值(步骤s1211)。根据中心极限定理,当对n个像素的像素值进行平均时,则噪声量的期待值成为n的-1/2次幂,sn比得以改善。

接着,接收机仅留存在所有颜色的每一种颜色中像素值在垂直方向上发生相同变化的部分,在发生不同变化的部分中,去除像素值的变化(步骤s1212)。在利用发送机所具备的发光部的亮度表现发送信号(可见光信号)的情况下,作为发送机的照明和/或显示器的背光源的亮度变化。此时,如图309的(b)的部分所示,在所有颜色的各个中像素值向相同方向变化。图309的(a)以及(c)的部分中,在各颜色中像素值发生不同的变化。在这些部分中,由于接收噪声或者显示器或标牌的画面,像素值发生变动,因此,通过去除这些变动,能够改善sn比。

接着,接收机求取亮度值(步骤s1213)。亮度难以受到基于颜色的变化,因此,能够排除显示器或标牌的画面的影响,能够改善sn比。

接着,接收机对亮度值施加低通滤波(步骤s1214)。在本实施方式的接收方法中,施加基于曝光时间的长度的移动平均滤波,因此,在高频区域几乎不含有信号,噪声处于支配地位。因此,通过使用将高频区域去除的低通滤波,能够改善sn比。在直至曝光时间的倒数为止的之前的频率,信号成分多,因此,通过切断这以上的频率,能够提高sn比的改善效果。在信号所含的频率成分有限的情况下,通过切断比该频率高的频率,能够改善sn比。不含频率振动成分的滤波(巴特沃斯滤波等)适于低通滤波。

(基于卷积最大似然解码的接收方法)

图310是示出本实施方式的接收方法的另一例的流程图。另外,图311以及图312是用来说明本实施方式的接收方法的另一例的图。以下,使用这些图,针对曝光时间比发送周期长的情况下的接收方法进行说明。

在曝光时间是发送周期的整数倍的情况下,能够进行精度最佳的接收。即便在不是整数倍的情况下,只要是(n±0.33)倍(n为整数)程度的范围,则能够进行接收。

首先,接收机将发送接收偏移量设定为0(步骤s1221)。发送接收偏移量是指用于修正发送定时与接收定时的偏差的值。由于该偏差是不明确的,因此,接收机一点点地使成为该发送接收偏移量的候选的值变化,并将最合理的值采用为发送接收偏移量。

接着,接收机判定发送接收偏移量是否小于发送周期(步骤s1222)。这里,由于接收的周期和发送周期不同步,因此,不一定得到与发送周期相匹配的接收值。因此,接收机若在步骤s1222中判定为小于发送周期(步骤s1222的“是”),则使用其邻近的接收值,按每个发送周期,通过插补来计算与发送周期相匹配的接收值(例如像素值)(步骤s1223)。插补方法可以使用线性插补、最邻近值或样条插补等。然后,接收机求出按每个发送周期求出的接收值的差分(步骤s1224)。

图311示出曝光时间为发送周期的3倍、发送信号为0或1这2个值的情况下的例子。某时间点的接收值为将3个发送信号相加而得的值。通过求取与下一时间点的接收值之差,能够求取新接收到的信号的值。此时,由于接收值的差含有噪声,因此,无法明确地知道接收到了哪个信号。于是,接收机计算是哪个信号的概率(推测似然度)(步骤s1225)。若将发送信号设为x、将接收值的差设为y,则该概率能够以带条件概率p(x|y)表现。但是,由于p(x|y)难以求取,因此,接收机使用贝叶斯法则,并且使用p(x|y)∝p(y|x)p(x)的右边的值进行计算。

考虑对所有的接收值进行该计算。在接收值的数量为n个时,卷积状态的转变的样式以2的n次幂存在,np困难(np-hard),但是通过使用维特比算法(viterbialgorithm)来计算,能够高效地进行计算。

图312的状态转变路径中的绝大多数成为不适合发送格式的路径。因此,每当进行状态转变时,进行格式检查,在是不适合发送格式的路径的情况下,通过将作为该路径的似然度设为0,能够使可以推测正确的接收信号的精度提高。

接收机在发送接收偏移量上加上预定值(步骤s1226),重复执行从步骤s1222开始的处理。另外,接收机若在步骤s1222中判定为不是小于发送周期(步骤s1222的“否”),则确定针对各发送接收偏移量计算出的接收信号的似然度中的最高似然度。并且,接收机判定该最高似然度是否为预定值以上(步骤s1227)。若判定为预定值以上(步骤s1227的“是”),则接收机将似然度最高的接收信号作为最终的推测结果来使用。或者,接收机将具有从最高的似然度减去预定值而得的值以上的似然度的接收信号用作接收信号候选(步骤s1228)。另一方面,在步骤s1227中,若判定为最高似然度为小于预定值(步骤s1227的“否”),则接收机丢弃推测结果(步骤s1229)。

在噪声过多的情况下,多会无法适当地进行接收信号的推测,同时,似然度会变低。因此,在似然度低的情况下,通过丢弃推测结果,能够使接收信号的可靠性提高。另外,在输入图像中不含有效的信号的情况下,最大似然解码存在会输出有效的信号来作为推测结果这一问题。但是,在该情况下,由于似然度会变低,因此,在似然度低的情况下,通过丢弃推测结果,也能够回避该问题。

(实施方式16)

[1首先]

以往的可见光通信方式有作为受光装置使用通用图像传感器的方式和使用光电传感器或特殊高速图像传感器的方式。前者的方式例如有卡西欧计算机株式会社的“picapicamera(注册商标)”。大多数的通用图像传感器的摄像帧速率以30fps为上限,因此,发送的光源的亮度变化需要为在此以下的频率。由于这样慢的频率的亮度变化也会被人的眼睛观察到,因此,无法将照明作为发送机,而需要使用专用的发送机。后者的方式有ieee802.15.7、cp1223。在这些方式中使用的调制频率高达9.6khz以上,人的眼睛看起来是同样地被点亮,因此,可以将照明作为发送机使用。但是,由于需要专用的接收装置,因此,在无法用智能电话接收这点上,会妨碍普及。

我们使用搭载于现今的智能电话的通用图像传感器作为接收装置,开发出了能够接收以人眼看不见的速度调制后的信号的方式。cmos型图像传感器与ccd型图像传感器相比,在高速响应性、高集成、低功耗、低电压驱动等方面优异,几乎被所有的智能电话和数字摄像头所采用。cmos型图像传感器的摄像方式是按图像的每1行依次曝光的行扫描方式,被认为是在对移动物体进行摄像时使图像产生失真的原因。我们开发出了通过利用该行扫描方式的特性,并适当地设定曝光时间,来以作为以往的1000倍的30khz以上的频度进行采样的方法(线扫描采样:linescansampling,lss)。另外,构思出适于该方式的调制方式来安装于照明和/或显示器。在市售的智能电话上安装基于lss的接收方式,确认了能够接收以10khz以上调制后的信号。

[2行扫描采样]

cmos图像传感器按以下的程序,将所接受的光变换为像素值,作为一维的数据而读出。

1.通过像素内的光电二极管曝光,生成与曝光量相应的电荷,该电荷通过放大器被变换为电压。

2.电压通过行选择开关被发送至垂直信号线。这里,固定样式噪声被去除,并且暂时地被保存。

3.通过列选择开关被发送至水平信号线,作为一维的数据被读出。

被用于现今智能电话和数字摄像头的图像传感器被高度地精细化,各像素不搭载存储器。因此,1的曝光不是所有的像素同时地进行的,而是按照按各行依次地进行的2的定时,依次地进行。即,曝光的开始/结束在按各行略微不同的定时进行,因此,由cmos图像传感器摄像到的图像映现有按各行不同的时刻的像。通过利用该构成,能够以远远快于按每摄像帧的采样的高速对发送机的亮度的变化进行采样。将同时曝光的像素的行称为曝光线。

图313是将曝光时间变为1/100、1/1,000、1/10,000而对以10khz的调制频率调制后的信号进行摄像而得的图。摄像图像的像素值可以作为在曝光时间内的摄像对象的亮度的积分值上乘以通过透镜的明亮度和/或感光度设定值确定的值而得的值来得到。通常,在室内进行摄影的情况下,使用1/30~1/200左右的曝光时间。在曝光时间te与调制周期ts相比足够长的情况下,捕捉到最明亮的期间的曝光线与捕捉到最暗的期间的曝光线的亮度之差能够近似为ts/te。在te=1/100秒、ts=1/10,000秒(10khz)时,像素值的差仅成为1%。因此,在以通常的条件摄影到的照片中,该闪烁不被识别。但是,如图313的(c)那样,若缩短曝光时间,则闪烁的情形清晰地表现为曝光线的像素值。通过缩短曝光时间,能够捕捉高频率的亮度变化。

并不是cmos图像传感器的所有的光电二极管都直接用于摄像。光学黑(opticalblack)部分被遮光,通过从有效像素的输出电位减去该部分的输出电位,起到抵消因热噪声而产生的暗电流这一作用。另外,也存在因设计上的原因而存在的无效部分。另外,有效像素大多以近似4:3的纵横比构成,但是在将摄像图像的大小设定为16:9的情况下,由于有效像素部分的上下被切除,因此,结果上会成为与无效部分同样的对待。图像传感器不仅包含有效像素,还包含光学黑、无效部分来进行按行的依次读出,因此,在从拍摄图像的底部行开始到拍摄下一图像的顶行为止的期间,存在与对光学黑和无效部分进行曝光的时间相应的时间差。将该时间称为消隐时间。

能够以lss对光源的亮度变化采样的时间仅是对光源进行摄像的曝光线(exposureline)曝光的时间。该情形在图314中示出。另外,即便假设光源照在画面整个面上,由于存在上述的消隐时间,因此,采样成为非连续的。因此,以信号接收是非连续为前提,需要以适合lss的协议进行信号发送。此外,现今的智能电话不具备这样的功能,但是,如图315所示,如果能够设定为确定光源位置而仅对该部分进行摄像,则连续接收成为可能,能够使通信效率飞跃地增加。

若设采样频率摄像频率为30fps、设图像的纵尺寸为1080像素,则基于lss的采样次数成为每秒30×1,080=32,400次,但是,由于存在因消隐时间而无法采样的期间,因此,采样频率会比上述快。消隐时间由于按设备种类的设定和/或、帧速率和/或图像分辨率等摄像条件而不同,但是,大概在1~10毫秒之间,因此,采样频率成为约33~46khz。

[3发送机的条件]

为了将照明光利用为可见光通信的光源,需要使得用于表现信号的亮度变化为无法被人觉察的水平。因此,需要与发送的信号无关地使平均亮度(实效亮度)为一定。另外,需要使亮度变化的频率为充分高速、或变化的比例充分少。人的觉察极限频率被称为临界闪光频率(criticalflickerfrequency(cff)),虽然根据条件不同而存在差异,但是,为60hz左右。但是,这是周期性闪烁的极限,在用于表现信号的不规则变化中,需要更高的调制频率。另外,在用摄像头和/或摄像机进行摄像时,也不会出现因亮度变化而产生的影响。如上所述,在通常的摄影中使用的范围的曝光时间设定中,因亮度变化而产生的影响小,在静态图像中不成为问题。但是,在动态图像摄影的情况下,即便是比cff高的频率的亮度变化,有时扫描线那样的影子会被觉察。对此,原因在于动态图像摄影的帧频率与信号频率的偏差的混叠(alias),为了消除其影响,需要使用与cff相比相当高的频率或者使变化的比例减少。

照明的调光存在基于流过光源的电流量的控制(电流控制)和基于发光的时间的长短的控制(pwm控制)。为了为表现信号而利用亮度的变化,pwm控制是无法使用的。但是,为了使显示器的背光源等、以往进行pwm控制的元件变更为电流控制,需要大幅度的电路变更,会对可见光通信的导入成为障碍。因此,作为调制方式,优选包含能够调整平均亮度的功能。

作为照明本来的功能,亮度高是所希望的。成为光源的led的个数和/或耐压由最高亮度决定,因此,优选实效亮度相对于最高亮度的比例(实效亮度率,effectiveluminancerate(elr))变高的调制方式。

通过控制显示器的背光源的亮度,能够从显示器发送信号。但是,与将照明作为发送机的情况相比,需要注意以下的方面。由于光源的亮度低,因此sn比低。屏幕的画面会成为噪声,另外,在画面暗的情况下,为了提高sn比进一步降低的动态图像的分辨感而变更液晶的透射率的期间需要将背光源关闭。等级越高的产品,画面的刷新率越高,在现在的产品中,最高为240hz。该情况下,以1/240秒为单位断续地发送信号。

[4适合lss的调制方式]

lss的最大的特征是接收是非连续的。与非连续接收对应的调制方法存在smallsymbol方式和largesymbol方式。

[4.1largesymbol方式]

在largesymbol方式中,使用码元的发送时间比图像摄像周期长的一样的码元。此外,一样的码元是指,如频率调制码元那样,无论码元的哪部分,只要接收到一部分就能够对信号进行解码的码元。接收机每一张图像接收一个码元,并将从多个图像接收到的码元连结,由此能够将通信数据复原。每1张图像接收1个码元的方法与以往的图像传感器接收方式类似,但是,该方式在以下方面具有差异:每1个码元的信息量相当多;人无法对光源的闪烁进行视觉辨认。通过按照接收到接收数据的顺序来串接也能够将通信数据复原,但是,例如,在接收机的处理负荷等影响下摄像帧的处理降低的情况下,无法正常地进行复原,欠缺可靠性。通过将信号的一部分用于表现地址,在上述那样的情况下也能够正常地接收数据。

对于基于频率调制的编码信号来说,信号是一样的,另外,每码元的信息量较多,适合作为largesymbol方式的编码。基于开关控制(on-offcontrol:二位控制)的频率调制的例子在图316的(b)中示出。在单纯的频率调制中,实效亮度率为50%,但是,通过将1个周期的时间固定,并增多亮度高的时间,能够提高实效亮度率。可知:图316的(b)以及(c)是以同一频率对不同的elr的信号进行频率解析的例子,能够从基本频率识别信号所表示的频率。

基于lss的信号的采样成为曝光期间中的亮度的平均值,因此,会涉及曝光时间的长度的移动平均滤波器。该滤波器的频率特性如图317所示。因此,需要将接收机的曝光时间保持为一定,并且,需要注意这里被截止的频率无法使用。

[4.2smallsymbol方式]

在smallsymbol方式中,接收机通过在一系列的接收时间期间接收多个码元,并将以多个图像帧接收到的部分相连,能够将通信数据复原。如果发送信号的重复周期是一定的,则也能够根据摄像帧速率计算非接收期间的时间的长度,并将接收部分连结,现今的智能电话大多进行由于处理器的处理负荷和/或温度而使摄像帧速率变动这一控制,因此,该方法的可靠性低。于是,将通信数据分割为多个数据包,并附加表示数据包的边界的头和表示数据包编号的地址,由此,能够与非接收期间的长短无关地,将所接收到的数据相接合。另外,在前者的方法中,在接收周期(摄像帧速率)与发送周期的比以小的整数表示的情况下,会产生只能接收通信数据的相同部分这一状况,但是在后者的方法中,通过使数据包的发送顺序随机,能够解决该问题。

脉冲位置调制和频率调制的码元发送时间短,能够提高elr,因此适合smallsymbol方式。

在脉冲位置调制中将亮度保持为一定的编码方式中,存在曼彻斯特编码和fourpulse-positionmodu-lation(4ppm)编码(图318以及图319)。任意一个的编码效率都为50%,但是,关于实效亮度率,曼彻斯特编码为50%,4ppm编码为75%,4ppm编码较优异。图318是以4ppm编码为基础,与亮度调整对应的编码方式(variable4ppm,v4ppm)。通过该编码方式,能够使实效亮度率从25%到75%为止连续地变化。另外,信号的上升位置与亮度无关地为一定,因此,接收侧具有能够意识不到亮度设定值地进行接收的特征。作为以曼彻斯特编码为基础的亮度调整对应编码方式,存在variableppm(vppm)方式,但是,在以vppm方式能够使实效亮度率以25%~75%进行变更的情况下,如果考虑以能够识别的最短脉冲宽度为基准,则如图320所示,码元长为25%的脉冲宽度与4ppm的1个脉冲的宽度为相同宽度。此时,v4ppm的编码效率是vppm的2倍,可以说v4ppm较优异。

通过进行离散余旋变换等频率解析,能够接收频率调制后的码元。该方法具有即便以长的曝光时间也能够接收这一优点。但是,由于码元的顺序的信息丢失,因此,考虑了高次谐波的能够利用的频率的组合是有限的。在以下的实验中,作为smallsymbol方式的码元调制方式,使用v4ppm。

[4.3性能评价]

进行两个调制方式的性能评价。将智能电话p-03e设为接收机,将液晶电视机th-l47dt5设为发送机。在液晶改写时,背光源为关闭。液晶的改写频率为240hz,在标准模式下,75%的期间背光源点亮,因此,连续地发送信号的时间成为1,000,000/240×0.75=3,125微秒。在设曝光时间为1/10,000、在显示器的屏幕上显示50%灰度的画面、并且发送了1khz的开关(on/off)信号的情况下,将由上述发送机和接收机计测到的信号噪声功率示于图321的(a)。以下的实验使用模拟了该sn比的仿真信号(图321的(b))来进行。另外,接收信号使用了在与曝光线水平的方向上将256像素的像素值平均而得的值。以下的结果是各条件下的1,000次试验的结果。

作为largesymbol方式的码元,使用单一频率的码元。虽然实效亮度率越接近50%,则接收误差会越低,但选取为与在smallsymbol方式的实验中使用的elr相同的75%。接收信号通过与曝光线垂直的方向的像素值的离散余旋变换来计算。将接收误差(发送信号频率与接收信号频率之差)示于图322a。接收误差在9khz附近会急剧地变大。这是由于,由于图317所示的lss的移动平均滤波器,信号功率变小,会被噪声所掩埋。在低频域接收误差变大是由于在发送期间中仅发送较少的周期的信号。各频率裕度(容限)的接收错误率在图322b~图322f中示出。例如,若设容许错误率为5%,则能够以50hz为间隔将从1.6khz到8khz的范围的频率的值进行分割,因此,能够表现(8,000-1,600)/50=128=7比特的信息。例如,若将2比特设为地址、将5比特设为数据,则能够表现20比特的信息。最快能够根据4帧的图像对通信数据进行解码,因此,以30fps进行了摄像的情况下的实效通信速度成为150bps。在实际的用中途,为了检测接收错误,需要包含错误校验码。

作为smallsymbol方式的码元,使用了v4ppm。各码元速率下的接收成功率示于图323。其中,该接收成功率表示能够正确接收1个数据包中的全部的码元的比例。另外,这里所说的调制频率表示1秒钟所含的亮度变化的时隙数。即,在10khz的调制频率下,包含2,500个v4ppm码元。若设容许错误率为5%,则调制频率能够设为10khz。若将连续发送期间整体设为1个数据包,则如果发送期间的最初为on状态(亮度高的状态),则能够判断其边界,因此,表示数据包的边界的头能够以1时隙表示。因此,1个数据包包含在以下的(式1)中示出的数量的v4ppm码元。

[式1]

即,包含14位的信息。若将2位设为地址、将12位分配给数据,则能够表现48位的信息。如果摄像图像中的发送机充分大,则能够接收多个数据包,因此,在能够从1个图像接收到全部的数据包的情况下,实效通信速度会成为最大,在以30fps进行摄像的情况下成为1,440bps。

由于smallsymbol方式能够表现的位数(比特数)大,因此,在这里进行安装,并进行了动作确认。数据包的结构如上述的例子,在合成的48位数据中包含4位crc码。另外,在相同地址下接收到不同数据的数据包的情况下,采用接收到相同数据的数据包的次数多的数据。另外,在相同数据的数据包为相同数量的情况下,继续接收,直至任一个数据单独地成为最大数量为止。在基于crc检测出错误的情况下,设为丢弃所接收的所有的数据包。发送接收机间的距离设为4m。在该距离下,1个图像内包含至少一个数据包的图像。在200次的试验中,平均接收时间为351毫秒,未产生在crc错误校验后留下的错误。为了收集n种数据包而所需要的数据包接收次数的期待值能够通过以下的(式2)来计算。

[式2]

因此,当n=4时,期待值成为8.33。因此,当接收无错误、从1个图像接收到1个数据包时的期待接收时间成为8.33×33=275毫秒。平均接收时间比上述时间慢的原因是,由于接收错误而会必须要接收多个数据包,通过利用在数据包中包含错误检测码等对策来减少接收错误,能够改善接收时间。

[5结论]

可见光通信是使用人的眼睛能看到的可见光频带的电磁波的无线通信的一种。从照明成为通信基础设施这一社会应用面受到关注。作为特征,不需要电波法的认证,对生物体无影响而安全,不会通过电磁波对其它的设备造成影响,由于发送源/通信路径可被眼睛所见因而通信范围一目了然,容易防止非法通信,容易遮蔽,指向性高,能够仅与特定的对象进行通信,能够与照明共用通信的能量。另外,除了作为与以wifi等为代表的以往的无线通信同样的双方向通信的利用之外,还考虑到作为使用单方向通信的标识的利用方法。例如,期待着通过从顶棚照明发送位置信息,在gps无法到达的室内确定位置这一应用。

在本公开中,提出了利用cmos型图像传感器的行扫描特性的高速采样的方案,并确认了能够在现有的智能电话中接收以10khz的调制频率调制后的信号。

通过能够利用智能电话接收将照明作为发送机的可见光信号,可考虑各种应用。例如,能够期待从顶棚照明发送位置信息,在gps无法到达的室内确定位置这一应用。另外,考虑了将招牌作为发送机,利用智能电话取得优惠券和/或确认空席信息这一应用。

在本公开中提出的可见光通信方式的方案,与照度传感器接收方式相比,除了能够将智能电话作为接收机之外,还具有以下各种优越性。优于能将受光的光空间性地进行分离,因此,即便在多个发送机接近地存在的情况下,也不会发生串扰,能够独立地接收信号。另外,由于受光方向能够特定,因此,能够计算与光源的相对位置。即,通过利用接收信号取得光源的绝对位置,能够以几cm的精度求取接收机的绝对位置。另外,能够进行将显示器和/或招牌作为发送机的通信。由于显示器和/或招牌与照明相比、亮度/照度低,因此,难以用光电传感器进行接收,但是,在图像传感器接收方式中,能够与环境照度无关地接收信号。另外,显示器的画面运动会成为噪声源,但是,在图像传感器接收方式中,能够选择噪声少的平坦的部分并从该部分接收信号。

今后,预定对接收算法进行改良,并对通信性能的进一步提高进行研究。另外,预定对本可见光通信方式的应用例进行研究,关于产业利用面上的利用进行实际验证。

(实施方式17)

在本实施方式中,针对作为上述各实施方式的发送机构成的、显示影像并且发送可见光信号的显示系统进行说明。

图324是示出本实施方式的显示系统的结构的框图。

本实施方式的显示系统具备:生成影像信号并发送的影像信号发送器1250和显示影像并且发送可见光信号的影像显示器1270。

影像信号发送器1250具备:影像信号生成部1251、可见光信号生成部1252、可见光同步信号生成部1253、影像标准信号发送部1254。

影像信号生成部1251生成影像信号并向影像标准信号发送部1254输出。可见光信号生成部1252生成可见光信号来作为电信号并向影像标准信号发送部1254输出。可见光同步信号生成部1253生成可见光同步信号并向影像标准信号发送部1254输出。

影像标准信号发送部1254将如上述那样生成的影像信号、可见光信号以及可见光同步信号经由影像标准传送路径群1260向影像显示器1270输出。

影像显示器1270具备:影像标准信号接收部1271、影像显示部1272以及可见光信号发送部1273。

影像标准信号接收部1271从影像标准信号发送部1254经由影像标准传送路径群1260接收影像信号、可见光信号以及可见光同步信号。并且,影像标准信号接收部1271将该影像信号向影像显示部1272输出,将可见光信号以及可见光同步信号向可见光信号发送部1273输出。

影像显示部1272例如具备液晶显示器、有机el显示器或等离子体显示器等,在从影像标准信号接收部1271接收影像信号时,显示与该影像信号相应的影像。另外,在影像显示器1270为投影仪等的情况下,影像显示部1272包括具备光源以及光学系统的投光机构,在从影像标准信号接收部1271接收影像信号时,将与该影像信号相应的影像向屏幕投射。

可见光信号发送部1273从影像标准信号接收部1271取得可见光信号以及可见光同步信号。另外,可见光信号发送部1273当接收到可见光同步信号时,在该接收的定时,使影像显示部1272开始与已经取得的可见光信号相应的亮灭。由此,影像显示部1272显示影像,并且通过进行亮度变化将可见光信号作为光的信号发送。此外,可见光信号发送部1273也可以具备led等光源,并使该光源发生亮度变化。

图325是示出影像标准信号发送部1254与影像标准信号接收部1271之间的发送接收方式的图。

影像标准信号发送部1254使用影像标准传送路径群1260所包含的多个影像标准传送路径,将影像信号、可见光信号以及可见光同步信号向影像标准信号接收部1271发送。

影像标准信号接收部1271在接收影像信号、可见光信号以及可见光同步信号时,与影像信号以及可见光信号的解释相比优先地将可见光同步信号向可见光信号发送部1273输出。由此,能够抑制由于影像信号以及可见光信号的解释而使得可见光同步信号的输出会延迟。

图326是示出影像标准信号发送部1254和影像标准信号接收部1271之间的具体的发送接收方式的一例的图。

影像标准信号发送部1254使用影像标准传送路径群1260所含的多个影像标准传送路径,将影像信号、可见光信号以及可见光同步信号向影像标准信号接收部1271发送。此时,影像标准信号发送部1254经由影像标准传送路径群1260所含的多个影像标准传送路径中的以影像标准利用的影像标准传送路径,将影像信号以及可见光信号向影像标准信号接收部1271发送。另外,影像标准信号发送部1254经由影像标准传送路径群1260所含的多个影像标准传送路径中的未以影像标准利用的影像标准传送路径,将可见光同步信号向影像标准信号接收部1271发送。

图327是示出影像标准信号发送部1254和影像标准信号接收部1271之间的具体的发送接收方式的另一例的图。

影像标准信号发送部1254与上述同样地,经由以影像标准利用的影像标准传送路径将影像信号以及可见光信号向影像标准信号接收部1271发送。另一方面,对于可见光同步信号,影像标准信号发送部1254也可以经由将来扩充用的影像标准传送路径将该可见光同步信号向影像标准信号接收部1271发送。此外,将来扩充用的影像标准传送路径是标准上为将来扩充用所准备的影像标准传送路径。

图328是示出影像标准信号发送部1254和影像标准信号接收部1271之间的具体的发送接收方式的另一例的图。

影像标准信号发送部1254与上述同样地,经由以影像标准利用的影像标准传送路径将影像信号以及可见光信号向影像标准信号接收部1271发送。另一方面,对于可见光同步信号,影像标准信号发送部1254也可以经由用于发送影像显示器1270所消耗的电力的影像标准传送路径(以下,称为电力发送用传送路径)来将该可见光同步信号向影像标准信号接收部1271发送。由此,可见光同步信号与电力一起被发送。即,影像标准信号发送部1254使可见光同步信号重叠于电力并发送。

图329a以及图329b是示出电力发送用传送路径中发送的电力的图。

在未经由电力发送用传送路径发送可见光同步信号的情况下,如图329a所示,向该电力发送用传送路径继续施加以影像标准决定的电压。另一方面,在经由电力发送用传送路径发送可见光同步信号的情况下,如图329b所示,在该电力发送用传送路径,向以影像标准决定的电压重叠可见光同步信号的电压。在该情况下,以可见光同步信号的最大电压成为影像标准传送路径的额定电压上限以下、可见光同步信号的最小电压成为影像标准传送路径的额定电压下限以上的方式,将可见光同步信号重叠于电力。另外,在该情况下,以重叠有可见光同步信号的期间的电压的平均值与以影像标准决定的电压成为同等的方式,将可见光同步信号重叠于电力。

图330是示出影像标准信号发送部1254和影像标准信号接收部1271之间的具体的发送接收方式的另一例的图。

影像标准信号发送部1254与上述同样地,经由以影像标准利用的影像标准传送路径将影像信号以及可见光信号向影像标准信号接收部1271发送。另一方面,对于可见光同步信号,影像标准信号发送部1254也可以经由在以影像标准发送垂直同步信号中利用的影像标准传送路径,将该可见光同步信号向影像标准信号接收部1271发送。垂直同步信号是用于取得影像的垂直方向的同步的信号。影像标准信号发送部1254发送可见光同步信号作为垂直同步信号。

图331是示出影像标准信号发送部1254与影像标准信号接收部1271之间的具体的发送接收方式的另一例的图。

影像标准信号发送部1254与上述同样地,经由以影像标准利用的影像标准传送路径将影像信号以及可见光信号向影像标准信号接收部1271发送。另一方面,对于可见光同步信号,影像标准信号发送部1254也可以经由在以影像标准发送影像信号、控制信号以及垂直同步信号中利用的影像标准传送路径(以下,称为混合传送路径),将该可见光同步信号向影像标准信号接收部1271发送。影像标准信号发送部1254发送可见光同步信号作为垂直同步信号。

该情况下,与影像信号以及控制信号的解释相比,影像标准信号接收部1271优先地从经由该混合传送路径发送并接收到的信号提取可见光同步信号,并将该可见光同步信号向可见光信号发送部1273输出。

这样,在本实施方式中,与影像信号以及可见光信号的解释相比优先地进行可见光同步信号的提取,因此,能够抑制由于影像信号以及可见光信号的解释而会使可见光同步信号的输出延迟。

(实施方式18)

本公开涉及能够输出可见光通信信号的显示装置及其控制方法。

例如日本特开2007-43706号公报以及日本特开2009-212768号公报公开了使用可见光的通信技术。在日本特开2007-43706号公报以及日本特开2009-212768号公报中,公开了在包括显示器、投影仪等的影像显示装置中,将基于可见光的通信信息重叠于通常的影像显示而进行显示的通信技术。

本公开提供能够不使显示图像的画质较大地劣化地输出可见光通信信号、并且能够降低所输出的可见光通信信号的接收失败(miss)的显示装置及其控制方法。

本公开涉及的显示装置是能够输出可见光通信信号的显示装置,具备:显示面板,其具有显示影像的显示面;显示控制部,其基于影像信号控制所述显示面板,以使得影像显示在所述显示面板的显示面;背光源,其具有从背面对所述显示面板的所述显示面进行照明的发光面;信号处理部,其将所述可见光通信信号重叠于基于所述影像信号生成的背光源控制信号;以及背光源控制部,其将所述背光源的发光面分割为多个区域,根据通过所述信号处理部输出的背光源控制信号,在所述多个区域的各个中进行发光的控制,并且,在所述多个区域的各个中设置以不同的定时进行熄灭的控制的期间,所述信号处理部在将所述可见光通信信号重叠于所述背光源控制信号时,对所述背光源控制信号中的表示所述背光源的熄灭的信号,不重叠所述可见光通信信号。

本公开的显示装置能够不使显示图像的画质较大地劣化地输出可见光通信信号,并且,能够降低所输出的可见光通信信号的接收失败。

[成为本公开的基础的见解]

在近年来的显示装置、尤其是液晶显示器以及使用了液晶的投影仪等领域中,为了改善画质而采用被称为背光源扫描的技术。这里,背光源扫描是指改善液晶的反应速度缓慢和保持型的动态图像模糊的背光源控制方法,将背光源的发光控制为:将显示画面分割为几个区域(背光源区域),按该每个区域定期地依次点亮。更具体而言,背光源扫描是指如下的控制方法:设置背光源熄灭期间,在各背光源区域中,使周期性地进行的熄灭期间(消隐期间)的定时不同。一般多控制为使消隐期间的定时与液晶的扫描定时相匹配。

但是,如日本特开2007-43706号公报所公开的那样,在可见光通信中,采用利用背光源的闪烁来重叠可见光通信信号的方法。因此,背光源的熄灭时间中,不能进行可见光通信信号的发送,另外,该停止期间成为信号的传递失败的因素,因此,只能在停止背光源扫描而使画质降低的状态下进行通信。

于是,本公开提供能够不使显示图像的画质较大地劣化地输出可见光通信信号,并且,能够降低所输出的可见光通信信号的接收失败(miss)的显示装置。

以下,适当参照附图,对实施方式详细地进行说明。但是,存在省略不必要的详细说明的情况。例如,存在省略针对已经知道的事项的详细说明和/或实质上相同的结构的重复说明的情况。这是为了避免以下的说明变得不必要的冗长,为了使本领域技术人员容易理解。

此外,申请人为了使本领域技术人员充分地理解本公开而提供了附图以及以下的说明,但并不旨在据此限定权利要求书所记载的主题。

以下,使用图332~图339来说明实施方式18。

[1.结构]

图332是示出实施方式18涉及的可见光通信的系统的一例的概略图。

[1.1.可见光通信系统的结构]

图332所示的可见光通信系统1300具备:显示装置1400和智能电话1350。

显示装置1400例如是电视机,能够在显示面1410上显示影像。另外,显示装置1400也能够在该显示面1410上重叠可见光通信信号。

智能电话1350是接收可见光通信信号的电子设备的一例,能够接收从显示装置1400发送的可见光通信信号。由此,智能电话1350的用户能够接收与显示装置1400上显示的影像相关联的信息等。

此外,在本实施方式中,对于显示装置1400,举出电视机、显示器等显示影像的监视器为例来进行说明,但是不限于此。显示装置1400也可以是如投影仪那样投影影像的设备。另外,作为接收显示装置1400所输出的可见光通信信号的电子设备,举出智能电话1350为例,但是,只要是能够接收可见光通信信号的电子设备即可,不限于智能电话。例如,对于电子设备,可以是以jeita-cp1222为标准的接收装置。另外,该电子设备也可以是一般的便携终端,而不限于智能电话。另外,电子设备也可以通过接收可见光通信信号,并对所接收的可见光通信信号进行解码来获得信息。

另外,传递可见光通信信号的信息传递方式也可以遵循现在正向国际标准发展的jeita-cp-1223或者已作成的ieee-p802.15等标准。换言之,电子设备也可以构成为使用与这些标准对应的接收装置。

[1.2.显示装置的结构]

图333是示出实施方式18涉及的显示装置的概略结构的一例的框图。

图333所示的显示装置1400是能够输出可见光通信信号的显示装置,具有:第1输入部1420、第1处理部1430、第1控制部1440、显示面板1450、第2输入部1460、第2处理部1470、第2控制部1480和背光源1490。

第1输入部1420供与显示面板1450所显示的影像相关的影像信号输入。影像信号从例如广播电波、影像录像机、播放机或pc等通过例如天线线缆、影像信号线、复合线缆、hdmi(注册商标)线缆、pjlink线缆或lan线缆等被输入到第1输入部1420。这里,影像信号使用影像录像机或播放机等被保存于各种记录介质。

第1处理部1430通过第1输入部1420被输入影像信号。第1处理部1430针对影像信号实施画质处理等一般的图像处理。第1处理部1430将实施图像处理后的影像信号向第1控制部1440发送。另外,第1处理部1430将表示子帧和/或影像信号的大小、显示定时、明亮度等的信息向第1控制部1440以及第2处理部1470发送。

此外,第1处理部1430也可以将基于影像信号计算出的占空比和/或针对各区域的背光源控制信号(以下,记载为b.l控制信号)向第2处理部输出。

显示面板1450例如是液晶面板,具有显示影像的显示面1410。

第1控制部1440是显示控制部的一例,将显示面板1450控制为:基于影像信号在显示面板1450的显示面1410显示影像。在本实施方式中,第1控制部1440控制为:基于从第1处理部1430发送的影像信号在显示面板1450显示影像。更具体而言,第1控制部1440基于从第1处理部1430发送的影像信号来进行显示面板1450的液晶的开口控制等。

第2输入部1460供用于可见光通信的信号(以下,称为可见光通信信号)输入,将所输入的可见光通信信号向第2处理部1470发送。在本实施方式中,例如由pc等生成的可见光通信用信号通过专用线缆或lan线缆等而向第2输入部1460输入可见光通信信号。

此外,可见光通信用信号也可以重叠于广播电波的一部分,通过天线线缆被输入到第2输入部1460。另外,也可以是,通过影像录像机或播放机被保存于各种记录介质的可见光通信信号被输入到第2输入部1460。例如,也可以从录制了可见光通信信号的影像录像机将可见光通信信号加载于hdmi(注册商标)线缆和/或pjlink线缆等的一部分的线(line),并向第2输入部1460输入。另外,也可以是,由另外的pc等生成的可见光通信用信号被重叠于影像信号,被从影像录像机或播放机向第2输入部1460输入。

此外,第2输入部1460除了从外部接收以外,还可以利用显示装置的id等内置于显示装置的信息,通过因特网等读入服务器信息,由此,取得可见光通信信号。

第2处理部1470对通过第2输入部1460输入的可见光通信信号进行编码而进行编码信号的生成、基于影像信号和/或可见光通信信号的占空比的计算等。另外,第2处理部1470将编码信号重叠于从第1处理部1430输入的b.l控制信号。

在本实施方式中,编码信号作为以某比例混合on(开)期间和off(关)期间的信号来进行说明。另外,编码信号原则上取为基于i-4ppm方式被编码来进行说明。此外,编码信号也可以是基于曼彻斯特方式等被编码。另外,调制后的信号被记载为调制率100%的on/off,但是不限于此。在调制率不是100%,而是使用了高/低的调制时,以下记载的on/off也可以替读为高/低等来进行实施。可见光通信信号的占空比不仅可以作为用信号发送期间整体将on期间标准化后的值进行对待,也可以与(高水平×高期间+低水平×低期间)/(信号发送期间×高水平)相呼应地替读来实施。

更具体而言,第2处理部1470是信号处理部的一例,进行将可见光通信信号重叠于基于影像信号生成的背光源控制信号的处理。但是,第2处理部1470在将可见光通信信号重叠于背光源控制信号时,针对背光源控制信号中的表示背光源的熄灭的信号,不重叠可见光通信信号。此外,也存在将编码后的可见光通信信号(编码信号)记载为可见光通信信号的情况。

第2控制部1480是背光源控制部的一例,将背光源1490的发光面分割为多个区域,根据通过第2处理部1470输出的背光源控制信号(b.l控制信号),在多个区域的各个中进行发光的控制,并且,进行在多个区域的各个中设置以不同定时进行熄灭控制的期间的控制。在本实施方式中,第2控制部1480基于从第2处理部1470发送的背光源控制信号(b.l控制信号),来控制背光源1490的亮度和/或定时。

背光源1490针对显示面板1450从背面侧照射光。更具体而言,背光源1490具有从背面对显示面板1450的显示面1410进行照明的发光面。由此,视听者能够对显示面板1450所显示的影像进行视觉辨认。

在本实施方式中,背光源1490的发光面被分割为多个区域,通过按该每个区域依次进行发光控制而能够实现背光源扫描。此外,背光源1490的发光面的多个区域与显示面1410的多个区域对应。

[2.显示装置的动作]

接着,对于以上那样构成的显示装置1400的动作进行说明。

在显示装置1400中,进行如下的背光源扫描:以背光源一边依次对显示面板1450的画面整体进行扫描,一边与影像信号的写入相匹配地依次进行熄灭。

一般地,在由液晶构成的显示面板中,液晶相变化的速度慢,即便为了显示不同的灰度而切换影像信号,在影像被切换之前会花费时间。因此,为了通过一边扫描显示面板的背光源、一边暂时地熄灭背光源,来改善因显示切换中的影像而引起的洇染等动态图像特性,而进行背光源扫描。另一方面,切换用的扫描速度逐年提高,从通常1秒钟60帧的扫描速度到1秒钟60帧的2倍、4倍等快的扫描速度都成为可能。在以快速度进行扫描的情况下,通过进行通常的帧间的帧增补来一点一点地切换图像,能够得到平滑的动态图像特性。

因此,为了提高动态图像特性,使背光源一边进行扫描、一边进行熄灭的背光源扫描是非常重要的,可见光通信信号也在背光源扫描的熄灭时不发出信号,这对动态图像特性是有益的。

由于以上的理由,在显示装置1400中,在背光源扫描的熄灭期间(以下,记载为消隐期间)中,不输出可见光通信信号。

以下,对于显示装置1400在背光源控制信号(b.l控制信号)的消隐期间不输出可见光通信信号的情况下,在例如智能电话1350等接收机侧,也能够以高概率接收可见光通信信号的方法(动作)进行说明。

(实施例1)

[2.1.1.第2处理部的动作的一例]

图334a是示出在实施方式18的实施例1涉及的b.l控制信号上重叠可见光通信信号前的状态的一例的图,图334b是示出在实施方式18的实施例1涉及的b.l控制信号上重叠了可见光通信信号的状态的一例的图。

图334a以及图334b示出为了按作为分割后的显示面1410的显示区域的8个区域a~h的各个进行背光源1490的控制,而输入各自所对应的b.l控制信号a~h的例子。阴影线部分示出存在编码信号(可见光通信信号)的区域。

将图334a所示的编码信号以分别不同的相位重叠于b.l控制信号a~h,在接收机侧接收的范围内不同相位的编码信号混合存在的情况下,当在接收机侧解码时,会产生错误(可见光通信信号的接收错误)。

于是,在本实施例中,如图334b所示,在显示区域的一定区域中,调整编码信号(可见光通信信号)的相位来进行重叠。

这里,对于调整相位这一表现,举出使上升的定时同步这一例来进行说明,但是不限于此。只要决定以从上升开始前的状态到上升结束的状态的哪一时刻作为上升时刻即可,无论哪个时刻都可以。另外,由于控制信号电压路径上会产生延迟时间等,因此,并不是仅定时一致才是取得同步这一意思,存在一定的、或者一定范围内的延迟时间的情况也包含于与相位相匹配这一表现中。以下的实施方式(实施方式18~23)中也是同样的。

这里,通过依次扫描,背光源依次按各个区域被熄灭,因此,以完全不包含熄灭期间(消隐期间)的方式重叠编码信号是困难的。因此,在本实施例中,在分割后的显示区域中的特定区域(以下,称为基准区域)中,使定时调整到紧接熄灭期间(消隐期间)之后来重叠编码信号。此外,在特定区域(基准区域)以外的其它区域中,也以与基准区域的编码信号相同的相位来重叠编码信号,但在作为背光源熄灭时的熄灭期间(消隐期间)不重叠编码信号。

在图334b所示的例子中,第2处理部1470将输入b.l控制信号c的区域c设定为基准区域,对编码信号的重叠定时进行调整以使得编码信号的前头(上升定时)p2在图334a所示的b.l控制信号c的上升定时p1到来之后,以同相位将编码信号重叠于b.l控制信号a~h。并且,第2处理部1470在将编码信号重叠于b.l控制信号a~h时,在b.l控制信号的on期间重叠编码信号,在off期间不进行重叠。

此外,基准区域不限于上述的区域c。以下,对于在本实施例中能够设定的基准区域的例子进行说明。例如,基准区域可以被设定为分割后的显示区域中最明亮的区域(消隐期间短的区域或者显示面板的透射率最高的区域)。

此外,在将最明亮的区域设定为基准区域的情况下,当使基准区域的位置按每帧变化时,也还需要采取进一步的对策。这是由于考虑到:按每帧重叠的编码信号的位置会变化,影像重心会按每帧而极端地变化,成为闪烁的原因。或者,由于还考虑到:重叠的编码信号的期间在区域间相互重合,若不实施在中途停止相互重合的编码信号中的一方或在最初的预定期间不重叠等对策,则在接收侧会产生接收错误。因此,在按每帧使基准区域的位置变化的情况下,也可以在至少1帧的期间设置不使编码信号重叠的期间。

另外,在将明亮的区域设定为基准区域的情况下,也可以为:并不以每帧的显示区域的明亮度作为基准来判断明亮的区域,而是通过第1处理部1430基于影像信号以图像的明亮度的中心的推移为基准来判断明亮的区域。

另外,在一定时间内没有场面的切换等显示区域整体的明亮度没有一定以上的变化的情况下,也可以基于一定时间的影像信号的平均将包含显示区域中最明亮的场所的区域设定为基准区域。此外,基准区域也可以是事先决定的。

[2.1.2.效果等]

如以上那样,在本实施例中,显示装置是能够输出可见光通信信号的显示装置(1400),具备:显示面板(1450),其具有显示影像的显示面;显示控制部(第1控制部1440),其将所述显示面板控制为基于影像信号在所述显示面板的显示面显示影像;背光源(1490),其具有从背面对所述显示面板(1450)的所述显示面进行照明的发光面;信号处理部(第2处理部1470),其将所述可见光通信信号重叠于基于所述影像信号生成的背光源控制信号;以及背光源控制部(第2控制部1480),将所述背光源(1490)的发光面分割为多个区域,根据通过所述信号处理部(第2处理部1470)输出的背光源控制信号,在所述多个区域的各个中进行发光的控制,并且,在所述多个区域的各个中设置以不同定时进行熄灭控制的期间,所述信号处理部(第2处理部1470)在将所述可见光通信信号重叠于所述背光源控制信号时,针对所述背光源控制信号中的表示所述背光源(1490)的熄灭的信号,不重叠所述编码信号。

通过该结构,能够提供可以不较大地使显示图像的画质劣化地输出可见光通信信号,并且,可以使所输出的可见光通信信号的接收失败降低的显示装置。

另外,也可以是,所述信号处理部(第2处理部1470)针对所述多个区域的各自的所述背光源控制信号分别重叠所述可见光通信信号,与所述多个区域分别重叠的所述可见光通信信号相互是同相位的。

由此,能够抑制可见光通信信号的接收错误。

这里,例如,也可以是,所述信号处理部以所述多个区域中的预定区域的所述背光源控制信号为基准,来调整重叠于所述多个区域的各个区域的所述可见光通信信号的相位。

由此,能够使与消隐期间不重叠的可见光通信信号的期间最小。

另外,所述预定区域既可以是所述多个区域中的最明亮的区域,所述预定区域又可以是所述多个区域中的与所述显示面的端部对应的区域。

由此,能够抑制因基于可见光通信信号的背光源的熄灭而造成的亮度降低的影响。

(实施例2)

以下,设为消隐期间的时间长度在显示区域的各区域中相同来进行说明。

背光源1490熄灭的时间的合计(总熄灭期间)为作为b.l控制信号的off期间的消隐期间和编码信号的off期间求和而得的期间。

因此,即便在基准区域中,在消隐期间刚结束后就重叠编码信号,并且,在从该消隐期间到下一消隐期间为止完全包含编码信号,背光源1490熄灭的期间也会增加与重叠于b.l控制信号的编码信号的off期间相应的量。即,在基准区域中,在重叠了编码信号的情况下,会比重叠编码信号前暗。

另一方面,由于在例如基准区域以外的其它区域中,不在消隐期间重叠编码信号,因此,与基准区域相比,背光源1490熄灭的时间会短与消隐期间重合且不重叠编码信号的编码信号期间中的off期间。即,在例如基准区域以外的其它区域中,在不重叠编码信号的情况下,有时也会比基准区域明亮。

为了对此进行改善,可考虑设置将背光源1490点亮或熄灭的调整期间的两个方法。即,作为第1方法,存在由于基准区域的总熄灭期间最长,而使其它区域的总熄灭期间与基准区域的总熄灭期间相匹配的方法。作为第2方法,存在使所有区域的总熄灭期间与基于原来的影像信号决定的总熄灭期间相匹配的方法。

[2.2.1.基于第1方法的第2处理部的动作的一例]

首先,使用图335以及图336,对基于第1方法的第2处理部1470的动作进行说明。

图335以及图336是用来说明实施方式18的实施例2的第1方法的时序图。图335的(a)示出重叠编码信号前的基准区域的b.l控制信号,图335的(b)示出重叠编码信号后的基准区域的b.l控制信号。图336的(a)示出重叠编码信号前的其它区域的b.l控制信号,图336的(b)示出重叠编码信号后的其它区域的b.l控制信号。

更具体而言,图335示出第2处理部1470将基准区域的b.l控制信号的上升定时(时刻t12)调整为编码信号的前头(上升定时)后,将编码信号重叠于b.l控制信号的例子。图336示出第2处理部1470将与重叠于基准区域的编码信号同相位的编码信号重叠于其它区域的b.l控制信号的例子。

即,图335以及图336示出第2处理部1470针对各区域的b.l控制信号,在与基准区域的消隐期间结束的同时,与其它区域同相位地重叠编码信号的情况的例子。此外,各区域的消隐期间是优先的,这与实施例1是同样的,在消隐期间不重叠编码信号。

如图335的(b)所示,在基准区域中,在表示为例如时刻t11~时刻t12的期间的消隐期间b1以外,存在表示为例如时刻t12~时刻t14的期间的编码信号期间c1中的合计编码信号的off期间而得的编码信号熄灭期间t1。

因此,在图335的(b)所示的基准区域中,表示为例如时刻t11~时刻t13的期间的1帧内的编码信号的off期间的合计(编码信号熄灭期间),在使用编码信号的占空比(duty)时,能够表示为:编码信号熄灭期间t1=编码信号期间c1×(1-duty)。

如图335的(b)所示,在基准区域中,基本上没有编码信号期间c1和消隐期间b1相互重合的期间,因此,成为1帧的总熄灭期间t2=消隐期间b1+编码信号熄灭期间t1。即,与其它区域相比较,基准区域的总熄灭期间会最长。

另一方面,在基准区域以外的其它区域中,存在编码信号期间和消隐期间重合的可能性。如上所述,在消隐期间,b.l控制信号比编码信号优先,因此,不重叠编码信号。

因此,如图336的(b)所示,在基准区域以外的其它区域中,与基准区域相比,总熄灭期间会短表示为例如时刻t21~时刻t24的期间的编码信号期间c1中的与表示为时刻t22~时刻t23的期间的消隐期间b2重合的编码信号期间c1的编码信号的off期间的相应量。

这里,若设编码信号与消隐期间重合的期间为b2,则编码信号期间c1中的编码信号的off期间的合计(编码信号熄灭期间)表示为:(编码信号熄灭期间)=(编码信号期间c1-消隐期间b2)×(1-duty)。

然而,如上所述,若画面(显示区域)的每个区域的总熄灭期间不同,则会产生基于区域的亮度的偏差,因此,画质降低。

于是,第2处理部1470根据设置将背光源1490点亮或熄灭的调整期间的第1方法来工作,由此,在画面内使各区域的总熄灭期间一致。

更具体而言,第2处理部1470根据使其它区域的总熄灭期间与基准区域的总熄灭期间相匹配的第1方法,在其它区域中,设置调整与基准区域的1帧平均的总熄灭期间之差的调整期间。此外,如上所述,在本实施例中,作为前提,各区域的消隐期间的时间长度相同。

这里,在图336的(b)中,表示为时刻t24~时刻t26的期间的调整期间a1可以表示为:消隐期间b2×(1-duty)。即,基准区域以外的各区域中的调整期间能够通过包含基准区域的各区域的消隐期间、编码信号期间以及编码信号的相位来算出。在图336的(b)中,示出调整期间配置于表示为时刻t21~时刻t25的期间的1帧的情况的一例。

这样,本实施例的显示装置1400使第2处理部1470根据第1方法设置调整期间。由此,显示装置1400由于将编码信号重叠于b.l控制信号而会使画面整体(显示区域)的明亮度有一定量降低,但是能够不使画质自身较大地变化地输出编码信号。

此外,第2处理部1470在紧接编码信号期间之后设置调整期间的情况下,能够将调整期间稳定地配置在尽量靠近显示面板1450的液晶的相变化大的消隐期间的部位,因而是优选的,但不限于该情况。第2处理部1470也可以在重叠下一编码信号的时刻之前设置调整期间。

[2.2.2.基于第2方法的第2处理部的动作的一例]

接着,对基于第2方法的第2处理部1470的动作进行说明。

为了调整总熄灭期间而将背光源1490点亮或熄灭的调整期间,通常能够例如定义如下。即,若将基于影像信号的原来的背光源1490的熄灭期间(消隐期间和黑影像期间)设为t4,将编码信号期间中的不与消隐期间重叠的编码信号期间的编码信号的off期间的合计设为t5,将重叠可见光通信信号后的消隐期间设为t6,则调整期间可以表示为:t4-t5-t6。此外,如上所述,调整期间优选设置在尽量靠近消隐期间的部位。

例如,在基准区域中,t5能够如下这样算出:首先,计算编码信号期间的编码信号的off期间的合计,接着,减去与消隐期间重叠的编码信号期间的off期间的合计。

以下,使用图337a~图338d对基于第2方法的第2处理部1470的动作的具体例进行说明。

图337a~图338d是用来说明实施方式18的实施例2的第2方法的时序图。

首先,使用图337a~图337d,对于在编码信号期间与消隐期间不重叠的情况下,第2处理部1470通过第2方法设置调整期间的动作进行说明。

在图337a~图337d中,上部的(a)示出编码信号重叠前的b.l控制信号,下部的(b)至(e)示出重叠了编码信号的b.l控制信号和通过第2方法调整后的b.l控制信号。在图中,将消隐期间表示为b1,将编码信号期间表示为c1。

通过第2方法来调整重叠了编码信号的b.l控制信号的方法,根据调整期间、编码信号期间和消隐期间的和(时间和)与调整期间的正负的关系,分为图337a~图337d所示的4种情况。以下,对各个情况进行说明。

[编码信号期间与消隐期间不重叠的情况下的调整方法(情形1)]

图337a示出调整期间为0以上且(调整期间+编码信号期间+消隐期间)为1帧的长度以下的情况下的一例。

如图337a的(b)的上部所示,将调整期间的一部分配置为以消隐期间b1的结束时刻p2为起点到编码信号期间c1的开始时刻p3为止的期间,将调整期间的其余部分配置在编码信号期间后,优选配置在紧接编码信号期间后(时刻p5)。

第2处理部1470通过设置如图337a的(b)的上部所示的调整期间,如图337a的(b)的下部所示,调整重叠编码信号后的b.l控制信号。

这样,第2控制部1480根据调整后的b.l控制信号,在消隐期间b1后直至编码信号期间c1开始前也将背光源1490熄灭,进一步,在编码信号期间c1结束后直至从调整期间减去p2-p3间的期间而得的期间为止熄灭背光源1490。

此外,在调整期间比p2-p3间的期间短的情况下,仅将调整期间设置于p2-p3间即可。另外,在p2=p3的情况下,也可以将调整期间全部设置在编码信号期间c结束后。

[编码信号期间与消隐期间不重叠的情况下的调整方法(情形2)]

图337b示出调整期间为0以上且(调整期间+编码信号期间+消隐期间)比1帧的长度长的情况下的一例。

如图337b的(c)的上部所示,将调整期间的一部分配置于以消隐期间b1的结束时刻p2为起点直至编码信号期间c1开始的时刻p3之前的期间,将调整期间的其余部分以1帧的结束时刻p4为起点回溯地配置。

第2处理部1470通过设置如图337b的(c)的上部所示的调整期间,如图337b的(c)的下部所示那样,调整重叠编码信号后的b.l控制信号。

这样,第2控制部1480根据调整后的b.l控制信号,在消隐期间b1后直至编码信号期间c1的开始时刻p3之前熄灭背光源1490,并且,从编码信号期间c1结束前的时刻p5到时刻p4为止的期间也熄灭背光源1490。即,从调整期间的其余部分和编码信号期间c1重叠的时刻p5到编码信号期间c1的结束时刻p10,编码信号不重叠于调整后的b.l控制信号,以便不被发送(或将信号设为off)。

此外,在p2=p3(同时刻)的情况下,将调整期间全部设置在编码信号期间后。

[编码信号期间与消隐期间不重叠的情况下的调整方法(情形3)]

图337c示出调整期间比0小且(调整期间+编码信号期间+消隐期间)为1帧的长度以下的情况下的一例。这里,比0小的调整期间是指点亮背光源1490的调整期间的意思。

如图337c的(d)的上部所示,将调整期间配置于以消隐期间b1的结束时刻p2为起点,回溯与调整期间的绝对值相当的时间的量的期间(时刻p6~时刻p2的期间)。

第2处理部1470通过设置如图337c的(d)的上部所示的调整期间,如图337c的(d)的下部所示那样,调整重叠编码信号后的b.l控制信号。

这样,第2控制部1480根据调整后的b.l控制信号,在从消隐期间b1中的时刻p6开始到时刻p2为止的期间点亮背光源1490。

此外,在p2=p3的情况下,将调整期间全部配置在编码信号期间c1后即可。另外,在调整期间比消隐期间长的情况下,也可以是,考虑编码信号的占空比,从编码期间c1的结束时刻回溯地不重叠编码信号直至能够确保不足的量的点亮时间,来设定为熄灭期间。

[编码信号期间与消隐期间不重叠的情况下的调整方法(情形4)]

图337d示出调整期间比0小且(调整期间+编码信号期间+消隐期间)比1帧的长度长的情况下的一例。

如图337d的(e)的上部所示,将调整期间配置于以消隐期间b1结束的时刻p2为起点,回溯与调整期间的绝对值相当的时间的量的期间(时刻p7~时刻p2的期间)。由此,消隐期间b1中的时刻p7至时刻p2为止的期间的背光源1490被点亮。

此外,无论消隐期间和编码信号期间是否重叠,而且,若鉴于调整期间为负,则调整期间的绝对值比消隐期间长的情况也要被考虑。该情况下,若将调整期间全部配置为以消隐期间b1结束的时刻p2为起点,则时刻p7成为时刻p1或比时刻p1靠前的时刻,消隐期间会不存在。在不仅需要消隐期间中全部点亮,另外还需要点亮背光源1490(使区域明亮)时,作为调整期间中的除了与消隐期间对应的量之外的其余期间,使编码信号期间的编码信号的off期间点亮即可。即,将调整期间的其余部分的期间配置于从时刻p9回溯后的期间(时刻p8),停止编码信号的重叠而继续点亮即可。

这里,时刻p8需要根据原来的消隐期间b1与从编码信号期间c1减去时刻p8-p9间的期间而得的期间的off期间的合计相等来决定。具体而言,能够基于消隐期间b1=(编码信号期间c1-(时刻p9-时刻p8))×(1-duty)的关系,算出时刻p8。

由此,第2处理部1470能够调整b.l控制信号,以使得第2控制部1480除了消隐期间b1之外,从时刻p8开始之后直至下一消隐期间的开始为止继续点亮背光源1490。

此外,在p2=p3的情况下,将调整期间全部配置在编码信号期间c1后即可。

接着,使用图338a~图337d,对于编码信号期间与消隐期间重叠的情况下,第2处理部1470通过第2方法设置调整期间的动作进行说明。

在图338a~图338d中,上部的(a)示出编码信号重叠前的b.l控制信号,下部的(b)至(e)示出重叠了编码信号的b.l控制信号和通过第2方法调整后的b.l控制信号。在图中,将消隐期间表示为b1,将编码信号期间表示为c1,将时刻q1至时刻q6表示为1帧期间。

通过第2方法调整重叠编码信号后的b.l控制信号的方法,根据调整期间、编码信号期间和消隐期间的和与调整期间的正负的关系,分为图338a~图338d所示的4种方法。以下,对各个情况进行说明。

[编码信号期间和消隐期间重叠的情况下的调整方法(情形1)]

图338a示出调整期间为0以上且(调整期间+编码信号期间+消隐期间)为1帧的长度以下的情况下的一例。

如图338a的(b)的上部所示,将调整期间配置为以编码信号期间c1结束的时刻q4为起点。

第2处理部1470通过设置如图337a的(b)的上部所示的调整期间,如图338a的(b)的下部所示,将b.l控制信号调整为:在作为调整期间的时刻q4至时刻q5的期间、并且与消隐期间b1重叠的时刻q2至时刻q3的期间中,不重叠编码信号。

这样,第2控制部1480根据调整后的b.l控制信号,在与消隐期间b1重叠的时刻q2至时刻q3的期间、并且时刻q4至时刻q5的期间中,熄灭背光源1490。此外,时刻q4至时刻q5的期间,熄灭背光源1490,并且不进行编码信号的发送。

[编码信号期间和消隐期间重叠的情况下的调整方法(情形2)]

图338b示出调整期间为0以上且(调整期间+编码信号期间+消隐期间)为1帧的长度以上的情况下的一例。

如图338b的(c)的上部所示,将调整期间配置于以下一帧的编码信号开始的时刻q6为起点回溯作为与调整期间对应的量的时刻q8至时刻q6的期间。

第2处理部1470通过设置图338b的(c)的上部所示的调整期间,如图338b的(c)的下部所示,将b.l控制信号调整为:在作为调整期间的时刻q8至时刻q6的期间、并且与消隐期间b1重叠的时刻q2至时刻q3的期间中,不重叠编码信号。

这样,第2控制部1480根据调整后的b.l控制信号,在与消隐期间b1重叠的时刻q2至时刻q3的期间、并且在时刻q8至时刻q6的期间中,熄灭背光源1490。此外,时刻q8至时刻q6的期间中,熄灭背光源1490,并且不进行编码信号的发送。

[编码信号期间和消隐期间重叠的情况下的调整方法(情形3)]

图338c示出调整期间比0小且(调整期间+编码信号期间+消隐期间)为1帧的长度以上的情况下的一例。

如图338c的(d)的上部所示,将调整期间配置于以消隐期间b1的结束时刻q3为起点,回溯与调整期间的绝对值相当的时间的量的期间。

第2处理部1470通过设置图338c的(d)的上部所示的调整期间,如图338c的(d)的下部所示那样,将b.l控制信号调整为:在作为调整期间的时刻q9至时刻q3的期间中点亮背光源1490,并且,将b.l控制信号调整为,不在消隐期间b1重叠编码信号。

这样,第2控制部1480根据调整后的b.l控制信号,在时刻q9至时刻q3的期间中点亮背光源1490。

此外,也可以在调整期间重叠编码信号。该情况下,将调整期间延长与编码信号的off期间的合计对应的量即可。进而,在调整期间比消隐期间长的情况下,基于编码信号的占空比,通过在从编码期间c1的结束时刻起回溯调整期间中的点亮时间的不足的量而得到的预定期间中不重叠编码信号来使背光源1490点亮即可。

编码信号期间和消隐期间重叠的情况下的调整方法(情形4)]

图338d示出调整期间比0小且(调整期间+编码信号期间+消隐期间)比1帧的长度长的情况下的一例。

如图338d的(e)的上部所示,将调整期间配置于以消隐期间b1的结束时刻q3为起点,直至回溯与调整期间的绝对值相当的时间的量后的时刻q10的期间。

由此,与消隐期间b1重叠的时刻q10至时刻q3的期间的背光源1490被点亮。

此外,也可以是,将该调整期间延长与编码信号的off期间的合计对应的量,在调整期间重叠编码信号。

另外,与利用图337d的(e)的说明同样地,在调整期间非常长,其绝对值比消隐期间b1大的情况下,作为调整期间中的除去消隐期间b1的量后的其余期间,使编码信号期间的编码信号的off期间点亮即可。

这里,时刻q11需要根据原来的消隐期间b1与从编码信号期间c1减去时刻q11-q12间的期间而得的期间的off期间的合计相等来决定。具体而言,能够基于消隐期间b1=(编码信号期间c1-(时刻q12-时刻q11))×(1-duty)的关系,算出时刻q11。

由此,第2处理部1470能够将b.l控制信号调整为,第2控制部1480除了消隐期间b1之外,在时刻q11~下一消隐期间的开始时刻q7继续点亮。

[2.2.3.效果等]

如上述所述,根据本实施例,通过使基于可见光通信的编码信号的熄灭期间均匀化或者进行返回至与原来的影像信号同等的调整,能够兼顾背光源扫描等用于提高动态图像特性的背光源控制法和使用了背光源的可见光通信信号的发送。

这里,例如,在本实施例的显示装置中,也可以是,所述信号处理部(第2处理部1470)在将所述可见光通信信号重叠于所述背光源控制信号时,所述多个区域中存在所述背光源控制信号中的表示所述背光源的熄灭的信号的期间和被重叠的所述可见光通信信号的期间重复的区域的情况下,在所述重复的区域,设置用于调整所述重复的区域的亮度的点亮调整期间,在所述点亮调整期间中,调整所述背光源控制信号的on/off。

由此,在可见光通信信号期间与背光源的熄灭期间重叠的区域中,在通过设置调整期间,使可见光通信信号(编码信号)重叠于b.l控制信号的情况下,显示区域内的亮度的差能够难以变得明显。

此外,在本实施例中,将基准区域作为明亮的区域进行了说明,但是,也可以替读为是显示面板1450的开口被设定为大的区域。

(实施例3)

[2.3.1.基于第2方法的第2处理部的动作的一例]

在实施例2中,通过设置将背光源1490点亮或熄灭的调整期间,使显示面板1450的显示面1410(显示区域)的亮度均匀化,但是不限于此。

在本实施例中,使用图339对不设置调整期间的方法进行说明。

图339是用来说明在实施方式18的实施例3的b.l控制信号上重叠可见光通信信号的方法的时序图。这里,图339的(a)示出预定区域的b.l控制信号。此外,在本实施例中,仅利用波形的上升信号作为信号检测来进行说明。

如图339所示,也可以是,不设置调整期间,通过使可见光通信信号的占空比、即信号的高期间变化与调整期间相当的量,来调制区域的亮度。

具体而言,例如实施例2的调整期间为正数的情况下,即,进行熄灭背光源1490的调整的情况下,如图339的(b)所示那样使b.l控制信号的高期间变短即可。

另外,例如实施例2的调整期间为负数的情况下,即,进行点亮背光源1490的调整的情况下,如图339的(c)所示那样使b.l控制信号的高期间延长即可。

此外,还考虑按显示区域的各个区域,b.l控制信号的占空比变化的情况。该情况下,为了使b.l控制信号在面内以一定的占空比来驱动,也可以将包含占空比的变化来重新计算而算出的实施例2的调整期间和如本实施例那样使可见光通信信号的高期间变化的方法组合来使用。

进而,在上述中,通过进行利用了背光源1490的高期间的控制(pwm控制:pulsewidthmodulation)的亮度的控制,对面内的均匀性、防止画质劣化进行了说明,但是不限于此。进行背光源控制的第二控制部180也可以通过控制向各区域的背光源1490供给的电流,使可见光通信区域的亮度接近可见光通信区域以外的区域的亮度。进而,也可以通过背光源1490的pwm控制和电流控制的组合使可见光通信区域的亮度接近可见光通信区域以外的区域的亮度。

[2.3.2.效果等]

如上所述,根据本实施例,通过使基于可见光通信的编码信号的熄灭期间均匀化或者进行返回至与原来的影像信号同等的调整,能够兼顾背光源扫描等用于提高动态图像特性的背光源控制法和使用了背光源的可见光通信信号的发送。

此外,在本实施例中,仅利用上升信号作为信号检测来进行了说明,但是不限于此。在保持下降部分的位置而变更上升的位置的b.l控制信号的情况下,也可以利用下降信号来进行信号检测。在本实施方式中,以b.l控制信号的上升为基准重叠编码信号,但是,也可以以下降等其它的b.l控制信号的特征性定时作为基准,也可以以影像信号本身的同步信号作为基准。另外,也可以生成从影像的同步信号开始延迟一定时间后的信号,并将该信号作为基准。

[3.效果]

以上,根据本实施方式,能够实现可以不使显示图像的画质较大地劣化地输出可见光通信信号,并且,可以降低所输出的可见光通信信号的接收失败的显示装置。

(实施方式19)

在实施方式18中,对于编码信号期间比b.l控制信号的on期间短的情况下的显示装置1400的动作进行了说明。在本实施方式中,对于编码信号期间比b.l控制信号的on期间长的情况下的显示装置1400的动作进行说明。

[1.显示装置的动作]

以下,以第2处理部1470的动作为中心进行说明。

图340是用来说明实施方式19的第2处理部的动作的流程图。

首先,在步骤s1301中,第2处理部1470对可见光通信信号进行再编码。更具体而言,第2处理部1470对可见光通信信号进行编码后,生成(再编码)附加了头等的编码信号。另外,第2处理部1470基于编码信号的载频,计算编码信号的发送时间。

接着,在步骤s1302中,第2处理部1470判断编码信号长度是否比b.l控制信号的on期间(点亮时间)大。

更具体而言,第2处理部1470比较根据第1处理部1430计算出的b.l控制信号的占空比点亮背光源1490的时间(点亮时间)和编码信号的发送时间长度(编码信号长度)。第2处理部1470在判断为编码信号的发送时间长度短的情况下(s1302中的“否”),进入步骤s1306,在判断为编码信号的发送时间长度长的情况下(s1302的“是”),进入步骤s1303。

接着,在步骤s1303中,第2处理部1470判断是否进行可见光通信。第2处理部1470在判断为进行可见光通信的情况下(s1303的“是”),进入步骤s1304,在判断为不进行可见光通信的情况下(s1303中的“否”),进入步骤s1309。

接着,在步骤s1304中,第2处理部1470对可见光通信信号进行再编码。具体而言,第2处理部1470在头部分以作为通常数据而不可能存在的信号排列被编码的情况下,重新进行生成(再编码)以使得头部分的信号占空比以几乎off的状态构成。之后,第2处理部1470进行提前编码信号的发送开始时间的处理,以使得头部分的最后的信号(在最后端存在的表示on状态的信号)与b.l控制信号的上升定时相匹配。此外,详细情况后述。

接着,在步骤s1305中,第2处理部1470判定编码信号长度是否比b.l控制信号的on期间(点亮时间)大。

更具体而言,第2处理部1470比较基于b.l控制信号的占空比的背光源1490的点亮时间和编码信号的发送时间长度。并且,第2处理部1470在判断为编码信号的发送时间长度短的情况下(s1305中的“否”),进入步骤s1306,在判断为编码信号的发送时间长度长的情况下(s1305的“是”),进入步骤s1307。

这里,在步骤s1306中,第2处理部1470将编码信号重叠于b.l控制信号的消隐期间以外的部分(即,b.l控制信号的on期间)并向第2控制部1480输出,而结束处理。

另一方面,在步骤s1307中,第2处理部1470判断是否分割编码信号。更具体而言,首先,第2处理部1470比较再编码后的编码信号的发送时间长度和背光源1490的点亮时间。并且,第2处理部1470在编码信号的发送时间长度长的情况下,判断为分割编码信号(s1307的“是”),进入步骤s1308,在编码信号的发送时间长度短的情况下,判断为不分割编码信号(s1307中的“否”),进入步骤s1309。

接着,在步骤s1308中,第2处理部1470将编码信号分割为成为处于位于背光源点亮期间内的数据长度范围的长度。并且,第2处理部1470调整编码信号以使得重叠于背光源控制信号的消隐期间以外的部分(b.l控制信号的on期间),并结束处理。

此外,在步骤s1309中,第2处理部1470不将编码信号向第2控制部1480发送。即,取消可见光通信信号的发送。

[2.动作的详细]

接着,使用图341a~图341d以及图342,对实施方式19的显示装置1400的动作的详细(具体例)进行说明。

[2.1.具体例1]

图341a~图341d是用来说明在实施方式19的b.l控制信号上重叠编码信号的具体方法的图。

在本实施方式中,第2处理部1470使用4ppm、i-4ppm等编码方法来进行可见光通信信号的编码。若以4ppm、i-4ppm等进行编码,则能够比较缓解亮度由于信号而较大地变化的情况,能够避免亮度会变为不稳定。此外,也可以使用曼彻斯特式等编码方法来进行可见光通信信号的编码。

例如图341a所示,编码信号由头1310和保存有代码字等的数据部1311构成。设为:在头1310使用作为数据信号而不可能存在的信号排列。这里,在使用i-4ppm进行编码的情况下,该信号期间的高期间的比例,原则上被确定为75%。另外,通常将on状态以持续3时隙(slot)(编码信号的最小单位)以上的形式放入头中。对于头的划分,多将头的最后设为off状态。

图341b示出编码信号期间比b.l控制信号的on期间短的情况。即,如图341b所示,在还包含头的编码信号整体比b.l控制信号的1帧内的除了消隐期间之外的期间(即,b.l控制信号的on期间)短的情况下,能够毫无问题地将编码信号重叠于b.l控制信号的on期间。

与此相对,在编码信号期间比b.l控制信号的on期间长的情况下,由于无法将还包含头的编码信号整体包含于b.l控制信号的on期间,因此,如上述的步骤s1307中说明的那样,将编码信号分割而将其包含到b.l控制信号的on期间。

图341c示出由于还包含头的编码信号整体超出b.l控制信号的1帧的长度而将编码信号分割来重叠于b.l控制信号的on期间的情况的例子。具体而言,将编码信号的数据部1311分割为数据部1311-1和数据部1311-2,并使它们分别包含头1310和头92而重叠于b.l控制信号的on期间。头92包含表示数据部1311-2是分割后的数据部1311、且是接续数据部1311-1的数据的判别信号。

此外,在编码信号期间比b.l控制信号的on期间长的情况下,也可以是,如图341d所示,仅将头1310的部分重叠于b.l控制信号的消隐期间,将数据部1311重叠于b.l控制信号的on期间。

[2.2.具体例2]

接着,对于与图341d不同的方式进行说明。即,对于在编码信号期间比b.l控制信号的on期间长的情况下,仅将编码信号的头部分重叠于b.l控制信号的消隐期间时的具体例进行说明。

图342是用来说明将编码信号重叠于实施方式19的b.l控制信号的又一具体方法的图。

图342的(a)示出以i-4prm编码后的编码信号。

如图342的(b)所示,也可以是,仅将图342的(a)的头部分从i-4ppm向4ppm变更编码方式,来进行再编码。该情况下,如图342的(b)所示,持续on状态而最后转变为off状态的头,变更为持续off状态而最后转变为on状态的头。

并且,如图342的(c)所示,将图342的(b)所示的编码信号重叠于b.l控制信号。在图342的(c)所示的例子中,包括作为off状态的信号的头1330、作为on状态的信号的头1321和数据1322而构成的编码信号被重叠于b.l控制信号。

更具体而言,第2处理部1470对可见光通信信号进行编码而生成编码信号,将编码信号作为可见光通信信号与背光源控制信号进行重叠,在将编码信号与背光源控制信号重叠时,在多个区域中存在背光源控制信号中的表示背光源的熄灭的信号的期间和要重叠的所述编码信号的期间重复的区域的情况下,将编码信号中的头部分与表示背光源1490的熄灭的信号的期间的背光源控制信号重叠,将编码信号中的头部分以外的部分与表示背光源的熄灭的信号的期间以外的期间的背光源控制信号重叠。

由此,在编码信号期间比b.l控制信号的on期间长的情况下,也能够使编码信号中的数据部分重叠于b.l控制信号的on期间。

即,例如图342的(c)所示,通过使作为off状态的信号的头1330重叠于b.l控制信号的消隐期间,能够节约(缩短)编码时间长度。

此外,在设置实施方式18中说明过的调整期间的情况下,例如在使图341d的编码信号的头1310重叠于b.l控制信号的消隐期间而在消隐期间会进行点亮的期间需要从调整期间中减去。

但是,例如图342的(c)所示,在将编码信号的头1330的最后时刻(最后成为on状态的时刻)与消隐期间的结束时刻相匹配地决定相位的情况下,在消隐期间不被点亮,因此,无需从调整期间中减去。

[3.效果等]

以上,根据本实施方式,能够实现可以不使显示图像的画质较大地劣化地输出可见光通信信号、并且可以降低所输出的可见光通信信号的接收失败的显示装置。

此外,在本实施方式中,针对使用了利用一般的4ppm的编码方式编码后的编码信号的头的例子进行了说明,但是不限于此。例如,在编码信号的头的平均占空比高的情况下,也可以使将on信号与off信号反相后的头重叠于消隐期间。在该情况下,如上所述,优选将消隐期间的熄灭期间减少的量放入调整期间来进行调整。

另外,在能够将包含头的编码信号整体重叠于b.l控制信号的on期间(背光源1490的点亮期间)的情况下,也可以编码为成为占空比高的头。

另外,在使头重叠于消隐期间的情况下,也存在利用消隐期间的长度无法完全包含的情况。该情况下,根据消隐期间的长度来准备几种头而区分使用即可。

(实施方式20)

在本实施方式中,对于将显示区域的多个区域分割为几个组后重叠编码信号,以便能够将编码信号期间所有的编码信号重叠于b.l控制信号的on期间的方法进行说明。

[1.第2处理的动作]

以下,例举根据区域的明亮度而以最明亮的区域为中心来决定重叠编码信号的定时的方法为例来进行说明。

图343是用来说明实施方式20的第2处理的动作的流程图。

首先,在步骤s1311中,第2处理部1470对可见光通信信号进行编码。更具体而言,第2处理部1470对可见光通信信号进行了编码后,生成附加了头等的编码信号。另外,第2处理部1470基于编码信号的载频,计算编码信号的发送时间。

接着,在步骤s1312中,第2处理部1470将显示区域分割为多个区域。

接着,在步骤s1313中,第2处理部1470检测显示明亮的区域。更具体而言,第2处理部1470检测分割后的区域各自的明亮度,并基于此,选择作为显示而最明亮的区域。这里,作为显示而明亮不是指b.l控制信号的占空比大的部位,而是指作为表示图像的发光能量的信号水平而最明亮的部位的意思。对于明亮的部位的检测,在下文详述。

接着,在步骤s1314中,第2处理部1470使编码信号的相位与显示明亮的区域相匹配。更具体而言,第2处理部1470与最明亮的区域的b.l控制信号的定时相匹配地将同一相位的编码信号重叠于所有的区域或选择出的一部分区域(选择出的多个区域)的b.l控制信号。

但是,与其它的实施方式同样地,在b.l控制信号的消隐期间,不重叠编码信号。这等于计算各b.l控制信号和编码信号的与(and)的操作。此外,根据需要,也可以不进行图340的步骤s1301~s1309的动作。

接着,在步骤s1315中,第2处理部1470判断编码信号与消隐期间是否重合。更具体而言,第2处理部1470按各个区域判断编码信号期间与b.l控制信号的消隐期间中是否存在重合的部分,在编码信号期间与b.l控制信号的消隐期间不重合的情况下(s1315的“否”),进入步骤s1316,第2处理部1470使编码信号重叠于b.l控制信号,并结束处理。另一方面,在存在重合的部分的情况下(s1315中的“是”),进入s1317。

另一方面,在步骤s1317中,第2处理部1470判断是否进行可见光通信。在不进行可见光通信的情况下(s1317中的“否”),进入步骤s1318。在进行可见光通信的情况下(s1317的“是”),进入步骤s1320,第2处理部1470进行占空比的调整并结束处理,以便不发送编码信号。

接着,在步骤s1318中第2处理部1470改变编码信号的相位,使改变相位后的编码信号重叠于b.l控制信号。

接着,在步骤s1319,第2处理部1470判断消隐期间是否与明亮的区域重合。在不重合的情况下(s1319中的“否”),进入步骤s1320。在重合的情况下(s1319的“是”),进入s1321。

接着,在步骤s1321中,第2处理部1470判断是否针对各区域结束了处理。在处理未结束的情况下(s1321中的“否”),返回s1315。在处理结束的情况下(s1321的“是”),进入步骤s1322。

接着,在步骤s1322中,第2处理部1470判断是否存在未重叠有编码信号的区域。在存在未重叠的区域的情况下(s1322中的“否”),进入步骤s1313。在不存在重叠的区域的情况下(s1322的“是”),结束处理。

[2.动作的详细]

接着,使用图344以及图345,对实施方式20的显示装置1400的详细(具体例)进行说明。

图344是示出实施方式20的区域的组分割的一例的时序图,图345是示出实施方式20的区域的组分割的又一例的时序图。图344以及图345中,斜线部分(阴影线部分)表示重叠有编码信号的期间(编码信号期间)。

例如如图344所示,将显示区域的多个区域分割为3个组。具体而言,将区域a、区域b以及区域c分割为组g1,将区域f、区域g以及区域h分割为组g2,以及将区域d以及区域e分割为组g3。并且,如图344所示,在各组中,在相同期间内以相同定时重叠编码信号。例如,在组g1中,将最明亮的区域c作为基准重叠,在组g2中,以该组中最明亮的区域e作为基准重叠。

此外,如图345所示,也可以将显示区域的多个区域分割为2个组。即,也可以将区域a、区域b、区域c以及区域d分割为组g1,将区域e、区域f、区域g以及区域h分割为组g2。并且,在各组中,在相同期间内以相同定时重叠编码信号。

[3.效果等]

这样,根据本实施方式的显示装置,所述信号处理部(第2处理部1470)针对包含所述多个区域中的附近的多个区域的多个组的各自的所述背光源控制信号分别重叠所述可见光通信信号,重叠于所述多个组的各个组的所述可见光通信信号相互是同相位的,在进行所述多个组的各自的所述背光源控制信号的所述背光源(1490)的发光控制的期间,重叠有对应的全部所述可见光通信信号。

由此,本显示装置能够将编码信号期间所有的编码信号重叠于b.l控制信号的on期间,因此,能够降低所输出的可见光通信信号的接收失败。换言之,能够以不缺失的方式将可见光通信信号重叠于b.l控制信号的on期间,因此,能够降低所输出的可见光通信信号的接收失败。

另外,所述信号处理部(第2处理部1470)也可以以所述多个组所含的多个区域中的预定区域的所述背光源控制信号为基准,来使所述多个组分别重叠的所述可见光通信信号的相位与之相匹配。

由此,本显示装置能够以更加不缺失的方式按所选择的多个组的每一个输出可见光通信信号。

这里,所述预定区域是所述多个区域中的最明亮的区域。

由此,显示装置1400能够使显示区域内的亮度差不容易变得明显。

另外,重叠于所述多个组的一个组的所述可见光通信信号的相位和重叠于所述多个组的其它组的所述可见光通信信号的相位不同。

由此,显示装置1400能够以更加不缺失的方式按所选择的多个组的每一个输出可见光通信信号。

此外,存在如上述那样无法进行区域的组分割的情况。即,存在即便将区域分割为组,也存在同一相位的编码信号无法进入的区域的情况。关于该情况下的动作,以下进行说明。

图346是示出实施方式20的区域的组分割的又一例的时序图。在图346中,斜线部分(阴影线部分)表示重叠有编码信号的期间(编码信号期间)。

例如图346示出的例子是图344以及图345的特殊例。如图346所示,在将区域分割为组后的阶段中,设为在同一相位的编码信号无法进入的部位不发送编码信号即可。

具体而言,分割为区域a、区域b、区域c以及区域d和除此以外的区域,向区域a、区域b、区域c以及区域d重叠相同相位的编码信号。这里,在区域d中,在编码信号与消隐期间重合的期间,不重叠编码信号。进而,在图346所示的例子中,不向区域d以后的区域(区域e~区域h)重叠编码信号。

此外,在即便将区域分割为组,也存在同一相位的编码信号也无法进入的区域的情况下,也可以简单地确定基准区域,使编码信号仅重叠于该区域的周边(附近的区域)。此时,关于重叠编码信号的范围,可以基于上述的流程图,也可以限定为事先决定的范围。

另外,也可以是设置上述的调整期间,以便不产生重叠编码信号的区域以及不重叠编码信号的区域、以及重叠的区域内的亮度差。

此外,在本实施方式中,以b.l控制信号的上升为基准进行重叠,但是,也可以以下降等其他的b.l控制信号的特征定时为基准,还可以以影像信号自身的同步信号为基准。另外,也可以生成从影像的同步信号延迟一定时间后的信号,并以该信号为基准。

在显示区域的多个区域的全部区域中,寻找不是消隐期间的期间是非常困难的,即便存在这样的期间,也非常地短。在本公开中,在将编码信号重叠于b.l控制信号的情况下,也通过尽量使消隐期间优先,来抑制消隐期间中的点亮,由此避免画质的劣化。

但是,即便在某区域中消隐期间和编码信号期间不重合,在其它区域中,消隐期间和编码信号期间大多情况下也会重合。

因此,在本实施方式中,公开了用于避免在显示区域的多个区域中的尽可能多的区域中,消隐期间和编码信号期间的重合的方法。即,在本实施方式中,将多个区域分割为几个组,在各组内使编码信号以一定的相位重叠。由此,能够降低该组内的消隐期间和编码信号的重合。

此外,在本实施方式中,对于将多个区域分割为2个组或3个组的情况下的例子进行了说明,但是不限于此。

另外,将多个区域分组的方法也可以是,预先将区域分为几个组,如何错开相位等也预先设定。

另外,在本实施方式中,将多个区域分组,以便能够以明亮的区域为基准重叠编码信号长度(编码信号期间的全部),但是不限于此。由于还考虑到通过该基准划分的组数非常多的情况等,还可以使组数受到限定。划分为组的区域不一定需要编码信号期间全部可以重叠。

另外,重叠于各组内的区域的编码信号既可以相同,又可以不同。此外,若在接收机侧得到的编码信号中混有2个以上的信号,则误识别或者产生错误的概率会变高。因此,2个以上的信号意味着:不同的编码信号能够在相同时刻由相同接收机接收的情况、相同编码信号但相位不同的2个以上的信号能够由相同接收机在相同时刻接收的情况、或者上述组合的情况。由此,能够降低误识别或者产生错误的概率。

另外,根据某基准分割的组不限于上述的例子,也可以是,第2处理部1470基于根据影像信号和编码信号的关系进行的信号处理结果来分割为组。

另外,在使用led等的背光源中,该光源是接近点光源的非常小的物体,因此,为了如lcd那样使其进行面发光,而使用导光板和/或漫射板等,对区域进行拓展。因此,在控制各区域的led时,相邻的区域被设计成交叠,存在一定以上的泄露光。

因此,在使用led等的背光源中,即便在分割为几个组的情况下,由于至少来自相邻的区域的泄露光,其它的信号会作为噪声进入,因此,需要避免包含相邻的块的区域的编码信号在时间上重合。于是,例如,也可以是,在该部位在该帧中不发送编码信号或在远离的部位的区域发送时间上连续或重合的编码信号。

假设为在该部位在该帧中不发送编码信号的情况下,可以按每帧决定从哪个区域输出编码信号进行并分离,也可以优先发送特定的部位(可以与影像信号相关联)的编码信号。

另外,在不同的区域中的不同相位的编码信号的发送期间重合的情况下,区域不连续或者空开一定的间隔即可。这是因为对于限定区域而接收信号的情况等,是可以进行接收的。此外,具有不同的相位的区域的间隔需要根据背光源的泄露光扩及何种程度的范围来进行判断,因此,成为基于所使用的显示装置的性能的数值。

另外,也可以将各区域分为多个块而对每一个应用上述方法。

(实施方式21)

在接收编码信号时,使用了光电二极管等响应速度非常快的光强度传感器的情况下,图像与编码信号的相位差不会成为大的问题。

另一方面,在使用附属于智能电话和/或便携电话的摄像头和/或数码静态摄像头(digitalstillcamera)等图像传感器来拍摄并取得编码信号的情况下,由于相位的微小的差,曝光定时与信号的on-off的边沿部分或一系列的编码信号期间的开始或/和结束的定时会具有非常短的时间差或者会为同时,由此,有时无法作为有效的信号而取得。即,也认为:图像传感器的摄像周期通常为30fps,在例如60fps的影像信号与编码信号同步的情况下,在图像传感器的摄像时定时不匹配的情况下,无论经过多长时间,图像传感器的摄像周期与编码信号的周期的定时都会不相匹配。

于是,在本实施方式中,为了避免上述情况,对于将编码信号的相位错开的方法进行说明。

[1.显示装置的动作]

以下,以第2处理部1470的动作为中心进行说明。

图347是用来说明实施方式21的第2处理部的动作的流程图。

首先,在步骤s1331中,第2处理部1470将信号的同步错开。更具体而言,第2处理部1470在显示面板1450和背光源1490的同步不固定的情况下,将编码信号的同步错开。这对提高智能电话1350的摄像的概率是有效的。

接着,在步骤s1332中,第2处理部1470利用基于由第1处理部1430输出的影像信号的占空比,来计算b.l控制信号和编码信号的与(and)。

接着,在步骤s1333中,第2处理部1470进行基于影像信号和/或可见光通信信号的占空比的调整。

更具体而言,第2处理部1470如实施方式18中说明的那样,调查编码信号期间与消隐期间是否重合,并分情况设置调整期间。第2处理部1470在该帧的b.l控制信号的占空比以与调整期间相应的量而与基于本来的影像信号的b.l控制信号的占空比不同的情况下,利用编码信号的发送停止的期间等来进行占空比的调整。这里,例如第2处理部1470通过将关闭背光源1490的期间(b.l控制信号的off期间)设定在与消隐期间不同的期间来进行占空比的调整。并且,第2处理部1470将重叠了设置调整期间并调整后的编码信号的b.l控制信号向第2控制部1480输出。

此外,也可以是,在一定的期间,编码信号与影像信号的相位的关系恢复了原样的情况下,将它们修正为预先决定的相位差。

进而,如果是以与影像信号的频率不同的频率、编码信号的相位与影像信号的相位随时间变化的关系、即为某一方不为另一方的大致整数倍的关系,则可以不特别进行相位匹配的控制。其原因是,即便不特别使双方的相位相匹配,通过经过某时间,两者的相位的关系会恢复原样,一定在某处会存在难以接收信号的时间段和能够容易地接收信号的时间段。

图348a以及图348b是用来说明实施方式21的b.l控制信号与可见光通信信号的相位关系的图。

例如,在图348a中示出以b.l控制信号x为基准,基于可见光通信信号的编码信号和b.l控制信号x以一定的周期成为相同相位。此外,图中的斜线部分示出实际上发送编码信号的期间,作为一例,显示为以比b.l控制信号长的周期,进行短期间输出,如上所述,信号长度的关系,哪一方长都没有关系。另外,关于实际的编码信号发送期间与b.l控制信号的长度,虽然不是某一方必须长,但是,优选编码发送期间比b.l控制信号短。这里,在b.l控制信号x重复12次的期间,编码信号会重复7次,例如,在b.l控制信号为60fps的情况下,以0.2秒间隔,两者的相位会成为相同关系。另一方面,在图348b中,尤其是,在b.l控制信号x与编码信号之间无关联,但如在f1为b.l控制信号的前半部分、在f2为b.l控制信号的后半部分、在f3为b.l控制信号的大致中间位置者,按每帧而编码信号发送期间的开始和b.l控制信号的开始的相位的关系发生变化。但是,虽然不是特别地两者具有最小公倍数而相位的关系恢复原样,但是通过相位依次错开(偏移)下去,因摄像的定时而产生的不良状况会在某处能够消除。另外,在f2、f5向相当于b.l控制信号的间隙(空档)的期间发送编码信号,在从f2、f5开始的时刻,虽然在区域x,编码信号也会中断,但是,由于在某处其他的区域也一定能够发送编码信号,因此没有问题。关于影像和通信信息的关联,也可以存储于缓冲存储器等,取出前一次的存储作为通信信号进行编码而进行利用。另外,在直到两者的相位关系复原为止的时间需要非常长的期间、例如需要花费数秒以上的情况下,也可以强制性地使相位关系恢复原样等。例如,在图348b的f8,编码信号结束了之后,既可以直至f9的定时为止设置时间来使b.l控制信号和编码信号的相位重新相匹配,也可以不使它们相匹配。另外,既可以按例如每1秒而执行使定时相匹配的周期等,也可以完全不进行使定时相匹配的周期。

[2.动作的详细]

接着,使用图349a以及图349b、图349c,对实施方式20的显示装置1400的动作的详细(具体例)进行说明。

图349a以及图349b、图349c是用来说明实施方式21的第2处理部的动作的时序图。斜线部分(阴影线部分)表示存在编码信号的区域。图349a表示重叠编码信号前的b.l控制信号的时序图,图349b表示重叠编码信号后的b.l控制信号的时序图。图349c示出通过设定从与编码信号为基准的背光源控制信号的上升或下降的定时开始的延迟时间,结果使背光源控制信号的相位和可见光通信信号的相位的关系随时间变化的例子。

例如图349a所示,使编码信号和b.l控制信号的同步错开。由此,能够在智能电话1350等接收机侧可靠地产生能接收编码信号的定时。这里,也可以按各帧中的各个相位差,计算并设置上述的调整期间。

此外,如图349c所示,例如,也可以是,取区域a为基准,预先设定背光源控制信号的上升u2和可见光通信信号的开始v2的时间差β1来作为延迟时间而进行重叠。另外,下一帧的上升u3和可见光通信信号的开始v3的时间差β2,既可以与β1相同,也可以不同。另外,在图356c所示的例子中,β在延迟上表示正的数值(时间),但是,也可以具有负的数值(时间)而进行提前。

另外,进一步,也可以使之混合存在β为0的帧。成为基准的区域可以是任意的区域,也可以通过上述的基准来选择。基准的时间设为背光源控制信号的上升,但是,也可以使用背光源控制信号的下降等信号波形的特征性的其他基准。对于基准的时间,除了预先决定的区域中的背光源控制信号的特征性部分以外,还可以以影像信号自身的同步信号为基准,还可以生成从影像的同步信号延迟一定的时间而得的信号,并将该信号作为基准。

另外,在本实施方式中,由于影像信号和编码信号不是一对一地对应的,因此,也可以是,将一些编码数据以及图像数据预先缓冲至显示装置1400内的存储器(未图示)等,来进行上述处理。

此外,优选影像信号的周期(1帧长度)和重叠编码信号的周期在1秒以内,更优选使之在0.5秒以内具有最小公倍数。另外,也可以是,当上述两个周期同步时,从上述两个周期同步了的定时开始,每隔所述最小公倍数的期间或其整数倍的时间进行跟踪,对因各自产生的误差而产生的微小时间偏移(相位差)进行补正。

另外,如上所述,在影像信号的周期和/或频率与编码信号的周期和/或频率处于使相位关系随时间变化的关系的情况下,即便各周期在1秒以内不具有最小公倍数,在变化的比例快的情况下,例如,使相同相位关系重复的以上的变化在1秒以内发生的情况下,也可以不特别控制两者的相位关系。变化的比例优选上述的例子那样的关系,但是并不限定于此。

[3.效果等]

如上所述,在本实施方式的显示装置中,所述信号处理部针对所述多个区域各自的背光源控制信号,以所述多个区域的任意一个的背光源控制信号为基准,使对可见光通信信号进行编码的延迟时间在时间上变化,所述信号处理部(第2处理部1470)针对所述多个区域各自的所述背光源控制信号,以所述多个区域的任意一个的所述背光源控制信号为基准,使对所述可见光通信信号(编码信号)进行编码的延迟时间在时间上变化。

利用该结构,能够在智能电话1350等接收机侧可靠地产生能够接收编码信号的定时。

此外,也可以是,所述信号处理部(第2处理部1470)针对所述多个背光源控制信号,以与背光源控制信号的周期不同的周期重叠可见光通信信号(编码信号),在所述多个区域的各个中,所述背光源控制信号的相位和所述可见光通信信号的相位的关系与帧一起变化。

这里,也可以是,与所述背光源控制信号的周期不同的重叠可见光通信信号的周期在时间上变化(进行时间性变化)。

另外,也可以是,针对所述多个背光源控制信号重叠的可见光通信信号的相位在重叠可见光通信信号的所有的区域中是相同相位。

另外,也可以是,与所述多个区域的各个区域重叠的所述可见光通信信号的相位偏移(错开)的周期和所述背光源控制信号的1帧周期,在1秒以内具有最小公倍数。

由此,能够在比较短的期间中可靠地产生在智能电话1350等接收机侧能接收编码信号的定时。

另外,所述信号处理部(第2处理部1470)也可以按与所述多个区域分别重叠的所述可见光通信信号(编码信号)的相位偏移的周期和所述背光源控制信号的1帧周期的最小公倍数或整数倍的时间,将与所述多个区域分别重叠的所述可见光通信信号(编码信号)的相位偏移的周期的起点补正为所述背光源控制信号的1帧周期。

由此,通过对相位的偏移进行补正,能够防止能够在智能电话1350等接收机侧接收编码信号的定时跨越较长时期。

这里,对于所述两种周期的最小公倍数所示的时间,通常,若是能够接收通信信号的位置关系、环境,则是至少在该时间以内能够进行接收这一数字(时间),必须在想要进行接收的人举着接收机而静静等待的时间以内。在通常的nfc等的情况下,作为等待的时间的大致目标,推荐保持1秒钟,优选在同等以下。进而,作为不对心理造成负担的时间,进一步优选在0.5秒以内具有最小公倍数。

(实施方式22)

在实施方式18~21中,针对利用以通常速度驱动的扫描速度依次控制各区域来显示图像信号的情况进行了说明,但是,也可以是,利用比通常速度快的倍速驱动的扫描速度依次控制各区域来显示图像信号。

在本实施方式中,例举利用4倍速驱动的扫描速度依次控制各区域来显示2倍速的图像信号的情况为例进行说明。以下,以消隐期间为2倍速驱动的时间为基础进行说明。

[1.显示装置的动作]

以下,以第2处理部1470的动作为中心进行说明。

图350a以及图350b是用来说明实施方式22的第2处理部的动作的时序图。斜线部分(阴影线部分)表示存在编码信号的区域。图350a是示出重叠编码信号前的b.l控制信号的时序图,图350b是示出重叠编码信号后的b.l控制信号的时序图。

例如图350a所示,b.l控制信号a~b.l控制信号h中不存在同时点亮的期间。即,示出无法针对显示区域的所有区域同时地重叠编码信号。

于是,在本实施方式中,例如图350b所示,将消隐期间的区域间的扫描期间设定为通常的一半。并且,选择作为在多个区域(也可以是全部区域)中b.l控制信号的消隐期间的开始最晚的区域的区域h。

第2处理部1470与区域h中的消隐期间结束、背光源1490的点亮开始的定时(b.l控制信号h成为on的时刻)相匹配地,向所选择的区域h重叠编码信号。

在图350b所示的例子中,第2处理部1470在b.l控制信号h中的消隐期间结束、b.l控制信号h成为on的定时,向显示区域的整个区域重叠有编码信号。

由此,第2处理部1470在显示区域的任何区域中都能够将重叠有编码信号的期间设定为与最大二分之一帧的量对应的期间。

[2.效果等]

如以上那样,在本实施方式的显示装置中,所述显示控制部(第1控制部1440)将所述显示面板(1450)控制为:根据比所述影像信号示出的扫描速度高速的高速扫描速度,在所述显示面板的显示面显示影像。

由此,显示装置能够将能够输出编码信号的期间取为更长。

此外,在编码信号长度(编码信号期间)长、无法仅重叠于b.l控制信号的on期间(消隐期间以外的期间),而存在与消隐期间重合的区域的情况下,在该区域中,不使编码信号重叠于消隐期间。

另外,也可以针对重叠于b.l控制信号的on期间的编码信号到引起的熄灭时间所对应的时间,设置在消隐期间使背光源1490点亮的调整期间。此时,在上述实施方式中所述的方法中,既可以生成调整期间,也可以使编码信号的头重叠于消隐期间。另外,也可以将显示区域的多个区域分解为一些组来重叠编码信号等。

另外,在上述该区域以外的区域(其它区域)中可以进行同样操作,也可以完全不输出信号。该情况下,在上述实施方式所述的方法中,设置熄灭时间的调整期间以使得基于可见光通信信号和/或影像信号的占空比在整个画面中相同即可。另外,与实施方式20同样地,也可以选择最明亮的区域,在与该区域相匹配的定时重叠编码信号。另外,在本实施方式中,以b.l控制信号的上升为基准进行重叠,但是,也可以以下降等其它的b.l控制信号的特征性定时为基准,还可以以影像信号自身的同步信号为基准。另外,还可以生成从影像的同步信号开始延迟一定时间后的信号,并以该信号为基准。

此外,在本实施方式中,对于将2倍速的扫描速度设为4倍速的扫描速度的例子进行了说明,但是不限于此。也可以使帧数保持不变,而仅提高扫描速度。

另外,在本实施方式中,设想了事先凭借这样的方式来发送信号的情况,但是,第2处理部也可以根据影像信号和编码信号的关系,取本实施方式的发送信号的方法。该情况下,加入图333中的从第2处理部1470向第1处理部1430的信号的传送,因此,将这两个块相连的箭头会变为朝向双方向。

(实施方式23)

在实施方式18~22中,以在多个区域的各个中设置以不同的定时进行熄灭控制的期间的控制方法作为是背光源扫描来进行了说明,但是不限于此。也可以是局部调光。

在本实施方式中,对于应用局部调光时的动作进行说明。

这里,局部调光是如下的背光源控制方法:将显示区域(画面)分割为几个区域,通过使该区域内的液晶的透射率比通常高,并相应地降低背光源的亮度(降低占空比),来使功率降低。当在该区域内最高的亮度的像素中,存在提高透射率的余裕时(当最高的亮度具有比较低的值时),可以降低上述控制的功率。另外,通过使背光源的占空比下降,点亮期间减少,结果还可以起到对比度提高的效果。

[1.基于局部调光的背光源控制]

接着,对通过局部调光控制的b.l控制信号进行说明。

图351是表示实施方式23的应用局部调光时的背光源控制的时序图。

在应用局部调光来进行背光源控制时,例如图351所示那样,在相邻的区域彼此中,消隐期间的开始定时的间隔t是均匀的,但是,消隐期间的长度不是均匀的。

因此,本实施方式的显示装置1400在显示区域的各区域中,将基于事先示出的影像信号确定的b.l控制信号的消隐期间存储后,进行以下说明的处理(动作)即可。

[2.显示装置的动作]

以下,以第2处理部1470的动作为中心进行说明。此外,在本实施方式中,示出将显示区域的各区域的每1帧的off期间对齐的情况下的信号控制。

[2.1.第2处理部的动作的一例]

图352是用来说明实施方式23的第2处理部的动作的一例的流程图。

首先,在步骤s1341中,第2处理部1470计算调整期间。具体而言,若将编码信号的熄灭时间设为n1,将通过第1处理部输入的b.l控制信号的熄灭时间设为n2,则表现为调整期间n=n2-n1的关系式。由此,第2处理部1470能够计算(算出)调整期间。

接着,在步骤s1342中,第2处理部1470判断调整期间n和编码信号期间c的和(n+c)是否在1帧期间以下。

第2处理部1470,在判断为(n+c)在1帧期间以下的情况下(s1342中的“是”),进入s1343。另一方面,第2处理部1470在判断为(n+c)比1帧期间大的情况下(s1342中的“否”),进入s1346,停止输出编码信号,结束处理。

接着,在步骤s1343中,第2处理部1470判断调整期间n是否为0以上。

第2处理部1470在n为0以上的情况下(s1343中的“是”),进入s1344,从下一个编码信号开始回溯调整期间的量来设置熄灭期间。另外,结束处理,使得该期间不输出编码信号。

另一方面,第2处理部1470在n比0小的情况下(s1343中的“否”),进入s1345,以b.l控制信号的消隐期间结束时作为起点而回溯,在b.l控制信号的消隐期间设置与调整期间的量相应的点亮期间(on期间)。另外,使得该调整期间不输出编码信号。

图353是用来说明实施方式23的第2处理部的动作的一例的时序图。这里,粗线表示b.l控制信号的on期间以及off期间,以下,将区域a作为基准区域进行说明。此外,将由各图中的b.l控制信号x(x为a~h)控制的区域呼称为区域x。

例如图353所示,第2处理部1470从作为基准区域的区域a的帧的开始定时将同相位的编码信号重叠于各区域,并且设置调整期间。此外,调整期间根据实施方式18的第2方法设置即可,对于第2方法在上面已经说明,因此,这里省略说明。

在本实施方式中,与实施方式18~22同样地,以b.l控制信号在off期间(消隐期间)时不重叠编码信号、b.l控制信号在on期间时重叠编码信号为基础。此外,调整期间可以考虑编码信号的占空比而进行变换,该情况下,只要是输出编码信号的调整期间,则可以重叠并输出编码信号。

[2.2.第2处理部的动作的一例]

在局部调光时,也可以与通常的背光源扫描控制时同样地使依次具有消隐期间这一状况优先。对于该情况下的处理,以下进行说明。

图354是用来说明实施方式23的第2处理部的动作的一例的流程图。

首先,在步骤s2101中,第2处理部1470计算调整期间。具体而言,若将预定的区域的消隐期间设为n1、将编码信号中的熄灭时间设为n2、将该区域的消隐期间设为n3,则表示为调整期间n=n1-n2-n3的关系式。由此,第2处理部1470能够计算(算出)调整期间。

接着,在步骤s2102中,第2处理部1470判断调整期间n、编码信号期间c、该区域的消隐期间n3的和(n+c+n3)是否在1帧期间以下,并存储判断结果。

接着,在步骤s2103中,第2处理部1470判断调整期间n是否为0以上,并存储判断结果。

在经历如上所述的步骤后,第2处理部1470基于按每区域存储的n1~n3、s2102以及s2103的判断结果,设置调整期间,设置调整期间等,与影像显示同时地进行可见光通信信号。

此外,调整期间通过将实施方式18的第2方法、实施方式19~22等说明过的方法组合来生成即可。

图355是用来说明实施方式23的第2处理部的动作一例的时序图。图355中,通过实施方式18中说明的第2方法设置有调整期间。粗线表示b.l控制信号的on期间以及off期间,以下,以区域a作为基准区域进行说明。

例如图355所示,第2处理部1470在从作为基准区域的区域a的帧的开始定时经过预定期间后的时刻p~时刻q的期间中,将同相位的编码信号重叠于各区域,并且设置调整期间。此外,关于调整期间,根据实施方式18的第2方法设置即可,关于第2方法,由于在上述已经说明,因此,这里省略说明。

在本实施方式中,与实施方式18~22同样地,以b.l控制信号在off期间(消隐期间)时不重叠编码信号、b.l控制信号在on期间时重叠编码信号为基础。因此,例如在区域a中,从时刻p开始的一定期间是b.l控制信号a成为off的消隐期间,因此,编码信号不重叠。并且,在编码信号期间c之后设置调整期间。

此外,调整期间可以考虑编码信号的占空比来进行变换,该情况下,也可以是,若是输出编码信号的调整期间,则重叠编码信号来进行输出。

[2.3.第2处理部的动作的一例]

图356是用来说明实施方式23的第2处理部的动作的一例的时序图。

如果应用局部调光来进行背光源控制,则基本上b.l控制信号的消隐期间按每帧、每区域而不同。因此,为了方便计算,而确定暂定的消隐期间(记载为规定消隐期间)。这样,能够根据规定消隐期间、编码信号期间、它们的相位差、原来的消隐期间,并依照实施方式19的第2方法,来算出调整期间。以下,使用图356对该情况下的一例进行说明。图356中的粗线表示示出了原来的消隐期间的波形。

规定消隐期间基于画面中的消隐期间的平均长度以及最短期间来确定。这里,规定消隐期间设为是不重叠编码信号的熄灭期间。编码信号期间是重叠编码信号的期间。

另外,调整期间使用实施方式18的第2方法来设置即可。如果调整期间为正,则该期间中将b.l控制信号调整为熄灭背光源1490即可,如果调整期间为负,则将b.l控制信号调整为点亮背光源1490即可。在调整期间以回溯消隐期间的方式来设置的情况下,将b.l控制信号调整为在消隐期间也将背光源1490点亮即可。此外,在调整期间为负的情况下、使编码信号重叠于调整期间的b.l控制信号时,对调整期间进行基于占空比的补正即可。

[3.效果等]

如上所述,在本实施方式的显示装置中,所述背光源控制部(第2控制部1480)根据由所述信号处理部(第2处理部1470)输出的背光源控制信号,在所述多个区域的各个中根据基于各自的影像信号的所述背光源的发光量进行发光的控制,在所述多个区域的各个中设置以不同的定时进行熄灭的控制的期间,在所述多个区域的各个中也使基于所述影像信号以及所述可见光通信信号的所述背光源的占空比变化。

此外,在本实施方式中,以b.l控制信号的上升为基准进行重叠,但是,也可以以下降等其它的b.l控制信号的特征性定时为基准,还可以以影像信号自身的同步信号为基准。另外,还生成作成从影像的同步信号延迟一定的时间后的信号,并以该信号为基准。

以上,在本实施方式中,对于应用了局部调光的情况进行了说明,由于局部调光还存在二维地分割区域,某方向同时地扫描写入影像信号的情况,因此,也产生消隐期间的相位相同、消隐期间不同的区域的组合,但是,在本实施方式所说明的内容中能够进行适用。

如以上那样,作为本公开的技术的例示,对实施方式进行了说明。为此,提供了附图以及详细的说明。

因此,在附图以及详细说明所记载的构成要素中,不仅包含为解决课题所必须的构成要素,为了例示上述技术,还可以包含不是为解决课题所必须的构成要素。因此,不应凭借这些非必须的构成要素记载于附图和/或详细的说明中,就立即做出这些非必须的构成要素是必须的认定。

另外,由于上述的实施方式是用于例示本公开的技术的实施方式,因此,本公开的技术不限定于此,能够在权利要求书及其均等的范围中进行各种变更、置换、附加、省略等。

例如,在上述的实施方式中,例举以b.l控制信号的上升为基准重叠的情况为例进行了说明,但是不限于此。也可以以下降等其它的b.l控制信号的特征性定时为基准,还可以以影像信号自身的同步信号为基准。另外,还可以生成从影像的同步信号延迟一定时间后的信号,并以该信号为基准。

本公开可以应用于能够不较大地使显示图像的画质劣化地输出可见光通信信号,并且,能够降低所输出的可见光通信信号的接收失败的显示装置。具体而言,本公开的显示装置能够安全且主动地取得图像以外的信息,因此,不仅是家庭中的电视机或者pc、平板电脑等设备,在外出地的标牌、信息终端、信息显示设备中也因其主动性而能够安全地得到所需量的所需信息,在这意义上,能够应用到所有场景中的图像附带信息的传送、信息发送等各种用途。

另外,例如也可是,实施方式18~23中的显示装置是能够输出可见光通信信号的显示装置,具备:显示面板,其具有显示影像的显示面;显示控制部,其将所述显示面板控制为基于影像信号在所述显示面板的显示面显示影像;背光源,其具有从背面对所述显示面板的所述显示面进行照明的发光面;信号处理部,其将所述可见光通信信号重叠于基于所述影像信号生成的背光源控制信号;以及背光源控制部,其将所述背光源的发光面分割为多个区域,根据由所述信号处理部输出的背光源控制信号,在所述多个区域的各个中进行发光的控制,并且,在所述多个区域的各个中设置以不同的定时进行熄灭的控制的期间,所述信号处理部在将所述可见光通信信号重叠于所述背光源控制信号时,针对所述背光源控制信号中的表示所述背光源的熄灭的信号不重叠所述可见光通信信号。

另外,例如,也可以是,所述信号处理部针对所述多个区域各自的所述背光源控制信号,分别重叠所述可见光通信信号,重叠于所述多个区域的各个的所述可见光通信信号相互为同相位。这里,例如,在实施方式18~23中的显示装置中,也可以是,所述信号处理部以所述多个区域中的预定区域的所述背光源控制信号为基准,使分别重叠于所述多个区域的所述可见光通信信号的相位进行匹配。

另外,例如,所述预定区域也可以是所述多个区域中的最明亮的区域,所述预定区域也可以是所述多个区域中的与所述显示面的端部对应的区域。

另外,例如也可以是,所述信号处理部针对包含所述多个区域中的附近的多个区域的多个组各自的所述背光源控制信号分别重叠所述可见光通信信号,与所述多个组分别重叠的所述可见光通信信号相互为同相位,在进行所述多个组各自的所述背光源控制信号的所述背光源的发光控制的期间,重叠所对应的所述可见光通信信号的全部。

这里,例如也可以是,所述信号处理部以所述多个组所含的多个区域中的预定区域的所述背光源控制信号为基准,使与所述多个组分别重叠的所述可见光通信信号的相位进行匹配。或者,所述预定区域也可以是所述多个区域中的最明亮的区域。

另外,例如也可以是,与所述多个组的一个组重叠的所述可见光通信信号的相位和与所述多个组的其它组重叠的所述可见光通信信号的相位不同。

另外,例如也可以是,所述信号处理部在将所述可见光通信信号重叠于所述背光源控制信号时,所述多个区域中存在所述背光源控制信号中的表示所述背光源的熄灭的信号的期间和要重叠的所述可见光通信信号的期间重复的区域的情况下,在所述重复的区域,设置用于调整所述重复的区域的亮度的点亮调整期间,在所述点亮调整期间中,调整所述背光源控制信号的on/off。

另外,例如也可以是,所述信号处理部对所述可见光通信信号进行编码来生成编码信号,作为所述可见光通信信号将所述编码信号重叠于所述背光源控制信号,在将所述编码信号重叠于所述背光源控制信号时,所述多个区域中存在所述背光源控制信号中的表示所述背光源的熄灭的信号的期间和重叠的所述编码信号的期间重复的区域的情况下,将所述编码信号中的头部分重叠于表示所述背光源的熄灭的信号的期间的所述背光源控制信号,将所述编码信号中的所述头部分以外的部分重叠于表示所述背光源的熄灭的信号的期间以外的期间的所述背光源控制信号。

另外,例如也可以是,所述信号处理部针对所述多个背光源控制信号,以与背光源控制信号的周期不同的周期重叠可见光通信信号,在所述多个区域的各个中,所述背光源控制信号的相位和所述可见光通信信号的相位的关系随着帧一起变化。这里,与所述背光源控制信号的周期不同的重叠可见光通信信号的周期随时间变化。

另外,例如也可以是,所述信号处理部针对所述多个区域各自的背光源控制信号,以所述多个区域的任意一个背光源控制信号为基准,使对可见光通信信号进行编码的延迟时间随时间变化。

另外,例如也可以是,针对所述多个背光源控制信号重叠的可见光通信信号的相位在重叠可见光通信信号的所有的区域中为相同相位。

另外,例如也可以是,与所述多个区域分别重叠的所述可见光通信信号的相位偏移的周期与所述背光源控制信号的1帧周期在1秒以内具有最小公倍数。

另外,例如也可以是,所述信号处理部每隔与所述多个区域分别重叠的所述可见光通信信号的相位偏移的周期和所述背光源控制信号的1帧周期的最小公倍数或整数倍的时间,将与所述多个区域分别重叠的所述可见光通信信号的相位偏移的周期的起点补正为所述背光源控制信号的1帧周期。

此外,例如也可以是,所述显示控制部将所述显示面板控制为根据比所述影像信号所示的扫描速度高速的高速扫描速度,在所述显示面板的显示面显示影像。

另外,也可以是,所述背光源控制部根据由所述信号处理部输出的背光源控制信号,在所述多个区域的各个中进行发光的控制,在所述多个区域的各个中,设置根据基于各自的影像信号的所述背光源的发光量在不同的定时进行熄灭的控制的期间,在所述多个区域的各个中,也使基于所述影像信号以及所述可见光通信信号的所述背光源的占空比变化。

另外,实施方式18~23的显示装置的控制方法是能够输出可见光通信信号的显示装置的控制方法,所述显示装置具备:显示面板,其具有显示影像的显示面;和背光源,其具有从背面对所述显示面板的所述显示面进行照明的发光面,所述控制方法包括:显示控制步骤,将所述显示面板控制为,基于影像信号在所述显示面板的显示面显示影像;信号处理步骤,将所述可见光通信信号重叠于基于所述影像信号生成的背光源控制信号;以及背光源控制步骤,将所述背光源的发光面分割为多个区域,根据在所述信号处理步骤中输出的背光源控制信号,在所述多个区域的各个中进行发光的控制,并且,在所述多个区域的各个中设置以不同的定时进行熄灭的控制的期间,在所述信号处理步骤中,在将所述可见光通信信号重叠于所述背光源控制信号时,针对所述背光源控制信号中的表示所述背光源的熄灭的信号,不重叠所述可见光通信信号。

此外,根据实施方式18~23,可以应用于能够不使显示图像的画质较大地劣化地输出可见光通信信号、并且能够降低所输出的可见光通信信号的接收失败的显示装置。具体而言,实施方式18~23的显示装置能够安全且主动地取得图像以外的信息,因此,不仅是家庭中的电视机或者pc、平板电脑等设备,在外出地的标牌、信息终端、信息显示设备中也因其主动性而能够安全地得到所需量的所需信息,在这意义上,能够应用到所有场景中的图像附带信息的传送、信息发送等各种用途。

(实施方式24)

本公开涉及能够输出可见光通信信号的显示装置以及显示方法。

在涉及使用了显示器的背光源的可见光通信技术的特开2007-43706号公报以及特开2009-212768号公报中,公开了在影像信号中重叠基于可见光的通信信息而显示的显示装置。

本公开提供输出在接收装置中能够复原的可见光通信信号的显示装置。

本公开的显示装置是能够以轮播(carousel)方式输出由多个信号单元构成的可见光通信信号的显示装置,具备:显示面板,其显示影像信号;可见光通信处理部,其对信号单元进行编码,并分割为多个块,使用多个块生成多个发送帧来作为背光源控制信号;以及背光源,基于背光源控制信号,从背面对显示面板发光。由可见光通信处理部生成的针对1个信号单元的多个发送帧的至少2个发送帧的多个块的顺序不同。

本公开的显示装置能够输出在接收装置中能够复原的可见光通信信号。

以下,一边适当地参照附图,一边对实施方式进行详细地说明。但是,存在省略不必要的详细的说明的情况。例如,存在省略已经公知的事项的详细说明和/或针对实质上相同结构的重复说明的情况。这是为了避免以下的说明变得不必要的冗长,并且为了使本领域技术人员容易理解。

此外,附图以及以下的说明是为了使本领域技术人员充分地理解本公开而提供的,并不旨在利用其来限定权利要求书所记载的主题。

以下,使用图357~372e来说明实施方式24。

[1-1.可见光通信系统的结构]

图357是实施方式24涉及的可见光通信系统的概略图。在图357中,可见光通信系统1500s包括显示装置1500和接收装置1520而构成。

显示装置1500例如是显示器,在显示面1510上显示影像。另外,在显示于显示面1510的影像插入或重叠可见光通信信号作为与所显示的影像相关联的信息。

接收装置1520通过对显示面1510所显示的影像进行摄像来接收通过显示于显示装置1500的显示面1510而输出的可见光通信信号。接收装置1520例如作为内置有依次曝光型图像传感器的智能电话而构成。由此,接收装置1520的用户能够接收与显示装置1500所显示的影像相关联的信息等。

此外,在本实施方式中,作为显示装置1500,举出显示器为例,但是不限于此。显示装置1500也可以是如投影仪那样投影型的显示装置。

另外,作为接收装置1520,例举智能电话为例,但只要是能够接收可见光通信信号的电子设备即可。例如,电子设备可以是遵循由电子设备信息产业协会(jeita:japanelectronicsandinformationtechnologyindustriesassosiation)规定的“jeita-cp1222可见光id系统(visiblelightidsystem)”的接收装置。进而,电子设备可以是通常的通信终端。

另外,“能够接收可见光通信信号”是指能够接收可见光通信信号,并对接收到的可见光通信信号进行解码而得到信息。

另外,可见光通信信号的通信方式,例如,可以是遵循由jeita规定的“jeita-cp-1223可见光信标系统(visiblelightbeaconsystem)”的通信方式、或者遵循作为由ieee(theinstituteofelectrialandelectronicsengineers,inc.)标准化的wpan(wirelesspersonalareanetwork)的规定的ieee-p802.15的通信方式等。

换言之,接收装置1520能够以这些通信方式进行通信,进而,只要是能够接收可见光通信信号的电子设备即可。

[1-2.显示装置的结构]

图358是实施方式24涉及的显示装置的框图。在图358中,显示装置1500具有:影像信号输入部1501、影像信号处理部1502、显示控制部1503、显示面板1504、可见光通信信号输入部1505、可见光通信信号处理部1506、背光源控制部1507和背光源1508。

影像信号输入部1501通过天线线缆、复合线缆、hdmi(注册商标)(high-definitionmultimediainterface)线缆、pjlink线缆、lan(localareanetwork)线缆等,输入与显示于显示面板1504的影像相关的影像信号。影像信号输入部1501将所输入的影像信号向影像信号处理部1502输出。

此外,影像信号也可以使用保存于记录介质的影像信号。

影像信号处理部1502针对所输入的影像信号实施解码处理等一般的图像处理。影像信号处理部1502将实施图像处理后的影像信号向显示控制部1503以及背光源控制部1507发送。影像信号包含与影像的明亮度等相关的信息。

显示控制部1503将显示面板1504控制为,基于所输入的影像信号,在显示面板1504的显示面1510显示影像。更具体而言,显示控制部1503基于从影像信号处理部1502输入的影像信号进行显示面板1504的液晶的开口控制等。

显示面板1504例如是液晶面板,具有显示影像的显示面1510。

可见光通信信号输入部1505通过可见光通信信号专用线缆和/或lan线缆等,被输入可见光通信信号。

此外,可见光通信信号也可以使用保存于记录介质的可见光通信信号。进而,可见光通信信号也可以与影像信号重叠。

可见光通信信号输入部1505将所输入的可见光通信信号向可见光通信信号处理部1506输出。

可见光通信信号处理部1506将所输入的可见光通信信号以预定的编码方法进行编码,进而进行决定可见光通信信号的发送顺序的处理等。可见光通信信号处理部1506将编码后的可见光通信信号变换为背光源控制用信号。可见光通信信号处理部1506将所生成的背光源控制用信号向背光源控制部1507输出。

背光源控制部1507将背光源1508的发光面分割为多个区域,在多个区域的各个中进行发光的控制,在发光面的多个区域的各个中进行以不同的定时设置熄灭的期间的控制。

背光源控制部1507基于与所输入的影像信号所含的影像的明亮度等相关的信息控制背光源1508的亮度和/或定时。另外,背光源控制部1507基于所输入的背光源控制用信号,控制背光源1508的发光。

背光源1508被设置于显示面板1504的背面,具有从背面对显示面板1504的显示面1510进行照明的发光面。背光源1508从显示面板1504的背面照射光。视听者能够对显示面板1504所显示的影像进行视觉辨认。

在本实施方式中,将显示面1510整体设为可见光通信区域。

图359是说明可见光通信信号的生成例的图。如图359所示,输入至可见光通信信号输入部1505的可见光通信信号由多个预定长度的信号单元构成。可见光通信信号处理部1506将信号单元分割为预定数量的数据。在图359中,1个信号单元由数据长度相同的4个数据构成。即,1个信号单元被分割为数据1、数据2、数据3、数据4。1个信号单元的分割基于从显示装置1500输出的可见光通信信号的载频、可见光通信信号的信号单元的数据长度,还基于背光源1508不发光的期间等来决定即可。

此外,在图359中,以分割1个信号单元的数据的数据长度为相同进行了说明,但是,既可以是分割1个信号单元的数据的数据长度相互不同,又可以是分割1个信号单元的数据中的一个数据的数据长度与其余数据的数据长度不同。

接着,可见光通信信号处理部1506将分割后的数据进行编码,对各数据附加头部,并决定发送顺序,来生成块。具体而言,根据数据1、数据2、数据3、数据4生成块1、块2、块3、块4。可见光通信信号处理部1506将所生成的块以块1、块2、块3、块4的顺序向背光源控制部1507发送来作为背光源控制用信号。

块的头部由“前导码”、“地址”、“奇偶校验位”构成。前导码是表示块的起始的模式(pattern),包含表示数据是可见光通信信号的识别码。例如,使用4值脉冲位置调制(4ppm:4pulsepositionmodulation)或i-4ppm(inverted4ppm)等编码规则之外的信号。奇偶校验位被用于检测数据的错误。地址表示信号单元中的块的发送顺序。

将从1个信号单元生成的4个块称为发送帧。

[1-3.接收装置的结构]

图360是实施方式24涉及的接收装置的框图。在图360中,接收装置1520具有:摄像部1521、摄像图像生成部1522和摄像图像处理部1523。

摄像部1521对显示装置1500的可见光通信区域所显示的影像进行摄像。摄像部1521例如是依次曝光型图像传感器。图像传感器当开始摄像时,就进行依次曝光,并将曝光数据向摄像图像生成部1522发送。

摄像图像生成部1522将从摄像部1521发送来的曝光数据暂时存储于内置的存储器。基于存储器所保存的曝光数据,生成摄像图像。

摄像图像处理部1523根据由摄像图像生成部1522生成的摄像图像,将可见光通信信号复原。

[1-4.可见光通信信号的输出和接收]

接着,说明利用接收装置1520接收从显示装置1500的可见光通信区域输出的发送帧的基本动作。

[1-4-1.针对背光源的点亮/熄灭的摄像图像]

图361是用来说明针对显示装置1500的背光源1508的点亮/熄灭的接收装置1520的摄像图像的图。

摄像部1521是依次曝光型图像传感器,一边按每1线(line)在时间上进行扫描、一边曝光。在本实施方式中,为了使说明简略化,以图像传感器的曝光元件为8线进行说明。设为曝光线构成为接收装置1520的纵长的带状。

如图361所示,随着时间经过,进行显示装置1500的背光源1508的点亮和熄灭。图像传感器从第1线到第8线依次进行曝光,若进行依次曝光直至第8线,则接收装置1520的摄像图像生成部1522基于8线的曝光数据来生成摄像图像。这里,将图像传感器的依次曝光的期间作为摄像期间,将基于在该摄像期间中通过图像传感器依次曝光而得的曝光数据生成的摄像图像作为接收帧l。图像传感器的曝光若进行至第8线,则返回第1线,从第1线开始下一次的曝光。将接下来生成的摄像图像作为接收帧l+1。在从到第8线为止的曝光结束到下一第1线的曝光开始为止的期间,存在将曝光数据保存于存储器的时间等消隐期间,该时间不进行曝光。

关于接收帧l,接收装置1520的图像传感器的曝光的第1线、第2线、第5线、第6线和第8线在显示装置1500的背光源1508点亮时,各线是明亮的。接收装置1520的图像传感器的曝光的第3线和第4线在显示装置1500的背光源1508熄灭时,各线是暗的。基于接收帧l,可见光通信信号被复原。

关于接收帧l+1,接收装置1520的图像传感器的曝光的第1线、第2线、第3线、第7线和第8线在显示装置1500的背光源1508点亮时,各线是明亮的。接收装置1520的图像传感器的曝光的第4线、第5线和第6线在显示装置1500的背光源1508熄灭时,各线是暗的。基于接收帧l+1,可见光通信信号被复原。

[1-4-2.针对发送帧的摄像图像]

图362是用来说明针对显示装置1500的发送帧的接收装置1520的摄像图像的概略图。

如图359中所说明的那样,可见光通信信号由多个信号单元构成,1个信号单元被分割为4个数据,进行编码,并被分割为4个块。

存在在作为显示装置1500的显示面1510的可见光通信区域中,产生无法根据影像信号的内容判别背光源1508的点亮/熄灭的期间的情况。存在在该期间中,接收装置1520无法接收从显示装置1500输出的发送帧的可能性。

于是,从显示装置1500的背光源1508输出的发送帧,使用将从1个信号单元生成的发送帧反复多次地输出的轮播方式。在图362中,显示装置1500将可见光通信信号作为1个信号单元,将发送帧连续输出2次。

如图362所示,随着时间经过,通过显示装置1500的背光源1508的点亮/熄灭来输出发送帧。接收装置1520的图像传感器的曝光从第1线到第8线为止依次曝光。若图像传感器的曝光进行至第8线,则接收装置1520的摄像图像生成部1522基于8线的曝光数据生成摄像图像。作为摄像图像的接收帧l利用接收装置1520的图像传感器的曝光的第1线和第2线接收块1,利用第3线和第4线接收块2,利用第5线和第6线接收块3,利用第7线和第8线接收块4。接收帧l与从显示装置1500输出的1个信号单元的第1次发送帧对应。

另外,在图362中,作为摄像图像的接收帧l+1,利用接收装置1520的图像传感器的曝光的第1线和第2线接收块1,利用第3线和第4线接收块2,利用第5线和第6线接收块3,利用第7线和第8线接收块4。接收帧l+1与从显示装置1500输出的1个信号单元的第2次发送帧对应。

这样,通过以轮播方式连续地输出从1个信号单元生成的发送帧,即便针对第1次发送帧的发送产生接收障碍,也能够通过第2次的发送帧接收无法通过第1次的发送帧接收到的块。通过针对与2次的发送帧,接收所有的块、即4个块,能够将1个信号单元复原。

另外,也可以是,在以轮播方式连续地输出发送帧的情况下,显示装置1500在输出下一个信号单元的发送帧之前,输出表示从当前的信号单元切换为下一个信号单元的复位信号。

该复位信号也可以包含于发送帧的块的前导码和/或数据。

[1-5.可见光通信信号的输出与接收中的课题]

接着,对于可见光通信信号的输出和接收中的课题进行说明。图363是说明显示装置1500的发送时钟的频率和接收装置1520的摄像部1521的帧速率的关系的图。

作为本实施方式的显示装置1500的显示面板1504的液晶面板的驱动频率为120hz。

此外,根据液晶面板的种类,存在驱动频率以60hz动作的液晶面板、驱动频率以240hz动作的液晶面板。

另外,本实施方式中的接收装置1520的摄像部1521的图像传感器的帧速率以30fps(framepersecond)动作。

此时,液晶面板的驱动频率和图像传感器的帧速率的关系,相互成为整数倍或整数分之一的关系。进而,为了进行显示装置1500的背光源控制部1507中的亮度控制和/或动态图像分辨率等的控制,存在显示装置1500的背光源1508的点亮和熄灭的定时与液晶面板的驱动频率同步的情况。即,如图363所示,与液晶面板的驱动频率同步地,显示装置1500的发送帧会被输出。图363示出以轮播方式输出3次由在这样的状况下从显示装置1500输出的1个信号单元生成的发送帧的情况。

针对从显示装置1500输出的第1次发送帧,在1帧速率的摄像期间进行图像传感器的曝光。接收装置1520基于曝光数据生成作为摄像图像的接收帧l。接收装置1520,据接收帧l将可见光通信信号复原。接收帧l中,仅是包含所有数据的块2、块3能够作为可见光通信信号复原。

针对从显示装置1500输出的第2次发送帧,在1帧速率的摄像期间进行图像传感器的曝光。接收装置1520基于曝光数据生成作为摄像图像的接收帧l+1。接收装置1520根据接收帧l+1将可见光通信信号复原。接收帧l+1中,仅是包含所有数据的块2、块3能够作为可见光通信信号复原。

针对从显示装置1500输出的第3次发送帧,在1帧速率的摄像期间进行图像传感器的曝光。接收装置1520基于曝光数据生成作为摄像图像的接收帧l+2。接收装置1520根据接收帧l+2将可见光通信信号复原。接收帧l+2中,仅是包含所有数据的块2、块3能够作为可见光通信信号复原。

这样,液晶面板的驱动频率和图像传感器的帧速率的关系是相互为整数倍或整数分之一的关系,在将针对从显示装置1500输出的1个信号单元的发送帧与液晶面板的驱动频率同步地输出的情况下,即便以轮播方式输出3次相同的发送帧,块1、块2、块3、块4中的能够作为可见光通信信号复原的也仅是块2、块3。块1和块4无法作为可见光通信信号复原。

[1-6.发送帧的生成方法]

为了解决上述课题,为了利用接收装置1520将从显示装置1500输出的1个信号单元所含的4个块全部作为可见光通信信号复原,对于针对1个信号单元以轮播方式输出多次的发送帧,不是使用每次相同的发送帧来进行输出,而是生成每次不同的发送帧并进行输出。即,对于针对1个信号单元以轮播方式输出多次的发送帧,生成发送帧以使得针对1个信号单元的发送帧的块的发送顺序每次不同。

图364是说明实施方式24的针对1个信号单元的发送帧的第1生成例的图。图364与图363的情况同样,示出以轮播方式输出3次从显示装置1500输出的1个信号单元的情况。与图363不同的点在于,从显示装置1500输出的3次的发送帧的块的发送顺序不同,且每次都不同。

从显示装置1500输出的第1次的发送帧的块的顺序为块1、块2、块3、块4。针对从显示装置1500输出的第1次的发送帧,接收装置1520在1帧速率的摄像期间进行图像传感器的曝光。接收装置1520基于曝光数据生成作为摄像图像的接收帧l。接收装置1520根据接收帧l将可见光通信信号复原。接收帧l中,仅是包含所有数据的块2、块3能够作为可见光通信信号复原。

从显示装置1500输出的第2次的发送帧的块的顺序为块2、块3、块4、块1。针对从显示装置1500输出的第2次的信号单元,在1帧速率的摄像期间进行图像传感器的曝光。接收装置1520基于曝光数据生成作为摄像图像的接收帧l+1。接收装置1520根据接收帧l+1将可见光通信信号复原。接收帧l+1中,仅是包含所有数据的块3、块4能够作为可见光通信信号复原。

从显示装置1500输出的第3次的发送帧的块的顺序为块3、块4、块1、块2。针对从显示装置1500输出的第3次的发送帧,在1帧速率的摄像期间进行图像传感器的曝光。接收装置1520基于曝光数据生成作为摄像图像的接收帧l+2。接收装置1520根据接收帧l+2将可见光通信信号复原。接收帧l+2中,仅是包含所有数据的块4、块1能够作为可见光通信信号复原。

液晶面板的驱动频率与图像传感器的帧速率的关系是相互为整数倍或整数分之一的关系,在从显示装置1500与液晶面板的驱动频率同步地输出发送帧的情况下,在将针对1个信号单元的发送帧来每次改变块的发送顺序而以轮播方式输出3次时,能够将1个信号单元的块1、块2、块3、块4全部作为可见光通信信号复原。

在图364的生成例中,从显示装置1500输出的发送帧的第2和第3的块是能够作为可见光通信信号复原的块,因此,改变信号单元的块的发送顺序,以使得在3次的输出中所有的块会在第2和第3输出。

此外,在图364的生成例中,对针对1个信号单元以轮播方式输出多次的发送帧进行改变,以使得针对1个信号单元的发送帧的块的发送顺序每次不同,但不限于此。也可以对于针对1个信号单元以轮播方式输出多次的发送帧,改变块的发送顺序以使得针对1个信号单元的相邻的2个发送帧的块的发送顺序不同。

进一步,从显示装置1500输出的发送帧的生成例不限于此。

图365a是说明实施方式24的针对1个信号单元的发送帧的第2生成例的图。

图365a中,使发送帧的块的发送顺序反复进行升序即块1、块2、块3、块4的顺序和降序即块4、块3、块2、块1的顺序。

在接收装置1520所生成的接收帧由发送帧的前半部分或后半部分构成的情况下,通过以轮播方式多次输出第2生成例那样的发送帧,能够将1个信号单元的块1、块2、块3、块4全部作为可见光通信信号复原。

图365b是说明实施方式24的针对1个信号单元的发送帧的第3生成例的图。图365b省略信号单元的4个块中的1个块并且按发送帧变更发送顺序。从显示装置1500输出的第1次的发送帧的块的顺序省略块4,为块1、块2、块3、块2。从显示装置1500输出的第2次的发送帧的块的顺序省略块2,为块3、块4、块1、块3。从显示装置1500输出的第3次的发送帧的块的顺序省略块3,为块4、块1、块2、块4。变更为这样的发送顺序,能够将所有的块发送相同次数。

图365c是说明实施方式24的针对1个信号单元的发送帧的第4生成例的图。图365c中,将信号单元的块以块1、块2、块3、块4的顺序排列,并在其中追加1个块。从显示装置1500输出的第1次的发送帧的块的顺序追加块1,为块1、块1、块2、块3。从显示装置1500输出的第2次的发送帧的块的顺序从第1次中不包含的块4开始,追加块2,为块4、块1、块2、块2的顺序。从显示装置1500输出的第3次的发送帧的块的顺序,从第2次中不包含的块3开始,为块3、块4、块1、块2的顺序。

这样,在以轮播方式多次输出第4生成例那样的发送帧的期间中,能够将1个信号单元的块1、块2、块3、块4全部作为可见光通信信号复原。

图365d是说明实施方式24的针对1个信号单元的发送帧的第5生成例的图。图365d中,信号单元的块的顺序随机变更。从显示装置1500输出的第1次的发送帧的块的顺序为块1、块3、块2、块4。从显示装置1500输出的第2次的发送帧的块的顺序为块3、块1、块2、块4。从显示装置1500输出的第3次的发送帧的块的顺序为块2、块3、块1、块4。使针对1个信号单元的发送帧的块的顺序随机地变更而以轮播方式多次输出的期间,能够将1个信号单元的块1、块2、块3、块4的全部作为可见光通信信号复原。

图365e是说明实施方式24的针对1个信号单元的发送帧的第6生成例的图。图365e中,在1个发送帧中,同一块连续2次。从显示装置1500输出的第1次的发送帧的块的顺序为块1、块1、块2、块2。从显示装置1500输出的第2次的发送帧的块的顺序为块3、块3、块4、块4。从显示装置1500输出的第3次的发送帧的块的顺序为块1、块1、块2、块2。

[1-7.可见光通信信号处理部的动作]

接着,说明显示装置1500的可见光通信信号处理部1506的动作。图366是说明显示装置1500的可见光通信信号处理部1506的动作的流程图。

(步骤s1501)可见光通信信号处理部1506判定有无从可见光通信信号输入部1505输入可见光通信信号。在判断为“有”可见光通信信号的输入的情况下(“是”的情况),使处理进入步骤s1502。在判断为“无”可见光通信信号的输入的情况下(“否”的情况),重复步骤s1501的处理。

(步骤s1502)所输入的可见光通信信号由多个信号单元构成。可见光通信信号处理部1506读入1个信号单元。

(步骤s1503)可见光通信信号处理部1506针对所读入的1个信号单元,分割为预定数量的数据,对各数据进行编码,并对各数据附加头部而生成块。

(步骤s1504)可见光通信信号处理部1506基于所生成的块,决定以轮播方式发送的多个发送帧的各个发送帧所含的块的发送顺序。

(步骤s1505)可见光通信信号处理部1506生成多个发送帧,并向背光源控制部1507输出。

(步骤s1506)可见光通信信号处理部1506判定有无剩余信号单元。在判定为“有”剩余信号单元的情况下(“是”的情况),返回步骤s1501。在判定为“无”剩余信号单元的情况下(“否”的情况),结束处理。

[1-8.效果等]

如上所述,本实施方式的显示装置是能够以轮播方式输出由多个信号单元构成的可见光通信信号的显示装置,具备:显示面板,其显示影像信号;可见光通信处理部,其对信号单元进行编码,并分割为多个块,使用多个块生成多个发送帧作为背光源控制信号;以及背光源,其基于背光源控制信号,从背面对显示面板进行发光。由可见光通信处理部生成的针对1个信号单元的多个发送帧,至少2个发送帧的多个块的顺序不同。

由此,显示装置1500通过针对1个信号单元输出块的发送顺序不同的多个发送帧,接收装置1520能够将可见光通信信号复原。

另外,本实施方式的显示装置中,由可见光通信处理部生成的针对1个信号单元的多个发送帧的至少相邻的2个发送帧中含有相同块。

由此,显示装置1500通过使针对1个信号单元的至少相邻的2个发送帧中含有相同块,接收装置1520能够将可见光通信信号复原。

另外,本实施方式的显示装置中,由可见光通信处理部生成的针对1个信号单元的多个发送帧的至少1个发送帧中含有多个相同块,在多个发送帧中含有多个块的全部。

由此,显示装置1500通过在1个发送帧中包含多项相同块,在多个发送帧中包含全部块,接收装置1520能够将可见光通信信号复原。

另外,本实施方式的显示装置中,可见光通信信号处理部向相邻的2个信号单元之间插入复位信号。

由此,显示装置1500能够表示从当前的信号单元切换为下一个信号单元。

本实施方式的显示装置1500中,液晶面板的驱动频率和图像传感器的帧速率的关系相互为整数倍或整数分之一的关系,在发送帧与液晶面板的驱动频率同步地从显示装置1500输出的情况下,尤其有效。

此外,在本实施方式中,将从显示装置1500以轮播方式输出的发送帧的发送次数设为3次而进行了说明,但是不限于此。以轮播方式输出的发送帧的发送次数只要是多次即可,是几次都可以。

(实施方式25)

以下,对于实施方式25,使用图367~图369来说明。

[2-1.可见光通信系统的结构]

本实施方式的可见光通信系统与实施方式24中说明过的可见光通信系统1500s为相同结构。在本实施方式的可见光通信系统中,以不同点为中心进行说明。

[2-2.影像的明暗与可见光通信信号的输出的关系]

本实施方式的显示装置1500的显示面板1504是液晶面板。液晶面板在显示影像时,通过开闭显示面1510的液晶快门、或者通过进行灰度性控制和背光源1508的控制,作为影像进行视觉辨认。

因此,即便是背光源1508非常明亮的设定,在影像信号暗的情况下,在可见光通信区域也能够形成暗的区域。影像信号暗的区域中,背光源1508的光被显示面板1504的液晶快门遮蔽。在向暗的区域输出可见光通信信号的情况下,有时无法根据由接收装置1520的摄像部1521摄像到的摄像图像将可见光通信信号复原。

于是,在本实施方式中,在作为具有预定以上的明亮度的区域的高亮度区域相对于作为显示装置1500的显示面1510整体的可见光通信区域的比例小的情况下,使1个信号单元所含的块的发送次数为多次来进行输出,能够将可见光通信信号复原。相反地,在高亮度区域相对于可见光通信区域的比例大的情况下,与高亮度区域相对于可见光通信区域的比例小的情况相比,减少1个信号单元所含的块的发送次数,或者使1个信号单元所含的块的发送次数为1次。

[2-3.可见光通信信号处理部的动作]

实施方式25的与实施方式24的不同点主要是可见光通信信号处理部1506的动作。接着,对可见光通信信号处理部1506的动作进行说明。图367是说明实施方式25涉及的显示装置1500的可见光通信信号处理部1506的动作的流程图。

步骤s1501~步骤s1503的动作与实施方式24的动作相同。

(步骤s1511)可见光通信信号处理部1506根据通过影像信号处理部1502输入的影像信号检测可见光通信区域的高亮度区域。可见光通信信号处理部基于可见光通信区域的高亮度区域的比例来决定发送单元的各块的发送次数。发送次数的决定方法后述。

(步骤s1512)可见光通信信号处理部1506基于信号单元的各块的发送次数,来决定块的发送顺序。块的发送顺序的决定方法后述。

步骤s1505、步骤s1506的动作与实施方式24的动作相同。

[2-4.块的发送次数的决定方法]

接着,对块的发送次数的决定方法进行说明。图368是说明决定针对1个信号单元的发送帧的任意块的发送次数的方法的一例的图。

在图368中,横轴是可见光通信区域的高亮度区域的比例,纵轴表示信号单元的任意块的发送次数。

图368中设想为:如果可见光通信区域中的高亮度区域约为80%以上,则信号单元中的任意块的发送次数为1次,能够由接收装置1520将可见光通信信号复原;随着可见光通信区域中的高亮度区域的比例变小,通过增加信号单元中的任意块的发送次数,能够由接收装置1520将可见光通信信号复原。具体而言,如果可见光通信区域中的高亮度区域为90%(a点),则使信号单元中的任意块的发送次数为1次,如果可见光通信区域中的高亮度区域为50%(b点),则使信号单元中的任意块的发送次数为3次,如果可见光通信区域中的高亮度区域为10%(c点),则使信号单元中的任意的块的发送次数为6次。在图368中,对于信号单元中的任意块的发送次数,在可见光通信区域中的高亮度区域的比例为从80%至约15%的比例下,信号单元中的任意块的发送次数每次增加1次地逐渐增加。

此外,发送次数的比例不限于此,也可以适当变更。

[2-5.块的发送顺序的决定方法]

接着,对于针对1个信号单元的块的发送顺序的决定方法进行说明。图369是说明实施方式25涉及的针对1个信号单元的发送帧的生成例的图。作为本实施方式的显示装置1500的显示面板1504的液晶面板的驱动频率为120hz,接收装置1520的摄像部1521的图像传感器的帧速率以30fps动作。进而,与液晶面板的驱动频率同步地,输出显示装置1500的发送帧。在图369中,示出以轮播方式将从显示装置1500输出的可见光通信信号的1个信号单元输出3次的情况。1个信号单元由数据长度相同的6个数据构成,被编码而生成6个块。

在图369中,根据可见光通信区域的高亮度区域的比例,来决定针对1个信号单元的3次的发送帧所含的块的发送次数。

对于从显示装置1500输出的第1次的发送帧,由于高亮度区域的比例为80%,因此,信号单元的任意的块的发送次数为1次。因此,从显示装置1500输出的第1次的发送帧的块的顺序为块1、块2、块3、块4、块5、块6。针对从显示装置1500输出的第1次的发送帧,接收装置1520在1帧速率的摄像期间进行图像传感器的曝光。接收装置1520基于曝光数据生成作为摄像图像的接收帧l。接收装置1520根据接收帧l将可见光通信信号复原。接收帧l中包含全部数据的块2、块3、块4、块5能够作为可见光通信信号复原。

接着,从显示装置1500输出的第2次的发送帧,由于高亮度区域的比例为50%,因此,信号单元的任意块的发送次数为3次。因此,从显示装置1500输出的第2次的发送帧的块顺序为将块1、块2依次重复3次。针对从显示装置1500输出的第2次的发送帧,接收装置1520在1帧速率的摄像期间进行图像传感器的曝光。接收装置1520基于曝光数据生成作为摄像图像的接收帧l+1。接收帧l+1中的不是高亮度区域的区域的块不能复原。接收装置1520根据接收帧l+1将可见光通信信号复原。接收帧l+1中包含全部数据的块1、块2能够作为可见光通信信号复原。

接着,从显示装置1500输出的第3次的发送帧,由于高亮度区域的比例为10%,因此,信号单元的任意块的发送次数为6次。从显示装置1500输出的第3次的发送帧的块顺序为将块6连续地重复6次。针对从显示装置1500输出的第3次的发送帧,接收装置1520在1帧速率的摄像期间进行图像传感器的曝光。接收装置1520基于曝光数据生成作为摄像图像的接收帧l+2。接收帧l+2中的不是高亮度区域的区域的块不能复原。接收装置1520根据接收帧l+2将可见光通信信号复原。接收帧l+2中包含全部数据的块6能够作为可见光通信信号复原。

若基于高亮度区域的比例来决定块的发送顺序而以轮播方式将针对1个信号单元的发送帧输出3次,则能够将1个信号单元的块1、块2、块3、块4、块5、块6全部作为可见光通信信号复原。

[2-6.效果等]

如上所述,本实施方式的显示装置中,可见光通信处理部检测具有显示面板的预定以上的亮度的区域,根据区域的大小,决定发送帧所含的相同块的个数,生成针对信号单元的多个发送帧。

由此,显示装置1500根据高亮度区域的比例来变更块的发送次数而针对1个信号单元输出多个发送帧,据此,接收装置1520能够将可见光通信信号复原。

此外,在本实施方式中,针对从显示装置1500输出的1个信号单元,以轮播方式将发送帧输出了3次,但是,不限于此。例如,也可以是,以轮播方式将发送帧输出3次以上,并使用如下的发送帧:改变作为第2次的发送帧的块顺序的将块1、块2重复3次的组合,来作为其组合。

本实施方式的显示装置1500中,液晶面板的驱动频率和图像传感器的帧速率的关系相互为整数倍或整数分之一的关系,在发送帧与液晶面板的驱动频率同步地从显示装置1500输出的情况下,尤其有效。

(实施方式26)

以下,对于实施方式26,使用图370~图373来进行说明。

[3-1.可见光通信系统的结构]

本实施方式中的可见光通信系统为与实施方式24中说明过的可见光通信系统1500s相同的结构。在本实施方式中的可见光通信系统中,以不同点为中心进行说明。

[3-2.距显示装置的距离和可见光通信信号的发送的关系]

对显示装置1500和接收装置1520的距离相对近的情况和相对远的情况进行比较。在显示装置1500和接收装置1520的距离相对近的情况下,与显示装置1500和接收装置1520的距离相对远的情况相比,由接收装置1520摄像得到的摄像图像所含的块会变多。

这是由于,在显示装置1500和接收装置1520的距离相对近的情况下,能够由接收装置1520的摄像部1521生成的摄像图像会相对较大,在显示装置1500和接收装置1520的距离相对远的情况下,能够由接收装置1520的摄像部1521生成的摄像图像会相对较小。

于是,本实施方式中的显示装置1500根据与接收装置1520的距离,来变更1个信号单元的发送帧的任意块的发送次数。

[3-3.可见光通信信号处理部的动作]

实施方式26的与实施方式24的不同点主要是可见光通信信号处理部1506的动作。对可见光通信信号处理部1506的动作进行说明。图370是说明实施方式26的显示装置1500的可见光通信信号处理部1506的动作的流程图。

步骤s1501~步骤s1503的动作与实施方式24的动作相同。

(步骤1401)可见光通信信号处理部1506根据与接收装置1520的距离,决定发送单元的各块的发送次数。发送次数的决定方法后述。

(步骤1402)可见光通信信号处理部1506基于信号单元的各块发送次数,决定块的发送顺序。发送顺序的决定方法后述。

步骤s1505、步骤s1506的动作与实施方式24的动作相同。

[3-4.块的发送次数的决定方法]

接着,对块的发送次数的决定方法进行说明。图371是说明决定针对1个信号单元的发送帧的任意块的发送次数的方法的一例的图。

在图371中,横轴表示显示装置1500与接收装置1520的距离,纵轴表示信号单元中的任意块的发送次数。在距离近的情况下,使信号单元的各块的发送次数减少。在图371中,如果距离为3m以下,则使信号单元的各块的发送次数为1次。

在距离远的情况下,使信号单元的各块发送次数增多。在图371中,从距离为3m以上起以每2m的比例增加1次信号单元的各块的发送次数。

此外,该比例也可以适当变更。

[3-5.块的发送顺序的决定方法]

接着,说明针对1个信号单元的块的发送顺序的决定方法。图372是说明实施方式26的针对从显示装置1500输出的1个信号单元的发送帧的生成例的图。图372示出距离为3m的情况。本实施方式中的作为显示装置1500的显示面板1504的液晶面板的驱动频率为120hz,接收装置1520的摄像部1521的图像传感器的帧速率以30fps动作。进而,与液晶面板的驱动频率同步地,输出显示装置1500的发送帧。图372中,示出以轮播方式将从显示装置1500输出的可见光通信信号的1个信号单元发送4次的情况。1个信号单元由数据长度相同的4个数据构成,被编码而生成4个块。

在图371中,距离为3m的情况下,信号单元的1个发送帧的任意的块的发送次数为2次。因此,如图372所示,将1个发送帧中任意的块各发送2次。

从显示装置1500输出的第1次的发送帧的块顺序为块1、块1、块2、块2,以使得块1、块2各输出2次。针对从显示装置1500输出的第1次发送帧,接收装置1520在1帧速率的摄像期间进行图像传感器的曝光。接收装置1520基于曝光数据生成作为摄像图像的接收帧l。接收装置1520根据接收帧l将可见光通信信号复原。接收帧l中包含全部数据的块1、块2能够作为可见光通信信号复原。

从显示装置1500输出的第2次的发送帧的块顺序为块3、块3、块4、块4,以使得块3、块4分别输出2次。针对从显示装置1500输出的第2次发送帧,接收装置1520在1帧速率的摄像期间进行图像传感器的曝光。接收装置1520基于曝光数据生成作为摄像图像的接收帧l+1。接收装置1520根据接收帧l+1将可见光通信信号复原。接收帧l+1中包含全部数据的块3、块4能够作为可见光通信信号复原。

从显示装置1500输出的第3次的发送帧的块的顺序为块1、块1、块2、块2,以使得块1、块2分别输出2次。针对从显示装置1500输出的第3次发送帧,接收装置1520在1帧速率的摄像期间进行图像传感器的曝光。接收装置1520基于曝光数据生成作为摄像图像的接收帧l+2。接收装置1520根据接收帧l+2将可见光通信信号复原。接收帧l+2中包含全部数据的块1、块2能够作为可见光通信信号复原。

从显示装置1500输出的第4次的发送帧的块顺序为块3、块3、块4、块4,以使得块3、块4各输出2次。针对从显示装置1500输出的第4次发送帧,接收装置1520在1帧速率的摄像期间进行图像传感器的曝光。接收装置1520基于曝光数据生成作为摄像图像的接收帧l+3。接收装置1520根据接收帧l+3将可见光通信信号复原。接收帧l+3中包含全部数据的块3、块4能够作为可见光通信信号复原。

如上所述,各接收帧能够接收发送帧所含的任意块被输出2次中的1个块。即,能够从各接收帧接收不同的2个块。

图373是说明实施方式26的针对从显示装置输出的1个信号单元的发送帧的另一生成例的图。图373示出距离为8m的情况。本实施方式中的作为显示装置1500的显示面板1504的液晶面板的驱动频率为120hz,接收装置1520的摄像部1521的图像传感器的帧速率以30fps动作。进而,与液晶面板的驱动频率同步地,输出显示装置1500的发送帧。图373中示出以轮播方式将从显示装置1500输出的可见光通信信号的1个信号单元发送4次的情况。1个信号单元由数据长度相同的4个数据构成,被编码而生成4个块。

在图371中,在距离为8m的情况下,信号单元的1个发送帧的任意块的发送次数为4次。因此,如图373所示,1个发送帧中将任意块各发送4次。

从显示装置1500输出的第1次的发送帧的块顺序为将块1输出4次。针对从显示装置1500输出的第1次的发送帧,接收装置1520在1帧速率的摄像期间进行图像传感器的曝光。接收装置1520基于曝光数据生成作为摄像图像的接收帧l。接收装置1520根据接收帧l将可见光通信信号复原。接收帧l中包含全部数据的块1能够作为可见光通信信号复原。

从显示装置1500输出的第2次的发送帧的块顺序为将块2输出4次。针对从显示装置1500输出的第2次的发送帧,接收装置1520在1帧速率的摄像期间进行图像传感器的曝光。接收装置1520基于曝光数据生成作为摄像图像的接收帧l+1。接收装置1520根据接收帧l+1将可见光通信信号复原。接收帧l+1中包含全部数据的块2能够作为可见光通信信号复原。

从显示装置1500输出的第3次的发送帧的块顺序为将块3输出4次。针对从显示装置1500输出的第3次的发送帧,接收装置1520在1帧速率的摄像期间进行图像传感器的曝光。接收装置1520基于曝光数据生成作为摄像图像的接收帧l+2。接收装置1520根据接收帧l+2将可见光通信信号复原。接收帧l+2中包含全部数据的块3能够作为可见光通信信号复原。

从显示装置1500输出的第4次的发送帧的块顺序为将块4输出4次。针对从显示装置1500输出的第4次发送帧,接收装置1520在1帧速率的摄像期间进行图像传感器的曝光。接收装置1520基于曝光数据生成作为摄像图像的接收帧l+3。接收装置1520根据接收帧l+3将可见光通信信号复原。接收帧l+3中包含全部数据的块2能够作为可见光通信信号复原。

如上所述,各接收帧能够接收发送帧所含的任意块被输出4次中的1个块。即,能够从各接收帧接收1个块。

[3-6.效果等]

如上所述,在本实施方式中,可见光通信处理部根据显示装置和能够接收所输出的可见光通信信号的接收装置的距离,决定发送帧所含的相同块的个数,生成针对信号单元的多个发送帧。

由此,显示装置1500通过根据显示装置1500和接收装置1520的距离,变更块的发送次数来输出多个发送帧,接收装置1520能够将可见光通信信号复原。

本实施方式的显示装置1500中,液晶面板的驱动频率和图像传感器的帧速率的关系相互为整数倍或整数分之一的关系,在发送帧与液晶面板的驱动频率同步地从显示装置1500输出的情况下,尤其有效。

此外,显示装置1500和接收装置1520的距离能够由显示装置1500预先设定,进而,优选根据用途和/或显示装置1500的设置状况来适当变更。

对于距离的指定,接收装置1520也可以通过wi-fi(wirelessfidelity)、bluetooth(注册商标)、lte(longyermevolution)等无线通信来对显示装置1500进行设定的请求。

进而,距离也可以由显示装置1500和接收装置1520的任意一方,使用传感器和/或摄像头来推测。

另外,在本实施方式中,所生成的发送帧是一例,但是不限于此。

另外,在本实施方式中,在发送帧中将2个块输出多次的情况下,设为相同次数,但是,也可以不设为相同次数。

(实施方式27)

以下,使用图374~图376对实施方式27进行说明。

[4-1.可见光通信系统的结构]

本实施方式中的可见光通信系统为与实施方式24中说明的可见光通信系统1500s相同的结构。在本实施方式的可见光通信系统中,以不同点为中心进行说明。

[4-2.空白的插入]

图374是说明实施方式27的针对1个信号单元的发送帧的生成例的图。本实施方式中的作为显示装置1500的显示面板1504的液晶面板的驱动频率为120hz,接收装置1520的摄像部1521的图像传感器的帧速率以30fps动作。进而,与液晶面板的驱动频率同步地,输出显示装置1500的发送帧。以轮播方式将从显示装置1500输出的可见光通信信号的1个信号单元输出4次。1个信号单元由数据长度相同的4个数据构成,被编码而生成4个块。

在本实施方式中,在发送帧中插入尺寸(size)与块相同的空白,以使得相同块不会位于相同位置。

在图374中,从显示装置1500输出的第1次的发送帧为块1、块2、块3、块4、空白的顺序。针对从显示装置1500输出的第1次的发送帧,接收装置1520在1帧速率的摄像期间进行图像传感器的曝光。接收装置1520基于曝光数据生成作为摄像图像的接收帧l。接收装置1520根据接收帧l将可见光通信信号复原。接收帧l中,仅包含全部数据的块2、块3能够作为可见光通信信号复原。

从显示装置1500输出的第2次的发送帧为块1、块2、块3、块4、空白的顺序。针对从显示装置1500输出的第2次的信号单元,在1帧速率的摄像期间进行图像传感器的曝光。接收装置1520基于曝光数据生成作为摄像图像的接收帧l+1。接收装置1520根据接收帧l+1将可见光通信信号复原。接收帧l+1中,仅包含全部数据的块1、块2能够作为可见光通信信号复原。

从显示装置1500输出的第3次的发送帧为块1、块2、块3、块4、空白的顺序。针对从显示装置1500输出的第3次的发送帧,在1帧速率的摄像期间进行图像传感器的曝光。接收装置1520基于曝光数据生成作为摄像图像的接收帧l+2。接收装置1520根据接收帧l+2将可见光通信信号复原。接收帧l+2中,仅包含全部数据的块1能够作为可见光通信信号复原。

从显示装置1500输出的第4次的发送帧为块1、块2、块3、块4、空白的顺序。针对从显示装置1500输出的第4次的发送帧,在1帧速率的摄像期间进行图像传感器的曝光。接收装置1520基于曝光数据生成作为摄像图像的接收帧l+3。接收装置1520根据接收帧l+3将可见光通信信号复原。接收帧l+3中,仅包含全部数据的块4能够作为可见光通信信号复原。

此外,插入的空白的信号样式只要是与信号单元所含的数据不同的样式就可以。

如上所述,液晶面板的驱动频率与图像传感器的帧速率的关系是相互为整数倍或整数分之一的关系,在发送帧于液晶面板的驱动频率同步地从显示装置1500输出的情况下,通过向针对1个信号单元的发送帧插入空白,能够避免显示装置1500的背光源1508的点亮和熄灭的定时与液晶面板的驱动频率同步,即便是4次都输出相同的发送帧,也能够将1个信号单元的块1、块2、块3、块4全部作为可见光通信信号复原。

另外,通过使插入的空白的尺寸(size)与块的尺寸相同,能够防止影像信号的亮度的波动,而且作为亮度调整期间也是有效的。

此外,虽然说明为使插入的空白的尺寸与块的尺寸相同,但是,不限于此。决定所插入的空白的尺寸以使得显示装置1500的背光源1508的点亮和熄灭的定时与液晶面板的驱动频率不同步即可。

此外,插入的空白的尺寸也可以不始终为相同尺寸。

进而,插入空白后的发送帧的生成例不限于此。

图375a是说明实施方式27的针对1个信号单元的发送帧的第2生成例的图。

图375a中,在发送帧的最后插入空白,并且使发送帧的块的发送顺序如实施方式24中说明的那样每次不同。即,从显示装置1500输出的第1次的发送帧的块顺序为块1、块2、块3、块3、空白。从显示装置1500输出的第2次的发送帧为块4、块3、块2、块1、空白的顺序。从显示装置1500输出的第3次的发送帧为块2、块3、块4、块1、空白的顺序。

图375b是说明实施方式27的针对1个信号单元的发送帧的第3生成例的图。

图375b在发送帧的各块后插入空白。即,从显示装置1500输出的发送帧为块1、空白、块2、空白、块3、空白、块4、空白的顺序。插入的空白的尺寸为:块长×α(0<α≤1的小数),决定α以使得显示装置1500的背光源1508的点亮和熄灭的定时与液晶面板的驱动频率不同步。

图375c是说明实施方式27的针对1个信号单元的发送帧的第4生成例的图。

图375c在发送帧的任意的块之后插入空白。即,从显示装置1500输出的发送帧为块1、空白、块2、空白、块3、块4的顺序。

[4-3.可见光通信信号处理部的动作]

实施方式27与实施方式24的不同点主要是可见光通信信号处理部1506的动作。接着,说明可见光通信信号处理部1506的动作。图376是说明实施方式27的显示装置1500的可见光通信信号处理部1506的动作的流程图。

步骤s1501~步骤s1502的动作与实施方式24的动作相同。

(步骤s1531)可见光通信信号处理部1506决定插入发送单元的空白的位置。

(步骤s1532)可见光通信信号处理部1506决定空白的尺寸。

步骤s1503~步骤s1506的动作与实施方式24的动作相同。

[4-4.效果等]

如上所述,本实施方式的显示装置中,可见光通信处理部向针对1个信号单元的多个发送帧中的至少1个发送帧插入空白。

由此,通过向针对1个信号单元的发送帧插入空白,能够避免显示装置1500的背光源1508的点亮和熄灭的定时与液晶面板的驱动频率同步,接收装置1520能够将可见光通信信号复原。

本实施方式的显示装置1500中,液晶面板的驱动频率和图像传感器的帧速率的关系相互为整数倍或整数分之一的关系,在发送帧与液晶面板的驱动频率同步地从显示装置1500输出的情况下,尤其有效。

(其它实施方式)

如上所述,作为本公开的技术的例示,对实施方式24~27进行了说明。本公开的技术不限于此,也能够应用于进行变更、置换、附加、省略等后的实施方式。另外,通过将上述实施方式24~27中说明的各构成要素进行组合,也能够形成为新的实施方式。

此外,本公开的显示装置示出与液晶面板的驱动频率同步地输出发送帧的情况下的发送帧的生成例,但是,不限于此。

例如,在不与液晶面板的驱动频率同步地从显示装置输出发送帧的情况下,当输出发送帧的载频为图像传感器的频率的整数倍时,本实施方式也是有效的。

另外,虽然对显示装置的显示面板为液晶面板的情况进行了说明,但不限于此。

例如,即便显示装置是从背面利用led等照明来照射图像膜那样的招牌,在从显示装置输出的发送帧的载频成为接收装置的图像传感器的频率的整数倍的情况下,本实施方式也是有效的。

本公开的显示装置能够应用于可以输出可见光通信信号的显示装置,例如家庭中的电视机、个人计算机、平板电脑终端等设备、外出地的标牌终端、信息终端、信息显示设备。

(总结)

本公开的第1方式的显示装置是能够以轮播方式输出由多个信号单元构成的可见光通信信号的显示装置,具备:显示面板,其显示影像信号;可见光通信处理部,其对所述信号单元进行编码,并分割为多个块,使用所述多个块生成多个发送帧作为背光源控制信号;以及背光源,其基于所述背光源控制信号,从背面对所述显示面板进行发光,由所述可见光通信处理部生成的针对1个所述信号单元的多个所述发送帧中的至少2个所述发送帧的所述多个块的顺序不同。

本公开的第2方式的显示装置在第1方式的显示装置的基础上,由所述可见光通信处理部生成的针对1个所述信号单元的多个所述发送帧中的至少相邻的2个所述发送帧中含有相同块。

本公开的第3方式的显示装置在第1方式的显示装置的基础上,由所述可见光通信处理部生成的针对1个所述信号单元的多个所述发送帧中的至少1个所述发送帧含有多个相同块,利用多个所述发送帧含有全部所述多个块。

本公开的第4方式的显示装置在第3方式的显示装置的基础上,所述可见光通信处理部检测所述显示面板的具有预定以上的亮度的区域,根据所述区域的大小,决定所述发送帧中含有的相同块的个数,生成针对所述信号单元的多个所述发送帧。

本公开的第5方式的显示装置在第3方式的显示装置的基础上,所述可见光通信处理部根据所述显示装置和能够接收所输出的所述可见光通信信号的接收装置的距离,决定所述发送帧中含有的相同块的个数,生成针对所述信号单元的多个所述发送帧。

本公开的第6方式的显示装置在第1方式的显示装置的基础上,所述可见光通信信号处理部向相邻的2个所述信号单元之间插入复位信号。

本公开的第7方式的显示装置在第1方式的显示装置的基础上,所述可见光通信处理部向针对1个所述信号单元的多个所述发送帧中的至少1个所述发送帧插入空白。

本公开的第8方式的显示方法是能够以轮播方式输出由多个信号单元构成的可见光通信信号的显示方法,该显示方法包括:第1步骤,对所述信号单元进行编码,并分割为多个块,使用所述多个块来生成多个用于以轮播方式输出的发送帧,并作为背光源控制信号输出;和第2步骤,基于所述背光源控制信号来控制背光源,在该显示方法中,在所述第1步骤中生成的针对1个所述信号单元的多个所述发送帧的至少2个所述发送帧的所述多个块的顺序不同。

(实施方式28)

图377是用来说明发送装置为电视机等动态图像显示装置的情况下的可见光通信(vlc:visiblelightcommunication)的切换控制的图。

具体而言,图377的(a)是示出由多个图像构成的动态图像的图,图377的(b)是示出在可见光通信为off(关闭)的情况下的动态图像显示装置的背光源的on/off控制的图,图377的(c)是示出在可见光通信为on(开启)的情况下的动态图像显示装置的背光源的on/off控制的图。

如图377的(a)所示,设为在对由多个图像p1601、p1602、p1603、p1604、p1605、p1606、……构成的动态图像1600进行再现的情况下,多个图像p1601、p1602、p1603、p1604、p1605、p1606、……分别在时刻t1601、t1603、t1605、t1607、t1609、t1611、……显示于动态图像显示装置。此外,时刻t1是动态图像1600的显示开始时刻,既可以是绝对时刻,又可以是由用户指定的时刻。另外,时刻t1603、t1605、t1607、t1609、t1601、……是从时刻t1开始间隔预定时间间隔δt1600的时刻。即,时刻t1603、t1605、t1607、t1609、t1611、……是以一定的周期(预定时间间隔δt1600)决定的时刻。

在使这样的动态图像1600进行再现的情况下,尤其在液晶显示器中,为了降低动态图像1600被模糊地再现,有时进行在相邻的图像间插入完全黑的图像的控制。在这样的动态图像显示装置的情况下,如图377的(b)所示,为了在显示多个图像p1601、p1602、p1603、p1604、p1605、p1606、……的时刻t1601、t1603、t1605、t1607、t1609、t1611、……之间的时刻t1602、t1604、t1606、t1608、t1610、t1612、……,插入完全黑的图像,进行使动态图像显示装置的背光源为off的控制。即,进行如下控制:在显示多个图像p1601、p1602、p1603、p1604、p1605、p1606、……的时刻t1601、t1603、t1605、t1607、t1609、t1611、……,使背光源为on(开启);在时刻t1602、t1604、t1606、t1608、t1610、t1612、……,使背光源为off(关闭)。

但是,若在进行可见光通信时,使背光源为off,则在背光源为off的期间中,通信会中断。因此,如图377的(c)所示,在进行可见光通信的情况下(即,vlc为on的情况下),即便在动态图像1600的再现中,也进行使背光源继续为on的控制。这样,在该情况下的发送装置中,在进行可见光通信的情况下,如图377的(c)那样使背光源继续为on;在不进行可见光通信的情况下,如图377的(b)那样切换反复进行背光源的on和off的控制。由此,在进行可见光通信的情况下,能够抑制通信中断,在不进行可见光通信的情况下,能够降低动态图像1600被模糊地再现。

(实施方式29)

在本实施方式中,对于可见光通信的协议发送方式进行说明。

图378和图379是示出以可见光通信发送在应用层利用的逻辑数据(例如id等)的情况下的程序的图。

首先,逻辑数据错误订正码赋予部1701向在应用层利用的逻辑数据1711赋予作为错误订正码的逻辑数据订正码1712。

接着,逻辑数据分割部1702通过将逻辑数据1711和逻辑数据订正码1712分割为可发送的数据尺寸,而生成多个分割逻辑数据1713。另外,逻辑数据分割部1702向各分割逻辑数据1713赋予分割类别1714和地址1715。

数据调制部1703通过将由逻辑数据分割部1702生成的数据向可发送的数据串变换,而生成用于发送的物理数据1716。

此外,逻辑数据错误订正码赋予部1701根据逻辑数据的尺寸或传送路径的状况,利用crc或理德-所罗门码等编码。另外,存在逻辑数据订正码1712被赋予到逻辑数据1711的前头的情况、被赋予到末尾的情况、插入到逻辑数据1711的特定位置的情况。

此外,逻辑数据分割部1702通过使分割后的尺寸变动,能够决定可以通过可见光通信接收的极限距离和接收速度。另外,逻辑数据分割部1702通过使分割方法变动,除了能够提高逻辑数据订正码1712和物理数据订正码1717的抗错性外,还能够提高对突发错误的耐性,并且能够提高数据解码时的隐匿性。

此外,数据调制部1703能够与ppm调制或曼彻斯特调制等调制类别无关地,通过根据可见光通信发送部的装置特性(例如,在照明的情况下需要尽可能保持明亮度,在显示器的情况下需要与动态图像和/或静态图像共存等),使与逻辑数据的每1比特相符的量化数或样本值变动,来实现明亮度控制或调制率控制。例如,数据调制部1703通过对如将发光时设为物理数据“1”、将不发光时设为物理数据“0”这样使用2个值的情况、和如将发光时的明亮度为100%时设为“2”、将发光时的明亮度为50%时设为“1”、将发光时的明亮度为0%时设为“0”这样进行设定的情况进行切换,能够实现明亮度的控制。另外,数据调制部1703在将发光的情况设为物理数据“1”、将不发光的情况设为物理数据“0”之后,通过切换将逻辑数据“01”调制为物理数据“0100”或者将逻辑数据“01”调制为“11001111”,能够控制物理数据发送尺寸(size)的平均明亮度。

接着,物理数据错误订正码赋予部1704向由数据调制部1703生成的物理数据1716赋予作为错误订正码的物理数据订正码1717。

接着,物理数据头插入部1705向物理数据1716赋予用于表示物理数据1716的开始位置的头1718。所得的数据通过可见光通信发送部作为可见光通信数据被发送。

此外,物理数据错误订正码赋予部1704根据物理数据1716的尺寸或传送路径的状况,利用crc或理德-所罗门码(reed-solomoncodes)等编码。另外,存在物理数据订正码1717被赋予到物理数据1716的前头的情况、被赋予到末尾的情况、被插入到物理数据1716的特定位置的情况。

此外,物理数据头插入部1705将可见光通信接收部能够识别可见光通信数据的物理数据的前头的前导码数据作为头插入。插入的前导码数据是不会在将发送的物理数据1716和物理数据订正码1717合并而得的数据中出现的数据串。物理数据头插入部1705通过改变前导码数据的尺寸和前导码数据串,能够控制可见光通信发送部的闪烁情况和所需的明亮度。进而,前导码数据也可以利用于可见光通信接收部中的装置类别的识别等。例如,通过设定前导码数据,以使得将物理数据1716和物理数据订正码1717合并而得的数据的发送中的明亮度和前导码数据发送中的明亮度的差极小,能够降低闪烁。另外,通过减少前导码中的发光期间,能够将前导码数据的明亮度调整为小。

另外,对于逻辑数据分割部1702中的分割,可以利用通常的交织方式。图380是用来说明逻辑数据分割部1702的分割处理的图。

图380是示出逻辑数据为“010011000111010”、分割数为3的情况下的分割例的图。例如,如图380的(a)所示,逻辑数据分割部1702通过从前头开始每5比特地对逻辑数据1711和逻辑数据订正码1712进行划分,来生成多个分割逻辑数据1713。或者,如图380的(b)所示,逻辑数据分割部1702通过从前头开始每1比特地将逻辑数据1711和逻辑数据订正码1712分配为各分割逻辑数据1713,来生成多个分割逻辑数据1713。

另外,如图381所示,也可以是,逻辑数据分割部1702定义逻辑数据的分割所需的跳过(skip)数,通过从前头开始每与跳过数相应的比特地将逻辑数据1711和逻辑数据订正码1712分配为各分割逻辑数据1713,来生成多个分割逻辑数据1713。

该情况下,通过逻辑数据分割部1702任意地指定跳过数,能够使之维持隐匿性以使得不知道所设定的跳过数的可见光通信接收部无法进行逻辑数据的复原。此外,逻辑数据分割部1702既可以利用基于任意值应用散列函数而输出的散列值来进行分割,又可以使用利用任意值唯一地确定分割指定比特的任意运算式。

进而,逻辑数据分割部1702通过将时间作为任意值使用,也能够以仅能够在特定时间接收的方式确保隐匿性。另外,逻辑数据分割部1702通过将电视机信道编号用于任意值,还能够拓展到如仅能接收特定频道那样的服务中。另外,逻辑数据分割部1702通过将与场所相关的数值用于任意值,能够使得仅能在该场所利用该数据。

此外,本公开也可以包含以下的方式。

发送机具备可见光发送部和人传感器部。通过人传感器部来检测人的存在,而开始发送。向通过人传感器部检测为人存在的方向进行发送。由此,能够抑制功耗。

接收机接收发送机的id,并附加住所信息或当前位置信息而向服务器发送。服务器将用于进行最适于所接收的住所或位置的设定的代码向接收机发送。接收机将从服务器接收到的代码显示在画面上,提示给用户以设定到发送机。由此,例如能够将电饭锅和/或洗衣机设定为最适于居住地域的水质的设定。

接收机按每摄像帧变更曝光时间的设定,在曝光时间短的帧中接收可见光信号,在曝光时间长的帧中接收其他的信号和/或标记、例如二维条码,和/或进行物体识别和/或图像识别。由此,能够同时地进行可见光接收和其他的信号和/或标记的接收。

接收机按每帧一点点变更曝光时间来进行摄像。由此,即便发送信号的调制频率不明,某一帧的图像也会以适当的曝光时间被摄像,能够将信号解调。另外,通过以多个曝光时间对相同信号进行摄像,能够更有效率地对接收信号进行解调。

接收机在接收到预定范围的id的情况下,不询问服务器,而直接将所接收的id交付给其它的处理部。由此,得到快速的反应。另外,即便在无法与服务器连接的状态下,也能够进行处理。另外,能够在向服务器设定内容之前确认动作。

发送机通过振幅调制来表现发送信号。此时,在表示不同的信号的多个码元中,使亮度低的状态和亮度高的状态任一个的持续时间相等。由此,即便以低的控制时钟也能够表现信号。

发送机在启动时,将发送id和内容登记于服务器。由此,能够从服务器向接收机发送所希望的内容。

设为id的一部分能够由发送机自由地设定。由此,能够将表示发送机的状态的代码包含于id。接收机和/或服务器可以根据该部分改变显示内容,也可以将其无视。

(多值振幅脉冲信号)

图382、图383以及图384是示出本实施方式的发送信号的一例的图。

通过使脉冲的振幅具有含义,能够在每单位时间表现更多的信息。例如,若将振幅分类为3等级,则如图382所示,能够在平均亮度保持为50%不变的情况下,以2个时隙的发送时间表现3个值。但是,当连续发送图382的(c)时,没有亮度变化,因此,难以知道信号的存在。另外,在数字处理中,3个值有些难以处理。

于是,通过使用图383的(a)至(d)的4种码元,能够在平均亮度保持为50%不变的情况下,以平均3个时隙的发送时间表现4个值。虽然由于码元不同而发送时间不同,但是,通过将码元的最后状态设为亮度低的状态,能够识别码元的结束时间点。即便将亮度高的状态和亮度低的状态调换,也能得到同样的效果。图383的(e)难以与发送2次的(a)相区别,因此不适合。图383的(f)和(g)的中间亮度连续,因此,虽然稍难以识别,但是能够利用。

考虑将图384的(a)、(b)的样式作为头来利用。由于这些样式在频率解析中显著地具有特定频率成分,因此,通过将这些样式作为头,能够通过频率解析进行信号检测。

如图384的(c)所示,使用(a)、(b)的样式构成发送数据包。通过将特定长度的样式作为数据包整体的头,将不同的长度的样式作为分隔使用,能够划分数据。另外,通过在中途的部位包含该样式,能够使信号容易检测。由此,即便在1数据包比1帧的图像的摄像时间长的情况下,接收机能够将数据接合在一起来解码。另外,由此,通过调整分隔的数量,能够将数据包的长度设为可变。也可以利用数据包头的样式的长度来表现数据包整体的长度。另外,通过将分隔作为数据包头,将分隔的长度作为数据的地址,接收机能够对部分地接收到的数据进行合成。

发送机反复发送这样构成的数据包。图384的(c)的数据包1~4的内容既可以完全相同,也可以作为不同的数据在接收侧进行合成。

(实施方式30)

在本实施方式中,对使用了上述各实施方式中的智能电话等接收机和作为led、有机el的闪烁样式来发送信息的发送机的各应用例进行说明。

图385a是用来说明本实施方式的发送机的图。

本实施方式的发送机例如构成为液晶显示器的背光源,具备蓝色led2303和包括绿色荧光成分2304和红色荧光成分2305的荧光体2310。

蓝色led2303发出蓝色(b)的光。荧光体2310在接受从蓝色led2303发出的蓝色的光作为激发光时呈黄色(y)地发光。即,荧光体2310发出黄色的光。详细而言,荧光体2130由于包括绿色荧光成分2304和红色荧光成分2305,所以通过这些荧光成分的发光而发出黄色的光。这2个荧光成分中的绿色荧光成分2304在接受从蓝色led2303发出的蓝色的光作为激发光时,呈绿色地发光。即,绿色荧光成分2304发出绿色(g)的光。上述2个荧光成分中的红色荧光成分2305在接受从蓝色led2303发出的蓝色的光作为激发光时,呈红色地发光。即,红色荧光成分2305发出红色(r)的光。由此,发出rgb或者y(rg)b的各个光,所以发送机输出白色光作为背光源。

该发送机通过使蓝色led2303与上述各实施方式同样地发生亮度变化,来发送白色光的可见光信号。此时,通过白色光的亮度发生变化,来输出具有预定的输送频率的可见光信号。

这里,条码阅读器向条码照射红色激光,基于从条码反射的红色激光的亮度变化,来读取该条码。该红色激光的条码的读取频率有时与从当前实用化的一般的发送机输出的可见光信号的输送频率一致或者近似。因此,在这样的情况下,条码阅读器有时在想要读取被来自该一般的发送机的可见光信号即白色光照射的条码时,有时因该白色光所包含的红色的光的亮度变化,该读取失败。即,因可见光信号(尤其是红色的光)的输送频率与条码的读取频率的干涉,产生条码的读取错误。

于是,本实施方式的红色荧光成分2305中,使用残光的持续时间比绿色荧光成分2304长的荧光材料。即,本实施方式的红色荧光成分2305以比蓝色led2303和绿色荧光成分2304的亮度变化的频率足够低的频率发生亮度变化。换言之,红色荧光成分2305比可见光信号所包含的红色的亮度变化的频率慢。

图385b是表示rgb各自的亮度变化的图。

来自蓝色led2303的蓝色的光如图385b的(a)所示那样,包含于可见光信号而被输出。绿色荧光成分2304如图385b的(b)所示那样,在接受来自蓝色led2303的蓝色的光时,发出绿色光。该绿色荧光成分2304的残光的持续时间短。因此,在该蓝色led2303发生亮度变化时,绿色荧光成分2304发出以与该蓝色led2303的亮度变化的频率(即可见光信号的输送频率)大致相同的频率进行亮度变化的绿色的光。

红色荧光成分2305如图385b的(c)所示那样,在接受来自蓝色led2303的蓝色的光时,发出红色光。该红色荧光成分2305的残光的持续时间长。因此,在该蓝色led2303发生亮度变化时,红色荧光成分2305发出以比该蓝色led2303的亮度变化的频率(即可见光信号的输送频率)低的频率进行亮度变化的红色的光。

图386是表示本实施方式的绿色荧光成分2304和红色荧光成分2305的残光特性的图。

绿色荧光成分2304在例如蓝色led2303不发生亮度变化地点亮的情况下,不发生亮度变化地发出强度i=i0的绿色的光(即亮度变化的频率f=0的光)。此外,即使蓝色led2303以低频率发生亮度变化,绿色荧光成分2304也发出以与该低频率大致相同频率f发生亮度变化的强度i=i0的绿色的光。但是,在蓝色led2303以高频率发生亮度变化时,以与该高频率大致相同频率f发生亮度变化的从绿色荧光成分230发出的绿色的光的强度i因绿色荧光成分2304的残光的影响,而变得比强度i0小。结果,从绿色荧光成分2304发出的绿色的光的强度i如图386的虚线所示那样,在该光的亮度变化的频率f不足阈值fb的情况下,保持为i=i0,但在频率f超过阈值fb而变高时,逐渐变小。

此外,本实施方式的红色荧光成分2305的残光的持续时间比绿色荧光成分2304的残光的持续时间长。因此,从红色荧光成分2305发出的红色的光的强度i如图386的实线所示那样,该光的亮度变化的频率f在不足比上述阈值fb低的阈值fa时,保持i=i0,但在频率f超过阈值fb而变高时,逐渐变小。换言之,从红色荧光成分2305发出的红色的光不存在于从绿色荧光成分2304发出的绿色的光的频带中的高频区域,而是仅存在于低频区域。

更具体而言,本实施方式的红色荧光成分2305中,使用以与可见光信号的输送频率f1相同的频率f发出的红色的光的强度i成为i=i1的荧光材料。输送频率f1是发送机所具备的蓝色led2303的亮度变化的输送频率。此外,上述的强度i1是强度i0的1/3的强度或者强度i0的-10db的强度。例如,输送频率f1是10khz或者5~100khz。

即,本实施方式的发送机是发送可见光信号的发送机,具备:蓝色led,其将发生亮度变化的蓝色的光作为上述可见光信号所包含的光而发出;绿色荧光成分,其通过接受上述蓝色的光而将绿色的光作为上述可见光信号所包含的光发出;以及红色荧光成分,其通过接受上述蓝色的光而将红色的光作为上述可见光信号所包含的光而发出。并且,上述红色荧光成分的残光的持续时间比绿色荧光成分的残光的持续时间长。另外,上述绿色荧光成分和上述红色荧光成分也可以包含于通过接受上述蓝色的光而将黄色的光作为上述可见光信号所包含的光而发出的单一荧光体。或者,也可以是,上述绿色荧光成分包含于绿色荧光体,且上述红色荧光成分包含于与上述绿色荧光体相独立的红色荧光体。

由此,红色荧光成分的残光的持续时间长,所以能够使红色的光以比蓝色和绿色的光的亮度变化的频率低的频率发生亮度变化。因此,即使白色光的可见光信号所包含的蓝色和绿色的光的亮度变化的频率与红色激光的条码的读取频率相同或者近似,也能够使白色光的可见光信号所包含的红色的光的频率与条码的读取频率大不相同。结果,能够抑制条码的读取错误的产生。

这里,上述红色荧光成分也可以发出以比从蓝色led发出的光的亮度变化的频率低的频率发生亮度变化的红色的光。

此外,上述红色荧光成分也可以具备通过接受蓝色的光而发出红色的光的红色荧光材料和仅使预定的频带的光透射的低频滤光器。例如,上述低频滤光器仅使从上述蓝色led发出的蓝色的光中的低域的频带的光透射而抵达上述红色荧光材料。另外,上述红色荧光材料也可以具有与上述绿色荧光成分相同的残光特性。或者,上述低频滤光器仅使通过从所述蓝色led发出的蓝色的光抵达上述红色荧光材料而从上述红色荧光材料发出的红色的光中的低域的频带的光透射。在使用这样的低频滤光器的情况下,也能够与上述同样,抑制条码的读取错误的产生。

此外,上述红色荧光成分也可以包括具有预先确定的残光特性的荧光材料。例如,预先确定的残光特性是如下特性,在(a)将从上述红色荧光成分发出的红色的光的亮度变化的频率f为0的情况下的上述红色的光的强度设为i0,(b)将从上述蓝色led发出的光的亮度变化的输送频率设为f1的情况下,在上述红色的光的频率f成为f=f1时,上述红色的光的强度成为上述i0的1/3以下或者-10db以下。

由此,能够使可见光信号所包含的红色的光的频率与条码的读取频率切实地大不相同。结果,能够切实地抑制条码的读取错误的产生。

此外,所述输送频率f1也可以是大致10khz。

由此,因为当前实用化的可见光信号的发送所使用的输送频率为9.6khz,所以在该实用化的可见光信号的发送中,能够有效地抑制条码的读取错误的产生。

此外,所述输送频率f1也可以是大致5~100khz。

因接收可见光信号的接收机的图像传感器(摄像元件)的进步,在今后的可见光通信中,设想会使用20khz、40khz、80khz或者100khz等的输送频率。因此,通过将上述的输送频率f1设为大致5~100khz,在今后的可见光通信中,也能够有效地抑制条码的读取错误的产生。

此外,在本实施方式中,不管是绿色荧光成分和红色荧光成分包含于单一荧光体,还是这2个荧光成分分别包含于独立的荧光体,都能够起到上述各效果。即,即使在使用单一荧光体的情况下,从该荧光体发出的红色的光和绿色的光各自的残光特性、即频率特性也是不同的。因此,通过使用红色的光的残光特性或者频率特性差、绿色的光的残光特性或者频率特性优的单一荧光体,也能够起到上述各效果。另外,残光特性或者频率特性差是指残光的持续时间长或者高频带下的光的强度弱,残光特性或者频率特性优,是指残光的持续时间短或者高频带下的光的强度强。

这里,在图385a~图386所示的例子中,通过使可见光信号所包含的红色的亮度变化的频率慢,抑制了条码的读取错误的产生,但也可以通过提高可见光信号的输送频率,来抑制该读取错误的产生。

图387是用来说明为了抑制条码的读取错误的产生而新产生的课题的图。

如图387所示那样,在可见光信号的输送频率fc为约10khz的情况下,条码的读取所使用的红色激光的读取频率也为约10~20khz,所以彼此的频率会干涉,产生条码的读取错误。

于是,通过将可见光信号的输送频率fc从约10khz提高到例如40khz,能够抑制条码的读取错误的产生。

但是,若可见光信号的输送频率fc为约40khz,则用于接收机通过摄影而对可见光信号进行采样的采样频率fs需要是80khz以上。

即,因为在接收机中所需的采样频率fs高,所以产生接收机的处理负担增大这一新的课题。于是,为了解决该新的课题,本实施方式的接收机进行下采样(downsampling)。

图388是用来说明由本实施方式的接收机进行的下采样的图。

本实施方式的发送机2301构成为例如液晶显示器、数字标牌或者照明设备。并且,发送机2301输出频率调制后的可见光信号。此时,发送机2301将该可见光信号的输送频率fc切换成例如40khz和45khz。

本实施方式的接收机2302以例如30fps的帧速率摄影该发送机2301。此时,接收机2302与上述各实施方式的接收机同样地,以在通过摄影而得到的各图像(具体而言各帧)中产生亮线的方式,以短的曝光时间进行摄影。此外,接收机2302的摄影所使用的图像传感器中存在例如1000个曝光线。因此,在1帧的摄影中,通过1000个曝光线分别在不同的定时开始曝光,对可见光信号进行采样。结果,在1秒内,进行30fps×1000个=30000次的采样(30ks/秒)。换言之,可见光信号的采样频率fs成为30khz。

按照一般的采样定理,在采样频率fs=30khz下,仅能调解15khz以下的输送频率的可见光信号。

但是,本实施方式的接收机2302在采样频率fs=30khz下对输送频率fc=40khz或者45khz的可见光信号进行下采样。通过该下采样,虽然帧中产生混叠(alias),但本实施方式的接收机2302通过观察和分析该混叠,来推测可见光信号的输送频率fc。

图389是表示本实施方式的接收机2302的处理动作的流程图。

首先,接收机2302通过对被拍摄对象进行摄影,来对输送频率fc=40khz或者45khz的可见光信号,进行采样频率fs=30khz的下采样(步骤s2310)。

接着,接收机2302观察和分析通过该下采样而得到的帧中产生的混叠(步骤s2311)。由此,接收机2302将该混叠的频率确定为例如5.1khz或者5.5khz。

然后,接收机2302基于该确定出的混叠的频率,来推测可见光信号的输送频率fc(步骤s2311)。即,接收机2302从混叠复原原来的频率。由此,接收机2302将可见光信号的输送频率fc推测为例如40khz或者45khz。

这样,本实施方式的接收机2302通过进行下采样和基于混叠的频率的复原,能够适当接收高的输送频率的可见光信号。例如,即使采样频率为fs=30khz,接收机2302也能够接收30khz~60khz的输送频率的可见光信号。因此,能够将可见光信号的输送频率从当前实用化的频率(约10khz)提高到30khz~60khz。结果,能够使可见光信号的输送频率与条码的读取频率(10~20khz)大不相同,抑制彼此的频率的干涉。结果,能够抑制条码的读取错误的产生。

这样的本实施方式的接收方法是从被拍摄对象取得信息的接收方法,包括:曝光时间设定步骤,以在图像传感器对上述被拍摄对象的摄影而得到的帧中与上述被拍摄对象的亮度变化相应地产生与上述图像传感器所包含的多个曝光线对应的多个亮线的方式,设定上述图像传感器的曝光时间;摄影步骤,通过上述图像传感器所包含的上述多个曝光线分别反复依次在不同的时刻开始曝光,上述图像传感器以预定的帧速率且以所设定的上述曝光时间对发生亮度变化的上述被拍摄对象进行摄影;以及信息取得步骤,在通过上述摄影而得到的每个帧,通过对根据该帧所包含的上述多个亮线的样式而确定的数据进行解调,来取得信息。并且,在上述摄影步骤中,通过上述多个曝光线分别反复依次在不同的时刻开始曝光,以比通过上述被拍摄对象的亮度变化而发送的可见光信号的输送频率低的采样频率,对上述可见光信号进行下采样,在上述信息取得步骤中,在通过上述摄影而得到的每个帧,对根据该帧所包含的上述多个亮线的样式而确定的混叠的频率进行确定,根据确定出的上述混叠的频率来推测上述可见光信号的频率,通过对推测出的上述可见光信号的频率进行解调来取得上述信息。

在这样的接收方法中,通过进行下采样和基于混叠的频率的复原,能够适当接收高的输送频率的可见光信号。

此外,在上述下采样中,也可以对比30khz高的输送频率的可见光信号进行下采样。由此,能够避免可见光信号的输送频率与条码的读取频率(10~20khz)的干涉,能够更有效地抑制条码的读取错误。

(实施方式31)

图390是表示接收装置(摄像装置)的处理动作的图。具体而言,图390是用来对接收可见光通信的情况下通常摄像模式和微距(macro)摄像模式的切换处理的一例进行说明的图。

这里,接收装置1610接收由多个光源(在图390中,4个光源)构成的发送装置所发出的可见光。

首先,接收装置1610在转变为了进行可见光通信的模式的情况下,以通常摄像模式起动摄像部(s1601)。另外,接收装置1610在转变为了进行可见光通信的模式的情况下,将摄像光源的框1611显示于画面。

在预定时间之后,接收装置1610将摄像部的摄像模式切换成微距摄像模式(s1602)。此外,从步骤s1601向步骤s1602切换的定时也可以不是步骤s1601后的预定时间,而是在判定为接收装置1610以光源处于框1611内的方式进行了摄像时。若这样切换成微距摄像模式,则用户只要在通过微距摄像模式而图像模糊前的通常摄像模式下的清楚的图像中使光源处于框1611内即可,因此能够容易地使光源处于框1611内。

接着,接收装置1610判定是否接收到了来自光源的信号(s1603)。若判定为接收到了来自光源的信号(在s1603中的“是”),则返回步骤s1601的通常摄像模式,若判定为没有接收到来自光源的信号(在s1603中的“否”),则持续步骤1602的微距摄像模式。另外,在步骤s1603中为“是”的情况下,也可以进行基于接收到的信号的处理(例如,显示所接收到的信号所表示的图像的处理)。

根据该接收装置1610,通过用户用手指触摸智能电话的光源1611的显示部来从通常摄像模式切换成微距摄像模式,由此能够在模糊的状态下拍摄多个光源。因而,在以微距摄像模式拍摄的图像中,包含大量比以通常摄像模式摄像的情况下的图像亮的区域。尤其是,在多个光源中相邻的2个光源之间,来自2个光源的光重叠,所以如图390的(a)的左图所示那样条纹状的影像离开,所以能够将不能作为连续信号接收这一课题作为用于成为右图那样连续的条纹的连续接收信号而进行解调。因为能够一次接收较长的码,所以具有响应时间变短这一效果。如图390的(b)所示,若首先以通常快门和通常焦点来对摄影图像进行摄影,则可得到美丽的通常的图像。但是,若如文字那样光源离开,则即使使快门高速化也不能得到连续数据,所以不能解调。接着,若使快门高速化并且将透镜的焦点用驱动部设为近距离(微距),则光源会模糊而扩开,所以4个光源相连,能够接收数据。接着若返回焦点,使快门速度返回通常,则可得到原来的美丽的图像。如(c)那样,在显示部中,将美丽的图像记录于存储器并进行显示,具有在显示部仅显示美丽的图像这一效果。与以通常摄像模式拍摄的图像相比,以微距摄像模式拍摄的图像中能够包括更多比预定的明亮度亮的区域。因而,在微距摄像模式中,能够增加相对于该被拍摄对象能够生成亮线的曝光线的数量。

图391是表示接收装置(摄像装置)的处理动作的图。具体而言,图391是用来对接收可见光通信的情况下的通常摄像模式和微距摄像模式的切换处理的另一例进行说明的图。

这里,接收装置1620接收从由多个光源(在图391中,4个光源)构成的发送装置所发出的可见光。

首先,接收装置1620在转变为了进行可见光通信的模式的情况下,以通常摄像模式起动摄像部,摄像比接收装置1620的画面所显示的图像1622广的范围的图像1623。然后,将表示所拍摄的图像1623的图像数据和拍摄该图像1623时的接收装置1620的由陀螺仪传感器、地磁传感器以及加速度传感器检测到的表示接收装置1620的姿势的姿势信息保持于存储器(s1611)。另外,拍摄到的图像1623是以接收装置1620的画面所显示的图像1622为基准而在上下方向以及左右方向上大出预定的宽度的范围的图像。此外,接收装置1620在转变为了进行可见光通信的模式的情况下,将摄像光源的框1621显示于画面。

在预定时间之后,接收装置1620将摄像部的摄像模式切换为微距摄像模式(s1612)。另外,从步骤s1611向步骤s1612切换的定时可以不是步骤s1611后的预定时间,而是摄像图像1623并判断为表示所拍摄的图像1623的图像数据保持于存储器时。此时,接收装置1620基于保持于存储器的图像数据来显示图像1623中与接收装置1620的画面尺寸对应的尺寸的图像1624。

另外,此时接收装置1620所显示的图像1624是图像1623中一部分的图像,是根据由在步骤s1611中取得的姿势信息表示的接收装置1620的姿势(由空心虚线表示的位置)与当前的接收装置1620的姿势的差量而预测为当前的由接收装置1620摄像的区域的图像。即,图像1624是图像1623中一部分的图像,是与实际以微距摄像模式拍摄的图像1625的摄像对象对应的区域的图像。即,在步骤s1612中,取得从步骤s1611的时刻起变化了的姿势(摄像方向),根据取得的当前的姿势(摄像方向)来确定被推测为当前拍摄着的摄像对象,根据预先拍摄的图像1623来确定与当前的姿势(摄像方向)相应的图像1624,进行显示图像1624的处理。因而,接收装置1620如图391的图像1623所示,在接收装置1620从以空心虚线表示的位置向空心箭头的方向移动了的情况下,能够根据该移动量决定从图像1623裁出的图像1624的区域,显示所决定的区域的图像1623即图像1624。

由此,接收装置1620即使在以微距摄像模式摄像的情况下,也能够不显示以微距摄像模式拍摄的图像1625,而显示从更清楚的以通常摄像模式拍摄的图像1623中根据当前的接收装置1620的姿势而裁出的图像1624。在从焦点模糊了的图像离开距离的多个光源得到连续的可见光信息的同时、使显示部显示所存储的通常面像的本公开的方式中,预想到会产生如下课题,在用户使用智能电话来摄影时,会产生手抖动,实际的摄影图像与从存储器显示的静止图像的方向会偏离,用户难以将方向对准作为目标的光源。在该情况下,变得不能接收来自光源的数据,所以需要采取对策。但是,根据改良后的本公开,即使手抖动,通过图像摆动检测单元和/或每个振动陀螺仪的摆动检测单元,来检测手抖动,静止图像中的目标图像被向预定的方向位移,而用户会知道与摄像头的方向的偏离。通过该显示,用户变得能够将摄像头朝向作为目标的光源,所以能够将一边显示通常图像一边分割的多个光源光学连结地进行摄影,能够连续地接收信号。由此,能够在使通常图像显示之后接收分割成多个的光源。在该情况下,能够容易地以多个光源与框1621相对的方式调整接收装置1620的姿势。另外,在使焦点模糊的情况下,光源被分散,所以等价地亮度下降,通过提升摄像头的iso等的感光度,具有能够更可靠地接收可见光数据这一效果。

接着,接收装置1620判定是否接收到了来自光源的信号(s1613)。若判定为接收到了来自光源的信号(在s1613中的“是”),则返回步骤s1611的通常摄像模式,若判定为没有接收到来自光源的信号(在s1613中的“否”),则持续步骤1612的微距摄像模式。此外,也可以在步骤s1613中为“是”的情况下,进行基于所接收到的信号的处理(例如,显示由所接收的信号表示的图像的处理)。

在该接收装置1620中也与接收装置1610同样,在微距摄像模式中能够拍摄包含更亮的区域的图像。因而,在微距摄像模式中,能够增加相对于该被拍摄对象能够生成的亮线的曝光线的数量。

图392是表示接收装置(摄像装置)的处理动作的图。

此处,发送装置1630例如是电视机等显示装置,以预定时间间隔δ1630通过可见光通信来发送不同的发送id。具体而言,在时刻t1631、t1632、t1633、t1634,分别发送作为与所显示的图像1631、1632、1633、1634对应的数据分别相关联的发送id的id1631、id1632、id1633、id1634。即,从发送装置1630,以预定时间间隔δt1630依次发送id1631~id1634。

接收装置1640基于通过可见光通信而接收到的发送id向服务器1650请求与各发送id相关联的数据,从服务器接收数据,显示与该数据对应的图像。具体而言,分别在时刻t1631、t1632、t1633、t1634显示与id1631、id1632、id1633、id1634分别对应的图像1641、1642、1643、1644。

接收装置1640也可以在取得了在时刻t1631接收到的id1631的情况下,从服务器1650取得表示预定在其后的时刻t1632~t1634从发送装置1630发送的发送id的id信息。在该情况下,接收装置1640通过使用所取得的id信息,即使不每次都从发送装置1630接收发送id,也能够向服务器1650请求与在时刻t1632~t1634的id1632~id1634相关联的数据,在各时刻t1632~t1634显示所接收到的数据。

此外,接收装置1640即使不从服务器1650取得表示预定在其后的时刻t1632~t1634从发送装置1630发送的发送id的信息,若在时刻t1631请求与id1631对应的数据,则从服务器1650接收与在其后的时刻t1632~t1634对应的发送id相关联的数据,在各时刻t1632~t1634显示所接收到的数据。即,服务器1650在从接收装置1640接收到了与在时刻t1631发送的id1631相关联的数据的请求的情况下,即使不存在来自接收装置1640的请求,也在各时刻t1632~t1634对接收装置1640发送与对应于其后的时刻t1632~t1634的发送id相关联的数据。即,在该情况下,服务器1650保持将各时刻t1631~1634和与对应于各时刻t1631~1634的发送id相关联的数据建立了关联的相关联信息,基于相关联信息,在预定的时刻发送与该预定的时刻相关联的预定的数据。

这样,接收装置1640若能够在时刻t1631通过可见光通信取得发送id1631,则在其后的时刻t1632~t1634,即使不进行可见光通信,也能够从服务器1650接收与各时刻t1632~t1634对应的数据。因而,用户不需要为了通过可见光通信来取得发送id而将接收装置1640持续地朝向发送装置1630,能够容易地使接收装置1640显示从服务器1650取得的数据。在该情况下,接收装置1640在每次从服务器取得与id对应的数据时,会产生来自服务器的时间延迟而响应时间变长。因此,为了使响应加快,从服务器等预先将与id对应的数据存储于接收机的存储部,通过显示存储部中的与id对应的数据,能够使响应时间加快。在该方式中,若对来自可见光发送机的发送信号预先加入输出下一id的时间信息,则接收机侧即使不连续地接收可见光信号,在到了该时间时,也能够知晓下一id的发送时间,所以具有无需将接收装置一直朝向光源的方向这一效果。该方式具有如下效果:在接收到可见光时,仅通过将发送机侧的时间信息(时钟)与接收机侧的时间信息(时钟)同步,即使在同步后不接收发送机的数据,也能够连续地显示与发送机同步了的画面。

此外,在上述的例子中,接收装置1640在时刻t1631、t1632、t1633以及t1634,分别显示与作为发送id的id1631、id1632、id1633以及id1634的各个对应的图像1641、1642、1643、1644。此处,接收装置1640也可以如图393所示那样,在上述各时刻并非仅提示图像,还提示其他信息。即,接收装置1640在时刻t1631,显示与id1631对应的图像1641,并且输出与该id1631对应的音或者声音。此时,接收装置1640也可以显示在该图像显示的例如商品的购入网站。这样的音的输出和购入网站的显示在时刻t1631以外的时刻t1632、t1633以及t1634的各个也同样地进行。

接着,在如图390的(b)所示那样搭载了用于立体的左右2个摄像头的智能电话的情况下,在左眼用摄像头中以通常的快门速度、通常的焦点来显示通常的画质的图像。同时在右眼用摄像头中,以比左眼高速的快门,并且/或者短的距离的焦点和/或设定成微距,得到本公开的条纹状的亮线,对数据进行解调。由此,可得到如下效果:在显示部显示通常的画质的图像,并且能够通过右眼摄像头来接收距离上被分割了的多个光源的光通信数据。

(实施方式32)

在此,以下针对声音同步再现的应用例进行说明。

图394是示出实施方式32的应用的一例的图。

例如作为智能电话构成的接收机1800a接收从例如作为街头数字标牌构成的发送机1800b发送的信号(可见光信号)。即,接收机1800a接收发送机1800b的图像再现的定时。接收机1800a在与该图像再现相同的定时,使声音再现。换言之,接收机1800a进行该声音的同步再现,以使得通过发送机1800b再现的图像和声音同步。此外,接收机1800a也可以使与通过发送机1800b再现的图像(再现图像)相同的图像或与该再现图像相关联的关联图像和声音一起再现。另外,接收机1800a也可以使与接收机1800a连接的设备再现声音等。另外,接收机1800a也可以在接收到可见光信号后,从服务器下载与该可见光信号相对应的声音或关联图像等内容。接收机1800a在该下载后进行同步再现。

由此,即便在听不到来自发送机1800b的声音的情况下、和/或由于街头声音再现被禁止而来自发送机1800b的声音未被再现的情况下,用户也能够听到与发送机1800b的显示相匹配的声音。另外,在存在在声音到达前要花费时间那样的距离的情况下,也能够听到与显示相匹配的声音。

这里,以下对基于声音同步再现的多语言对应进行说明。

图395是示出实施方式32的应用的一例的图。

接收机1800a以及接收机1800c分别从服务器取得设定于该接收机的语言的、与发送机1800d所显示的例如电影等影像对应的声音,并且再现。具体而言,发送机1800d将表示用于识别所显示的影像的id的可见光信号向接收机发送。接收机当接收该可见光信号时,将包含该可见光信号所表示的id和自己设定的语言的请求信号向服务器发送。接收机从服务器取得与该请求信号对应的声音并进行再现。由此,用户能够以自己设定的语言享受发送机1800d所显示的作品。

这里,以下对声音同步方法进行说明。

图396以及图397是表示实施方式32的发送信号的例子和声音同步方法的例子的图。

各自不同的数据(例如图396所示的数据:1~6等)与每一定时间(n秒)的时刻相关联。这些数据例如既可以是用于识别时间的id,也可以是时间,还可以是声音数据(例如64kbps的数据)。以下,以数据是id为前提进行说明。各自不同的id也可以是附随于id的附加信息部分不同的id。

优选构成id的数据包不同。因此,优选id不连续。或者,在将id数据包化时优选构成非连续的部分作为一个数据包的数据包化方法。即便是连续的id,错误订正信号的成为不同的样式的倾向也较高,因此,也可以构成为不将错误订正信号汇集于一个数据包,而使其分散于多个数据包。

发送机1800d例如与显示的图像的再现时刻相匹配地发送id。接收机通过检测id变更后的定时,能够识别发送机1800d的图像的再现时刻(同步时刻)。

在(a)的情况下,接收到id:1和id:2的变化时间点,因此,能够正确地识别同步时刻。

在发送id的时间n长的情况下,这样的机会少,有时能够如(b)那样接收id。在该情况下,也能够通过以下的方法来识别同步时刻。

(b1)将id变化了的接收区间的中点设想为id变化点。另外,将从过去推测到的id变化点经过时间n的整数倍后的时刻也推测为id变化点,将多个id变化点的中点推测为更正确的id变化点。通过这样的推测的算法,能够逐渐地推测正确的id变化点。

(b2)除了上述之外,通过将id未变化的接收区间及其时间n的整数倍后的时刻推测为不包含id变化点,有可能是id变化点的区间逐渐地减少,能够推测正确的id变化点。

通过将n设定为0.5秒以下,能够正确地进行同步。

通过将n设定为2秒以下,能够以不使用户感觉到延迟的方式进行同步。

通过将n设定为10秒以下,能够以抑制id的浪费的方式进行同步。

图397是表示实施方式32的发送信号的例的图。

在图397中,通过利用时间数据包进行同步,能够避免id的浪费。时间数据包是保持有进行了发送的时刻的数据包。在需要表现长的时间的情况下,分割为表示精细的时间的时间数据包1和表示粗略的时间的时间数据包2来构成时间数据包。例如,时间数据包2表示时刻中的时以及分,时间数据包1仅表示时刻中的秒。也可以将表示时刻的数据包分割为3个以上的时间数据包。由于粗略的时间的必要性少,因此,通过与粗略的时间数据包相比较多地发送精细的时间数据包,接收机能够快速且正确地识别同步时刻。

即,在本实施方式中,通过可见光信号包含表示时刻中的时以及分的第2信息(时间数据包2)和表示时刻中的秒的第1信息(时间数据包1),表示可见光信号被从发送机1800d发送的时刻。并且,接收机1800a接收第2信息,并且接收比接收该第2信息的次数多的次数的第1信息。

这里,以下对同步时刻调整进行说明。

图398是表示实施方式32的接收机1800a的处理流程的一例的图。

由于从信号被发送到由接收机1800a处理并再现声音或动态图像为止,需要花费某程度的时间,因此,通过进行估计该处理时间而再现声音或动态图像的处理,能够正确地进行同步再现。

首先,对接收机1800a指定处理延迟时间(步骤s1801)。该步骤既可以保持于处理程序中,也可以由用户指定。通过用户进行修正,会能够实现与接收机个体相匹配的更正确的同步。通过按接收机的各个型号,使该处理延迟时间根据接收机的温度和/或cpu使用比例来变化,能够更正确地进行同步。

接收机1800a判定是否接收到时间数据包或接收到作为声音同步用而所关联的id(步骤s1802)。这里,接收机1800a在判定为接收到时(步骤s1802的“是”),进一步判定是否存在待处理图像(步骤s1804)。在判定为存在待处理图像时(步骤s1804的“是”),接收机1800a废弃该待处理图像或将待处理图像的处理延后,进行从所取得的最新图像开始的接收处理(步骤s1805)。由此能够回避由待处理量导致的无法预测的延迟。

接收机1800a计测可见光信号(具体而言的亮线)位于图像中的哪个位置(步骤s1806)。即,通过计测信号出现在从图像传感器的最初曝光线开始的与曝光线垂直的方向的哪个位置,能够计算从图像取得开始时刻到信号接收时刻为止的时间差(图像内延迟时间)。

接收机1800a通过在识别到的同步时刻,再现加上了处理延迟时间和图像内延迟时间的时刻的声音或动态图像,能够正确地进行同步再现(步骤s1807)。

另一方面,在步骤s1802中,接收机1800a当判定为未接收到时间数据包或声音同步用id时,从通过摄像而得的图像中接收信号(步骤s1803)。

图399是示出实施方式32的接收机1800a的用户界面的一例的图。

如图399的(a)所示,用户通过按压接收机1800a所显示的按钮bt1~bt4的某一个,能够调整上述的处理延迟时间。另外,也可以是,如图399的(b)所示,能够通过滑动动作来设定处理延迟时间。由此,能够基于用户的感觉更正确地进行同步再现。

这里,以下对耳机限定再现(限定用耳机进行再现)进行说明。

图400是示出实施方式32的接收机1800a的处理流程的一例的图。

通过由该处理流程示出的耳机限定再现,能够不给周围带来麻烦地进行声音再现。

接收机1800a确认是否正进行耳机限定(限定为耳机)的设定(步骤s1811)。在正进行耳机限定的设定的情况下,例如在接收机1800a中进行耳机限定的设定。或者,在接收到的信号(可见光信号)中进行作为耳机限定的设定。或者,耳机限定这一状况与所接收的信号相关联地记录于服务器或接收机1800a。

接收机1800a在确认进行了耳机限定时(步骤s1811的“是”),判定耳机是否与接收机1800a连接(步骤s1813)。

接收机1800a当确认未进行耳机限定时(步骤s1811的“否”),或,当判定为连接着耳机时(步骤s1813的“是”),将声音再现(步骤s1812)。当将声音再现时,接收机1800a将音量调整为该音量处于设定范围内。该设定范围与耳机限定的设定同样地被设定。

接收机1800a当判定为耳机未连接时(步骤s1813的“否”),进行向用户催促连接耳机的通知(步骤s1814)。该通知例如通过画面显示、声音输出或振动来进行。

另外,接收机1800a在未设定禁止强制性地进行声音再现的情况下,准备用于强制再现的界面,判定用户是否进行了强制再现的操作(步骤s1815)。这里,当判定为进行了强制再现的操作时(步骤s1815的“是”),接收机1800a在未连接有耳机的情况下也将声音再现(步骤s1812)。

另一方面,当判定为未进行强制再现的操作时(步骤s1815的“否”),接收机1800a通过保持预先接收到的声音数据以及解析出的同步时刻,在连接了耳机时,快速地进行声音的同步再现。

图401是示出实施方式32的接收机1800a的处理流程的另一例的图。

接收机1800a首先从发送机1800d接收id(步骤s1821)。即,接收机1800a接收表示发送机1800d的id或发送机1800d所显示的内容的id的可见光信号。

接着,接收机1800a从服务器下载与该接收到的id相关联的信息(内容)(步骤s1822)。或者,接收机1800a从位于接收机1800a的内部的数据保持部读出该信息。以下,将该信息称为关联信息。

接着,接收机1800a判定该关联信息所含的同步再现标志是否表示on(激活)(步骤s1823)。这里,当判定为同步再现标志不表示on时(步骤s1823的“否”),接收机1800a输出由该关联信息表示的内容(步骤s1824)。即,在该内容为图像的情况下,接收机1800a显示图像,在该内容是声音的情况下,接收机1800a输出声音。

另一方面,接收机1800a当判定为同步再现标志表示on时(步骤s1823的“是”),进一步,判定该关联信息所含的时刻匹配模式是被设定为发送机基准模式,还是被设定为绝对时刻模式(步骤s1825)。当判定为被设定为绝对时刻模式时,接收机1800a判定最后的时刻匹配是否在从当前时刻起的一定时间以内被进行(步骤s1826)。此时的时刻匹配是通过预定的方法得到时刻信息并使用该时刻信息使接收机1800a所具备的时钟的时刻匹配于基准时钟的绝对时刻的处理。预定的方法例如是使用了gps(globalpositioningsystem:全球定位系统)电波或ntp(networktimeprotocol:网络时间协议)电波的方法。此外,上述的当前时刻也可以是作为终端装置的接收机1800a接收到可见光信号的时刻。

接收机1800a当判定为最后的时刻匹配在一定时间以内进行了时(步骤s1826的“是”),基于接收机1800a的时钟的时刻输出关联信息,由此使发送机1800d所显示的内容与关联信息同步(步骤s1827)。在通过关联信息表示的内容例如为动态图像的情况下,接收机1800a以与发送机1800d所显示的内容同步的方式,显示该动态图像。在通过关联信息表示的内容例如为声音的情况下,接收机1800a以与发送机1800d所显示的内容同步的方式,输出该声音。例如,在关联信息表示声音的情况下,关联信息包含构成声音的各帧,在这些帧上附有时间戳。接收机1800a通过将附有与自身的时钟的时刻相符的时间戳的帧再现,输出与发送机1800d的内容同步的声音。

接收机1800a当判定为最后的时刻匹配未在一定时间以内进行时(步骤s1826的“否”),以预定的方法尝试时刻信息的取得,并判定是否能够取得该时刻信息(步骤s1828)。这里,当判定为能够取得时刻信息时(步骤s1828的“是”),接收机1800a使用该时刻信息,来更新接收机1800a的时钟的时刻(步骤s1829)。并且,接收机1800a执行上述的步骤s1827的处理。

另外,在步骤s1825中,当判定为时刻匹配模式是发送机基准模式时,或在步骤s1828中,判定为无法取得时刻信息时(步骤s1828的“否”),接收机1800a从发送机1800d取得时刻信息(步骤s1830)。即,接收机1800a利用可见光通信从发送机1800d取得作为同步信号的时刻信息。例如,同步信号是图397所示的时间数据包1以及时间数据包2。或,接收机1800a利用bluetooth(注册商标)或wi-fi等的电波从发送机1800d取得时刻信息。并且,接收机1800a执行上述的步骤s1829以及s1827的处理。

在本实施方式中,如步骤s1829、s1830那样,在进行了用于通过gps电波或ntp电波在作为接收机1800a的终端装置的时钟和基准时钟之间取得同步的处理(时刻匹配)的时刻为从终端装置接收到可见光信号的时刻起往前的预定时间之前的情况下,利用从发送机1800d发送的可见光信号表示的时刻,在终端装置的时钟和发送机的时钟之间取得同步。由此,终端装置能够在与发送机1800d所再现的发送机侧内容同步的定时,对内容(动态图像或声音)进行再现。

图402a是用来说明实施方式32中的同步再现的具体方法的图。同步再现的方法包括图402所示的方法a~e。

(方法a)

在方法a中,发送机1800d与上述各实施方式同样地,通过使显示器发生亮度变化,来输出表示内容id以及内容再现中时刻的可见光信号。内容再现中时刻是当内容id从发送机1800d被发送了时由发送机1800d再现的、作为内容的一部分的数据的再现时刻。如果内容是动态图像,则数据是构成该动态图像的图像或场景等,如果内容是声音,则数据是构成该声音的帧等。再现时刻例如将从内容的开头开始的再现时间表示为时刻。如果内容是动态图像,则再现时刻作为pts(presentationtimestamp:呈现时间戳)包含于内容中。即,内容按构成该内容的各个数据,包含有该数据的再现时刻(显示时刻)。

接收机1800a与上述各实施方式同样地,通过对发送机1800d进行摄影来接收该可见光信号。并且,接收机1800a将包含由可见光信号表示的内容id的请求信号向服务器1800f发送。服务器1800f接收该请求信号,将与请求信号所含的内容id相对应的内容向接收机1800a发送。

接收机1800a若接收到该内容,则从(内容再现中时刻+从id接收开始的经过时间)的时间点开始再现该内容。从id接收开始的经过时间是从内容id被接收机1800a接收到时开始的经过时间。

(方法b)

在方法b中,发送机1800d与上述各实施方式同样地,通过使显示器发生亮度变化来输出表示内容id以及内容再现中时刻的可见光信号。接收机1800a与上述各实施方式同样地,通过对发送机1800d进行摄影来接收该可见光信号。并且,接收机1800a将包含由可见光信号表示的内容id以及内容再现中时刻的请求信号向服务器1800f发送。服务器1800f接收该请求信号,在与请求信号所含的内容id相对应的内容中,仅将内容再现中时刻以后的一部分内容向接收机1800a发送。

接收机1800a若接收到该一部分的内容,则从(从id接收开始的经过时间)的时间点开始再现该一部分的内容。

(方法c)

在方法c中,发送机1800d与上述各实施方式同样地,通过使显示器发生亮度变化来输出表示发送机id以及内容再现中时刻的可见光信号。发送机id是用于识别发送机的信息。

接收机1800a与上述各实施方式同样地,通过对发送机1800d进行摄影来接收该可见光信号。并且,接收机1800a将包含由可见光信号表示的发送机id的请求信号向服务器1800f发送。

服务器1800f按各发送机id,保持有作为由该发送机id的发送机再现的内容的时间表的再现预定表。服务器1800f还具备时钟。这样的服务器1800f在接收到该请求信号时,根据再现预定表确定与该请求信号所含的发送机id和服务器1800f的时钟的时刻(服务器时刻)相对应的内容,作为再现中的内容。并且,服务器1800f将该内容向接收机1800a发送。

接收机1800a在接收到该内容时,从(内容再现中时刻+从id接收开始的经过时间)的时间点开始再现该内容。

(方法d)

在方法d中,发送机1800d与上述各实施方式同样地,通过使显示器发生亮度变化来输出表示发送机id以及发送机时刻的可见光信号。发送机时刻是由发送机1800d所具备的时钟表示的时刻。

接收机1800a与上述各实施方式同样地,通过对发送机1800d进行摄影来接收该可见光信号。并且,接收机1800a将包含由可见光信号表示的发送机id以及发送机时刻的请求信号向服务器1800f发送。

服务器1800f保持有上述的再现预定表。这样的服务器1800f在接收到该请求信号时,根据再现预定表确定与该请求信号所含的发送机id和发送机时刻相对应的内容,作为再现中的内容。进一步,服务器1800f根据发送机时刻确定内容再现中时刻。即,服务器1800f根据再现预定表找到所确定的内容的再现开始时刻,将发送机时刻和再现开始时刻之间的时间确定为内容再现中时刻。并且,服务器1800f将该内容以及内容再现中时刻向接收机1800a发送。

接收机1800a在接收到该内容以及内容再现中时刻时,从(内容再现中时刻+从id接收开始的经过时间)的时间点开始再现该内容。

这样,在本实施方式中,可见光信号表示该可见光信号从发送机1800d发送的时刻。因此,作为终端装置的接收机1800a能够接收与可见光信号从发送机1800d发送的时刻(发送机时刻)相对应的内容。例如,如果发送机时刻是5时43分,则能够接收在5时43分再现的内容。

另外,在本实施方式中,服务器1800f具有与各个时刻相关联的多个内容。但是,有时在服务器1800f中不存在与可见光信号所示的时刻相关联的内容。在这样的情况下,作为终端装置的接收机1800a也可以接收该多个内容中的、与可见光信号所示的时刻最接近且与可见光信号所示的时刻之后的时刻相关联的内容。由此,即便在服务器1800f中不存在与可见光信号所示的时刻相关联的内容,也能够从存在于该服务器1800f中的多个内容中接收适当的内容。

另外,本实施方式的再现方法包括:信号接收步骤,利用接收机1800a(终端装置)的传感器从通过光源的亮度变化发送可见光信号的发送机1800d接收可见光信号;发送步骤,从接收机1800a将用于请求与可见光信号相对应的内容的请求信号向服务器1800f发送;内容接收步骤,接收机1800a从服务器1800f接收内容;以及将内容再现的再现步骤。可见光信号表示发送机id和发送机时刻。发送机id是id信息。另外,发送机时刻是由发送机1800d的时钟表示的时刻,是该可见光信号被从发送机1800d发送的时刻。并且,在内容接收步骤中,接收机1800a接收与由可见光信号示出的发送机id以及发送机时刻相对应的内容。由此,接收机1800a能够针对发送机id以及发送机时刻将适当的内容进行再现。

(方法e)

在方法e中,发送机1800d与上述各实施方式同样地,通过使显示器亮度变化来输出表示发送机id的可见光信号。

接收机1800a通过与上述各实施方式同样地,对发送机1800d进行摄影来接收该可见光信号。并且,接收机1800a将包含由可见光信号表示的发送机id的请求信号向服务器1800f发送。

服务器1800f保持上述再现预定表,还具备时钟。这样的服务器1800f在接收到该请求信号时,根据再现预定表确定与该请求信号所包含的发送机id和服务器时刻相对应的内容,作为再现中的内容。此外,服务器时刻是由服务器1800f的时钟表示的时刻。进一步,服务器1800f还根据再现预定表找到所确定的内容的再现开始时刻。并且,服务器1800f将该内容以及内容再现开始时刻向接收机1800a发送。

接收机1800a在接收到该内容以及内容再现开始时刻时,从(接收机时刻-内容再现开始时刻)的时间点再现该内容。此外,接收机时刻是由接收机1800a所具备的时钟表示的时刻。

这样,本实施方式的再现方法包括:信号接收步骤,利用接收机1800a(终端装置)的传感器从通过光源的亮度变化发送可见光信号的发送机1800d接收可见光信号;发送步骤,从接收机1800a将用于请求与可见光信号相对应的内容的请求信号向服务器1800f发送;内容接收步骤,接收机1800a从服务器1800f接收包含各时刻和在各时刻再现的数据的内容;以及再现步骤,将该内容中的与接收机1800a所具备的时钟的时刻相符合的数据进行再现。因此,接收机1800a不会在错误的时刻再现该内容中的数据,而能够在与该内容所示的正确的时刻,适当地再现该内容中的数据。另外,如果在发送机1800d中也正在再现与该内容关联的内容(发送机侧内容),则接收机1800a能够使内容与该发送机侧内容适当地同步并再现。

此外,上述方法c~e也可以如方法b那样,服务器1800f仅将内容中的内容再现中时刻以后的一部分的内容向接收机1800a发送。

另外,在上述方法a~e中,接收机1800a向服务器1800f发送请求信号,从服务器1800f接收必要的数据,但也可以是不进行这样的发送接收,而预先保持处于服务器1800f中的某数据。

图402b是示出通过上述的方法e进行同步再现的再现装置的结构的框图。

再现装置b10是通过上述的方法e进行同步再现的接收机1800a或终端装置,具备:传感器b11、请求信号发送部b12、内容接收部b13、时钟b14和再现部b15。

传感器b11例如是图像传感器,从根据光源的亮度变化发送可见光信号的发送机1800d接收该可见光信号。请求信号发送部b12将用于请求与可见光信号相对应的内容的请求信号向服务器1800f发送。内容接收部b13从服务器1800f接收包含各时刻和在各时刻再现的数据的内容。再现部b15将该内容中的与时钟b14的时刻相符的数据再现。

图402c是示出通过上述的方法e进行同步再现的终端装置的处理动作的流程图。

再现装置b10是通过上述的方法e进行同步再现的接收机1800a或终端装置,执行步骤sb11~sb14的各处理。

在步骤sb11中,从根据光源的亮度变化发送可见光信号的发送机1800d接收该可见光信号。在步骤sb12中,将用于请求与可见光信号相对应的内容的请求信号向服务器1800f发送。在步骤sb13中,从服务器1800f接收包含各时刻和在各时刻再现的数据的内容。在步骤sb14中,将该内容中的与时钟b14的时刻相符的数据再现。

这样,在本实施方式的再现装置b10以及再现方法中,不会在错误的时刻将内容中的数据再现,能够在该内容所示的正确的时刻适当地将内容中的数据再现。

此外,在本实施方式中,各构成要素可以由专用的硬件构成,或者通过执行适合各构成要素的软件程序来实现。各构成要素也可以通过cpu或处理器等程序执行部读出并执行记录于硬盘或半导体存储器等记录介质的软件程序来实现。这里,实现本实施方式的再现装置b10等的软件是使计算机执行图402c所示的流程图所含的各步骤的程序。

图403是用来说明实施方式32的同步再现的事先准备的图。

接收机1800a为了进行同步再现,进行使接收机1800a所具备的时钟的时刻与基准时钟的时刻相匹配的时刻匹配。为了该时刻匹配,接收机1800a进行以下的(1)~(5)的处理。

(1)接收机1800a接收信号。该信号既可以是通过发送机1800d的显示器的亮度变化而发送的可见光信号,也可以是基于来自无线设备的wi-fi或bluetooth(注册商标)的电波信号。或者,接收机1800a取代接收这样的信号,而例如通过gps等取得表示接收机1800a的位置的位置信息。并且,接收机1800a通过该位置信息,识别接收机1800a进入到预先决定的场所或建筑物。

(2)接收机1800a在接收到上述信号时,或识别到进入到预先决定的场所时,将请求与该信号或场所等相关联的数据(关联信息)的请求信号向服务器(可见光id解决服务器)1800f发送。

(3)服务器1800f将上述的数据和用于使接收机1800a进行时刻匹配的时刻匹配请求向接收机1800a发送。

(4)接收机1800a在接收到数据和时刻匹配请求时,将时刻匹配请求向gps时间服务器、ntp服务器或电信运营商(carrier)的基站发送。

(5)上述服务器或基站在接收到该时刻匹配请求时,将表示当前时刻(基准时钟的时刻或绝对时刻)的时刻数据(时刻信息)向接收机1800a发送。接收机1800a通过使自身所具备的时钟的时刻与该时刻数据所示的现在时刻相匹配,来进行时刻匹配。

这样在本实施方式中,在接收机1800a(终端装置)所具备的时钟和基准时钟之间,通过gps(globalpositioningsystem)电波或ntp(networktimeprotocol)电波来取得同步。因此,接收机1800a能够在根据基准时钟的适当时刻,将与该时刻相符合的数据再现。

图404是示出实施方式32的接收机1800a的应用例的图。

接收机1800a如上述那样构成为智能电话,例如被保持于由具有透光性的树脂或玻璃等构件构成的支架1810而被利用。该支架1810具有:背板部1810a和立设于背板部1810a的卡止部1810b。接收机1800a在背板部1810a与卡止部1810b之间,以沿着该背板部1810a的方式被插入。

图405a是实施方式32的被保持于支架1810的接收机1800a的主视图。

接收机1800a在如上述那样被插入的状态下被支架1810所保持。此时,卡止部1810b与接收机1800a的下部卡定,与背板部1810a夹持其下部。另外,接收机1800a的背面与背板部1810a相对,接收机1800a的显示器1801成为露出的状态。

图405b是实施方式32的被保持于支架1810的接收机1800a的后视图。

另外,在背板部1810a形成有通孔1811,在该通孔1811的附近安装有可变滤光器1812。当接收机1800a被支架1810保持时,接收机1800a的摄像头1802从背板部1810a经由通孔1811而露出。另外,接收机1800a的闪光灯1803与可变滤光器1812相对。

可变滤光器1812例如形成为圆盘状,具有分别为扇状且具有相同尺寸的3个彩色滤光器(红色滤光器、黄色滤光器以及绿色滤光器)。另外,可变滤光器1812以可变滤光器1812的中心为轴旋转自如地安装于背板部1810a。另外,红色滤光器是对红色具有透光性的滤光器,黄色滤光器是对黄色具有透光性的滤光器,绿色滤光器是对绿色具有透光性的滤光器。

因此,可变滤光器1812被旋转,例如,红色滤光器配置在与闪光灯1803a相对的位置。该情况下,从闪光灯1803a发出的光透射红色滤光器,由此,作为红色的光在支架1810的内部扩散。其结果,支架1810的大致整体呈红色地发光。

同样地,可变滤光器1812被旋转,例如,黄色滤光器配置在与闪光灯1803a相对的位置。该情况下,从闪光灯1803a发出的光透射黄色滤光器,由此,作为黄色的光在支架1810的内部扩散。其结果,支架1810的大致整体呈黄色地发光。

同样地,可变滤光器1812被旋转,例如,绿色滤光器配置在与闪光灯1803a相对的位置。该情况下,从闪光灯1803a发出的光透射绿色滤光器,由此,作为绿色的光在支架1810的内部扩散。其结果,支架1810的大致整体呈绿色地发光。

即,支架1810如笔灯那样,点亮为红色、黄色或绿色。

图406是用来说明实施方式32的保持于支架1810的接收机1800a的使用场景的图。

例如,作为被支架1810保持的接收机1800a的带支架接收机,在游乐场等被利用。即,在游乐场朝向移动的彩饰花车的多个带支架接收机,按照从该彩饰花车流出的音乐,同步地闪烁。即,彩饰花车构成为上述各实施方式的发送机,根据安装于彩饰花车的光源的亮度变化来发送可见光信号。例如,彩饰花车发送表示彩饰花车的id的可见光信号。并且,带支架接收机与上述各实施方式同样地,通过接收机1800a的摄像头1802的摄影来接收该可见光信号、即id。接收到id的接收机1800a例如从服务器取得与该id相关联的程序。该程序包括在预定的各时刻使接收机1800a的闪光灯1803点亮的命令。该预定的各时刻与从彩饰花车流出的音乐相匹配地(同步地)设定。并且,接收机1800a根据该程序使闪光灯1803a闪烁。

由此,接收到该id的各接收机1800a的支架1810按照从该id的彩饰花车流出的音乐反复在相同定时点亮。

这里,各接收机1800a根据设定的彩色滤光器(以下,称为设定滤光器)进行闪光灯1803的闪烁。设定滤光器是与接收机1800a的闪光灯1803相对的彩色滤光器。另外,各接收机1800a基于用户的操作,识别现在的设定滤光器。或,各接收机1800a基于通过摄像头1802的摄影得到的图像的颜色等,识别现在的设定滤光器。

即,接收到id的多个接收机1800a中,在预定的时刻,仅是识别出设定滤光器是红色滤光器的多个接收机1800a的支架1810同时点亮。在下一时刻,仅是识别出设定滤光器是绿色滤光器的多个接收机1800a的支架1810同时点亮。在又下一时刻,仅是识别出设定滤光器是黄色滤光器的多个接收机1800a的支架1810同时点亮。

这样,支架1810所保持的接收机1800a与上述的图394~图400所示的同步再现同样地,与彩饰花车的音乐和其他的支架1810所保持的接收机1800a同步地使闪光灯1803、即支架1810闪烁。

图407是表示实施方式32的被支架1810保持的接收机1800a的处理动作的流程图。

接收机1800a接收由来自彩饰花车的可见光信号表示的彩饰花车的id(步骤s1831)。接着,接收机1800a从服务器取得与该id相关联的程序(步骤s1832)。接着,接收机1800a通过执行该程序,在对应于设定滤光器的预定的各时刻使闪光灯1803点亮(步骤s1833)。

这里,接收机1800a也可以使对应于所接收的id或所取得的程序的图像在显示器1801上显示。

图408是示出实施方式32的由接收机1800a显示的图像的一例的图。

接收机1800a当例如从圣诞老人的彩饰花车接收id时,如图408的(a)所示,使圣诞老人的图像显示。进而,接收机1800a也可以如图408的(b)所示,在与闪光灯1803点亮的同时,使该圣诞老人的图像的背景色变更为设定滤光器的颜色。例如,在设定滤光器的颜色是红色的情况下,与通过闪光灯1803的点亮使支架1810点亮为红色同时,具有红色的背景色的圣诞老人的图像被显示在显示器1801。即,支架1810的闪烁和显示器1801的显示同步。

图409是示出实施方式32的支架的另一例的图。

支架1820构成为与上述的支架1810同样,但是,没有通孔1811以及可变滤光器1812。这样的支架1820以接收机1800a的显示器1801朝向背板部1820a的状态,保持该接收机1800a。该情况下,接收机1800a取代闪光灯1803,使显示器1801发光。由此,来自显示器1801的光向支架1820的大致整体扩散。因此,当接收机1800a根据上述的程序以红色的光使显示器1801发光时,支架1820点亮为红色。同样地,当接收机1800a根据上述的程序,以黄色的光使显示器1801发光时,支架1820点亮为黄色。当接收机1800a根据上述的程序,以绿色的光使显示器1801发光时,支架1820点亮为绿色。如果使用这样的支架1820,则能够省略可变滤光器1812的设定。

(实施方式33)

(可见光信号)

图410a~图410d是示出实施方式33的可见光信号的一例的图。

与上述同样,例如如图410a所示,发送机生成4ppm的可见光信号,根据该可见光信号进行亮度变化。具体而言,发送机将4时隙分配为一个信号单位,生成包括多个信号单位的可见光信号。信号单位按时隙表示high(h)或low(l)。并且,发送机在h的时隙明亮地发光,在l的时隙暗淡地发光或熄灭。例如,1时隙是相当于1/9600秒的时间的期间。

另外,例如如图410b所示,发送机也可以生成分量配为一个信号单位的时隙数可变的可见光信号。该情况下,信号单位中包含在1个以上连续的时隙中表示h的信号和接着该h信号的1个时隙中表示l的信号。由于h的时隙数为可变,因此,信号单位整体的时隙数为可变。例如如图410b所示,发送机生成按3时隙的信号单位、4时隙的信号单位、6时隙的信号单位的顺序包含这些信号单位的可见光信号。并且,发送机在该情况下也在h的时隙明亮地发光,在l的时隙暗淡地发光或熄灭。

另外,例如如图410c所示,发送机也可以不将多个时隙分配为一个信号单位,而将任意的期间(信号单位期间)分配为一个信号单位。该信号单位期间包含h期间和接着该h期间的l期间。h期间根据调制前的信号被调整。l期间可以是固定的与上述时隙相当的期间。另外,h期间以及l期间分别例如是100μs以上的期间。例如如图410c所示,发送机发送按信号单位期间为210μs的信号单位、信号单位期间为220μs的信号单位、信号单位期间为230μs的信号单位的顺序包含这些信号单位的可见光信号。并且,发送机在该情况下也在h期间明亮地发光,在l期间暗淡地发光或熄灭。

另外,例如如图410d所示,发送机也可以将交替地表示l和h的信号作为可见光信号而生成。该情况下,可见光信号中,l期间和h期间分别根据调制前的信号被调整。例如如图410d所示,发送机发送下述可见光信号:在100μs的期间表示h,接着,在120μs的期间表示l,接着,在110μs的期间表示h,进一步,在200μs的期间表示l。并且,发送机在该情况下也在h期间明亮地发光,在l期间暗淡地发光或熄灭。

图411是示出实施方式33的可见光信号的构成的图。

可见光信号例如包含信号1、与该信号1对应的明亮度调整信号、信号2、以及与该信号2对应的明亮度调整信号。发送机当通过对调制前的信号进行调制而生成信号1以及信号2时,生成针对这些信号的明亮度调整信号,生成上述的可见光信号。

与信号1对应的明亮度调整信号是补偿因根据信号1的亮度变化而产生的明亮度的增减的信号。与信号2对应的明亮度调整信号是补偿因根据信号2的亮度变化而产生的明亮度的增减的信号。在此,通过根据信号1和该信号1的明亮度调整信号的亮度变化来表现明亮度b1,通过根据信号2和该信号2的明亮度调整信号的亮度变化来表现明亮度b2。本实施方式中的发送机,将信号1以及信号2的各自的明亮度调整信号作为可见光信号的一部分而生成,以使得该明亮度b1和明亮度b2相等。由此,明亮度被保持为一定,能够抑制闪烁。

另外,发送机在生成上述信号1时,生成包含数据1、接着该数据1的前导码(头)和接着该前导码的数据1的信号1。在此,前导码是与配置在其前后的数据1对应的信号。例如,该前导码是成为用于读出数据1的识别码的信号。这样,由于由2个数据1和配置在它们之间的前导码构成信号1,因此,接收机即便从位于前面的数据1的中途读出可见光信号,也能够正确地对该数据1(即信号1)进行解调。

(亮线图像)

图412是示出实施方式33的通过接收机的摄像而得到的亮线图像的一例的图。

如上所述,接收机通过对亮度变化的发送机进行摄像,取得包含从该发送机发送的可见光信号作为亮线样式的亮线图像。通过这样的摄像,可见光信号被接收机接收。

例如如图412所示,接收机使用图像传感器所包含的n个曝光线,在时刻t1进行摄像,据此,取得包含各自显现亮线样式的区域a以及区域b的亮线图像。区域a以及区域b是各自通过作为被拍摄对象的发送机发生亮度变化而显现亮线样式的区域。

在此,接收机根据区域a以及区域b的亮线样式对可见光信号进行解调。但是,接收机在判定为仅解调后的可见光信号不充分时,使用该n个曝光线中的、仅属于区域a的m(m<n)个连续的曝光线,在时刻t2进行摄像。由此,接收机取得仅包含区域a以及区域b中的区域a的亮线图像。接收机,在时刻t3~t5也反复实施这样的摄像。结果,能够高速地接收来自与区域a对应的被拍摄对象的充足的数据量的可见光信号。进而,接收机仅使用该n个曝光线中的属于区域b的l(l<n)个连续的曝光线,在时刻t6进行摄像。由此,接收机取得仅包含区域a以及区域b中的区域b的亮线图像。接收机,在时刻t7~t9也反复实施这样的摄像。结果,能够高速地接收来自与区域b对应的被拍摄对象的充足的数据量的可见光信号。

另外,接收机也可以通过在时刻t10以及t11,进行与时刻t2~t5同样的摄像,来取得仅包含区域a的亮线图像。进而,接收机也可以通过在时刻t12以及t13,进行与时刻t6~t9同样的摄像,来取得仅包含区域b的亮线图像。

另外,在上述的例子中,接收机在判定为可见光信号不充分时,在时刻t2~t5进行了仅包含区域a的亮线图像的连拍,但是,只要在通过时刻t1的摄像得到的图像显现亮线,则也可以进行上述的连拍。同样地,接收机在判定为可见光信号不充分时,在时刻t6~t9进行了仅包含区域b的亮线图像的连拍,但是,只要在通过时刻t1的摄像得到的图像显现亮线,则也可以进行上述的连拍。另外,接收机也可以交替地进行仅包含区域a的亮线图像的取得和仅包含区域b的亮线图像的取得。

此外,属于上述区域a的m个连续的曝光线,是有助于区域a的生成的曝光线,属于上述区域b的l个连续的曝光线是有助于区域b的生成的曝光线。

图413是示出实施方式33的通过接收机的摄像得到的亮线图像的其它例的图。

例如如图413所示,接收机使用图像传感器所含的n个曝光线,在时刻t1进行摄像,由此,取得包含各自显现亮线样式的区域a以及区域b的亮线图像。与上述同样地,区域a以及区域b是各自通过作为被拍摄对象的发送机发生亮度变化而显现亮线样式的区域。另外,区域a以及区域b各自具有沿着亮线或曝光线的方向相互重叠的区域(以下,称为重叠区域)。

在此,接收机在判定为根据该区域a以及区域b的亮线样式解调出的可见光信号不充分时,仅使用该n个曝光线中的、属于重叠区域的p(p<n)个连续的曝光线,在时刻t2进行摄像。由此,接收机取得仅包含区域a以及区域b的各个重叠区域的亮线图像。接收机在时刻t3以及t4也反复实施这样的摄像。结果,能够大致同时且高速地接收来自与区域a以及区域b的各个区域对应的被拍摄对象的充足的数据量的可见光信号。

图414是示出实施方式33的通过接收机的摄像得到的亮线图像的其它例的图。

例如如图414所示,接收机使用图像传感器所含的n个曝光线,在时刻t1进行摄像,由此,取得包含由亮线样式不清晰地显现的部分a和亮线样式清晰地显现的部分b构成的区域的亮线图像。与上述同样地,该区域是通过作为被拍摄对象的发送机发生亮度变化而显现亮线样式的区域。

在这样的情况下,接收机当判定为根据上述区域的亮线样式解调后的可见光信号不充分时,使用该n个曝光线中的仅属于部分b的q(q<n)个连续的曝光线,在时刻t2进行摄像。由此,接收机取得包含上述区域中的仅部分b的亮线图像。接收机在时刻t3以及t4也反复实施这样的摄像。结果,能够高速地接收来自与上述区域对应的被拍摄对象的充足的数据量的可见光信号。

另外,也可以是,接收机在进行了仅包含部分b的亮线图像的连拍后,进一步进行仅包含部分a的亮线图像的连拍。

如上所述,在亮线图像中包含多个显现亮线样式的区域(或部分)的情况下,接收机使各个区域具有顺序,根据该顺序,进行仅包含该区域的亮线图像的连拍。该情况下,该顺序既可以是根据信号的大小(区域或部分的面积)的顺序,也可以是根据亮线的清晰度的顺序。另外,该顺序也可以是根据来自与这些区域对应的被拍摄对象的光的颜色的顺序。例如,最初的连拍针对与红色的光对应的区域进行,下一连拍针对与白色的光对应的区域进行。另外,也可以仅进行与红色的光对应的区域的连拍。

(hdr合成)

图415是用于说明实施方式33的接收机应用于进行hdr合成的摄像头系统的图。

为防止碰撞等,在车辆搭载有摄像头系统。该摄像头系统使用通过摄像头的摄像而得到的图像,进行hdr(highdynamicrange;高动态范围)合成。通过该hdr合成,得到亮度的动态范围宽的图像。摄像头系统基于该宽动态范围的图像,进行周边的车辆、障碍物或人等的识别。

例如,作为设定模式,摄像头系统具有通常设定模式以及通信设定模式。在设定模式是通常设定模式的情况下,例如如图415所示,摄像头系统在时刻t1~t4,分别以相同的1/100秒的快门速度,并且以分别不同的感光度,进行4次摄像。摄像头系统使用通过该4次摄像而得到的4张图像来进行hdr合成。

另一方面,在设定模式是通信设定模式的情况下,例如如图415所示,摄像头系统在时刻t5~t7分别以相同的1/100秒的快门速度,并且以分别不同的感光度,进行3次摄像。进一步,摄像头系统在时刻t8以1/10000秒的快门速度、并且以最大感光度(例如iso=1600)进行摄像。摄像头系统使用该4次摄像中的最初3次摄像所获得的3张图像来进行hdr合成。进一步,摄像头系统通过上述4次摄像中的最后的摄像接收可见光信号,对通过该摄像得到的图像所显现的亮线样式进行解调。

另外,在设定模式是通信设定模式的情况下,摄像头系统也可以不进行hdr合成。例如如图415所示,摄像头系统在时刻t9以1/100秒的快门速度、且以低感光度(例如,iso=200)进行摄像。进一步,摄像头系统在时刻t10~t12以1/10000秒的快门速度且以相互不同的感光度进行3次摄像。摄像头系统根据通过该4次摄像中的最初的1次摄像得到的图像,进行周边的车辆、障碍物或人等的识别。进一步,摄像头系统通过上述4次摄像中的最后的3次摄像接收可见光信号,对通过该摄像得到的图像所显现的亮线样式进行解调。

此外,在图415所示的例子中,在时刻t10~t12的各时刻,以相互不同的感光度进行摄像,但是,也可以以相同感光度进行摄像。

在这样的摄像头系统中,能够进行hdr合成,并且也能够进行可见光信号的接收。

(安全)

图416是用于说明实施方式33的可见光通信系统的处理动作的图。

该可见光通信系统包括:配置于例如收银机的发送机、作为接收机的智能手机和服务器。此外,智能手机与服务器之间的通信、发送机与服务器之间的通信分别经由安全的通信线路来进行。另外,发送机与智能手机之间的通信通过可见光通信来进行。本实施方式的可见光通信系统,通过判定来自发送机的可见光信号是否正确地被智能手机接收,来确保安全性。

具体而言,发送机通过时刻t1的亮度变化,将表示例如值“100”的可见光信号向智能手机发送。智能手机当在时刻t2接收该可见光信号时,将表示该值“100”的电波信号向服务器发送。服务器在时刻t3从智能手机接收该电波信号。此时,服务器进行用于判定由该电波信号表示的值“100”是否是从发送机发送并被智能手机接收的可见光信号的值的处理。即,服务器将表示例如值“200”的电波信号向发送机发送。接收到该电波信号的发送机通过时刻t4的亮度变化,将表示该值“200”的可见光信号向智能手机发送。智能手机当在时刻t5接收该可见光信号时,将表示该值“200”的电波信号向服务器发送。服务器在时刻t6从智能手机接收该电波信号。服务器判别该接收到的电波信号所示的值是否与在时刻t3发送的电波信号所示的值相同。如果相同,则服务器判定为在时刻t3接收到的可见光信号所示的值“100”是从发送机发送给智能手机并被接收的可见光信号的值。另一方面,如果不同,则服务器判定为在时刻t3接收到的可见光信号所示的值“100”作为从发送机发送给智能手机并被接收的可见光信号的值是可疑的。

由此,服务器能够判定智能手机是否可靠地从发送机接收到可见光信号。也即是,能够防止即便智能手机未从发送机接收到可见光信号,也伪装成接收到该可见光信号的样子而将信号向服务器发送。

此外,在上述的例子中,在智能手机、服务器和发送机之间,进行使用了电波信号的通信,但是,也可以进行基于可见光信号以外的光信号的通信或基于电力信号的通信。另外,从发送机发送至智能手机的可见光信号例如表示收费的值、优惠券的值、怪物的值或宾果(bingo)的值等。

(车辆联系)

图417a是示出实施方式33的使用了可见光的车车间通信的一例的图。

例如,最前面的车辆利用搭载于该车辆的传感器(摄像头等),来识别行进方向上存在事故。当这样识别到事故时,最前面的车辆通过使后照灯发生亮度变化,来发送可见光信号。例如,最前面的车辆针对后续车辆发送催促减速的可见光信号。后续车辆当利用搭载于该车辆的摄像头的摄像,接收到该可见光信号时,根据该可见光信号进行减速,并且进一步针对后续的车辆发送催促减速的可见光信号。

这样,催促减速的可见光信号从排成一列行驶的多个车辆的最前面车辆开始依次被发送,接收到该可见光信号的车辆进行减速。由于向各车辆的可见光信号的发送被快速地进行,因此,这些多个车辆能够大致同时同样地进行减速。因此,能够缓解因事故造成的堵塞。

图417b是示出实施方式33的使用了可见光的车车间通信的其它例的图。

例如,也可以是,前面的车辆通过使后照灯发生亮度变化,来发送表示针对后面的车辆的消息(例如“谢谢”)的可见光信号。该消息例如通过用户对智能手机的操作而生成。并且,智能手机将表示该消息的信号向上述前面的车辆发送。结果,前面的车辆能够将表示该消息的可见光信号向后面的车辆发送。

图418是示出实施方式33的多个led的位置决定方法的一例的图。

例如,车辆的前照灯具有多个led(lightemittingdiode)。该车辆的发送机通过使前照灯的多个led的每一个独立地进行亮度变化,而从各个led发送可见光信号。其它的车辆的接收机通过对具有该前照灯的车辆进行摄像,来接收来自这些多个led的可见光信号。

此时,接收机为了识别所接收的可见光信号是从哪个led发送的信号,而根据通过该摄像得到的图像来决定多个led的各自的位置。具体而言,接收机利用安装于与该接收机相同车辆的加速度传感器,以由该加速度传感器表示的重力的方向(例如图418中的朝下箭头)为基准,决定多个led的各自的位置。

此外,在上述的例子中,作为亮度发生变化的发光体的一例,例举了led,但也可以是led以外的发光体。

图419是示出实施方式33的、通过对车辆进行摄像而得到的亮线图像的一例的图。

例如,搭载于行驶的车辆的接收机通过对后面的车辆(后续车辆)进行摄像,来取得图419所示的亮线图像。搭载于后续车辆的发送机通过使车辆的2个前照灯发生亮度变化,来将可见光信号向前面的车辆发送。在前面的车辆的后部或后视镜等,安装有对后方进行摄像的摄像头。接收机通过将后续车辆作为被拍摄对象的该摄像头的摄像,取得亮线图像,并对该亮线图像所含的亮线样式(可见光信号)进行解调。由此,从后续车辆的发送机发送的可见光信号被前面的车辆的接收机接收。

在此,接收机从由2个前照灯发送并解调后的可见光信号的各信号中,取得具有该前照灯的车辆的id、该车辆的速度、该车辆的车型。如果2个可见光信号的各自的id相同,则接收机判断为该2个可见光信号是从相同车辆发送的信号。并且,接收机根据该车辆的车型,确定该车辆具有的2个前照灯之间的长度(灯间距离)。进而,接收机计测亮线图像所含的、显现亮线样式的2个区域之间的距离l1。并且,接收机利用使用了该距离l1和灯间距离的三角测量,算出从搭载该接收机的车辆到后续车辆为止的距离(车间距离)。接收机基于该车间距离和从可见光信号取得的车辆的速度,判断碰撞的危险性,将根据该判断结果的警告向车辆的驾驶者报知。由此,能够避免车辆的碰撞。

此外,在上述的例子中,接收机根据可见光信号所含的车型来确定灯间距离,但是,也可以根据车型以外的信息来确定灯间距离。另外,在上述的例子中,接收机当判断为存在碰撞的危险性时发出警告,但是,也可以将用于使车辆执行避免该危险性的动作的控制信号向车辆输出。例如,该控制信号是用于使车辆加速的信号或者用于使车辆变更车道的信号。

另外,在上述的例子中,摄像头对后续车辆摄像,但也可以对相对向车辆摄像。另外,也可以是,接收机在根据通过摄像头的摄像得到的图像判断为接收机(也即是具备接收机的车辆)周边被雾笼罩时,成为接收上述那样的可见光信号的模式。由此,即便周边被雾笼罩,车辆的接收机通过接收从相对向车辆的前照灯发送的可见光信号,能够确定该相对向车辆的位置以及速度。

图420是示出实施方式33的接收机和发送机的应用例的图。此外,图420是从后面观察汽车的图。

例如车的具有2个后照灯(发光部或灯)的发送机(车)7006a,将发送机7006a的识别信息(id)向构成为例如智能手机的接收机发送。接收机当接收该id时,从服务器取得与该id相对应的信息。例如,该信息是表示该车或发送机的id、发光部间的距离、发光部的大小、车的大小、车的形状、车的重量、车的牌照、前方的样子或危险的有无的信息。另外,接收机也可以从发送机7006a直接取得这些信息。

图421是示出实施方式33的接收机和发送机7006a的处理动作的一例的流程图。

将发送机7006a的id和交付给接收到id的接收机的信息相关联地存储于服务器(7106a)。交付给接收机的信息中也可以包含:成为发送机7006a的发光部的大小、发光部间的距离、将发送机7006a作为构成要素的一部分的物体的形状、重量、车体牌照等识别编号、由接收机难以观察的场所的样子和/或危险的有无等信息。

发送机7006a发送id(7106b)。发送内容中也可以包含所述服务器的url和/或使所述服务器存储的信息。

接收机接收被发送的id等信息(7106c)。接收机从服务器取得与接收到的id相关联的信息(7106d)。接收机显示接收到的信息和/或从服务器取得的信息(7106e)。

接收机根据发光部的大小信息和摄像到的发光部的看上去的大小、或者发光部间的距离信息和摄像到的发光部间的距离,以三角测量的方法,计算接收机和发光部的距离(7106f)。接收机基于由接收机难以观察的场所的样子和/或危险的有无等信息,进行危险的警告等(7106g)。

图422是示出实施方式33的接收机和发送机的应用例的图。

例如车的具有2个后照灯(发光部或灯)的发送机(车)7007b,将发送机7007b的信息向例如构成为停车场的发送接收装置的接收机7007a发送。发送机7007b的信息表示发送机7007b的识别信息(id)、车的牌照、车的大小、车的形状、或车的重量。接收机7007a当接收到该信息时,发送可否停车、收费信息或停车位置。此外,接收机7007a也可以接收id,并从服务器取得id以外的信息。

图423是示出实施方式33的接收机7007a和发送机7007b的处理动作的一例的流程图。此外,由于发送机7007b不是仅进行发送、而是还进行接收,因此,具备车载发送机和车载接收机。

将发送机7007b的id和交付给接收到id的接收机7007a的信息相关联地存储于服务器(停车场管理服务器)(7107a)。交付给接收机7007a的信息也可以包含将发送机7007b作为构成要素的一部分的物体的形状、重量、车体牌照等识别编号和/或发送机7007b的用户的识别编号和/或用于支付的信息。

发送机7007b(车载发送机)发送id(7107b)。发送内容中也可以包含所述服务器的url和/或使所述服务器存储的信息。停车场的接收机7007a(停车场的发送接收装置)将接收到的信息向管理停车场的服务器(停车场管理服务器)发送(7107c)。停车场管理服务器以发送机7007b的id作为关键词(key),取得与id相关联的信息(7107d)。停车场管理服务器对停车场的空置状况进行调查(7107e)。

停车场的接收机7007a(停车场的发送接收装置)发送可否停车、停车位置信息或者保持这些信息的服务器的地址(7107f)。或者,停车场管理服务器将这些信息向另外的服务器发送。发送机(车载接收机)7007b接收上述发送的信息(7107g)。或者,车载系统从另外的服务器取得这些信息。

停车场管理服务器进行停车场的控制,以使得容易进行停车(7107h)。例如,进行立体停车场的控制。停车场的发送接收装置发送id(7107i)。车载接收机(发送机7007b)基于车载接收机的用户信息和接收到的id,向停车场管理服务器进行询问(7107j)。

停车场管理服务器根据停车时间等来进行收费(7107k)。停车场管理服务器进行停车场的控制,以使得容易找到停车的车辆(7107m)。例如,进行立体停车场的控制。车载接收机(发送机7007b)显示去停车位置的地图,进行从当前地开始的导航(7107n)。

(电车内)

图424是示出实施方式33的、在电车的车内应用的可见光通信系统的构成的图。

可见光通信系统例如具备:配置在电车内的多个照明装置1905、用户所保持的智能手机1906、服务器1904、配置在电车内的摄像头1903。

多个照明装置1905的各个构成为上述的发送机,通过照射光线并且使亮度变化来发送可见光信号。该可见光信号表示发送该可见光信号的照明装置1905的id。

智能手机1906构成为上述的接收机,通过对照明装置1905进行摄像,来接收从该照明装置1905发送的可见光信号。例如,用户在电车内被卷入纠纷(例如流氓或争吵等)的情况下,使智能手机1906接收该可见光信号。智能手机1906在接收可见光信号时,将由该可见光信号表示的id通知给服务器1904。

服务器1904当接受到该id的通知时,确定将由该id识别的照明装置1905所照亮的范围作为摄像范围的摄像头1903。并且,服务器1904使该确定的摄像头1903对由照明装置1905照亮的范围进行摄像。

摄像头1903根据来自服务器1904的指示进行摄像,并将通过该摄像得到的图像向服务器1904发送。

由此,能够取得显示电车内的纠纷的状况的图像。该图像能够作为纠纷的证据而利用。

另外,用户也可以通过操作智能手机1906,将通过摄像头1903的摄像得到的图像从服务器1904向智能手机1906发送。

另外,也可以是,智能手机1906在画面上显示摄像按钮,当该摄像按钮被用户触碰时,将催促摄像的信号向服务器1904发送。由此,用户能够自己决定摄像的定时。

图425是示出实施方式33的应用于游乐场等的设施的可见光通信系统的构成的图。

可见光通信系统例如具备配置于设施的多个摄像头1903和装带于人身上的装饰品1907。

装饰品1907例如是具有安装有多个led的丝带的发圈等。另外,该装饰品1907构成为上述的发送机,通过使多个led发生亮度变化,来发送可见光信号。

多个摄像头1903的各摄像头构成为上述的接收机,具有可见光通信模式和通常摄像模式。另外,这些多个摄像头1903的各摄像头配置在设施内的通道中的相互不同的部位。

具体而言,摄像头1903当被设定为可见光通信模式时,若装饰品1907作为被拍摄对象被摄像,则从该装饰品1907接收可见光信号。摄像头1903当接收到该可见光信号时,将所设定的模式从可见光通信模式切换为通常摄像模式。结果,摄像头1903将把装饰品1907戴在身上的人作为被拍摄对象来进行摄像。

因此,当配戴装饰品1907的人在设施内的通道中行走时,位于该人的附近的摄像头1903会接连地对该人进行摄像。由此,能够自动地取得并保存反映该人在设施中享受的样子的图像。

此外,摄像头1903也可以并不是接收到可见光信号就马上进行通常摄像模式的摄像,而是例如当从智能手机接受到摄像开始的指示时,进行通常摄像模式的摄像。由此,用户能够在碰触智能手机的画面所显示的摄像开始按钮的定时,使摄像头1903对自己进行摄像。

图426是示出实施方式33的、包括游乐设备和智能手机的可见光通信系统的一例的图。

游乐设备1901例如构成为具备多个led的上述发送机。也即是,游乐设备1901通过使该多个led发生亮度变化,来发送可见光信号。

智能手机1902通过对该游乐设备1901进行摄像,来接收从该游乐设备1901发送的可见光信号。并且,如图426的(a)所示,智能手机1902在第1次接收到该可见光信号时,例如从服务器等下载与该可见光信号和第1次相对应的动态图像1并进行再现。另一方面,智能手机1902在第2次接收到该可见光信号时,如图426的(b)所示,例如从服务器等下载与该可见光信号和第2次相对应的动态图像2并进行再现。

也即是,智能手机1902即便接收相同可见光信号,也会根据接收到该可见光信号的次数,来切换再现的动态图像。接收到可见光信号的次数,既可以由智能手机1902计数,也可以由服务器计数。或者,智能手机1902即便多次接收同一可见光信号,也不会连续地再现相同动态图像。或者,智能手机1902也可以使与同一可见光信号相关联的多个动态图像中的、已经再现过的动态图像的出现概率降低,而优先地下载出现概率高的动态图像并进行再现。

另外,智能手机1902也可以接收从具有多个店铺的设施的问讯处所具备的触控面板发送的可见光信号,而显示与该可见光信号相应的图像。例如,触控面板当正显示表示设施的概要的初始画面时,根据亮度变化发送表示该设施的概要的可见光信号。因此,智能手机当通过对显示该初始画面的触控面板进行摄像,而接收该可见光信号时,能够将表示设施的概要的图像在自己的显示器上显示。在此,当由用户操作触控面板时,触控面板例如显示表示特定的店铺的信息的店铺图像。此时,触控面板发送表示该特定的店铺的信息的可见光信号。因此,智能手机当通过对显示该店铺图像的触控面板进行摄像,来接收该可见光信号时,能够显示表示特定的店铺的信息的店铺图像。这样,智能手机能够显示与触控面板同步的图像。

(上述实施方式的总结)

本公开的一方式的再现方法包括:信号接收步骤,利用终端装置的传感器从通过光源的亮度变化来发送可见光信号的发送机接收所述可见光信号;发送步骤,从所述终端装置向服务器发送用于请求与所述可见光信号相关联的内容的请求信号;内容接收步骤,所述终端装置从所述服务器接收包含各时刻和在所述各时刻再现的数据的内容;以及再现步骤,对所述内容中的、与所述终端装置所具备的时钟的时刻相符合的数据进行再现。

由此,如图402c所示,包含各时刻和在该各时刻再现的数据的内容被终端装置接收,而再现与终端装置的时钟的时刻相符合的数据。因此,终端装置不会在错误的时刻再现该内容中的数据,能够在该内容所示的正确的时刻,适当地再现该内容中的数据。具体而言,如图402a的方法e所示,作为终端装置的接收机从(接收机时刻-内容再现开始时刻)的时间点开始再现内容。与上述终端装置的时钟的时刻相符合的数据是内容中的处于(接收机时刻-内容再现开始时刻)的时间点的数据。另外,如果在发送机中也再现与该内容相关联的内容(发送机侧内容),则终端装置能够使内容与该发送机侧内容适当地同步并再现。此外,内容是声音或图像。

另外,在所述终端装置所具备的时钟和基准时钟之间,也可以通过gps(globalpositioningsystem)电波或者ntp(networktimeprotocol)电波来取得同步。

由此,如图401以及图403所示,由于在终端装置(接收机)的时钟和基准时钟之间取得了同步,因此,能够在根据基准时钟的适当的时刻,再现与该时刻相符合的数据。

另外,所述可见光信号也可以表示从所述发送机发送所述可见光信号的时刻。

由此,如图402a的方法d所示,终端装置(接收机)能够接收与可见光信号从发送机被发送的时刻(发送机时刻)相对应的内容。例如,如果发送机时刻为5时43分,则能够接收在5时43分再现的内容。

另外,在所述再现方法中,进一步也可以是,在进行了用于利用所述gps电波或所述ntp电波在所述终端装置的时钟与所述基准时钟之间取得同步的处理的时刻为从所述终端装置接收到所述可见光信号的时刻起往前的预定时间之前的情况下,通过从所述发送机发送的所述可见光信号所示的时刻,在所述终端装置的时钟和所述发送机的时钟之间取得同步。

例如,如果从进行用于在终端装置的时钟和基准时钟之间取得同步的处理起经过预定时间,则会存在该同步无法适当地保持的情况。在这样的情况下,存在终端装置在与由发送机再现的发送机侧内容同步的时刻,无法将内容再现的可能性。于是,在上述本公开一方式的再现方法中,如图401的步骤s1829、s1830所示,当经过了预定时间时,在终端装置(接收机)的时钟与发送机的时钟之间取得同步。因此,终端装置能够在与由发送机再现的发送机侧内容同步的时刻,将内容进行再现。

另外,也可以是,所述服务器具有与各个时刻相关联的多个内容,在所述内容接收步骤中,在与所述可见光信号所示的时刻相关联的内容不存在于所述服务器的情况下,接收所述多个内容中的与所述可见光信号所示的时刻最接近且与所述可见光信号所示的时刻之后的时刻相关联的内容。

由此,如图402a的方法d所示,即便与可见光信号所示的时刻相关联的内容不存在于服务器,也能够从位于该服务器的多个内容中接收适当的内容。

另外,也可以是,包括:信号接收步骤,利用终端装置的传感器从通过光源的亮度变化发送可见光信号的发送机接收所述可见光信号;发送步骤,从所述终端装置向服务器发送用于请求与所述可见光信号相关联的内容的请求信号;内容接收步骤,所述终端装置从所述服务器接收内容;以及再现步骤,对所述内容进行再现,所述可见光信号表示id信息和所述可见光信号从所述发送机被发送的时刻,在所述内容接收步骤中,接收与由所述可见光信号示出的id信息以及时刻相关联的所述内容。

由此,如图402a的方法d所示,从与id信息(发送机id)相关联的多个内容中,接收与可见光信号被从发送机发送的时刻(发送机时刻)相关联的内容并进行再现。因此,能够针对该发送机id以及发送机时刻,将适当的内容进行再现。

另外,也可以是,所述可见光信号通过包含表示时刻中的时和分的第2信息和表示时刻中的秒的第1信息,来表示所述可见光信号被从所述发送机发送的时刻,在所述信号接收步骤中,接收所述第2信息,并且接收次数比接收所述第2信息的次数多的所述第1信息。

由此,例如在以秒为单位向终端装置通知可见光信号所含的各数据包被发送的时刻的情况下,能够减轻每经过1秒向终端装置发送表示使用时、分以及秒全部表现的当前时间点的时刻的数据包的工夫。即,如图397所示,如果数据包被发送的时刻中的时以及分未从之前发送的数据包所示的时以及分更新,而仅发送作为仅表示秒的数据包(时间数据包1)的第1信息即可。因此,使作为表示时以及分的数据包(时间数据包2)的第2信息少于由发送机发送的作为表示秒的数据包(时间数据包1)的第1信息,由此,能够抑制包含冗长的内容的数据包的发送。

另外,也可以是,所述终端装置的传感器是图像传感器,在所述信号接收步骤中,一边将所述图像传感器的快门速度交替地切换为第1速度和比所述第1速度高速的第2速度,一边进行利用所述图像传感器的连续的撮影,(a)在利用所述图像传感器的撮影的被拍摄对象是条码的情况下,通过所述快门速度是所述第1速度时的撮影,取得条码所映现的图像,通过对在所述图像映现的条码进行解码,来取得条码识别码,(b)在利用所述图像传感器的撮影的被拍摄对象是所述光源的情况下,通过所述快门速度是所述第2速度时的撮影,取得作为包含与所述图像传感器所含的多个曝光线的各个对应的亮线的图像的亮线图像,通过对所取得的亮线图像所含的多个亮线的样式进行解码,来取得所述可见光信号作为可见光识别码,在所述再现方法中,显示通过所述快门速度是所述第1速度时的撮影得到的图像。

由此,如图302所示,无论根据条码还是根据可见光信号,都能够适当地取得与它们相对应的识别码,并且能够显示成为被拍摄对象的条码或光源所映出的图像。

另外,也可以是,在所述可见光识别码的取得中,根据所述多个亮线的样式,取得包含数据部以及地址部的第1数据包,判定在所述第1数据包之前已经取得的至少1个数据包中的作为包含与所述第1数据包的地址部相同的地址部的数据包的第2数据包是否存在预定数量以上,在判定为所述第2数据包存在所述预定数量以上的情况下,通过将与所述预定数量以上的所述第2数据包的各自的数据部对应的所述亮线图像的一部分区域的像素值和与所述第1数据包的数据部对应的所述亮线图像的一部分区域的像素值相加,来算出合成像素值,通过对包含所述合成像素值的数据部进行解码,来取得所述可见光识别码的至少一部分。

由此,如图274所示,即便在包含相同的地址部的多个数据包的各个中,数据部稍有不同,也能够通过将这些数据包的数据部的像素值相加,来对适当的数据部进行解码,能够正确地取得可见光识别码的至少一部分。

另外,也可以是,所述第1数据包还包含:针对所述数据部的第1错误订正码和针对所述地址部的第2错误订正码,在所述信号接收步骤中,从所述发送机接收通过根据第2频率的亮度变化发送的所述地址部和所述第2错误订正码,并且接收通过根据比所述第2频率高的第1频率的亮度变化发送的所述数据部和所述第1错误订正码。

由此,如图272所示,能够抑制错误地接收地址部,并且能够迅速地取得数据量多的数据部。

另外,也可以是,在所述可见光识别码的取得中,由所述多个亮线的样式,取得包含数据部和地址部的第1数据包,判定在所述第1数据包之前已经取得的至少1个数据包中的作为包含与所述第1数据包的地址部相同的地址部的数据包的至少1个第2数据包是否存在,在判定为所述至少1个第2数据包存在的情况下,判定所述至少1个第2数据包与所述第1数据包的各自的数据部是否完全相等,在判定为各个所述数据部不完全相等的情况下,判定在所述至少1个第2数据包的各个中,该第2数据包的数据部所含的各部分中的与所述第1数据包的数据部所含的各部分不同的部分的数量是否存在预定数量以上,在所述至少1个第2数据包中,存在被判定为不同的部分的数量存在所述预定数量以上的第2数据包的情况下,丢弃所述至少1个第2数据包,在所述至少1个第2数据包中,不存在被判定为不同的部分的数量存在所述预定数量以上的第2数据包的情况下,确定所述第1数据包以及所述至少1个第2数据包中的具有相同的数据部的数据包的数量最多的多个数据包,通过对该多个数据包的各个所含的数据部进行解码而作为与所述第1数据包所含的地址部对应的数据部,来取得所述可见光识别码的至少一部分。

由此,如图273所示,在接收到具有相同的地址部的多个数据包时,即便这些数据包的数据部不同,也能够对适当的数据部进行解码,能够正确地取得可见光识别码的至少一部分。也即是,从同一发送机发送的具有相同的地址部的多个数据包基本上具有同一数据部。但是,在终端装置切换成为数据包的发送源的发送机的情况下,终端装置有时会接收即便具有相同的地址部也具有相互不同的数据部的多个数据包。在这样的情况下,上述本公开的一方式的再现方法中,如图273的步骤s10106所示,能够丢弃已经接收的数据包(第2数据包),并将最新的数据包(第1数据包)的数据部作为与该地址部对应的正确的数据部来进行解码。进一步,即便在不存在上述那样的发送机的切换的情况下,有时根据可见光信号的发送接收状况,具有相同的地址部的多个数据包的数据部会稍有不同。在这样的情况下,在上述本公开的一方式的再现方法中,如图273的步骤s10107所示,通过所谓的多数决,能够对适当的数据部进行解码。

另外,也可以是,在所述可见光识别码的取得中,由所述多个亮线的样式,取得分别包含数据部和地址部的多个数据包,判定所取得的所述多个数据包中,是否存在作为所述数据部所含的所有的位表示0的数据包的0终端数据包,在判定为存在所述0终端数据包的情况下,判定所述多个数据包中,是否存在作为包含与所述0终端数据包的地址部相关联的地址部的数据包的全部n个(n为1以上的整数)相关联数据包,在判定为所述n个相关联数据包全部存在的情况下,通过排列所述n个相关联数据包的各自的数据部并进行解码,来取得所述可见光识别码。例如,与所述0终端数据包的地址部相关联的所述地址部,是比所述0终端数据包的地址部所示的地址小且表示0以上的地址的地址部。

具体而言,如图275所示,判定具有0终端数据包的地址以下的地址的数据包作为相关联数据包是否全部齐全,在判定为齐全的情况下,对这些相关联数据包的各自的数据部进行解码。由此,即便终端装置事先不知道为了取得可见光识别码而需要几个相关联数据包,进一步,即便事先不知道这些相关联数据包的地址,也能够在取得了0终端数据包的时间点,容易地获知。结果,终端装置能够通过排列n个相关联数据包的各自的数据部并解码,来取得适当的可见光识别码。

(实施方式34)

以下,对于可变长度、可变分割数对应协议进行说明。

图427至图431是示出本实施方式的发送信号的一例的图。

发送数据包由前导码、类型(type)、有效负载以及校验部构成。数据包既可以连续地被发送,也可以断续地被发送。通过设置不发送数据包的期间,能够在背光灯熄灭时使液晶的状态变化,并提高液晶显示器的动态清晰感。通过使数据包发送间隔随机,能够避免串扰。

前导码使用未出现于4ppm的样式。通过使用短的基本样式,能够简单地进行接收处理。如图429的(b)以及(c)所示,将基本样式配置在后面,即便在接收到短的区间的情况下也能够接收数据包。如图429的(c)所示,通过使前导码的最初和最后为1(亮度高的状态),能够正确地接收前导码。

通过利用前导码的种类表现数据的分割数,能够不使用多余的发送时隙就使数据分割数可变。

通过利用类型(type)的值使有效负载长度变化,能够使发送数据为可变长度。在type中,既可以表现有效负载长度,又可以表现分割前的数据长度。通过利用type的值表现数据包的地址,接收机能够正确地排列接收到的数据包。由于必要的地址的长度根据分割数而不同,因此,如图430的(c)所示,type的长度也可以根据分割数而变化。另外,也可以根据前导码的种类或分割数,使type的值表现的有效负载长度(数据长度)变化。

通过根据有效负载长度使校验部的长度变化,能够进行有效的错误订正(检测)。通过使校验部的最短的长度为2比特,能够有效地变换为4ppm。另外,通过根据有效负载长度使错误订正(检测)码的种类变化,能够有效地进行错误订正(检测)。也可以根据前导码的种类或类型的值使校验部的长度或错误订正(检测)码的种类变化。

通过有效负载和分割数的不同的组合,而存在成为相同数据长度的组合。在这样的情况下,即便是相同的数据值,也具有按各组合不同的意思,因而能够表现更多的值。

以下,对于高速发送、亮度调制协议进行说明。

图432以及图433是示出本实施方式的发送信号的一例的图。

发送数据包由前导码部、主体部、亮度调整部构成。主体中包含地址部、数据部、错误订正(检测)码部。通过允许断续的发送,可以得到与上述同样的效果。

如图433所示,通过将两种平均亮度的前导码部、三种平均亮度的主体部和能够使平均亮度连续地变化的亮度调整部的亮度变化进行组合,作为整体,能够使平均亮度连续地变化。对于亮度调整部的连续的亮度变化,能够通过使最大亮度变化、或使明亮的期间与暗的期间的时间比变化来实现。由于在亮度50%附近存在两种表现方法,因此,可以以50%为边界来区分使用,通过使两种表现方法表示不同的数据,能够表现更多的值。

在接收时,假定前导码部和主体部的4组的组合来进行最大似然解码,通过将似然度最高的样式作为接收信号,即便调光状态不明也能够接收信号。

前导码部的亮度变化较少而为两种,另外,由于是信号检测的开始部分,因此,通过以该部分确定亮度的基准,能够有效地接收信号。

以下,对4ppm的卷积解码样式(pattern)进行说明。

图434至图437是示出本实施方式的接收算法的一例的图。

当卷积长度为3时,在使用图433的前导码时,1和0连续3个,因此,即便不进行卷积解码也能够直接检测前导码。

在4ppm的各个亮度中,卷积状态从图434转变为图437。通过在该各个样式中进行最大似然推定,能够一边进行卷积解码,一边接收信号。图437的开始状态“000”“111”在结束状态中不存在,但是,由于前导码的结束状态是该任意的状态,因此,在主体部的最初4时隙的最大似然解码中,通过使用这里的样式,能够正确地进行最大似然解码。

在此,将感光度设定为越高、或者将曝光时间设定为越短,则伴随摄像的噪声会越多,因此,通过增加用于在曝光线内求取平均亮度的像素数,能够降低噪声。在使感光度为n倍的情况下,通过使平均的像素数为n的2次方,能够同等地抑制噪声量。相反地,在使感光度低而、曝光时间设定为较长的情况下,通过减少平均的像素数,能够减少计算负荷。

在用路径的长度去除进行了最大似然解码时的最大似然路径的似然度而得的值比预定的值低的情况下,解码结果不可信赖,因此,要废弃解码后的信号。由此,能够减少接收错误。

在进行了最大似然解码时的似然度低的情况下和/或出现了错误检测的情况下,有时通过在增加平均的像素数而降低了噪声的状态下,再次进行解码处理,能够正确地进行接收。另外,在同样的情况下并且在像素值高的情况下,有时通过降低感光度或缩短曝光时间,能够正确地进行接收,另外,在像素值低的情况下,有时通过提高感光度或延长曝光时间,能够正确地进行接收。

当使接收机的采样率(=相邻曝光线间的曝光定时的时间差的倒数)为f赫兹时,使发送频率为nf/2+k赫兹。其中,n为整数,k<f/2。此时,当对接收信号进行频率解析时,不观察高频成分,k赫兹被作为混叠(alias)来求取。因此,例如在表示4值的情况下,通过分配为k={0,f/4,f/2,f×3/4},接收机能够识别各个信号。此时,由于与简单地使用k赫兹作为发送信号相比,会提高频率,因此,能得到抑制闪烁等效果。例如,虽然以几千赫兹~几十千赫兹的程度的频率,会诱发条码阅读器的读取错误,但是,通过使用其以上的频率,能够避免该问题。

条码阅读器读取红的光线的反射光,因此,通过从可见光通信信号去除红的成分,能够去除对条码阅读器的读取的不良影响。为了从可见光通信信号去除红的成分,存在如使用输出与信号相反位相的红光的、使波长长的成分的残光大的滤波器和/或荧光体等方法。接收机通过根据绿和/或蓝的成分的光的亮度接收信号,能够正确地接收信号。

根据用户针对发送机最后进行的动作,发送机使发送的信号变化。由此,能够发送该操作的结果产生的现象的信息,或者能够指示用户想发送的信号。

发送机仅在用户从最后进行操作起的预定时间发送信号。由此,能够抑制功耗,或者能够将微型计算机的定时器分配给其他的功能。

发送机仅在微型计算机的定时器未被使用与其他的功能时发送信号。或者,发送机交替地执行包含了信号发送的利用微型计算机的定时器的功能。由此,能够以少的定时器构成发送机。

接收机仅在通过可见光通信接收预定数据起的预定时间的期间进行不同的动作。例如,如果是从宣传看板接收id起的1小时以内,则能够下载商品和/或服务被打折、或者用于游戏的活动项目(campaignitem)。由此,能够实现从线下到线上(offlinetoonline)服务、或从线下到线上再到线下服务。

接收机从发送机接收设定信息,与发送机的识别信息相关联并保存于接收机内的存储器中。接收机从相同或者另外的发送机接收识别信息,并在发送机中设定所关联的设定信息。设定信息除了是从发送机接收到的信息以外,例如,也可以是接收机的语言设定。由此,能够快速地将发送机的设定复原。另外,能够在发送机中进行不需要用户输入的、适合用户的设定。

接收机在持续接收处理的期间中,进行通常摄像,在预览画面进行显示。由此,能够不降低接收性能地显示更流畅的预览。

接收机连续地或者断续地拍摄预定张数的可见光图像,在前帧的摄像图像的处理结束之前保存于存储器,依次进行接收处理。由此,在接收机被针对发送机而使用的时间短的情况下,也能够完成接收。

(实施方式35)

(单帧发送(singleframetransmission)的帧构成)

图438和图439是示出本实施方式的发送信号的一例的图。

发送帧由前导码(pre)、帧长度(flen)、id类型(idtype)、作为发送对象数据的内容(id/data)以及校验码(crc)构成,也可以包含内容类型(contenttype)。各区域的比特数是一个例子。

通过以flen指定id/data的长度,能够发送可变长度的内容。id类型表示由内容(发送对象数据)表现的识别信息(id)的类型。识别信息例如是用于识别发送机、或者图像或声音等数据的信息,也可以是任意的信息。

crc是订正或者检测pre以外的部分的错误的检查码。通过根据检查区域的长度来使crc长度变化,能够将检查能力保持为一定以上。另外,通过使用根据检查区域的长度而不同的检查码,能够提高每crc长度的检查能力。

如图439的(e)所示,当contenttype是预定的比特时,表示id/data为id,当不是所述预定的比特时,表示id/data是数据。另外,当contenttype不是所述预定的比特时,通过将idtype的区域也作为id/data的区域,能够发送更多的数据容量。

如图439的(f)以及(g)所示,通过根据id/data长度使idtype长度变化,能够对应于id/data的长度来定义适当的量的id的种类。例如,当为id的种类多的长度的id/data长度时,通过延长idtype长度,能够定义较多的id。或者,在容易较短地使用的id/data长度下,通过延长idtype长度,能够定义较多的id体系。或者,在特定的id/data长度下,通过使idtype长度为0,能够缩短帧整体的长度,能够进行快速的发送接收和/或远距离通信。

(多帧发送(multipleframetransmission)的帧构成)

图440是示出本实施方式的发送信号的一例的图。

发送帧由前导码(pre)、地址(addr)和分割后的数据的一部分(datapart)构成,也可以分别包含分割数(partnum)和地址标志位(addrfrag)。各区域的比特数是一个例子。此外,datapart是通过分割作为发送对象数据的内容(id/data)而得到的该内容的一部分。

通过将内容分割为多个部分来发送,能够进行远距离通信。

通过使分割的大小为等分,能够减小最大帧长度,能够稳定地进行通信。

在无法等分割的情况下,通过使一部分的分割部分比其它的分割部分小,能够发送尺寸恰好的数据。

通过使分割的大小为不同的大小,使分割尺寸的组合具有含义,能够发送更多的信息。例如,即便是32比特的相同值的数据,通过在发送4次的8比特的情况、发送2次的16比特的情况、发送1次的15比特并发送1次的17比特的情况下,作为不同的信息来处理,能够表现更多的信息量。

通过以partnum表示分割数,接收机能够立刻得知分割数,能够正确地显示接收的进展。

通过设为在addrfrag为0的情况下不是最后的地址,在为1的情况下是最后的地址,可以不需要表示分割数的区域,能够以更短的时间进行发送。

与上述同样地,crc是订正或者检测pre以外的部分的错误的校验码。通过该检查,在接收到来自多个发送源的发送帧时,能够检测串扰。通过使crc长度为datapart长度的整数倍,能够效率最佳地检测串扰。

也可以在分割后的帧(由图440的(a)、(b)或(c)表示的帧)的末尾,增加检查各帧的pre以外的部分的检查码。

与图438的(a)~(d)同样地,由图440的(d)表示的idtype可以设为4比特或5比特等固定长度,也可以如图439的(f)以及(g)那样,根据id/data长度使idtype长度变化。由此,可以得到与上述同样的效果。

(id/data长度的指定)

图441和图442是示出本实施方式的发送信号的一例的图。

在图438的(a)~(d)的情况下,通过分别设定为图441所示的表(a)以及(b)和图442所示的表(a)以及(b),在128比特时,能够表示泛在识别码(ucode)。

(crc长度和生成多项式)

图443是示出本实施方式的发送信号的一例的图。

通过这样设定crc长度,能够不依赖检查对象的长度地保持检查能力。

生成多项式是一个例子,也可以使用另外的生成多项式。另外,也可以使用crc以外的检查码。据此,能够提高检查能力。

(基于前导码的种类的datapart长度的指定和最后的地址的指定)

图444是示出本实施方式的发送信号的一例的图。此外,图444的(a)中的、lastaddress(最后地址)是向在通过分割发送对象数据(id/data)而得到的多个帧的排列中位于最后位置的帧附加的pre(第1前导码)。notlastaddress(非最后地址)是向在通过分割发送对象数据(id/data)而得到的多个帧的排列中位于不是最后位置的帧附加的pre(第2前导码)。

通过用前导码的种类表示datapart长度,不需要表示datapart长度的区域,能够以更短的发送时间发送信息。另外,通过表示是否是最后的地址,不需要表示分割的个数的区域,能够以更短的发送时间发送信息。另外,在图444的(b)的情况下,当为最后的地址时,由于不知道datapart长度,因此,通过推定为与在该帧接收的紧邻的之前或之后接收到的不是最后的地址的帧的datapart长度相同来进行接收处理,能够正常地进行接收。

也可以为地址长度根据前导码的种类而不同。由此,能够使发送信息的长度的组合变多或者能够以短时间进行发送。

在图444的(c)的情况下,用前导码规定分割数,增加表示datapart长度的区域。

(地址的指定)

图445是示出本实施方式的发送信号的一例的图。

通过用addr的值表示该帧的地址,接收机能够重构被正确地发送后的信息。

通过用partnum的值表示分割数,接收机在接收到最初的帧的时间点,一定能够获知分割数,能够正确地显示接收的进展。

(基于分割数的差异实现的串扰的防止)

图446和图447是示出本实施方式的发送接收系统的一例的图和流程图。

在将发送信息等分地分割发送的情况下,来自图446的发送机a和发送机b的信号由于前导码不同,因此,即便在同时地接收到这些信号的情况下,接收机也能够不将发送源混同而重构发送信息。

发送机a、b具备分割数设定部,由此,用户能够设定为接近地设置的发送机的分割数不同,能够防止串扰。

接收机通过将接收到的信号的分割数登记在服务器中,服务器能够得知发送机所设定的分割数,其它的接收机通过从服务器取得该信息,能够正确地显示接收的进展状况。

接收机从服务器或者从接收机的存储部取得来自附近的或者对应的发送机的信号是否是等长分割。在所述取得的信息是等长分割的情况下,仅从相同datapart长度的帧对信号进行复原。在不是是等长分割的情况下或在相同datapart长度的帧中所有的地址不全的状况持续了预定时间以上的情况下,按照不同的datapart长度的帧来将信号复原。

(基于分割数的差异实现的串扰的防止)

图448是示出本实施方式的服务器的动作的流程图。

服务器从接收机接受接收机所接收的id和分割构成(以怎样的datapart长度的组合接收到信号)。在所述id不是基于分割构成的扩充的对象的情况下,将对分割构成的样式进行了数值化后的结果作为辅助id,将所述id和所述辅助id和在一起后的扩充id作为关键词而相关联的信息交付给接收机。

在不是基于分割构成的扩充的对象的情况下,确认与id相关联的分割构成是否在存储部中存在,确认是否与接收到的分割构成相同。在不同的情况下,向接收机发送再确认命令。由此,能够防止提示因接收机的接收错误而搞错的信息。

发送再确认命令后,在预定时间以内接收到相同id、相同分割构成的情况下,判断为分割构成已被变更,更新与id相关联的分割构成。由此,能够应对作为图446的说明而记述那样的分割构成被变更了的情况。

在未存储有分割构成的情况、在接收到的分割构成与所存储的分割构成不一致的情况、或者更新分割构成的情况下,把将id作为关键词而相关联的信息交付给接收机,将分割构成与id以相关联的方式向存储部存储。

(接收的进展状况的显示)

图449~图454是示出本实施方式的接收机的动作的一例的流程图和图。

接收机从服务器或接收机的存储区域取得接收机对应的发送机、或者位于接收机的附近的发送机的分割数的种类和比例。另外,在已经接收到一部分的分割数据的情况下,取得正发送与该一部分一致的信息的发送机的分割数的种类和比例。

接收机接收分割后的帧。

在已经接收到最后的地址的情况、所述取得的分割数仅为1种的情况、或者执行中的接收应用程序所支持的分割数仅为1种的情况下,由于分割数是已知的,因此,以该分割数为基准来显示进展状况。

在否则、且可利用的处理资源少或为节能模式的情况下,接收机以简易模式计算进展状况来进行显示。另一方面,在可利用的处理资源多或不为节能模式的情况下,以最大似然推定模式计算进展状况来进行显示。

图450是示出简易模式下的进展状况的计算方法的流程图。

首先,接收机从服务器取得标准分割数ns。或者,接收机从自身的内部的数据保持部读出标准分割数ns。此外,标准分割数是(a)以该分割数发送的发送机数的最频值或期待值、(b)按数据包长度决定的分割数、(c)按应用程序决定的分割数、或者(d)按存在接收机的场所能够识别的范围决定的分割数。

接着,接收机判定是否接收到表示是最终地址的数据包。在判定为接收到时,将最终数据包的地址设为n。另一方面,在判定为未接收到时,将在已接收的最大地址amax上加上1或2以上的数后的数设为ne。在此,接收机判定是否ne>ns。在判定为是ne>ns时,接收机设为n=ne。另一方面,在判定为不是ne>ns时,接收机设为n=ns。

并且,接收机设为接收中的信号的分割数为n,计算信号整体的接收所需的数据包中的接收完数据包数的比例。

在这种简易模式下,与最大似然推定模式相比,能够以简单的计算来计算进展状况,在处理时间或能耗上是有利的。

图451是示出最大似然推定模式下的进展状况的计算方法的流程图。

首先,接收机从服务器取得分割数的事先分布。或者,接收机从自身的内部的数据保持部读出事先分布。此外,对于事先分布,(a)作为以该分割数发送的发送机数的分布来决定,(b)按数据包长度来决定,(c)按应用程序来决定,或者(d)按存在接收机的场所且能够识别的范围来决定。

接着,接收机接收数据包x,计算在分割数为y时接收数据包x的概率p(x|y)。并且,接收机对于在接收到数据包x的情况下发送信号的分割数为y的概率p(y|x),作为p(x|y)×p(y)÷a来求取(此外,a是归一化乘数)。进而,接收机设为p(y)=p(y|x)。

在此,接收机判定分割数推定模式是最大似然模式、还是似然度平均模式。在为最大似然模式的情况下,接收机将p(y)成为最大的y作为分割数来算出接收完的数据包数的比例。另一方面,在为似然度平均模式的情况下,接收机将y×p(y)的总和作为分割数来计算接收完的数据包数的比例。

在这种最大似然推定模式下,与简易模式相比,能够计算更准确的进展程度。

另外,在分割数推定模式为最大似然模式的情况下,根据至此接收到的地址计算最后的地址为几号的似然度,将具有最大似然的推定为是分割数来显示接收的进展。该显示方法能够显示与实际的进展状况最接近的进展状况。

图452是示出进展状况不减少的显示方法的流程图。

首先,接收机计算信号整体的接收所需要的数据包中的、接收完数据包数的比例。并且,接收机判定计算出的比例是否比显示中的比例小。当判定为比显示中的比例小时,接收机进一步判定显示中的比例是否为预定时间以上前的计算结果。在判定为是预定时间以上前的计算结果时,接收机显示计算出的比例。另一方面,在判定为不是预定时间以上前的计算结果时,接收机继续显示显示中的比例。

另外,接收机当判定为计算出的比例是显示中的比例以上时,将在接收完的最大地址amax上加上1或2以上的数后的数设为ne。并且,接收机显示其计算出的比例。

在接收到最终数据包时等,进展状况的计算结果到那时进一步变小、也即是显示的进展状况(进展程度)降低将会是不自然的。但是,在上述的显示方法中,能够抑制这样的不自然的显示。

图453是示出存在多个数据包长度的情况的进展状况的显示方法的流程图。

首先,接收机按数据包长度计算接收完数据包数的比例p。在此,接收机判定显示模式是最大模式、全显示模式以及最新模式中的哪个。在判定为是最大模式时,接收机显示多个数据包长度的各自的比例p中的最大的比例。在判定为是全显示模式时,接收机显示全部的比例p。在判定为是最新模式时,接收机显示最后接收到的数据包的数据包长度的比例p。

图454中,(a)是作为所述简易模式计算出的进展状况,(b)是作为所述最大似然模式计算出的进展状况,(c)是将所取得的分割数中的最小的分割数作为分割数计算出的情况下的进展状况。按(a)(b)(c)的顺序,进展状况变大,因此,这样,通过重叠显示(a)(b)(c),能够同时地显示所有的进展状况。

(分割发送)

图455是示出本实施方式的发送信号的一例的图。

该帧构成中使用的检查码包括图438~图440所示的两个crc。对于各个crc,要检查的部分的比特长度越长,则使crc长度越长,由此,能够防止检查能力的降低。

图455的表(a)是使crc长度为4的倍数的情况,图455的表(b)是使crc长度为2的倍数的情况。在4ppm中,由于每2比特而进行编码,因此,若设为2的倍数,则能够无浪费地进行分配。当设检查对象比特长度为n时,定义为crc长度不低于2log(n)。此外,log是以2为底的对数。由此,能够设定为不低于一定的检查能力。表的数值是一个例子,也可以分配其他的crc长度,或者可以设为2、4的倍数以外的crc长度。

表的生成多项式是一个例子,也可以使用其他的生成多项式。另外,也可以不使用crc而使用其他的检查码。

通过分割检查码,即使是在无法将帧接收最后的情况下,也能够进行某程度的检查,能够降低错误率。

(基于共同开关和像素开关的发光控制)

在本实施方式的发送方法中,例如,通过根据共同开关以及像素开关的开关(switching),使影像显示用的led显示器所含的各led进行亮度变化,从而发送可见光信号(也称为可见光通信信号)。

led显示器例如构成为配设在屋外的大型显示器。另外,led显示器具备排列为矩阵状的多个led,根据影像信号,使这些led明暗,由此显示影像。这种led显示器包括多条共同线(com线),并且包括多条像素线(seg线)。各共同线包括沿水平方向排列成一列的多个led,各像素线包括沿垂直方向排列成一列的多个led。另外,多条共同线分别连接于与该共同线对应的共同开关。共同开关例如是晶体管。多条像素线分别连接于与该像素线对应的像素开关。与多条像素线对应的多个像素开关例如设于led驱动电路(恒流电路)。此外,该led驱动电路构成为使多个像素开关进行开关的像素开关控制部。

更具体而言,共同线所含的各led的阳极以及阴极中的一方连接于与该共同线对应的晶体管的集电极等端子。另外,像素线所含的各led的阳极以及阴极中的另一方连接于上述led驱动电路中的、与该像素线对应的端子(像素开关)。

在这样的led显示器显示影像时,控制多个共同开关的共同开关控制部,以时分方式使这些共同开关导通(on,关闭)。例如,共同开关控制部在第1期间中仅使多个共同开关中的第1共同开关导通,在接下来的第2期间中,仅使多个共同开关中的第2共同开关导通。并且,led驱动电路在某共同开关成为导通的期间,根据影像信号使各像素开关为导通。由此,仅在共同开关为导通、并且像素开关为导通的期间,与该共同开关以及像素开关对应的led点亮。通过该点亮的期间,表现影像中的像素的亮度。也即是,影像的像素的亮度被进行pwm控制。

本实施方式的发送方法中,利用这样的led显示器、共同开关以及像素开关、共同开关控制部以及像素开关控制部,来发送可见光信号。另外,利用这样的发送方法发送可见光信号的本实施方式中的发送装置(也称为发送机),具备该共同开关控制部以及像素开关控制部。

图456是示出本实施方式的发送信号的一例的图。

发送机根据预先决定的码元周期,发送可见光信号所含的各码元。例如,发送机在利用4ppm发送码元“00”时,在由4时隙构成的码元周期中,根据该码元(“00”的亮度变化样式)来使共同开关进行开关。并且,发送机根据由影像信号等表示的平均亮度来使像素开关进行开关。

更具体而言,在使码元周期中的平均亮度为75%的情况下(图456的(a)),发送机在第1时隙的期间中,使共同开关为截止(off,断开),在第2时隙~第4时隙的期间中,使共同开关为导通。进一步,发送机在第1时隙的期间中,使像素开关为截止,在第2时隙~第4时隙的期间中,使像素开关为导通。由此,仅在共同开关为导通、并且像素开关为导通的期间,与该共同开关以及像素开关对应的led点亮。也即是,led在4时隙的各个中,以lo(low)、hi(high)、hi、hi的亮度点亮,由此,亮度变化。结果,码元“00”被发送。

另外,在码元周期中的平均亮度为25%的情况下(图456的(e)),发送机在第1时隙的期间中,使共同开关为截止,在第2时隙~第4时隙的期间中,使共同开关为导通。进一步,发送机在第1时隙、第3时隙以及第4时隙的期间中,使像素开关截止,在第2时隙的期间中,使像素开关导通。由此,仅在共同开关为导通、并且像素开关为导通的期间,与该共同开关以及像素开关对应的led点亮。也即是,led,在4时隙的各个中,如lo(low)、hi(high)、lo、lo那样点亮,由此亮度变化。结果,码元“00”被发送。此外,本实施方式中的发送机发送接近上述的v4ppm(可变的(variable)4ppm)的可见光信号,因此,即便在发送相同码元的情况下,也能够使平均亮度为可变。也即是,当以相互不同的平均亮度发送相同码元(例如“00”)时,发送机如图456的(a)~(e)所示,与平均亮度无关地使该码元中固有的亮度的上升位置(定时)一定。由此,接收机不需认识到亮度就能够接收可见光信号。

此外,共同开关通过上述的共同开关控制部被进行开关,像素开关通过上述的像素开关控制部被进行开关。

这样,本实施方式的发送方法是根据亮度变化发送可见光信号的发送方法,包括:决定步骤、共同开关控制步骤、第1像素开关控制步骤。在决定步骤中,通过对可见光信号进行调制,来决定亮度变化样式。在共同开关控制步骤中,根据该亮度变化样式来使共同开关进行开关,所述共同开关用于使显示器所具备的光源组(共同线)所含的、用于分别表示影像中的像素的多个光源(led)共同地点亮。在第1像素开关控制步骤中,使用于使该光源组所含的多个光源中的第1光源点亮的第1像素开关为导通,由此,仅在共同开关为导通、并且第1像素开关为导通的期间,使第1光源点亮,据此来发送可见光信号。

由此,能够从具备多个led等作为光源的显示器适当地发送可见光信号。因此,使得包含照明以外的设备的方式的设备间的通信成为可能。另外,在该显示器是用于通过共同开关以及第1像素开关的控制来显示影像的显示器的情况下,利用该共同开关以及第1像素开关,能够发送可见光信号。因此,能够不对用于在显示器显示影像的构成大幅地进行变更,而简单地发送可见光信号。

另外,通过使像素开关的控制定时与发送码元(与4ppm的1次相应)一致而如图456所示那样进行控制,能够不闪烁地从led显示器发送可见光信号。图像信号(即影像信号)通常以1/30秒或1/60秒为周期变化,但是,通过按照码元发送周期(码元周期)来使图像信号变化,能够不对电路施加变更地加以实现。

这样,在本实施方式的发送方法的上述决定步骤中,按码元周期决定亮度变化样式。另外,在上述第1像素开关控制步骤中,与码元周期同步地使像素开关进行开关。由此,即便码元周期例如是1/2400秒,也能够根据该码元周期来适当地发送可见光信号。

在信号(码元)为“10”、平均亮度为50%附近时,亮度变化样式会接近0101,亮度的上升部位为2个部位。但是,在该情况下,通过使后面的上升部位优先,接收机能够正确地接收信号。即,后面的上升部位是能得到码元“10”所固有的亮度的上升的定时。

平均亮度越高,越能够输出接近以4ppm调制后的信号的信号。因此,在画面整体或者共用电源线的部分的亮度低的情况下,通过减小电流来降低亮度的瞬时值,能够延长hi区间,能够降低错误。该情况下,画面的最高亮度降低,但是,在根据屋内的用途等而原本不需要高的亮度的情况下、或使可见光通信优先的情况下等,通过使将其设为有效的开关为有效,能够最佳地设定通信品质和画质的平衡。

另外,在本实施方式中的发送方法的上述第1像素开关控制步骤中,当使显示器(led显示器)显示影像时,使第1像素开关以如下方式进行开关:与上述第1光源所对应的用于表现影像中的像素的像素值的点亮期间中的、为了发送可见光信号而熄灭第1光源的期间相应地,补偿该点亮期间。也即是,在本实施方式中的发送方法中,当使led显示器显示影像时,发送可见光信号。因此,有时在为了表现由影像信号表示的像素值(具体而言,亮度值)而在led应点亮的期间中,会为了发送可见光信号而该led被熄灭。在这样的情况下,在本实施方式的发送方法中,以与该led被熄灭的期间相应地补偿该点亮期间的方式使第1像素开关进行开关。

例如,在不发送可见光信号而显示由影像信号示出的影像时,在1个码元周期中,共同开关为导通,像素开关仅在对应于作为由该影像信号表示的像素值的平均亮度的期间为导通。在平均亮度为75%的情况下,共同开关在码元周期的第1时隙~第4时隙中为导通。进一步,像素开关在码元周期的第1时隙~第3时隙中为导通。由此,码元周期中,led在第1时隙~第3时隙中点亮,因此,能够表现上述的像素值。但是,为了发送码元“01”,第2时隙被熄灭。于是,在本实施方式的发送方法中,使像素开关进行开关,以使得与该led被熄灭的第2时隙相应地补偿该led的点亮期间,也即是,在第4时隙中led点亮。

另外,在本实施方式的发送方法中,通过变更影像中的像素的像素值,来补偿该点亮期间。例如,在上述那样的情况下,将平均亮度75%的像素值变更为平均亮度100%的像素值。在平均亮度100%的情况下,led在第1时隙~第4时隙点亮,但是,为了发送码元“01”,第1时隙被熄灭。因此,即便在发送可见光信号的情况下,也能够以本来的像素值(平均亮度75%)使led点亮。

由此,能够抑制由于可见光信号的发送而使影像走样。

(按像素错开的发光控制)

图457是示出本实施方式的发送信号的一例的图。

如图457所示,本实施方式的发送机在从像素a和该像素a的附近的像素(例如,像素b以及像素c)发送相同码元(例如“10”)时,使这些像素的发光定时错开。但是,发送机以在这些像素间使该码元中固有的亮度上升定时不错开的方式来使这些像素发光。此外,像素a~像素c分别相当于光源(具体而言,led)。另外,只要该码元为“10”,则码元中固有的亮度上升定时为第3时隙的第4时隙的边界的定时。另外,以下,将这样的定时称为码元固有定时。接收机通过特定该码元固有定时,能够接收对应于该定时的码元。

通过这样错开发光定时,如图457所示,对于表示像素间的平均亮度推移的波形,除了码元固有定时处的上升之外,还有缓和的上升或下降。也即是,码元固有定时处的上升比其它的定时的上升陡峭。因此,接收机通过优先地接收多个上升中的最陡峭的上升,能够确定适当的码元固有定时,结果能够抑制接收错误。

也即是,在从预定的像素发送码元“10”且该预定像素的亮度为25%至75%的中间值的情况下,发送机将与该预定像素对应的像素开关的开区间设定得短或长。进而,发送机相反地调整与该预定像素的附近的像素对应的像素开关的开区间。这样,即便将各像素开关的开区间设定为包含该预定像素和附近的像素的整体的亮度不变,也能够抑制错误。此外,开区间是指像素开关导通的区间。

这样,本实施方式的发送方法还包括第2像素开关控制步骤。该第2像素开关控制步骤中,通过将用于使上述光源组(共同线)所含的位于第1光源的周围的第2光源点亮的第2像素开关设为导通,仅在共同开关为导通、并且第2像素开关为导通的期间,使该第2光源点亮,由此来发送可见光信号。此外,第2光源例如是与第1光源相邻的光源。

并且,在该第1以及第2像素开关控制步骤中,在从第1以及第2光源的各光源同时地发送可见光信号所含的同一码元时,将第1以及第2像素开关的各开关为了发送同一码元而导通或截止的多个定时中的、得到该同一码元中固有的亮度上升的定时,设为在第1以及第2像素开关的各开关中相同,将其它的定时设为在第1以及第2像素开关的各开关中不同,使该同一码元被发送的期间的、第1以及第2光源的整体的平均亮度与预先决定的亮度一致。

由此,如图457所示的像素间平均亮度推移的那样,在空间上平均后的亮度下,能够仅在得到码元中固有的亮度上升的定时使该上升为陡峭,能够抑制接收错误的发生。也即是,能够抑制接收机的可见光信号的接收错误。

另外,在从预定像素发送码元“10”且该预定像素的亮度为25%至75%的中间值的情况下,发送机将第1期间中的与该预定像素对应的像素开关的开区间设定得短或长。进而,发送机在第1期间和在时间上在前或在后的第2期间(例如帧)中,相反地调整该像素开关的开区间。这样,即便将像素开关的开区间设定为预定像素中的、包含第1期间和第2期间的整体的时间平均亮度不变,也能够抑制错误。

即,本实施方式的发送方法的上述第1像素开关控制步骤中,例如,在第1期间和接着该第1期间的第2期间,发送可见光信号所含的同一码元。此时,在该第1以及第2期间的各期间中,使第1像素开关为发送该同一码元而导通或截止的多个定时中的得到同一码元中固有的亮度上升的定时为相同,使其它的定时不同。并且,使该第1以及第2期间的整体的第1光源的平均亮度与预先决定的亮度一致。该第1期间以及第2期间也可以分别是用于显示帧的期间和用于显示下一帧的期间。另外,第1期间以及第2期间也可以分别是码元周期。也即是,第1期间以及第2期间也可以分别是用于发送1个码元的期间和用于发送下一码元的期间。

由此,与图457所示的像素间平均亮度推移同样地,在时间上平均化后的亮度下,能够仅在得到码元中固有的亮度上升的定时使该上升为陡峭,能够抑制接收错误的发生。也即是,能够抑制接收机的可见光信号的接收错误。

(像素开关能够倍速驱动的情况的发光控制)

图458是示出本实施方式的发送信号的一例的图。

在能够以发送码元周期的半个周期开闭像素开关的情况下、也即是在像素开关能够倍速驱动的情况下,如图458所示那样,能够设为与v4ppm(参照图318)相同的发光样式。

换言之,在码元周期(码元被发送的期间)由4时隙构成的情况下,控制像素开关的led驱动电路等的像素开关控制部,能够按每2时隙来控制像素开关。也即是,像素开关控制部在从该码元周期的最初的时间点开始的与2时隙对应的期间,能够使像素开关导通任意的时间。进而,像素开关控制部在该码元周期的第3时隙的最初的时间点开始的与2时隙对应的期间,能够使像素开关导通任意的时间。

也即是,本实施方式的发送方法中,也可以以上述码元周期的1/2周期变更像素值。

该情况下,存在像素开关的开闭的每1次的精细度会降低(精度会降低)的可能性。于是,通过仅在发送优先开关有效时进行像素开关的开闭,能够最佳地设定画质和发送品质的平衡。

(基于像素值调整的发光控制的框图)

图459是示出本实施方式的发送机的一例的框图。

图459的(a)是示出不进行可见光信号的发送而仅进行影像的显示的装置、即使上述的led显示器显示影像的显示装置的构成的框图。如图459的(a)所示,该显示装置具备:图像/影像输入部1911、n倍速化部1912、共同开关控制部1913、像素开关控制部1914。

图像/影像输入部1911将例如以60hz的帧速率表示图像或影像的影像信号向n倍速化部1912输出。

n倍速化部1912将从图像/影像输入部1911输入的影像信号的帧速率提升至n(n>1)倍,并输出该影像信号。例如,n倍速化部1912将帧速率提升至10倍(n=10),即提升至600hz的帧速率。

共同开关控制部1913基于该600hz的帧速率的影像来使共同开关进行开关。同样地,像素开关控制部1914基于该600hz的帧速率的影像来使像素开关进行开关。这样,通过利用n倍速化部1912提升帧速率,能够避免因共同开关或像素开关等开关的开闭而导致的闪烁。另外,在由摄像装置以高速快门对led显示器进行摄像的情况下,也能够使该摄像装置拍摄无像素缺失或无闪烁的图像。

图459的(b)是示出不仅进行影像的显示还进行上述可见光信号的发送的显示装置、即发送机(发送装置)的构成的框图。该发送机具备:图像/影像输入部1911、共同开关控制部1913、像素开关控制部1914、信号输入部1915、像素值调整部1916。信号输入部1915将由多个码元构成的可见光信号以2400码元/秒的码元速率(频率)向像素值调整部1916输出。

像素值调整部1916与该可见光信号的码元速率相匹配地复制从图像/影像输入部1911输入的图像,根据上述方法对像素值进行调整。由此,从像素值调整部1916到后面的共同开关控制部1913以及像素开关控制部1914,能够不改变图像或影像的亮度地输出可见光信号。

例如,在图459所示的例子的情况下,如果可见光信号的码元速率为2400码元/秒,则像素值调整部1916按照影像信号的帧速率60hz为4800hz的方式,复制影像信号所含的图像。例如,可见光信号所含的码元的值为“00”,复制前的第1张图像所含的像素的像素值(亮度值)为50%。该情况下,像素值调整部1916在复制后的第1张图像中将该像素值调整为100%,在第2张图像中调整为50%。由此,如图458的(c)所示的、码元“00”的情况的亮度变化那样,通过共同开关和像素开关的与(and),亮度成为50%。结果,能够一边保持为与原图像的亮度相等,一边发送可见光信号。此外,共同开关和像素开关的与是指,仅在共同开关导通、且像素开关导通的期间,与该共同开关以及像素开关对应的光源(即led)点亮。

另外,在本实施方式的发送方法中,也可以不同时地进行影像的显示和可见光信号的发送,而通过信号发送期间和影像显示时间将它们分开来进行。

也即是,在本实施方式的上述第1像素开关控制步骤中,在共同开关根据亮度变化样式进行开关的信号发送期间中,第1像素开关为导通。并且,本实施方式的发送方法,还可以包含影像显示步骤:在与该信号发送期间不同的影像显示期间中,使该共同开关导通,在影像显示期间中根据显示对象的影像使第1像素开关导通,由此,仅在共同开关导通且第1像素开关导通的期间,使第1光源点亮,据此显示该影像中的像素。

由此,由于影像的显示和可见光信号的发送在相互不同的期间进行,因此,能够简单地进行该显示和发送。

(电源变更的定时)

在电源线变更时,会发生信号截止(off)的区间,但是,由于4ppm的最后的部分即使不发光也不会对接收有影响,因此,通过与4ppm码元的发送周期相匹配地变更电源线,能够不影响接收品质地变更电源线。

另外,即便在4ppm的lo期间变更电源线,也能够不对接收品质造成影响地变更电源线。该情况下,还能够将最大亮度保持得高地进行发送。

(驱动定时)

另外,本实施方式中,也可以在图460~图462所示的定时驱动led显示器。

图460~图462是以本公开的光id调制信号驱动led显示器的情况的时序图。

例如如图461所示,为了发送可见光信号(光id),在共同开关(com1)截止时(期间t1),无法以影像信号所表示的亮度使led点亮,因此,在该期间t1以后,使该led点亮。由此,能够一边适当地发送可见光信号,一边不使由影像信号表示的影像走样地适当显示该影像。

(总结)

图463a是示出本公开的一方式的发送方法的流程图。

本公开的一方式的发送方法是利用亮度变化发送可见光信号的发送方法,包括步骤sc11~sc13。

在步骤sc11中,与上述的各实施方式同样地,通过对可见光信号进行调制来决定亮度变化样式。

步骤sc12中,根据该亮度变化样式来使共同开关进行开关,该共同开关用于使显示器所具备的光源组所含的、用于分别表示影像中的像素的多个光源共同点亮。

步骤s13中,将用于使该光源组所含的多个光源中的第1光源点亮的第1像素开关(即像素开关)设为导通,由此,仅在共同开关为导通且第1像素开关为导通的期间,使第1光源点亮,据此发送可见光信号。

图463b是示出本公开的一方式的发送装置的功能结构的框图。

本公开的一方式的发送装置c10是根据亮度变化来发送可见光信号的发送装置(或发送机),具备决定部c11、共同开关控制部c12、像素开关控制部c13。决定部c11与上述的各实施方式同样地,通过对可见光信号进行调制来决定亮度变化样式。此外,该决定部c11例如设于图459所示的信号输入部1915。

共同开关控制部c12根据该亮度变化样式来使共同开关进行开关。该共同开关是用于使显示器所具备的光源组所含的用于分别表示影像中的像素的多个光源共同点亮的开关。

像素开关控制部c13通过将用于使光源组所含的多个光源中的控制对象的光源点亮的像素开关设为导通,仅在共同开关为导通且像素开关为导通的期间,使控制对象的光源点亮,据此发送可见光信号。此外,控制对象的光源是上述第1光源。

由此,能够从具备多个led等作为光源的显示器适当地发送可见光信号。因此,能够使包含照明以外的设备的方式的设备间的通信成为可能。另外,在该显示器是用于通过共同开关以及像素开关的控制显示影像的显示器的情况下,能够利用该共同开关以及像素开关,发送可见光信号。因此,不对用于使显示器显示影像的构成(即显示装置)进行大幅的变更,就能够简单地发送可见光信号。

(单帧发送(singleframetransmission)的帧构成)

图464是示出本实施方式的发送信号的一例的图。

如图464的(a)所示,发送帧由前导码(pre)、id长度(idlen)、id类型(idtype)、作为发送对象数据的内容(id/data)以及检查码(crc)构成。各区域的比特数是一例。此外,idlen与图438所示的flen相同。

通过使用图464的(b)所示那样的前导码,接收机能够与用4ppm、i-4ppm或v4ppm编码的其它的部分相区别,能够找到信号的划分(分割)。

如图464的(c)所示,通过用idlen指定id/data的长度,能够发送可变长度的内容。

crc是订正或者检测pre以外的部分的错误的检查码。通过根据检查区域的长度使crc长度变化,能够将检查能力保持为一定以上。另外,通过使用根据检查区域的长度而不同的检查码,能够提高每crc长度的检查能力。

(多帧发送(multipleframetransmission)的帧构成)

图465和图466是示出本实施方式的发送信号的一例的图。

向发送数据(body)附加划分类型(ptype)和检查码(crc)而成为联接数据(joineddata)。联接数据被分割为几个datapart,并被附加前导码(pre)和地址(addr)而被发送。此外,帧包含datapart、前导码(pre)和地址(adrr)。另外,发送数据可以称为发送对象数据,划分类型也可以称为划分类型信息。

ptype(或者,划分模式(pmode))表示发送对象数据的类型,具体而言,表示body的分割方法或含义。通过如图465的(a)所示那样,将ptype设为2比特,能够以4ppm恰好地进行编码。通过如图465的(b)所示那样,将ptype设为1比特,能够缩短发送时间。

crc是检查ptype和body的检查码。如图443确定那样,通过根据所检查的部分的长度使crc的编码长度变化,能够将检查能力保持为一定以上。

前导码通过如图444那样确定,能够确保分割样式的变化,并且能够缩短发送时间。

地址通过如图445那样确定,接收机能够与接收到帧的顺序无关地对数据进行复原。

图466是可能的联接数据长度和帧数的组合。带下划线的组合是下述的ptype为单帧兼容(singleframecompatible)时所使用的组合。

(body字段的构成)

图467是示出本实施方式的发送信号的一例的图。

通过将body设为如图那样的字段构成,能够发送与单帧发送方法同样的id。

在相同idtype、相同id的情况下,通过设为与单帧发送方法还是多帧发送方法无关地、另外与数据包发送的组合无关地,表示相同含义,能够在连续发送、接收时间短的情况等情况下灵活地发送信号。

以idlen指定id的长度,剩余的部分发送填充(padding)。该部分可以全部为0或1,也可以发送扩充id的数据,还可以设为检查码。padding也可以在左端。

在图467的(b)、(c)或(d)中,能够与图467的(a)相比缩短发送时间。此时id的长度设为可作为id被取得的长度中的最大长度。

在图467的(b)或(c)的情况下,idtype的比特数为奇数,但是,通过与图465的(b)所示的1比特的ptype进行组合,能够成为偶数,能够以4ppm高效地进行编码。

在图467的(c)中,能够发送更长的id。

在图467的(d)中,能够表现更多的idtype。

(ptype)

图468是示出本实施方式的发送信号的一例的图。

在ptype为预定的比特时,表示body为单帧兼容模式。由此,能够发送与单帧发送方法的情况相同的id。

例如,在ptype=00时,能够与以单帧发送方法发送的id或id类型同样地处理与该ptype对应的id或id类型,能够使id或id类型的管理简单。

当ptype为预定的比特时,表示body是数据流(datastream)模式。此时,发送帧数和datapart长度能够使用所有的组合,不同的组合的数据能够具有不同的含义。通过ptype的比特,所述不同的组合可以设为具有相同含义的情况和具有不同的含义的情况。由此,能够灵活地选择发送方法。

例如,当ptype=01时,能够发送单帧发送方法中未定义的尺寸(size)的id。另外,即便与该ptype对应的id与单帧发送方法的id相同,也能够将与该ptype对应的id作为与该单帧发送方法的id不同的其他的id来处理。结果,能够增多可以表现的id的数量。

(单帧兼容(singleframecompatible)模式的字段构成)

图469是示出本实施方式的发送信号的一例的图。

在使用图467的(a)的情况下,在单帧兼容模式下,以图469所示的表的组合发送的情况的效率最佳。

在使用图467的(b)、(c)或(d)的情况下,当id为32比特时,帧数为13、datapart长度为4比特的组合的效率较好。另外,当id为64比特时,帧数为11、datapart长度为8比特的组合的效率较好。

通过仅以表的组合进行发送,使得不同的组合能够判断为接收错误,能够降低接收错误率。

[lsb以及msb]

以下,对于本实施方式中的上述idlen、idtype、id/data等各信号所含的多个位的排列进行详细说明。

idlen等信号,包含从最低位的位(lsb:leastsignificantbit)到最高位的位(msb:mostsignificantbit)的多个位。此外,最低位的位是计算机中以二进制数表示最小值的位,最高位的位是计算机中以二进制数表示最大值的位。

图470是用于说明idlen、ptype以及seqno各自的信号的图。具体而言,图470的(a)是与图464的(c)相当的图,是示出idlen和id/data的长度的关系的图。图470的(b)是与图468的(a)相当的图,是示出ptype和body的划分类型(partitiontype)的关系的图。另外,图470的(c)是与图445的(a)相当的图,是示出与addr相当的seqno和与datapart的地址相当的序列号(sequentialnumber)的关系的图。

例如,如图470的(a)所示,idlen由3位构成。lsb位于3位的排列中的右端,msb位于该排列中的左端。同样地,如图470的(b)所示,ptype由2位构成。lsb位于2位的排列中的右端,msb位于该排列中的左端。同样地,如图470的(c)所示,seqno(sequentialnumber)由4位构成。lsb位于4位的排列中的右端,msb位于该排列中的左端。

当这样的信号包含于上述的发送信号或者发送帧而被发送时,该信号所含的多个位,按预先确定的顺序配置。预先确定的顺序是lsb优先(lsbfirst)或者msb优先(msbfirst)。lsb优先是按位所表示的值的升序将多个位配置成最先发送lsb而最后发送msb的顺序。msb优先与lsb优先相反,是按位所表示的值的降序将多个位配置成最先发送msb而最后发送lsb的顺序。另外,在本实施方式中,在图示发送信号或者发送帧的结构的情况下,发送的顺序越早的位,将该位配置在越靠左侧,发送的顺序越晚的位,将该位配置在越靠右侧。

图471是示出本实施方式中的发送帧以及body字段的一例的图。具体而言,图471的(a)是与图464的(a)相当的图,表示发送帧的一例。图471的(b)是与图467的(a)相当的图,表示body字段的一例。

如图471所示,在idlen、idtype、id/data以及crc各自的信号中,该信号所含的多个位例如按lsb优先的顺序配置。

图472是示出本实施方式中的发送信号的一例的图。具体而言,图472是与图465的(a)相当的图,表示多帧发送(multipleframetransmission)的帧结构。

如图472所示,在ptype、body、crc以及seqno各自的信号中,该信号所含的多个位例如按lsb优先的顺序配置。

[msb优先发送和lsb优先发送的双对应的接收]

图473是示出本实施方式中的接收处理的一例的图。

首先,如图473的(b)所示,接收机在接收到上述的发送信号或者发送帧的最终序列的数据包时,确认该数据包。也即是,接收机确认是否为数据包的datapart长度是8位、并且seqno(序列编号)为“0010”、“0100”、“0101”或者其他的特定值(步骤s111、s112)。此外,seqno,与图445的(a)等表示的addr相当。另外,接收机基于图472所示的、该数据包(即帧)所含的前导码(pre)判断是否接收到最终序列的数据包。也即是,前导码如图444所示,表示包含该前导码的数据包是否是最后。也即是,数据包所含的pre表示该数据包所含的datapart是否是联接数据(joineddata)所含的多个datapart中的最终的datapart。换言之,数据包所含的pre表示该数据包所含的seqno是否是上述的多个datapart各自的seqno中的最终的datapart的seqno。

在不满足数据包的datapart长度为8位、并且seqno为特定值这一条件的情况下(步骤s111或者s112的否),接收机按照lsb优先(解释为先接收到的位是表示最小值的位的方式)对数据包进行解码(步骤s116)。在满足条件的情况下(步骤s111以及s112的是),接收机判定是否是lsb优先和msb优先的双对应模式(步骤s113)。在此,当接收机判定为不是双对应模式时(步骤s113的否),接收机按照msb优先对数据包进行解码(步骤s115)。另一方面,接收机,当判定为是双对应模式时(步骤s113的是),按照msb优先和lsb优先分别来尝试解码。并且,接收机按照msb优先和lsb优先中的、数据包全部齐备且未检测出错误的一方的方式对数据包进行解码(步骤s114)。

通过按照上述的步骤进行解码,能够接收msb优先和lsb优先这两种方式的来自发送机的信号。另外,如图473的(a)所示的表中示出的那样,如果数据包是在msb优先和lsb优先各自中解释为相互不同的数值的位串的组合,则接收机能够不增加接收错误率地与双方的方式对应。

[crc的计算方法]

在此,对图443所示的crc的计算方法进行说明。

例如,检查对象的位串为“a0,a1,…,an”,检查对象多项式表示为「a0·xn+a1·x(n-1)+…+an·x0」。另外,生成多项式的次数为m。此时,存在“对检查对象多项式乘以x(m-1)”、“使a0,a1,…,a(m-1)的位反向”、该两者的组合、不进行该两者这4种方法。另外,计算结果成为b0·x(m-1)+b1·x(m-2)+…+b(m-1)·x0,存在设b0和b(m-1)的任一个为lsb这2种方法。

发送机利用上述的所有方法或者任一个方法计算crc,并依次发送所计算出的crc,由此接收机无论对应于哪一个方法都能接收到crc。

接收机取得发送机的crc的处理方法,根据该处理方法进行接收处理,由此能够正常地对数据包进行解码。例如,接收机通过从接收机内部的存储装置读出应用所对应的crc处理方法,取得crc处理方法。或者,接收机通过从服务器下载位于接收机附近的发送机的crc处理方法,取得crc处理方法。或者,接收机在接收到的数据包的datapart长度是特定长度的情况下,通过确定与该长度相关联的crc处理方法来取得crc处理方法。或者,接收机在接收到的数据包的最终序列编号是特定值的情况下,通过确定与该值相关联的crc处理方法来取得crc处理方法。

另外,也可以是,接收机依次尝试如上述那样取得的2个以上的数量的crc处理方法或者所有的crc处理方法,如果是未检测出错误的crc处理方法,则将通过该crc处理方法进行的数据包的解码处理判定为无错误。

(总结)

图474a是示出本实施方式中的信号生成方法的一例的流程图。

本实施方式中的信号生成方法,是生成通过发送机所具备的光源的亮度变化而发送的可见光信号的方法,包括步骤sd11~sd14的处理。

在步骤sd11中,将作为1个帧发送数据的单帧发送方法和将数据分割为多个帧而发送的多帧发送方法中的某一个方法决定为从发送机发送可见光信号的方法。

在步骤sd12中,在将多帧发送方法决定为发送可见光信号的方法的情况下,生成表示发送对象数据的类型的划分类型信息,并向该发送对象数据附加划分类型信息,由此生成结合数据。

在步骤sd13中,通过将结合数据分割为多个数据部分(datapart),生成包含多个数据部分的各个数据部分的多个帧。

在步骤sd14中,通过在多个帧各自的前头附加表示是该帧的前头的数据即前导码,生成可见光信号。

图474b是示出本实施方式中的信号生成装置的结构的一例的框图。

本实施方式中的信号生成装置d10是生成通过发送机所具备的光源的亮度变化而发送的可见光信号的装置,具备:决定部d11、第1附加部d12、分割部d13以及第2附加部d14。

决定部d11将作为1个帧发送数据的单帧发送方法和将数据分割为多个帧而发送的多帧发送方法中的某一个方法决定为从所述发送机发送所述可见光信号的方法。

第1附加部d12在多帧发送方法被决定为发送可见光信号的方法的情况下,生成表示发送对象数据的类型的划分类型信息,并向该发送对象数据附加划分类型信息,由此生成结合数据。

分割部d13通过将结合数据分割为多个数据部分,生成包含多个数据部分的各个数据部分的多个帧。

第2附加部d14向多个帧各自的前头附加表示是该帧的前头的数据即前导码,由此生成可见光信号。

例如,单帧发送方法是通过图438或者图464所示的单帧发送的帧结构来发送数据的方法。另外,多帧发送方法是通过图440或者图465所示的多帧发送的帧结构来发送数据的方法。从这些方法中,决定某一个方法。另外,在决定了多帧发送方法的情况下,图465所示的ptype作为划分类型信息而生成,该划分类型信息附加于作为body的发送对象数据,由此生成结合数据。通过分割这样的结合数据,生成由分别具有前导码(pre)的多个帧构成的可见光信号。

由此,在决定了多帧发送方法的情况下,发送对象数据作为由多个帧构成的可见光信号被发送,因此,能够进行远程通信,并且能够降低接收错误以及接收的延迟。另外,由于能够切换单帧发送方法和多帧发送方法,因此,能够根据通信距离或者发送对象数据的数据量等选择适当的发送方法。例如,在通过对数据量少的发送对象数据进行分割反而会导致该数据的接收发生延迟的情况下,通过选择单帧发送方法,能够防止该延迟。另外,由于向发送对象数据附加划分类型信息,因此,接收机能够基于该划分类型信息适当地接收发送对象数据。因此,能够进行多种设备间的通信。此外,帧是数据的单位,也称为数据包(packet)或者块(block)。

另外,步骤sd14或者第2附加部d14,也可以向在多个帧的排列中位于最后位置的帧的前头附加第1前导码。进而,也可以向在上述排列中位于不是最后位置的帧的前头附加与第1前导码不同的第2前导码。在此,步骤sd14或者第2附加部d14,也可以在多个帧的排列中位于不是最后位置的帧存在多个的情况下,向多个位于不是最后位置的帧各自的前头附加第2前导码。

例如,如图444的(a)所示,第1前导码(pre的lastaddress)被附加于位于最后位置的帧的前头,第2前导码(pre的notlastaddress)被附加于位于不是最后位置的帧的前头。由此,接收可见光信号的接收机,能够容易地发现发送对象数据与下一发送对象数据的划分或者边界,能够将多个发送对象数据分别适当地区分而接收。

另外,第1以及第2前导码分别是由n位(n为2以上的整数)构成的位串,该位串也可以表示与多个帧各自所包含的数据部分的位长度预先相关联的数。

例如,如图444的(a)所示,第1以及第2前导码分别是由12位构成的位串。而且,该位串表示与数据部分(datapart)的位长度(例如,64位)预先相关联的数(例如,“110100000000”或者“000000001101”)。由此,第1以及第2前导码表示帧的前头,并且也表示数据部分的位长度,因此,也可以不在帧中设置仅用于将该数据部分的位长度通知给接收机的数据。因此,能够缩短发送对象数据的发送时间。另外,接收机只要接收第1或者第2前导码,就能够确定继该前导码之后的数据部分的位长度。其结果是,接收机能够适当地接收数据部分。

另外,第1以及第2前导码分别包括:由表示1以上的同一数的m位(m是2以上且小于n的整数)构成的第1位串和表示0的k位(k=n-m)的第2位串,在第1以及第2前导码的各个中,第1位串和第2位串的顺序也可以不同。

例如,如图444的(a)所示,与64位的数据部分相关联的第1以及第2前导码分别包括:由表示“1101”的4位构成的第1位串和表示“00000000”的8位的第2位串。并且,在作为第1前导码的12位的位串中,在第1位串“1101”之后配置有第2位串“00000000”。另一方面,在作为第2前导码的12位的位串中,在第2位串“00000000”之后配置有第1位串“1101”。这样,在第1以及第2前导码的各个前导码中,第1位串“1101”和第2位串“00000000”的顺序不同。也即是,第1以及第2前导码构成为相互不同的位串,并且具有部分共同的位串。由此,接收机能够使用部分共同的位串,不进行区别地检索第1以及第2前导码,并且也能够使用前导码的位串的全部来仅检索第1或者第2前导码。因此,能够提高数据的检索效率。

另外,划分类型信息也可以表示第1类型或者与第1类型相比数据结构的制约严格的第2类型来作为发送对象数据的类型。并且,在步骤sd12或者第1附加部d12中,当附加表示第2类型的划分类型信息时,还可以向发送对象数据附加表示发送对象数据的位长度的长度信息和表示由发送对象数据表现的识别信息的类型的id类型信息。

例如,如图468所示,作为划分类型信息的ptype,表示作为数据流(datastream)的第1类型或者作为单帧兼容(singleframecompatible)的第2类型。而且,在ptype表示单帧兼容的情况下,例如图467的(a)所示,idlen和idtype被附加于发送对象数据(id)。idlen是表示发送对象数据的位长度的长度信息,idtype表示由发送对象数据表现的id(识别信息)的类型。在此,在通过单帧发送方法对发送对象数据进行发送的情况下,也如图464所示那样,向发送对象数据(id/data)附加idlen以及idtype。因此,在单帧发送方法以及多帧发送方法中的某一个被决定为对发送对象数据进行发送的方法的情况下,也能够使数据的格式共同化。也即是,即使以单帧发送方法和多帧发送方法中的某一方法对发送对象数据进行了发送,接收机也能够适当地接收该发送对象数据。

图475a是示出本实施方式的信号解码方法的一例的流程图。

本实施方式的信号解码方法包括步骤sf1以及sf2的处理。

在步骤sf1中,判断可见光信号的数据包所含的数据部的位长度即datapart长度是否为8位。

在步骤sf2中,根据datapart长度的判断结果对该数据部进行解码。在该步骤sf2中,在步骤sf1中判断为datapart长度不是8位长度的情况下,以lsb优先来实施解码。另一方面,在步骤sf1中判断为datapart长度是8位长度的情况下,以msb优先来实施解码。

此外,数据包例如与图472的帧相当,数据部与图472的datapart相当。另外,以lsb优先来实施解码是指,越是数据部中的先接收到的位,则解释为表示越小的值的位来实施解码。同样地,以msb优先来实施解码是指,越是数据部中的先接收到的位,则解释为表示越大的值的位来实施解码。

由此,例如图473的(b)的步骤s111那样,能够接收msb优先和lsb优先这两种方式的来自发送机的信号而适当地进行解码。

另外,上述的数据包还包含表示该数据部是构成结合数据的多个数据部中的哪一个的序列编号。并且,在该数据包所含的序列编号是多个数据部各自的序列编号中的最终的序列编号、并且在步骤sf1中判断为datapart长度为8位长度的情况下,在步骤sf2中,进一步判断该最终的序列编号是否是特定值。在此,在判断为该最终序列编号不是特定值的情况下,以lsb优先来实施解码,在判断为是特定值的情况下,以msb优先来实施解码。例如,该特定值是“0010”、“0100”和“0101”中的任一个。此外,结合数据例如与图472的联接数据(joineddata)相当。

由此,例如图473的(b)的步骤s112那样,即使datapart长度是8位,也可以根据最终的序列编号(也即是,最终序列的seqno)以lsb优先对数据部进行解码。因此,能够提高是以msb优先来实施解码还是以lsb优先来实施解码的自由度。

另外,在步骤sf2中,在最终的序列编号的判断中,在判断为最终的序列编号是特定值的情况下,进一步判断解码模式是否是与lsb优先和msb优先这双方对应的双对应模式。在此,在判断为不是双对应模式的情况下,以msb优先来实施解码,在判断为是双对应模式的情况下,以msb优先和lsb优先中的任一个来实施解码。例如,在步骤sf2中,在解码模式的判断中,判断为解码模式是双对应模式的情况下,也可以以msb优先和lsb优先这双方来实施解码。此时,在步骤sf2中,也可以以msb优先和lsb优先分别对包含上述的多个数据部的各数据部的多个数据包实施解码。该情况下,选择通过以msb优先的解码而得到的第1数据和通过以lsb优先的解码而得到的第2数据中的、包含被进行了解码的上述的多个数据包的全部并且未检测出错误的数据。

由此,例如图473的(b)的步骤s113那样,如果接收机的解码模式不是双对应模式,则以msb优先来实施解码。另外,如果该解码模式是双对应模式,则以msb优先和lsb优先的至少一方,例如以双方来实施解码。因此,如果解码模式是双对应模式,则无论数据包是由lsb优先来构成还是由msb优先来构成,都能够对该数据包适当地解码。

图475b是示出本实施方式的信号解码装置的结构的一例的框图。

本实施方式的信号解码装置f10是通过上述的信号解码方法实施解码的装置,具备判断部f11以及解码部f12。

判断部f11判断可见光信号的数据包所含的数据部的位长度即datapart长度是否为8位。

解码部f12根据判断部f11的判断结果对该数据部进行解码。也即是,解码部f12在由判断部f11判断为datapart长度不是8位长度的情况下,以lsb优先来实施解码。另一方面,解码部f12在由判断部f11判断为datapart长度是8位长度的情况下,以msb优先来实施解码。

由此,能够起到与上述的信号解码方法同样的作用效果。

此外,在上述各实施方式中,各结构要素可以由专用的硬件构成,也可以通过执行适合各结构要素的软件程序来实现。各结构要素也可以通过cpu或者处理器等程序执行部读出记录于硬盘或者半导体存储器等记录介质的软件程序并执行来实现。例如程序使计算机执行由图473的(b)或者图475a的流程图所示的信号解码方法。

产业上的可利用性

本公开能够利用于对从例如照明设备、智能手机、平板电脑、便携电话、智能手表、头戴显示器、空调、电饭锅、电视、记录器、投影机或者显示器等发送的可见光信号进行解码的信号解码装置等。

标号的说明

f10信号解码装置;f11判断部;f12解码部。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1