显示方法以及显示装置与流程

文档序号:12908725阅读:275来源:国知局
显示方法以及显示装置与流程

本发明涉及显示方法、显示装置以及记录介质等。



背景技术:

在近年来的家庭网络中,除了由ethernet(注册商标)或无线lan(localareanetwork)下的ip(internetprotocol)连接进行的av家电的协同之外、还通过具有对应于环境问题的电力使用量的管理、或具有来自住宅外的电源on/off这样的功能的家庭能源管理系统(hems)而推进多种多样的家电设备连接在网络的家电协同功能的导入。但是,在具有通信功能方面,也有运算力不充分的家电、或在成本方面难以实现通信功能的搭载的家电等。

为了解决这样的问题,在专利文献1中,记载有在使用光向自由空间传递信息的光空间传送装置中,通过进行使用多个照明光的单色光源的通信,能够在有限的发送装置中有效率地实现设备间的通信的技术。

现有技术文献

专利文献1:日本特开2002-290335号公报



技术实现要素:

然而,所述以往的方式限定于所适用的设备具有照明那样的三色光源的情况。另外,对被发送来的信息进行接收的接收机无法向用户显示有益的图像。

本发明提供可解决这样的问题并能够向用户显示有益的图像的显示方法等。

本发明的一个技术方案涉及的显示方法,是显示装置显示图像的显示方法,包括:图像传感器通过拍摄被拍摄对象来取得拍摄显示图像和解码用图像;通过对所述解码用图像的解码来取得光识别信息;将所述光识别信息发送给服务器;从服务器取得与所述光识别信息对应的扩展现实图像和识别信息;将所述拍摄显示图像中的与所述识别信息相应的区域识别为对象区域;对在所述对象区域重叠了所述扩展现实图像的所述拍摄显示图像进行显示。

此外,这些总括性或具体的技术方案既可以通过系统、方法、集成电路、计算机程序或计算机可读取的cd-rom等记录介质来实现,也可以通过系统、方法、集成电路、计算机程序及记录介质的任意组合来实现。另外,也可以通过如下技术方案来实现:将执行一个实施方式涉及的方法的计算机程序保存在服务器的记录介质中,并根据终端的请求从服务器发布到终端。

根据本发明,能够实现可向用户显示有益的图像的显示方法。

附图说明

图1是表示实施方式1的发光部的亮度的观测方法的一例的图。

图2是表示实施方式1的发光部的亮度的观测方法的一例的图。

图3是表示实施方式1的发光部的亮度的观测方法的一例的图。

图4是表示实施方式1的发光部的亮度的观测方法的一例的图。

图5a是表示实施方式1的发光部的亮度的观测方法的一例的图。

图5b是表示实施方式1的发光部的亮度的观测方法的一例的图。

图5c是表示实施方式1的发光部的亮度的观测方法的一例的图。

图5d是表示实施方式1的发光部的亮度的观测方法的一例的图。

图5e是表示实施方式1的发光部的亮度的观测方法的一例的图。

图5f是表示实施方式1的发光部的亮度的观测方法的一例的图。

图5g是表示实施方式1的发光部的亮度的观测方法的一例的图。

图5h是表示实施方式1的发光部的亮度的观测方法的一例的图。

图6a是表示实施方式1的信息通信方法的流程图。

图6b是表示实施方式1的信息通信装置的框图。

图7是表示实施方式2的接收机的摄影动作的一例的图。

图8是表示实施方式2的接收机的摄影动作的另一例的图。

图9是表示实施方式2的接收机的摄影动作的另一例的图。

图10是表示实施方式2的接收机的显示动作的一例的图。

图11是表示实施方式2的接收机的显示动作的一例的图。

图12是表示实施方式2的接收机的动作的一例的图。

图13是表示实施方式2的接收机的动作的另一例的图。

图14是表示实施方式2的接收机的动作的另一例的图。

图15是表示实施方式2的接收机的动作的另一例的图。

图16是表示实施方式2的接收机的动作的另一例的图。

图17是表示实施方式2的接收机的动作的另一例的图。

图18是表示实施方式2的接收机、发送机和服务器的动作的一例的图。

图19是表示实施方式2的接收机的动作的另一例的图。

图20是表示实施方式2的接收机的动作的另一例的图。

图21是表示实施方式2的接收机的动作的另一例的图。

图22是表示实施方式2的发送机的动作的一例的图。

图23是表示实施方式2的发送机的动作的另一例的图。

图24是表示实施方式2的接收机的应用例的图。

图25是表示实施方式2的接收机的动作的另一例的图。

图26是表示实施方式3的接收机、发送机及服务器的处理动作的一例的图。

图27是表示实施方式3的发送机及接收机的动作的一例的图。

图28是表示实施方式3的发送机、接收机及服务器的动作的一例的图。

图29是表示实施方式3的发送机及接收机的动作的一例的图。

图30是表示实施方式4的发送机及接收机的动作的一例的图。

图31是表示实施方式4的发送机及接收机的动作的一例的图。

图32是表示实施方式4的发送机及接收机的动作的一例的图。

图33是表示实施方式4的发送机及接收机的动作的一例的图。

图34是表示实施方式4的发送机及接收机的动作的一例的图。

图35是表示实施方式4的发送机及接收机的动作的一例的图。

图36是表示实施方式4的发送机及接收机的动作的一例的图。

图37是用来说明实施方式5的向人的可见光通信的通知的图。

图38是用来说明实施方式5的对道路指引的应用例的图。

图39是表示实施方式5的对利用日志储存和解析的应用例的图。

图40是用来说明实施方式5的对画面共享的应用例的图。

图41是表示实施方式5的信息通信方法的应用例的图。

图42是表示实施方式6的发送机和接收机的应用例的图。

图43是表示实施方式6的发送机及接收机的应用例的图。

图44是表示实施方式7的接收机的一例的图。

图45是表示实施方式7的接收系统的一例的图。

图46是表示实施方式7的信号发送接收系统的一例的图。

图47是表示实施方式7的排除了干涉的接收方法的流程图。

图48是表示实施方式7的发送机的方位的推测方法的流程图。

图49是表示实施方式7的接收的开始方法的流程图。

图50是表示实施方式7的并用其它媒体的信息的id的生成方法的流程图。

图51是表示实施方式7的基于频率分离的接收方式的选择方法的流程图。

图52是表示实施方式7的曝光时间较长的情况下的信号接收方法的流程图。

图53是表示实施方式7的发送机的调光(调整明亮度)方法的一例的图。

图54是表示构成实施方式7的发送机的调光功能的方法的一例的图。

图55是用来说明ex变焦的图。

图56是表示实施方式9的信号接收方法的一例的图。

图57是表示实施方式9的信号接收方法的一例的图。

图58是表示实施方式9的信号接收方法的一例的图。

图59是表示实施方式9的接收机的画面显示方法的一例的图。

图60是表示实施方式9的信号接收方法的一例的图。

图61是表示实施方式9的信号接收方法的一例的图。

图62是表示实施方式9的信号接收方法的一例的流程图。

图63是表示实施方式9的信号接收方法的一例的图。

图64是表示实施方式9的接收程序的处理的流程图。

图65是实施方式9的接收装置的框图。

图66是表示接收到可见光信号时的接收机的显示的一例的图。

图67是表示接收到可见光信号时的接收机的显示的一例的图。

图68是表示取得数据图像的显示的一例的图。

图69是表示保存或者丢弃取得数据的情况下的操作的一例的图。

图70是表示阅览取得数据时的显示例子的图。

图71是表示实施方式9的发送机的一例的图。

图72是表示实施方式9的接收方法的一例的图。

图73是表示实施方式10的接收方法的一例的流程图。

图74是表示实施方式10的接收方法的一例的流程图。

图75是表示实施方式10的接收方法的一例的流程图。

图76是用来说明实施方式10的接收机使用了比调制频率的周期(调制周期)长的曝光时间的接收方法的图。

图77是用来说明实施方式10的接收机使用了比调制频率的周期(调制周期)长的曝光时间的接收方法的图。

图78是表示实施方式10的对于发送数据的尺寸有效的分割数的图。

图79a是表示实施方式10的设定方法的一例的图。

图79b是表示实施方式10的设定方法的另一例的图。

图80是表示实施方式10的信息处理程序的处理的流程图。

图81是用来说明实施方式10的发送接收系统的应用例的图。

图82是表示实施方式10的发送接收系统的处理动作的流程图。

图83是用来说明实施方式10的发送接收系统的应用例的图。

图84是表示实施方式10的发送接收系统的处理动作的流程图。

图85是用来说明实施方式10的发送接收系统的应用例的图。

图86是表示实施方式10的发送接收系统的处理动作的流程图。

图87是用来说明实施方式10的发送机的应用例的图。

图88是用来说明实施方式11的发送接收系统的应用例的图。

图89是用来说明实施方式11的发送接收系统的应用例的图。

图90是用来说明实施方式11的发送接收系统的应用例的图。

图91是用来说明实施方式11的发送接收系统的应用例的图。

图92是用来说明实施方式11的发送接收系统的应用例的图。

图93是用来说明实施方式11的发送接收系统的应用例的图。

图94是用来说明实施方式11的发送接收系统的应用例的图。

图95是用来说明实施方式11的发送接收系统的应用例的图。

图96是用来说明实施方式11的发送接收系统的应用例的图。

图97是用来说明实施方式11的发送接收系统的应用例的图。

图98是用来说明实施方式11的发送接收系统的应用例的图。

图99是用来说明实施方式11的发送接收系统的应用例的图。

图100是用来说明实施方式11的发送接收系统的应用例的图。

图101是用来说明实施方式11的发送接收系统的应用例的图。

图102是用来说明实施方式12的接收机的动作的图。

图103a是用来说明实施方式12的接收机的另一动作的图。

图103b是表示实施方式12的通过输出部1215显示的指示器的例子的图。

图103c是表示实施方式12的ar的显示例的图。

图104a是用来说明实施方式12的发送机的一例的图。

图104b是用来说明实施方式12的发送机的另一例的图。

图105a是用来说明实施方式12的多个发送机的同步发送的一例的图。

图105b是用来说明实施方式12的多个发送机的同步发送的另一例的图。

图106是用来说明实施方式12的多个发送机的同步发送的另一例的图。

图107是用来说明实施方式12的发送机的信号处理的图。

图108是表示实施方式12的接收方法的一例的流程图。

图109是用来说明实施方式12的接收方法的一例的说明图。

图110是表示实施方式12的接收方法的另一例的流程图。

图111是表示实施方式13的发送信号的一例的图。

图112是表示实施方式13的发送信号的另一例的图。

图113是表示实施方式13的发送信号的另一例的图。

图114a是用来说明实施方式14的发送机的图。

图114b是表示实施方式14的rgb的各自的亮度变化的图。

图115是表示实施方式14的绿色荧光成分以及红色荧光成分的残光特性的图。

图116是用来说明实施方式14的为了抑制条码的读取错误的产生而新产生的课题的图。

图117是用来说明由实施方式14的接收机进行的下采样的图。

图118是表示实施方式14的接收机的处理动作的流程图。

图119是表示实施方式15的接收装置(摄像装置)的处理动作的图。

图120是表示实施方式15的接收装置(摄像装置)的处理动作的图。

图121是表示实施方式15的接收装置(摄像装置)的处理动作的图。

图122是表示实施方式15的接收装置(摄像装置)的处理动作的图。

图123是表示实施方式16的应用的一例的图。

图124是表示实施方式16的应用的一例的图。

图125是表示实施方式16的发送信号的例子和声音同步方法的例子的图。

图126是表示实施方式16的发送信号的例子的图。

图127是表示实施方式16的接收机的处理流程的一例的图。

图128是表示实施方式16的接收机的用户界面的一例的图。

图129是表示实施方式16的接收机的处理流程的一例的图。

图130是表示实施方式16的接收机的处理流程的另一例的图。

图131a是用来说明实施方式16的同步再现的具体方法的图。

图131b是表示实施方式16的进行同步再现的再现装置(接收机)的结构的框图。

图131c是表示实施方式16的进行同步再现的再现装置(接收机)的处理动作的流程图。

图132是用来说明实施方式16的同步再现的事先准备的图。

图133是表示实施方式16的接收机的应用例的图。

图134a是实施方式16的保持于支架的接收机的主视图。

图134b是实施方式16的保持于支架的接收机的后视图。

图135是用来说明实施方式16的保持于支架的接收机的使用场景的图。

图136是表示实施方式16的保持于支架的接收机的处理动作的流程图。

图137是表示实施方式16的通过接收机显示的图像的一例的图。

图138是表示实施方式16的支架的另一例的图。

图139a是示出实施方式17的可见光信号的一例的图。

图139b是示出实施方式17的可见光信号的一例的图。

图139c是示出实施方式17的可见光信号的一例的图。

图139d是示出实施方式17的可见光信号的一例的图。

图140是示出实施方式17的可见光信号的构成的图。

图141是示出实施方式17的通过接收机的摄像得到的亮线图像的一例的图。

图142是示出实施方式17的通过接收机的摄像得到的亮线图像的另一例的图。

图143是示出实施方式17的通过接收机的摄像得到的亮线图像的另一例的图。

图144是用于说明实施方式17的接收机应用于进行hdr合成的摄像头系统的图。

图145是用于说明实施方式17的可见光通信系统的处理动作的图。

图146a是示出实施方式17的使用了可见光的车车间通信的一例的图。

图146b是示出实施方式17的使用了可见光的车车间通信的其它例的图。

图147是示出实施方式17的多个led的位置决定方法的一例的图。

图148是示出实施方式17的通过对车辆进行摄像而得到的亮线图像的一例的图。

图149是示出实施方式17的接收机和发送机的应用例的图。此外,图149是从后面观察汽车的图。

图150是示出实施方式17的接收机和发送机的处理动作的一例的流程图。

图151是示出实施方式17的接收机和发送机的应用例的图。

图152是示出实施方式17的接收机7007a和发送机7007b的处理动作的一例的流程图。

图153是示出实施方式17的、在电车的车内应用的可见光通信系统的结构的图。

图154是示出实施方式17的、在游乐场等设施应用的可见光通信系统的结构的图。

图155是示出实施方式17的、包括游乐设备和智能手机的可见光通信系统的一例的图。

图156是示出实施方式18的发送信号的一例的图。

图157是示出实施方式18的发送信号的一例的图。

图158是示出实施方式19的发送信号的一例的图。

图159是示出实施方式19的发送信号的一例的图。

图160是示出实施方式19的发送信号的一例的图。

图161是示出实施方式19的发送信号的一例的图。

图162是示出实施方式19的发送信号的一例的图。

图163是示出实施方式19的发送信号的一例的图。

图164是示出实施方式19的发送接收系统的一例的图。

图165是示出实施方式19的发送接收系统的处理的一例的流程图。

图166是示出实施方式19的服务器的动作的流程图。

图167是示出实施方式19的接收机的动作的一例的流程图。

图168是示出实施方式19的简易模式下的进展状况的计算方法的流程图。

图169是示出实施方式19的最大似然推定模式下的进展状况的计算方法的流程图。

图170是示出实施方式19的进展状况不减少的显示方法的流程图。

图171是示出实施方式19的存在多个数据包长度的情况的进展状况的显示方法的流程图。

图172是示出实施方式19的接收机的动作状态的一例的图。

图173是示出实施方式19的发送信号的一例的图。

图174是示出实施方式19的发送信号的一例的图。

图175是示出实施方式19的发送信号的一例的图。

图176是示出实施方式19的发送机的一例的框图。

图177是示出实施方式19的以本发明的光id调制信号驱动led显示器的情况的时序图的图。

图178是示出实施方式19的以本发明的光id调制信号驱动led显示器的情况的时序图的图。

图179是示出实施方式19的以本发明的光id调制信号驱动led显示器的情况的时序图的图。

图180a是示出本发明的一方式的发送方法的流程图。

图180b是示出本发明的一方式的发送装置的功能结构的框图。

图181是示出实施方式19的发送信号的一例的图。

图182是示出实施方式19的发送信号的一例的图。

图183是示出实施方式19的发送信号的一例的图。

图184是示出实施方式19的发送信号的一例的图。

图185是示出实施方式19的发送信号的一例的图。

图186是示出实施方式19的发送信号的一例的图。

图187是示出实施方式20的可见光信号的结构的一例的图。

图188是示出实施方式20的可见光信号的详细结构的一例的图。

图189a是示出实施方式20的可见光信号的另一例的图。

图189b是示出实施方式20的可见光信号的另一例的图。

图189c是示出实施方式20的可见光信号的信号长度的图。

图190是示出实施方式20的可见光信号与标准iec的可见光信号之间的亮度值的比较结果的图。

图191是示出实施方式20的可见光信号与标准iec的可见光信号之间的、相对于视角的接收数据包数以及可靠度的比较结果的图。

图192是示出实施方式20的可见光信号与标准iec的可见光信号之间的、相对于噪声的接收数据包数以及可靠度的比较结果的图。

图193是示出实施方式20的可见光信号与标准iec的可见光信号之间的、相对于接收侧时钟误差的接收数据包数以及可靠度的比较结果的图。

图194是示出实施方式20的发送对象的信号的结构的图。

图195a是示出实施方式20的可见光信号的接收方法的图。

图195b是示出实施方式20的可见光信号的排序的图。

图196是示出实施方式20的可见光信号的另一例的图。

图197是示出实施方式20的可见光信号的详细结构的另一例的图。

图198是示出实施方式20的可见光信号的详细结构的另一例的图。

图199是示出实施方式20的可见光信号的详细结构的另一例的图。

图200是示出实施方式20的可见光信号的详细结构的另一例的图。

图201是示出实施方式20的可见光信号的详细结构的另一例的图。

图202是示出实施方式20的可见光信号的详细结构的另一例的图。

图203是用于说明决定图197的x1~x4的值的方法的图。

图204是用于说明决定图197的x1~x4的值的方法的图。

图205是用于说明决定图197的x1~x4的值的方法的图。

图206是用于说明决定图197的x1~x4的值的方法的图。

图207是用于说明决定图197的x1~x4的值的方法的图。

图208是用于说明决定图197的x1~x4的值的方法的图。

图209是用于说明决定图197的x1~x4的值的方法的图。

图210是用于说明决定图197的x1~x4的值的方法的图。

图211是用于说明决定图197的x1~x4的值的方法的图。

图212是示出实施方式20的变形例1涉及的可见光信号的详细结构的一例的图。

图213是示出实施方式20的变形例1涉及的可见光信号的另一例的图。

图214是示出实施方式20的变形例1涉及的可见光信号的又一例的图。

图215是示出实施方式20的变形例1涉及的数据包调制的一例的图。

图216是示出实施方式20的变形例1涉及的将元数据分割成1部分的处理的图。

图217是示出实施方式20的变形例1数据的将元数据分割成2部分的处理的图。

图218是示出实施方式20的变形例1涉及的将元数据分割成3部分的处理的图。

图219是示出实施方式20的变形例1涉及的将元数据分割成3部分的处理的另一例的图。

图220是示出实施方式20的变形例1涉及的将元数据分割成3部分的处理的另一例的图。

图221是示出实施方式20的变形例1涉及的将元数据分割成4部分的处理的图。

图222是示出实施方式20的变形例1涉及的将元数据分割成5部分的处理的图。

图223是示出实施方式20的变形例1涉及的将元数据分割成6、7或8部分的处理的图。

图224是示出实施方式20的变形例1涉及的将元数据分割成6、7或8部分的处理的另一例的图。

图225是示出实施方式20的变形例1涉及的将元数据分割成9部分的处理的图。

图226是示出实施方式20的变形例1涉及的将元数据分割成10~16的某一数的部分的处理的图。

图227是示出实施方式20的变形例1涉及的元数据的分割数、数据尺寸和错误订正码(纠错码)的关系的一例的图。

图228是示出实施方式20的变形例1涉及的元数据的分割数、数据尺寸和错误订正码的关系的另一例的图。

图229是示出实施方式20的变形例1涉及的元数据的分割数、数据尺寸和错误订正码的关系的又一例的图。

图230a是示出实施方式20的可见光信号的生成方法的流程图。

图230b是示出实施方式20的信号生成装置的结构的框图。

图231是表示实施方式21的接收高频可见光信号的方法的图。

图232a是表示实施方式21的接收高频可见光信号的另一方法的图。

图232b是表示实施方式21的接收高频可见光信号的另一方法的图。

图233是表示实施方式21的输出高频信号的方法的图。

图234是用于说明实施方式22的自主飞行装置的图。

图235是表示实施方式23的接收机显示ar图像的例子的图。

图236是表示实施方式23的显示系统的一例的图。

图237是表示实施方式23的显示系统的另一例的图。

图238是表示实施方式23的显示系统的另一例的图。

图239是表示实施方式23的接收机的处理动作的一例的流程图。

图240是表示实施方式23的接收机显示ar图像的另一例的图。

图241是表示实施方式23的接收机显示ar图像的另一例的图。

图242是表示实施方式23的接收机显示ar图像的另一例的图。

图243是表示实施方式23的接收机显示ar图像的另一例的图。

图244是表示实施方式23的接收机显示ar图像的另一例的图。

图245是表示实施方式23的接收机显示ar图像的另一例的图。

图246是表示实施方式23的接收机的处理动作的另一例的流程图。

图247是表示实施方式23的接收机显示ar图像的另一例的图。

图248是表示实施方式23的通过接收机的拍摄而取得的拍摄显示图像ppre以及解码用图像pdec的图。

图249是表示实施方式23的显示于接收机的拍摄显示图像ppre的一例的图。

图250是表示实施方式23的接收机的处理动作的另一例的流程图。

图251是表示实施方式23的接收机显示ar图像的另一例的图。

图252是表示实施方式23的接收机显示ar图像的另一例的图。

图253是表示实施方式23的接收机显示ar图像的另一例的图。

图254是表示实施方式23的接收机显示ar图像的另一例的图。

图255是表示实施方式23的识别信息的一例的图。

图256是表示实施方式23的接收机的处理动作的另一例的流程图。

图257是表示实施方式23的接收机识别亮线图案区域的一例的图。

图258是表示实施方式23的接收机的另一例的图。

图259是表示实施方式23的接收机的处理动作的另一例的流程图。

图260是表示实施方式23的包括多个发送机的发送系统的一例的图。

图261是表示实施方式23的包括多个发送机以及接收机的发送系统的一例的图。

图262a是表示实施方式23的接收机的处理动作的一例的流程图。

图262b是表示实施方式23的接收机的处理动作的一例的流程图。

图263a是表示实施方式23的显示方法的流程图。

图263b是表示实施方式23的显示装置的结构的框图。

图264是表示实施方式23的变形例1的接收机显示ar图像的例子的图。

图265是表示实施方式23的变形例1的接收机200显示ar图像的另一例的图。

图266是表示实施方式23的变形例1的接收机200显示ar图像的另一例的图。

图267是表示实施方式23的变形例1的接收机200显示ar图像的另一例的图。

图268是表示实施方式23的变形例1的接收机200的另一例的图。

图269是表示实施方式23的变形例1的接收机200显示ar图像的另一例的图。

图270是表示实施方式23的变形例1的接收机200显示ar图像的另一例的图。

图271是表示实施方式23的变形例1的接收机200的处理动作的一例的流程图。

图272是表示实施方式23或其变形例1的在接收机中显示所设想的ar图像时的问题的一例的图。

图273是表示实施方式23的变形例2的接收机显示ar图像的例子的图。

图274是表示实施方式23的变形例2的接收机的处理动作的一例的流程图。

图275是表示实施方式23的变形例2的接收机显示ar图像的另一例的图。

图276是表示实施方式23的变形例2的接收机的处理动作的另一例的流程图。

图277是表示实施方式23的变形例2的接收机显示ar图像的另一例的图。

图278是表示实施方式23的变形例2的接收机显示ar图像的另一例的图。

图279是表示实施方式23的变形例2的接收机显示ar图像的另一例的图。

图280是表示实施方式23的变形例2的接收机显示ar图像的另一例的图。

图281a是表示本发明的一个技术方案涉及的显示方法的流程图。

图281b是表示本发明的一个技术方案涉及的显示装置的结构的框图。

图282是表示实施方式23的变形例3的ar图像的放大以及移动的一例的图。

图283是表示实施方式23的变形例3的ar图像的放大的一例的图。

图284是表示实施方式23的变形例3的由接收机进行的与ar图像的放大以及移动有关的处理动作的一例的流程图。

图285是表示实施方式23的变形例3的ar图像的重叠的一例的图。

图286是表示实施方式23的变形例3的ar图像的重叠的一例的图。

图287是表示实施方式23的变形例3的ar图像的重叠的一例的图。

图288是表示实施方式23的变形例3的ar图像的重叠的一例的图。

图289a是表示实施方式23的变形例3的通过接收机的拍摄而得到的拍摄显示图像的一例的图。

图289b是表示实施方式23的变形例3的显示于接收机的显示器的菜单画面的一例的图。

图290是表示实施方式23的变形例3的接收机和服务器的处理动作的一例的流程图。

图291是用于说明实施方式23的变形例3的由接收机再现的声音的音量的图。

图292是表示实施方式23的变形例3的从接收机到发送机的距离与音量的关系的图。

图293是表示实施方式23的变形例3的由接收机进行的ar图像的重叠的一例的图。

图294是表示实施方式23的变形例3的由接收机进行的ar图像的重叠的一例的图。

图295是用于说明实施方式23的变形例3的由接收机进行的线扫描时间的求取方式的一例的图。

图296是用于说明实施方式23的变形例3的由接收机进行的线扫描时间的求取方式的一例的图。

图297是表示实施方式23的变形例3的由接收机进行的线扫描时间的求取方式的一例的流程图。

图298是表示实施方式23的变形例3的由接收机进行的ar图像的重叠的一例的图。

图299是表示实施方式23的变形例3的由接收机进行的ar图像的重叠的一例的图。

图300是表示实施方式23的变形例3的由接收机进行的ar图像的重叠的一例的图。

图301是表示实施方式23的变形例3的根据接收机的姿势取得的解码用图像的一例的图。

图302是表示实施方式23的变形例3的根据接收机的姿势取得的解码用图像的另一例的图。

图303是表示实施方式23的变形例3的接收机的处理动作的一例的流程图。

图304是表示实施方式23的变形例3的由接收机进行的摄像头镜头的切换处理的一例的图。

图305是表示实施方式23的变形例3的由接收机进行的摄像头的切换处理的一例的图。

图306是表示实施方式23的变形例3的接收机和服务器的处理动作的一例的流程图。

图307是表示实施方式23的变形例3的由接收机进行的ar图像的重叠的一例的图。

图308是表示实施方式23的变形例3的包括接收机、微波炉、中继服务器以及电子结算用服务器的系统的处理动作的时序图。

图309是表示实施方式23的变形例3的包括pos终端、服务器、接收机200以及微波炉的系统的处理动作的时序图。

图310是表示实施方式23的变形例3的在室内的利用的一例的图。

图311是表示实施方式23的变形例3的扩展现实对象的显示的一例的图。

具体实施方式

本发明的一个技术方案涉及的显示方法,是显示装置显示图像的显示方法,包括:图像传感器通过拍摄被拍摄对象来取得拍摄显示图像和解码用图像;通过对所述解码用图像的解码来取得光识别信息;将所述光识别信息发送给服务器;从服务器取得与所述光识别信息对应的扩展现实图像和识别信息;将所述拍摄显示图像中的与所述识别信息相应的区域识别为对象区域;对在所述对象区域重叠了所述扩展现实图像的所述拍摄显示图像进行显示。

由此,扩展现实图像被重叠于拍摄显示图像并显示,因此能够向用户显示有益的图像。进而,能够抑制处理负荷并在适当的对象区域重叠扩展现实图像(即ar图像)。

也即是,在通常的扩展现实中,通过对预先保存的庞大数量的识别对象图像与拍摄显示图像进行比较,判定在该拍摄显示图像中是否包含有某个识别对象图像。并且,如果判定为包含有识别对象图像,则将与该识别对象图像对应的扩展现实图像重叠于拍摄显示图像。此时,以识别对象图像为基准来进行扩展现实图像的位置对准。如此,在通常的扩展现实中,由于对庞大数量的识别对象图像与拍摄显示图像进行比较,进而由于在位置对准中也需要拍摄显示图像中的识别对象图像的位置检测,因此存在计算量多且处理负荷高这一问题。

但是,在本发明的一个技术方案涉及的显示方法中,如图235~图262b、图263a以及图263b所示,通过对通过被拍摄对象的拍摄而得到的解码用图像进行解码来取得光识别信息(即光id)。也即是,接收从作为被拍摄对象的发送机发送来的光识别信息。进而,从服务器取得与该光识别信息对应的扩展现实图像(即ar图像)和识别信息。因此,在服务器中,不需要对庞大数量的识别对象图像与拍摄显示图像进行比较,能够选择与光识别信息预先关联的扩展现实图像并发送给显示装置。由此,能够减少计算量并大幅地抑制处理负荷。

另外,在本发明的一个技术方案涉及的显示方法中,从服务器取得与该光识别信息对应的识别信息。识别信息是用于在拍摄显示图像中识别要重叠扩展现实图的区域即对象区域的信息。该识别信息也可以是表示例如白色四边形是对象区域的信息。在该情况下,能够简单地识别对象区域,能够进一步抑制处理负荷。也即是,根据识别信息的内容,能够进一步抑制处理负荷。另外,在服务器中,由于能够根据光识别信息任意地设定该识别信息的内容,因此能够适当地保持处理负荷与识别精度的平衡。

另外,也可以为,所述识别信息包含基准信息和对象信息,所述基准信息用于确定所述拍摄显示图像中的基准区域,所述对象信息表示所述对象区域相对于所述基准区域的相对位置,在所述对象区域的识别中,基于所述基准信息从所述拍摄显示图像中确定所述基准区域,将所述拍摄显示图像中的位于以所述基准区域的位置为基准而由所述对象信息表示的所述相对位置的区域识别为所述对象区域。

由此,如图244以及图245所示,能够扩大要在拍摄显示图像中识别的对象区域的位置的自由度。

另外,所述基准信息也可以示出所述拍摄显示图像中的所述基准区域的位置与所述解码用图像中的亮线图案区域的位置相同,所述亮线图案区域包括通过所述图像传感器所具有的多个曝光线的曝光而出现的多个亮线的图案。

由此,如图244以及图245所示,能够以拍摄显示图像中的与亮线图案区域对应的区域为基准来识别对象区域。

另外,所述基准信息也可以示出所述拍摄显示图像中的所述基准区域为所述拍摄显示图像中的映照出显示器的区域。例如,所述基准区域也可以为所述显示器所显示的图像中的预定颜色的外框部分。

由此,如图235所示,例如如果将站名标志设为显示器,则能够以映照出该显示器的区域为基准来识别对象区域。另外,如果在显示器显示有白色或黑色的外框,则能够通过将由该外框包围的部分(即外框部分)用作基准区域来识别对象区域。

另外,在所述拍摄显示图像的显示中,也可以在抑制与作为所述扩展现实图像的第1扩展现实图像不同的第2扩展现实图像的显示的同时,在预先确定的显示期间显示所述第1扩展现实图像。

由此,如图250所示,在用户正在观看一次显示的第1扩展现实图像时,能够抑制该第1扩展现实图像立即被与其不同的第2扩展现实图像替换。

另外,在所述拍摄显示图像的显示中,也可以在所述显示期间禁止对新取得的解码用图像进行解码。

由此,如图250所示,对于新取得的解码用图像的解码,在第2扩展现实图像的显示被抑制时是无效的处理,因此通过禁止该解码,能够抑制功耗。

另外,也可以为,在所述拍摄显示图像的显示中,进一步,在所述显示期间,通过加速度传感器计测所述显示装置的加速度,判定所计测出的所述加速度是否为阈值以上,在判定为所述加速度为所述阈值以上时,通过解除所述第2扩展现实图像的显示的抑制,取代所述第1扩展现实图像而显示所述第2扩展现实图像。

由此,如图250所示,在计测到阈值以上的显示装置的加速度时,解除第2扩展现实图像的显示的抑制。因此,例如,在用户想要使图像传感器朝向其他的被拍摄对象而大幅活动了显示装置时,能够立即显示第2扩展现实图像。

另外,也可以为,在所述拍摄显示图像的显示中,进一步,通过由所述显示装置所具备的面部摄像头进行的拍摄,判定用户的脸是否正在靠近所述显示装置,当判定为所述脸正在靠近时,在抑制与作为所述扩展现实图像的第1扩展现实图像不同的第2扩展现实图像的显示的同时,显示所述第1扩展现实图像。或者,也可以为,在所述拍摄显示图像的显示中,进一步,通过由加速度传感器计测的所述显示装置的加速度,判定用户的脸是否正在靠近所述显示装置,当判定为所述脸正在靠近时,在抑制与作为所述扩展现实图像的第1扩展现实图像不同的第2扩展现实图像的显示的同时,显示所述第1扩展现实图像。

由此,如图250所示,在用户想要观看第1扩展现实图像而使脸向显示装置靠近时,能够抑制该第1扩展现实图像被与其不同的第2扩展现实图像替换。

另外,也可以为,在所述拍摄显示图像以及所述解码用图像的取得中,通过将分别显示有图像的多个显示器作为所述被拍摄对象来拍摄,取得所述拍摄显示图像以及所述解码用图像,在所述对象区域的识别中,将所述拍摄显示图像中的出现发送显示器的区域识别为所述对象区域,所述发送显示器是所述多个显示器中的发送所述光识别信息的显示器,在所述拍摄显示图像的显示中,将与所述发送显示器所显示的图像对应的第1字幕作为所述扩展现实图像重叠于所述对象区域,进一步,在所述拍摄显示图像中的比所述对象区域大的区域,重叠第2字幕,所述第2字幕是对所述第1字幕进行了放大的字幕。

由此,如图254所示,由于在发送显示器的图像重叠有第1字幕,因此能够使用户容易地掌握该第1字幕是与多个显示器中的哪个显示器的图像对应的字幕。另外,由于也显示对第1字幕进行了放大的字幕即第2字幕,因此即使在第1字幕小且不易阅读的情况下,通过第2字幕的显示,也能够使字幕易于阅读。

另外,也可以为,在所述拍摄显示图像的显示中,进一步,判定从所述服务器取得的信息中是否含有声音信息,在判定为含有所述声音信息时,相比于所述第1字幕以及所述第2字幕而优先输出所述声音信息所表示的声音。

由此,由于优选输出声音,因此能够减轻用户阅读字幕的负担。

另外,也可以为,所述显示方法进一步,从服务器取得与所述光识别信息对应的姿势信息,判定由周期性取得的所述拍摄显示图像表示的所述被拍摄对象的活动是否与由从所述服务器取得的所述姿势信息表示的活动一致,在判定为一致时,对重叠了所述扩展现实图像的所述拍摄显示图像进行显示。

由此,例如如图299以及图300所示,能够根据例如人物等被拍摄对象的活动来显示扩展现实图像。也即是,能够在适当的定时显示扩展现实图像。

另外,也可以为,所述被拍摄对象是具备照明装置的微波炉,所述照明装置对微波炉的箱体内进行照明,并且通过进行亮度变化来向所述微波炉的外部发送所述光识别信息,在所述拍摄显示图像以及所述解码用图像的取得中,通过拍摄发送所述光识别信息的所述微波炉来取得所述拍摄显示图像以及所述解码用图像,在所述对象区域的识别中,将映照在所述拍摄显示图像中的所述微波炉的窗部分识别为所述对象区域,在所述拍摄显示图像的显示中,对重叠了表示所述箱体内的状态变化的所述扩展现实图像的所述拍摄显示图像进行显示。

由此,例如如图307所示,微波炉的箱体内的状态变化被作为扩展现实图像进行显示,因此能够以易于理解的方式向微波炉的利用者传达箱体内的情形。

另外,所述被拍摄对象是由通过光的亮度变化来发送信号的发送机照亮的对象物,所述扩展现实图像是动态图像,在所述拍摄显示图像的显示中,从所述动态图像所包含的多个图像中的、包含所述对象物的图像和在显示时间上处于包含所述对象物的图像的前后的预定个数的多个图像中的某一个图像开始,显示所述动态图像。例如,所述预定个数也可以是10帧。另外,所述对象物也可以是静止图,在所述拍摄显示图像的显示中,也可以从与所述静止图相同的图像开始,显示所述动态图像。

由此,例如如图265所示,能够以使静止图活动起来的方式虚拟现实地显示动态图像,能够向用户显示有益的图像。

另外,本发明的一个技术方案涉及的显示方法,包括:拍摄步骤,通过将由发送机照亮的对象物作为被拍摄对象来由拍摄传感器进行拍摄,由此取得拍摄图像,所述发送机通过光的亮度变化来发送信号;解码步骤,从所述拍摄图像中解码所述信号;以及显示步骤,从存储器中读出与所解码出的所述信号对应的动态图像,使所述动态图像重叠于所述拍摄图像中的与所述被拍摄对象对应的对象区域而显示于显示器,在所述显示步骤中,从所述动态图像所包含的多个图像中的、包含所述对象物的图像和在显示时间上处于包含所述对象物的图像的前后的预定个数的多个图像中的某一个图像开始,显示所述动态图像。

例如,所述对象物是静止图,在所述显示步骤中,也可以从与所述静止图相同的图像开始,显示所述动态图像。拍摄传感器以及拍摄图像例如是实施方式23中的图像传感器以及全拍摄图像。另外,被照亮的静止图既可以是显示于图像显示装置的显示面板的静止图像,也可以是被来自发送机的光照射的海报、指引板或广告牌等。

由此,例如如图265所示,能够以使静止图活动起来的方式虚拟现实地显示动态图像,能够向用户显示有益的图像。

另外,也可以为,所述静止图具有预定颜色的外框,所述显示方法还包括如下识别步骤:根据所述预定颜色,从所述拍摄图像中识别所述对象区域,在所述显示步骤中,对所述动态图像进行尺寸调整,以使得与所识别出的所述对象区域的尺寸相同,使尺寸调整后的所述动态图像重叠于所述拍摄图像中的所述对象区域而显示于所述显示器。例如,预定颜色的外框是包围静止图的白色或黑色的矩形框,通过实施方式23中的识别信息来表示。并且,实施方式23中的ar图像被作为动态图像进行调整尺寸而进行重叠。

由此,能够以使动态图像作为被拍摄对象实际存在的方式,更现实地显示该动态图像。

此外,这些总括性的或者具体的方式可以由装置、系统、方法、集成电路、计算机程序或者计算机可读取的cd-rom等记录介质实现,也可以由装置、系统、方法、集成电路、计算机程序或者记录介质的任意的组合来实现。

以下,一边参照附图一边对实施方式具体地进行说明。

此外,以下说明的实施方式都是表示全局或具体的例子的。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例,并不是限定本发明的意思。此外,关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素,设为任意的构成要素进行说明。

(实施方式1)

以下,对实施方式1进行说明。

(发光部的亮度的观测)

提出了一种在拍摄1张图像时、不是使全部的摄像元件在相同的定时曝光、而是按照每个摄像元件在不同的时刻开始/结束曝光的摄像方法。图1是使排列为1列的摄像元件同时曝光、按照列从近到远的顺序将曝光开始时刻错开而摄像的情况下的例子。这里,称作同时曝光的摄像元件的曝光线,将与该摄像元件对应的图像上的像素的行称作亮线。

在使用该摄像方法将正在闪烁的光源摄像到摄像元件的整面上而摄像的情况下,如图2那样,在摄像图像上产生沿着曝光线的亮线(像素值的明暗的线)。通过识别该亮线的样式,能够推测超过摄像帧速率的速度的光源亮度变化。由此,通过将信号作为光源亮度的变化发送,能够进行摄像帧速率以上的速度的通信。在通过光源取两种亮度值来表现信号的情况下,将较低的亮度值称作低(lo),将较高的亮度值称作高(hi)。低可以是光源不发光的状态,也可以是与高相比较弱地发光。

通过该方法,以超过摄像帧速率的速度进行信息的传送。

在一张摄像图像中,曝光时间不重叠的曝光线有20行,当摄像的帧速率为30fps时,能够识别1.67毫秒周期的亮度变化。在曝光时间不重叠的曝光线有1000行的情况下,能够识别3万分之1秒(约33微秒)周期的亮度变化。另外,曝光时间例如设定得比10毫秒短。

图2表示一个曝光线的曝光完成后开始下个曝光线的曝光的情况。

在此情况下,当每1秒的帧数(帧速率)为f、构成1图像的曝光线数为l时,如果根据各曝光线是否受光一定以上的光来传送信息,则最大能够以fl位每秒的速度传送信息。

另外,在不是按照行、而是按照像素以时间差进行曝光的情况下,能够更高速地进行通信。

此时,在每曝光线的像素数是m像素、通过各像素是否受光一定以上的光来传送信息的情况下,传送速度最大为flm位每秒。

如图3那样,如果能够将由发光部的发光带来的各曝光线的曝光状态用多个水平识别,则通过将发光部的发光时间以比各曝光线的曝光时间短的单位的时间来控制,能够传送更多的信息。

在能够以elv个阶段识别曝光状态的情况下,最大能够以flelv位每秒的速度传送信息。

此外,通过在与各曝光线的曝光的时刻稍稍错开的时刻使发光部发光,能够识别发信的基本周期。

图4表示在一个曝光线的曝光完成之前开始下个曝光线的曝光的情况。即,为相邻的曝光线的曝光时间具有部分的时间上重叠的结构。通过这样的结构,(1)与等待一个曝光线的曝光时间的结束而开始下个曝光线的曝光的情况相比,能够使规定的时间内的样本数变多。通过规定时间内的样本数变多,能够将作为被拍摄对象的光发送机产生的光信号更适当地检测到。即,能够降低检测光信号时的错误率。进而,(2)与等待一个曝光线的曝光时间的结束而开始下个曝光线的曝光的情况相比,能够使各曝光线的曝光时间变长,所以即使在被拍摄对象较暗的情况下,也能够取得更明亮的图像。即,能够使s/n比提高。此外,不需要在全部的曝光线中相邻的曝光线的曝光时间具有部分的时间上的重叠的结构,也可以是一部分的曝光线不具有部分的时间上的重叠的结构。通过做成一部分的曝光线不具有部分的时间上的重叠的结构,能够抑制摄像画面上的因曝光时间的重叠带来的中间色的发生,能够更适当地检测亮线。

在此情况下,根据各曝光线的明亮程度计算曝光时间,识别发光部的发光的状态。

另外,在通过亮度是否是阈值以上的2值判别各曝光线的明亮程度的情况下,为了识别不发光的状态,发光部必须将不发光的状态持续各行的曝光时间以上的时间。

图5a表示在各曝光线的曝光开始时刻相等的情况下、因曝光时间的差异带来的影响。7500a是前个曝光线的曝光结束时刻与下个曝光线的曝光开始时刻相等的情况,7500b是与其相比曝光时间更长的情况。通过如7500b那样做成相邻的曝光线的曝光时间具有部分的时间上的重叠的结构,能够较长地取得曝光时间。即,向摄像元件入射的光增大,能够得到明亮的图像。此外,通过将用来摄像相同的明亮度的图像的摄像感光度降低,能够得到噪声较少的图像,所以通信错误被抑制。

图5b表示在曝光时间相等的情况下、因各曝光线的曝光开始时刻的差异带来的影响。7501a是前个曝光线的曝光结束时刻与下个曝光线的曝光开始时刻相等的情况,7501b是比前个曝光线的曝光结束更早地开始下个曝光线的曝光的情况。通过如7501b那样做成相邻的曝光线的曝光时间具有部分的时间上的重叠的结构,能够增加每单位时间能够曝光的行。由此,分辨率变得更高,能够得到较多的信息量。样本间隔(=曝光开始时刻的差)变密,所以能够更正确地推测光源亮度的变化,能够降低错误率,进而能够识别更短的时间中的光源亮度的变化。通过使曝光时间具有重叠,能够利用相邻的曝光线的曝光量的差来识别比曝光时间短的光源的闪烁。

另外,在上述的样本数少的情况下,也即是当样本间隔(图5b所示的时间差td)长时,无法准确地检测光源亮度的变化的可能性变高。该情况下,通过缩短曝光时间,能够抑制该可能性。也即是,能够准确地检测光源亮度的变化。另外,希望曝光时间满足曝光时间>(样本间隔-脉冲宽度)。脉冲宽度是光源的亮度为high的期间即光的脉冲宽度。由此,能够适当地检测high的亮度。

如在图5a、图5b中说明那样,在以使相邻的曝光线的曝光时间具有部分的时间上的重叠的方式将各曝光线依次曝光的结构中,通过将曝光时间设定得比通常摄影模式短,并将由此产生的亮线样式用于信号传送,能够使通信速度飞跃性地提高。这里,通过将可见光通信时的曝光时间设定为1/480秒以下,能够产生适当的亮线样式。这里,如果设帧频率=f,则需要设定为曝光时间<1/8×f。在摄影时产生的消隐(blanking)最大为1帧的一半的大小。即,由于消隐时间是摄影时间的一半以下,所以实际的摄影时间在最短的时间下成为1/2f。进而,由于在1/2f的时间内需要接受4值的信息,所以至少需要曝光时间比1/(2f×4)短。由于通常帧速率是60帧/秒以下,所以通过设定为1/480秒以下的曝光时间,能够使图像数据产生适当的亮线样式,进行高速的信号传送。

图5c表示在各曝光线的曝光时间不重叠的情况下、曝光时间较短的情况下的优点。在曝光时间较长的情况下,即使光源如7502a那样进行2值的亮度变化,在摄像图像中也如7502e那样形成中间色的部分,有难以识别光源的亮度变化的倾向。但是,通过如7502d那样,设定为在一个曝光线的曝光结束后、在下个曝光线的曝光开始前设置预定的不曝光的空闲时间(预定的等待时间)td2的结构,能够使光源的亮度变化变得容易识别。即,如7502f那样,能够检测更适当的亮线样式。如7502d那样设置预定的不曝光的空闲时间的结构可以通过使曝光时间te比各曝光线的曝光开始时刻的时间差td小来实现。在通常摄影模式是相邻的曝光线的曝光时间具有部分的时间上的重叠的结构的情况下,可以通过将曝光时间设定得与通常摄影模式时相比短到产生预定的不曝光的空闲时间来实现。此外,即使通常摄影模式是前个曝光线的曝光结束时刻与下个曝光线的曝光开始时刻相等的情况,也可以通过将曝光时间设定得较短直到发生预定的不曝光的时间来实现。此外,通过如7502g那样使各曝光线的曝光开始时刻的间隔td变大,也能够采用在一个曝光线的曝光结束后、在下个曝光线的曝光开始前设置预定的不曝光的空闲时间(预定的等待时间)td2的结构。在该结构中,由于能够使曝光时间变长,所以能够摄像明亮的图像,由于噪声变少,所以耐错性较高。另一方面,在该结构中,由于在一定时间内能够曝光的曝光线变少,所以如7502h那样具有样本数变少的缺点,所以希望根据状况而区分使用。例如,通过在摄像对象较明亮的情况下使用前者的结构、在较暗的情况下使用后者的结构,能够降低光源亮度变化的推测误差。

另外,不需要在全部的曝光线中相邻的曝光线的曝光时间具有部分的时间上的重叠,也可以是一部分的曝光线不具有部分的时间上的重叠。此外,不需要在全部的曝光线中、在一个曝光线的曝光结束后到下个曝光线的曝光开始之前设置预定的不曝光的空闲时间(预定的等待时间),也可以是一部分的曝光线具有部分的时间上的重叠。通过做成这样的结构,能够发挥各自的结构中的优点。此外,在以通常的帧速率(30fps,60fps)进行摄影的通常摄影模式和以进行可见光通信的1/480秒以下的曝光时间进行摄影的可见光通信模式中,也可以通过相同的读出方法或电路进行信号的读出。通过用相同的读出方法或电路将信号读出,不再需要对通常摄影模式和可见光通信模式使用分别不同的电路,能够使电路规模变小。

图5d表示光源亮度的最小变化时间ts、曝光时间te、各曝光线的曝光开始时刻的时间差td和摄像图像的关系。在设为te+td<ts的情况下,一个以上的曝光线从曝光的开始到结束为止必定以光源不变化的状态摄像,所以如7503d那样能够得到亮度清晰的图像,容易识别光源的亮度变化。在设为2te>ts的情况下,有时能够得到与光源的亮度变化不同样式的亮线,难以根据摄像图像识别光源的亮度变化。

图5e表示光源亮度的变迁时间tt和各曝光线的曝光开始时刻的时间差td的关系。与tt相比,td越大,成为中间色的曝光线越少,光源亮度的推测越容易。当td>tt时,中间色的曝光线为连续的2行以下,是优选的。tt在光源是led的情况下为1微秒以下,在光源是有机el的情况下为5微秒左右,所以通过使td为5微秒以上,能够使光源亮度的推测变容易。

图5f表示光源亮度的高频噪声tht与曝光时间te的关系。与tht相比,te越大,摄像图像中高频噪声的影响越少,光源亮度的推测变容易。当te为tht的整数倍时,不再有高频噪声的影响,光源亮度的推测变得最容易。在光源亮度的推测中,优选的是te>tht。高频噪声的主要的原因来源于开关电源电路,在许多电灯用的开关电源中,由于tht是20微秒以下,所以通过使te成为20微秒以上,能够容易地进行光源亮度的推测。

图5g是表示tht为20微秒的情况下的曝光时间te与高频噪声的大小的关系的曲线图。考虑tht根据光源而有偏差,根据曲线图,te是与噪声量取极大时的值相等的值,如果设定为15微秒以上、35微秒以上、54微秒以上或74微秒以上,则能够确认到效率较好。根据高频噪声降低的观点,te优选的是较大,但如上述那样,还具有在te越小则越不易产生中间色部分这一点上光源亮度的推测变容易的性质。因此,当光源亮度的变化的周期为15~35微秒时te优选的是设定为15微秒以上,当光源亮度的变化的周期为35~54微秒时te优选的是设定为35微秒以上,当光源亮度的变化的周期为54~74微秒时te优选的是设定为54微秒以上,当光源亮度的变化的周期为74微秒以上时te优选的是设定为74微秒以上。

图5h表示曝光时间te与识别成功率的关系。曝光时间te相对于光源的亮度为一定的时间,具有相对性的意义,所以取将光源亮度变化的周期ts除以曝光时间te的值(相对曝光时间)为横轴。根据曲线图可知,在想要使识别成功率大致成为100%的情况下,只要将相对曝光时间设为1.2以下即可。例如,在设发送信号为1khz的情况下,只要将曝光时间设为约0.83毫秒以下即可。同样,在想要使识别成功率成为95%以上的情况下,只要使相对曝光时间为1.25以下即可,在想要使识别成功率成为80%以上的情况下,只要使相对曝光时间为1.4以下即可。此外,由于在相对曝光时间1.5附近识别成功率急剧下降,在1.6大致成为0%,所以可知相对曝光时间应设定为不超过1.5。此外可知,在识别率在7507c成为0之后,在7507d或7507e、7507f再次上升。因此,在想要使曝光时间变长而摄像明亮的图像的情况下等,相对曝光时间只要利用从1.9到2.2、从2.4到2.6、从2.8到3.0的曝光时间即可。例如,作为中间模式优选的是使用这些曝光时间。

图6a是本实施方式的信息通信方法的流程图。

本实施方式的信息通信方法是从被拍摄对象取得信息的信息通信方法,包含步骤sk91~sk93。

即,该信息通信方法包括:第1曝光时间设定步骤sk91,设定图像传感器的第1曝光时间,以使得在由上述图像传感器对上述被拍摄对象进行摄影而得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的多个曝光线对应的多个亮线;第1图像取得步骤sk92,上述图像传感器以设定的上述第1曝光时间对亮度变化的上述被拍摄对象进行摄影,由此取得包括上述多个亮线的亮线图像;以及信息取得步骤sk93,对由所取得的上述亮线图像中包含的上述多个亮线的样式确定的数据进行解调,由此取得信息;在上述第1图像取得步骤sk92中,上述多个曝光线各自依次在不同的时刻开始曝光,并且从与该曝光线相邻的相邻曝光线的曝光结束后起经过预定的空闲时间后,开始曝光。

图6b是本实施方式的信息通信装置的框图。

有关本发明的一技术方案的信息通信装置k90,是从被拍摄对象取得信息的信息通信装置,具备构成要素k91~k93。

即,该信息通信装置k90具备:曝光时间设定部k91,设定上述图像传感器的曝光时间,以使得在由图像传感器对上述被拍摄对象进行摄影而得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的多个曝光线对应的多个亮线;图像取得部k92,以设定的上述曝光时间对亮度变化的上述被拍摄对象进行摄影,由此取得包括上述多个亮线的亮线图像;以及信息取得部k93,对由所取得的上述亮线图像中包含的上述多个亮线的样式确定的数据进行解调,由此取得信息;上述多个曝光线分别依次在不同的时刻开始曝光,并且从与该曝光线相邻的相邻曝光线的曝光结束后起经过预定的空闲时间后,开始曝光。

在这样的图6a及图6b所示的信息通信方法及信息通信装置k90中,如使用例如图5c等说明的那样,多个曝光线分别在从与该曝光线相邻的相邻曝光线的曝光结束后起经过预定的空闲时间后,开始曝光,因此能够容易地识别被拍摄对象的亮度变化。结果,能够适当地从被拍摄对象取得信息。

另外,在上述实施方式中,各构成要素也可以由专用的硬件构成、或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过cpu或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序读出并执行来实现。

(实施方式2)

在本实施方式中,说明使用作为上述实施方式1的信息通信装置k90的智能电话等的接收机和作为led和/或有机el等光源的闪烁样式而发送信息的发送机的各应用例。

另外,在以下的说明中,将通常摄影模式或通常摄影模式下的摄影称作通常摄影,将可见光通信模式或可见光通信模式下的摄影称作可见光摄影(可见光通信)。此外,也可以代替通常摄影及可见光摄影而使用中间模式的摄影,也可以代替后述的合成图像而使用中间图像。

图7是表示本实施方式的接收机的摄影动作的一例的图。

接收机8000将摄影模式如通常摄影、可见光通信、通常摄影、…那样切换。并且,接收机8000通过将通常摄影图像与可见光通信图像合成,生成鲜明地映照出亮线图样、被拍摄对象及其周围的合成图像,将该合成图像显示到显示器上。该合成图像是通过在通常摄影图像中的发送了信号的部位叠加可见光通信图像的亮线图样而生成的图像。此外,由该合成图像映照出的亮线图样、被拍摄对象及其周围分别是鲜明的,具有对于用户而言可充分识别的鲜明度。通过显示这样的合成图像,用户能够更明确地知道从哪里或哪个位置发送了信号。

图8是表示本实施方式的接收机的摄影动作的另一例的图。

接收机8000具备摄像头ca1及摄像头ca2。在这样的接收机8000中,摄像头ca1进行通常摄影,摄像头ca2进行可见光摄影。由此,摄像头ca1取得上述那样的通常摄影图像,摄像头ca2取得上述那样的可见光通信图像。并且,接收机8000通过将通常摄影图像及可见光通信图像合成,生成上述合成图像,显示到显示器上。

图9表示本实施方式的接收机的摄影动作的另一例的图。

在具有两个摄像头的上述接收机8000中,摄像头ca1将摄影模式如通常摄影、可见光通信、通常摄影、…那样切换。另一方面,摄像头ca2持续进行通常摄影。并且,当由摄像头ca1和摄像头ca2同时进行通常摄影时,接收机8000根据由这些摄像头取得的通常摄影图像,利用立体视(三角测量的原理),推测从接收机8000到被拍摄对象的距离(以下称作被拍摄对象距离)。通过使用这样推测出的被拍摄对象距离,接收机8000能够将可见光通信图像的亮线图样叠加到通常摄影图像的适当的位置。即,能够生成适当的合成图像。

图10是表示本实施方式的接收机的显示动作的一例的图。

接收机8000如上述那样,将摄影模式如可见光通信、通常摄影、可见光通信、…那样切换。这里,接收机8000在最初进行可见光通信时将应用程序起动。并且,接收机8000基于通过可见光通信接收到的信号,推测自己的位置。接着,接收机8000在进行通常摄影时,在通过该通常摄影取得的通常摄影图像中显示ar(augmentedreality)信息。该ar信息是基于如上述那样推测出的位置等取得的信息。此外,接收机8000基于9轴传感器的检测结果及通常摄影图像的运动检测等,推测接收机8000的移动及方向的变化,与该推测出的移动及方向的变化相应地使ar信息的显示位置移动。由此,能够使ar信息追随于通常摄影图像的被拍摄对象像。

此外,接收机8000如果将摄影模式从通常摄影切换为可见光通信,则在该可见光通信时,将ar信息叠加到在紧接着之前的通常摄影时取得的最新的通常摄影图像上。并且,接收机8000将叠加了ar信息的通常摄影图像显示。此外,接收机8000与通常摄影时同样,基于9轴传感器的检测结果,推测接收机8000的移动及方向的变化,与该推测出的移动及方向的变化相应地使ar信息及通常摄影图像移动。由此,在可见光通信时,也与通常摄影时同样,能够与接收机8000的移动等相应地使ar信息追随于通常摄影图像的被拍摄对象像。此外,能够与接收机8000的移动等相应地将该通常图像放大及缩小。

图11是表示本实施方式的接收机的显示动作的一例的图。

例如,接收机8000也可以如如图11的(a)所示那样显示映照出亮线图样的上述合成图像。此外,接收机8000也可以如图11的(b)所示,通过代替亮线图样而将作为用来通知发送了信号的具有预定颜色的图像的信号明示对象叠加到通常摄影图像中,生成合成图像并显示该合成图像。

此外,接收机8000也可以如图11的(c)所示那样,显示发送了信号的部位用点线的框和识别码(例如,id:101、id:102等)表示的通常摄影图像作为合成图像。此外,接收机8000也可以如图11的(d)所示,通过代替亮线图样而将作为用来通知发送了特定种类的信号的具有预定颜色的图像的信号识别对象叠加到通常摄影图像中,生成合成图像并显示该合成图像。在此情况下,该信号识别对象的颜色根据从发送机输出的信号的种类而不同。例如,在从发送机输出的信号是位置信息的情况下叠加红色的信号识别对象,在从发送机输出的信号是优惠券的情况下叠加绿色的信号识别对象。

图12是表示本实施方式的接收机的动作的一例的图。

例如,接收机8000也可以在通过可见光通信接收到信号的情况下,显示通常摄影图像,并输出用来向用户通知发现了发送机的声音。在此情况下,接收机8000也可以根据发现的发送机的个数、接收到的信号的种类或由该信号确定的信息的种类等,使输出的声音的种类、输出次数或输出时间不同。

图13是表示本实施方式的接收机的动作的另一例的图。

例如,如果用户触碰合成图像中映照出的亮线图样,则接收机8000基于从与该触碰的亮线图样对应的从被拍摄对象发送的信号来生成信息通知图像,并显示该信息通知图像。该信息通知图像例如表示店铺的优惠券或场所等。另外,亮线图样也可以是图11所示的信号明示对象、信号识别对象或点线框等。关于以下记载的亮线图样也是同样的。

图14是表示本实施方式的接收机的动作的另一例的图。

例如,如果用户触碰合成图像上映照出的亮线图样,则接收机8000基于从与该触碰的亮线图样对应的被拍摄对象发送的信号来生成信息通知图像,显示该信息通知图像。该信息通知图像例如用地图等表示接收机8000的当前地。

图15是表示本实施方式的接收机的动作的另一例的图。

例如,如果用户对显示有合成图像的接收机8000进行划动操作,则接收机8000显示与图11的(c)所示的通常摄影图像同样的具有点线框及识别码的通常摄影图像,并以追随于划动操作的方式显示信息的一览。在该一览中,表示通过从由各识别码表示的部位(发送机)发送的信号确定的信息。此外,划动例如也可以是从接收机8000中的显示器的右侧的外方向中间移动手指的操作。另外,划动也可以是从显示器的上侧、下侧或左侧向中间移动手指的操作。

此外,如果由用户对该一览中包含的信息轻击,则接收机8000显示更详细地表示该信息的信息通知图像(例如表示优惠券的图像)。

图16是表示本实施方式的接收机的动作的另一例的图。

例如,如果用户对显示有合成图像的接收机8000进行划动操作,则接收机8000以追随于划动操作的方式将信息通知图像叠加在合成图像上而显示。该信息通知图像是将被拍摄对象距离与箭头一起向用户容易理解地表示的图像。此外,划动例如也可以是从接收机8000的显示器的下侧的外方向中间移动手指的操作。另外,划动也可以是从显示器的左侧、上侧或右侧向中间移动手指的操作。

图17是表示本实施方式的接收机的动作的另一例的图。

例如,接收机8000将表示多个店铺的作为标识板的发送机作为被拍摄对象摄影,显示由该摄影取得的通常摄影图像。这里,如果用户将映照在通常摄影图像中的被拍摄对象中包含的1个店铺的标识板的图像轻击,则接收机8000基于从该店铺的标识板发送的信号生成信息通知图像,显示该信息通知图像8001。该信息通知图像8001例如是表示店铺的空席状况等的图像。

图18是表示本实施方式的接收机、发送机和服务器的动作的一例的图。

首先,构成为电视机的发送机8012通过亮度变化向接收机8011发送信号。该信号例如包括用来向用户提示与正在视听的节目关联的内容的购买的信息。接收机8011如果通过可见光通信接收到该信号,则基于该信号,显示向用户提示内容的购买的信息通知图像。如果用户进行用来购买该内容的操作,则接收机8011将插入在接收机8011中的sim(subscriberidentitymodule)卡中包含的信息、用户id、终端id、信用卡信息、用于核款的信息、口令及发送机id中的至少1个向服务器8013发送。服务器8013按照每个用户将用户id和支付信息建立联系而管理。并且,服务器8013基于从接收机8011发送的信息确定用户id,确认与该用户id建立了联系的支付信息。通过该确认,服务器8013判断是否对用户许可内容的购买。并且,服务器8013如果判断为许可,则向接收机8011发送许可信息。接收机8011如果接收到许可信息,则向发送机8012发送该许可信息。接收到许可信息的发送机8012例如经由网络取得并再现该内容。

此外,发送机8012也可以通过亮度变化将包含发送机8012的id的信息对接收机8011发送。在此情况下,接收机8011将该信息向服务器8013发送。服务器8013如果取得该信息,则能够判断为正在由该发送机8012视听例如电视机节目,能够进行电视机节目的视听率调查。

此外,接收机8011通过将由用户操作的内容(投票等)包含在上述信息中向服务器8013发送,服务器8013能够将该内容反映到电视机节目中。即,能够实现视听者参加型的节目。进而,接收机8011在受理了用户的写入的情况下,通过将该写入的内容包含在上述信息中向服务器8013发送,服务器8013能够将该写入反映到电视机节目或网络上的公告板等上。

进而,通过由发送机8012发送上述那样的信息,服务器8013能够对基于收费广播或点播程序的电视机节目的视听进行核款。此外,服务器8013可以对接收机8011显示广告,或显示向发送机8012显示的电视机节目的详细信息,或显示表示该详细信息的站点的url。进而,服务器8013通过取得由接收机8011显示了广告的次数或通过该广告购买的商品的金额等,能够对广告主进行与该次数或金额对应的核款。这样的基于金额的核款,即使看到了广告的用户不立即购买该商品也能够进行。此外,服务器8013从发送机8012经由接收机8011取得了表示发送机8012的生产商的信息时,能够对由该信息表示的生产商进行服务(例如对于上述商品的销售的报酬的支付)。

图19是表示本实施方式的接收机的动作的另一例的图。

接收机8030例如构成为具备摄像头的头戴显示器。当开始按钮被按下时,该接收机8030开始基于可见光通信模式的摄影、即可见光通信。并且,在通过可见光通信接收到信号的情况下,接收机8030将与该接收到的信号对应的信息向用户通知。该通知例如通过从接收机8030所具备的扬声器输出声音来进行、或通过图像的显示来进行。此外,可见光通信在开始按钮被按下时以外,也可以在指示开始的声音的输入被接收机8030受理时或指示开始的信号被接收机8030以无线通信接收到时开始。此外,也可以在接收机8030所具备的9轴传感器得到的值的变化幅度超过预定的范围时、或在通常摄影图像中稍稍出现了亮线图样时开始可见光通信。

图20是表示本实施方式的接收机的动作的另一例的图。

接收机8030与上述同样地显示合成图像8034。这里,用户进行移动指尖以将合成图像8034中的亮线图样围起的操作。接收机8030如果受理了该操作,则确定作为该操作的对象的亮线图样,显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。

图21是表示本实施方式的接收机的动作的另一例的图。

接收机8030与上述同样地显示合成图像8034。这里,用户进行将指尖以预先决定的时间以上抵按在合成图像8034中的亮线图样上的操作。接收机8030如果受理了该操作,则确定作为该操作的对象的亮线图样,显示基于从与该亮线图样对应的部位发送的信号的信息通知图像8032。

图22是表示本实施方式的发送机的动作的一例的图。

发送机以例如预先决定的周期将信号1和信号2交替地发送。信号1的发送和信号2的发送分别通过可见光的闪烁等的亮度变化进行。此外,用来发送信号1的亮度变化的样式和用来发送信号2的亮度变化的样式相互不同。

图23是表示本实施方式的发送机的动作的另一例的图。

发送机如上述那样,将包括块1、块2及块3的结构单位的信号列反复发送时,也可以按照信号列来变更该信号列中包含的块的配置。例如,在最初的信号列中,以块1、块2、块3的顺序配置各块,在下个信号列中,以块3、块1、块2的顺序配置各块。由此,能够避免由需要周期性的消隐期间的接收机仅取得相同的块。

图24是表示本实施方式的接收机的应用例的图。

例如构成为智能电话的接收机7510a用后摄像头(外置摄像头)7510c将光源7510b摄像,接收从光源7510b发送的信号,根据接收到的信号取得光源7510b的位置和朝向。接收机7510a根据光源7510b的摄像图像中的摄像方式及接收机7510a中具备的9轴传感器的传感器值,推测接收机7510a自身的位置和朝向。接收机7510a用前摄像头(面部摄像头、内置摄像头)7510f对用户7510e进行摄像,通过图像处理推测7510e的头部的位置和朝向及视线方向(眼球的位置和朝向)。接收机7510a将推测结果向服务器发送。接收机7510a根据用户7510e的视线方向变更行为(显示器的显示内容及再现音)。通过后摄像头7510c的摄像和通过前摄像头7510f的摄像既可以同时进行,也可以交替地进行。

图25是表示本实施方式的接收机的动作的另一例的图。

接收机通过上述那样的合成图像或中间图像等来显示亮线图样。此时,接收机也可以不能接收来自与该亮线图样对应的发送机的信号。这里,如果用户通过进行对亮线图样的操作(例如轻击)而选择该亮线图样,则接收机通过进行光学变焦,显示该亮线图样的部位被放大的合成图像或中间图像。通过进行这样的光学变焦,接收机能够将与该亮线图样对应的来自发送机的信号适当地接收。即,即使通过摄像得到的图像过小而不能取得信号,通过进行光学变焦,也能够将该信号适当地接收。此外,即使是显示有能够取得信号的大小的图像的情况,通过进行光学变焦,也能够进行较快的接收。

(本实施方式的总结)

本实施方式的信息通信方法,是从被拍摄对象取得信息的信息通信方法,包括:第1曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;亮线图像取得步骤,通过由上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间进行摄影,取得作为包含上述亮线的图像的亮线图像;图像显示步骤,基于上述亮线图像,以能够识别出现上述亮线的部位的空间位置的方式,显示映照出上述被拍摄对象和该被拍摄对象的周围的显示用图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得发送信息。

例如,将图7、图8及图11所示那样的合成图像或中间图像作为显示用图像显示。此外,在映照出被拍摄对象和该被拍摄对象的周围的显示用图像中,将出现亮线的部位的空间位置通过亮线图样、信号明示对象、信号识别对象或点线框等识别。因而,用户通过观察这样的显示图像,能够容易地找出通过亮度变化来发送信号的被拍摄对象。

此外,也可以是,上述信息通信方法还包括:第2曝光时间设定步骤,设定比上述曝光时间长的曝光时间;通常图像取得步骤,通过由上述图像传感器将上述被拍摄对象和该被拍摄对象的周围以上述较长的曝光时间进行摄影,取得通常摄影图像;合成步骤,基于上述亮线图像确定在上述通常摄影图像中出现上述亮线的部位,通过将作为指示上述部位的图像的信号对象叠加到上述通常摄影图像上,生成合成图像;在上述图像显示步骤中,将上述合成图像作为上述显示用图像显示。

例如,信号对象是亮线图样、信号明示对象、信号识别对象或点线框等,如图7、图8及图11所示,显示合成图像作为显示用图像。由此,用户能够更容易地找到通过亮度变化来发送信号的被拍摄对象。

此外,也可以是,在上述第1曝光时间设定步骤中,将曝光时间设定为1/3000秒;在上述亮线图像取得步骤中,取得映照出上述被拍摄对象的周围的上述亮线图像;在上述图像显示步骤中,将上述亮线图像作为上述显示用图像显示。

例如,取得亮线图像作为中间图像并显示。因而,不需要进行取得通常摄影图像和可见光通信图像并合成等的处理,能够实现处理的简略化。

此外,也可以是,上述图像传感器包括第1图像传感器和第2图像传感器;在上述通常图像取得步骤中,通过由上述第1图像传感器进行摄影而取得上述通常摄影图像;在上述亮线图像取得步骤中,通过由上述第2图像传感器与上述第1图像传感器的摄影同时地进行摄影,取得上述亮线图像。

例如,如图8所示,将通常摄影图像和作为亮线图像的可见光通信图像通过各自的摄像头取得。因而,与用1个摄像头取得通常摄影图像和可见光通信图像的情况相比,能够更快地取得这些图像,能够使处理高速化。

此外,也可以是,上述信息通信方法还包括:信息提示步骤,在通过用户的操作指定了上述显示用图像中的出现上述亮线的部位的情况下,提示基于从指定的部位的上述亮线的样式取得的上述发送信息的提示信息。例如,上述用户的操作,是轻击、划动、将指尖持续预定的时间以上抵按在上述部位上的操作,持续预定的时间以上使视线朝向上述部位的状态的操作,将上述用户的身体的一部分向与上述部位建立关联而表示的箭头移动的操作,将亮度变化的笔尖抵按在上述部位上的操作,或通过触碰接触传感器而将显示在上述显示用图像上的指针对准于上述部位的操作。

例如,如图13~图17、图20以及图21所示,将提示信息作为信息通知图像显示。由此,能够向用户提示希望的信息。

此外,也可以是,上述图像传感器被装备在头戴显示器上;在上述图像显示步骤中,搭载在上述头戴显示器上的投影仪显示上述显示用图像。

由此,例如如图19~图21所示,能够简单地向用户提示信息。

此外,也可以是从被拍摄对象取得信息的信息通信方法,包括:第1曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;亮线图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间进行摄影,取得作为包含上述亮线的图像的亮线图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;在上述亮线图像取得步骤中,通过在上述图像传感器被移动的期间中对多个上述被拍摄对象进行摄影,取得包含多个出现上述亮线的部位的上述亮线图像;在上述信息取得步骤中,通过按照每个上述部位将由该部位的上述亮线的样式确定的数据解调,取得多个上述被拍摄对象各自的位置;上述信息通信方法还包括基于所取得的多个上述被拍摄对象各自的位置及上述图像传感器的移动状态来推测上述图像传感器的位置的位置推测步骤。

由此,根据多个照明体等的被拍摄对象的亮度变化,能够正确地推测包括图像传感器的接收机的位置。

此外,也可以是从被拍摄对象取得信息的信息通信方法,包括:第1曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;亮线图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间进行摄影,取得作为包含上述亮线的图像的亮线图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;信息提示步骤,提示所取得的上述信息;在上述信息提示步骤中,对于上述图像传感器的用户将提示预先决定的手势的图像作为上述信息提示。

由此,能够根据用户是否进行被提示的手势来进行对于该用户的认证等,能够提高方便性。

此外,也可以是从被拍摄对象取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间进行摄影,取得包含上述亮线的图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;在上述图像取得步骤中,通过将映照在反射面上的多个上述被拍摄对象进行摄影而取得上述亮线图像;在上述信息取得步骤中,根据上述亮线图像中包含的亮线的强度,将上述亮线分离为与多个上述被拍摄对象分别对应的亮线,通过按照上述被拍摄对象将由与该被拍摄对象对应的亮线的样式确定的数据解调,来取得信息。

由此,即使是多个照明体等的被拍摄对象分别亮度变化的情况,也能够从被拍摄对象分别取得适当的信息。

此外,也可以是从被拍摄对象取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间进行摄影,取得包含上述亮线的亮线图像;信息取得步骤,通过将由所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;在上述图像取得步骤中,通过将映照在反射面上的多个上述被拍摄对象进行摄影而取得上述亮线图像;上述信息通信方法还包括基于上述亮线图像内的亮度分布来推测上述被拍摄对象的位置的位置推测步骤。

由此,能够基于亮度分布推测适当的被拍摄对象的位置。

此外,也可以是通过亮度变化来发送信号的信息通信方法,包括:第1决定步骤,通过对发送对象的第1信号进行调制来决定亮度变化的第1样式;第2决定步骤,通过对发送对象的第2信号进行调制来决定亮度变化的第2样式;发送步骤,通过由发光体交替地进行按照所决定的上述第1样式的亮度变化和按照所决定的上述第2样式的亮度变化,来发送上述第1及第2信号。

由此,例如如图22所示,能够将第1信号和第2信号分别没有延迟地发送。

此外,也可以是,在上述发送步骤中,当使亮度变化在按照上述第1样式的亮度变化和按照上述第2样式的亮度变化之间切换时,隔开缓冲时间来切换。

由此,能够抑制第1信号和第2信号的串扰。

此外,也可以是通过亮度变化来发送信号的信息通信方法,包括:决定步骤,通过对发送对象的信号进行调制来决定亮度变化的样式;发送步骤,通过由发光体按照所决定的上述样式而进行亮度变化,发送上述发送对象的信号;上述信号由多个大块构成;上述多个大块分别包括第1数据、与上述第1数据对应的前导码、和与上述第1数据对应的检验信号;上述第1数据由多个小块构成,上述小块包括第2数据、与上述第2数据对应的前导码和与上述第2数据对应的检验信号。

由此,不论是需要消隐期间的接收机、还是不需要消隐期间的接收机,都能够适当地取得数据。

此外,也可以是通过亮度变化来发送信号的信息通信方法,包括:决定步骤,通过由多个发送机分别对发送对象的信号进行调制,决定亮度变化的样式;发送步骤,按照每个发送机,由该发送机中具备的发光体按照所决定的上述样式而进行亮度变化,从而发送上述发送对象的信号;在上述发送步骤中,发送频率或协议相互不同的信号。

由此,能够抑制来自多个发送机的信号的串扰。

此外,也可以是通过亮度变化来发送信号的信息通信方法,包括:决定步骤,通过有多个发送机分别对发送对象的信号进行调制,决定亮度变化的样式;发送步骤,按照每个发送机,由该发送机中具备的发光体按照所决定的上述样式而进行亮度变化,从而发送上述发送对象的信号;在上述发送步骤中,上述多个发送机中的1个发送机接收从另一方的发送机发送的信号,以不与接收到的信号串扰的方式发送其它信号。

由此,能够抑制来自多个发送机的信号的串扰。

(实施方式3)

在本实施方式中,对使用上述实施方式1或2的智能电话等接收机和作为led或有机el等的闪烁样式而发送信息的发送机的各应用例进行说明。

图26是表示实施方式3的接收机、发送机及服务器的处理动作的一例的图。

例如构成为智能电话的接收机8142取得表示自己的位置的位置信息,将该位置信息向服务器8141发送。另外,接收机8142例如利用gps等,在接收到其它信号时取得其位置信息。服务器8141将与由该位置信息表示的位置建立了对应的id列表向接收机8142发送。在id列表中,按照“abcd”等的id,包括该id和与该id建立了对应的信息。

接收机8142例如从构成为照明设备的发送机8143接收信号。此时,接收机8142有只能接收id的一部分(例如“b”)作为上述信号的情况。在此情况下,接收机8142从id列表中检索包括该id的一部分的id。在找不到唯一的id的情况下,接收机8142还从发送机8143接收包括该id的其它部分的信号。由此,接收机8142取得该id中的更多的部分(例如“bc”)。并且,接收机8142从id列表再次检索包含该id的一部分(例如“bc”)的id。通过进行这样的检索,接收机8142即使仅能够取得id的一部分,也能够确定id的全部。另外,接收机8142当从发送机8143接收信号时,不仅是id的一部分,还接收crc(cyclicredundancycheck)等的检验部分等。

图27是表示实施方式3的发送机及接收机的动作的一例的图。

例如构成为电视机的发送机8165从控制部8166取得图像和与该图像建立了对应的id(id1000)。并且,发送机8165将该图像显示,并通过亮度变化,将该id(id1000)向接收机8167发送。接收机8167通过摄像来接收该id(id1000),并显示与该id(id1000)建立了对应的信息。这里,控制部8166将向发送机8165输出的图像变更为其它图像。此时,控制部8166将向发送机8165输出的id也变更。即,控制部8166与其它图像一起,将与其它图像建立了对应的其它id(id1001)也向发送机8165输出。由此,发送机8165将其它图像显示,并通过亮度变化将其它id(id1001)向接收机8167发送。接收机8167通过摄像而将其它id(id1001)接收,并显示与其它id(id1001)建立了对应的信息。

图28是表示实施方式3的发送机、接收机及服务器的动作的一例的图。

例如构成为智能电话的发送机8185通过使显示器8185a中的除了条码部分8185b以外的部分亮度变化,即通过可见光通信,将例如表示“优惠券减去100日元”的信息发送。此外,发送机8185不使条码部分8185b亮度变化,而使该条码部分8185b显示条码。该条码表示与通过上述可见光通信发送的信息相同的信息。进而,发送机8185在显示器8185a中的除了条码部分8185b以外的部分上,显示表示通过可见光通信发送的信息的字符或图画,例如字符“优惠券减去100日元”。通过将这样的字符或图画显示,发送机8185的用户能够容易地掌握发送了怎样的信息。

接收机8186通过摄像,取得通过可见光通信发送的信息和由条码表示的信息,将这些信息向服务器8187发送。服务器8187判断这些信息是否一致或关联,在判断为一致或关联时,执行按照这些信息的处理。或者,服务器8187将该判断结果向接收机8186发送,使接收机8186执行遵循这些信息的处理。

另外,发送机8185也可以将由条码表示的信息中的一部分通过可见光通信发送。此外,也可以在条码中表示服务器8187的url。此外,发送机8185也可以作为接收机而取得id,通过将该id向服务器8187发送,取得与该id建立了对应的信息。与该id建立了对应的信息与通过上述可见光通信发送的信息、或由条码表示的信息相同。此外,服务器8187也可以经由接收机8186将与从发送机8185发送的信息(可见光通信的信息或条码的信息)建立了对应的id向发送机8185发送。

图29是表示实施方式3的发送机及接收机的动作的一例的图。

例如,接收机8183将包括多个人物8197及路灯8195的被拍摄对象摄像。路灯8195具备通过亮度变化发送信息的发送机8195a。通过该摄像,接收机8183取得将发送机8195a的像表示为上述亮线图样的图像。进而,接收机8183例如从服务器等取得与由该亮线图样表示的id建立了关联的ar对象8196a。并且,接收机8183将该ar对象8196a叠加到通过通常摄影得到的通常摄影图像8196上,将叠加了该ar对象8196a的通常摄影图像8196显示。

(本实施方式的总结)

本实施方式的信息通信方法,是通过亮度变化来发送信号的信息通信方法,包括:决定步骤,通过对发送对象的信号进行调制,决定亮度变化的样式;发送步骤,通过由发光体按照所决定的上述样式而进行亮度变化,发送上述发送对象的信号;上述亮度变化的样式是在预先设定的时间宽度中的任意的各位置出现相互不同的两个亮度值中的一方的样式;在上述决定步骤中,对于发送对象的相互不同的信号的每一个,以使上述时间宽度中的作为亮度的上升位置或下降位置的亮度变化位置相互不同的方式,决定上述亮度变化的样式、并且上述时间宽度中的上述发光体的亮度的积分值成为与预先设定的明亮度对应的相同的值。

例如,对于发送对象的相互不同的信号“00”、“01”、“10”及“11”,分别决定亮度变化的样式,以使亮度的上升位置(亮度变化位置)相互不同、并且预先决定的时间宽度(单位时间宽度)中的发光体的亮度的积分值成为与预先决定的明亮度(例如99%或1%等)对应的相同的值。由此,能够对于发送对象的信号分别将发光体的明亮度保持为一定,能够抑制闪变,并且将该发光体摄像的接收机能够基于亮度变化位置将该亮度变化的样式适当地解调。此外,亮度变化的样式由于是在单位时间宽度中的任意的各位置出现相互不同的两个亮度值(亮度h(high)或亮度l(low))中的一方的样式,所以能够使发光体的明亮度连续地变化。

此外,也可以是,上述信息通信方法还包括将多个图像的分别依次切换而显示的图像显示步骤;在上述决定步骤中,每当由上述图像显示步骤显示图像,就通过将与显示的图像对应的识别信息调制为上述发送对象的信号,决定与上述识别信息对应的亮度变化的样式;在上述发送步骤中,每当由上述图像显示步骤显示图像,就通过上述发光体按照对与所显示的图像对应的识别信息决定的亮度变化的样式而进行亮度变化,来发送上述识别信息。

由此,例如如图27所示,每当显示图像,就发送与所显示的图像对应的识别信息,所以用户能够基于显示的图像容易地选择使接收机接收的识别信息。

此外,也可以是,在上述发送步骤中,每当由上述图像显示步骤显示图像,就通过上述发光体还按照对与过去显示的图像对应的识别信息决定的亮度变化的样式而进行亮度变化,将上述识别信息发送。

由此,即使是因显示的图像切换而接收机不能接收到在切换前发送的识别信号的情况,由于与当前显示的图像对应的识别信息一起将与过去显示的图像对应的识别信息也发送,所以能够将在切换前发送的识别信息重新由接收机适当地接收。

此外,也可以是,在上述决定步骤中,每当由上述图像显示步骤显示图像,就通过将与所显示的图像对应的识别信息和上述图像被显示的时刻调制为上述发送对象的信号,决定与上述识别信息及上述时刻对应的亮度变化的样式;在上述发送步骤中,每当由上述图像显示步骤显示图像,就通过上述发光体按照对与所显示的图像对应的识别信息及时刻决定的亮度变化的样式而进行亮度变化,将上述识别信息及上述时刻发送,还通过上述发光体按照对与过去显示的图像对应的识别信息及时刻决定的亮度变化的样式而进行亮度变化,将上述识别信息及上述时刻发送。

由此,由于每当显示图像时,就将多个id时刻信息(由识别信息及时刻构成的信息)发送,所以接收机能够从接收到的多个id时刻信息中,基于在该id时刻信息的各自中包含的时刻而容易地选择在过去被发送而未能接收到的识别信号。

此外,也可以是,上述发光体具有分别发光的多个区域,上述多个区域中彼此相邻的区域的光相互干涉;在上述多个区域中的仅1个按照所决定的上述亮度变化的样式而进行亮度变化的情况下,在上述发送步骤中,仅上述多个区域中的配置在端部的区域按照所决定的上述亮度变化的样式而进行亮度变化。

由此,由于仅配置在端部的区域(发光部)亮度变化,所以与仅配置在端部以外的区域亮度变化的情况相比,能够抑制由来自其它区域的光带来的向其亮度变化的影响。结果,接收机能够通过摄影适当地捕捉其亮度变化的样式。

此外,也可以是,在仅上述多个区域中的两个按照所决定的上述亮度变化的样式而进行亮度变化的情况下,在上述发送步骤中,上述多个区域中的配置在端部的区域和与上述配置在端部的区域相邻的区域按照所决定的上述亮度变化的样式而进行亮度变化。

由此,由于配置在端部的区域(发光部)和与该配置在端部的区域相邻的区域(发光部)亮度变化,所以与相互离开的区域亮度变化的情况相比,能够将在空间上连续而进行亮度变化的范围的面积保持得较大。结果,接收机能够通过摄影适当地捕捉该亮度变化的样式。

本实施方式的信息通信方法,是从被拍摄对象取得信息的信息通信方法,包括:信息发送步骤,发送表示在上述被拍摄对象的摄影中使用的图像传感器的位置的位置信息;列表接收步骤,接收与由上述位置信息表示的位置建立了对应的、包含多个识别信息的id列表;曝光时间设定步骤,设定上述图像传感器的曝光时间,以使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间摄影,取得包含上述亮线的亮线图像;信息取得步骤,通过将由在所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;检索步骤,从上述id列表中检索包含所取得的上述信息的识别信息。

由此,例如如图26所示,由于预先接收了id列表,所以即使所取得的信息“bc”仅为识别信息的一部分,也能够基于id列表确定适当的识别信息“abcd”。

此外,也可以是,在上述检索步骤中没有唯一确定包含所取得的上述信息的识别信息的情况下,通过反复进行上述图像取得步骤及上述信息取得步骤,取得新的信息;上述信息通信方法还包括从上述id列表中检索包含所取得的上述信息和上述新的信息的识别信息的再检索步骤。

由此,例如如图26所示,即使是所取得的信息“b”仅为识别信息的一部分、仅通过该信息不能唯一确定识别信息的情况,由于取得新的信息“c”,所以能够基于该新的信息和id列表确定适当的识别信息“abcd”。

本实施方式的信息通信方法,是从被拍摄对象取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,以使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的曝光线对应的亮线;图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象以设定的上述曝光时间摄影,取得包含上述亮线的亮线图像;信息取得步骤,通过将由在所取得的上述亮线图像中包含的上述亮线的样式确定的数据解调,取得信息;发送步骤,将所取得的上述识别信息和表示上述图像传感器的位置的位置信息发送;错误接收步骤,在与由上述位置信息表示的位置建立了对应的、包含多个识别信息的id列表中没有所取得的上述识别信息的情况下,接收用来通知错误的错误通知信息。

由此,由于在id列表中没有所取得的识别信息的情况下接收错误通知信息,所以接收到该错误通知信息的接收机的用户能够容易地掌握不能得到与该取得的识别信息建立了关联的信息的情况。

(实施方式4)

在本实施方式中,对使用了上述实施方式1~4的智能电话等接收机和作为led或有机el等的闪烁样式而发送信息的发送机的适用例进行说明。

图30是表示实施方式4的发送机及接收机的动作的一例的图。

发送机具备id存储部8361、随机数生成部8362、加法部8363,加密部8364及发送部8365。id存储部8361存储有发送机的id。随机数生成部8362每一定时间生成不同的随机数。加法部8363将由随机数生成部8362生成的最新的随机数对存储在id存储部8361中的id进行组合,将其结果作为编辑id输出。加密部8364通过对该编辑id进行加密而生成加密编辑id。发送部8365通过亮度变化而将该加密编辑id向接收机发送。

接收机具备接收部8366、解码部8367及id取得部8368。接收部8366通过将发送机摄像(可见光摄影),从发送机接收加密编辑id。解码部8367通过将该接收到的加密编辑id解码,将编辑id复原。id取得部8368通过从复原后的编辑id中提取id,取得该id。

例如,id存储部8361存储有id“100”,随机数生成部8362生成最新的随机数“817”(例1)。在此情况下,加法部8363通过将随机数“817”对id“100”组合,生成编辑id“100817”并输出。加密部8364通过对该编辑id“100817”进行加密,生成加密编辑id“abced”。接收机的解码部8367通过将该加密编辑id“abced”解码,将编辑id“100817”复原。并且,id取得部8368从复原后的编辑id“100817”中提取id“100”。换言之,id取得部8368通过将编辑id的下3位删除而取得id“100”。

接着,随机数生成部8362生成新的随机数“619”(例2)。在此情况下,加法部8363通过将随机数“619”对id“100”组合,生成编辑id“100619”并输出。加密部8364通过对该编辑id“100619”进行加密,生成加密编辑id“difia”。发送机的解码部8367通过将该加密编辑id“difia”解码,将编辑id“100619”复原。并且,id取得部8368从复原后的编辑id“100619”中提取id“100”。换言之,id取得部8368通过将编辑id的下3位删除而取得id“100”。

这样,发送机不是将id单纯地加密,而是将组合了按每一定时间被变更的随机数而得到的值进行加密,所以能够防止根据从发送部8365发送的信号简单地解读id。即,在将单纯被加密的id从发送机向接收机多次发送的情况下,即使该id被加密,由于只要该id相同,从发送机向接收机发送的信号也相同,所以也有可能将该id解读。但是,在图30所示的例子中,将按每一定时间被变更的随机数与id组合,将组合了该随机数的id加密。因而,即使是将相同的id向接收机多次发送的情况,只要这些id的发送的定时不同,就能够使从发送机向接收机发送的信号不同。结果,能够防止id被容易地解读。

另外,也可以是,图30所示的接收机如果取得加密编辑id,则将该加密编辑id向服务器发送,从该服务器取得id。

(车站中的导引)

图31是表示电车的站台中的本发明的利用形态的一例的图。用户使便携终端面向电子公告板或照明,通过可见光通信,取得显示在电子公告板上的信息、或者设置有电子公告板的车站的电车信息/车站的站内信息等。这里,既可以将显示在电子公告板上的信息自身通过可见光通信向便携终端发送,也可以将与电子公告板对应的id信息向便携终端发送,便携终端通过将所取得的id信息向服务器查询,取得显示在电子公告板上的信息。服务器在从便携终端发送来id信息的情况下,基于id信息,将显示在电子公告板上的内容向便携终端发送。将保存在便携终端的存储器中的电车的车票信息与显示在电子公告板上的信息对比,在与用户的车票对应的车票信息显示在电子公告板上的情况下,在便携终端的显示器上,显示表示向用户计划乘坐的电车到达的站台的前往地的箭头。也可以在下车时显示到出口或距换乘路径较近的车辆的路径。在座席指定的情况下,也可以显示到该座席的路径。当显示箭头时,通过使用与地图或电车导引信息中的电车的路线的颜色相同的颜色来显示箭头,能够更容易理解地显示。此外,也可以与箭头的显示一起而显示用户的预约信息(站台号码、车辆号码、发车时刻、座席号码)。通过将用户的预约信息一起显示,能够防止误识别。在车票信息保存在服务器中的情况下,通过从便携终端向服务器查询而取得车票信息并对比、或者在服务器侧将车票信息与显示在电子公告板上的信息对比,能够取得与车票信息关联的信息。也可以是,根据用户进行了换乘检索的履历推测目标路线并显示路径。此外,也可以不仅取得显示在电子公告板上的内容,还取得设置有电子公告板的车站的电车信息/站内信息并进行对比。对于显示器上的电子公告板的显示,也可以将与用户关联的信息强调显示,也可以改写显示。在用户的乘车计划不明的情况下,也可以显示向各路线的乘车处的导引的箭头。在取得了车站的站内信息的情况下,也可以将向小卖店/洗手间等进行导引的箭头显示在显示器上。也可以构成为,将用户的行动特性预先用服务器管理,在用户在车站站内顺便到小卖店/洗手间的情况较多的情况下,将向小卖店/洗手间等进行导引的箭头显示到显示器上。由于仅对具有顺便到小卖店/洗手间的行动特性的用户显示向小卖店/洗手间等导引的箭头,对于其它用户不进行显示,所以能够减少处理量。也可以将向小卖店/洗手间等导引的箭头的颜色设为与对向站台的前往地进行导引的箭头不同的颜色。当将两者的箭头同时显示时,通过设为不同的颜色,能够防止误识别。另外,在图31中表示了电车的例子,但如果是飞机或汽车等,也能够以同样的结构进行显示。

(优惠券的弹出)

图32是表示如果用户接近店铺则显示通过可见光通信取得的优惠券信息、或者在便携终端的显示器上显示弹出消息的一例的图。用户使用便携终端,通过可见光通信从电子公告板等取得店铺的优惠券信息。接着,如果用户进入距店铺为预定距离的范围内,则显示店铺的优惠券信息或弹出消息。用户是否进入距店铺为预定距离的范围内,使用便携终端的gps信息和优惠券信息中包含的店铺信息来判断。并不限于优惠券信息,也可以是票券信息。由于如果能够利用优惠券或票券的店铺等接近则自动地报信,所以用户能够将优惠券或票券适当地利用。

(操作用应用的起动)

图33是表示用户使用便携终端通过可见光通信从家电取得信息的一例的图。在通过可见光通信从家电取得了id信息或关于该家电的信息的情况下,用来操作该家电的应用自动地启动。在图33中,表示使用电视机的例子。通过这样的结构,仅通过使便携终端面向家电,就能够将用来操作家电的应用起动。

(数据库)

图34是表示管理发送机发送的id的服务器所保持的数据库的结构的一例的图。

数据库具有保持对以id为关键字的查询提供的数据的id-数据表、和保存以id为关键字的查询记录的访问日志表。id-数据表具有发送机发送的id、对以id为关键字的查询提供的数据、提供数据的条件、存在以id为关键字的访问的次数、将条件取消而提供了数据的次数。在提供数据的条件中,有日期时间、访问次数、访问成功次数、查询源的终端的信息(终端的机种、进行了查询的应用、终端的当前位置等)、以及查询源的用户信息(年龄、性别、职业、国籍、使用语言、信教等)。通过以访问成功次数为条件,能够实现“每访问1次1日元,但以100日元为上限,在这以后不返回数据”的服务的方法。日志表当存在以id为关键字的访问时,记录该id、请求的用户的id、时刻、其它附带信息、是否将条件取消而提供了数据、以及提供的数据的内容。

(按每个区段(zone)而不同的通信协议)

图35是表示实施方式4的发送机和接收机的动作的一例的图。

接收机8420a从基站8420h获取区段信息,识别自身位于哪个区段,选择接收协议。基站8420h构成为例如便携电话的通信基站、wi-fi接入点、imes发送机、扬声器或无线发送机(bluetooth(注册商标)、zigbee、特定小电力无线站等)。另外,接收机8420a也可以基于从gps等得到的位置信息来确定区段。作为例子,假设决定为在区段a中以9.6khz的信号频率进行通信,在区段b中顶棚照明以15khz的信号频率进行通信,标牌以4.8khz的信号频率进行通信。接收机8420a在位置8420j处,根据基站8420h的信息识别出当前地是区段a,以9.6khz的信号频率进行接收,将发送机8420b/8420c发送的信号接收。接收机8420a在位置8420l处,根据基站8420i的信息识别出当前地是区段b,进而因为内部摄像头被朝向上方所以推测为要接收来自顶棚照明的信号,以15khz的信号频率进行接收,将发送机8420e/8420f发送的信号接收。接收机8420a在位置8420m处,从基站8420i的上方识别出当前地是区段b,进而根据使外部摄像头伸出的运动,推测要接收标牌发送的信号,以4.8khz的信号频率进行接收,将发送机8420g发送的信号接收。接收机8420a在位置8420k处,接收基站8420h和基站8420i两者的信号,不能判断出当前地是区段a和区段b的哪个,所以以9.6khz和15khz两者进行接收处理。另外,也可以是,根据区段而协议不同的部分不仅是频率,还可以使发送信号的调制方式、信号格式、查询id的服务器也不同。另外,基站8420h/8420i既可以将区段内的协议向接收机发送,也可以仅将表示区段的id发送,接收机以区段id为关键字从服务器获得协议信息。

发送机8420b~8420f将基站8420h/8420i发送的区段id及协议信息接收,决定信号发送协议。能够接收基站8420h和基站8420i两者发送的信号的发送机8420d利用信号强度更强的基站的区段的协议,或交替地利用两者的协议。

(区段的识别和每区段的服务)

图36是表示实施方式4的接收机和发送机的动作的一例的图。

接收机8421a根据接收到的信号,识别自身的位置属于的区段。接收机8421a提供按每个区段设定的服务(优惠券的分发、点数的赋予、道路导引等)。作为一例,接收机8421a接收从发送机8421b的左侧发送的信号,识别出处于区段a中。这里,发送机8421b也可以根据发送方向而发送不同的信号。此外,发送机8421b也可以通过使用2217a那样的发光样式的信号来发送信号,以使得根据到接收机的距离而接收不同的信号。此外,接收机8421a也可以根据发送机8421b的被摄像的方向和大小来识别与发送机8421b的位置关系,识别自身位于的区段。

也可以使表示位于相同区段的信号的一部分共通。例如,使从发送机8421b和发送机8421c发送的表示区段a的id前半为共通。由此,接收机8421a仅通过接收信号的前半,就能够识别自身位于的区段。

(本实施方式的总结)

本实施方式的信息通信方法,是通过亮度变化来发送信号的信息通信方法,包括:决定步骤,通过将多个发送对象的信号分别调制,决定多个亮度变化的样式;发送步骤,通过多个发光体分别按照所决定的多个亮度变化的样式中的某1个样式而亮度变化,将与上述某1个样式对应的发送对象的信号发送;在上述发送步骤中,上述多个发光体中的两个以上的发光体分别按照对该发光体预先设定的每个时间单位而以相互不同的频率进行亮度变化,以输出相互亮度不同的两种光中的某一方的光、并且对上述两个以上的发光体分别预先设定的上述时间单位相互不同。

由此,由于两个以上的发光体(例如构成为照明设备的发送机)分别以相互不同的频率进行亮度变化,所以从这些发光体接收发送对象的信号(例如发光体的id)的接收机能够容易地将这些发送对象的信号区别并取得。

此外,也可以是,在上述发送步骤中,上述多个发光体分别以至少4种频率中的某1个频率进行亮度变化,上述多个发光体中的两个以上的发光体以相同的频率进行亮度变化。例如,在上述发送步骤中,在向用来接收上述多个发送对象的信号的图像传感器的受光面投影上述多个发光体的情况下,上述多个发光体分别亮度变化,以使得在上述受光面上相互相邻的全部的发光体间亮度变化的频率不同。

由此,如果在亮度变化中使用的频率至少有4种,则即使在以相同的频率亮度变化的发光体有两个以上的情况下,即,即使在频率的种类的数量比多个发光体的数量少的情况下,也能够基于四色问题或四色定理,在图像传感器的受光面上相互相邻的全部的发光体间使亮度变化的频率可靠地不同。结果,接收机能够将从多个发光体发送的发送对象的信号分别容易地区别并取得。

此外,也可以是,在上述发送步骤中,上述多个发光体分别通过以由发送对象的信号的散列值确定的频率进行亮度变化,发送上述发送对象的信号。

由此,多个发光体分别以由发送对象的信号(例如发光体的id)的散列值确定的频率进行亮度变化,所以接收机在接收到发送对象的信号时,能够判断根据实际的亮度变化确定的频率与通过散列值确定的频率是否一致。即,接收机能够判断在接收到的信号(例如发光体的id)中是否有错误。

此外,也可以是,上述信息通信方法还包括:频率计算步骤,根据存储在信号存储部中的发送对象的信号,按照预先设定的函数,计算与该发送对象的信号对应的频率作为第1频率;频率判断步骤,判断存储在频率存储部中的第2频率与计算出的上述第1频率是否一致;频率错误报告步骤,在判断为上述第1频率与上述第2频率不一致的情况下,报告错误;在判断为上述第1频率与上述第2频率一致的情况下,在上述决定步骤中,通过将存储在上述信号存储部中的上述发送对象的信号调制来决定亮度变化的样式;在上述发送步骤中,通过上述多个发光体中的某1个发光体按照所决定的上述样式以上述第1频率进行亮度变化,将存储在上述信号存储部中的上述发送对象的信号发送。

由此,判断存储在频率存储部中的频率与根据存储在信号存储部(id存储部)中的发送对象的信号计算出的频率是否一致,在判断为不一致的情况下报告错误,所以能够容易地进行发光体的信号发送功能的异常检测。

此外,也可以是,上述信息通信方法还包括:检验值计算步骤,根据存储在信号存储部中的发送对象的信号,按照预先设定的函数计算第1检验值;检验值判断步骤,判断存储在检验值存储部中的第2检验值与计算出的上述第1检验值是否一致;检验值错误报告步骤,在判断为上述第1检验值与上述第2检验值不一致的情况下,报告错误;在判断为上述第1检验值与上述第2检验值一致的情况下,在上述决定步骤中,通过将存储在上述信号存储部中的上述发送对象的信号调制来决定亮度变化的样式;在上述发送步骤中,通过上述多个发光体中的某1个发光体按照所决定的上述样式进行亮度变化,将存储在上述信号存储部中的上述发送对象的信号发送。

由此,判断存储在检验值存储部中的检验值与根据存储在信号存储部(id存储部)中的发送对象的信号计算出的检验值是否一致,在判断为不一致的情况下报告错误,所以能够容易地进行发光体的信号发送功能的异常检测。

此外,本实施方式的信息通信方法,是从被拍摄对象取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,以使得在通过上述图像传感器对上述被拍摄对象的摄影得到的图像中,根据上述被拍摄对象的亮度变化而产生与上述图像传感器中包含的多个曝光线对应的多个亮线;图像取得步骤,通过上述图像传感器将亮度变化的上述被拍摄对象在设定的上述曝光时间中摄影,取得包含上述多个亮线的亮线图像;信息取得步骤,通过将由在所取得的上述亮线图像中包含的上述多个亮线的样式确定的数据解调,取得信息;频率确定步骤,基于在所取得的上述亮线图像中包含的上述多个亮线的样式,确定上述被拍摄对象的亮度变化的频率。例如,在上述频率确定步骤中,确定在上述多个亮线的样式中包含的、作为为了分别表示头而预先设定的多个样式的多个头样式,将与上述多个头样式间的像素数对应的频率确定为上述被拍摄对象的亮度变化的频率。

由此,由于被拍摄对象的亮度变化的频率被确定,所以在将亮度变化的频率不同的多个被拍摄对象摄影的情况下,能够将来自这些被拍摄对象的信息容易地区别并取得。

此外,也可以是,在上述图像取得步骤中,通过将分别亮度变化的多个被拍摄对象摄影,取得包含分别由多个亮线表示的多个样式的上述亮线图像;在上述信息取得步骤中,在所取得的上述亮线图像中包含的上述多个样式的各自的一部分重叠的情况下,通过将由从上述多个样式的各自中除了上述一部分以外的部分确定的数据解调,从上述多个样式分别取得信息。

由此,由于从多个样式(多个亮线样式)重叠的部分不进行数据的解调,所以能够防止取得错误的信息。

此外,也可以是,在上述图像取得步骤中,通过将上述多个被拍摄对象在相互不同的定时摄影多次,取得多个亮线图像;在上述频率确定步骤中,按每个亮线图像,确定与该亮线图像中包含的上述多个样式分别对应的频率;在上述信息取得步骤中,从上述多个亮线图像中,检索被确定了相同的频率的多个样式,将检索出的上述多个样式结合,通过将由结合后的上述多个样式确定的数据解调,来取得信息。

由此,从多个亮线图像中检索被确定了相同的频率的多个样式(多个亮线样式),将检索出的多个样式结合,从结合后的多个样式取得信息,所以即使是多个被拍摄对象移动的情况,也能够将来自这些多个被拍摄对象的信息容易地区别并取得。

此外,也可以是,上述信息通信方法还包括:发送步骤,对于对识别信息分别登记了频率的服务器,发送在上述信息取得步骤中取得的信息中包含的上述被拍摄对象的识别信息、和表示在上述频率确定步骤中确定的频率的确定频率信息;关联信息取得步骤,从上述服务器取得与上述识别信息和由上述确定频率信息表示的频率建立了关联的关联信息。

由此,取得与基于被拍摄对象(发送机)的亮度变化取得的识别信息(id)和该亮度变化的频率建立了关联的关联信息。因而,通过将被拍摄对象的亮度变化的频率变更,将登记在服务器中的频率更新为变更后的频率,能够防止在频率的变更前取得了识别信息的接收机从服务器取得关联信息。即,通过匹配于被拍摄对象的亮度变化的频率的变更而将登记在服务器中的频率也变更,能够防止过去取得了被拍摄对象的识别信息的接收机无期限地成为能够从服务器取得关联信息的状态。

此外,也可以是,上述信息通信方法还包括:识别信息取得步骤,通过从在上述信息取得步骤中取得的上述信息中提取一部分,取得上述被拍摄对象的识别信息;设定频率确定步骤,将由在上述信息取得步骤中取得的上述信息中的上述一部分以外的其余的部分表示的数,确定为对于上述被拍摄对象设定的亮度变化的设定频率。

由此,能够在从多个亮线的样式得到的信息中不相互依存地包含被拍摄对象的识别信息、和对被拍摄对象设定的亮度变化的设定频率,所以能够提高识别信息和设定频率的自由度。

(实施方式5)

在本实施方式中,对使用了作为上述各实施方式的智能电话等接收机和作为led和/或有机el的闪烁样式而发送信息的发送机的各应用例进行说明。

(向人通知可见光通信)

图37是表示实施方式5的发送机的动作的一例的图。

发送机8921a的发光部如图37的(a)所示,反复进行人能够辨识的闪烁(即亮灭)和可见光通信。通过进行人能够辨识的闪烁,能向人通知能够可见光通信的情况。用户通过发送机8921a的闪烁,注意到能够可见光通信,将接收机8921b朝向发送机8921a而进行可见光通信,进行发送机8921b的用户登记。

即,本实施方式的发送机交替地反复进行发光体通过亮度变化来发送信号的步骤、和进行闪烁以使发光体能够被人的眼睛辨识的步骤。

发送机也可以如图37的(b)那样将可见光通信部和闪烁部分别设置。

发送机如图37的(c)那样动作,由此能够一边进行可见光通信,一边使人看到发光部正在闪烁。即,发送机交替地反复进行例如明亮度75%的高亮度可见光通信和明亮度1%的低亮度可见光通信。例如当在发送机中发生异常等而发送与通常不同的信号时,通过进行图37的(c)的动作,能够不停止可见光通信而向用户提起注意。

(对道路指引的应用例)

图38是表示实施方式5的发送接收系统的应用例的一例的图。

接收机8955a接收例如构成为指引板的发送机8955b的发送id,从服务器取得显示在指引板上的地图的数据并显示。此时,也可以是,服务器发送适合于接收机8955a的用户的广告,接收机8955a将该广告信息也进行显示。接收机8955a显示从当前地点到用户指定的场所的路径。

(对利用日志储存和解析的应用例)

图39是表示实施方式5的发送接收系统的应用例的一例的图。

接收机8957a接收例如构成为招牌的发送机8957b发送的id,从服务器取得优惠券信息并显示。接收机8957a向服务器8957c保存其后的用户的行动,例如将优惠券保存、移动到显示在优惠券上的店铺、或在该店铺进行了购物、没有将优惠券保存而离去等行动。由此,能够将从招牌8957b取得了信息的用户的其后的行动进行解析,能够估计招牌8957b的广告价值。

(对画面共享的应用例)

图40是表示实施方式5的收发系统的应用例的一例的图。

例如构成为投影仪或显示器的发送机8960b发送用于向自身无线连接的信息(ssid、无线连接用口令、ip地址、用来操作发送机的口令)。或者,发送作为用于对这些信息进行访问的关键字的id。例如构成为智能电话、平板电脑、笔记本电脑或摄像头的接收机8960a接收从发送机8960b发送的信号并取得上述信息,建立与发送机8960b的无线连接。该无线连接既可以经由路由器连接,也可以通过wi-fidirect、bluetooth或wirelesshomedigitalinterface等直接连接。接收机8960a发送在发送机8960b上显示的画面。由此,能够轻松地将接收机的图像显示到发送机上。

另外,发送机8960b当与接收机8960a连接时,为了画面显示,除了发送机发送的信息以外,也可以将需要口令之意向接收机8960a传送,在没有送来正确的口令的情况下不显示所发送的画面。此时,接收机8960a显示8960d那样的口令输入画面,供用户输入口令。

以上,基于实施方式对一个或者多个方式的信息通信方法进行了说明,但本发明不限定于该实施方式。只要不脱离本发明的主旨,本领域技术人员可以想到的各种变形施加于本实施方式而得到的技术和/或将不同的实施方式的构成要素组合而构筑的形态也可以包含于一个或者多个方式的范围内。

此外,如图41所示那样,也可以应用本发明的一方式的信息通信方法。

图41是表示实施方式5的发送接收系统的应用例的一例的图。

作为可见光通信的接收机而构成的摄像头以通常摄像模式进行摄像(步骤1)。通过该摄像,摄像头取得由例如exif(exchangeableimagefileformat)等格式构成的图像文件。接着,摄像头以可见光通信摄像模式进行摄像(步骤2)。摄像头基于通过该摄像而得到的图像中的亮线的样式,从作为被拍摄对象的发送机取得通过可见光通信而发送的信号(可见光通信信息)(步骤3)。然后,摄像头通过将该信号(接收信息)作为关键字而访问服务器,来从服务器取得与该关键字对应的信息(步骤4)。然后,摄像头将从被拍摄对象通过可见光通信而发送的信号(可见光接收数据)、从服务器取得的信息、表示由图像文件所示的图像中的作为被拍摄对象的发送机所显示的位置的数据以及表示接收到通过可见光通信而发送的信号的时刻(动画中的时刻)的数据等分别作为上述的图像文件中的元数据而保存。此外,摄像头在通过摄像而得到的图像(图像文件)中多个发送机作为被拍摄对象而显示的情况下,按每个发送机,将与该发送机对应的一些元数据保存于该图像文件。

作为可见光通信的发送机而构成的显示器或者投影仪在显示由上述图像文件所示的图像时,通过可见光通信来发送与该图像文件所包含的元数据相应的信号。例如,显示器或者投影仪可以通过可见光通信来发送元数据自身,也可以将与在图像中显示的发送机相关联的信号作为关键字而发送。

作为可见光通信的接收机而构成的便携终端(智能电话)通过对显示器或者投影仪的图像进行拍摄,来接收从显示器或者投影仪通过可见光通信而发送的信号。便携终端在该接收到的信号是上述关键字时,使用该关键字,从显示器、投影仪或者服务器取得与该关键字相关联的发送机的元数据。此外,便携终端在该接收到的信号是从实际的发送机通过可见光通信而发送的信号(可见光接收数据或者可见光通信信息)时,从显示器、投影仪或者服务器取得与该可见光受光数据或者可见光通信信息对应的信息。

(本实施方式等的总结)

本实施方式的信息通信方法,是从被拍摄对象取得信息的方法,包括:第1曝光时间设定步骤,设定图像传感器的第1曝光时间,以使得在通过上述图像传感器对作为上述被拍摄对象的第1被拍摄对象进行摄影而得到的图像中,根据上述第1被拍摄对象的亮度变化而产生与上述图像传感器中包含的各个曝光线对应的多个亮线;第1亮线图像取得步骤,通过上述图像传感器以所设定的上述第1曝光时间对亮度变化的上述第1被拍摄对象进行摄影,取得作为包含上述多个亮线的图像的第1亮线图像;第1信息取得步骤,通过对由所取得的上述第1亮线图像中包含的上述多个亮线的样式确定的数据进行解调,取得第1发送信息;以及门控制步骤,在取得了上述第1发送信息后,通过发送控制信号,使门的开闭驱动设备打开上述门。

由此,能够如门钥匙那样使用具有图像传感器的接收机,能够不需要特殊的电子锁。结果,能够在包括运算力较少的设备的多种多样的设备间进行通信。

此外,上述信息通信方法也可以包括:第2亮线图像取得步骤,通过上述图像传感器以所设定的上述第1曝光时间对亮度变化的第2被拍摄对象进行摄影,取得作为包含多个亮线的图像的第2亮线图像;第2信息取得步骤,通过对由所取得的上述第2亮线图像中包含的上述多个亮线的样式确定的数据进行解调,取得第2发送信息;以及接近判定步骤,基于所取得的上述第1及第2发送信息,判定具备上述图像传感器的接收装置是否接近了上述门,在上述门控制步骤中,当判定为上述接收装置接近了上述门时,发送上述控制信号。

由此,能够仅在接收装置(接收机)靠近了门时,即,仅在适当的定时打开该门。

此外,上述信息通信方法也可以包括:第2曝光时间设定步骤,设定比上述第1曝光时间长的第2曝光时间;以及通常图像取得步骤,通过上述图像传感器以所设定的上述第2曝光时间对第3被拍摄对象进行摄影,取得显示了上述第3被拍摄对象的通常图像,在上述通常图像取得步骤中,针对上述图像传感器的处于包含光学黑的区域中的多个曝光线,分别在从针对该曝光线的相邻的曝光线进行了电荷的读出的时刻起经过预定的时间后,进行电荷的读出;在上述第1亮线图像取得步骤中,不将上述光学黑用于电荷的读出,而是针对上述图像传感器中的处于上述光学黑以外的区域中的多个曝光线,分别在从针对该曝光线的相邻的曝光线进行了电荷的读出的时刻起经过比上述预定的时间长的时间后,进行电荷的读出。

由此,在取得了第1亮线图像时,由于不进行针对光学黑的电荷的读出(曝光),所以能够使针对图像传感器中的除了光学黑以外的区域即有效像素区域的电荷的读出(曝光)所花费的时间变长。结果,能够使在该有效像素区域中接收信号的时间变长,能够取得较多的信号。

此外,上述信息通信方法也可以还包括:长度判定步骤,判定上述第1亮线图像中包含的上述多个亮线的样式的、与该多个亮线分别垂直的方向的长度是否小于预先决定的长度;帧速率变更步骤,在判定为上述样式的长度小于上述预先决定的长度的情况下,将上述图像传感器的帧速率变更为比取得了上述第1亮线图像时的第1帧速率慢的第2帧速率;第3亮线图像取得步骤,通过上述图像传感器以上述第2帧速率且以所设定的上述第1曝光时间对亮度变化的上述第1被拍摄对象进行摄影,取得作为包含多个亮线的图像的第3亮线图像;以及第3信息取得步骤,通过对由所取得的上述第3亮线图像中包含的上述多个亮线的样式确定的数据进行解调,取得上述第1发送信息。

由此,由第1亮线图像中包含的亮线的样式(亮线区域)表示的信号长度小于所发送的信号的例如1个宏块的量的情况下,帧速率降低,亮线图像改为取得第3亮线图像。结果,能够使第3亮线图像中包含的亮线的样式的长度变长,能够取得一个宏块的量的所发送的信号。

此外,上述信息通信方法也可以还包括设定由上述图像传感器得到的图像的纵宽与横宽的比率的比率设定步骤;上述第1亮线图像取得步骤包括:裁剪判定步骤,判定是否根据所设定的上述比率裁剪上述图像中的与上述各曝光线垂直的方向的端部;比率变更步骤,当判定为上述端部被裁剪时,将在上述比率设定步骤中设定的上述比率变更为作为上述端部不被裁剪的比率的非裁剪比率;以及取得步骤,通过上述图像传感器对亮度变化的上述第1被拍摄对象进行摄影,取得上述非裁剪比率的上述第1亮线图像。

由此,在例如图像传感器的有效像素区域的横宽与纵宽的比率是4:3,图像的横宽与纵宽的比率设定为16:9,且呈现出亮线沿着水平方向的情况下,即,曝光线沿着水平方向的情况下,判定为上述图像的上端以及下端要被裁剪。即,判定为第1亮线图像的端部缺失。这种情况下,将该图像的比率变更为不被裁剪的比率即例如4:3。结果,能够防止第1亮线图像的端部的缺失,能够从第1亮线图像取得更多的信息。

此外,上述信息通信方法也可以还包括:压缩步骤,通过在与上述第1亮线图像中包含的上述多个亮线分别平行的方向上对上述第1亮线图像进行压缩,生成压缩图像;以及压缩图像发送步骤,发送上述压缩图像。

由此,能够适当压缩第1亮线图像,而不会缺失由多个亮线表示的信息。

此外,上述信息通信方法也可以还包括:手势判定步骤,判定具备上述图像传感器的接收装置是否被以预先决定的方式移动了;以及启动步骤,当判定为被以上述预先决定的方式移动了时,启动上述图像传感器。

由此,能够仅在需要时简单地启动图像传感器,能够提高耗电效率。

(实施方式6)

在本实施方式中,对使用上述各实施方式的智能电话等的接收机、和作为led或有机el的闪烁样式而发送信息的发送机的各应用例进行说明。

图42是表示实施方式6的发送机和接收机的应用例的图。

机器人8970例如具有作为自行式的清扫机的功能和作为上述各实施方式的接收机的功能。照明设备8971a、8971b具有分别作为上述各实施方式的发送机的功能。

例如,机器人8970一边在室内移动一边进行清扫,并将照明其室内的照明设备8971a进行摄影。该照明设备8971a通过亮度变化而发送照明设备8971a的id。结果,机器人8970与上述各实施方式同样,从照明设备8971a接收该id,基于该id推测自己的位置(自己位置)。即,机器人8970基于9轴传感器的检测结果、在通过摄影得到的图像中摄入的照明设备8971a的相对位置和通过id确定的照明设备8971a的绝对位置,一边移动一边推测自己位置。

进而,机器人8970如果由于移动而从照明设备8971a离开,则对照明设备8971a发送命令灭灯的信号(灭灯命令)。例如,机器人8970如果从照明设备8971a离开了预先设定的距离则发送灭灯命令。或者,机器人8970当在通过摄影得到的图像中没有摄入该照明设备8971a时,或者如果其它照明设备摄入在该图像中,将灭灯命令向照明设备8971a发送。照明设备8971a如果从机器人8970接收到灭灯命令,则根据该灭灯命令而灭灯。

接着,机器人8970在移动而进行清扫的中途,基于推测出的自己位置,检测接近于照明设备8971b的情况。即,机器人8970保持表示照明设备8971b的位置的信息,当自己位置与该照明设备8971b的位置之间的距离成为预先设定的距离以下时,检测出接近于照明设备8971b的情况。并且,机器人8970对该照明设备8971b发送命令点灯的信号(点灯命令)。照明设备8971b如果接受到点灯命令,则根据该点灯命令而点灯。

由此,机器人8970一边移动一边仅使自己的周围变亮,能够容易地进行清扫。

图43是表示实施方式6的发送机及接收机的应用例的图。

照明设备8974具有作为上述各实施方式的发送机的功能。该照明设备8974一边进行亮度变化一边对例如处于火车站中的路线公告板8975进行照明。由用户朝向了该路线公告板8975的接收机8973对该路线公告板8975进行摄影。由此,接收机8973取得该路线公告板8975的id,取得作为与该id建立了关联的信息、且关于记载在该路线公告板8975中的各路线的详细的信息。并且,接收机8973显示表示该详细的信息的导引图像8973a。例如,导引图像8973a表示到记载在路线公告板8975中的路线的距离、朝向该路线的方向、和在该路线中下一电车到达的时刻。

这里,接收机8973如果被用户接触该导引图像8973a,则显示补充导引图像8973b。该补充导引图像8973b例如是用来将铁路的时刻表、关于与由导引图像8973a表示的路线不同的别的路线的信息、以及关于该车站的详细的信息中的某个根据用户的选择操作而显示的图像。

(实施方式7)

在本实施方式中,对使用上述各实施方式的智能电话等的接收机和作为led和/或有机el的闪烁样式而发送信息的发送机的各应用例进行说明。

(多个受光部的从多个方向的信号的接收)

图44是表示实施方式7的接收机的一例的图。

例如构成为手表的接收机9020a具备多个接收部。例如,接收机9020a如图44所示,具备在支承手表的长针和短针的旋转轴的上端部配置的受光部9020b和在手表的周缘部的表示12点钟的文字附近配置的受光部9020c。受光部9020b接受沿着上述的旋转轴的方向朝向受光部9020b的光,受光部9020c接受沿着将该旋转轴和表示12点钟的文字连结的方向朝向受光部9020c的光。由此,在如用户确认时刻时那样将接收机9020a举到胸前时,受光部9020b能够接受来自上方向的光。结果,接收机9020a能够接收来自顶棚照明的信号。进而,在如用户确认时刻时那样将接收机9020a举到胸前时,受光部9020c能够接受来自正面方向的光。结果,接收机9020a能够接收来自处于正面的标牌等的信号。

通过这些受光部9020b和9020c具有指向性,即使在较近的位置有多个发送机的情况下也能够不串扰地接收信号。

(手表型显示器的道路指引)

图45是表示实施方式7的接收系统的一例的图。

例如构成为手表的接收机9023b经由bluetooth(注册商标)等的无线通信与智能电话9023a连接。接收机9023b的字符盘由液晶等的显示器构成,能够显示时刻以外的信息。智能电话9022a根据接收机9023b接收到的信号识别当前地,将到目的地的路径及距离显示到接收机9023b的显示面上。

图46是示出实施方式7的信号发送接收系统的一例的图。

信号发送接收系统具备作为多功能便携电话的智能电话(智能手机)、作为照明设备的led发光机、冰箱等家电设备以及服务器。led发光机进行使用btle(bluetooth(注册商标)lowenergy)的通信,并且进行使用led(lightemittingdiode)的可见光通信。例如,led发光机通过btle控制冰箱,与空调进行通信。此外,led发光机通过可见光通信来控制电灶、空气清洁剂或者电视机(tv)等的电源。

电视机例如具备太阳能发电元件,将该太阳能发电元件作为光传感器加以利用。即,在led发光机通过亮度变化来发送信号时,电视机根据由太阳能发电元件发出的电力的变化,来检测该led发光机的亮度变化。然后,电视机通过对由该检测出的亮度变化表示的信号进行解调,来取得从led发光机发送的信号。电视机在该信号为表示电源on的命令的情况下,将自己的主电源切换为on,在该信号为表示电源off的命令的情况下,将自己的主电源切换为off。

此外,服务器经由路由器和特定小功率无线站(特小)与空调进行通信。并且,空调能够经由btle与led发光机进行通信,所以服务器能够与led发光机进行通信。因此,服务器能够经由led发光机将tv的电源切换为on和off。此外,智能电话通过与服务器经由例如wi-fi(wirelessfidelity)等进行通信,能够经由服务器控制tv的电源。

如图46所示,本实施方式中的信息通信方法包括:无线通信步骤,便携终端(智能电话)通过与可见光通信不同的无线通信(btle或者wi-fi等)将控制信号(发送数据列或者用户指令)发送到照明设备(发光机);可见光通信步骤,照明设备通过根据该控制信号而发生亮度变化,进行可见光通信;以及执行步骤,控制对象设备(电灶等)检测该照明设备的亮度变化,通过对由检测到的亮度变化而确定的信号进行解调来取得控制信号,执行与该控制信号相应的处理。由此,便携终端即使不能进行用于可见光通信的亮度变化,也能够通过无线通信,取代便携终端而使照明设备发生亮度变化,能够适当地控制控制对象设备。此外,便携终端也可以不是智能电话而是手表。

(排除了干涉的接收)

图47是表示实施方式7的排除了干涉的接收方法的流程图。

首先,在步骤9001a中开始,在步骤9001b中确认在受光的光的强度中是否存在周期性变化,在“是”的情况下进入步骤9001c。在“否”的情况下进入步骤9001d,使受光部的透镜成为广角而接受大范围的光,返回步骤9001b。在步骤9001c中确认是否能够接收信号,在“是”的情况下进入步骤9001e,接收信号,在步骤9001g中结束。在“否”的情况下进入步骤9001f,使受光部的透镜成为望远,接受小范围的光,返回步骤9001c。

通过该方法,既能排除来自多个发送机的信号的干涉,又能接收来自处于较广的方向的发送机的信号。

(发送机的方位的推测)

图48是表示实施方式7中的发送机的方位的推测方法的流程图。

首先,在步骤9002a中开始,在步骤9002b中使受光部的透镜成为最大望远,在步骤9002c中确认接受的光的强度是否存在周期性变化,在“是”的情况下进入步骤9002d。在“否”的情况下进入步骤9002e,使受光部的透镜成为广角而接受大范围的光,返回步骤9002c。在步骤9002d中接收信号,在步骤9002f中使受光部的透镜成为最大望远,使受光方向以沿着受光范围的边界的方式变化,检测受光强度为最大的方向,推测为发送机处于该方向,在步骤9002d中结束。

通过该方法,能够推测发送机存在的方向。此外,也可以最初设为最大广角,逐渐设为望远。

(接收的开始)

图49是示出实施方式7的接收的开始方法的流程图。

首先,在步骤9003a中开始,在步骤9003b中确认是否接收到来自wi-fi、bluetooth(注册商标)或imes等基站的信号,在“是”的情况下,进入步骤9003c。在“否”的情况下返回步骤9003b。在步骤9003c中确认上述基站是否作为接收开始的触发事件而登记在接收机或服务器中,在“是”的情况下进入步骤9003d,开始信号的接收,在步骤9003e中结束。在“否”的情况下返回步骤9003b。

通过该方法,即使用户不进行接收开始的操作也能够开始接收。此外,与总是进行接收相比能够抑制消耗电力。

(并用其它媒体的信息的id的生成)

图50是表示实施方式7的并用其它媒体的信息的id的生成方法的流程图。

首先,在步骤9004a中开始,在步骤9004b中,将连接的载波通信网、wi-fi或bluetooth(注册商标)等的id或从上述id得到的位置信息或从gps等得到的位置信息向高位位id索引服务器发送。在步骤9004c中,从高位位id索引服务器接收可见光id的高位位,在步骤9004d中,接收来自发送机的信号作为可见光id的低位位。在步骤9004e中,将可见光id的高位位和低位位加在一起而向id解决服务器发送,在步骤9004f中结束。

通过该方法,能够得到在接收机的附近的场所共通地使用的高位位,能够使发送机发送的数据量变少。此外,能够提高接收机接收的速度。

另外,发送机也可以发送高位位和低位位双方。在该情况下,使用该方法的接收机能够在接收到低位位的时刻将id合成,不使用该方法的接收机从发送机接收id整体而得到id。

(基于频率分离的接收方式的选择)

图51是表示实施方式7的基于频率分离的接收方式的选择方法的流程图。

首先,在步骤9005a中开始,在步骤9005b中,将接收到的光信号施加给频率滤波电路,或进行离散傅立叶级数展开而进行频率分解。在步骤9005c中确认是否存在低频率成分,在“是”的情况下进入步骤9005d,将用频率调制等的低频率区域表现的信号解码,进入步骤9005e。在“否”的情况下进入步骤9005e。在步骤9005e中,确认上述基站是否作为接收开始的触发事件而登记在接收机或服务器中,在“是”的情况下进入步骤9005f,将用脉冲位置调制等的高频率区域表现的信号解码,进入步骤9005g。在“否”的情况下进入步骤9005g。在步骤9005g中开始信号的接收,在步骤9005h中结束。

通过该方法,能够接收用多个调制方式调制成的信号。

(曝光时间较长的情况下的信号接收)

图52是表示实施方式7的曝光时间较长的情况下的信号接收方法的流程图。

首先,在步骤9030a中开始,在步骤9030b中,在能够设定感光度的情况下将感光度设定为最高。在步骤9030c中,在能够设定曝光时间的情况下设定为比通常摄影模式短的时间。在步骤9030d中,对两张图像进行拍摄,求出亮度的差分。在对两张图像进行拍摄的期间中摄像部的位置或方向变化了的情况下,将该变化消除,生成如同从相同的位置方向摄像那样的图像,求出差分。在步骤9030e中,求出将差分图像或与摄像图像的曝光线平行的方向的亮度值平均后的值。在步骤9030f中,将上述平均后的值在与曝光线垂直的方向上排列而进行离散傅立叶变换,在步骤9030g中识别在预定的频率的附近是否有峰值,在步骤9030h中结束。

通过该方法,在不能设定曝光时间的情况或对通常图像同时进行拍摄的情况下等曝光时间较长的情况下,也能够接收信号。

在使曝光时间为自动设定的情况下,如果将摄像头朝向构成为照明的发送机,则通过自动曝光修正功能将曝光时间设定为60分之1秒到480分之1秒左右。在不能进行曝光时间的设定的情况下,以该条件接收信号。在实验中,在使照明周期性地闪烁的情况下,只要1周期的时间是曝光时间的约16分之1以上,就能够在与曝光线垂直的方向上辨识条纹,能够通过图像处理识别闪烁的周期。此时,由于拍摄有照明的部分亮度过高而难以确认条纹,所以优选的是根据照明光反射的部分求出信号的周期。

在使用如频率偏移调制方式或频率多路复用调制方式那样使发光部周期性地点亮、灭灯的方式的情况下,与使用脉冲位置调制方式的情况相比,即使是相同的调制频率,对人而言也不易辨识到闪变,此外,在由摄像机摄影的运动图像中也不易出现闪变。因此,能够将较低的频率作为调制频率使用。人的视觉的时间分辨能力是60hz左右,所以可以使用该频率以上的频率作为调制频率。

另外,当调制频率为接收机的摄像帧速率的整数倍时,由于两张图像的相同位置的像素在发送机的光样式相同的相位的时刻进行摄像,所以在差分图像中不会出现亮线,难以进行接收。接收机的摄像帧速率通常是30fps,所以如果调制频率设定为30hz的整数倍以外则容易进行接收。此外,由于接收机的摄像帧速率存在各种各样的值,所以通过将互质的两个调制频率分配给相同的信号,发送机将这两个调制频率交替使用来进行发送,接收机通过接收至少一个信号就能够容易地将信号复原。

图53是表示发送机的调光(调整明亮度)方法的一例的图。

通过调整亮度高的区间和亮度低的区间的比例,平均亮度变化,能够调整明亮度。此时,通过将使亮度的高低反复的周期t1保持为一定,能够将频率峰值保持为一定。例如,图53的(a)、(b)、(c)均为,变得比平均亮度亮的第1亮度变化与第2亮度变化之间的时间t1保持一定,同时在将发送机调光为暗时,缩短比平均亮度亮地照明的时间。另一方面,在将发送机调光为亮时,加长比平均亮度亮地照明的时间。图53的(b)、(c)被调光成比(a)暗,图53的(c)被调光成最暗。由此,能够一边发送具有同一意义的信号一边进行调光。

也可以通过使亮度高的区间的亮度或者亮度低的区间的亮度或者其双方的亮度的值变化,来使平均亮度变化。

图54是表示构成发送机的调光功能的方法的一例的图。

由于构成零件的精度存在极限,所以即使进行了相同调光设定,与其它的发送机相比明亮度也稍微地不同。但是,在将发送机排列地配置的情况下,若相邻的发送机的明亮度不同,则会感到不自然。于是,用户通过操作调光修正操作部,来调整发送机的明亮度。调光修正部保持修正值,调光控制部按照修正值控制发光部的明亮度。在用户操作调光操作部从而调光的程度变化了的情况下,调光控制部以变化后的调光设定值和保持于调光修正部的修正值为基础,控制发光部的明亮度。此外,调光控制部通过连动调光部向其它发送机传递调光设定值。在从其它设备通过连动调光部而传递了调光设定值的情况下,调光控制部以该调光设定值和保持于调光修正部的修正值为基础,控制发光部的明亮度。

根据本发明的一实施方式,也可以是控制通过使发光体亮度变化来发送信号的信息通信装置的控制方法,包括:决定步骤,通过使信息通信装置的计算机调制包含多个不同信号的发送对象的信号,来按不同的信号决定不同的频率的亮度变化的样式;和发送步骤,以在与单一频率相符的时间仅包含调制了单一信号的亮度变化的样式的方式,使发光体亮度变化,由此来发送发送对象的信号。

例如,在与单一频率相符的时间包含调制了多个信号的亮度变化的样式的情况下,随着时间经过,亮度变化的波形变得复杂,难以适当地接收。但是,通过以在与单一频率相符的时间仅包含调制了单一信号的亮度变化的样式的方式进行控制,能够在接收时更适当地进行接收。

根据本发明的一实施方式,也可以决定步骤中,在预定的时间内,以使得发送多个不同的信号中的一个信号的发送次数与发送其它信号的发送次数不同的方式决定发送次数。

通过使发送一个信号的发送次数与发送其它信号的发送次数不同,能够防止发送时的闪变。

根据本发明的一个实施方式,也可以在决定步骤中,在预定的时间内,使与高频率相符的信号的发送次数比其它信号的发送次数多。

在接收侧进行频率变换时,与高频率相符的信号虽然亮度变小,但通过使发送次数增多,能够加大进行频率变换时的亮度值。

根据本发明的一个实施方式,亮度变化的样式也可以是,随着时间经过的亮度变化的波形成为矩形波、三角波、锯齿波的任一个的样式。

通过设为矩形波等,能够更适当地进行接收。

根据本发明的一个实施方式,也可以在加大发光体的平均亮度的值的情况下,在与单一频率相符的时间内,将发光体的亮度成为比预定的值大的时间设为比使所述发光体的平均亮度的值变小的情况长。

通过在与单一频率相符的时间内,调整发光体的亮度变得比预定的值大的时间,能够发送信号且调整发光体的平均亮度。例如,在使用发光体作为照明的情况下,能够一边将整体的明亮度设为暗或者设为亮,一边发送信号。

接收机通过利用设定曝光时间的api(应用程序编程接口的省略,指用于利用os的功能的手段),能够将曝光时间设定为预定的值,能够稳定地接收可见光信号。此外,接收机通过利用设定感光度的api,能够将感光度设定为预定的值,即使在发送信号的明亮度暗的情况或亮的情况下也能够稳定地接收可见光信号。

(实施方式8)

在本实施方式中,对于使用上述各实施方式中的智能电话等接收机和作为led和/或有机el的闪烁样式发送信息的发送机的各应用例进行说明。

此处,对于ex变焦进行说明。

图55是用来说明ex变焦的图。

变焦、即得到大的像的方法中,存在调整透镜的焦点距离来使映在摄像元件的像的大小变化的光学变焦、以数字处理插补映在摄像元件的像来得到大的像的数字变焦、以及通过变更使用于摄像的多个摄像元件来得到大的像的ex变焦。ex变焦能够利用于与摄像图像的分辨率相比包含于图像传感器的摄像元件的数量多的情况。

例如,在图55所示的图像传感器10080a中,32×24个摄像元件排列成矩阵状。即,摄像元件配置成横32个、纵24个。通过该图像传感器10080a的摄像,在得到横16×纵12的分辨率的图像的情况下,如图55的(a)所示,图像传感器10080a所包含的32×24个的摄像元件中,只有在图像传感器10080a中整体均匀地分散配置的16×12个摄像元件(例如,图55的(a)中的图像传感器1080a中由黑色方形表示的摄像元件)用于摄像。即,在纵方向和横方向分别排列的多个摄像元件中仅第奇数个或者第偶数个的摄像元件用于摄像。由此,可得到期望的分辨率的图像10080b。另外,在图55中,图像传感器1008a中显示了被拍摄对象,但这是为了使得各摄像元件和通过摄像而得到的图像的对应关系容易理解。

具备该图像传感器10080a的接收机在通过拍摄大的范围来探索发送机或者接收来自多个发送机的信息的情况下,仅使用图像传感器10080a中整体均匀地分散配置的一部分的摄像元件来进行摄像。

此外,接收机在进行ex变焦时,如图55的(b)所示,仅将在图像传感器10080a中局部紧密地配置的一部分的摄像元件(例如,图55的(b)中的图像传感器1080a中由黑色方形表示的16×12个的摄像元件)用于摄像。由此,图像10080b中与该一部分的摄像元件对应的部分被进行变焦,来得到图像10080d。通过这样的ex变焦,将发送机拍摄得较大,由此变得能够长时间接收可见光信号,接收速度提高,此外能够从远处接收可见光信号。

在数字变焦中,不能增加接受可见光信号的曝光线的数量,可见光信号的接收时间也不会增加,所以尽可能使用其它变焦比较好。光学变焦需要透镜和/或图像传感器的物理性的移动时间,而ex变焦仅进行电子设定变更,所以具有变焦所花费的时间短这一优点。从该观点来看,各变焦的优先顺序是(1)ex变焦、(2)光学变焦、(3)数字变焦。接收机也可以根据该优先顺序和变焦倍率的必要性,来选择并使用某一个或者多个变焦。此外,在图55的(a)和(b)所示的摄像方法中,通过使用没有使用的摄像元件,能够抑制图像噪声。

(实施方式9)

在本实施方式中,对于使用上述各实施方式中的智能电话等的接收机和作为led和/或有机el的闪烁样式发送信息的发送机的各应用例进行说明。

在本实施方式中,按每个曝光线或者每个摄像元件来设定曝光时间。

图56、图57、图58是表示实施方式9的信号接收方法的一例的图。

如图56所示,在作为接收机所具备的摄像部的图像传感器10010a中,按每个曝光线设定曝光时间。即,对预定的曝光线(图56中白色的曝光线)设定通常摄像用的长的曝光时间,对其它曝光线(图56中黑色的曝光线),设定可见光摄像用的短的曝光时间。例如,针对在垂直方向排列的各曝光线,交替设定长的曝光时间和短的曝光时间。由此,在通过亮度变化来拍摄发送可见光信号的发送机时,能够几乎同时进行通常摄像和可见光摄像(可见光通信)。另外,两个曝光时间可以按每1行交替地设定,也可以按每数行进行设定,还可以在图像传感器10010a的上部与下部分别设定曝光时间。通过这样使用2个曝光时间,分别汇集通过被设定成相同曝光时间的多个曝光线的摄像而得到的数据,可得到通常摄像图像10010b和表示多个亮线的样式的亮线图像即可见光摄像图像10010c。通常,在摄像图像10010b中,因为缺少没有以长的曝光时间摄像的部分(即,与被设定为短的曝光时间的多个曝光线对应的图像),所以通过插补该部分,能够显示预览图像10010d。此处,能够在预览图像10010d中叠加根据可见光通信而得到的信息。该信息是与通过对可见光摄像图像10010c所包含的多个亮线的样式进行解码而得到的可见光信号相关联的信息。另外,接收机也可以将通常摄像图像10010b或者对该通常摄像图像10010b进行了插补的图像保存为摄像图像,将接收到的可见光信号或者与该可见光信号相关联的信息作为附加信息,附加于保存的摄像图像。

如图57所示,也可以取代图像传感器10010a而使用图像传感器10011a。在图像传感器1011a中,不是按每个曝光线,而是按每个包括沿着与曝光线垂直的方向排列的多个摄像元件的列(以下,称作垂直行),设定曝光时间。即,对预定的垂直行(图57中白色的垂直行)设定通常摄像用的长的曝光时间,对其它垂直行(图57中黑色的垂直行)设定可见光摄像用的短的曝光时间。在该情况下,在图像传感器10011a中,与图像传感器10010a同样,在按每个曝光线而彼此不同的定时开始曝光,但在各曝光线中,该曝光线所包含的各摄像元件的曝光时间不同。接收机通过该图像传感器10011a的摄像,来得到通常摄像图像10011b和可见光摄像图像10011c。进而,接收机基于该通常摄像图像10011b和与从可见光摄像图像10011c得到的可见光信号相关联的信息,生成并显示预览图像10011d。

在该图像传感器10011a中,与图像传感器10010a不同,能够对可见光摄像使用所有曝光线。结果,在通过图像传感器10011a得到的可见光摄像图像10011c中,包含比可见光摄像图像10010c多的亮线,所以能够提高可见光信号的接收精度。

此外,如图58所示,也可以取代图像传感器10010a而使用图像传感器10012a。在图像传感器10012a中,以沿水平方向和垂直方向对各摄像元件不连续设定相同曝光时间的方式,按每个摄像元件设定曝光时间。即,以设定长的曝光时间的多个摄像元件和设定短的曝光时间的多个摄像元件分布为格子状或者相间方格图案那样的方式,对各摄像元件设定曝光时间。在该情况下,也与图像传感器10010a同样,在按每个曝光线彼此不同的定时开始曝光,但在各曝光线中该曝光线所包含的各摄像元件的曝光时间不同。接收机通过该图像传感器10012a的摄像,来得到通常摄像图像10012b和可见光摄像图像10012c。进而,接收机基于该通常摄像图像10012b和与从可见光摄像图像10012c得到的可见光信号相关联的信息,生成并显示预览图像10012d。

通过图像传感器10012a而得到的通常摄像图像10012b持有配置成格子状或者均匀配置的多个摄像元件的数据,所以能够与通常摄像图像10010b和通常摄像图像10011b相比更准确地进行插补和/或调节。此外,可见光摄像图像10012c通过使用图像传感器10012a的所有曝光线的摄像而生成。即,在该图像传感器10012a中,与图像传感器10010a不同,能够在可见光摄像中使用所有曝光线。结果,通过图像传感器10012a而得到的可见光摄像图像10012c中,与可见光摄像图像10011c同样地,与可见光摄像图像10010c相比包含更多亮线,所以能够高精度地进行可见光信号的接收。

此处,对预览图像的交叉显示进行说明。

图59是表示实施方式9的接收机的画面显示方法的一例的图。

具备上述的图56所示的图像传感器10010a的接收机每隔预定的时间将对第奇数个曝光线(以下,称作奇数行)设定的曝光时间与对第偶数个曝光线(以下,称作偶数行)设定的曝光时间调换。例如,如图59所示,接收机在时刻t1,对奇数行的各摄像元件设定长的曝光时间,对偶数行的各摄像元件设定短的曝光时间,进行使用这些设定的曝光时间的摄像。进而,接收机在时刻t2,对奇数行的各摄像元件设定短的曝光时间,对偶数行的各摄像元件设定长的曝光时间,进行使用这些设定的曝光时间的摄像。然后,接收机在时刻t3,进行使用与时刻t1时同样地设定的各曝光时间的摄像,在时刻t4,进行使用与时刻t2时同样地被设定的各曝光时间的摄像。

此外,接收机在时刻t1,取得包含通过摄像而从多个奇数行分别得到的图像(以下,称作奇数行像)和通过摄像而从多个偶数行分别得到的图像(以下,称作偶数行像)的image1。此时,在多个偶数行的各个中,曝光时间短,所以在偶数行像的各个中,被拍摄对象没有被鲜明地显示。因此,接收机通过对多个奇数行像进行像素值的插补,生成多个插补行像。然后,接收机取代多个偶数行像而显示包含多个插补行像的预览图像。即,预览图像中,交替排列有奇数行像和插补行像。

接收机在时刻t2,取得包含通过摄像而得到的多个奇数行像和偶数行像的image2。此时,在多个奇数行的各个中,曝光时间短,所以在奇数行像的各个中,被拍摄对象没有被鲜明地显示。因此,接收机取代image2的奇数行像,而显示包含image1的奇数行像的预览图像。即,预览图像中,交替排列有image1的奇数行像和image2的偶数行像。

进而,接收机在时刻t3,通过摄像取得包含多个奇数行像和偶数行像的image3。此时,与时刻t1时同样,在多个偶数行的各个中,曝光时间短,所以在偶数行像的各个中,被拍摄对象没有被鲜明地显示。因此,接收机取代image3的偶数行像,而显示包含image2的偶数行像的预览图像。即,预览图像中,交替排列有image2的偶数行像和image3的奇数行像。然后,接收机在时刻t4,通过摄像取得包含多个奇数行像和偶数行像的image4。此时,与时刻t2时同样,在多个奇数行的各个中,曝光时间短,所以在奇数行像的各个中,被拍摄对象没有被鲜明地显示。因此,接收机取代image4的奇数行像,而显示包含image3的奇数行像的预览图像。即,预览图像中交替排列有image3的奇数行像和image4的偶数行像。

这样,接收机进行显示包含所取得的定时互不相同的偶数行像和奇数行像的image的所谓的交叉显示。

这样的接收机能够一边进行可见光摄像一边显示精细的预览图像。此外,设定相同曝光时间的多个摄像元件可以是图像传感器10010a那样沿着与曝光线水平的方向排列的多个摄像元件,也可以是图像传感器10011a那样沿着与曝光线垂直的方向排列的多个摄像元件,还可以是图像传感器10012a那样呈相间方格图案排列的多个摄像元件。此外,接收机也可以将预览图像保存为摄像数据。

接着,对通常摄像和可见光摄像的空间比率进行说明。

图60是表示实施方式9的信号接收方法的一例的图。

在接收机所具备的图像传感器10014b中,与上述的图像传感器10010a同样,按每个曝光线设定长的曝光时间或者短的曝光时间。在该图像传感器10014b中,设定长的曝光时间的摄像元件的数量和设定短的曝光时间的摄像元件的数量的比是1:1。另外,该比是通常摄像与可见光摄像的比,以下,称作空间比率。

但是,在本实施方式中,其空间比率不需要是1:1。例如,接收机也可以具备图像传感器10014a。在该图像传感器10014a中,短的曝光时间的摄像元件比长的曝光时间的摄像元件多,空间比率是1:n(n>1)。此外,接收机也可以具备图像传感器10014c。在该图像传感器10014c中,短的曝光时间的摄像元件比长的曝光时间的摄像元件少,空间比率是n(n>1):1。此外,接收机也可以取代图像传感器10014a~10014c,而具备按上述的垂直行设定曝光时间,分别具有1:n、1:1或者n:1的空间比率的图像传感器10015a~10015c中的任一个。

在这样的图像传感器10014a、10015a中,短的曝光时间的摄像元件多,所以能够提高可见光信号的接收精度或者接收速度。另一方面,在图像传感器10014c、10015c中,长的曝光时间的摄像元件多,所以能够显示精细的预览图像。

此外,接收机也可以使用图像传感器10014a、10014c、10015a、10015c,如图59所示,进行交叉显示。

接着,对通常摄像和可见光摄像的时间比率进行说明。

图61是表示实施方式9的信号接收方法的一例的图。

接收机也可以如图61的(a)所示,按每个帧将摄像模式切换为通常摄像模式和可见光摄像模式。通常摄像模式是对接收机的图像传感器的所有摄像元件设定通常摄像用的长的曝光时间的摄像模式。可见光摄像模式是对接收机的图像传感器的所有摄像元件设定可见光摄像用的短的曝光时间的摄像模式。这样,通过切换曝光时间的长/短,既能通过短的曝光时间的摄像接收可见光信号,又能通过长的曝光时间的摄像来显示预览图像。

另外,接收机也可以在通过自动曝光决定长的曝光时间的情况下,无视通过短的曝光时间的摄像而得到的图像,仅以通过长的曝光时间的摄像而得到的图像的明亮度为基准而进行自动曝光。由此,能够将长的曝光时间决定为适当的时间。

此外,接收机也可以如图61的(b)所示,按每个具有多帧的组将摄像模式切换为通常摄像模式和可见光摄像模式。在曝光时间的切换花费时间的情况和/或到曝光时间稳定为止花费时间的情况下,如图61的(b)所示,通过按每个具有多帧的组使曝光时间变化,能够使可见光摄像(可见光信号的接收)和通常摄像同时成立。此外,组所包含的帧的数量越多,则曝光时间的切换的次数越少,所以能够抑制接收机的电力消耗和发热。

此处,通过以通常摄像模式下的长的曝光时间的摄像而连续生成的至少1个帧的数量和通过以可见光摄像模式下的短的曝光时间的摄像而连续生成的至少1个帧的数量的比(以下,称作时间比率)也可以不是1:1。即,在图61的(a)和(b)所示的情况下,时间比率是1:1,但其时间比率也可以不是1:1。

例如,接收机也可以如图61的(c)所示,将可见光摄像模式的帧设为比通常摄像模式的帧多。由此,能够使可见光信号的接收速度变快。若预览图像的帧速率为预定的速率以上,则由帧速率引起的预览图像的不同不会被人的眼识别。在摄像的帧速率充分高的情况,例如其帧速率为120fps的情况下,接收机对连续的3帧设定可见光摄像模式,对接下来的1帧设定可见光摄像模式。由此,接收机能够一边以比上述的预定的速率足够高的30fps的帧速率显示预览图像,一边高速地接收可见光信号。此外,因为切换的次数变少,所以还可得到图61的(b)所说明的效果。

此外,接收机也可以如图61的(d)所示,将通常摄像模式的帧设为比可见光摄像模式的帧多。这样,通过使通常摄像模式的帧即通过以长的曝光时间的摄像而得到的帧变多,能够平顺地显示预览图像。此外,因为进行可见光信号的接收处理的次数减少,所以具有省电力效果。此外,因为切换的次数变少,所以还可得到图61的(b)所说明的效果。

此外,接收机如图61的(e)所示,首先与图61的(a)所示的情况同样,按每个帧切换摄像模式,接着,当可见光信号的接收完成时,也可以与图61的(d)所示的情况同样,使通常摄像模式的帧变多。由此,在可见光信号的接收完成后,既能平顺地显示预览图像,又能继续是否存在新的可见光信号的探索。此外,因为切换的次数少,所以还可得到图61的(b)所说明的效果。

图62是表示实施方式9的信号接收方法的一例的流程图。

接收机开始接收可见光信号的处理即可见光接收(步骤s10017a),将曝光时间长短设定比设定为用户所指定的值(步骤s10017b)。曝光时间长短设定比是上述的空间比率与时间比率中的至少一个。用户可以仅指定空间比率、仅指定时间比率或者指定该空间比率和时间比率的双方的值,接收机也可以与用户的指定无关地自动设定。

接着,接收机判定接收性能是否为预定的值以下(步骤s10017c)。若判定为预定的值以下(步骤s10017c的“是”),则接收机将短的曝光时间的比率设定得高(步骤s10017d)。由此,能够提高接收性能。此外,短的曝光时间的比率在空间比率的情况下是设定短的曝光时间的摄像元件的数量相对于设定长的曝光时间的摄像元件的数量的比率,在时间比率的情况下,是以可见光摄像模式连续生成的帧的数量相对于以通常摄像模式连续生成的帧的数量的比率。

接着,接收机接收可见光信号的至少一部分,判定是否对该接收到的可见光信号的至少一部分(以下,称作接收信号)设定了优先度(步骤s10017e)。另外,在设定有优先度的情况下,表示优先度的识别码包含于接收信号。接收机在判定为设定有优先度时(步骤s10017e的“是”),按照该优先度设定曝光时间长短比(步骤s10017f)。即,优先度越高,接收机将短的曝光时间的比率设定得越高。例如,通过构成为发送机的紧急灯发生亮度变化,来发出表示高的优先度的识别码。在该情况下,接收机通过提高短的曝光时间的比率来提升接收速度,能够快速地显示避难路径等。

接着,接收机判定可见光信号的所有接收是否已完成(步骤s10017g)。这里,在判定为没有完成时(步骤s10017g的“否”),接收机反复执行来自步骤s10017c的处理。另一方面,在判定为已完成时(步骤s10017g的“是”),接收机将长的曝光时间的比率设定得高,转移至省电力模式(步骤s10017h)。此外,长的曝光时间的比率在空间比率的情况下,是被设定长的曝光时间的摄像元件的数量相对于被设定短的曝光时间的摄像元件的数量的比率,在时间比率的情况下,是以通常摄像模式连续生成的帧的数量相对于以可见光摄像模式连续生成的帧的数量的比率。由此,能够不进行不必要的可见光接收,而平顺地显示预览图像。

接着,接收机判定是否发现了其它可见光信号(步骤s10017i)。此处,在判定为发现了时(步骤s10017i的“是”),接收机反复执行自步骤s10017b起的处理。

接着,对可见光摄像和通常摄像的同时执行进行说明。

图63是表示实施方式9的信号接收方法的一例的图。

接收机也可以对图像传感器设定2个以上的曝光时间。即,如图63的(a)所示,图像传感器所包含的曝光线的各个以所设定的2个以上的曝光时间中最长的曝光时间连续曝光。接收机按每个曝光线,在上述的所设定的2个以上的曝光时间分别经过了的时刻,读出通过该曝光线的曝光而得到的摄像数据。这里,接收机在经过最长的曝光时间之前,不重置所读出的摄像数据。因此,接收机能够通过预先记录所读出的摄像数据的累积值,仅以最长的曝光时间的曝光得到多个曝光时间下的摄像数据。另外,图像传感器可以进行摄像数据的累积值的记录,也可以不进行。在图像传感器不进行的情况下,从图像传感器读出数据的接收机的构成要素进行累积的计算,即摄像数据的累积值的记录。

例如,在设定了2个曝光时间的情况下,如图63的(a)所示,接收机读出通过短的曝光时间的曝光而生成的包含可见光信号的可见光摄像数据,接着读出通过长的曝光时间的曝光而生成的通常摄像数据。

由此,能够同时进行用于接收可见光信号的摄像即可见光摄像和通常摄像,能够一边接收可见光信号一边进行通常的摄像。此外,通过使用多个曝光时间的数据,能够识别采用定理以上的信号频率,能够进行高频信号和/或高密度调制信号的接收。

进而,接收机在输出摄像数据时,如图63(b)所示,输出包含该摄像数据作为摄像数据主体的数据列。即,接收机通过将包含表示摄像模式(可见光摄像或者通常摄像)的摄像模式识别码、用于确定摄像元件或者摄像元件所属的曝光线的摄像元件识别码、表示摄像数据主体是第几个曝光时间的摄像数据的摄像数据号码以及表示摄像数据主体的大小的摄像数据长在内的附加信息附加于摄像数据主体,来生成并输出上述的数据列。在使用图63的(a)来说明的摄像数据的读出方法中,各个摄像数据不限于按曝光线的顺序输出。于是,通过附加图63的(b)所示的附加信息,能够确定摄像数据是哪个曝光线的摄像数据。

图64是表示实施方式9的接收程序的处理的流程图。

该接收程序是使接收机所具备的计算机执行例如图56~图63所示的处理执行的程序。

即,该接收程序是用于从发生亮度变化的发光体接收信息的接收程序。具体而言,该接收程序使计算机执行步骤sa31、步骤sa32和步骤sa33。在步骤sa31中,对图像传感器所包含的k个(k为4以上的整数)摄像元件中的一部分的多个摄像元件设定第1曝光时间,对k个摄像元件中剩余的多个摄像元件设定比第1曝光时间短的第2曝光时间。在步骤sa32中,通过以所设定的第1曝光时间和第2曝光时间使图像传感器拍摄作为发生亮度变化的发光体的被拍摄对象,取得与来自被设定第1曝光时间的多个摄像元件的输出相应的通常图像,并且取得与来自被设定第2曝光时间的多个摄像元件的输出相应的、包含与图像传感器所包含的多个曝光线分别对应的亮线的图像即亮线图像。在步骤sa33中,通过对所取得的亮线图像所包含的多个亮线的样式进行解码来取得信息。

由此,因为通过被设定第1曝光时间的多个摄像元件和被设定第2曝光时间的多个摄像元件来进行摄像,所以能够在图像传感器的1次摄像中,取得通常图像和亮线图像。即,能够同时进行通常图像的摄像和可见光通信的信息的取得。

此外,在曝光时间设定步骤sa31中,可以对图像传感器所包含的l个(l为4以上的整数)摄像元件列中一部分的多个摄像元件列设定第1曝光时间,对l个摄像元件列中剩余的多个摄像元件列设定第2曝光时间。这里,l个摄像元件列分别包括图像传感器所包含的排列成一列的多个摄像元件。

由此,能够不对作为小单位的摄像元件分别单独设定曝光时间,而按每个作为大单位的摄像元件列设定曝光时间,减轻处理负担。

例如,l个摄像元件列分别如图56所示,是图像传感器所包含的曝光线。或者,l个摄像元件列分别如图57所示,包括沿着与图像传感器所包含的曝光线垂直的方向排列的多个摄像元件。

此外,如图59所示,在曝光时间设定步骤sa31中,可以对图像传感器所包含的l个摄像元件列中处于第奇数列的摄像元件列分别设定作为相同曝光时间的第1曝光时间和第2曝光时间中的另一方面,对l个摄像元件列中处于第偶数列的摄像元件列分别设定作为相同曝光时间的第1曝光时间和第2曝光时间中的另一方。然后,在反复进行曝光时间设定步骤sa31、图像取得步骤sa32和信息取得步骤sa33的情况下,在反复进行的曝光时间设定步骤sa31中,将在前一曝光时间设定步骤sa31中对第奇数列的摄像元件列分别设定的曝光时间与对第偶数列的摄像元件列分别设定的曝光时间调换。

由此,每当进行通常图像的取得时,能够将用于该取得的多个摄像元件列切换成第奇数列的多个摄像元件列和第偶数列的多个摄像元件列。结果,能够通过交叉来分别显示依次取得的通常图像。此外,通过相互补充连续取得的2个通常图像,能够生成包含第奇数列的多个摄像元件列的图像和第偶数列的多个摄像元件列的图像的新的通常图像。

此外,如图60所示,在曝光时间设定步骤sa31中,也可以将设定模式切换为通常优先模式和可见光优先模式,在被切换为通常优先模式的情况下,使被设定第1曝光时间的摄像元件的数量比被设定第2曝光时间的摄像元件的数量多。此外,在被切换为可见光优先模式的情况下,可以使被设定第1曝光时间的摄像元件的数量比被设定第2曝光时间的摄像元件的数量少。

由此,在设定模式被切换为通常优先模式的情况下,能够提高通常图像的画质,在被切换为可见光优先模式的情况下,能够提高来自发光体的信息的接收效率。

此外,也可以如图58所示那样,在曝光时间设定步骤sa31中,以被设定第1曝光时间的多个摄像元件和被设定第2曝光时间的多个摄像元件分布为相间方格图案(checkeredpattern)那样的方式按图像传感器所包含的每个摄像元件设定该摄像元件的曝光时间。

由此,因为被设定第1曝光时间的多个摄像元件和被设定第2曝光时间的多个摄像元件分别均匀地分布,所以能够取得在水平方向和垂直方向上无画质的偏倚的通常图像和亮线图像。

图65是实施方式9的接收装置的框图。

该接收装置a30是执行例如图56~图63所示的处理的上述的接收机。

即,该接收装置a30是从发生亮度变化的发光体接收信息的接收装置,具备多个曝光时间设定部a31、摄像部a32以及解码部a33。多个曝光时间设定部a31对图像传感器所包含的k个(k为4以上的整数)摄像元件中一部分的多个摄像元件设定第1曝光时间,对k个摄像元件中剩余的多个摄像元件设定比第1曝光时间短的第2曝光时间。摄像部a32通过以所设定的第1曝光时间和第2曝光时间使图像传感器拍摄作为发生亮度变化的发光体的被拍摄对象,来取得与来自被设定第1曝光时间的多个摄像元件的输出相应的通常图像,并且取得与来自被设定第2曝光时间的多个摄像元件的输出相应的、包含与图像传感器所包含的多个曝光线分别对应的亮线的图像即亮线图像。解码部a33通过对所取得的亮线图像所包含的多个亮线的样式进行解码来取得信息。在这样的接收装置a30中,能够起到与上述的接收程序同样的效果。

接着,对与所接收到的可见光信号相关的内容的显示进行说明。

图66和图67是示出接收到可见光信号时的接收机的显示的一例的图。

如图66的(a)所示,接收机在拍摄发送机10020d时,显示映出了该发送机10020d的图像10020a。进而,接收机通过对图像10020a叠加对象10020e,来生成并显示图像10020b。对象10020e是表示存在该发送机10020d的像的场所和接收到来自该发送机10020d的可见光信号的图像。对象10020e也可以是根据可见光信号的接收状态(接收中的状态、探索发送机的状态、进行接收的程度、接收速度或者错误率等)而不同的图像。例如,接收机使对象1020e的颜色、线的粗细、线的种类(单线、双重线或者虚线等)或者虚线的间隔等变化。由此,能够使用户识别接收状态。接着,接收机通过将表示取得数据的内容的图像作为取得数据图像10020f而叠加于图像10020a,来生成并显示图像10020c。取得数据是接收到的可见光信号或者与由接收到的可见光信号所表示的id相关联的数据。

接收机在显示该取得数据图像10020f时,如图66的(a)所示那样,如来自发送机10020d的对白框那样显示取得数据图像10020f,或者在发送机10020d的附近显示取得数据图像10020f。此外,接收机也可以如图66的(b)所示那样,以取得数据图像10020f从发送机10020d逐渐向接收机侧靠近的方式显示该取得数据图像10020f。由此,能够使用户识别出取得数据图像10020f是基于从哪个发送机接收到的可见光信号的图像。此外,接收机也可以如图67所示,以取得数据图像10020f从接收机的显示器的端部逐渐出现的方式,显示该取得数据图像10020f。由此,能够使用户容易地认识到在此时取得了可见光信号。

接着,对ar(augmentedreality)进行说明。

图68是表示取得数据图像10020f的显示的一例的图。

接收机在显示器内发送机的像移动了的情况下,使取得数据图像10020f与发送机的像的移动相应地移动。由此,能够使用户认识到取得数据图像10020f与该发送机相对应。此外,接收机也可以使取得数据图像10020f不与该发送机的像而是与其它东西相关联地显示。由此,能够进行ar显示。

接着,对取得数据的保存和丢弃进行说明。

图69是表示保存或者丢弃取得数据的情况下的操作的一例的图。

例如,接收机在如图69的(a)所示那样,由用户对取得数据图像10020f进行向下侧的滑动时,保存由该取得数据图像10020f表示的取得数据。接收机将保存的表示取得数据的取得数据图像10020f配置在其它已经保存的1个或者多个表示取得数据的取得数据图像的顶端或末端。由此,能够使用户识别由取得数据图像10020f表示的取得数据是最后保存的取得数据。例如,接收机如图69的(a)所示那样,将取得数据图像10020f配置成在多个取得数据图像中最靠跟前。

此外,接收机在如图69的(b)所示那样,由用户对取得数据图像10020f进行向右侧的滑动时,丢弃由该取得数据图像10020f表示的取得数据。或者,接收机也可以在通过用户移动接收机来使发送机的像从显示器退出(frameout)时,丢弃由取得数据图像10020f表示的取得数据。另外,滑动的方向是上下左右的哪一个都可以得到与上述同样的效果。接收机也可以显示与保存或者丢弃对应的滑动的方向。由此,能够使用户认识到能够通过该操作来进行保存或者丢弃。

接着,对取得数据的阅览进行说明。

图70是表示阅览取得数据时的显示例子的图。

接收机如图70的(a)所示,将所保存的多个取得数据的取得数据图像在显示器的下端重叠地较小地显示。此时,若用户点击显示的取得数据图像的一部分,则接收机如图70的(b)所示,将多个取得数据图像分别较大地显示。由此,仅在需要各取得数据的阅览时,将这些取得数据图像较大地显示,在非必要时,能够将显示器有效利用于其它显示。

若在图70的(b)所示的状态下,用户点击想要显示的取得数据图像,则接收机如图70的(c)所示那样,将该点击的取得数据图像更大地显示,在该取得数据图像中显示较多的信息。此外,若用户点击背面显示按钮10024a,则接收机显示取得数据图像的背面,显示与该取得数据相关联的其它的数据。

接着,对使事故位置推测时的手抖动修正关闭进行说明。

接收机通过使手抖动修正无效(关闭)或者与手抖动修正的修正方向和修正量对应地变换摄像图像,能够取得准确的摄像方向,准确地进行自身位置推测。另外,摄像图像是通过接收机的摄像部的摄像而得到的图像。此外,自身位置推测是接收机推测自身的位置。在自身位置推测中,具体而言,接收机基于所接收到的可见光信号来确定发送机的位置,基于映在摄像图像的发送机的大小、位置或者形状等,来确定接收机与发送机之间的相对的位置关系。然后,接收机基于发送机的位置、接收机与发送机之间的相对的位置关系,来推测接收机的位置。

此外,在图56等所示的仅使用一部分的曝光线来进行摄像的部分读出时,即进行图56等所示的摄像时,因接收机的稍稍的抖动,发送机就会退出。这样的情况下,接收机通过将手抖动修正设为有效,能够持续接收信号。

接着,对使用非对称形的发光部的自身位置推测进行说明。

图71是表示实施方式9的发送机的一例的图。

上述的发送机具备发光部,通过使该发光部发生亮度变化来发送可见光信号。在上述的自身位置推测中,接收机基于摄像图像中的发送机(具体而言发光部)的形状,作为接收机与发送机之间的相对的位置关系,求出接收机与发送机之间的相对角度。这里,例如在如图71所示那样,发送机具备旋转对称的形状的发光部10090a的情况下,不能如上述那样基于摄像图像中的发送机的形状,准确地求出发送机与接收机之间的相对角度。于是,优选发送机具备非旋转对称的形状的发光部。由此,接收机能够准确地求出上述的相对角度。即,由于在用于取得角度的方位传感器中计测结果的误差大,所以接收机通过使用由上述的方法求出的相对角度,能够进行准确的自身位置推测。

这里,发送机也可以如图71所示那样,具备非完全的旋转对称的形状的发光部10090b。该发光部10090b的形状虽然相对于90°的旋转是对称形状,但并非完全的旋转对称。在该情况下,接收机利用方位传感器求出大致的角度,进而通过使用摄像图像中的发送机的形状,能够唯一地限定接收机与发送机之间的相对角度,能够进行准确的自身位置推测。

此外,发送机也可以具备图71所示的发光部10090c。该发光部10090c的形状基本上是旋转对称的形状。但是,通过在该发光部10090c的一部分设置导光板等,使得发光部10090c的形状成为非旋转对称的形状。

此外,发送机也可以具备图71所示的发光部10090d。该发光部10090d具备分别旋转对称的形状的照明。但是,通过将它们组合配置而构成的发光部10090d的整体形状不是旋转对称的形状。因此,接收机能够通过拍摄该发送机,来进行准确的自身位置推测。此外,并非发光部10090d所包含的所有照明需要是为了发送可见光信号而发生亮度变化的可见光通信用的照明,也可以仅一部分的照明是可见光通信用的照明。

此外,发送机也可以具备图71所示的发光部10090e和物体10090f。这里,物体10090f是构成为与发光部10090e之间的位置关系不变化的物体(例如,火灾报知机和/或配管等)。因为发光部10090e与物体10090f的组合的形状不是旋转对称的形状,所以接收机能够通过拍摄发光部10090e和物体10090f,来准确地进行自身位置推测。

接着,对自身位置推测的时序处理进行说明。

接收机在每当摄像时,能够根据摄像图像中的发送机的位置和形状,进行自身位置推测。结果,接收机能够推测摄像中的接收机的移动方向和距离。此外,接收机通过进行使用多个帧或者图像的三角测量,能够进行更准确的自身位置推测。通过综合使用多个图像的推测结果和/或使用不同组合的多个图像的推测结果,接收机能够更准确地进行自身位置推测。此时,接收机通过将根据最近的摄像图像推测的结果比较看重地进行综合,能够更准确地进行自身位置推测。

接着,对光学黑体的跳过进行说明。

图72是表示实施方式9的接收方法的一例的图。另外,图72所示的表的横轴表示时刻,纵轴表示图像传感器内的各曝光线的位置。进而,该曲线图的实线箭头表示开始图像传感器内的各曝光线的曝光的时刻(曝光定时)。

接收机在通常摄像时,如图72的(a)所示那样,读出图像传感器的水平光学黑体的信号,但也可以如图72的(b)所示那样,跳过水平光学黑体的信号。由此,能够接收连续的可见光信号。

水平光学黑体是与曝光线水平方向的光学黑体。此外,垂直光学黑体是光学黑体中的水平光学黑体以外的部分。

接收机通过从光学黑体读出的信号来进行黑水平的调整,所以能够在可见光摄像开始时与通常摄像时同样地使用光学黑体,来调整黑水平。在能够利用垂直光学黑体的情况下,接收机通过仅使用垂直光学黑体来进行黑水平调整,能够进行连续接收和黑水平调整。在可见光摄像继续时,接收机也可以每隔预定的时间使用水平光学黑体来调整黑水平。接收机在交替进行通常摄像和可见光摄像的情况下,在连续进行可见光摄像时,跳过水平光学黑体的信号,在其以外时,读出水平光学黑体的信号。然后,接收机通过基于该读出的信号来进行黑水平的调整,能够连续地接收可见光信号,同时进行黑水平的调整。接收机也可以将可见光摄像图像的最暗的部分作为黑来进行黑水平的调整。

这样,通过将读出信号的光学黑体仅设为垂直光学黑体,能够进行连续的可见光信号的接收。此外,通过具备跳过水平光学黑体的信号的模式,能够在通常摄像时进行黑水平调整,在可见光摄像时根据需要进行连续通信。此外,通过跳过水平光学黑体的信号,开始曝光线间的曝光的定时的差变大,所以还能够接收来自仅被拍摄得较小的发送机的可见光信号。

接着,对表示发送机的种类的识别码进行说明。

发送机也可以将表示发送机的种类的发送机识别码附加于可见光信号而进行发送。在该情况下,接收机能够在接收到发送机识别码的时刻,进行与该发送机的种类相应的接收动作。例如,在发送机识别码表示数字标牌的情况下,发送机除了用于进行发送机的个体识别的发送机id之外,还将表示当前正在显示哪个内容的内容id作为可见光信号发送。接收机通过基于发送机识别码将这些id分开处理,能够显示与发送机当前显示的内容相符的信息。此外,例如,在发送机识别码表示数字标牌和/或紧急灯的情况下,接收机能够提高感光度而摄像,由此减低接收错误。

(实施方式10)

在本实施方式中,对使用上述各实施方式的智能电话等接收机和作为led和/或有机el的闪烁样式而发送信息的发送机的各应用例进行说明。

此处,对比较相同地址的数据部的接收方法进行说明。

图73是表示本实施方式的接收方法的一例的流程图。

接收机接收数据包(步骤s10101),进行错误订正(步骤s10102)。然后,接收机判定是否已经接收到与所接收的数据包的地址相同地址的数据包(步骤s10103)。这里,在判定为接收到了的情况下(步骤10103的“是”),接收机对这些数据进行比较。即,接收机判常数据部是否相等(步骤s10104)。这里,在判定为不相等的情况下(步骤s10104的“否”),接收机进一步判定多个数据部的差异是否为预定的数量以上,具体而言不同的位的数量或者亮度状态不同的时隙的数量是否为预定的数量以上(步骤s10105)。这里,若判定为预定的数量以上(步骤s10105的“否”),则接收机丢弃已经接收到的数据包(步骤s10106)。由此,在开始从其它发送机接收数据包时,能够避免与从以前的发送机接收到的数据包的串扰。另一方面,若判定为不是预定的数量以上(步骤s10105的“否”),则接收机将具有相等数据部的数据包最多的数据部的数据设为该地址的数据(步骤s10107)。或者,接收机将相等的位最多的位设为该地址的该位的值。或者,接收机将相等的亮度状态最多的亮度状态设为该地址的该时隙的亮度状态,对该地址的数据进行解调。

这样,在本实施方式中,接收机首先由多个亮线的样式,取得包含数据部以及地址部的第1数据包。接下来,接收机判定在第1数据包之前已经取得的至少1个数据包中是否存在至少1个作为包含与该第1数据包的地址部相同的地址部的数据包的第2数据包。接下来,接收机在判定为存在该至少1个第2数据包的情况下,判定该至少1个第2数据包与第1数据包的各自的数据部是否完全相等。在判定为各自的数据部不完全相等的情况下,接收机在该至少1个第2数据包的各个中,判定第2数据包的数据部所含的各部分中,与第1数据包的数据部所含的各部分不同的部分的数量是否存在预定的数量以上。这里,在该至少1个第2数据包中,存在被判定为不同的部分的数量存在预定的数量以上的第2数据包的情况下,接收机丢弃该至少1个第2数据包。另一方面,在该至少1个第2数据包中,不存在被判定为不同的部分的数量存在预定的数量以上的第2数据包的情况下,接收机确定第1数据包以及至少1个第2数据包中的、具有相同数据部的数据包的数量最多的多个数据包。并且,接收机通过对该多个数据包的各个所含的数据部进行解码来作为与第1数据包所含的地址部对应的数据部,从而取得可见光识别码(id)的至少一部分。

由此,在接收到具有同一地址部的多个数据包时,即便这些数据包的数据部不同,也能够对适当的数据部进行解码,能够正确地取得可见光识别码的至少一部分。即,具有从同一发送机发送的同一地址部的多个数据包,基本上具有同一数据部。但是,在接收机切换成为数据包的发送源的发送机的情况下,接收机有时会接收即便具有同一地址部也具有相互不同的数据部的多个数据包。在这样的情况下,在本实施方式中,如图73的步骤s10106所示,能够丢弃已经接收到的数据包(第2数据包),并解码最新的数据包(第1数据包)的数据部来作为与该地址部对应的正确的数据部。进而,即便在不存在上述那样的发送机的切换的情况下,与可见光信号的发送接收状况相应地,有时具有同一地址部的多个数据包的数据部略微不同。在这样的情况下,在本实施方式中,如图73的步骤s10107那样,能够通过所谓的多数决,对适当的数据部进行解码。

这里,对于从多个数据包解调数据部的数据的接收方法进行说明。

图74是表示本实施方式的接收方法的一例的流程图。

首先,接收机接收数据包(步骤s10111),进行地址部的错误订正(步骤s10112)。此时,接收机不进行数据部的解调,原样保持通过摄像得到的像素值。然后,接收机判定在已经接收到的多个数据包中,是否存在预定数量以上的相同地址的数据包(步骤s10113)。这里,若判定为存在(步骤s10113的“是”),则接收机与相当于具有相同地址的多个数据包的数据部的部分的像素值相匹配地进行解调处理(步骤s10114)。

这样,在本实施方式的接收方法中,根据多个亮线的样式,取得包含数据部以及地址部的第1数据包。并且,判定在第1数据包之前已经取得的至少1个数据包中是否存在预定数量以上的作为包含与第1数据包的地址部相同的地址部的数据包的第2数据包。在判定为存在该预定的数量以上的第2数据包的情况下,将与该预定数量以上的第2数据包的各个的数据部对应的亮线图像的一部分的区域的像素值和与第1数据包的数据部对应的亮线图像的一部分的区域的像素值相加。即,对像素值进行求和。通过该求和,算出合成像素值,通过对包含该合成像素值的数据部进行解码,取得可见光识别码(id)的至少一部分。

接收到多个数据包的定时分别不同,所以数据部的像素值成为反映了各自稍微不同的时刻的发送机的亮度的值。因此,如上述那样进行解调处理的部分会包含比单一数据包的数据部多的数据量(样本数)。由此,能够更准确地解调数据部。此外,通过样本数的增加,能够解调以更高的调制频率调制的信号。

数据部和其错误订正码部以比头部、地址部和地址部的错误订正码部更高的频率被调制。通过上述的解调方法,即使数据部以后以高的调制频率被调制也能够进行解调,所以根据该结构,能够缩短数据包整体的发送时间,即使从更远处,从更小的光源,也能够更快速地接收可见光信号。

接着,对接收可变长地址的数据的接收方法进行说明。

图75是表示本实施方式的接收方法的一例的流程图。

接收机接收数据包(步骤s10121),判定是否接收到数据部所有的位成为0的数据包(以下,称作0末端数据包)(步骤s10122)。这里,若判定为接收到了,即判定为存在0末端数据包(步骤s10122的“是”),则接收机判定该0末端数据包的地址以下的地址的数据包是否全部聚齐,即判定是否接收到了该0末端数据包的地址以下的所有的地址的数据包(步骤s10123)。另外,对于地址而言,针对通过对所发送的数据进行分割而生成的数据包的各个,按照这些数据包的发送顺序而被设为变大的值。接收机在判定为全部聚齐时(步骤s10123的“是”),判断为0末端数据包的地址是从发送机发送的数据包的最后的地址。然后,接收机通过将到0末端数据包为止的各地址的数据包的数据相关联,来复原数据(步骤s10124)。然后,接收机进行复原了的数据的错误检验(步骤s10125)。由此,在不知道被发送的数据被分割成几部分的情况下,即,地址不是固定长而是可变长的情况下,也能够发送接收可变长地址的数据,能够以高的效率发送接收比固定长地址的数据多的id。

这样,在本实施方式中,接收机根据多个亮线的样式,取得各自包含数据部以及地址部的多个数据包。并且,接收机判定所取得的多个数据包中,是否存在数据部所含的所有位(bit)表示0的数据包即0终端数据包。在判定为存在0终端数据包的情况下,接收机判定多个数据包中的、作为包含与该0终端数据包的地址部相关联的地址部的数据包的n个(n为1以上的整数)关联数据包是否全部存在。接着,接收机在判定为n个关联数据包全部存在的情况下,通过将n个关联数据包的各自的数据部排列并解码,来取得可见光识别码(id)。这里,与0终端数据包的地址部相关联的地址部,是表示比0终端数据包的地址部所示的地址小且0以上的地址的地址部。

接着,对使用比调制频率的周期长的曝光时间的接收方法进行说明。

图76和图77是用于对本实施方式的接收机使用比调制频率的周期(调制周期)长的曝光时间的接收方法进行说明的图。

例如如图76的(a)所示那样,若曝光时间被设定为与调制周期相等的时间,则有时不能正确地接收可见光信号。另外,调制周期是上述的1个时隙的时间。即,在这样的情况下,反映某时隙的亮度的状态的曝光线(图76中以黑表示的曝光线)少。结果,在这些曝光线的像素值偶然包含较多噪声的情况下,难以推测发送机的亮度。

另一方面,例如如图76的(b)所示那样,若曝光时间被设定为比调制周期长的时间,则能够正确地接收可见光信号。即,在这样的情况下,反映某时隙的亮度的曝光线多,所以能够根据较多的曝光线的像素值推测发送机的亮度,耐噪声强。

此外,若曝光时间过长,则反而不能正确地接收可见光信号。

例如,如图77的(a)所示那样,在曝光时间与调制周期相等的情况下,由接收机接收的亮度变化(即,各曝光线的像素值的变化)跟随用于发送信号的亮度变化。但是,如图77的(b)所示那样,在曝光时间为调制周期的3倍的情况下,由接收机接收的亮度变化不能充分地跟随用于发送信号的亮度变化。此外,如图77的(c)所示那样,在曝光时间为调制周期的10倍的情况下,由接收机接收的亮度变化完全不能跟随用于发送信号的亮度变化。即,曝光时间较长时能够根据较多的曝光线推测亮度,所以噪声耐性变高,但若曝光时间变长,则识别余裕下降,或者识别余裕变小,由此噪声耐性变低。通过他们的平衡,将曝光时间设为调制周期的2~5倍左右,能够使噪声耐性最高。

接着,对数据包的分割数量进行说明。

图78是表示相对于发送数据的大小的有效的分割数量的图。

在发送机通过亮度变化发送数据的情况下,若将所发送的所有数据(发送数据)包含于1个数据包,则该数据包的数据大小较大。但是,若将该发送数据分割成多个部分数据,将这些部分数据包含于各数据包,则各个数据包的数据大小较小。这里,接收机通过摄像来接收该数据包。但是,数据包的数据大小越大,则接收机越难以通过一次摄像接收该数据包,需要反复进行摄像。

因此,发送机优选如图78的(a)和(b)所示那样,发送数据的数据大小越大则使该发送数据的分割数量越多。但是,若分割数过多,则若不全部接收这些部分数据则不能复原发送数据,所以反而接收效率下降。

因此,如图78的(a)所示那样,若在地址的数据大小(地址大小)可变、发送数据的数据大小为2-16位、16-24位、24-64位、66-78位、78-128位、128位以上的情况下,将发送数据分别分割成1-2个、2-4个、4个、4-6个、6-8个、7个以上的部分数据,则能够通过可见光信号有效地发送发送数据。此外,如图78的(b)所示那样,在地址的数据大小(地址大小)固定为4位、发送数据的数据大小为2-8位、8-16位、16-30位、30-64位、66-80位、80-96位、96-132位、132位以上的情况下,将发送数据分别分割成1-2个、2-3个、2-4个、4-5个、4-7个、6个、6-8个、7个以上的部分数据,则能够通过可见光信号有效地发送发送数据。

此外,发送机依次进行基于包含多个部分数据的各个的各数据包的亮度变化。例如,发送机按照各数据包的地址顺序,进行基于该数据包的亮度变化。进而,发送机也可以以与地址顺序不同的顺序,再次进行基于该多个部分数据的亮度变化。由此,能够使接收机可靠地接收各部分数据。

接着,对接收机的通知动作的设定方法进行说明。

图79a是表示本实施方式的设定方法的一例的图。

首先,接收机从处于接收机的附近的服务器取得用于识别通知动作的通知动作识别码和该通知动作识别码的优先度(具体而言,表示优先度的识别码)(步骤s10131)。此处,通知动作是在包含多个部分数据的各个的各数据包通过亮度变化被发送而被接收机接收到时,向接收机的用户通知接收到这些数据包的接收机的动作。例如,该动作是声音的鸣动、振动或者画面显示等。

接着,接收机接收包含数据包化了的可见光信号、即多个部分数据的各个的各数据包(步骤s10132)。这里,接收机取得包含于该可见光信号的通知动作识别码和该通知动作识别码的优先度(具体而言,表示优先度的识别码)(步骤s10133)。

然后,接收机读出接收机的当前的通知动作的设定内容,即预先设定于接收机的通知动作识别码和该通知动作识别码的优先度(具体而言,表示优先度的识别码)(步骤s10134)。另外,预先设定于接收机的通知动作识别码例如通过用户的操作而设定。

然后,接收机选择预先设定的通知动作识别码和在步骤s10131和步骤s10133中分别取得的通知动作识别码中优先度最高的识别码(步骤s10135)。接着,接收机通过重新自身设定所选择的通知动作识别码,来进行通过所选择的通知动作识别码表示的动作,向用户通知可见光信号的接收(步骤s10136)。

另外,接收机也可以不进行步骤s10131和步骤s10133的任另一方面,而从2个通知动作识别码中选择优先度高的通知动作识别码。

另外,也可以将从设置于剧场或者美术馆等的服务器发送的通知动作识别码的优先度或者在这些设施内发送的可见光信号所包含的通知动作识别码的优先度设定得高。由此,能够与用户的设定无关,在该设施内,不使用于接收通知的声音鸣响。此外,在其它设施中,通过使通知动作识别码的优先度低,由此接收机能够通过与用户的设定相应的动作来通知接收。

图79b是表示本实施方式的设定方法的另一例的图。

首先,接收机从处于接收机的附近的服务器取得用于识别通知动作的通知动作识别码和该通知动作识别码的优先度(具体而言,表示优先度的识别码)(步骤s10141)。接着,接收机接收包含数据包化了的可见光信号,即多个部分数据的各个的各数据包(步骤s10142)。这里,接收机取得包含于该可见光信号的通知动作识别码和该通知动作识别码的优先度(具体而言,表示优先度的识别码)(步骤s10143)。

进而,接收机读出接收机的当前的通知动作的设定内容,即预先设定于接收机的通知动作识别码和该通知动作识别码的优先度(具体而言,表示优先度的识别码)(步骤s10144)。

然后,接收机判定在预先设定的通知动作识别码和在步骤s10141和步骤s10143中分别取得的通知动作识别码中是否包含表示禁止通知音的产生的动作的动作通知识别码(步骤s10145)。这里,若判定为包含(步骤s10145的“是”),则接收机鸣响用于通知接收完成的通知音(步骤s10146)。另一方面,若判定为不包含(步骤s10145的“否”),则接收机通过例如振动等,通知用户接收完成(步骤s10147)。

另外,接收机也可以不进行步骤s10141和步骤s10143的任另一方面,而判定在2个通知动作识别码中是否包含表示禁止通知音的产生的动作的动作通知识别码。

此外,接收机也可以基于通过摄像而得到的图像来进行自身位置推测,通过与推测出的位置或者处于该位置的设施相关联的动作,通知用户接收。

图80是表示实施方式10的信息处理程序的处理的流程图。

该信息处理程序是用于使上述的发送机的发光体按照图78所示的分割数而发生亮度变化的程序。

即,该信息处理程序是为了通过亮度变化发送发送对象的信息而使计算机处理发送对象的信息的信息处理程序。具体而言,该信息处理程序使计算机执行以下步骤:编码步骤sa41,通过将发送对象的信息编码而生成编码信号;分割步骤sa42,在所生成的编码信号的位数处于24~64位的范围的情况下将编码信号分割为4个部分信号;以及输出步骤sa43,依次输出4个部分信号。另外,这些部分信号作为数据包而输出。此外,信息处理程序也可以使计算机确定编码信号的位数,基于该确定出的位数,决定部分信号的数量。在该情况下,信息处理程序使计算机通过将编码信号分割,来生成该决定出的数量的部分信号。

由此,在编码信号的位数处于24~64位的范围的情况下,编码信号被分割成4个部分信号而输出。结果,若按照所输出的4个部分信号而发光体发生亮度变化,则该4个部分信号分别作为可见光信号而发送并被接收机接收。这里,所输出的信号的位数越多,则接收机越难以通过摄像适当地接收该信号,接收效率下降。于是,优选将该信号分割为位数少的信号、即分割为小的信号。但是,若将信号过细地分割为大量的小的信号,则接收机若不单独分别接收所有小的信号,则不能接收原来的信号,所以接收效率下降。因此,如上述那样,在编码信号的位数处于24~64位的范围的情况下,将编码信号分割为4个部分信号而依次输出,由此能够以最高的接收效率将表示发送对象的信息的编码信号作为可见光信号而发送。结果,能够使得各种各样的设备间的通信成为可能。

此外,在输出步骤sa43中,也可以按照第1顺序输出4个部分信号,然后按照与第1顺序不同的第2顺序再次输出4个部分信号。

由此,这些4个部分信号改变顺序而反复输出,所以在所输出的各信号作为可见光信号而向接收机发送的情况下,能够进一步提高这些4个部分信号的接收效率。即,即使以相同顺序反复输出4个部分信号,也会产生相同部分信号不被接收机接收的情况,但通过该变其顺序,能够抑制产生那样的情况。

此外,也可以如图79a和图79b所示那样,在输出步骤sa43中,还使通知动作识别码附随于4个部分信号而输出。通知动作识别码是用于识别在4个部分信号通过亮度变化被发送而被接收机接收时通知接收机的用户接收到4个部分信号的接收机的动作的识别码。

由此,在该通知动作识别码作为可见光信号被发送并被接收机接收的情况下,接收机能够按照通过该通知动作识别码而识别的动作,通知用户4个部分信号的接收。即,在发送发送对象的信息侧,能够设定接收机的通知动作。

此外,也可以如图79a和图79b所示那样,在输出步骤sa43中,还使用于识别通知动作识别码的优先度的优先度识别码附随于4个部分信号而输出。

由此,在该优先度识别码和通知动作识别码作为可见光信号被发送并被接收机接收的情况下,接收机能够按照通过该优先度识别码而识别的优先度来处理通知动作识别码。即,在接收机取得其它通知动作识别码的情况下,接收机能够基于其优先度选择通过作为可见光信号发送的通知动作识别码而识别的通知动作和通过其它通知动作识别码而识别的通知动作中的一方。

本发明的一技术方案所涉及的信息处理程序是为了通过亮度变化来发送发送对象的信息,而使计算机处理所述发送对象的信息的信息处理程序,该信息处理程序使所述计算机执行如下步骤:编码步骤,通过对所述发送对象的信息进行编码而生成编码信号;分割步骤,在所生成的所述编码信号的位数处于24~64位的范围的情况下,将所述编码信号分割为4个部分信号;以及输出步骤,依次输出所述4个部分信号。

由此,如图77~图80所示,在编码信号的位数处于24~64位的范围的情况下,编码信号被分割为4个部分信号并被输出。其结果,当发光体按照输出的4个部分信号发生亮度变化时,该4个部分信号分别作为可见光信号被发送并被接收机接收。这里,所输出的信号的位数越多,则接收机会越难以通过摄像适当地接收该信号,接收效率会降低。于是,优选将该信号分割为位数少的信号、即分割为小的信号。但是,若将信号过细地分割为大量的小的信号,则接收机若不单独分别接收所有的小的信号,则不能接收原来的信号,所以接收效率会降低。因此,如上述那样,在编码信号的位数处于24~64位的范围的情况下,将编码信号分割为4个部分信号而依次输出,由此,能够以最佳的接收效率将表示发送对象的信息的编码信号作为可见光信号而发送。结果,能够使得各种各样的设备间的通信成为可能。

另外,在所述输出步骤中,也可以按照第1顺序输出所述4个部分信号,然后,按照与所述第1顺序不同的第2顺序再次输出所述4个部分信号。

由此,这些4个部分信号改变顺序而反复输出,所以在所输出的各信号作为可见光信号而向接收机发送的情况下,能够进一步提高这些4个部分信号的接收效率。即,即使以相同顺序反复输出4个部分信号,也会产生相同部分信号不被接收机接收的情况,但通过改变其顺序,能够抑制产生那样的情况。

另外,也可以是,在所述输出步骤中,还使通知动作识别码附随于所述4个部分信号而输出,所述通知动作识别码用于识别在所述4个部分信号通过亮度变化被发送而被接收机接收时通知所述接收机的用户接收到所述4个部分信号的所述接收机的动作的识别码。

由此,在该通知动作识别码作为可见光信号被发送并被接收机接收的情况下,接收机能够按照通过该通知动作识别码而识别的动作,通知用户4个部分信号的接收。即,在发送发送对象的信息侧,能够设定接收机的通知动作。

另外,也可以是,在所述输出步骤中,还使用于识别所述通知动作识别码的优先度的优先度识别码附随于所述4个部分信号而输出。

由此,在该优先度识别码和通知动作识别码作为可见光信号被发送并被接收机接收的情况下,接收机能够按照通过该优先度识别码而识别的优先度来处理通知动作识别码。即,在接收机取得其它通知动作识别码的情况下,接收机能够基于其优先度选择通过作为可见光信号发送的通知动作识别码而识别的通知动作和通过其它通知动作识别码而识别的通知动作中的一方。

接着,对电子设备的网络连接的登录进行说明。

图81是用来说明本实施方式的发送接收系统的应用例的图。

该发送接收系统具备构成为例如洗衣机等电子设备的发送机10131b、构成为例如智能电话的接收机10131a以及构成为无线接入点或者路由器的通信装置10131c。

图82是表示本实施方式的发送接收系统的处理动作的流程图。

发送机10131b在按下开始按钮时(步骤s10165),将ssid、口令、ip地址、mac地址或者加密密钥等用于与自身连接的信息经由wi-fi、bluetooth(注册商标)或者以太网(注册商标)等而发送(步骤s10166),等候连接。发送机10131b可以直接发送这些信息,也可以间接发送这些信息。在间接发送的情况下,发送机10131b发送与这些信息相关联的id。接收到该id的接收机10131a例如从服务器等下载与该id相关联的信息。

接收机10131a接收该信息(步骤s10151),向发送机10131b连接,将用于向构成为无线接入点和/或路由器的通信装置10131c连接的信息(ssid、口令、ip地址、mac地址或者加密密钥等)向发送机10131b发送(步骤s10152)。接收机10131a将发送机10131b用于向通信装置10131c连接的信息(mac地址、ip地址或者加密密钥等)向通信装置10131c登记,使通信装置10131c等候连接。然后,接收机10131a通知发送机10131b从发送机10131b向通信装置10131c的连接准备完成(步骤s10153)。

发送机10131b切断与接收机10131a的连接(步骤s10168),向通信装置10131c连接(步骤s10169)。若连接成功(步骤s10170的“是”),则发送机10131b经由通信装置10131c通知接收机10131a连接成功,通过画面显示、led的状态、声音等通知用户连接成功(步骤s10171)。若连接失败(步骤s10170的“否”),则发送机10131b通过可见光通信通知接收机10131a连接失败,与成功时同样地通知用户(步骤s10172)。此外,也可以通过可见光通信通知连接成功。

接收机10131a与通信装置10131c连接(步骤s10154),若无连接成功或失败的通知(步骤s10155的“否”,且步骤s10156的“否”),则确认是否能够经由通信装置10131c来访问发送机10131b(步骤s10157)。若不能(步骤s10157的“否”),则接收机10131a使用从发送机10131b接收到的信息来判定是否向发送机10131b进行了预定次数以上的连接(步骤s10158)。这里,若判定为没有进行预定次数以上(步骤s10158的“否”),则接收机10131a反复进行自步骤s10152起的处理。另一方面,若判定为进行了预定次数以上(步骤s10158的“是”),则接收机10131a通知用户处理失败(步骤s10159)。此外,接收机10131a若在步骤s10156中判定为产生了连接成功的通知(步骤s10156的“是”),则通知用户处理成功(步骤s10160)。即,接收机10131a通过画面显示、声音等通知用户发送机10131b是否成功地与通信装置10131c连接。由此,即使用户不进行复杂的输入,也能够使发送机10131b向通信装置10131c连接。

接着,对电子设备的网络连接的登录(经由其它电子设备来连接的情况)进行说明。

图83是用来说明本实施方式的发送接收系统的应用例的图。

该发送接收系统具备:空调10133b、构成为与空调10133b连接的无线适配器等电子设备的发送机10133c、构成为例如智能电话的接收机10133a、构成为无线接入点或者路由器的通信装置10133d以及构成为例如无线适配器、无线无线接入点或者路由器等的其它电子设备10133e。

图84是表示本实施方式的发送接收系统的处理动作的流程图。另外,以下,将空调10133b或者发送机10133c称作电子设备a,将电子设备10133e称作电子设备b。

首先,电子设备a在按下开始按钮时(步骤s10188),发送用于与自身连接的信息(个体id、口令、ip地址、mac地址或者加密密钥等)(步骤s10189),等候连接(步骤s10190)。电子设备a可以将这些信息与上述同样地直接发送,也可以间接发送。

接收机10133a从电子设备a接收该信息(步骤s10181),向电子设备b发送该信息(步骤s10182)。电子设备b在接收到该信息时(步骤s10196),按照该接收到的信息向电子设备a连接(步骤s10197)。然后,电子设备b判定与电子设备a的连接是否成立(步骤s10198),将该是否成立通知给接收机10133a(步骤s10199或者步骤s101200)。

电子设备a若在预定的时间的期间内与电子设备b连接(步骤s10191的“是”),则经由电子设备b通知接收机10133a连接成功(步骤s10192),若没有连接(步骤s10191的“否”),则通过可见光通信通知接收机10133a连接失败(步骤s10193)。另外,电子设备a通过画面显示、发光状态、声音等,通知用户连接是否成功。由此,即使用户不进行复杂的输入,也能够使电子设备a(发送机10133c)向电子设备b(电子设备10133e)连接。此外,图83所示的空调10133b和发送机10133c可以一体构成,同样通信装置10133d和电子设备10133e也可以一体构成。

接着,对适当的摄像信息的发送进行说明。

图85是用来说明本实施方式的发送接收系统的应用例的图。

该发送接收系统具备构成为例如数字静态摄像头和/或数字摄影机的接收机10135a和构成为例如照明的发送机10135b。

图86是表示本实施方式的发送接收系统的处理动作的流程图。

首先,接收机10135a向发送机10135b发送摄像信息发送命令(步骤s10211)。接着,发送机10135b在接收到摄像信息发送命令的情况下、按下了摄像信息发送按钮的情况下、摄像信息发送开关接通的情况下、接入了电源的情况下(步骤s10221的“是”),发送摄像信息(步骤s10222)。摄像信息发送命令是用于发送摄像信息的命令,摄像信息表示例如照明的色温度、光谱分布、照度或者配光。发送机10135b与上述同样,可以直接发送摄像信息,也可以间接发送摄像信息。在间接发送的情况下,发送机10135b发送与摄像信息相关联的id。接收到该id的接收机10135a例如从服务器等下载与该id相关联的摄像信息。此时,发送机10135b也可以发送用于向自身发送发送停止命令的方法(传送发送停止命令的电波、红外线或者音波的频率或者用于向自身连接的ssid、口令或ip地址等)。

接收机10135a在接收到摄像信息时(步骤s10212),将发送停止命令向发送机10135b发送(步骤s10213)。这里,发送机10135b在从接收机10135a接收到发送停止命令时(步骤s10223的),停止摄像信息的发送,均匀地发光(步骤s10224)。

进而,接收机10135a按照在步骤s10212中接收到的摄像信息设定摄像参数(步骤s10214),或者,通知用户摄像信息。摄像参数例如是白平衡、曝光时间、焦点距离、感光度或者场景模式。由此,能够与照明相应地以最佳的设定进行摄像。接着,接收机10135a在停止来自发送机10135b的摄像信息的发送之后(步骤s10215的“是”),进行摄像(步骤s10216)。由此,能够消除由信号发送引起的被拍摄对象的明亮度的变化而进行摄像。另外,接收机10135a也可以在步骤s10216后,将促进开始发送摄像信息的发送开始命令向发送机10135b发送(步骤s10217)。

接着,对充电状态的显示进行说明。

图87是用来说明本实施方式的发送机的应用例的图。

构成为例如充电器的发送机10137b具备发光部,将表示蓄电池的充电状态的可见光信号从发光部发送。由此,即使不具备高价的显示装置,也能够通知蓄电池的充电状态。另外,在作为发光部使用了小的led的情况下,若不从附近拍摄该led,则不能接收可见光信号。此外,在该led的附近存在突起部的发送机10137c中,突起部成为妨碍而难以近拍led。因此,与来自发送机10137c的可见光信号相比,来自在led的附近无突起部的发送机10137b的可见光信号能够更容易接收。

(实施方式11)

在本实施方式中,对使用上述各实施方式的智能电话等接收机和led和/或作为有机el的闪烁样式而发送信息的发送机的各应用例进行说明。

首先,对演示模式时和故障时的发送进行说明。

图88是说明本实施方式的发送机的动作的一例的图。

发送机在产生了错误的情况下,能够通过发送表示产生了错误的信号或者与错误码对应的信号,来传递接收机产生了错误和/或错误内容。接收机能够通过与错误内容相应地表示适当的对应,来修复错误或者向服务中心适当地报告错误内容。

发送机在成为演示模式的情况下,发送演示码。由此,在例如店面处进行作为商品的发送机的演示的情况下,来店者能够接收演示码,取得与演示码相关联的商品说明。是否处于演示模式的判断能够根据发送机的动作设定成为了演示模式、插入了店面用cas卡、没有插入cas卡、没有插入记录用媒体这些点来判断。

接着,对来自遥控器的信号发送进行说明。

图89是说明本实施方式的发送机的动作的一例的图。

在例如构成为空调的遥控器的发送机接收了本体信息时,通过发送机发送本体信息,接收机能够从位于附近的发送机接收远处的本体的信息。接收机也能够从越过网络等而存在于不能进行可见光通信的场所的本体接收信息。

接着,对仅在处于亮的场所时发送的处理进行说明。

图90是说明本实施方式的发送机的动作的一例的图。

发送机在周围的明亮度为一定以上时进行发送,在成为一定以下时停止发送。由此,构成为例如电车的广告的发送机能够在车辆入库时自动停止动作,能够抑制电池的消耗。

接着,对与发送机的显示相符的内容分发(相关联的变更/调度)进行说明。

图91是说明本实施方式的发送机的动作的一例的图。

发送机与显示的内容的显示定时相匹配,将想要使接收机取得的内容与发送id相关联。每当变更显示内容时,将相关联的变更向服务器登记。

发送机在显示内容的显示定时为已知的情况下,以与显示内容的变化定时相匹配而将其它内容交付给接收机的方式设定服务器。服务器在接收机请求与发送id相关联的内容时,将与所设定的计划相符的内容向接收机发送。

由此,在构成为例如数字标牌的发送机不断变更显示内容的情况下,接收机能够取得与发送机所显示的内容相符的内容。

接着,对与发送机的显示相符的内容分发(时刻的同步)进行说明。

图92是说明本实施方式的发送机的动作的一例的图。

对于与预定的id相关联的内容取得的请求,以根据时刻而交付不同内容的方式,预先向服务器登记。

发送机与服务器同步时刻,以在预定的时刻显示预定的部分的方式调整定时而显示内容。

由此,在构成为例如数字标牌的发送机不断变更显示内容的情况下,接收机能够取得与发送机所显示的内容相符的内容。

接着,对与发送机的显示相符的内容分发(显示时刻的发送)进行说明。

图93是说明本实施方式的发送机和接收机的动作的一例的图。

发送机除了发送机的id之外,还发送显示中的内容的显示时刻。内容显示时刻是能够确定当前显示的内容的信息,例如能够表现为自内容的开始时间点起的经过时刻等。

接收机从服务器取得与所接收到的id相关联的内容,与所接收到的显示时刻相符地显示内容。由此,在构成为例如数字标牌的发送机不断变更显示内容的情况下,接收机能够取得与发送机所显示的内容相符的内容。

此外,接收机随着时间的经过,变更显示的内容。由此,即使在发送机的显示内容变化时不再次接收信号,也可显示与显示内容相符的内容。

接着,对与用户的许诺状况相符的数据的上传进行说明。

图94是说明本实施方式的接收机的动作的一例的图。

接收机在用户进行了账户登录的情况下,将账户登录时等用户进行了访问许可的信息(接收机的位置、电话号码、id、安装的应用、用户的年龄、性别、职业、喜好等)与接收到的id相匹配地向服务器发送。

在没有进行账户登录的情况下,若用户允许上述那样的信息的上传,则同样向服务器发送,在没有许可的情况下,仅将所接收到的id向服务器发送。

由此,用户能够接收与接收时的状况和/或自身的个性相符的内容,此外,服务器能够通过得到用户的信息而有助于数据解析。

接着,对内容再现应用的起动进行说明。

图95是说明本实施方式的接收机的动作的一例的图。

接收机从服务器取得与所接收到的id相关联的内容。在起动中的应用能够处理取得内容(能够显示或者再现)的情况下,通过起动中的应用来显示/再现取得内容。在不能处理的情况下,确认可处理的应用是否安装于接收机,在安装有可处理的应用的情况下,起动该应用而进行取得内容的显示/再现。在没有安装的情况下,自动进行安装,或者进行促使安装的显示,或者显示下载画面,在安装后进行取得内容的显示/再现。

由此,能够适当地处理取得内容(进行显示/再现等)。

接着,对指定应用的起动进行说明。

图96是说明本实施方式的接收机的动作的一例的图。

接收机从服务器取得与所接收到的id相关联的内容和指定要起动的应用的信息(应用id)。在起动中的应用为指定应用的情况下,显示/再现所取得的内容。在指定应用安装于接收机的情况下,起动指定应用来进行取得内容的显示/再现。在没有安装的情况下,自动进行安装,或者进行促使安装的显示,或者显示下载画面,在安装后进行取得内容的显示/再现。

接收机也可以从服务器仅取得应用id,起动指定应用。

接收机也可以进行所指定的设定。接收机也可以设定所指定的参数,起动所指定的应用。

接着,对流播放接收和通常接收的选择进行说明。

图97是说明本实施方式的接收机的动作的一例的图。

接收机在所接收到的数据的预定的地址的值是预定的值的情况和/或所接收到的数据包含预定的识别码的情况下,判断为信号被流播放分发,以流播放数据的接收方法进行接收。在不是这样的情况下,以通常的接收方法来接收。

由此,以流播放分发和通常分发的任一方法发送信号都能够进行接收。

接着,对私人数据进行说明。

图98是说明本实施方式的接收机的动作的一例的图。

接收机在所接收到的id的值处于预定的范围内的情况和/或包含预定的识别码的情况下,在应用内参照表格,若接收id存在于表格,则取得由该表格指定的内容。在不是这样的情况下,从服务器取得被设为了接收id的内容。

由此,即使不向服务器进行登录也能够接收内容。此外,因为不进行与服务器的通信,所以可得到迅速的回应。

接着,对与频率相符的曝光时间的设定进行说明。

图99是说明本实施方式的接收机的动作的一例的图。

接收机检测信号,识别信号的调制频率。接收机与调制频率的周期(调制周期)相应地设定曝光时间。例如,通过设为与调制周期同程度的曝光时间,能够容易地接收信号。此外,例如,通过将曝光时间设定成调制周期的整数倍或者与其接近的值(大致±30%左右),能够通过卷积解码容易地接收信号。

接着,对发送机的最佳参数设定进行说明。

图100是说明本实施方式的接收机的动作的一例的图。

除了从发送机接收的数据之外,接收机还将与当前位置信息和/或用户关联的信息(住所、性别、年龄、喜好等)向服务器发送。服务器与所接收的信息相应地,将用于使发送机最佳地动作的参数向接收机发送。接收机在能够对发送机设定所接收到的参数的情况下进行设定。在不能设定的情况下,显示参数,促使用户对发送机设定该参数。

由此,例如,能够与使用发送机的地域的水的性质最适化地使洗衣机动作,或者以最适合于用户所使用的米的种类的方法来煮饭的方式使电饭锅动作。

接着,对表示数据的结构的识别码进行说明。

图101是说明本实施方式的发送数据的结构的一例的图。

发送的信息包含识别码,接收机能够根据其值来得知后续的部分的结构。例如,能够确常数据的长度、错误订正码的种类和/或长度、数据的分割点等。

由此,发送机能够根据发送机和/或通信路的性质来变更数据本体和/或错误订正码的种类和/或长度。此外,发送机通过除了发送机的id之外,还发送内容id,能够使接收机取得与内容id相应的id。

(实施方式12)在本实施方式中,对使用上述各实施方式的智能电话等接收机和作为led和/或有机el的闪烁样式而发送信息的发送机的各应用例进行说明。

图102是用来说明本实施方式的接收机的动作的图。

本实施方式中的接收机1210a,在进行基于图像传感器的连续的摄影时,例如以帧为单位将快门速度切换为高速和低速。进而,接收机1210a基于通过该摄影而得到的帧,将针对该帧的处理切换为条码识别处理和可见光识别处理。这里,条码识别处理是指对通过低速的快门速度得到的帧所映现的条码进行解码的处理。可见光识别处理是指对通过高速的快门速度得到的帧所映现的上述的亮线的样式进行解码的处理。

这样的接收机1210a具备:影像输入部1211、条码/可见光识别部1212、条码识别部1212a、可见光识别部1212b和输出部1213。

影像输入部1211具备图像传感器,切换基于图像传感器的摄影的快门速度。即,影像输入部1211例如以帧为单位将快门速度交替地切换为低速和高速。更具体而言,影像输入部1211针对第奇数个帧将快门速度切换为高速,针对第偶数个帧将快门速度切换为低速。低速的快门速度的摄影是上述通常摄影模式的摄影,高速的快门速度的摄影是上述可见光通信模式的摄影。即,在快门速度为低速的情况下,图像传感器所含的各曝光线的曝光时间长,映出了被拍摄对象的通常摄影图像可以作为帧而获得。另外,在快门速度为高速的情况下,图像传感器所含的各曝光线的曝光时间短,映出了上述亮线的可见光通信图像可以作为帧而获得。

条码/可见光识别部1212通过判别由影像输入部1211得到的图像上是否显现有条码、或是否显现有亮线,来切换针对该图像的处理。例如,如果通过低速的快门速度的摄影得到的帧上显现有条码,则条码/可见光识别部1212使条码识别部1212a执行针对该图像的处理。另一方面,如果通过高速的快门速度的摄影得到的图像上显现有亮线,则条码/可见光识别部1212使可见光识别部1212b执行针对该图像的处理。

条码识别部1212a对通过低速的快门速度的摄影得到的帧上显现的条码进行解码。条码识别部1212a通过该解码取得条码的数据(例如条码识别码),并将该条码识别码向输出部1213输出。此外,条码既可以是一维码,也可以是二维码(例如,qr码(注册商标))。

可见光识别部1212b对通过高速的快门速度的摄影得到的帧上显现的亮线的样式进行解码。可见光识别部1212b通过该解码取得可见光的数据(例如可见光识别码),并将该可见光识别码向输出部1213输出。此外,可见光的数据是上述可见光信号。

输出部1213仅显示通过低速的快门速度的摄影得到的帧。因此,在基于影像输入部1211的摄影的被拍摄对象是条码的情况下,输出部1213显示条码。另外,在基于影像输入部1211的摄影的被拍摄对象是发送可见光信号的数字标牌等的情况下,输出部1213不显示亮线的样式,而显示该数字标牌的像。并且,在取得了条码识别码的情况下,输出部1213从例如服务器等取得与该条码识别码相对应的信息,并显示该信息。另外,在取得了可见光识别码的情况下,输出部1213从例如服务器等取得与该可见光识别码相对应的信息,并显示该信息。

即,作为终端装置的接收机1210a具备图像传感器,一边将图像传感器的快门速度交替地切换为第1速度和比第1速度高速的第2速度,一边进行图像传感器的连续的摄影。并且,(a)在基于图像传感器的摄影的被拍摄对象是条码的情况下,接收机1210a利用快门速度为第1速度时的摄影,取得映现有条码的图像,并对该图像所映现的条码进行解码,由此,取得条码识别码。另外,(b)在基于图像传感器的摄影的被拍摄对象是光源(例如数字标牌等)的情况下,接收机1210a利用在快门速度是第2速度时的摄影,取得包含与图像传感器所含的多个曝光线的各个对应的亮线的图像即亮线图像。并且,接收机1210a通过对所取得的亮线图像所含的多个亮线的样式进行解码,取得可见光信号来作为可见光识别码。进而,该接收机1210a显示通过当快门速度是第1速度时的摄影得到的图像。

在这样的本实施方式的接收机1210a中,通过切换地进行条码识别处理和可见光识别处理,能够进行条码的解码,并且能够接收可见光信号。进而,通过切换,能够抑制消耗电力(功耗)。

本实施方式的接收机也可以与可见光处理同时地进行图像识别处理,而取代同时地进行条码识别处理。

图103a是用来说明本实施方式的接收机的另一动作的图。

本实施方式的接收机1210b,在进行基于图像传感器的连续的摄影时,例如以帧为单位将快门速度切换为高速和低速。进而,接收机1210b针对通过该摄影得到的图像(帧),同时执行图像识别处理和上述可见光识别处理。图像识别处理是对通过低速的快门速度得到的帧所映现的被拍摄对象进行识别的处理。

这样的接收机1210b具备:影像输入部1211、图像识别部1212c、可见光识别部1212b和输出部1215。

影像输入部1211具备图像传感器,并且切换基于图像传感器的摄影的快门速度。即,影像输入部1211例如以帧为单位将快门速度交替地切换为低速和高速。更具体而言,影像输入部1211针对第奇数个帧将快门速度切换为高速,针对第偶数个帧将快门速度切换为低速。低速的快门速度的摄影是上述通常摄影模式的摄影,高速的快门速度的摄影是上述可见光通信模式的摄影。即,在快门速度为低速的情况下,图像传感器所含的各曝光线的曝光时间长,映出了被拍摄对象的通常摄影图像作为帧而得到。另外,在快门速度为高速的情况下,图像传感器所含的各曝光线的曝光时间短,映出了上述亮线的可见光通信图像作为帧而得到。

图像识别部1212c对通过低速的快门速度的摄影得到的帧所映现的被拍摄对象进行识别,并且确定该被拍摄对象在帧内的位置。图像识别部1212c,作为识别的结果,判断该被拍摄对象是否被作为ar(augmentedreality;增强现实)的对象(以下,称为ar对象物)。并且,在判断为被拍摄对象是ar对象物时,图像识别部1212c生成用于显示与该被拍摄对象相关的信息的数据(例如,被拍摄对象的位置以及ar标记等)即图像识别数据,并将该ar标记向输出部1215输出。

输出部1215与上述输出部1213同样,仅显示通过低速的快门速度的摄影得到的帧。因此,在基于影像输入部1211的摄影的被拍摄对象是发送可见光信号的数字标牌等的情况下,输出部1213不显示亮线的样式,而显示该数字标牌的像。进而,当从图像识别部1212c取得图像识别数据时,输出部1215基于由图像识别数据表示的帧内的被拍摄对象的位置,将包围该被拍摄对象的白框状的指示器(indicator)重叠于该帧。

图103b是示出由输出部1215显示的指示器的例子的图。

输出部1215例如将包围构成为数字标牌的被拍摄对象的像1215a的白框状的指示器1215b重叠于帧。即,输出部1215显示表示被图像识别出的被拍摄对象的指示器1215b。进而,当从可见光识别部1212b取得可见光识别码时,输出部1215将该指示器1215b的颜色例如从白色变更为红色。

图103c是示出ar的显示例的图。

输出部1215还从例如服务器等取得与该可见光识别码相对应的、与被拍摄对象相关的信息作为关联信息。输出部1215对由图像识别数据表示的ar标记1215c记载关联信息,将记载有关联信息的ar标记1215c与帧内的被拍摄对象的像1215a相关联地显示。

在这样的本实施方式的接收机1210b中,通过同时地进行图像识别处理和可见光识别处理,能够实现利用了可见光通信的ar。此外,图103a所示的接收机1210a也可以与接收机1210b同样,显示图103b所示的指示器1215b。该情况下,当在通过低速的快门速度的摄影得到的帧中识别到条码时,接收机1210a显示包围该条码的白框状的指示器1215b。并且,若该条码被进行解码,则接收机1210a将该指示器1215b的颜色从白色变更为红色。同样地,当在通过高速的快门速度的摄影得到的帧中识别到亮线的样式时,接收机1210a确定与存在该亮线的样式的部位对应的低速帧内的部位。例如,在数字标牌发送可见光信号的情况下,确定低速帧内的数字标牌的像。此外,低速帧是指通过低速的快门速度的摄影得到的帧。并且,接收机1210a将包围低速帧内确定出的部位(例如,上述数字标牌的像)的白框状的指示器1215b重叠于低速帧并进行显示。并且,若该亮线的样式被进行解码,则接收机1210a将该指示器1215b的颜色从白色变更为红色。

图104a是用来说明本实施方式的发送机的一例的图。

本实施方式中的发送机1220a与发送机1230同步地发送可见光信号。即,发送机1220a在发送机1230发送可见光信号的定时,发送与该可见光信号相同的可见光信号。此外,发送机1230具备发光部1231,该发光部1231通过发生亮度变化来发送可见光信号。

这样的发送机1220a具备:受光部1221、信号解析部1222、发送时钟调整部1223a和发光部1224。发光部1224通过亮度变化发送与从发送机1230发送的可见光信号相同的可见光信号。受光部1221通过接受来自发送机1230的可见光,来从发送机1230接收可见光信号。信号解析部1222对通过受光部1221接收到的可见光信号进行解析,并将该解析结果向发送时钟调整部1223a发送。发送时钟调整部1223a基于该解析结果,来调整从发光部1224发送的可见光信号的定时。即,发送时钟调整部1223a调整发光部1224的亮度变化的定时,以使得从发送机1230的发光部1231发送可见光信号的定时与从发光部1224发送可见光信号的定时一致。

由此,能够使由发送机1220a发送的可见光信号的波形和由发送机1230发送的可见光信号的波形在定时上一致。

图104b是用来说明本实施方式的发送机的另一例的图。

本实施方式的发送机1220b与发送机1220a同样,与发送机1230同步地发送可见光信号。即,发送机1200b在发送机1230发送可见光信号的定时,发送与该可见光信号相同的可见光信号。

这样的发送机1220b具备:第1受光部1221a、第2受光部1221b、比较部1225、发送时钟调整部1223b以及发光部1224。

第1受光部1221a与受光部1221同样地,通过接受来自发送机1230的可见光,从该发送机1230接收可见光信号。第2受光部1221b接受来自发光部1224的可见光。比较部1225对通过第1受光部1221a接收到可见光的第1定时和通过第2受光部1221b接收到可见光的第2定时进行比较。并且,比较部1225将该第1定时与第2定时的差(即延迟时间)向发送时钟调整部1223b输出。发送时钟调整部1223b对从发光部1224发送的可见光信号的定时进行调整,以使得该延迟时间缩短。

由此,能够使由发送机1220b发送的可见光信号的波形和由发送机1230发送的可见光信号的波形在定时上更准确地一致。

此外,在图104a以及图104b所示的例子中,两个发送机发送相同可见光信号,但也可以发送不同的可见光信号。即,两个发送机当发送相同可见光信号时,如上述那样取得同步并发送。并且,两个发送机当发送不同的可见光信号时,仅两个发送机中的一方的发送机发送可见光信号,在此期间,另一方的发送机一样地点亮或熄灭。之后,一方的发送机一样地点亮或熄灭,在此期间,仅另一方的发送机发送可见光信号。此外,两个发送机也可以同时地发送相互不同的可见光信号。

图105a是用来说明本实施方式的多个发送机的同步发送的一例的图。

如图105a所示那样,本实施方式的多个发送机1220例如排列成一列。此外,这些发送机1220具有与图104a所示的发送机1220a或图104b所示的发送机1220b相同的结构。这样的多个发送机1220的每一个与左右相邻的发送机1220中的一方的发送机1220同步地发送可见光信号。

由此,许多发送机能够将可见光信号同步地发送。

图105b是用来说明本实施方式的多个发送机的同步发送的一例的图。

本实施方式中的多个发送机1220中的一个发送机1220成为用于取得可见光信号的同步的基准,其余的多个发送机1220按照该基准发送可见光信号。

由此,许多发送机能够将可见光信号更准确地同步地发送。

图106是用来说明本实施方式的多个发送机的同步发送的另一例的图。

本实施方式的多个发送机1240的每一个接收同步信号,与该同步信号相应地发送可见光信号。由此,从多个发送机1240的每一个同步地发送可见光信号。

具体而言,多个发送机1240的每一个具备:控制部1241、同步控制部1242、光耦合器1243、led驱动电路1244、led1245和光电二极管1246。

控制部1241接收同步信号,并将该同步信号向同步控制部1242输出。

led1245是发出可见光的光源,根据led驱动电路1244的控制而进行亮灭(即亮度变化)。由此,可见光信号从led1245被发送至发送机1240之外。

光耦合器1243将同步控制部1242与led驱动电路1244之间进行电绝缘,并且在其间传递信号。具体而言,光耦合器1243将从同步控制部1242发送的下述的发送开始信号向led驱动电路1244传递。

led驱动电路1244若从同步控制部1242经由光耦合器1243接收到发送开始信号,则在接收到该发送开始信号的定时,使led1245开始可见光信号的发送。

光电二极管1246检测从led1245发出的可见光,并将表示检测到可见光的检测信号向同步控制部1242输出。

同步控制部1242若从控制部1241接收到同步信号,则将发送开始信号经由光耦合器1243向led驱动电路1244发送。通过发送该发送开始信号,而开始可见光信号的发送。另外,同步控制部1242若通过该可见光信号的发送而从光电二极管1246接收到检测信号,则算出作为接收到该检测信号的定时与从控制部1241接收到同步信号的定时之差的延迟时间。同步控制部1242若从控制部1241接收到下一个同步信号,则基于该算出的延迟时间,来调整发送下一个发送开始信号的定时。即,同步控制部1242对发送下一个发送开始信号的定时进行调整,以使得针对下一个同步信号的延迟时间成为预先决定的设定延迟时间。由此,同步控制部1242在该调整后的定时,发送下一个发送开始信号。

图107是用来说明发送机1240的信号处理的图。

同步控制部1242当接收到同步信号时,生成在预定的定时产生延迟时间设定脉冲的延迟时间设定信号。此外,具体而言,接收同步信号是指接收同步脉冲。即,同步控制部1242生成延迟时间设定信号以使得:在从同步脉冲的下降开始经过了上述设定延迟时间的定时,延迟时间设定脉冲上升。

并且,同步控制部1242在从同步脉冲的下降开始延迟了上次得到的补正值n的定时将发送开始信号经由光耦合器1243向led驱动电路1244发送。结果,通过led驱动电路1244从led1245发送可见光信号。这里,同步控制部1242在从同步脉冲的下降开始延迟了固有延迟时间和补正值n的和的定时,从光电二极管1246接收检测信号。即,从该定时开始可见光信号的发送。以下,将该定时称为发送开始定时。此外,上述固有延迟时间是起因于光耦合器1243等的电路的延迟时间,是即便同步控制部1242接收到同步信号就马上发送发送开始信号也会产生的延迟时间。

同步控制部1242确定从发送开始定时到延迟时间设定脉冲的上升为止的时间差来作为修正补正值n。并且,同步控制部1242利用补正值(n+1)=补正值n+修正补正值n算出补正值(n+1)并加以保持。由此,同步控制部1242在接收到下一个同步信号(同步脉冲)时,在从该同步脉冲的下降开始延迟了补正值(n+1)的定时将发送开始信号向led驱动电路1244发送。此外,修正补正值n不仅可以是正值,也可以成为负值。

由此,多个发送机1240的每一个,在从接收同步信号(同步脉冲)开始经过设定延迟时间后发送可见光信号,因此,能够正确地同步地发送可见光信号。即,在多个发送机1240的每一个中,即便起因于光耦合器1243等的电路的固有延迟时间存在偏差,也能够不受该偏差的影响地,正确地使来自多个发送机1240的每一个的可见光信号的发送同步。

此外,led驱动电路是消耗大功率的电路,要使用光耦合器等与处理同步信号的控制电路电绝缘。因此,在使用这样的光耦合器的情况下,由于上述的固有延迟时间的偏差,难以使来自多个发送机的可见光信号的发送同步。但是,在本实施方式的多个发送机1240中,利用光电二极管1246检测led1245的发光定时,利用同步控制部1242检测来自同步信号的延迟时间,将该延迟时间调整为成为预先设定的延迟时间(上述设定延迟时间)。由此,即便各个例如构成为led照明的多个发送机所具备的光耦合器存在个体偏差,也能够以高精度地同步的状态从多个led照明发送可见光信号(例如可见光id)。

此外,对于可见光信号发送期间以外,既可以使led照明点亮,也可以使其熄灭。在所述可见光信号发送期间以外使之点亮的情况下,检测可见光信号的最初的下降沿即可。在所述可见光信号发送期间以外使之熄灭的情况下,检测可见光信号的最初的上升沿即可。

此外,在上述的例子中,发送机1240每当接收同步信号时就发送可见光信号,但是,即便未接收同步信号,也可以发送可见光信号。即,发送机1240如果与同步信号的接收相应地发送一次可见光信号,则即便未接收到同步信号也可以依次发送可见光信号。具体而言,发送机1240可以针对同步信号的一次接收,依次进行2次~几千次的可见光信号的发送。另外,发送机1240也可以以每100m秒1次的比例或每数秒1次的比例进行与同步信号相应的可见光信号的发送。

另外,当反复进行与同步信号对应的可见光信号的发送时,存在由于上述的设定延迟时间而使led1245的发光连续性丧失的可能性。即存在产生稍长的消隐期间的可能性。其结果,存在产生led1245的闪烁会被人视觉辨认的所谓的闪光(flicker)的可能性。于是,发送机1240也可以以60hz以上的周期进行与同步信号相应的可见光信号的发送。由此,闪烁会高速地进行,该闪烁会难以被人视觉辨认。其结果,能够抑制闪光的产生。或者,发送机1240也可以以例如每几分钟1次的周期等足够长的周期,进行与同步信号对应的可见光信号的发送。由此,闪烁虽然会被人视觉辨认,但是能够防止闪烁反复连续地被视觉辨认,能够减轻闪光带给人的不舒适感。

(接收方法的前处理)

图108是示出本实施方式的接收方法的一例的流程图。另外,图109是用来说明本实施方式的接收方法的一例的说明图。

首先,接收机计算排列在与曝光线平行的方向上的多个像素的各自的像素值的平均值(步骤s1211)。根据中心极限定理,当对n个像素的像素值进行平均时,则噪声量的期待值成为n的-1/2次幂,sn比得以改善。

接着,接收机仅留存在所有颜色的每一种颜色中像素值在垂直方向上发生相同变化的部分,在发生不同变化的部分中,去除像素值的变化(步骤s1212)。在利用发送机所具备的发光部的亮度表现发送信号(可见光信号)的情况下,作为发送机的照明和/或显示器的背光源的亮度变化。此时,如图109的(b)的部分所示,在所有颜色的各个中像素值向相同方向变化。图109的(a)以及(c)的部分中,在各颜色中像素值发生不同的变化。在这些部分中,由于接收噪声或者显示器或标牌的画面,像素值发生变动,因此,通过去除这些变动,能够改善sn比。

接着,接收机求取亮度值(步骤s1213)。亮度难以受到基于颜色的变化,因此,能够排除显示器或标牌的画面的影响,能够改善sn比。

接着,接收机对亮度值施加低通滤波(步骤s1214)。在本实施方式的接收方法中,施加基于曝光时间的长度的移动平均滤波,因此,在高频区域几乎不含有信号,噪声处于支配地位。因此,通过使用将高频区域去除的低通滤波,能够改善sn比。在直至曝光时间的倒数为止的之前的频率,信号成分多,因此,通过切断这以上的频率,能够提高sn比的改善效果。在信号所含的频率成分有限的情况下,通过切断比该频率高的频率,能够改善sn比。不含频率振动成分的滤波(巴特沃斯滤波等)适于低通滤波。

(基于卷积最大似然解码的接收方法)

图110是示出本实施方式的接收方法的另一例的流程图。以下,使用该图,针对曝光时间比发送周期长的情况下的接收方法进行说明。

在曝光时间是发送周期的整数倍的情况下,能够进行精度最佳的接收。即便在不是整数倍的情况下,只要是(n±0.33)倍(n为整数)程度的范围,则能够进行接收。

首先,接收机将发送接收偏移量设定为0(步骤s1221)。发送接收偏移量是指用于修正发送定时与接收定时的偏差的值。由于该偏差是不明确的,因此,接收机一点点地使成为该发送接收偏移量的候选的值变化,并将最合理的值采用为发送接收偏移量。

接着,接收机判定发送接收偏移量是否小于发送周期(步骤s1222)。这里,由于接收的周期和发送周期不同步,因此,不一定得到与发送周期相匹配的接收值。因此,接收机若在步骤s1222中判定为小于发送周期(步骤s1222的“是”),则使用其邻近的接收值,按每个发送周期,通过插补来计算与发送周期相匹配的接收值(例如像素值)(步骤s1223)。插补方法可以使用线性插补、最邻近值或样条插补等。然后,接收机求出按每个发送周期求出的接收值的差分(步骤s1224)。

接收机在发送接收偏移量上加上预定值(步骤s1226),重复执行从步骤s1222开始的处理。另外,接收机若在步骤s1222中判定为不是小于发送周期(步骤s1222的“否”),则确定针对各发送接收偏移量计算出的接收信号的似然度中的最高似然度。并且,接收机判定该最高似然度是否为预定值以上(步骤s1227)。若判定为预定值以上(步骤s1227的“是”),则接收机将似然度最高的接收信号作为最终的推测结果来使用。或者,接收机将具有从最高的似然度减去预定值而得的值以上的似然度的接收信号用作接收信号候选(步骤s1228)。另一方面,在步骤s1227中,若判定为最高似然度为小于预定值(步骤s1227的“否”),则接收机丢弃推测结果(步骤s1229)。

在噪声过多的情况下,多会无法适当地进行接收信号的推测,同时,似然度会变低。因此,在似然度低的情况下,通过丢弃推测结果,能够使接收信号的可靠性提高。另外,在输入图像中不含有效的信号的情况下,最大似然解码存在会输出有效的信号来作为推测结果这一问题。但是,在该情况下,由于似然度会变低,因此,在似然度低的情况下,通过丢弃推测结果,也能够回避该问题。

(实施方式13)

在本实施方式中,对可见光通信的协议发送方式进行说明。

(多值振幅脉冲信号)

图111、图112以及图113是示出本实施方式的发送信号的一例的图。

通过使脉冲的振幅具有含义,能够在每单位时间表现更多的信息。例如,若将振幅分类为3等级,则如图111所示,能够在平均亮度保持为50%不变的情况下,以2个时隙的发送时间表现3个值。但是,当连续发送图111的(c)时,没有亮度变化,因此,难以知道信号的存在。另外,在数字处理中,3个值有些难以处理。

于是,通过使用图112的(a)至(d)的4种码元,能够在平均亮度保持为50%不变的情况下,以平均3个时隙的发送时间表现4个值。虽然由于码元不同而发送时间不同,但是,通过将码元的最后状态设为亮度低的状态,能够识别码元的结束时间点。即便将亮度高的状态和亮度低的状态调换,也能得到同样的效果。图112的(e)难以与发送2次的(a)相区别,因此不适合。图112的(f)和(g)的中间亮度连续,因此,虽然稍难以识别,但是能够利用。

考虑将图391的(a)、(b)的样式作为头来利用。由于这些样式在频率解析中显著地具有特定频率成分,因此,通过将这些样式作为头,能够通过频率解析进行信号检测。

如图113的(c)所示,使用(a)、(b)的样式构成发送数据包。通过将特定长度的样式作为数据包整体的头,将不同的长度的样式作为分隔使用,能够划分数据。另外,通过在中途的部位包含该样式,能够使信号容易检测。由此,即便在1数据包比1帧的图像的摄像时间长的情况下,接收机能够将数据接合在一起来解码。另外,由此,通过调整分隔的数量,能够将数据包的长度设为可变。也可以利用数据包头的样式的长度来表现数据包整体的长度。另外,通过将分隔作为数据包头,将分隔的长度作为数据的地址,接收机能够对部分地接收到的数据进行合成。

发送机反复发送这样构成的数据包。图113的(c)的数据包1~4的内容既可以完全相同,也可以作为不同的数据在接收侧进行合成。

(实施方式14)

在本实施方式中,对使用了上述各实施方式中的智能电话等接收机和作为led、有机el的闪烁样式来发送信息的发送机的各应用例进行说明。

图114a是用来说明本实施方式的发送机的图。

本实施方式的发送机例如构成为液晶显示器的背光源,具备蓝色led2303和包括绿色荧光成分2304和红色荧光成分2305的荧光体2310。

蓝色led2303发出蓝色(b)的光。荧光体2310在接受从蓝色led2303发出的蓝色的光作为激发光时呈黄色(y)地发光。即,荧光体2310发出黄色的光。详细而言,荧光体2130由于包括绿色荧光成分2304和红色荧光成分2305,所以通过这些荧光成分的发光而发出黄色的光。这2个荧光成分中的绿色荧光成分2304在接受从蓝色led2303发出的蓝色的光作为激发光时,呈绿色地发光。即,绿色荧光成分2304发出绿色(g)的光。上述2个荧光成分中的红色荧光成分2305在接受从蓝色led2303发出的蓝色的光作为激发光时,呈红色地发光。即,红色荧光成分2305发出红色(r)的光。由此,发出rgb或者y(rg)b的各个光,所以发送机输出白色光作为背光源。

该发送机通过使蓝色led2303与上述各实施方式同样地发生亮度变化,来发送白色光的可见光信号。此时,通过白色光的亮度发生变化,来输出具有预定的输送频率的可见光信号。

这里,条码阅读器向条码照射红色激光,基于从条码反射的红色激光的亮度变化,来读取该条码。该红色激光的条码的读取频率有时与从当前实用化的一般的发送机输出的可见光信号的输送频率一致或者近似。因此,在这样的情况下,条码阅读器有时在想要读取被来自该一般的发送机的可见光信号即白色光照射的条码时,有时因该白色光所包含的红色的光的亮度变化,该读取失败。即,因可见光信号(尤其是红色的光)的输送频率与条码的读取频率的干涉,产生条码的读取错误。

于是,本实施方式的红色荧光成分2305中,使用残光的持续时间比绿色荧光成分2304长的荧光材料。即,本实施方式的红色荧光成分2305以比蓝色led2303和绿色荧光成分2304的亮度变化的频率足够低的频率发生亮度变化。换言之,红色荧光成分2305比可见光信号所包含的红色的亮度变化的频率慢。

图114b是表示rgb各自的亮度变化的图。

来自蓝色led2303的蓝色的光如图114b的(a)所示那样,包含于可见光信号而被输出。绿色荧光成分2304如图114b的(b)所示那样,在接受来自蓝色led2303的蓝色的光时,发出绿色光。该绿色荧光成分2304的残光的持续时间短。因此,在该蓝色led2303发生亮度变化时,绿色荧光成分2304发出以与该蓝色led2303的亮度变化的频率(即可见光信号的输送频率)大致相同的频率进行亮度变化的绿色的光。

红色荧光成分2305如图114b的(c)所示那样,在接受来自蓝色led2303的蓝色的光时,发出红色光。该红色荧光成分2305的残光的持续时间长。因此,在该蓝色led2303发生亮度变化时,红色荧光成分2305发出以比该蓝色led2303的亮度变化的频率(即可见光信号的输送频率)低的频率进行亮度变化的红色的光。

图115是表示本实施方式的绿色荧光成分2304和红色荧光成分2305的残光特性的图。

绿色荧光成分2304在例如蓝色led2303不发生亮度变化地点亮的情况下,不发生亮度变化地发出强度i=i0的绿色的光(即亮度变化的频率f=0的光)。此外,即使蓝色led2303以低频率发生亮度变化,绿色荧光成分2304也发出以与该低频率大致相同频率f发生亮度变化的强度i=i0的绿色的光。但是,在蓝色led2303以高频率发生亮度变化时,以与该高频率大致相同频率f发生亮度变化的从绿色荧光成分230发出的绿色的光的强度i因绿色荧光成分2304的残光的影响,而变得比强度i0小。结果,从绿色荧光成分2304发出的绿色的光的强度i如图115的虚线所示那样,在该光的亮度变化的频率f不足阈值fb的情况下,保持为i=i0,但在频率f超过阈值fb而变高时,逐渐变小。

此外,本实施方式的红色荧光成分2305的残光的持续时间比绿色荧光成分2304的残光的持续时间长。因此,从红色荧光成分2305发出的红色的光的强度i如图115的实线所示那样,该光的亮度变化的频率f在不足比上述阈值fb低的阈值fa时,保持i=i0,但在频率f超过阈值fb而变高时,逐渐变小。换言之,从红色荧光成分2305发出的红色的光不存在于从绿色荧光成分2304发出的绿色的光的频带中的高频区域,而是仅存在于低频区域。

更具体而言,本实施方式的红色荧光成分2305中,使用以与可见光信号的输送频率f1相同的频率f发出的红色的光的强度i成为i=i1的荧光材料。输送频率f1是发送机所具备的蓝色led2303的亮度变化的输送频率。此外,上述的强度i1是强度i0的1/3的强度或者强度i0的-10db的强度。例如,输送频率f1是10khz或者5~100khz。

即,本实施方式的发送机是发送可见光信号的发送机,具备:蓝色led,其将发生亮度变化的蓝色的光作为上述可见光信号所包含的光而发出;绿色荧光成分,其通过接受上述蓝色的光而将绿色的光作为上述可见光信号所包含的光发出;以及红色荧光成分,其通过接受上述蓝色的光而将红色的光作为上述可见光信号所包含的光而发出。并且,上述红色荧光成分的残光的持续时间比绿色荧光成分的残光的持续时间长。另外,上述绿色荧光成分和上述红色荧光成分也可以包含于通过接受上述蓝色的光而将黄色的光作为上述可见光信号所包含的光而发出的单一荧光体。或者,也可以是,上述绿色荧光成分包含于绿色荧光体,且上述红色荧光成分包含于与上述绿色荧光体相独立的红色荧光体。

由此,红色荧光成分的残光的持续时间长,所以能够使红色的光以比蓝色和绿色的光的亮度变化的频率低的频率发生亮度变化。因此,即使白色光的可见光信号所包含的蓝色和绿色的光的亮度变化的频率与红色激光的条码的读取频率相同或者近似,也能够使白色光的可见光信号所包含的红色的光的频率与条码的读取频率大不相同。结果,能够抑制条码的读取错误的产生。

这里,上述红色荧光成分也可以发出以比从蓝色led发出的光的亮度变化的频率低的频率发生亮度变化的红色的光。

此外,上述红色荧光成分也可以具备通过接受蓝色的光而发出红色的光的红色荧光材料和仅使预定的频带的光透射的低频滤光器。例如,上述低频滤光器仅使从上述蓝色led发出的蓝色的光中的低域的频带的光透射而抵达上述红色荧光材料。另外,上述红色荧光材料也可以具有与上述绿色荧光成分相同的残光特性。或者,上述低频滤光器仅使通过从所述蓝色led发出的蓝色的光抵达上述红色荧光材料而从上述红色荧光材料发出的红色的光中的低域的频带的光透射。在使用这样的低频滤光器的情况下,也能够与上述同样,抑制条码的读取错误的产生。

此外,上述红色荧光成分也可以包括具有预先确定的残光特性的荧光材料。例如,预先确定的残光特性是如下特性,在(a)将从上述红色荧光成分发出的红色的光的亮度变化的频率f为0的情况下的上述红色的光的强度设为i0,(b)将从上述蓝色led发出的光的亮度变化的输送频率设为f1的情况下,在上述红色的光的频率f成为f=f1时,上述红色的光的强度成为上述i0的1/3以下或者-10db以下。

由此,能够使可见光信号所包含的红色的光的频率与条码的读取频率切实地大不相同。结果,能够切实地抑制条码的读取错误的产生。

此外,所述输送频率f1也可以是大致10khz。

由此,因为当前实用化的可见光信号的发送所使用的输送频率为9.6khz,所以在该实用化的可见光信号的发送中,能够有效地抑制条码的读取错误的产生。

此外,所述输送频率f1也可以是大致5~100khz。

因接收可见光信号的接收机的图像传感器(摄像元件)的进步,在今后的可见光通信中,设想会使用20khz、40khz、80khz或者100khz等的输送频率。因此,通过将上述的输送频率f1设为大致5~100khz,在今后的可见光通信中,也能够有效地抑制条码的读取错误的产生。

此外,在本实施方式中,不管是绿色荧光成分和红色荧光成分包含于单一荧光体,还是这2个荧光成分分别包含于独立的荧光体,都能够起到上述各效果。即,即使在使用单一荧光体的情况下,从该荧光体发出的红色的光和绿色的光各自的残光特性、即频率特性也是不同的。因此,通过使用红色的光的残光特性或者频率特性差、绿色的光的残光特性或者频率特性优的单一荧光体,也能够起到上述各效果。另外,残光特性或者频率特性差是指残光的持续时间长或者高频带下的光的强度弱,残光特性或者频率特性优,是指残光的持续时间短或者高频带下的光的强度强。

这里,在图114a~图115所示的例子中,通过使可见光信号所包含的红色的亮度变化的频率慢,抑制了条码的读取错误的产生,但也可以通过提高可见光信号的输送频率,来抑制该读取错误的产生。

图116是用来说明为了抑制条码的读取错误的产生而新产生的课题的图。

如图116所示那样,在可见光信号的输送频率fc为约10khz的情况下,条码的读取所使用的红色激光的读取频率也为约10~20khz,所以彼此的频率会干涉,产生条码的读取错误。

于是,通过将可见光信号的输送频率fc从约10khz提高到例如40khz,能够抑制条码的读取错误的产生。

但是,若可见光信号的输送频率fc为约40khz,则用于接收机通过摄影而对可见光信号进行采样的采样频率fs需要是80khz以上。

即,因为在接收机中所需的采样频率fs高,所以产生接收机的处理负担增大这一新的课题。于是,为了解决该新的课题,本实施方式的接收机进行下采样(downsampling)。

图117是用来说明由本实施方式的接收机进行的下采样的图。

本实施方式的发送机2301构成为例如液晶显示器、数字标牌或者照明设备。并且,发送机2301输出频率调制后的可见光信号。此时,发送机2301将该可见光信号的输送频率fc切换成例如40khz和45khz。

本实施方式的接收机2302以例如30fps的帧速率摄影该发送机2301。此时,接收机2302与上述各实施方式的接收机同样地,以在通过摄影而得到的各图像(具体而言各帧)中产生亮线的方式,以短的曝光时间进行摄影。此外,接收机2302的摄影所使用的图像传感器中存在例如1000个曝光线。因此,在1帧的摄影中,通过1000个曝光线分别在不同的定时开始曝光,对可见光信号进行采样。结果,在1秒内,进行30fps×1000个=30000次的采样(30ks/秒)。换言之,可见光信号的采样频率fs成为30khz。

按照一般的采样定理,在采样频率fs=30khz下,仅能调解15khz以下的输送频率的可见光信号。

但是,本实施方式的接收机2302在采样频率fs=30khz下对输送频率fc=40khz或者45khz的可见光信号进行下采样。通过该下采样,虽然帧中产生混叠(alias),但本实施方式的接收机2302通过观察和分析该混叠,来推测可见光信号的输送频率fc。

图118是表示本实施方式的接收机2302的处理动作的流程图。

首先,接收机2302通过对被拍摄对象进行摄影,来对输送频率fc=40khz或者45khz的可见光信号,进行采样频率fs=30khz的下采样(步骤s2310)。

接着,接收机2302观察和分析通过该下采样而得到的帧中产生的混叠(步骤s2311)。由此,接收机2302将该混叠的频率确定为例如5.1khz或者5.5khz。

然后,接收机2302基于该确定出的混叠的频率,来推测可见光信号的输送频率fc(步骤s2311)。即,接收机2302从混叠复原原来的频率。由此,接收机2302将可见光信号的输送频率fc推测为例如40khz或者45khz。

这样,本实施方式的接收机2302通过进行下采样和基于混叠的频率的复原,能够适当接收高的输送频率的可见光信号。例如,即使采样频率为fs=30khz,接收机2302也能够接收30khz~60khz的输送频率的可见光信号。因此,能够将可见光信号的输送频率从当前实用化的频率(约10khz)提高到30khz~60khz。结果,能够使可见光信号的输送频率与条码的读取频率(10~20khz)大不相同,抑制彼此的频率的干涉。结果,能够抑制条码的读取错误的产生。

这样的本实施方式的接收方法是从被拍摄对象取得信息的接收方法,包括:曝光时间设定步骤,以在图像传感器对上述被拍摄对象的摄影而得到的帧中与上述被拍摄对象的亮度变化相应地产生与上述图像传感器所包含的多个曝光线对应的多个亮线的方式,设定上述图像传感器的曝光时间;摄影步骤,通过上述图像传感器所包含的上述多个曝光线分别反复依次在不同的时刻开始曝光,上述图像传感器以预定的帧速率且以所设定的上述曝光时间对发生亮度变化的上述被拍摄对象进行摄影;以及信息取得步骤,在通过上述摄影而得到的每个帧,通过对根据该帧所包含的上述多个亮线的样式而确定的数据进行解调,来取得信息。并且,在上述摄影步骤中,通过上述多个曝光线分别反复依次在不同的时刻开始曝光,以比通过上述被拍摄对象的亮度变化而发送的可见光信号的输送频率低的采样频率,对上述可见光信号进行下采样,在上述信息取得步骤中,在通过上述摄影而得到的每个帧,对根据该帧所包含的上述多个亮线的样式而确定的混叠的频率进行确定,根据确定出的上述混叠的频率来推测上述可见光信号的频率,通过对推测出的上述可见光信号的频率进行解调来取得上述信息。

在这样的接收方法中,通过进行下采样和基于混叠的频率的复原,能够适当接收高的输送频率的可见光信号。

此外,在上述下采样中,也可以对比30khz高的输送频率的可见光信号进行下采样。由此,能够避免可见光信号的输送频率与条码的读取频率(10~20khz)的干涉,能够更有效地抑制条码的读取错误。

(实施方式15)

图119是表示接收装置(摄像装置)的处理动作的图。具体而言,图119是用来对接收可见光通信的情况下通常摄像模式和微距(macro)摄像模式的切换处理的一例进行说明的图。

这里,接收装置1610接收由多个光源(在图119中,4个光源)构成的发送装置所发出的可见光。

首先,接收装置1610在转变为了进行可见光通信的模式的情况下,以通常摄像模式起动摄像部(s1601)。另外,接收装置1610在转变为了进行可见光通信的模式的情况下,将摄像光源的框1611显示于画面。

在预定时间之后,接收装置1610将摄像部的摄像模式切换成微距摄像模式(s1602)。此外,从步骤s1601向步骤s1602切换的定时也可以不是步骤s1601后的预定时间,而是在判定为接收装置1610以光源处于框1611内的方式进行了摄像时。若这样切换成微距摄像模式,则用户只要在通过微距摄像模式而图像模糊前的通常摄像模式下的清楚的图像中使光源处于框1611内即可,因此能够容易地使光源处于框1611内。

接着,接收装置1610判定是否接收到了来自光源的信号(s1603)。若判定为接收到了来自光源的信号(在s1603中的“是”),则返回步骤s1601的通常摄像模式,若判定为没有接收到来自光源的信号(在s1603中的“否”),则持续步骤1602的微距摄像模式。另外,在步骤s1603中为“是”的情况下,也可以进行基于接收到的信号的处理(例如,显示所接收到的信号所表示的图像的处理)。

根据该接收装置1610,通过用户用手指触摸智能电话的光源1611的显示部来从通常摄像模式切换成微距摄像模式,由此能够在模糊的状态下拍摄多个光源。因而,在以微距摄像模式拍摄的图像中,包含大量比以通常摄像模式摄像的情况下的图像亮的区域。尤其是,在多个光源中相邻的2个光源之间,来自2个光源的光重叠,所以如图119的(a)的左图所示那样条纹状的影像离开,所以能够将不能作为连续信号接收这一课题作为用于成为右图那样连续的条纹的连续接收信号而进行解调。因为能够一次接收较长的码,所以具有响应时间变短这一效果。如图119的(b)所示,若首先以通常快门和通常焦点来对摄影图像进行摄影,则可得到美丽的通常的图像。但是,若如文字那样光源离开,则即使使快门高速化也不能得到连续数据,所以不能解调。接着,若使快门高速化并且将透镜的焦点用驱动部设为近距离(微距),则光源会模糊而扩开,所以4个光源相连,能够接收数据。接着若返回焦点,使快门速度返回通常,则可得到原来的美丽的图像。如(c)那样,在显示部中,将美丽的图像记录于存储器并进行显示,具有在显示部仅显示美丽的图像这一效果。与以通常摄像模式拍摄的图像相比,以微距摄像模式拍摄的图像中能够包括更多比预定的明亮度亮的区域。因而,在微距摄像模式中,能够增加相对于该被拍摄对象能够生成亮线的曝光线的数量。

图120是表示接收装置(摄像装置)的处理动作的图。具体而言,图120是用来对接收可见光通信的情况下的通常摄像模式和微距摄像模式的切换处理的另一例进行说明的图。

这里,接收装置1620接收从由多个光源(在图120中,4个光源)构成的发送装置所发出的可见光。

首先,接收装置1620在转变为了进行可见光通信的模式的情况下,以通常摄像模式起动摄像部,摄像比接收装置1620的画面所显示的图像1622广的范围的图像1623。然后,将表示所拍摄的图像1623的图像数据和拍摄该图像1623时的接收装置1620的由陀螺仪传感器、地磁传感器以及加速度传感器检测到的表示接收装置1620的姿势的姿势信息保持于存储器(s1611)。另外,拍摄到的图像1623是以接收装置1620的画面所显示的图像1622为基准而在上下方向以及左右方向上大出预定的宽度的范围的图像。此外,接收装置1620在转变为了进行可见光通信的模式的情况下,将摄像光源的框1621显示于画面。

在预定时间之后,接收装置1620将摄像部的摄像模式切换为微距摄像模式(s1612)。另外,从步骤s1611向步骤s1612切换的定时可以不是步骤s1611后的预定时间,而是摄像图像1623并判断为表示所拍摄的图像1623的图像数据保持于存储器时。此时,接收装置1620基于保持于存储器的图像数据来显示图像1623中与接收装置1620的画面尺寸对应的尺寸的图像1624。

另外,此时接收装置1620所显示的图像1624是图像1623中一部分的图像,是根据由在步骤s1611中取得的姿势信息表示的接收装置1620的姿势(由空心虚线表示的位置)与当前的接收装置1620的姿势的差量而预测为当前的由接收装置1620摄像的区域的图像。即,图像1624是图像1623中一部分的图像,是与实际以微距摄像模式拍摄的图像1625的摄像对象对应的区域的图像。即,在步骤s1612中,取得从步骤s1611的时刻起变化了的姿势(摄像方向),根据取得的当前的姿势(摄像方向)来确定被推测为当前拍摄着的摄像对象,根据预先拍摄的图像1623来确定与当前的姿势(摄像方向)相应的图像1624,进行显示图像1624的处理。因而,接收装置1620如图120的图像1623所示,在接收装置1620从以空心虚线表示的位置向空心箭头的方向移动了的情况下,能够根据该移动量决定从图像1623裁出的图像1624的区域,显示所决定的区域的图像1623即图像1624。

由此,接收装置1620即使在以微距摄像模式摄像的情况下,也能够不显示以微距摄像模式拍摄的图像1625,而显示从更清楚的以通常摄像模式拍摄的图像1623中根据当前的接收装置1620的姿势而裁出的图像1624。在从焦点模糊了的图像离开距离的多个光源得到连续的可见光信息的同时、使显示部显示所存储的通常面像的本发明的方式中,预想到会产生如下课题,在用户使用智能电话来摄影时,会产生手抖动,实际的摄影图像与从存储器显示的静止图像的方向会偏离,用户难以将方向对准作为目标的光源。在该情况下,变得不能接收来自光源的数据,所以需要采取对策。但是,根据改良后的本发明,即使手抖动,通过图像摆动检测单元和/或每个振动陀螺仪的摆动检测单元,来检测手抖动,静止图像中的目标图像被向预定的方向位移,而用户会知道与摄像头的方向的偏离。通过该显示,用户变得能够将摄像头朝向作为目标的光源,所以能够将一边显示通常图像一边分割的多个光源光学连结地进行摄影,能够连续地接收信号。由此,能够在使通常图像显示之后接收分割成多个的光源。在该情况下,能够容易地以多个光源与框1621相对的方式调整接收装置1620的姿势。另外,在使焦点模糊的情况下,光源被分散,所以等价地亮度下降,通过提升摄像头的iso等的感光度,具有能够更可靠地接收可见光数据这一效果。

接着,接收装置1620判定是否接收到了来自光源的信号(s1613)。若判定为接收到了来自光源的信号(在s1613中的“是”),则返回步骤s1611的通常摄像模式,若判定为没有接收到来自光源的信号(在s1613中的“否”),则持续步骤1612的微距摄像模式。此外,也可以在步骤s1613中为“是”的情况下,进行基于所接收到的信号的处理(例如,显示由所接收的信号表示的图像的处理)。

在该接收装置1620中也与接收装置1610同样,在微距摄像模式中能够拍摄包含更亮的区域的图像。因而,在微距摄像模式中,能够增加相对于该被拍摄对象能够生成的亮线的曝光线的数量。

图121是表示接收装置(摄像装置)的处理动作的图。

此处,发送装置1630例如是电视机等显示装置,以预定时间间隔δ1630通过可见光通信来发送不同的发送id。具体而言,在时刻t1631、t1632、t1633、t1634,分别发送作为与所显示的图像1631、1632、1633、1634对应的数据分别相关联的发送id的id1631、id1632、id1633、id1634。即,从发送装置1630,以预定时间间隔δt1630依次发送id1631~id1634。

接收装置1640基于通过可见光通信而接收到的发送id向服务器1650请求与各发送id相关联的数据,从服务器接收数据,显示与该数据对应的图像。具体而言,分别在时刻t1631、t1632、t1633、t1634显示与id1631、id1632、id1633、id1634分别对应的图像1641、1642、1643、1644。

接收装置1640也可以在取得了在时刻t1631接收到的id1631的情况下,从服务器1650取得表示预定在其后的时刻t1632~t1634从发送装置1630发送的发送id的id信息。在该情况下,接收装置1640通过使用所取得的id信息,即使不每次都从发送装置1630接收发送id,也能够向服务器1650请求与在时刻t1632~t1634的id1632~id1634相关联的数据,在各时刻t1632~t1634显示所接收到的数据。

此外,接收装置1640即使不从服务器1650取得表示预定在其后的时刻t1632~t1634从发送装置1630发送的发送id的信息,若在时刻t1631请求与id1631对应的数据,则从服务器1650接收与在其后的时刻t1632~t1634对应的发送id相关联的数据,在各时刻t1632~t1634显示所接收到的数据。即,服务器1650在从接收装置1640接收到了与在时刻t1631发送的id1631相关联的数据的请求的情况下,即使不存在来自接收装置1640的请求,也在各时刻t1632~t1634对接收装置1640发送与对应于其后的时刻t1632~t1634的发送id相关联的数据。即,在该情况下,服务器1650保持将各时刻t1631~1634和与对应于各时刻t1631~1634的发送id相关联的数据建立了关联的相关联信息,基于相关联信息,在预定的时刻发送与该预定的时刻相关联的预定的数据。

这样,接收装置1640若能够在时刻t1631通过可见光通信取得发送id1631,则在其后的时刻t1632~t1634,即使不进行可见光通信,也能够从服务器1650接收与各时刻t1632~t1634对应的数据。因而,用户不需要为了通过可见光通信来取得发送id而将接收装置1640持续地朝向发送装置1630,能够容易地使接收装置1640显示从服务器1650取得的数据。在该情况下,接收装置1640在每次从服务器取得与id对应的数据时,会产生来自服务器的时间延迟而响应时间变长。因此,为了使响应加快,从服务器等预先将与id对应的数据存储于接收机的存储部,通过显示存储部中的与id对应的数据,能够使响应时间加快。在该方式中,若对来自可见光发送机的发送信号预先加入输出下一id的时间信息,则接收机侧即使不连续地接收可见光信号,在到了该时间时,也能够知晓下一id的发送时间,所以具有无需将接收装置一直朝向光源的方向这一效果。该方式具有如下效果:在接收到可见光时,仅通过将发送机侧的时间信息(时钟)与接收机侧的时间信息(时钟)同步,即使在同步后不接收发送机的数据,也能够连续地显示与发送机同步了的画面。

此外,在上述的例子中,接收装置1640在时刻t1631、t1632、t1633以及t1634,分别显示与作为发送id的id1631、id1632、id1633以及id1634的各个对应的图像1641、1642、1643、1644。此处,接收装置1640也可以如图122所示那样,在上述各时刻并非仅提示图像,还提示其他信息。即,接收装置1640在时刻t1631,显示与id1631对应的图像1641,并且输出与该id1631对应的音或者声音。此时,接收装置1640也可以显示在该图像显示的例如商品的购入网站。这样的音的输出和购入网站的显示在时刻t1631以外的时刻t1632、t1633以及t1634的各个也同样地进行。

接着,在如图119的(b)所示那样搭载了用于立体的左右2个摄像头的智能电话的情况下,在左眼用摄像头中以通常的快门速度、通常的焦点来显示通常的画质的图像。同时在右眼用摄像头中,以比左眼高速的快门,并且/或者短的距离的焦点和/或设定成微距,得到本发明的条纹状的亮线,对数据进行解调。由此,可得到如下效果:在显示部显示通常的画质的图像,并且能够通过右眼摄像头来接收距离上被分割了的多个光源的光通信数据。

(实施方式16)

在此,以下针对声音同步再现的应用例进行说明。

图123是示出实施方式16的应用的一例的图。

例如作为智能电话构成的接收机1800a接收从例如作为街头数字标牌构成的发送机1800b发送的信号(可见光信号)。即,接收机1800a接收发送机1800b的图像再现的定时。接收机1800a在与该图像再现相同的定时,使声音再现。换言之,接收机1800a进行该声音的同步再现,以使得通过发送机1800b再现的图像和声音同步。此外,接收机1800a也可以使与通过发送机1800b再现的图像(再现图像)相同的图像或与该再现图像相关联的关联图像和声音一起再现。另外,接收机1800a也可以使与接收机1800a连接的设备再现声音等。另外,接收机1800a也可以在接收到可见光信号后,从服务器下载与该可见光信号相对应的声音或关联图像等内容。接收机1800a在该下载后进行同步再现。

由此,即便在听不到来自发送机1800b的声音的情况下、和/或由于街头声音再现被禁止而来自发送机1800b的声音未被再现的情况下,用户也能够听到与发送机1800b的显示相匹配的声音。另外,在存在在声音到达前要花费时间那样的距离的情况下,也能够听到与显示相匹配的声音。

这里,以下对基于声音同步再现的多语言对应进行说明。

图124是示出实施方式16的应用的一例的图。

接收机1800a以及接收机1800c分别从服务器取得设定于该接收机的语言的、与发送机1800d所显示的例如电影等影像对应的声音,并且再现。具体而言,发送机1800d将表示用于识别所显示的影像的id的可见光信号向接收机发送。接收机当接收该可见光信号时,将包含该可见光信号所表示的id和自己设定的语言的请求信号向服务器发送。接收机从服务器取得与该请求信号对应的声音并进行再现。由此,用户能够以自己设定的语言享受发送机1800d所显示的作品。

这里,以下对声音同步方法进行说明。

图125以及图126是表示实施方式16的发送信号的例子和声音同步方法的例子的图。

各自不同的数据(例如图125所示的数据:1~6等)与每一定时间(n秒)的时刻相关联。这些数据例如既可以是用于识别时间的id,也可以是时间,还可以是声音数据(例如64kbps的数据)。以下,以数据是id为前提进行说明。各自不同的id也可以是附随于id的附加信息部分不同的id。

优选构成id的数据包不同。因此,优选id不连续。或者,在将id数据包化时优选构成非连续的部分作为一个数据包的数据包化方法。即便是连续的id,错误订正信号的成为不同的样式的倾向也较高,因此,也可以构成为不将错误订正信号汇集于一个数据包,而使其分散于多个数据包。

发送机1800d例如与显示的图像的再现时刻相匹配地发送id。接收机通过检测id变更后的定时,能够识别发送机1800d的图像的再现时刻(同步时刻)。

在(a)的情况下,接收到id:1和id:2的变化时间点,因此,能够正确地识别同步时刻。

在发送id的时间n长的情况下,这样的机会少,有时能够如(b)那样接收id。在该情况下,也能够通过以下的方法来识别同步时刻。

(b1)将id变化了的接收区间的中点设想为id变化点。另外,将从过去推测到的id变化点经过时间n的整数倍后的时刻也推测为id变化点,将多个id变化点的中点推测为更正确的id变化点。通过这样的推测的算法,能够逐渐地推测正确的id变化点。

(b2)除了上述之外,通过将id未变化的接收区间及其时间n的整数倍后的时刻推测为不包含id变化点,有可能是id变化点的区间逐渐地减少,能够推测正确的id变化点。

通过将n设定为0.5秒以下,能够正确地进行同步。

通过将n设定为2秒以下,能够以不使用户感觉到延迟的方式进行同步。

通过将n设定为10秒以下,能够以抑制id的浪费的方式进行同步。

图126是表示实施方式16的发送信号的例的图。

在图126中,通过利用时间数据包进行同步,能够避免id的浪费。时间数据包是保持有进行了发送的时刻的数据包。在需要表现长的时间的情况下,分割为表示精细的时间的时间数据包1和表示粗略的时间的时间数据包2来构成时间数据包。例如,时间数据包2表示时刻中的时以及分,时间数据包1仅表示时刻中的秒。也可以将表示时刻的数据包分割为3个以上的时间数据包。由于粗略的时间的必要性少,因此,通过与粗略的时间数据包相比较多地发送精细的时间数据包,接收机能够快速且正确地识别同步时刻。

即,在本实施方式中,通过可见光信号包含表示时刻中的时以及分的第2信息(时间数据包2)和表示时刻中的秒的第1信息(时间数据包1),表示可见光信号被从发送机1800d发送的时刻。并且,接收机1800a接收第2信息,并且接收比接收该第2信息的次数多的次数的第1信息。

这里,以下对同步时刻调整进行说明。

图127是表示实施方式16的接收机1800a的处理流程的一例的图。

由于从信号被发送到由接收机1800a处理并再现声音或动态图像为止,需要花费某程度的时间,因此,通过进行估计该处理时间而再现声音或动态图像的处理,能够正确地进行同步再现。

首先,对接收机1800a指定处理延迟时间(步骤s1801)。该步骤既可以保持于处理程序中,也可以由用户指定。通过用户进行修正,会能够实现与接收机个体相匹配的更正确的同步。通过按接收机的各个型号,使该处理延迟时间根据接收机的温度和/或cpu使用比例来变化,能够更正确地进行同步。

接收机1800a判定是否接收到时间数据包或接收到作为声音同步用而所关联的id(步骤s1802)。这里,接收机1800a在判定为接收到时(步骤s1802的“是”),进一步判定是否存在待处理图像(步骤s1804)。在判定为存在待处理图像时(步骤s1804的“是”),接收机1800a废弃该待处理图像或将待处理图像的处理延后,进行从所取得的最新图像开始的接收处理(步骤s1805)。由此能够回避由待处理量导致的无法预测的延迟。

接收机1800a计测可见光信号(具体而言的亮线)位于图像中的哪个位置(步骤s1806)。即,通过计测信号出现在从图像传感器的最初曝光线开始的与曝光线垂直的方向的哪个位置,能够计算从图像取得开始时刻到信号接收时刻为止的时间差(图像内延迟时间)。

接收机1800a通过在识别到的同步时刻,再现加上了处理延迟时间和图像内延迟时间的时刻的声音或动态图像,能够正确地进行同步再现(步骤s1807)。

另一方面,在步骤s1802中,接收机1800a当判定为未接收到时间数据包或声音同步用id时,从通过摄像而得的图像中接收信号(步骤s1803)。

图128是示出实施方式16的接收机1800a的用户界面的一例的图。

如图128的(a)所示,用户通过按压接收机1800a所显示的按钮bt1~bt4的某一个,能够调整上述的处理延迟时间。另外,也可以是,如图128的(b)所示,能够通过滑动动作来设定处理延迟时间。由此,能够基于用户的感觉更正确地进行同步再现。

这里,以下对耳机限定再现(限定用耳机进行再现)进行说明。

图129是示出实施方式16的接收机1800a的处理流程的一例的图。

通过由该处理流程示出的耳机限定再现,能够不给周围带来麻烦地进行声音再现。

接收机1800a确认是否正进行耳机限定(限定为耳机)的设定(步骤s1811)。在正进行耳机限定的设定的情况下,例如在接收机1800a中进行耳机限定的设定。或者,在接收到的信号(可见光信号)中进行作为耳机限定的设定。或者,耳机限定这一状况与所接收的信号相关联地记录于服务器或接收机1800a。

接收机1800a在确认进行了耳机限定时(步骤s1811的“是”),判定耳机是否与接收机1800a连接(步骤s1813)。

接收机1800a当确认未进行耳机限定时(步骤s1811的“否”),或,当判定为连接着耳机时(步骤s1813的“是”),将声音再现(步骤s1812)。当将声音再现时,接收机1800a将音量调整为该音量处于设定范围内。该设定范围与耳机限定的设定同样地被设定。

接收机1800a当判定为耳机未连接时(步骤s1813的“否”),进行向用户催促连接耳机的通知(步骤s1814)。该通知例如通过画面显示、声音输出或振动来进行。

另外,接收机1800a在未设定禁止强制性地进行声音再现的情况下,准备用于强制再现的界面,判定用户是否进行了强制再现的操作(步骤s1815)。这里,当判定为进行了强制再现的操作时(步骤s1815的“是”),接收机1800a在未连接有耳机的情况下也将声音再现(步骤s1812)。

另一方面,当判定为未进行强制再现的操作时(步骤s1815的“否”),接收机1800a通过保持预先接收到的声音数据以及解析出的同步时刻,在连接了耳机时,快速地进行声音的同步再现。

图130是示出实施方式16的接收机1800a的处理流程的另一例的图。

接收机1800a首先从发送机1800d接收id(步骤s1821)。即,接收机1800a接收表示发送机1800d的id或发送机1800d所显示的内容的id的可见光信号。

接着,接收机1800a从服务器下载与该接收到的id相关联的信息(内容)(步骤s1822)。或者,接收机1800a从位于接收机1800a的内部的数据保持部读出该信息。以下,将该信息称为关联信息。

接着,接收机1800a判定该关联信息所含的同步再现标志是否表示on(激活)(步骤s1823)。这里,当判定为同步再现标志不表示on时(步骤s1823的“否”),接收机1800a输出由该关联信息表示的内容(步骤s1824)。即,在该内容为图像的情况下,接收机1800a显示图像,在该内容是声音的情况下,接收机1800a输出声音。

另一方面,接收机1800a当判定为同步再现标志表示on时(步骤s1823的“是”),进一步,判定该关联信息所含的时刻匹配模式是被设定为发送机基准模式,还是被设定为绝对时刻模式(步骤s1825)。当判定为被设定为绝对时刻模式时,接收机1800a判定最后的时刻匹配是否在从当前时刻起的一定时间以内被进行(步骤s1826)。此时的时刻匹配是通过预定的方法得到时刻信息并使用该时刻信息使接收机1800a所具备的时钟的时刻匹配于基准时钟的绝对时刻的处理。预定的方法例如是使用了gps(globalpositioningsystem:全球定位系统)电波或ntp(networktimeprotocol:网络时间协议)电波的方法。此外,上述的当前时刻也可以是作为终端装置的接收机1800a接收到可见光信号的时刻。

接收机1800a当判定为最后的时刻匹配在一定时间以内进行了时(步骤s1826的“是”),基于接收机1800a的时钟的时刻输出关联信息,由此使发送机1800d所显示的内容与关联信息同步(步骤s1827)。在通过关联信息表示的内容例如为动态图像的情况下,接收机1800a以与发送机1800d所显示的内容同步的方式,显示该动态图像。在通过关联信息表示的内容例如为声音的情况下,接收机1800a以与发送机1800d所显示的内容同步的方式,输出该声音。例如,在关联信息表示声音的情况下,关联信息包含构成声音的各帧,在这些帧上附有时间戳。接收机1800a通过将附有与自身的时钟的时刻相符的时间戳的帧再现,输出与发送机1800d的内容同步的声音。

接收机1800a当判定为最后的时刻匹配未在一定时间以内进行时(步骤s1826的“否”),以预定的方法尝试时刻信息的取得,并判定是否能够取得该时刻信息(步骤s1828)。这里,当判定为能够取得时刻信息时(步骤s1828的“是”),接收机1800a使用该时刻信息,来更新接收机1800a的时钟的时刻(步骤s1829)。并且,接收机1800a执行上述的步骤s1827的处理。

另外,在步骤s1825中,当判定为时刻匹配模式是发送机基准模式时,或在步骤s1828中,判定为无法取得时刻信息时(步骤s1828的“否”),接收机1800a从发送机1800d取得时刻信息(步骤s1830)。即,接收机1800a利用可见光通信从发送机1800d取得作为同步信号的时刻信息。例如,同步信号是图126所示的时间数据包1以及时间数据包2。或,接收机1800a利用bluetooth(注册商标)或wi-fi等的电波从发送机1800d取得时刻信息。并且,接收机1800a执行上述的步骤s1829以及s1827的处理。

在本实施方式中,如步骤s1829、s1830那样,在进行了用于通过gps电波或ntp电波在作为接收机1800a的终端装置的时钟和基准时钟之间取得同步的处理(时刻匹配)的时刻为从终端装置接收到可见光信号的时刻起往前的预定时间之前的情况下,利用从发送机1800d发送的可见光信号表示的时刻,在终端装置的时钟和发送机的时钟之间取得同步。由此,终端装置能够在与发送机1800d所再现的发送机侧内容同步的定时,对内容(动态图像或声音)进行再现。

图131a是用来说明实施方式16中的同步再现的具体方法的图。同步再现的方法包括图131a所示的方法a~e。

(方法a)

在方法a中,发送机1800d与上述各实施方式同样地,通过使显示器发生亮度变化,来输出表示内容id以及内容再现中时刻的可见光信号。内容再现中时刻是当内容id从发送机1800d被发送了时由发送机1800d再现的、作为内容的一部分的数据的再现时刻。如果内容是动态图像,则数据是构成该动态图像的图像或场景等,如果内容是声音,则数据是构成该声音的帧等。再现时刻例如将从内容的开头开始的再现时间表示为时刻。如果内容是动态图像,则再现时刻作为pts(presentationtimestamp:呈现时间戳)包含于内容中。即,内容按构成该内容的各个数据,包含有该数据的再现时刻(显示时刻)。

接收机1800a与上述各实施方式同样地,通过对发送机1800d进行摄影来接收该可见光信号。并且,接收机1800a将包含由可见光信号表示的内容id的请求信号向服务器1800f发送。服务器1800f接收该请求信号,将与请求信号所含的内容id相对应的内容向接收机1800a发送。

接收机1800a若接收到该内容,则从(内容再现中时刻+从id接收开始的经过时间)的时间点开始再现该内容。从id接收开始的经过时间是从内容id被接收机1800a接收到时开始的经过时间。

(方法b)

在方法b中,发送机1800d与上述各实施方式同样地,通过使显示器发生亮度变化来输出表示内容id以及内容再现中时刻的可见光信号。接收机1800a与上述各实施方式同样地,通过对发送机1800d进行摄影来接收该可见光信号。并且,接收机1800a将包含由可见光信号表示的内容id以及内容再现中时刻的请求信号向服务器1800f发送。服务器1800f接收该请求信号,在与请求信号所含的内容id相对应的内容中,仅将内容再现中时刻以后的一部分内容向接收机1800a发送。

接收机1800a若接收到该一部分的内容,则从(从id接收开始的经过时间)的时间点开始再现该一部分的内容。

(方法c)

在方法c中,发送机1800d与上述各实施方式同样地,通过使显示器发生亮度变化来输出表示发送机id以及内容再现中时刻的可见光信号。发送机id是用于识别发送机的信息。

接收机1800a与上述各实施方式同样地,通过对发送机1800d进行摄影来接收该可见光信号。并且,接收机1800a将包含由可见光信号表示的发送机id的请求信号向服务器1800f发送。

服务器1800f按各发送机id,保持有作为由该发送机id的发送机再现的内容的时间表的再现预定表。服务器1800f还具备时钟。这样的服务器1800f在接收到该请求信号时,根据再现预定表确定与该请求信号所含的发送机id和服务器1800f的时钟的时刻(服务器时刻)相对应的内容,作为再现中的内容。并且,服务器1800f将该内容向接收机1800a发送。

接收机1800a在接收到该内容时,从(内容再现中时刻+从id接收开始的经过时间)的时间点开始再现该内容。

(方法d)

在方法d中,发送机1800d与上述各实施方式同样地,通过使显示器发生亮度变化来输出表示发送机id以及发送机时刻的可见光信号。发送机时刻是由发送机1800d所具备的时钟表示的时刻。

接收机1800a与上述各实施方式同样地,通过对发送机1800d进行摄影来接收该可见光信号。并且,接收机1800a将包含由可见光信号表示的发送机id以及发送机时刻的请求信号向服务器1800f发送。

服务器1800f保持有上述的再现预定表。这样的服务器1800f在接收到该请求信号时,根据再现预定表确定与该请求信号所含的发送机id和发送机时刻相对应的内容,作为再现中的内容。进一步,服务器1800f根据发送机时刻确定内容再现中时刻。即,服务器1800f根据再现预定表找到所确定的内容的再现开始时刻,将发送机时刻和再现开始时刻之间的时间确定为内容再现中时刻。并且,服务器1800f将该内容以及内容再现中时刻向接收机1800a发送。

接收机1800a在接收到该内容以及内容再现中时刻时,从(内容再现中时刻+从id接收开始的经过时间)的时间点开始再现该内容。

这样,在本实施方式中,可见光信号表示该可见光信号从发送机1800d发送的时刻。因此,作为终端装置的接收机1800a能够接收与可见光信号从发送机1800d发送的时刻(发送机时刻)相对应的内容。例如,如果发送机时刻是5时43分,则能够接收在5时43分再现的内容。

另外,在本实施方式中,服务器1800f具有与各个时刻相关联的多个内容。但是,有时在服务器1800f中不存在与可见光信号所示的时刻相关联的内容。在这样的情况下,作为终端装置的接收机1800a也可以接收该多个内容中的、与可见光信号所示的时刻最接近且与可见光信号所示的时刻之后的时刻相关联的内容。由此,即便在服务器1800f中不存在与可见光信号所示的时刻相关联的内容,也能够从存在于该服务器1800f中的多个内容中接收适当的内容。

另外,本实施方式的再现方法包括:信号接收步骤,利用接收机1800a(终端装置)的传感器从通过光源的亮度变化发送可见光信号的发送机1800d接收可见光信号;发送步骤,从接收机1800a将用于请求与可见光信号相对应的内容的请求信号向服务器1800f发送;内容接收步骤,接收机1800a从服务器1800f接收内容;以及将内容再现的再现步骤。可见光信号表示发送机id和发送机时刻。发送机id是id信息。另外,发送机时刻是由发送机1800d的时钟表示的时刻,是该可见光信号被从发送机1800d发送的时刻。并且,在内容接收步骤中,接收机1800a接收与由可见光信号示出的发送机id以及发送机时刻相对应的内容。由此,接收机1800a能够针对发送机id以及发送机时刻将适当的内容进行再现。

(方法e)

在方法e中,发送机1800d与上述各实施方式同样地,通过使显示器亮度变化来输出表示发送机id的可见光信号。

接收机1800a通过与上述各实施方式同样地,对发送机1800d进行摄影来接收该可见光信号。并且,接收机1800a将包含由可见光信号表示的发送机id的请求信号向服务器1800f发送。

服务器1800f保持上述再现预定表,还具备时钟。这样的服务器1800f在接收到该请求信号时,根据再现预定表确定与该请求信号所包含的发送机id和服务器时刻相对应的内容,作为再现中的内容。此外,服务器时刻是由服务器1800f的时钟表示的时刻。进一步,服务器1800f还根据再现预定表找到所确定的内容的再现开始时刻。并且,服务器1800f将该内容以及内容再现开始时刻向接收机1800a发送。

接收机1800a在接收到该内容以及内容再现开始时刻时,从(接收机时刻-内容再现开始时刻)的时间点再现该内容。此外,接收机时刻是由接收机1800a所具备的时钟表示的时刻。

这样,本实施方式的再现方法包括:信号接收步骤,利用接收机1800a(终端装置)的传感器从通过光源的亮度变化发送可见光信号的发送机1800d接收可见光信号;发送步骤,从接收机1800a将用于请求与可见光信号相对应的内容的请求信号向服务器1800f发送;内容接收步骤,接收机1800a从服务器1800f接收包含各时刻和在各时刻再现的数据的内容;以及再现步骤,将该内容中的与接收机1800a所具备的时钟的时刻相符合的数据进行再现。因此,接收机1800a不会在错误的时刻再现该内容中的数据,而能够在与该内容所示的正确的时刻,适当地再现该内容中的数据。另外,如果在发送机1800d中也正在再现与该内容关联的内容(发送机侧内容),则接收机1800a能够使内容与该发送机侧内容适当地同步并再现。

此外,上述方法c~e也可以如方法b那样,服务器1800f仅将内容中的内容再现中时刻以后的一部分的内容向接收机1800a发送。

另外,在上述方法a~e中,接收机1800a向服务器1800f发送请求信号,从服务器1800f接收必要的数据,但也可以是不进行这样的发送接收,而预先保持处于服务器1800f中的某数据。

图131b是示出通过上述的方法e进行同步再现的再现装置的结构的框图。

再现装置b10是通过上述的方法e进行同步再现的接收机1800a或终端装置,具备:传感器b11、请求信号发送部b12、内容接收部b13、时钟b14和再现部b15。

传感器b11例如是图像传感器,从根据光源的亮度变化发送可见光信号的发送机1800d接收该可见光信号。请求信号发送部b12将用于请求与可见光信号相对应的内容的请求信号向服务器1800f发送。内容接收部b13从服务器1800f接收包含各时刻和在各时刻再现的数据的内容。再现部b15将该内容中的与时钟b14的时刻相符的数据再现。

图131c是示出通过上述的方法e进行同步再现的终端装置的处理动作的流程图。

再现装置b10是通过上述的方法e进行同步再现的接收机1800a或终端装置,执行步骤sb11~sb14的各处理。

在步骤sb11中,从根据光源的亮度变化发送可见光信号的发送机1800d接收该可见光信号。在步骤sb12中,将用于请求与可见光信号相对应的内容的请求信号向服务器1800f发送。在步骤sb13中,从服务器1800f接收包含各时刻和在各时刻再现的数据的内容。在步骤sb14中,将该内容中的与时钟b14的时刻相符的数据再现。

这样,在本实施方式的再现装置b10以及再现方法中,不会在错误的时刻将内容中的数据再现,能够在该内容所示的正确的时刻适当地将内容中的数据再现。

此外,在本实施方式中,各构成要素可以由专用的硬件构成,或者通过执行适合各构成要素的软件程序来实现。各构成要素也可以通过cpu或处理器等程序执行部读出并执行记录于硬盘或半导体存储器等记录介质的软件程序来实现。这里,实现本实施方式的再现装置b10等的软件是使计算机执行图131c所示的流程图所含的各步骤的程序。

图132是用来说明实施方式16的同步再现的事先准备的图。

接收机1800a为了进行同步再现,进行使接收机1800a所具备的时钟的时刻与基准时钟的时刻相匹配的时刻匹配。为了该时刻匹配,接收机1800a进行以下的(1)~(5)的处理。

(1)接收机1800a接收信号。该信号既可以是通过发送机1800d的显示器的亮度变化而发送的可见光信号,也可以是基于来自无线设备的wi-fi或bluetooth(注册商标)的电波信号。或者,接收机1800a取代接收这样的信号,而例如通过gps等取得表示接收机1800a的位置的位置信息。并且,接收机1800a通过该位置信息,识别接收机1800a进入到预先决定的场所或建筑物。

(2)接收机1800a在接收到上述信号时,或识别到进入到预先决定的场所时,将请求与该信号或场所等相关联的数据(关联信息)的请求信号向服务器(可见光id解决服务器)1800f发送。

(3)服务器1800f将上述的数据和用于使接收机1800a进行时刻匹配的时刻匹配请求向接收机1800a发送。

(4)接收机1800a在接收到数据和时刻匹配请求时,将时刻匹配请求向gps时间服务器、ntp服务器或电信运营商(carrier)的基站发送。

(5)上述服务器或基站在接收到该时刻匹配请求时,将表示当前时刻(基准时钟的时刻或绝对时刻)的时刻数据(时刻信息)向接收机1800a发送。接收机1800a通过使自身所具备的时钟的时刻与该时刻数据所示的现在时刻相匹配,来进行时刻匹配。

这样在本实施方式中,在接收机1800a(终端装置)所具备的时钟和基准时钟之间,通过gps(globalpositioningsystem)电波或ntp(networktimeprotocol)电波来取得同步。因此,接收机1800a能够在根据基准时钟的适当时刻,将与该时刻相符合的数据再现。

图133是示出实施方式16的接收机1800a的应用例的图。

接收机1800a如上述那样构成为智能电话,例如被保持于由具有透光性的树脂或玻璃等构件构成的支架1810而被利用。该支架1810具有:背板部1810a和立设于背板部1810a的卡止部1810b。接收机1800a在背板部1810a与卡止部1810b之间,以沿着该背板部1810a的方式被插入。

图134a是实施方式16的被保持于支架1810的接收机1800a的主视图。

接收机1800a在如上述那样被插入的状态下被支架1810所保持。此时,卡止部1810b与接收机1800a的下部卡定,与背板部1810a夹持其下部。另外,接收机1800a的背面与背板部1810a相对,接收机1800a的显示器1801成为露出的状态。

图134b是实施方式16的被保持于支架1810的接收机1800a的后视图。

另外,在背板部1810a形成有通孔1811,在该通孔1811的附近安装有可变滤光器1812。当接收机1800a被支架1810保持时,接收机1800a的摄像头1802从背板部1810a经由通孔1811而露出。另外,接收机1800a的闪光灯1803与可变滤光器1812相对。

可变滤光器1812例如形成为圆盘状,具有分别为扇状且具有相同尺寸的3个彩色滤光器(红色滤光器、黄色滤光器以及绿色滤光器)。另外,可变滤光器1812以可变滤光器1812的中心为轴旋转自如地安装于背板部1810a。另外,红色滤光器是对红色具有透光性的滤光器,黄色滤光器是对黄色具有透光性的滤光器,绿色滤光器是对绿色具有透光性的滤光器。

因此,可变滤光器1812被旋转,例如,红色滤光器配置在与闪光灯1803a相对的位置。该情况下,从闪光灯1803a发出的光透射红色滤光器,由此,作为红色的光在支架1810的内部扩散。其结果,支架1810的大致整体呈红色地发光。

同样地,可变滤光器1812被旋转,例如,黄色滤光器配置在与闪光灯1803a相对的位置。该情况下,从闪光灯1803a发出的光透射黄色滤光器,由此,作为黄色的光在支架1810的内部扩散。其结果,支架1810的大致整体呈黄色地发光。

同样地,可变滤光器1812被旋转,例如,绿色滤光器配置在与闪光灯1803a相对的位置。该情况下,从闪光灯1803a发出的光透射绿色滤光器,由此,作为绿色的光在支架1810的内部扩散。其结果,支架1810的大致整体呈绿色地发光。

即,支架1810如笔灯那样,点亮为红色、黄色或绿色。

图135是用来说明实施方式16的保持于支架1810的接收机1800a的使用场景的图。

例如,作为被支架1810保持的接收机1800a的带支架接收机,在游乐场等被利用。即,在游乐场朝向移动的彩饰花车的多个带支架接收机,按照从该彩饰花车流出的音乐,同步地闪烁。即,彩饰花车构成为上述各实施方式的发送机,根据安装于彩饰花车的光源的亮度变化来发送可见光信号。例如,彩饰花车发送表示彩饰花车的id的可见光信号。并且,带支架接收机与上述各实施方式同样地,通过接收机1800a的摄像头1802的摄影来接收该可见光信号、即id。接收到id的接收机1800a例如从服务器取得与该id相关联的程序。该程序包括在预定的各时刻使接收机1800a的闪光灯1803点亮的命令。该预定的各时刻与从彩饰花车流出的音乐相匹配地(同步地)设定。并且,接收机1800a根据该程序使闪光灯1803a闪烁。

由此,接收到该id的各接收机1800a的支架1810按照从该id的彩饰花车流出的音乐反复在相同定时点亮。

这里,各接收机1800a根据设定的彩色滤光器(以下,称为设定滤光器)进行闪光灯1803的闪烁。设定滤光器是与接收机1800a的闪光灯1803相对的彩色滤光器。另外,各接收机1800a基于用户的操作,识别现在的设定滤光器。或,各接收机1800a基于通过摄像头1802的摄影得到的图像的颜色等,识别现在的设定滤光器。

即,接收到id的多个接收机1800a中,在预定的时刻,仅是识别出设定滤光器是红色滤光器的多个接收机1800a的支架1810同时点亮。在下一时刻,仅是识别出设定滤光器是绿色滤光器的多个接收机1800a的支架1810同时点亮。在又下一时刻,仅是识别出设定滤光器是黄色滤光器的多个接收机1800a的支架1810同时点亮。

这样,支架1810所保持的接收机1800a与上述的图123~图129所示的同步再现同样地,与彩饰花车的音乐和其他的支架1810所保持的接收机1800a同步地使闪光灯1803、即支架1810闪烁。

图136是表示实施方式16的被支架1810保持的接收机1800a的处理动作的流程图。

接收机1800a接收由来自彩饰花车的可见光信号表示的彩饰花车的id(步骤s1831)。接着,接收机1800a从服务器取得与该id相关联的程序(步骤s1832)。接着,接收机1800a通过执行该程序,在对应于设定滤光器的预定的各时刻使闪光灯1803点亮(步骤s1833)。

这里,接收机1800a也可以使对应于所接收的id或所取得的程序的图像在显示器1801上显示。

图137是示出实施方式16的由接收机1800a显示的图像的一例的图。

接收机1800a当例如从圣诞老人的彩饰花车接收id时,如图137的(a)所示,使圣诞老人的图像显示。进而,接收机1800a也可以如图137的(b)所示,在与闪光灯1803点亮的同时,使该圣诞老人的图像的背景色变更为设定滤光器的颜色。例如,在设定滤光器的颜色是红色的情况下,与通过闪光灯1803的点亮使支架1810点亮为红色同时,具有红色的背景色的圣诞老人的图像被显示在显示器1801。即,支架1810的闪烁和显示器1801的显示同步。

图138是示出实施方式16的支架的另一例的图。

支架1820构成为与上述的支架1810同样,但是,没有通孔1811以及可变滤光器1812。这样的支架1820以接收机1800a的显示器1801朝向背板部1820a的状态,保持该接收机1800a。该情况下,接收机1800a取代闪光灯1803,使显示器1801发光。由此,来自显示器1801的光向支架1820的大致整体扩散。因此,当接收机1800a根据上述的程序以红色的光使显示器1801发光时,支架1820点亮为红色。同样地,当接收机1800a根据上述的程序,以黄色的光使显示器1801发光时,支架1820点亮为黄色。当接收机1800a根据上述的程序,以绿色的光使显示器1801发光时,支架1820点亮为绿色。如果使用这样的支架1820,则能够省略可变滤光器1812的设定。

(实施方式17)

(可见光信号)

图139a~图139d是示出实施方式17的可见光信号的一例的图。

与上述同样,例如如图139a所示,发送机生成4ppm的可见光信号,根据该可见光信号进行亮度变化。具体而言,发送机将4时隙分配为一个信号单位,生成包括多个信号单位的可见光信号。信号单位按时隙表示high(h)或low(l)。并且,发送机在h的时隙明亮地发光,在l的时隙暗淡地发光或熄灭。例如,1时隙是相当于1/9600秒的时间的期间。

另外,例如如图139b所示,发送机也可以生成分量配为一个信号单位的时隙数可变的可见光信号。该情况下,信号单位中包含在1个以上连续的时隙中表示h的信号和接着该h信号的1个时隙中表示l的信号。由于h的时隙数为可变,因此,信号单位整体的时隙数为可变。例如如图139b所示,发送机生成按3时隙的信号单位、4时隙的信号单位、6时隙的信号单位的顺序包含这些信号单位的可见光信号。并且,发送机在该情况下也在h的时隙明亮地发光,在l的时隙暗淡地发光或熄灭。

另外,例如如图139c所示,发送机也可以不将多个时隙分配为一个信号单位,而将任意的期间(信号单位期间)分配为一个信号单位。该信号单位期间包含h期间和接着该h期间的l期间。h期间根据调制前的信号被调整。l期间可以是固定的与上述时隙相当的期间。另外,h期间以及l期间分别例如是100μs以上的期间。例如如图139c所示,发送机发送按信号单位期间为210μs的信号单位、信号单位期间为220μs的信号单位、信号单位期间为230μs的信号单位的顺序包含这些信号单位的可见光信号。并且,发送机在该情况下也在h期间明亮地发光,在l期间暗淡地发光或熄灭。

另外,例如如图139d所示,发送机也可以将交替地表示l和h的信号作为可见光信号而生成。该情况下,可见光信号中,l期间和h期间分别根据调制前的信号被调整。例如如图139d所示,发送机发送下述可见光信号:在100μs的期间表示h,接着,在120μs的期间表示l,接着,在110μs的期间表示h,进一步,在200μs的期间表示l。并且,发送机在该情况下也在h期间明亮地发光,在l期间暗淡地发光或熄灭。

图140是示出实施方式17的可见光信号的构成的图。

可见光信号例如包含信号1、与该信号1对应的明亮度调整信号、信号2、以及与该信号2对应的明亮度调整信号。发送机当通过对调制前的信号进行调制而生成信号1以及信号2时,生成针对这些信号的明亮度调整信号,生成上述的可见光信号。

与信号1对应的明亮度调整信号是补偿因根据信号1的亮度变化而产生的明亮度的增减的信号。与信号2对应的明亮度调整信号是补偿因根据信号2的亮度变化而产生的明亮度的增减的信号。在此,通过根据信号1和该信号1的明亮度调整信号的亮度变化来表现明亮度b1,通过根据信号2和该信号2的明亮度调整信号的亮度变化来表现明亮度b2。本实施方式中的发送机,将信号1以及信号2的各自的明亮度调整信号作为可见光信号的一部分而生成,以使得该明亮度b1和明亮度b2相等。由此,明亮度被保持为一定,能够抑制闪烁。

另外,发送机在生成上述信号1时,生成包含数据1、接着该数据1的前导码(头)和接着该前导码的数据1的信号1。在此,前导码是与配置在其前后的数据1对应的信号。例如,该前导码是成为用于读出数据1的识别码的信号。这样,由于由2个数据1和配置在它们之间的前导码构成信号1,因此,接收机即便从位于前面的数据1的中途读出可见光信号,也能够正确地对该数据1(即信号1)进行解调。

(亮线图像)

图141是示出实施方式17的通过接收机的摄像而得到的亮线图像的一例的图。

如上所述,接收机通过对亮度变化的发送机进行摄像,取得包含从该发送机发送的可见光信号作为亮线样式的亮线图像。通过这样的摄像,可见光信号被接收机接收。

例如如图141所示,接收机使用图像传感器所包含的n个曝光线,在时刻t1进行摄像,据此,取得包含各自显现亮线样式的区域a以及区域b的亮线图像。区域a以及区域b是各自通过作为被拍摄对象的发送机发生亮度变化而显现亮线样式的区域。

在此,接收机根据区域a以及区域b的亮线样式对可见光信号进行解调。但是,接收机在判定为仅解调后的可见光信号不充分时,使用该n个曝光线中的、仅属于区域a的m(m<n)个连续的曝光线,在时刻t2进行摄像。由此,接收机取得仅包含区域a以及区域b中的区域a的亮线图像。接收机,在时刻t3~t5也反复实施这样的摄像。结果,能够高速地接收来自与区域a对应的被拍摄对象的充足的数据量的可见光信号。进而,接收机仅使用该n个曝光线中的属于区域b的l(l<n)个连续的曝光线,在时刻t6进行摄像。由此,接收机取得仅包含区域a以及区域b中的区域b的亮线图像。接收机,在时刻t7~t9也反复实施这样的摄像。结果,能够高速地接收来自与区域b对应的被拍摄对象的充足的数据量的可见光信号。

另外,接收机也可以通过在时刻t10以及t11,进行与时刻t2~t5同样的摄像,来取得仅包含区域a的亮线图像。进而,接收机也可以通过在时刻t12以及t13,进行与时刻t6~t9同样的摄像,来取得仅包含区域b的亮线图像。

另外,在上述的例子中,接收机在判定为可见光信号不充分时,在时刻t2~t5进行了仅包含区域a的亮线图像的连拍,但是,只要在通过时刻t1的摄像得到的图像显现亮线,则也可以进行上述的连拍。同样地,接收机在判定为可见光信号不充分时,在时刻t6~t9进行了仅包含区域b的亮线图像的连拍,但是,只要在通过时刻t1的摄像得到的图像显现亮线,则也可以进行上述的连拍。另外,接收机也可以交替地进行仅包含区域a的亮线图像的取得和仅包含区域b的亮线图像的取得。

此外,属于上述区域a的m个连续的曝光线,是有助于区域a的生成的曝光线,属于上述区域b的l个连续的曝光线是有助于区域b的生成的曝光线。

图142是示出实施方式17的通过接收机的摄像得到的亮线图像的其它例的图。

例如如图142所示,接收机使用图像传感器所含的n个曝光线,在时刻t1进行摄像,由此,取得包含各自显现亮线样式的区域a以及区域b的亮线图像。与上述同样地,区域a以及区域b是各自通过作为被拍摄对象的发送机发生亮度变化而显现亮线样式的区域。另外,区域a以及区域b各自具有沿着亮线或曝光线的方向相互重叠的区域(以下,称为重叠区域)。

在此,接收机在判定为根据该区域a以及区域b的亮线样式解调出的可见光信号不充分时,仅使用该n个曝光线中的、属于重叠区域的p(p<n)个连续的曝光线,在时刻t2进行摄像。由此,接收机取得仅包含区域a以及区域b的各个重叠区域的亮线图像。接收机在时刻t3以及t4也反复实施这样的摄像。结果,能够大致同时且高速地接收来自与区域a以及区域b的各个区域对应的被拍摄对象的充足的数据量的可见光信号。

图143是示出实施方式17的通过接收机的摄像得到的亮线图像的其它例的图。

例如如图143所示,接收机使用图像传感器所含的n个曝光线,在时刻t1进行摄像,由此,取得包含由亮线样式不清晰地显现的部分a和亮线样式清晰地显现的部分b构成的区域的亮线图像。与上述同样地,该区域是通过作为被拍摄对象的发送机发生亮度变化而显现亮线样式的区域。

在这样的情况下,接收机当判定为根据上述区域的亮线样式解调后的可见光信号不充分时,使用该n个曝光线中的仅属于部分b的q(q<n)个连续的曝光线,在时刻t2进行摄像。由此,接收机取得包含上述区域中的仅部分b的亮线图像。接收机在时刻t3以及t4也反复实施这样的摄像。结果,能够高速地接收来自与上述区域对应的被拍摄对象的充足的数据量的可见光信号。

另外,也可以是,接收机在进行了仅包含部分b的亮线图像的连拍后,进一步进行仅包含部分a的亮线图像的连拍。

如上所述,在亮线图像中包含多个显现亮线样式的区域(或部分)的情况下,接收机使各个区域具有顺序,根据该顺序,进行仅包含该区域的亮线图像的连拍。该情况下,该顺序既可以是根据信号的大小(区域或部分的面积)的顺序,也可以是根据亮线的清晰度的顺序。另外,该顺序也可以是根据来自与这些区域对应的被拍摄对象的光的颜色的顺序。例如,最初的连拍针对与红色的光对应的区域进行,下一连拍针对与白色的光对应的区域进行。另外,也可以仅进行与红色的光对应的区域的连拍。

(hdr合成)

图144是用于说明实施方式17的接收机应用于进行hdr合成的摄像头系统的图。

为防止碰撞等,在车辆搭载有摄像头系统。该摄像头系统使用通过摄像头的摄像而得到的图像,进行hdr(highdynamicrange;高动态范围)合成。通过该hdr合成,得到亮度的动态范围宽的图像。摄像头系统基于该宽动态范围的图像,进行周边的车辆、障碍物或人等的识别。

例如,作为设定模式,摄像头系统具有通常设定模式以及通信设定模式。在设定模式是通常设定模式的情况下,例如如图144所示,摄像头系统在时刻t1~t4,分别以相同的1/100秒的快门速度,并且以分别不同的感光度,进行4次摄像。摄像头系统使用通过该4次摄像而得到的4张图像来进行hdr合成。

另一方面,在设定模式是通信设定模式的情况下,例如如图144所示,摄像头系统在时刻t5~t7分别以相同的1/100秒的快门速度,并且以分别不同的感光度,进行3次摄像。进一步,摄像头系统在时刻t8以1/10000秒的快门速度、并且以最大感光度(例如iso=1600)进行摄像。摄像头系统使用该4次摄像中的最初3次摄像所获得的3张图像来进行hdr合成。进一步,摄像头系统通过上述4次摄像中的最后的摄像接收可见光信号,对通过该摄像得到的图像所显现的亮线样式进行解调。

另外,在设定模式是通信设定模式的情况下,摄像头系统也可以不进行hdr合成。例如如图144所示,摄像头系统在时刻t9以1/100秒的快门速度、且以低感光度(例如,iso=200)进行摄像。进一步,摄像头系统在时刻t10~t12以1/10000秒的快门速度且以相互不同的感光度进行3次摄像。摄像头系统根据通过该4次摄像中的最初的1次摄像得到的图像,进行周边的车辆、障碍物或人等的识别。进一步,摄像头系统通过上述4次摄像中的最后的3次摄像接收可见光信号,对通过该摄像得到的图像所显现的亮线样式进行解调。

此外,在图144所示的例子中,在时刻t10~t12的各时刻,以相互不同的感光度进行摄像,但是,也可以以相同感光度进行摄像。

在这样的摄像头系统中,能够进行hdr合成,并且也能够进行可见光信号的接收。

(安全)

图145是用于说明实施方式17的可见光通信系统的处理动作的图。

该可见光通信系统包括:配置于例如收银机的发送机、作为接收机的智能手机和服务器。此外,智能手机与服务器之间的通信、发送机与服务器之间的通信分别经由安全的通信线路来进行。另外,发送机与智能手机之间的通信通过可见光通信来进行。本实施方式的可见光通信系统,通过判定来自发送机的可见光信号是否正确地被智能手机接收,来确保安全性。

具体而言,发送机通过时刻t1的亮度变化,将表示例如值“100”的可见光信号向智能手机发送。智能手机当在时刻t2接收该可见光信号时,将表示该值“100”的电波信号向服务器发送。服务器在时刻t3从智能手机接收该电波信号。此时,服务器进行用于判定由该电波信号表示的值“100”是否是从发送机发送并被智能手机接收的可见光信号的值的处理。即,服务器将表示例如值“200”的电波信号向发送机发送。接收到该电波信号的发送机通过时刻t4的亮度变化,将表示该值“200”的可见光信号向智能手机发送。智能手机当在时刻t5接收该可见光信号时,将表示该值“200”的电波信号向服务器发送。服务器在时刻t6从智能手机接收该电波信号。服务器判别该接收到的电波信号所示的值是否与在时刻t3发送的电波信号所示的值相同。如果相同,则服务器判定为在时刻t3接收到的可见光信号所示的值“100”是从发送机发送给智能手机并被接收的可见光信号的值。另一方面,如果不同,则服务器判定为在时刻t3接收到的可见光信号所示的值“100”作为从发送机发送给智能手机并被接收的可见光信号的值是可疑的。

由此,服务器能够判定智能手机是否可靠地从发送机接收到可见光信号。也即是,能够防止即便智能手机未从发送机接收到可见光信号,也伪装成接收到该可见光信号的样子而将信号向服务器发送。

此外,在上述的例子中,在智能手机、服务器和发送机之间,进行使用了电波信号的通信,但是,也可以进行基于可见光信号以外的光信号的通信或基于电力信号的通信。另外,从发送机发送至智能手机的可见光信号例如表示收费的值、优惠券的值、怪物的值或宾果(bingo)的值等。

(车辆联系)

图146a是示出实施方式17的使用了可见光的车车间通信的一例的图。

例如,最前面的车辆利用搭载于该车辆的传感器(摄像头等),来识别行进方向上存在事故。当这样识别到事故时,最前面的车辆通过使后照灯发生亮度变化,来发送可见光信号。例如,最前面的车辆针对后续车辆发送催促减速的可见光信号。后续车辆当利用搭载于该车辆的摄像头的摄像,接收到该可见光信号时,根据该可见光信号进行减速,并且进一步针对后续的车辆发送催促减速的可见光信号。

这样,催促减速的可见光信号从排成一列行驶的多个车辆的最前面车辆开始依次被发送,接收到该可见光信号的车辆进行减速。由于向各车辆的可见光信号的发送被快速地进行,因此,这些多个车辆能够大致同时同样地进行减速。因此,能够缓解因事故造成的堵塞。

图146b是示出实施方式17的使用了可见光的车车间通信的其它例的图。

例如,也可以是,前面的车辆通过使后照灯发生亮度变化,来发送表示针对后面的车辆的消息(例如“谢谢”)的可见光信号。该消息例如通过用户对智能手机的操作而生成。并且,智能手机将表示该消息的信号向上述前面的车辆发送。结果,前面的车辆能够将表示该消息的可见光信号向后面的车辆发送。

图147是示出实施方式17的多个led的位置决定方法的一例的图。

例如,车辆的前照灯具有多个led(lightemittingdiode)。该车辆的发送机通过使前照灯的多个led的每一个独立地进行亮度变化,而从各个led发送可见光信号。其它的车辆的接收机通过对具有该前照灯的车辆进行摄像,来接收来自这些多个led的可见光信号。

此时,接收机为了识别所接收的可见光信号是从哪个led发送的信号,而根据通过该摄像得到的图像来决定多个led的各自的位置。具体而言,接收机利用安装于与该接收机相同车辆的加速度传感器,以由该加速度传感器表示的重力的方向(例如图147中的朝下箭头)为基准,决定多个led的各自的位置。

此外,在上述的例子中,作为亮度发生变化的发光体的一例,例举了led,但也可以是led以外的发光体。

图148是示出实施方式17的、通过对车辆进行摄像而得到的亮线图像的一例的图。

例如,搭载于行驶的车辆的接收机通过对后面的车辆(后续车辆)进行摄像,来取得图148所示的亮线图像。搭载于后续车辆的发送机通过使车辆的2个前照灯发生亮度变化,来将可见光信号向前面的车辆发送。在前面的车辆的后部或后视镜等,安装有对后方进行摄像的摄像头。接收机通过将后续车辆作为被拍摄对象的该摄像头的摄像,取得亮线图像,并对该亮线图像所含的亮线样式(可见光信号)进行解调。由此,从后续车辆的发送机发送的可见光信号被前面的车辆的接收机接收。

在此,接收机从由2个前照灯发送并解调后的可见光信号的各信号中,取得具有该前照灯的车辆的id、该车辆的速度、该车辆的车型。如果2个可见光信号的各自的id相同,则接收机判断为该2个可见光信号是从相同车辆发送的信号。并且,接收机根据该车辆的车型,确定该车辆具有的2个前照灯之间的长度(灯间距离)。进而,接收机计测亮线图像所含的、显现亮线样式的2个区域之间的距离l1。并且,接收机利用使用了该距离l1和灯间距离的三角测量,算出从搭载该接收机的车辆到后续车辆为止的距离(车间距离)。接收机基于该车间距离和从可见光信号取得的车辆的速度,判断碰撞的危险性,将根据该判断结果的警告向车辆的驾驶者报知。由此,能够避免车辆的碰撞。

此外,在上述的例子中,接收机根据可见光信号所含的车型来确定灯间距离,但是,也可以根据车型以外的信息来确定灯间距离。另外,在上述的例子中,接收机当判断为存在碰撞的危险性时发出警告,但是,也可以将用于使车辆执行避免该危险性的动作的控制信号向车辆输出。例如,该控制信号是用于使车辆加速的信号或者用于使车辆变更车道的信号。

另外,在上述的例子中,摄像头对后续车辆摄像,但也可以对相对向车辆摄像。另外,也可以是,接收机在根据通过摄像头的摄像得到的图像判断为接收机(也即是具备接收机的车辆)周边被雾笼罩时,成为接收上述那样的可见光信号的模式。由此,即便周边被雾笼罩,车辆的接收机通过接收从相对向车辆的前照灯发送的可见光信号,能够确定该相对向车辆的位置以及速度。

图149是示出实施方式17的接收机和发送机的应用例的图。此外,图149是从后面观察汽车的图。

例如车的具有2个后照灯(发光部或灯)的发送机(车)7006a,将发送机7006a的识别信息(id)向构成为例如智能手机的接收机发送。接收机当接收该id时,从服务器取得与该id相对应的信息。例如,该信息是表示该车或发送机的id、发光部间的距离、发光部的大小、车的大小、车的形状、车的重量、车的牌照、前方的样子或危险的有无的信息。另外,接收机也可以从发送机7006a直接取得这些信息。

图150是示出实施方式17的接收机和发送机7006a的处理动作的一例的流程图。

将发送机7006a的id和交付给接收到id的接收机的信息相关联地存储于服务器(7106a)。交付给接收机的信息中也可以包含:成为发送机7006a的发光部的大小、发光部间的距离、将发送机7006a作为构成要素的一部分的物体的形状、重量、车体牌照等识别编号、由接收机难以观察的场所的样子和/或危险的有无等信息。

发送机7006a发送id(7106b)。发送内容中也可以包含所述服务器的url和/或使所述服务器存储的信息。

接收机接收被发送的id等信息(7106c)。接收机从服务器取得与接收到的id相关联的信息(7106d)。接收机显示接收到的信息和/或从服务器取得的信息(7106e)。

接收机根据发光部的大小信息和摄像到的发光部的看上去的大小、或者发光部间的距离信息和摄像到的发光部间的距离,以三角测量的方法,计算接收机和发光部的距离(7106f)。接收机基于由接收机难以观察的场所的样子和/或危险的有无等信息,进行危险的警告等(7106g)。

图151是示出实施方式17的接收机和发送机的应用例的图。

例如车的具有2个后照灯(发光部或灯)的发送机(车)7007b,将发送机7007b的信息向例如构成为停车场的发送接收装置的接收机7007a发送。发送机7007b的信息表示发送机7007b的识别信息(id)、车的牌照、车的大小、车的形状、或车的重量。接收机7007a当接收到该信息时,发送可否停车、收费信息或停车位置。此外,接收机7007a也可以接收id,并从服务器取得id以外的信息。

图152是示出实施方式17的接收机7007a和发送机7007b的处理动作的一例的流程图。此外,由于发送机7007b不是仅进行发送、而是还进行接收,因此,具备车载发送机和车载接收机。

将发送机7007b的id和交付给接收到id的接收机7007a的信息相关联地存储于服务器(停车场管理服务器)(7107a)。交付给接收机7007a的信息也可以包含将发送机7007b作为构成要素的一部分的物体的形状、重量、车体牌照等识别编号和/或发送机7007b的用户的识别编号和/或用于支付的信息。

发送机7007b(车载发送机)发送id(7107b)。发送内容中也可以包含所述服务器的url和/或使所述服务器存储的信息。停车场的接收机7007a(停车场的发送接收装置)将接收到的信息向管理停车场的服务器(停车场管理服务器)发送(7107c)。停车场管理服务器以发送机7007b的id作为关键词(key),取得与id相关联的信息(7107d)。停车场管理服务器对停车场的空置状况进行调查(7107e)。

停车场的接收机7007a(停车场的发送接收装置)发送可否停车、停车位置信息或者保持这些信息的服务器的地址(7107f)。或者,停车场管理服务器将这些信息向另外的服务器发送。发送机(车载接收机)7007b接收上述发送的信息(7107g)。或者,车载系统从另外的服务器取得这些信息。

停车场管理服务器进行停车场的控制,以使得容易进行停车(7107h)。例如,进行立体停车场的控制。停车场的发送接收装置发送id(7107i)。车载接收机(发送机7007b)基于车载接收机的用户信息和接收到的id,向停车场管理服务器进行询问(7107j)。

停车场管理服务器根据停车时间等来进行收费(7107k)。停车场管理服务器进行停车场的控制,以使得容易找到停车的车辆(7107m)。例如,进行立体停车场的控制。车载接收机(发送机7007b)显示去停车位置的地图,进行从当前地开始的导航(7107n)。

(电车内)

图153是示出实施方式17的、在电车的车内应用的可见光通信系统的构成的图。

可见光通信系统例如具备:配置在电车内的多个照明装置1905、用户所保持的智能手机1906、服务器1904、配置在电车内的摄像头1903。

多个照明装置1905的各个构成为上述的发送机,通过照射光线并且使亮度变化来发送可见光信号。该可见光信号表示发送该可见光信号的照明装置1905的id。

智能手机1906构成为上述的接收机,通过对照明装置1905进行摄像,来接收从该照明装置1905发送的可见光信号。例如,用户在电车内被卷入纠纷(例如流氓或争吵等)的情况下,使智能手机1906接收该可见光信号。智能手机1906在接收可见光信号时,将由该可见光信号表示的id通知给服务器1904。

服务器1904当接受到该id的通知时,确定将由该id识别的照明装置1905所照亮的范围作为摄像范围的摄像头1903。并且,服务器1904使该确定的摄像头1903对由照明装置1905照亮的范围进行摄像。

摄像头1903根据来自服务器1904的指示进行摄像,并将通过该摄像得到的图像向服务器1904发送。

由此,能够取得显示电车内的纠纷的状况的图像。该图像能够作为纠纷的证据而利用。

另外,用户也可以通过操作智能手机1906,将通过摄像头1903的摄像得到的图像从服务器1904向智能手机1906发送。

另外,也可以是,智能手机1906在画面上显示摄像按钮,当该摄像按钮被用户触碰时,将催促摄像的信号向服务器1904发送。由此,用户能够自己决定摄像的定时。

图154是示出实施方式17的应用于游乐场等的设施的可见光通信系统的构成的图。

可见光通信系统例如具备配置于设施的多个摄像头1903和装带于人身上的装饰品1907。

装饰品1907例如是具有安装有多个led的丝带的发圈等。另外,该装饰品1907构成为上述的发送机,通过使多个led发生亮度变化,来发送可见光信号。

多个摄像头1903的各摄像头构成为上述的接收机,具有可见光通信模式和通常摄像模式。另外,这些多个摄像头1903的各摄像头配置在设施内的通道中的相互不同的部位。

具体而言,摄像头1903当被设定为可见光通信模式时,若装饰品1907作为被拍摄对象被摄像,则从该装饰品1907接收可见光信号。摄像头1903当接收到该可见光信号时,将所设定的模式从可见光通信模式切换为通常摄像模式。结果,摄像头1903将把装饰品1907戴在身上的人作为被拍摄对象来进行摄像。

因此,当配戴装饰品1907的人在设施内的通道中行走时,位于该人的附近的摄像头1903会接连地对该人进行摄像。由此,能够自动地取得并保存反映该人在设施中享受的样子的图像。

此外,摄像头1903也可以并不是接收到可见光信号就马上进行通常摄像模式的摄像,而是例如当从智能手机接受到摄像开始的指示时,进行通常摄像模式的摄像。由此,用户能够在碰触智能手机的画面所显示的摄像开始按钮的定时,使摄像头1903对自己进行摄像。

图155是示出实施方式17的、包括游乐设备和智能手机的可见光通信系统的一例的图。

游乐设备1901例如构成为具备多个led的上述发送机。也即是,游乐设备1901通过使该多个led发生亮度变化,来发送可见光信号。

智能手机1902通过对该游乐设备1901进行摄像,来接收从该游乐设备1901发送的可见光信号。并且,如图155的(a)所示,智能手机1902在第1次接收到该可见光信号时,例如从服务器等下载与该可见光信号和第1次相对应的动态图像1并进行再现。另一方面,智能手机1902在第2次接收到该可见光信号时,如图155的(b)所示,例如从服务器等下载与该可见光信号和第2次相对应的动态图像2并进行再现。

也即是,智能手机1902即便接收相同可见光信号,也会根据接收到该可见光信号的次数,来切换再现的动态图像。接收到可见光信号的次数,既可以由智能手机1902计数,也可以由服务器计数。或者,智能手机1902即便多次接收同一可见光信号,也不会连续地再现相同动态图像。或者,智能手机1902也可以使与同一可见光信号相关联的多个动态图像中的、已经再现过的动态图像的出现概率降低,而优先地下载出现概率高的动态图像并进行再现。

另外,智能手机1902也可以接收从具有多个店铺的设施的问讯处所具备的触控面板发送的可见光信号,而显示与该可见光信号相应的图像。例如,触控面板当正显示表示设施的概要的初始画面时,根据亮度变化发送表示该设施的概要的可见光信号。因此,智能手机当通过对显示该初始画面的触控面板进行摄像,而接收该可见光信号时,能够将表示设施的概要的图像在自己的显示器上显示。在此,当由用户操作触控面板时,触控面板例如显示表示特定的店铺的信息的店铺图像。此时,触控面板发送表示该特定的店铺的信息的可见光信号。因此,智能手机当通过对显示该店铺图像的触控面板进行摄像,来接收该可见光信号时,能够显示表示特定的店铺的信息的店铺图像。这样,智能手机能够显示与触控面板同步的图像。

(上述实施方式的总结)

本发明的一方式的再现方法包括:信号接收步骤,利用终端装置的传感器从通过光源的亮度变化来发送可见光信号的发送机接收所述可见光信号;发送步骤,从所述终端装置向服务器发送用于请求与所述可见光信号相关联的内容的请求信号;内容接收步骤,所述终端装置从所述服务器接收包含各时刻和在所述各时刻再现的数据的内容;以及再现步骤,对所述内容中的、与所述终端装置所具备的时钟的时刻相符合的数据进行再现。

由此,如图131c所示,包含各时刻和在该各时刻再现的数据的内容被终端装置接收,而再现与终端装置的时钟的时刻相符合的数据。因此,终端装置不会在错误的时刻再现该内容中的数据,能够在该内容所示的正确的时刻,适当地再现该内容中的数据。具体而言,如图131a的方法e所示,作为终端装置的接收机从(接收机时刻-内容再现开始时刻)的时间点开始再现内容。与上述终端装置的时钟的时刻相符合的数据是内容中的处于(接收机时刻-内容再现开始时刻)的时间点的数据。另外,如果在发送机中也再现与该内容相关联的内容(发送机侧内容),则终端装置能够使内容与该发送机侧内容适当地同步并再现。此外,内容是声音或图像。

另外,在所述终端装置所具备的时钟和基准时钟之间,也可以通过gps(globalpositioningsystem)电波或者ntp(networktimeprotocol)电波来取得同步。

由此,如图130以及图132所示,由于在终端装置(接收机)的时钟和基准时钟之间取得了同步,因此,能够在根据基准时钟的适当的时刻,再现与该时刻相符合的数据。

另外,所述可见光信号也可以表示从所述发送机发送所述可见光信号的时刻。

由此,如图131a的方法d所示,终端装置(接收机)能够接收与可见光信号从发送机被发送的时刻(发送机时刻)相对应的内容。例如,如果发送机时刻为5时43分,则能够接收在5时43分再现的内容。

另外,在所述再现方法中,进一步也可以是,在进行了用于利用所述gps电波或所述ntp电波在所述终端装置的时钟与所述基准时钟之间取得同步的处理的时刻为从所述终端装置接收到所述可见光信号的时刻起往前的预定时间之前的情况下,通过从所述发送机发送的所述可见光信号所示的时刻,在所述终端装置的时钟和所述发送机的时钟之间取得同步。

例如,如果从进行用于在终端装置的时钟和基准时钟之间取得同步的处理起经过预定时间,则会存在该同步无法适当地保持的情况。在这样的情况下,存在终端装置在与由发送机再现的发送机侧内容同步的时刻,无法将内容再现的可能性。于是,在上述本发明一方式的再现方法中,如图130的步骤s1829、s1830所示,当经过了预定时间时,在终端装置(接收机)的时钟与发送机的时钟之间取得同步。因此,终端装置能够在与由发送机再现的发送机侧内容同步的时刻,将内容进行再现。

另外,也可以是,所述服务器具有与各个时刻相关联的多个内容,在所述内容接收步骤中,在与所述可见光信号所示的时刻相关联的内容不存在于所述服务器的情况下,接收所述多个内容中的与所述可见光信号所示的时刻最接近且与所述可见光信号所示的时刻之后的时刻相关联的内容。

由此,如图131a的方法d所示,即便与可见光信号所示的时刻相关联的内容不存在于服务器,也能够从位于该服务器的多个内容中接收适当的内容。

另外,也可以是,包括:信号接收步骤,利用终端装置的传感器从通过光源的亮度变化发送可见光信号的发送机接收所述可见光信号;发送步骤,从所述终端装置向服务器发送用于请求与所述可见光信号相关联的内容的请求信号;内容接收步骤,所述终端装置从所述服务器接收内容;以及再现步骤,对所述内容进行再现,所述可见光信号表示id信息和所述可见光信号从所述发送机被发送的时刻,在所述内容接收步骤中,接收与由所述可见光信号示出的id信息以及时刻相关联的所述内容。

由此,如图131a的方法d所示,从与id信息(发送机id)相关联的多个内容中,接收与可见光信号被从发送机发送的时刻(发送机时刻)相关联的内容并进行再现。因此,能够针对该发送机id以及发送机时刻,将适当的内容进行再现。

另外,也可以是,所述可见光信号通过包含表示时刻中的时和分的第2信息和表示时刻中的秒的第1信息,来表示所述可见光信号被从所述发送机发送的时刻,在所述信号接收步骤中,接收所述第2信息,并且接收次数比接收所述第2信息的次数多的所述第1信息。

由此,例如在以秒为单位向终端装置通知可见光信号所含的各数据包被发送的时刻的情况下,能够减轻每经过1秒向终端装置发送表示使用时、分以及秒全部表现的当前时间点的时刻的数据包的工夫。即,如图126所示,如果数据包被发送的时刻中的时以及分未从之前发送的数据包所示的时以及分更新,而仅发送作为仅表示秒的数据包(时间数据包1)的第1信息即可。因此,使作为表示时以及分的数据包(时间数据包2)的第2信息少于由发送机发送的作为表示秒的数据包(时间数据包1)的第1信息,由此,能够抑制包含冗长的内容的数据包的发送。

另外,也可以是,所述终端装置的传感器是图像传感器,在所述信号接收步骤中,一边将所述图像传感器的快门速度交替地切换为第1速度和比所述第1速度高速的第2速度,一边进行利用所述图像传感器的连续的撮影,(a)在利用所述图像传感器的撮影的被拍摄对象是条码的情况下,通过所述快门速度是所述第1速度时的撮影,取得条码所映现的图像,通过对在所述图像映现的条码进行解码,来取得条码识别码,(b)在利用所述图像传感器的撮影的被拍摄对象是所述光源的情况下,通过所述快门速度是所述第2速度时的撮影,取得作为包含与所述图像传感器所含的多个曝光线的各个对应的亮线的图像的亮线图像,通过对所取得的亮线图像所含的多个亮线的样式进行解码,来取得所述可见光信号作为可见光识别码,在所述再现方法中,显示通过所述快门速度是所述第1速度时的撮影得到的图像。

由此,如图102所示,无论根据条码还是根据可见光信号,都能够适当地取得与它们相对应的识别码,并且能够显示成为被拍摄对象的条码或光源所映出的图像。

另外,也可以是,在所述可见光识别码的取得中,根据所述多个亮线的样式,取得包含数据部以及地址部的第1数据包,判定在所述第1数据包之前已经取得的至少1个数据包中的作为包含与所述第1数据包的地址部相同的地址部的数据包的第2数据包是否存在预定数量以上,在判定为所述第2数据包存在所述预定数量以上的情况下,通过将与所述预定数量以上的所述第2数据包的各自的数据部对应的所述亮线图像的一部分区域的像素值和与所述第1数据包的数据部对应的所述亮线图像的一部分区域的像素值相加,来算出合成像素值,通过对包含所述合成像素值的数据部进行解码,来取得所述可见光识别码的至少一部分。

由此,如图74所示,即便在包含相同的地址部的多个数据包的各个中,数据部稍有不同,也能够通过将这些数据包的数据部的像素值相加,来对适当的数据部进行解码,能够正确地取得可见光识别码的至少一部分。

另外,也可以是,所述第1数据包还包含:针对所述数据部的第1错误订正码和针对所述地址部的第2错误订正码,在所述信号接收步骤中,从所述发送机接收通过根据第2频率的亮度变化发送的所述地址部和所述第2错误订正码,并且接收通过根据比所述第2频率高的第1频率的亮度变化发送的所述数据部和所述第1错误订正码。

由此,能够抑制错误地接收地址部,并且能够迅速地取得数据量多的数据部。

另外,也可以是,在所述可见光识别码的取得中,由所述多个亮线的样式,取得包含数据部和地址部的第1数据包,判定在所述第1数据包之前已经取得的至少1个数据包中的作为包含与所述第1数据包的地址部相同的地址部的数据包的至少1个第2数据包是否存在,在判定为所述至少1个第2数据包存在的情况下,判定所述至少1个第2数据包与所述第1数据包的各自的数据部是否完全相等,在判定为各个所述数据部不完全相等的情况下,判定在所述至少1个第2数据包的各个中,该第2数据包的数据部所含的各部分中的与所述第1数据包的数据部所含的各部分不同的部分的数量是否存在预定数量以上,在所述至少1个第2数据包中,存在被判定为不同的部分的数量存在所述预定数量以上的第2数据包的情况下,丢弃所述至少1个第2数据包,在所述至少1个第2数据包中,不存在被判定为不同的部分的数量存在所述预定数量以上的第2数据包的情况下,确定所述第1数据包以及所述至少1个第2数据包中的具有相同的数据部的数据包的数量最多的多个数据包,通过对该多个数据包的各个所含的数据部进行解码而作为与所述第1数据包所含的地址部对应的数据部,来取得所述可见光识别码的至少一部分。

由此,如图73所示,在接收到具有相同的地址部的多个数据包时,即便这些数据包的数据部不同,也能够对适当的数据部进行解码,能够正确地取得可见光识别码的至少一部分。也即是,从同一发送机发送的具有相同的地址部的多个数据包基本上具有同一数据部。但是,在终端装置切换成为数据包的发送源的发送机的情况下,终端装置有时会接收即便具有相同的地址部也具有相互不同的数据部的多个数据包。在这样的情况下,上述本发明的一方式的再现方法中,如图73的步骤s10106所示,能够丢弃已经接收的数据包(第2数据包),并将最新的数据包(第1数据包)的数据部作为与该地址部对应的正确的数据部来进行解码。进一步,即便在不存在上述那样的发送机的切换的情况下,有时根据可见光信号的发送接收状况,具有相同的地址部的多个数据包的数据部会稍有不同。在这样的情况下,在上述本发明的一方式的再现方法中,如图73的步骤s10107所示,通过所谓的多数决,能够对适当的数据部进行解码。

另外,也可以是,在所述可见光识别码的取得中,由所述多个亮线的样式,取得分别包含数据部和地址部的多个数据包,判定所取得的所述多个数据包中,是否存在作为所述数据部所含的所有的位表示0的数据包的0终端数据包,在判定为存在所述0终端数据包的情况下,判定所述多个数据包中,是否存在作为包含与所述0终端数据包的地址部相关联的地址部的数据包的全部n个(n为1以上的整数)相关联数据包,在判定为所述n个相关联数据包全部存在的情况下,通过排列所述n个相关联数据包的各自的数据部并进行解码,来取得所述可见光识别码。例如,与所述0终端数据包的地址部相关联的所述地址部,是比所述0终端数据包的地址部所示的地址小且表示0以上的地址的地址部。

具体而言,如图75所示,判定具有0终端数据包的地址以下的地址的数据包作为相关联数据包是否全部齐全,在判定为齐全的情况下,对这些相关联数据包的各自的数据部进行解码。由此,即便终端装置事先不知道为了取得可见光识别码而需要几个相关联数据包,进一步,即便事先不知道这些相关联数据包的地址,也能够在取得了0终端数据包的时间点,容易地获知。结果,终端装置能够通过排列n个相关联数据包的各自的数据部并解码,来取得适当的可见光识别码。

(实施方式18)

以下,对于可变长度、可变分割数对应协议进行说明。

图156是示出本实施方式的发送信号的一例的图。

发送数据包由前导码、类型(type)、有效载荷以及校验部构成。数据包既可以连续地被发送,也可以断续地被发送。通过设置不发送数据包的期间,能够在背光灯熄灭时使液晶的状态变化,并提高液晶显示器的动态清晰感。通过使数据包发送间隔随机,能够避免串扰。

前导码使用未出现于4ppm的样式。通过使用短的基本样式,能够简单地进行接收处理。

通过利用前导码的种类表现数据的分割数,能够不使用多余的发送时隙就使数据分割数可变。

通过利用类型(type)的值使有效载荷长度变化,能够使发送数据为可变长度。在type中,既可以表现有效载荷长度,又可以表现分割前的数据长度。通过利用type的值表现数据包的地址,接收机能够正确地排列接收到的数据包。另外,也可以根据前导码的种类或分割数,使type的值表现的有效载荷长度(数据长度)变化。

通过根据有效载荷长度使校验部的长度变化,能够进行有效的错误订正(检测)。通过使校验部的最短的长度为2比特,能够有效地变换为4ppm。另外,通过根据有效载荷长度使错误订正(检测)码的种类变化,能够有效地进行错误订正(检测)。也可以根据前导码的种类或类型的值使校验部的长度或错误订正(检测)码的种类变化。

通过有效载荷和分割数的不同的组合,而存在成为相同数据长度的组合。在这样的情况下,即便是相同的数据值,也具有按各组合不同的意思,因而能够表现更多的值。

以下,对于高速发送、亮度调制协议进行说明。

图157是示出本实施方式的发送信号的一例的图。

发送数据包由前导码部、主体部、亮度调整部构成。主体中包含地址部、数据部、错误订正(检测)码部。通过允许断续的发送,可以得到与上述同样的效果。

(实施方式19)

(单帧发送(singleframetransmission)的帧构成)

图158是示出本实施方式的发送信号的一例的图。

发送帧由前导码(pre)、帧长度(flen)、id类型(idtype)、内容(id/data)以及校验码(crc)构成,也可以包含内容类型(contenttype)。各区域的比特数是一个例子。

通过以flen指定id/data的长度,能够发送可变长度的内容。

crc是订正或者检测pre以外的部分的错误的检查码。通过根据检查区域的长度来使crc长度变化,能够将检查能力保持为一定以上。另外,通过使用根据检查区域的长度而不同的校验码,能够提高每crc长度的检查能力。

(多帧发送(multipleframetransmission)的帧构成)

图159是示出本实施方式的发送信号的一例的图。

发送帧由前导码(pre)、地址(addr)和分割后的部分数据(datapart)构成,也可以分别包含分割数(partnum)和地址标志位(addrfrag)。各区域的比特数是一个例子。

通过将内容分割为多个部分来发送,能够进行远距离通信。

通过使分割的大小为等分,能够减小最大帧长度,能够稳定地进行通信。

在无法等分割的情况下,通过使一部分的分割部分比其它的分割部分小,能够发送尺寸恰好的数据。

通过使分割的大小为不同的大小,使分割尺寸的组合具有含义,能够发送更多的信息。例如,即便是32比特的相同值的数据,通过在发送4次的8比特的情况、发送2次的16比特的情况、发送1次的15比特并发送1次的17比特的情况下,作为不同的信息来处理,能够表现更多的信息量。

通过以partnum表示分割数,接收机能够立刻得知分割数,能够正确地显示接收的进展。

通过设为在addrfrag为0的情况下不是最后的地址,在为1的情况下是最后的地址,可以不需要表示分割数的区域,能够以更短的时间进行发送。

与上述同样地,crc是订正或者检测pre以外的部分的错误的校验码。通过该检查,在接收到来自多个发送源的发送帧时,能够检测串扰。通过使crc长度为datapart长度的整数倍,能够效率最佳地检测串扰。

也可以在分割后的帧(由图159的(a)、(b)或(c)表示的帧)的末尾,增加检查各帧的pre以外的部分的检查码。

与图158的(a)~(d)同样地,由图159的(d)表示的idtype可以设为4比特或5比特等固定长度,也可以根据id/data长度使idtype长度变化。由此,可以得到与上述同样的效果。

(id/data长度的指定)

图160是示出本实施方式的发送信号的一例的图。

在图158的(a)~(d)的情况下,通过分别设定为图160所示的表(a)以及(b),在128比特时,能够表示泛在识别码(ucode)。

(crc长度和生成多项式)

图161是示出本实施方式的发送信号的一例的图。

通过这样设定crc长度,能够不依赖检查对象的长度地保持检查能力。

生成多项式是一个例子,也可以使用另外的生成多项式。另外,也可以使用crc以外的检查码。据此,能够提高检查能力。

(基于前导码的种类的datapart长度的指定和最后的地址的指定)

图162是示出本实施方式的发送信号的一例的图。

通过用前导码的种类表示datapart长度,不需要表示datapart长度的区域,能够以更短的发送时间发送信息。另外,通过表示是否是最后的地址,不需要表示分割的个数的区域,能够以更短的发送时间发送信息。另外,在图162的(b)的情况下,当为最后的地址时,由于不知道datapart长度,因此,通过推定为与在该帧接收的紧邻的之前或之后接收到的不是最后的地址的帧的datapart长度相同来进行接收处理,能够正常地进行接收。

也可以为地址长度根据前导码的种类而不同。由此,能够使发送信息的长度的组合变多或者能够以短时间进行发送。

在图162的(c)的情况下,用前导码规定分割数,增加表示datapart长度的区域。

(地址的指定)

图163是示出本实施方式的发送信号的一例的图。

通过用addr的值表示该帧的地址,接收机能够重构被正确地发送后的信息。

通过用partnum的值表示分割数,接收机在接收到最初的帧的时间点,一定能够获知分割数,能够正确地显示接收的进展。

(基于分割数的差异实现的串扰的防止)

图164和图165是示出本实施方式的发送接收系统的一例的图和流程图。

在将发送信息等分地分割发送的情况下,来自图164的发送机a和发送机b的信号由于前导码不同,因此,即便在同时地接收到这些信号的情况下,接收机也能够不将发送源混同而重构发送信息。

发送机a、b具备分割数设定部,由此,用户能够设定为接近地设置的发送机的分割数不同,能够防止串扰。

接收机通过将接收到的信号的分割数登记在服务器中,服务器能够得知发送机所设定的分割数,其它的接收机通过从服务器取得该信息,能够正确地显示接收的进展状况。

接收机从服务器或者从接收机的存储部取得来自附近的或者对应的发送机的信号是否是等长分割。在所述取得的信息是等长分割的情况下,仅从相同datapart长度的帧对信号进行复原。在不是是等长分割的情况下或在相同datapart长度的帧中所有的地址不全的状况持续了预定时间以上的情况下,按照不同的datapart长度的帧来将信号复原。

(基于分割数的差异实现的串扰的防止)

图166是示出本实施方式的服务器的动作的流程图。

服务器从接收机接受接收机所接收的id和分割构成(以怎样的datapart长度的组合接收到信号)。在所述id不是基于分割构成的扩充的对象的情况下,将对分割构成的样式进行了数值化后的结果作为辅助id,将所述id和所述辅助id和在一起后的扩充id作为关键词而相关联的信息交付给接收机。

在不是基于分割构成的扩充的对象的情况下,确认与id相关联的分割构成是否在存储部中存在,确认是否与接收到的分割构成相同。在不同的情况下,向接收机发送再确认命令。由此,能够防止提示因接收机的接收错误而搞错的信息。

发送再确认命令后,在预定时间以内接收到相同id、相同分割构成的情况下,判断为分割构成已被变更,更新与id相关联的分割构成。由此,能够应对作为图164的说明而记述那样的分割构成被变更了的情况。

在未存储有分割构成的情况、在接收到的分割构成与所存储的分割构成不一致的情况、或者更新分割构成的情况下,把将id作为关键词而相关联的信息交付给接收机,将分割构成与id以相关联的方式向存储部存储。

(接收的进展状况的显示)

图167~图172是示出本实施方式的接收机的动作的一例的流程图和图。

接收机从服务器或接收机的存储区域取得接收机对应的发送机、或者位于接收机的附近的发送机的分割数的种类和比例。另外,在已经接收到一部分的分割数据的情况下,取得正发送与该一部分一致的信息的发送机的分割数的种类和比例。

接收机接收分割后的帧。

在已经接收到最后的地址的情况、所述取得的分割数仅为1种的情况、或者执行中的接收应用程序所支持的分割数仅为1种的情况下,由于分割数是已知的,因此,以该分割数为基准来显示进展状况。

在否则、且可利用的处理资源少或为节能模式的情况下,接收机以简易模式计算进展状况来进行显示。另一方面,在可利用的处理资源多或不为节能模式的情况下,以最大似然推定模式计算进展状况来进行显示。

图168是示出简易模式下的进展状况的计算方法的流程图。

首先,接收机从服务器取得标准分割数ns。或者,接收机从自身的内部的数据保持部读出标准分割数ns。此外,标准分割数是(a)以该分割数发送的发送机数的最频值或期待值、(b)按数据包长度决定的分割数、(c)按应用程序决定的分割数、或者(d)按存在接收机的场所能够识别的范围决定的分割数。

接着,接收机判定是否接收到表示是最终地址的数据包。在判定为接收到时,将最终数据包的地址设为n。另一方面,在判定为未接收到时,将在已接收的最大地址amax上加上1或2以上的数后的数设为ne。在此,接收机判定是否ne>ns。在判定为是ne>ns时,接收机设为n=ne。另一方面,在判定为不是ne>ns时,接收机设为n=ns。

并且,接收机设为接收中的信号的分割数为n,计算信号整体的接收所需的数据包中的接收完数据包数的比例。

在这种简易模式下,与最大似然推定模式相比,能够以简单的计算来计算进展状况,在处理时间或能耗上是有利的。

图169是示出最大似然推定模式下的进展状况的计算方法的流程图。

首先,接收机从服务器取得分割数的事先分布。或者,接收机从自身的内部的数据保持部读出事先分布。此外,对于事先分布,(a)作为以该分割数发送的发送机数的分布来决定,(b)按数据包长度来决定,(c)按应用程序来决定,或者(d)按存在接收机的场所且能够识别的范围来决定。

接着,接收机接收数据包x,计算在分割数为y时接收数据包x的概率p(x|y)。并且,接收机对于在接收到数据包x的情况下发送信号的分割数为y的概率p(y|x),作为p(x|y)×p(y)÷a来求取(此外,a是归一化乘数)。进而,接收机设为p(y)=p(y|x)。

在此,接收机判定分割数推定模式是最大似然模式、还是似然度平均模式。在为最大似然模式的情况下,接收机将p(y)成为最大的y作为分割数来算出接收完的数据包数的比例。另一方面,在为似然度平均模式的情况下,接收机将y×p(y)的总和作为分割数来计算接收完的数据包数的比例。

在这种最大似然推定模式下,与简易模式相比,能够计算更准确的进展程度。

另外,在分割数推定模式为最大似然模式的情况下,根据至此接收到的地址计算最后的地址为几号的似然度,将具有最大似然的推定为是分割数来显示接收的进展。该显示方法能够显示与实际的进展状况最接近的进展状况。

图170是示出进展状况不减少的显示方法的流程图。

首先,接收机计算信号整体的接收所需要的数据包中的、接收完数据包数的比例。并且,接收机判定计算出的比例是否比显示中的比例小。当判定为比显示中的比例小时,接收机进一步判定显示中的比例是否为预定时间以上前的计算结果。在判定为是预定时间以上前的计算结果时,接收机显示计算出的比例。另一方面,在判定为不是预定时间以上前的计算结果时,接收机继续显示显示中的比例。

另外,接收机当判定为计算出的比例是显示中的比例以上时,将在接收完的最大地址amax上加上1或2以上的数后的数设为ne。并且,接收机显示其计算出的比例。

在接收到最终数据包时等,进展状况的计算结果到那时进一步变小、也即是显示的进展状况(进展程度)降低将会是不自然的。但是,在上述的显示方法中,能够抑制这样的不自然的显示。

图171是示出存在多个数据包长度的情况的进展状况的显示方法的流程图。

首先,接收机按数据包长度计算接收完数据包数的比例p。在此,接收机判定显示模式是最大模式、全显示模式以及最新模式中的哪个。在判定为是最大模式时,接收机显示多个数据包长度的各自的比例p中的最大的比例。在判定为是全显示模式时,接收机显示全部的比例p。在判定为是最新模式时,接收机显示最后接收到的数据包的数据包长度的比例p。

图172中,(a)是作为所述简易模式计算出的进展状况,(b)是作为所述最大似然模式计算出的进展状况,(c)是将所取得的分割数中的最小的分割数作为分割数计算出的情况下的进展状况。按(a)(b)(c)的顺序,进展状况变大,因此,这样,通过重叠显示(a)(b)(c),能够同时地显示所有的进展状况。

(基于共同开关和像素开关的发光控制)

在本实施方式的发送方法中,例如,通过根据共同开关以及像素开关的开关(switching),使影像显示用的led显示器所含的各led进行亮度变化,从而发送可见光信号(也称为可见光通信信号)。

led显示器例如构成为配设在屋外的大型显示器。另外,led显示器具备排列为矩阵状的多个led,根据影像信号,使这些led明暗,由此显示影像。这种led显示器包括多条共同线(com线),并且包括多条像素线(seg线)。各共同线包括沿水平方向排列成一列的多个led,各像素线包括沿垂直方向排列成一列的多个led。另外,多条共同线分别连接于与该共同线对应的共同开关。共同开关例如是晶体管。多条像素线分别连接于与该像素线对应的像素开关。与多条像素线对应的多个像素开关例如设于led驱动电路(恒流电路)。此外,该led驱动电路构成为使多个像素开关进行开关的像素开关控制部。

更具体而言,共同线所含的各led的阳极以及阴极中的一方连接于与该共同线对应的晶体管的集电极等端子。另外,像素线所含的各led的阳极以及阴极中的另一方连接于上述led驱动电路中的、与该像素线对应的端子(像素开关)。

在这样的led显示器显示影像时,控制多个共同开关的共同开关控制部,以时分方式使这些共同开关导通(on,关闭)。例如,共同开关控制部在第1期间中仅使多个共同开关中的第1共同开关导通,在接下来的第2期间中,仅使多个共同开关中的第2共同开关导通。并且,led驱动电路在某共同开关成为导通的期间,根据影像信号使各像素开关为导通。由此,仅在共同开关为导通、并且像素开关为导通的期间,与该共同开关以及像素开关对应的led点亮。通过该点亮的期间,表现影像中的像素的亮度。也即是,影像的像素的亮度被进行pwm控制。

本实施方式的发送方法中,利用这样的led显示器、共同开关以及像素开关、共同开关控制部以及像素开关控制部,来发送可见光信号。另外,利用这样的发送方法发送可见光信号的本实施方式中的发送装置(也称为发送机),具备该共同开关控制部以及像素开关控制部。

图173是示出本实施方式的发送信号的一例的图。

发送机根据预先决定的码元周期,发送可见光信号所含的各码元。例如,发送机在利用4ppm发送码元“00”时,在由4时隙构成的码元周期中,根据该码元(“00”的亮度变化样式)来使共同开关进行开关。并且,发送机根据由影像信号等表示的平均亮度来使像素开关进行开关。

更具体而言,在使码元周期中的平均亮度为75%的情况下(图173的(a)),发送机在第1时隙的期间中,使共同开关为截止(off,断开),在第2时隙~第4时隙的期间中,使共同开关为导通。进一步,发送机在第1时隙的期间中,使像素开关为截止,在第2时隙~第4时隙的期间中,使像素开关为导通。由此,仅在共同开关为导通、并且像素开关为导通的期间,与该共同开关以及像素开关对应的led点亮。也即是,led在4时隙的各个中,以lo(low)、hi(high)、hi、hi的亮度点亮,由此,亮度变化。结果,码元“00”被发送。

另外,在码元周期中的平均亮度为25%的情况下(图173的(e)),发送机在第1时隙的期间中,使共同开关为截止,在第2时隙~第4时隙的期间中,使共同开关为导通。进一步,发送机在第1时隙、第3时隙以及第4时隙的期间中,使像素开关截止,在第2时隙的期间中,使像素开关导通。由此,仅在共同开关为导通、并且像素开关为导通的期间,与该共同开关以及像素开关对应的led点亮。也即是,led,在4时隙的各个中,如lo(low)、hi(high)、lo、lo那样点亮,由此亮度变化。结果,码元“00”被发送。此外,本实施方式中的发送机发送接近上述的v4ppm(可变的(variable)4ppm)的可见光信号,因此,即便在发送相同码元的情况下,也能够使平均亮度为可变。也即是,当以相互不同的平均亮度发送相同码元(例如“00”)时,发送机如图173的(a)~(e)所示,与平均亮度无关地使该码元中固有的亮度的上升位置(定时)一定。由此,接收机不需认识到亮度就能够接收可见光信号。

此外,共同开关通过上述的共同开关控制部被进行开关,像素开关通过上述的像素开关控制部被进行开关。

这样,本实施方式的发送方法是根据亮度变化发送可见光信号的发送方法,包括:决定步骤、共同开关控制步骤、第1像素开关控制步骤。在决定步骤中,通过对可见光信号进行调制,来决定亮度变化样式。在共同开关控制步骤中,根据该亮度变化样式来使共同开关进行开关,所述共同开关用于使显示器所具备的光源组(共同线)所含的、用于分别表示影像中的像素的多个光源(led)共同地点亮。在第1像素开关控制步骤中,使用于使该光源组所含的多个光源中的第1光源点亮的第1像素开关为导通,由此,仅在共同开关为导通、并且第1像素开关为导通的期间,使第1光源点亮,据此来发送可见光信号。

由此,能够从具备多个led等作为光源的显示器适当地发送可见光信号。因此,使得包含照明以外的设备的方式的设备间的通信成为可能。另外,在该显示器是用于通过共同开关以及第1像素开关的控制来显示影像的显示器的情况下,利用该共同开关以及第1像素开关,能够发送可见光信号。因此,能够不对用于在显示器显示影像的构成大幅地进行变更,而简单地发送可见光信号。

另外,通过使像素开关的控制定时与发送码元(与4ppm的1次相应)一致而如图173所示那样进行控制,能够不闪烁地从led显示器发送可见光信号。图像信号(即影像信号)通常以1/30秒或1/60秒为周期变化,但是,通过按照码元发送周期(码元周期)来使图像信号变化,能够不对电路施加变更地加以实现。

这样,在本实施方式的发送方法的上述决定步骤中,按码元周期决定亮度变化样式。另外,在上述第1像素开关控制步骤中,与码元周期同步地使像素开关进行开关。由此,即便码元周期例如是1/2400秒,也能够根据该码元周期来适当地发送可见光信号。

在信号(码元)为“10”、平均亮度为50%附近时,亮度变化样式会接近0101,亮度的上升部位为2个部位。但是,在该情况下,通过使后面的上升部位优先,接收机能够正确地接收信号。即,后面的上升部位是能得到码元“10”所固有的亮度的上升的定时。

平均亮度越高,越能够输出接近以4ppm调制后的信号的信号。因此,在画面整体或者共用电源线的部分的亮度低的情况下,通过减小电流来降低亮度的瞬时值,能够延长hi区间,能够降低错误。该情况下,画面的最高亮度降低,但是,在根据屋内的用途等而原本不需要高的亮度的情况下、或使可见光通信优先的情况下等,通过使将其设为有效的开关为有效,能够最佳地设定通信品质和画质的平衡。

另外,在本实施方式中的发送方法的上述第1像素开关控制步骤中,当使显示器(led显示器)显示影像时,使第1像素开关以如下方式进行开关:与上述第1光源所对应的用于表现影像中的像素的像素值的点亮期间中的、为了发送可见光信号而熄灭第1光源的期间相应地,补偿该点亮期间。也即是,在本实施方式中的发送方法中,当使led显示器显示影像时,发送可见光信号。因此,有时在为了表现由影像信号表示的像素值(具体而言,亮度值)而在led应点亮的期间中,会为了发送可见光信号而该led被熄灭。在这样的情况下,在本实施方式的发送方法中,以与该led被熄灭的期间相应地补偿该点亮期间的方式使第1像素开关进行开关。

例如,在不发送可见光信号而显示由影像信号示出的影像时,在1个码元周期中,共同开关为导通,像素开关仅在对应于作为由该影像信号表示的像素值的平均亮度的期间为导通。在平均亮度为75%的情况下,共同开关在码元周期的第1时隙~第4时隙中为导通。进一步,像素开关在码元周期的第1时隙~第3时隙中为导通。由此,码元周期中,led在第1时隙~第3时隙中点亮,因此,能够表现上述的像素值。但是,为了发送码元“01”,第2时隙被熄灭。于是,在本实施方式的发送方法中,使像素开关进行开关,以使得与该led被熄灭的第2时隙相应地补偿该led的点亮期间,也即是,在第4时隙中led点亮。

另外,在本实施方式的发送方法中,通过变更影像中的像素的像素值,来补偿该点亮期间。例如,在上述那样的情况下,将平均亮度75%的像素值变更为平均亮度100%的像素值。在平均亮度100%的情况下,led在第1时隙~第4时隙点亮,但是,为了发送码元“01”,第1时隙被熄灭。因此,即便在发送可见光信号的情况下,也能够以本来的像素值(平均亮度75%)使led点亮。

由此,能够抑制由于可见光信号的发送而使影像走样。

(按像素错开的发光控制)

图174是示出本实施方式的发送信号的一例的图。

如图174所示,本实施方式的发送机在从像素a和该像素a的附近的像素(例如,像素b以及像素c)发送相同码元(例如“10”)时,使这些像素的发光定时错开。但是,发送机以在这些像素间使该码元中固有的亮度上升定时不错开的方式来使这些像素发光。此外,像素a~像素c分别相当于光源(具体而言,led)。另外,只要该码元为“10”,则码元中固有的亮度上升定时为第3时隙的第4时隙的边界的定时。另外,以下,将这样的定时称为码元固有定时。接收机通过特定该码元固有定时,能够接收对应于该定时的码元。

通过这样错开发光定时,如图174所示,对于表示像素间的平均亮度推移的波形,除了码元固有定时处的上升之外,还有缓和的上升或下降。也即是,码元固有定时处的上升比其它的定时的上升陡峭。因此,接收机通过优先地接收多个上升中的最陡峭的上升,能够确定适当的码元固有定时,结果能够抑制接收错误。

也即是,在从预定的像素发送码元“10”且该预定像素的亮度为25%至75%的中间值的情况下,发送机将与该预定像素对应的像素开关的开区间设定得短或长。进而,发送机相反地调整与该预定像素的附近的像素对应的像素开关的开区间。这样,即便将各像素开关的开区间设定为包含该预定像素和附近的像素的整体的亮度不变,也能够抑制错误。此外,开区间是指像素开关导通的区间。

这样,本实施方式的发送方法还包括第2像素开关控制步骤。该第2像素开关控制步骤中,通过将用于使上述光源组(共同线)所含的位于第1光源的周围的第2光源点亮的第2像素开关设为导通,仅在共同开关为导通、并且第2像素开关为导通的期间,使该第2光源点亮,由此来发送可见光信号。此外,第2光源例如是与第1光源相邻的光源。

并且,在该第1以及第2像素开关控制步骤中,在从第1以及第2光源的各光源同时地发送可见光信号所含的同一码元时,将第1以及第2像素开关的各开关为了发送同一码元而导通或截止的多个定时中的、得到该同一码元中固有的亮度上升的定时,设为在第1以及第2像素开关的各开关中相同,将其它的定时设为在第1以及第2像素开关的各开关中不同,使该同一码元被发送的期间的、第1以及第2光源的整体的平均亮度与预先决定的亮度一致。

由此,如图174所示的像素间平均亮度推移的那样,在空间上平均后的亮度下,能够仅在得到码元中固有的亮度上升的定时使该上升为陡峭,能够抑制接收错误的发生。也即是,能够抑制接收机的可见光信号的接收错误。

另外,在从预定像素发送码元“10”且该预定像素的亮度为25%至75%的中间值的情况下,发送机将第1期间中的与该预定像素对应的像素开关的开区间设定得短或长。进而,发送机在第1期间和在时间上在前或在后的第2期间(例如帧)中,相反地调整该像素开关的开区间。这样,即便将像素开关的开区间设定为预定像素中的、包含第1期间和第2期间的整体的时间平均亮度不变,也能够抑制错误。

即,本实施方式的发送方法的上述第1像素开关控制步骤中,例如,在第1期间和接着该第1期间的第2期间,发送可见光信号所含的同一码元。此时,在该第1以及第2期间的各期间中,使第1像素开关为发送该同一码元而导通或截止的多个定时中的得到同一码元中固有的亮度上升的定时为相同,使其它的定时不同。并且,使该第1以及第2期间的整体的第1光源的平均亮度与预先决定的亮度一致。该第1期间以及第2期间也可以分别是用于显示帧的期间和用于显示下一帧的期间。另外,第1期间以及第2期间也可以分别是码元周期。也即是,第1期间以及第2期间也可以分别是用于发送1个码元的期间和用于发送下一码元的期间。

由此,与图174所示的像素间平均亮度推移同样地,在时间上平均化后的亮度下,能够仅在得到码元中固有的亮度上升的定时使该上升为陡峭,能够抑制接收错误的发生。也即是,能够抑制接收机的可见光信号的接收错误。

(像素开关能够倍速驱动的情况的发光控制)

图175是示出本实施方式的发送信号的一例的图。

在能够以发送码元周期的半个周期开闭像素开关的情况下、也即是在像素开关能够倍速驱动的情况下,如图175所示那样,能够设为与v4ppm相同的发光样式。

换言之,在码元周期(码元被发送的期间)由4时隙构成的情况下,控制像素开关的led驱动电路等的像素开关控制部,能够按每2时隙来控制像素开关。也即是,像素开关控制部在从该码元周期的最初的时间点开始的与2时隙对应的期间,能够使像素开关导通任意的时间。进而,像素开关控制部在该码元周期的第3时隙的最初的时间点开始的与2时隙对应的期间,能够使像素开关导通任意的时间。

也即是,本实施方式的发送方法中,也可以以上述码元周期的1/2周期变更像素值。

该情况下,存在像素开关的开闭的每1次的精细度会降低(精度会降低)的可能性。于是,通过仅在发送优先开关有效时进行像素开关的开闭,能够最佳地设定画质和发送品质的平衡。

(基于像素值调整的发光控制的框图)

图176是示出本实施方式的发送机的一例的框图。

图176的(a)是示出不进行可见光信号的发送而仅进行影像的显示的装置、即使上述的led显示器显示影像的显示装置的构成的框图。如图176的(a)所示,该显示装置具备:图像/影像输入部1911、n倍速化部1912、共同开关控制部1913、像素开关控制部1914。

图像/影像输入部1911将例如以60hz的帧速率表示图像或影像的影像信号向n倍速化部1912输出。

n倍速化部1912将从图像/影像输入部1911输入的影像信号的帧速率提升至n(n>1)倍,并输出该影像信号。例如,n倍速化部1912将帧速率提升至10倍(n=10),即提升至600hz的帧速率。

共同开关控制部1913基于该600hz的帧速率的影像来使共同开关进行开关。同样地,像素开关控制部1914基于该600hz的帧速率的影像来使像素开关进行开关。这样,通过利用n倍速化部1912提升帧速率,能够避免因共同开关或像素开关等开关的开闭而导致的闪烁。另外,在由摄像装置以高速快门对led显示器进行摄像的情况下,也能够使该摄像装置拍摄无像素缺失或无闪烁的图像。

图176的(b)是示出不仅进行影像的显示还进行上述可见光信号的发送的显示装置、即发送机(发送装置)的构成的框图。该发送机具备:图像/影像输入部1911、共同开关控制部1913、像素开关控制部1914、信号输入部1915、像素值调整部1916。信号输入部1915将由多个码元构成的可见光信号以2400码元/秒的码元速率(频率)向像素值调整部1916输出。

像素值调整部1916与该可见光信号的码元速率相匹配地复制从图像/影像输入部1911输入的图像,根据上述方法对像素值进行调整。由此,从像素值调整部1916到后面的共同开关控制部1913以及像素开关控制部1914,能够不改变图像或影像的亮度地输出可见光信号。

例如,在图176所示的例子的情况下,如果可见光信号的码元速率为2400码元/秒,则像素值调整部1916按照影像信号的帧速率60hz为4800hz的方式,复制影像信号所含的图像。例如,可见光信号所含的码元的值为“00”,复制前的第1张图像所含的像素的像素值(亮度值)为50%。该情况下,像素值调整部1916在复制后的第1张图像中将该像素值调整为100%,在第2张图像中调整为50%。由此,如图175的(c)所示的、码元“00”的情况的亮度变化那样,通过共同开关和像素开关的与(and),亮度成为50%。结果,能够一边保持为与原图像的亮度相等,一边发送可见光信号。此外,共同开关和像素开关的与是指,仅在共同开关导通、且像素开关导通的期间,与该共同开关以及像素开关对应的光源(即led)点亮。

另外,在本实施方式的发送方法中,也可以不同时地进行影像的显示和可见光信号的发送,而通过信号发送期间和影像显示时间将它们分开来进行。

也即是,在本实施方式的上述第1像素开关控制步骤中,在共同开关根据亮度变化样式进行开关的信号发送期间中,第1像素开关为导通。并且,本实施方式的发送方法,还可以包含影像显示步骤:在与该信号发送期间不同的影像显示期间中,使该共同开关导通,在影像显示期间中根据显示对象的影像使第1像素开关导通,由此,仅在共同开关导通且第1像素开关导通的期间,使第1光源点亮,据此显示该影像中的像素。

由此,由于影像的显示和可见光信号的发送在相互不同的期间进行,因此,能够简单地进行该显示和发送。

(电源变更的定时)

在电源线变更时,会发生信号截止(off)的区间,但是,由于4ppm的最后的部分即使不发光也不会对接收有影响,因此,通过与4ppm码元的发送周期相匹配地变更电源线,能够不影响接收品质地变更电源线。

另外,即便在4ppm的lo期间变更电源线,也能够不对接收品质造成影响地变更电源线。该情况下,还能够将最大亮度保持得高地进行发送。

(驱动定时)

另外,本实施方式中,也可以在图177~图179所示的定时驱动led显示器。

图177~图179是以本发明的光id调制信号驱动led显示器的情况的时序图。

例如如图178所示,为了发送可见光信号(光id),在共同开关(com1)截止时(期间t1),无法以影像信号所表示的亮度使led点亮,因此,在该期间t1以后,使该led点亮。由此,能够一边适当地发送可见光信号,一边不使由影像信号表示的影像走样地适当显示该影像。

(总结)

图180a是示出本发明的一方式的发送方法的流程图。

本发明的一方式的发送方法是利用亮度变化发送可见光信号的发送方法,包括步骤sc11~sc13。

在步骤sc11中,与上述的各实施方式同样地,通过对可见光信号进行调制来决定亮度变化样式。

步骤sc12中,根据该亮度变化样式来使共同开关进行开关,该共同开关用于使显示器所具备的光源组所含的、用于分别表示影像中的像素的多个光源共同点亮。

步骤s13中,将用于使该光源组所含的多个光源中的第1光源点亮的第1像素开关(即像素开关)设为导通,由此,仅在共同开关为导通且第1像素开关为导通的期间,使第1光源点亮,据此发送可见光信号。

图180b是示出本发明的一方式的发送装置的功能结构的框图。

本发明的一方式的发送装置c10是根据亮度变化来发送可见光信号的发送装置(或发送机),具备决定部c11、共同开关控制部c12、像素开关控制部c13。决定部c11与上述的各实施方式同样地,通过对可见光信号进行调制来决定亮度变化样式。此外,该决定部c11例如设于图176所示的信号输入部1915。

共同开关控制部c12根据该亮度变化样式来使共同开关进行开关。该共同开关是用于使显示器所具备的光源组所含的用于分别表示影像中的像素的多个光源共同点亮的开关。

像素开关控制部c13通过将用于使光源组所含的多个光源中的控制对象的光源点亮的像素开关设为导通,仅在共同开关为导通且像素开关为导通的期间,使控制对象的光源点亮,据此发送可见光信号。此外,控制对象的光源是上述第1光源。

由此,能够从具备多个led等作为光源的显示器适当地发送可见光信号。因此,能够使包含照明以外的设备的方式的设备间的通信成为可能。另外,在该显示器是用于通过共同开关以及像素开关的控制显示影像的显示器的情况下,能够利用该共同开关以及像素开关,发送可见光信号。因此,不对用于使显示器显示影像的构成(即显示装置)进行大幅的变更,就能够简单地发送可见光信号。

(单帧发送(singleframetransmission)的帧构成)

图181是示出本实施方式的发送信号的一例的图。

如图181的(a)所示,发送帧由前导码(pre)、id长度(idlen)、id类型(idtype)、内容(id/data)以及检查码(crc)构成。各区域的比特数是一例。

通过使用图181的(b)所示那样的前导码,接收机能够与用4ppm、i-4ppm或v4ppm编码的其它的部分相区别,能够找到信号的划分(分割)。

如图181的(c)所示,通过用idlen指定id/data的长度,能够发送可变长度的内容。

crc是订正或者检测pre以外的部分的错误的检查码。通过根据检查区域的长度使crc长度变化,能够将检查能力保持为一定以上。另外,通过使用根据检查区域的长度而不同的检查码,能够提高每crc长度的检查能力。

(多帧发送(multipleframetransmission)的帧构成)

图182和图183是示出本实施方式的发送信号的一例的图。

向发送数据(body)附加划分类型(ptype)和检查码(crc)而成为联接数据(joineddata)。联接数据被分割为几个datapart,并被附加前导码(pre)和地址(addr)而被发送。

ptype(或者,划分模式(pmode))表示body的分割方法或含义。通过如图182的(a)所示那样设为2比特,能够以4ppm恰好地进行编码。通过如图182的(b)所示那样设为1比特,能够缩短发送时间。

crc是检查ptype和body的检查码。如图161确定那样,通过根据所检查的部分的长度使crc的编码长度变化,能够将检查能力保持为一定以上。

前导码通过如图162那样确定,能够确保分割样式的变化,并且能够缩短发送时间。

地址通过如图163那样确定,接收机能够与接收到帧的顺序无关地对数据进行复原。

图183是可能的联接数据长度和帧数的组合。带下划线的组合是下述的ptype为单帧兼容(singleframecompatible)时所使用的组合。

(body字段的构成)图184是示出本实施方式的发送信号的一例的图。

通过将body设为如图那样的字段构成,能够发送与单帧发送同样的id。

在相同idtype、相同id的情况下,通过设为与单帧发送还是多帧发送无关地、另外与数据包发送的组合无关地,表示相同含义,能够在连续发送、接收时间短的情况等情况下灵活地发送信号。

以idlen指定id的长度,剩余的部分发送填充(padding)。该部分可以全部为0或1,也可以发送扩充id的数据,还可以设为检查码。padding也可以在左端。

在图184的(b)、(c)或(d)中,能够与图184的(a)相比缩短发送时间。此时id的长度设为可作为id被取得的长度中的最大长度。

在图184的(b)或(c)的情况下,idtype的比特数为奇数,但是,通过与图182的(b)所示的1比特的ptype进行组合,能够成为偶数,能够以4ppm高效地进行编码。

在图184的(c)中,能够发送更长的id。

在图184的(d)中,能够表现更多的idtype。

(ptype)

图185是示出本实施方式的发送信号的一例的图。

在ptype为预定的比特时,表示body为单帧兼容模式。由此,能够发送与单帧发送的情况相同的id。

例如,在ptype=00时,能够与以单帧发送方式发送的id或id类型同样地处理与该ptype对应的id或id类型,能够使id或id类型的管理简单。

当ptype为预定的比特时,表示body是数据流(datastream)模式。此时,发送帧数和datapart长度能够使用所有的组合,不同的组合的数据能够具有不同的含义。通过ptype的比特,所述不同的组合可以设为具有相同含义的情况和具有不同的含义的情况。由此,能够灵活地选择发送方法。

例如,当ptype=01时,能够发送单帧发送中未定义的尺寸(size)的id。另外,即便与该ptype对应的id与单帧发送的id相同,也能够将与该ptype对应的id作为与该单帧发送的id不同的其他的id来处理。结果,能够增多可以表现的id的数量。

(单帧兼容(singleframecompatible)模式的字段构成)

图186是示出本实施方式的发送信号的一例的图。

在使用图184的(a)的情况下,在单帧兼容模式下,以图186所示的表的组合发送的情况的效率最佳。

在使用图184的(b)、(c)或(d)的情况下,当id为32比特时,帧数为13、datapart长度为4比特的组合的效率较好。另外,当id为64比特时,帧数为11、datapart长度为8比特的组合的效率较好。

通过仅以表的组合进行发送,使得不同的组合能够判断为接收错误,能够降低接收错误率。

(实施方式19的总结)

本发明的一个方式的发送方法是通过亮度变化来发送可见光信号的发送方法,该方法包括:决定步骤,通过调制可见光信号来决定亮度变化样式;共同开关控制步骤,按照所述亮度变化样式来使共同开关进行开关,所述共同开关用于使显示器所具备的光源组所含的、用于分别表示影像中的像素的多个光源共同点亮;以及第1像素开关控制步骤,通过使用于使所述光源组所含的多个光源中的第1光源点亮的第1像素开关为导通,从而仅在所述共同开关为导通、并且所述第1像素开关为导通的期间,使所述第1光源点亮,由此发送所述可见光信号。

由此,例如如图173~图180b所示,能够从具备多个led等作为光源的显示器适当地发送可见光信号。因此,能够使得包含照明以外的设备的方式的设备间的通信成为可能。另外,在该显示器是用于通过共同开关以及第1像素开关的控制来显示影像的显示器的情况下,能够利用该共同开关以及第1像素开关,发送可见光信号。因此,能够不对用于使显示器显示影像的构成进行大幅的变更,就能够简单地发送可见光信号。

另外,也可以是,在所述决定步骤中,按码元周期决定所述亮度变化样式,在所述第1像素开关控制步骤中,与所述码元周期同步地使所述第1像素开关进行开关。

由此,例如如图173所示,即使码元周期例如为1/2400秒,也能够根据该码元周期适当地发送可见光信号。

另外,也可以是,在所述第1像素开关控制步骤中,在使所述显示器显示影像时,使所述第1像素开关进行开关,以使得:与所述第1光源所对应的用于表现所述影像中的像素的像素值的点亮期间中的、为了发送所述可见光信号而熄灭所述第1光源的期间相应地,补偿所述点亮期间。例如,也可以通过改变所述影像中的像素的像素值,来补偿所述点亮期间。

由此,例如如图173以及图175所示,即便在为了发送可见光信号而第1光源被熄灭的情况下,由于点亮期间得到补偿,因此,也能够不使本来的影像走样地适当进行显示。

另外,也可以是,以所述码元周期的1/2周期来改变所述像素值。

由此,例如图175所示,能够适当地进行影像的显示和可见光信号的发送。

另外,也可以是,所述发送方法还包括第2像素开关控制步骤,在所述第2像素开关控制步骤中,通过使用于使所述光源组所含的、位于所述第1光源的周围的第2光源点亮的第2像素开关为导通,仅在所述共同开关为导通、并且所述第2像素开关为导通的期间,使所述第2光源点亮,由此发送所述可见光信号,在所述第1像素开关控制步骤以及所述第2像素开关控制步骤中,在从所述第1光源以及所述第2光源的各个光源,同时地发送所述可见光信号所含的同一码元时,使所述第1像素开关以及所述第2像素开关的各个像素开关为了发送所述同一码元而导通或截止的多个定时中的、得到所述同一码元中固有的亮度上升的定时,在所述第1像素开关以及所述第2像素开关的各像素开关中相同,使其它的定时在所述第1像素开关以及所述第2像素开关的各像素开关中不同,使发送所述同一码元的期间的所述第1光源以及所述第2光源的整体的平均亮度与预先决定的亮度一致。

由此,例如如图174所示,能够在空间上平均化后的亮度下,仅在得到码元中固有的亮度上升的定时,使该上升为陡峭,能够抑制接收错误的发生。

另外,也可以是,在所述第1像素开关控制步骤中,在第1期间和接着所述第1期间的第2期间,发送所述可见光信号所含的同一码元时,在所述第1期间以及所述第2期间的各期间中,使所述第1像素开关为了发送所述同一码元而导通或截止的多个定时中的、得到所述同一码元中固有的亮度上升的定时相同,使其它的定时不同,使所述第1期间以及所述第2期间的整体的所述第1光源的平均亮度与预先决定的亮度一致。

由此,例如如图174所示,能够在时间上平均化后的亮度下,仅在得到码元中固有的亮度上升的定时,使该上升为陡峭,能够抑制接收错误的发生。

另外,也可以是,在所述第1像素开关控制步骤中,在所述共同开关按照所述亮度变化样式来进行开关的信号发送期间中,使所述第1像素开关为导通,所述发送方法还包括影像显示步骤,在所述影像显示步骤中,通过在与所述信号发送期间不同的影像显示期间中,使所述共同开关为导通,在所述影像显示期间使所述第1像素开关按照显示对象的影像来成为导通,从而仅在所述共同开关为导通、并且所述第1像素开关为导通的期间,使所述第1光源点亮,由此显示所述影像中的像素。

由此,由于影像的显示和可见光信号的发送在相互不同的期间进行,因此,能够简单地进行该显示和发送。

(实施方式20)

在本实施方式中,对上述各实施方式的可见光信号的详细情况或变形例进行具体说明。此外,摄像头的发展趋势是高分辨率化(4k)、高帧速率化(60fps)。通过高帧速率化,帧扫描时间减少。其结果是,接收距离减小,接收时间增加。因此,对于发送可见光信号的发送机,需要缩短数据包发送时间。另外,通过线扫描时间的减少,接收的时间分辨能力提高。另外,曝光时间为1/8000秒。对于4ppm,由于同时进行信号表现和调光,因此信号密度低,效率差。因此,在本实施方式的可见光信号中,将信号部分和调光部分分离,缩短了接收所需的部分。

图187是输出本实施方式的可见光信号的结构的一例的图。

如图187所示,可见光信号包括信号部与调光部的多个组合。该组合的时间长度例如为2ms以下(频率为500hz以上)。

图188是示出本实施方式的可见光信号的详细结构的一例的图。

可见光信号包括数据l(datal)、前导码(preamble)、数据r(datar)和调光部(dimming)。由数据l、前导码和数据r构成上述信号部。

前导码沿着时间轴交替地示出high(高)和low(低)的亮度值。也即是,前导码按时间长度p1示出high的亮度值,按下一个时间长度p2示出low的亮度值,按下一个时间长度p3示出high的亮度值,按下一个时间长度p4示出low的亮度值。此外,时间长度p1~p4例如为100μs。

数据r沿着时间轴交替地示出high和low的亮度值,被配置在紧接前导码之后。也即是,数据r按时间长度dr1示出high的亮度值,按下一个时间长度dr2示出low的亮度值,按下一个时间长度dr3示出high的亮度值,按下一个时间长度dr4示出low的亮度值。此外,时间长度dr1~dr4根据与发送对象的信号相应的算式来决定。该算式是dri=120+20xi(i∈1~4,xi∈0~15)。此外,120以及20等数值表示时间(μs)。另外,这些数值是一例。

数据l沿着时间轴交替地示出high和low的亮度值,被配置在紧接前导码之前。也即是,数据l按时间长度dl1示出high的亮度值,按下一个时间长度dl2示出low的亮度值,按下一个时间长度dl3示出high的亮度值,按下一个时间长度dl4示出low的亮度值。此外,时间长度dl1~dl4根据与发送对象的信号相应的算式来决定。该算式是dli=120+20×(15-xi)。此外,与上述同样地,120以及20等数值表示时间(μs)。另外,这些数值是一例。

此外,发送对象的信号由4×4=16位(比特)构成,xi是该发送对象的信号中的4位的信号。在可见光信号中,通过数据r中的时间长度dr1~dr4的各时间长度或数据l中的时间长度dl1~dl4的各时间长度,表示该xi(4位的信号)的数值。另外,在发送对象的信号的16位中,4位表示地址,8位表示数据,4位用于错误检测。

在此,数据r和数据l针对明亮度具有互补关系。也即是,如果数据r的明亮度亮,则数据l的明亮度为暗,反过来,如果数据r的明亮度暗,则数据l的明亮度为亮。也即是,数据r的整体的时间长度与数据l的时间长度之和,无关于发送对象的信号而是恒定的。

调光部是用于调整可见光信号的明亮度(亮度)的信号,按时间长度c1示出high的亮度值,按下一个时间长度c2示出low的信号。时间长度c1以及c2可进行任意调整。此外,调光部既可以包含在可见光信号中,也可以不包含在可见光信号中。

另外,在图188所示的例子中,数据r以及数据l包含在可见光信号中,但也可以仅包含数据r和数据l中的某一方。在想要使可见光信号变亮时,也可以仅发送数据r和数据l中的亮的数据。另外,也可以使数据r和数据l的配置相反。另外,在包含数据r的情况下,调光部的时间长度c1例如比100μs长,在包含数据l的情况下,调光部的时间长度c2例如比100μs长。

图189a是示出本实施方式的可见光信号的另一例的图。

在图188所示的可见光信号中,通过表示high的亮度值的时间长度和表示low的亮度值的时间长度的各时间长度表现了发送对象的信号,但也可以如图189a的(a)所示,仅通过表示low的亮度值的时间长度来表现发送对象的信号。此外,图189a的(b)表示图188的可见光信号。

例如,如图189a的(a)所示,在前导码中,表示high的亮度值的时间长度都相等而相对较短,表示low的亮度值的时间长度p1~p4分别例如为100μs。另外,在数据r中,表示high的亮度值的时间长度都相等而相对较短,表示low的亮度值的时间长度dr1~dr4分别根据信号xi来调整。此外,在前导码以及数据r中,表示high的亮度值的时间长度例如为10μs以下。

图189b是示出本实施方式的可见光信号的另一例的图。

例如,如图189b所示,在前导码中,表示high的亮度值的时间长度都相等而相对较短,表示low的亮度值的时间长度p1~p3分别例如为160μs、180μs、160μs。另外,在数据r中,表示high的亮度值的时间长度都相等而相对较短,表示low的亮度值的时间长度dr1~dr4分别根据信号xi来调整。此外,在前导码以及数据r中,表示high的亮度值的时间长度例如为10μs以下。

图189c是示出本实施方式的可见光信号的信号长度的图。

图190是示出本实施方式的可见光信号与标准iec(internationalelectrotechnicalcommission,国际电工委员会)的可见光信号之间的亮度值的比较结果的图。此外,标准iec具体是“visiblelightbeaconsystemformultimediaapplications(用于多媒体应用的可见光信标系统)”。

对于本实施方式的可见光信号(实施方式的方式(data单侧)),能够获得比标准iec的可见光信号的最高亮度高的最高亮度82%,能够获得比标准iec的可见光信号的最低亮度低的最低亮度18%。此外,最高亮度82%以及最低亮度18%是本实施方式中的通过仅包含数据r和数据l中的某一方的可见光信号而得到的数值。

图191是示出本实施方式的可见光信号与标准iec的可见光信号之间的、相对于视角的接收数据包数以及可靠度的比较结果的图。

对于本实施方式的可见光信号(实施方式的方式(两方(both)),即使视角变小、即从发送可见光信号的发送机到接收机的距离变长,相比于标准iec的可见光信号,接收数据包数多,能够获得高的可靠度。此外,图191所示的实施方式的方式(both)的数值是通过包含数据r和数据l这两方的可见光信号而得到的数值。

图192是示出本实施方式的可见光信号与标准iec的可见光信号之间的、相对于噪声的接收数据包数以及可靠度的比较结果的图。

对于本实施方式的可见光信号(ieee),不管噪声(噪声的方差值)如何,相比于标准iec的可见光信号,接收数据包数都多,能够获得高的可靠度。

图193是示出本实施方式的可见光信号与标准iec的可见光信号之间的、相对于接收侧时钟误差的接收数据包数以及可靠度的比较结果的图。

对于本实施方式的可见光信号(ieee),在接收侧时钟误差的广大范围内,相比于标准iec的可见光信号,接收数据包数多,能够获得高的可靠度。此外,接收侧时钟误差是接收机的图像传感器中的曝光线开始曝光的定时的误差。

图194是示出本实施方式的发送对象的信号的结构的图。

发送对象的信号如上述那样包括4个4位(4×4=16位)的信号(xi)。例如,发送对象的信号包括信号x1~x4。信号x1由位x11~x14构成,信号x2由位x21~x24构成。另外,信号x3由位x31~x34构成,信号x4由位x41~x44构成。在此,位x11、位x21、位x31以及位x41容易出错,除此之外的位不容易出错。因此,信号x4所包含的位x42~位x44分别用于信号x1的位x11、信号x2的位x21、信号x3的位x31的奇偶校验位,信号x4所包含的位x41不使用而一直表示0。在位x42、x43、x44各自的计算中,使用图194所示的算式。通过该算式,分别算出位x42、x43、x44,使得位x42=位x11、位x43=位x21、位x44=位x31。

图195a是示出本实施方式的可见光信号的接收方法的图。

接收机依次取得上述的可见光信号的信号部。信号部包括4位的地址(addr)和8位的数据(data)。接收机将这些信号部的数据分别结合,生成由多个数据构成的id和由一个或多个数据构成的奇偶校验位(partity)。

图195b是示出本实施方式的可见光信号的排序的图。

图196是示出本实施方式的可见光信号的另一例的图。

图196所示的可见光信号通过对图188所示的可见光信号重叠高频信号而构成。高频信号的频率例如为1~数gbps。由此,能够比图188所示的可见光信号高速地发送数据。

图197是示出本实施方式的可见光信号的详细结构的另一例的图。此外,图197所示的可见光信号的结构与图188所示的结构是同样的,但图197所示的可见光信号中的调光部的时间长度c1以及c2不同于图188所示的时间长度c1以及c2。

图198是示出本实施方式的可见光信号的详细结构的另一例的图。在该图198所示的可见光信号中,数据r以及数据l包含8个v4ppm码元。数据l所包含的码元dli的上升位置或下降位置与数据r所包含的码元dri的上升位置或下降位置相同。但是,码元dli的平均亮度和码元dri的平均亮度既可以相同也可以不同。

图199是示出本实施方式的可见光信号的详细结构的另一例的图。该图199所示的可见光信号是id通信用或低平均亮度用途的信号,与图189b所示的可见光信号相同。

图200是示出本实施方式的可见光信号的详细结构的另一例的图。在该图200所示的可见光信号中,数据(data)中的第偶数个时间长度d2i和第奇数个时间长度d2i+1相等。

图201是示出本实施方式的可见光信号的详细结构的另一例的图。该图201所示的可见光信号中的数据(data)包含多个作为脉冲位置调制的信号的码元。

图202是示出本实施方式的可见光信号的详细结构的另一例的图。该图202所示的可见光信号是连续通信用的信号,与图198所示的可见光信号相同。

图203~图211是用于说明决定图197的x1~x4的值的图。此外,图203~图211所示的x1~x4通过与决定以下的变形例所示的码w1~w4的值(w1~w4)的方法同样的方法来决定。但是,x1~x4分别是由4位构成的码,在第1位包含奇偶校验位,这一点与以下的变形例所示的码w1~w4不同。

(变形例1)

图212是示出本实施方式的变形例1涉及的可见光信号的详细结构的一例的图。该变形例1涉及的可见光信号与上述实施方式的图188所示的可见光信号同样,但表示high或low的亮度值的时间长度不同于图188所示的可见光信号。例如,在本变形例涉及的可见光信号中,前导码的时间长度p2、p3为90μs。另外,在本变形例涉及的可见光信号中,与上述实施方式同样,数据r中的时间长度dr1~dr4按照与发送对象的信号相应的算式来决定。但是,本变形例中的算式是dri=120+30×wi(i∈1~4,wi∈0~7)。此外,wi是由3位构成的码,是表示0~7的任一个整数的值的发送对象的信号。另外,在本变形例涉及的可见光信号中,与上述实施方式同样,数据l中的时间长度dl1~dl4按照与发送对象的信号相应的算式来决定。但是,本变形例中的算式是dli=120+30×(7-wi)。

另外,在图212所示的例子中,数据r以及数据l包含在可见光信号中,但也可以是数据r和数据l中的仅某一方包含在可见光信号中。在想要使可见光信号变亮时,也可以仅发送数据r和数据l中的亮的数据。另外,也可以使数据r和数据l的配置相反。

图213是示出本变形例涉及的可见光信号的另一例的图。

变形例1涉及的可见光信号与图189a的(a)以及图189b所示的例子同样地,也可以仅通过表示low的亮度值的时间长度来表现发送对象的信号。

例如,如图213所示,在前导码中,表示high的亮度值的时间长度例如小于10μs,表示low的亮度值的时间长度p1~p3分别例如为160μs、180μs、160μs。另外,在数据(data)中,表示high的亮度值的时间长度小于10μs,表示low的亮度值的时间长度d1~d3分别根据信号wi来调整。具体而言,表示low的亮度值的时间长度di为di=180+30×wi(i∈1~4,wi∈0~7)。

图214是示出本变形例涉及的可见光信号的又一例的图。

本变形例涉及的可见光信号也可以包含图214所示那样的前导码和数据。前导码与图212所示的前导码同样地,沿着时间轴交替地示出high和low的亮度值。另外,前导码中的时间长度p1~p4分别为50μs、40μs、40μs、50μs。数据(data)沿着时间轴交替地示出high和low的亮度值。例如,数据l按时间长度d1示出high的亮度值,按下一个时间长度d2示出low的亮度值,按下一个时间长度d3示出high的亮度值,按下一个时间长度d4示出low的亮度值。

在此,时间长度d2i-1+d2i按照与发送对象的信号相应的算式来决定。也即是,表示high的亮度值的时间长度与继该亮度值之后的表示low的亮度值的时间长度之和按照该算式来决定。该算式例如是d2i-1+d2i=100+20×xi(i∈1~n,xi∈0~7,d2i>50μs,d2i+1>50μs)。

图215是示出数据包调制的一例的图。

信号生成装置是本变形例涉及的可见光信号的生成方法,生成可见光信号。在本变形例涉及的可见光信号的生成方法中,将数据包调制(即变换)成上述的发送对象的信号wi。此外,上述的信号生成装置既可以设置在上述各实施方式的发送机中,也可以不设置在该发送机中。

例如,信号生成装置如图215所示那样将数据包变换成包含由码w1、w2、w3以及w4分别表示的数值在内的发送对象的信号。这些码w1、w2、w3以及w4分别是由从第1位到第3位的3位构成的码,如图212所示,表示0~7的整数值。

在此,在码w1~w4的各个码中,设第1位的值为b1,设第2位的值为b2,设第3位的值为b3。此外,b1、b2以及b3是0或1。该情况下,由码w1~w4表示的数值w1~w4分别例如是b1×20+b2×21+b3×22

数据包包含由0~4位构成的地址数据(a1~a4)、由4~7位构成的主数据da(da1~da7)、由3~4位构成的副数据db(db1~db4)和停止位的值(s)来作为数据。此外,da1~da7、a1~a4、db1~db4以及s分别表示位的值、即0或1。

即,信号生成装置在将数据包调制成发送对象的信号时,将该数据包所包含的数据分配到码w1、w2、w3以及w4的某个位。由此,数据包被变换成包含由码w1、w2、w3以及w4分别表示的数值在内的发送对象的信号。

信号生成装置在分配数据包所包含的数据时,具体而言,向由码w1~w4各自的第1位(bit1)构成的第1位列,分配数据包所包含的主数据da的至少一部分(da1~da4)。进而,信号生成装置向码w1的第2位(bit2)分配数据包所包含的停止位的值(s)。进而,信号生成装置向由码w2~w4各自的第2位(bit2)构成的第2位列,分配数据包所包含的主数据da的一部分(da5~da7)或数据包所包含的地址数据的至少一部分(a1~a3)。进而,信号生成装置向由码w1~w4各自的第3位(bit3)构成的第3位列,分配数据包所包含的副数据db的至少一部分(db1~db3)、和该副数据db的一部分(db4)或地址数据的一部分(a4)。

此外,在码w1~w4各自的第3位(bit3)都为0的情况下,通过上述的“b1×20+b2×21+b3×22”,这些码所表示的数值被抑制在3以下。因此,通过图212所示的算式dri=120+30×wi(i∈1~4,wi∈0~7),能够缩短时间长度dri。其结果是,能够缩短发送一个数据包的时间,即使从较远的地方,也能够接收该数据包。

图216~图226是示出从元数据生成数据包的处理的图。

本变形例涉及的信号生成装置根据元数据的位长来判定是否对该元数据进行分割。并且,信号生成装置通过进行与该判定的结果相应的处理,从元数据生成至少一个数据包。也即是,元数据的位长越长,则信号生成装置将该元数据分割成越多的数据包。反过来,如果元数据的位长比预定的位长短,则信号生成装置不分割元数据而生成数据包。

当如此从元数据生成至少一个数据包时,信号生成装置将该至少一个数据包的各数据包变换成上述的发送对象的信号、即码w1~w4。

此外,在图216~图226中,data表示元数据,dataa表示元数据所包含的主元数据,datab表示元数据所包含的副元数据。另外,da(k)表示构成主元数据本身或包含主元数据和奇偶校验位的数据的多个部分中的第k个部分。同样地,db(k)表示构成副元数据本身或包含副元数据和奇偶校验位的数据的多个部分中的第k个部分。例如,da(2)表示构成包含主元数据和奇偶校验位的数据的多个部分中的第2个部分。另外,s表示起始位,a表示地址数据。

另外,各块内所示出的最上部的标识是用于识别元数据、主元数据、副元数据、起始位以及地址数据等的标签。另外,各块内所示出的中央的数值是位尺寸(位数),最下部的数值是各位的值。

图216是示出将元数据分割成1部分的处理的图。

例如,如果元数据(data)的位长为7位,则信号生成装置不对该元数据进行分割而生成一个数据包。具体而言,元数据包含4位的主元数据dataa(da1~da4)、3位的副元数据datab(db1~db3)来分别作为主数据da(1)和副数据db(1)。该情况下,信号生成装置通过对该元数据附加起始位s(s=1)和由4位构成且表示“0000”的地址数据(a1~a4),生成数据包。此外,起始位s=1表示包含该起始位的数据包是终端的数据包。

信号生成装置通过对该数据包进行变换,生成码w1=(da1,s=1,db1)、码w2=(da2,a1=0,db2)、码w3=(da3,a2=0,db3)以及码w4=(da4,a3=0,a4=0)。进而,信号生成装置生成包含由码w1、w2、w3以及w4分别表示的数值w1、w2、w3以及w4在内的发送对象的信号。

此外,在本变形例中,wi表现为3位的码,并且也表现为十进制数的数值。因此,在本变形例中,为了易于理解说明,将作为十进制数的数值而使用的wi(w1~w4)表述为数值wi(w1~w4)。

图217是示出将元数据分割成2部分的处理的图。

例如,如果元数据(data)的位长为16位,则信号生成装置通过对该元数据进行分割,生成2个中间数据。具体而言,元数据包含10位的主元数据dataa和6位的副元数据datab。该情况下,信号生成装置生成包含主元数据dataa和与该主元数据dataa对应的1位的奇偶校验位的第1中间数据,生成包含副元数据datab和与该副元数据datab对应的1位的奇偶校验位的第2中间数据。

接着,信号生成装置将第1中间数据分割成由7位构成的主数据da(1)和由4位构成的主数据da(2)。进而,信号生成装置将第2中间数据分割成由4位构成的副数据db(1)和由3位构成的副数据db(2)。此外,主数据是构成包含主元数据和奇偶校验位的数据的多个部分中的一个部分。同样地,副数据是构成包含副元数据和奇偶校验位的数据的多个部分中的一个部分。

接着,信号生成装置生成包含起始位s(s=0)、主数据da(1)和副数据db(1)在内的12位的第1数据包。由此,可输出不包含地址数据的第1数据包。

进而,信号生成装置生成包含起始位s(s=1)、由4位构成且表示“1000”的地址数据、主数据da(2)和副数据db(2)在内的12位的第2数据包。此外,起始位s=0表示所生成的多个数据包中的、包含该起始位的数据包是不位于终端的数据包。另外,起始位s=1表示所生成的多个数据包中的、包含该起始位的数据包是位于终端的数据包。

由此,元数据被分割到第1数据包和第2数据包。

信号生成装置通过对第1数据包进行变换,生成码w1=(da1,s=0,db1)、码w2=(da2,da7,db2)、码w3=(da3,da6,db3)以及码w4=(da4,da5,db4)。进而,信号生成装置生成包含由码w1、w2、w3以及w4分别表示的数值w1、w2、w3以及w4在内的发送对象的信号。

进而,信号生成装置通过对第2数据包进行变换,生成码w1=(da1,s=1,db1)、码w2=(da2,a1=1,db2)、码w3=(da3,a2=0,db3)以及码w4=(da4,a3=0,a4=0)。进而,信号生成装置生成包含由码w1、w2、w3以及w4分别表示的数值w1、w2、w3以及w4在内的发送对象的信号。

图218是示出将元数据分割成3部分的处理的图。

例如,如果元数据(data)的位长为17位,则信号生成装置通过对该元数据进行分割,生成2个中间数据。具体而言,元数据包含10位的主元数据dataa和7位的副元数据datab。该情况下,信号生成装置生成包含主元数据dataa和与该主元数据dataa对应的6位的奇偶校验位的第1中间数据。进而,信号生成装置生成包含副元数据datab和与该副元数据datab对应的4位的奇偶校验位的第2中间数据。例如,信号生成装置通过crc(cyclicredundancycheck,循环冗余检查)来生成奇偶校验位。

接着,信号生成装置将第1中间数据分割成由6位的奇偶校验位构成的主数据da(1)、由6位构成的主数据da(2)和由4位构成的主数据da(3)。进而,信号生成装置将第2中间数据分割成由4位的奇偶校验位构成的副数据db(1)、由4位构成的副数据db(2)和由3位构成的副数据db(3)。

接着,信号生成装置生成包含起始位s(s=0)、由1位构成且表示“0”的地址数据、主数据da(1)和副数据db(1)在内的12位的第1数据包。进而,信号生成装置生成包含起始位s(s=0)、由1位构成且表示“1”的地址数据、主数据da(2)和副数据db(2)在内的12位的第2数据包。进而,信号生成装置生成包含起始位s(s=1)、由4位构成且表示“0100”的地址数据、主数据da(3)和副数据db(3)在内的12位的第3数据包。

由此,元数据被分割到第1数据包、第2数据包和第3数据包。

信号生成装置通过对第1数据包进行变换,生成码w1=(da1,s=0,db1)、码w2=(da2,a1=0,db2)、码w3=(da3,da6,db3)以及码w4=(da4,da5,db4)。进而,信号生成装置生成包含由码w1、w2、w3以及w4分别表示的数值w1、w2、w3以及w4在内的发送对象的信号。

同样地,信号生成装置通过对第2数据包进行变换,生成码w1=(da1,s=0,db1)、码w2=(da2,a1=1,db2)、码w3=(da3,da6,db3)以及码w4=(da4,da5,db4)。进而,信号生成装置生成包含由码w1、w2、w3以及w4分别表示的数值w1、w2、w3以及w4在内的发送对象的信号。

同样地,信号生成装置通过对第3数据包进行变换,生成码w1=(da1,s=1,db1)、码w2=(da2,a1=0,db2)、码w3=(da3,a2=1,db3)以及码w4=(da4,a3=0,a4=0)。进而,信号生成装置生成包含由码w1、w2、w3以及w4分别表示的数值w1、w2、w3以及w4在内的发送对象的信号。

图219是示出将元数据分割成3部分的处理的另一例的图。

在图218所示的例子中,通过crc生成6位或4位的奇偶校验位,但也可以生成1位的奇偶校验位。

该情况下,如果元数据(data)的位长为25位,则信号生成装置通过对该元数据进行分割,生成2个中间数据。具体而言,元数据包含15位的主元数据dataa和10位的副元数据datab。该情况下,信号生成装置生成包含主元数据dataa和与该主元数据dataa对应的1位的奇偶校验位的第1中间数据,生成包含副元数据datab和与该副元数据datab对应的1位的奇偶校验位的第2中间数据。

接着,信号生成装置将第1中间数据分割成由包含奇偶校验位的6位构成的主数据da(1)、由6位构成的主数据da(2)和由4位构成的主数据da(3)。进而,信号生成装置将第2中间数据分割成由包含奇偶校验位的4位构成的副数据db(1)、由4位构成的副数据db(2)和由3位构成的副数据db(3)。

接着,信号生成装置以与图218所示的例子同样的方式,从第1中间数据以及第2中间数据生成第1数据包、第2数据包和第3数据包。

图220是示出将元数据分割成3部分的处理的另一例的图。

在图218所示的例子中,通过针对主元数据dataa的crc而生成6位的奇偶校验位,通过针对副元数据datab的crc而生成4位的奇偶校验位。但是,也可以通过针对主元数据dataa以及副元数据datab的整体的crc来生成奇偶校验位。

该情况下,如果元数据(data)的位长为22位,则信号生成装置通过对该元数据进行分割,生成2个中间数据。

具体而言,元数据包含15位的主元数据dataa和7位的副元数据datab。信号生成装置生成包含主元数据dataa和与该主元数据dataa对应的1位的奇偶校验位的第1中间数据。进而,信号生成装置通过针对主元数据dataa以及副元数据datab的整体的crc,生成该4位的奇偶校验位。并且,信号生成装置生成包含副元数据datab和4位的奇偶校验位的第2中间数据。

接着,信号生成装置将第1中间数据分割成由包含奇偶校验位的6位构成的主数据da(1)、由6位构成的主数据da(2)和由4位构成的主数据da(3)。进而,信号生成装置将第2中间数据分割成由4位构成的副数据db(1)、由包含crc的奇偶校验位的一部分的4位构成的副数据db(2)和由包含crc的奇偶校验位的剩余部分的3位构成的副数据db(3)。

接着,信号生成装置以与图218所示的例子同样的方式,从第1中间数据以及第2中间数据生成第1数据包、第2数据包和第3数据包。

此外,称将元数据分割成3部分的处理的各具体例中的图218所示的处理为版本(version)1,称图219所示的处理为版本2,称图220所示的处理为版本3。

图221是示出将元数据分割成4部分的处理的图。另外,图222示出将元数据分割成5部分的处理的图。

信号生成装置以与将元数据分割成3部分的处理同样的方式、即以与图218~图220所示的处理同样的方式,将元数据分割成4部分或5部分。

图223是示出将元数据分割成6、7或8部分的处理的图。

例如,如果元数据(data)的位长为31位,则信号生成装置通过对该元数据进行分割,生成2个中间数据。具体而言,元数据包含16位的主元数据dataa和15位的副元数据datab。该情况下,信号生成装置生成包含主元数据dataa和与该主元数据dataa对应的8位的奇偶校验位的第1中间数据。进而,信号生成装置生成包含副元数据datab和与该副元数据datab对应的8位的奇偶校验位的第2中间数据。例如,信号生成装置通过rs编码(reed-solomoncoding,理德-所罗门编码)来生成奇偶校验位。

在此,在rs编码中将4位作为1个码元来处理的情况下,主元数据dataa以及副元数据datab各自的位长必须是4位的整数倍。然而,副元数据datab如上述那样是15位,比作为4位的整数倍的16位少1位。

因此,信号生成装置在生成第2中间数据时,对副元数据datab进行填充(padding),通过rs编码来生成与进行了该填充的16位的副元数据datab对应的8位的奇偶校验位。

接着,信号生成装置通过与上述同样的方法将第1中间数据以及第2中间数据分别分割成6个部分(4位或3位)。并且,信号生成装置生成包含起始位、由3位或4位构成的地址数据、第1主数据、第1副数据的第1数据包。同样地,信号生成装置生成第2数据包~第6数据包。

图224是示出将元数据分割成6、7或8部分的处理的另一例的图。

在图223所示的例子中,通过rs编码生成了奇偶校验位,但也可以通过crc来生成奇偶校验位。

例如,如果元数据(data)的位长为39位,则信号生成装置通过对该元数据进行分割,生成2个中间数据。具体而言,元数据包含20位的主元数据dataa和19位的副元数据datab。该情况下,信号生成装置生成包含主元数据dataa和与该主元数据dataa对应的4位的奇偶校验位的第1中间数据,生成包含副元数据datab和与该副元数据datab对应的4位的奇偶校验位的第2中间数据。例如,信号生成装置通过crc生成奇偶校验位。

接着,信号生成装置通过与上述同样的方法将第1中间数据和第2中间数据分别分割成6个部分(4位或3位)。并且,信号生成装置生成包含起始位、由3位或4位构成的地址数据、第1主数据和第1副数据的第1数据包。同样地,信号生成装置生成第2数据包~第6数据包。

此外,称将元数据分割成6、7或8部分的处理的各具体例中的图223所示的处理为版本1,称图224所示的处理为版本2。

图225是示出将元数据分割成9部分的处理的图。

例如,如果元数据(data)的位长为55位,则信号生成装置通过对该元数据进行分割,生成从第1数据包到第9数据包的9个数据包。此外,在图225中,省略了第1中间数据以及第2中间数据。

具体而言,元数据(data)的位长为55位,比作为4位的整数倍的56位少1位。因此,信号生成装置对该元数据进行填充,通过rs编码来生成针对由进行了填充的56位构成的元数据的奇偶校验位(16位)。

接着,信号生成装置将包含16位的奇偶校验位和55位的元数据的数据整体分割成9个数据dadb(1)~dadb(9)。

数据dadb(k)分别包含由主元数据dataa所包含的第k个4位构成的部分和由副元数据datab所包含的第k个4位构成的部分。此外,k为1~8的任一个整数。另外,数据dadb(9)包含由主元数据dataa所包含的第9个4位构成的部分和由副元数据datab所包含的第9个3位构成的部分。

接着,信号生成装置通过对9个数据dadb(1)~dadb(9)的各数据附加起始位s和地址数据,生成第1数据包~第9数据包。

图226是示出将元数据分割成10~16的任意个数的部分的处理的图。

例如,如果元数据(data)的位长为7×(n-2)位,则信号生成装置通过对该元数据进行分割,生成从第1数据包到第n数据包的n个数据包。此外,n为10~16的任一个整数。另外,在图226中,省略了第1中间数据以及第2中间数据。

具体而言,信号生成装置通过rs编码来生成针对由7×(n-2)位构成的元数据的奇偶校验位(14位)。此外,在该rs编码中,将7位作为1个码元来处理。

接着,信号生成装置将包含14位的奇偶校验位和7×(n-2)位的元数据的数据整体分割成n个数据dadb(1)~dadb(n)。

数据dadb(k)分别包含由主元数据dataa所包含的第k个4位构成的部分和由副元数据datab所包含的第k个3位构成的部分。此外,k为1~(n-1)的任一个整数。

接着,信号生成装置通过对9个数据dadb(1)~dadb(n)分别附加起始位s和地址数据,生成第1数据包~第n数据包。

图227~图229是示出元数据的分割数、数据尺寸和错误订正码的关系的一例的图。

具体而言,图227~图229集中表示图216~图226所示的各处理中的上述关系。另外,如上所述,将元数据分割成3部分的处理存在版本1~3,将元数据分割成6、7或8部分的处理存在版本1以及版本2。如果相对于分割数而存在多个版本,则图227示出多个版本中的版本1中的上述关系。同样地,如果相对于分割数而存在多个版本,则图228示出多个版本中的版本2中的上述关系。同样地,如果相对于分割数而存在多个版本,则图229示出多个版本中的版本3中的上述关系。

另外,在本变形例中,存在短模式(shortmode)和完整模式(fullmode)。在短模式的情况下,数据包中的副数据为0、且图215所示的第3位列的所有位都为0。该情况下,由码w1~w4表示的数值w1~w4可通过上述的“b1×20+b2×21+b3×22”抑制在3以下。其结果是,如图212所示,数据r中的时间长度dr1~dr4通过dri=120+30×wi(i∈1~4,wi∈0~7)来决定,因此变短。即,在短模式的情况下,能够缩短每一个数据包的可见光信号。通过缩短每一个数据包的可见光信号,接收机即使从远处也能够接收到该数据包,能够增大通信距离。

另一方面,在完整模式的情况下,图215所示的第3位列中的任何位都为1。该情况下,可见光信号不会如短模式那样短。

在本变形例中,如图227~图229所示,如果分割数少,则能够生成短模式的可见光信号。此外,图227~图229中的短模式的数据尺寸表示主元数据(dataa)的位数,完整模式的数据尺寸表示元数据(data)的位数。

(实施方式20的总结)

图230a是示出本实施方式的可见光信号的生成方法的流程图。

本实施方式的可见光信号的生成方法是生成通过发送机所具备的光源的亮度变化而发送的可见光信号的方法,包括步骤sd1~sd3。

在步骤sd1中,生成前导码,该前导码是作为互不相同的亮度值的第1亮度值和第2亮度值分别按预定的时间长度交替地沿时间轴上出现的数据。

在步骤sd2中,在第1以及第2亮度值沿时间轴上交替地出现的数据中,通过按照与发送对象的信号相应的第1方式来决定所述第1以及第2亮度值各自持续的时间长度,生成第1数据。

最后,在步骤sd3中,通过将前导码和第1数据结合来生成可见光信号。

例如,如图188所示,第1以及第2亮度值是high以及low,第1数据是数据r或数据l。通过发送如此生成的可见光信号,如图191~图193所示,能够增加接收数据包数,并且能够提高可靠度。其结果是,能够使得多种多样的设备间的通信成为可能。

另外,也可以:在所述可见光信号的生成方法中,进一步,在所述第1以及第2亮度值沿时间轴上交替地出现的数据中,通过按照与发送对象的信号相应的第2方式来决定所述第1以及第2亮度值各自持续的时间长度,生成与由所述第1数据表现的明亮度具有互补关系的第2数据,在所述可见光信号的生成中,通过按所述第1数据、所述前导码、所述第2数据的顺序将所述前导码与所述第1以及第2数据进行结合,生成所述可见光信号。

例如,如图188所示,第1以及第2亮度值是high以及low,第1以及第2数据是数据r以及数据l。

另外,也可以:在将a以及b分别设为常数、将所述发送对象的信号所包含的数值设为n、将作为数值n可取的最大值的常数设为m的情况下,所述第1方式是通过a+b×n决定所述第1数据中的所述第1或第2亮度值持续的时间长度的方式,所述第2方式是通过a+b×(m-n)决定所述第2数据中的所述第1或第2亮度值持续的时间长度的方式。

例如,如图188所示,a为120μs,b为20μs,n为0~15中的任一个整数值(信号xi所表示的数值),m为15。

另外,也可以:在所述互补关系中,所述第1数据的整体的时间长度与所述第2数据的整体的时间长度之和是恒定的。

另外,也可以:在所述可见光信号的生成方法中,进一步,生成调光部,该调光部是用于调整由所述可见光信号表现的明亮度的数据,在所述可见光信号的生成中,通过进一步结合所述调光部来生成所述可见光信号。

调光部例如是图188中的按时间长度c1示出high的亮度值、按时间长度c2输出low的亮度值的信号(dimming)。由此,能够对可见光信号的明亮度进行任意调整。

图230b是示出本实施方式的信号生成装置的结构的框图。

本实施方式的信号生成装置d10是生成通过发送机所具备的光源的亮度变化而发送的可见光信号的信号生成装置,具备前导码生成部d11、数据生成部d12和结合部d13。

前导码生成部d11生成前导码,所述前导码是作为互不相同的亮度值的第1以及第2亮度值分别按预定的时间长度沿时间轴上交替地出现的数据。

数据生成部d12在第1以及第2亮度值沿时间轴上交替地出现的数据中,通过按照与发送对象的信号相应的第1方式来决定第1以及第2亮度值各自持续的时间长度,生成第1数据。

结合部d13通过将前导码和第1数据结合来生成可见光信号。

通过发送如此生成的可见光信号,如图191~图193所示,能够增加接收数据包数,并且能够提高可靠度。其结果是,能够使得多种多样的设备间的通信成为可能。

(实施方式20的变形例1的总结)

另外,如实施方式20的变形例1那样,所述可见光信号的生成方法也可以:进一步,根据元数据的位长来判定是否对所述元数据进行分割,通过进行与该判定的结果相应的处理,从元数据生成至少一个数据包。并且,也可以将该至少一个数据包的各数据包变换成发送对象的信号。

在向该发送对象的信号进行的变换中,如图215所示,按该至少一个数据包所包含的各对象数据包,将该对象数据包所包含的数据分别分配到由从第1位到第3位的3位构成的码w1、w2、w3以及w4的任一个位,由此将该对象数据包变换成包含由码w1、w2、w3以及w4分别表示的数值在内的发送对象的信号。

在该数据的分配中,向由码w1~w4各自的第1位构成的第1位列,分配对象数据包所包含的主数据的至少一部分。向码w1的第2位分配对象数据包所包含的停止位的值。向由码w2~w4各自的第2位构成的第2位列,分配对象数据包所包含的主数据的一部分或对象数据包所包含的地址数据的至少一部分,向由码w1~w4各自的第3位构成的第3位列,分配对象数据包所包含的副数据。

在此,停止位示出所生成的至少一个数据包中的对象数据包是否位于终端。地址数据示出所生成的至少一个数据包中的对象数据包的顺位来作为地址。主数据和副数据分别是用于恢复元数据的数据。

另外,在将a以及b分别设为常数、将由码w1、w2、w3以及w4分别表示的数值设为w1、w2、w3以及w4的情况下,例如如图212所示,上述的第1方式是通过a+b×w1、a+b×w2、a+b×w3以及a+b×w4来决定第1数据中的第1或第2亮度值持续的时间长度的方式。

例如,在码w1~w4的各个码中,设第1位的值为b1,设第2位的值为b2,设第3位的值为b3。该情况下,由码w1~w4表示的值w1~w4的各值例如是b1×20+b2×21+b3×22。因此,在码w1~w4中,相对于使第1位为1,在使第2位为1时,由该码w1~w4表示的值w1~w4更大。另外,相比于使第2位为1,在使第3位为1时,由该码w1~w4表示的值w1~w4更大。若由这些码w1~w4表示的值w1~w4大,则上述的第1以及第2亮度值各自持续的时间长度(例如dri)长,因此能够抑制可见光信号的亮度的误检测,能够降低接收错误。反过来,若由这些码w1~w4表示的值w1~w4小,则上述的第1以及第2亮度值各自持续的时间长度短,因此比较容易发生可见光信号的亮度的误检测。

因此,在实施方式20的变形例1中,通过将为了接收元数据而重要的停止位以及地址优先分配到码w1~w4的第2位,能够实现该接收错误的降低。另外,码w1定义与前导码最接近的high或low的亮度值持续的时间长度。也即是,码w1比其他码w2~w4接近前导码,因此相比于这些其他码更容易被适当接收。因此,在实施方式20的变形例1中,通过将停止位分配到码w1的第2位,能够进一步抑制接收错误。

另外,在实施方式20的变形例1中,主数据被优先分配到比较容易发生误检测的第1位列。但是,如果向主数据附加错误订正码(奇偶校验位),则能够抑制该主数据的接收错误。

进而,在实施方式20的变形例1中,向由码w1~w4的第3位构成的第3位列分配副数据。因此,如果使副数据为0,则能够大幅缩短由码w1~w4定义的high以及low的亮度值各自持续的时间长度。其结果是,能够大幅缩短每一个数据包的可见光信号的发送时间,能够实现所谓的短模式。在该短模式中,如上述那样发送时间短,因此即使从远处也能够容易接收到数据包。因此,能够增大可见光通信的通信距离。

另外,在实施方式20的变形例1中,如图217所示,在至少一个数据包的生成中,通过将元数据分割到2个数据包,从而生成2个数据包,在数据的分配中,在将2个数据包中的不位于终端的数据包作为对象数据包而变换成发送对象的信号的情况下,向第2位列,不分配地址数据的至少一部分而分配不位于终端的数据包所包含的主数据的一部分。

例如,在图217所示的不位于终端的数据包(packet1)中不包含地址数据。并且,在该不位于终端的数据包中,主数据da(1)有7位。因此,如图215所示,7位的主数据da(1)所包含的数据da1~da4被分配到第1位列,数据da5~da7被分配到第2位列。

如此,在元数据被分割到2个数据包的情况下,在不位于终端的数据包、即第1个数据包中,如果存在起始位(s=0),则不需要地址数据。因此,能够将第2位列的所有位都用于主数据,能够增大数据包所包含的数据量。

另外,在实施方式20的变形例1的数据的分配中,将第2位列所包含的3个位中的按排列顺序的开头侧的位优先用于地址数据的分配,在对第2位列的开头侧的1个或2个位分配地址数据的全部的情况下,对第2位列中的未被分配地址数据的1个或2个位分配主数据的一部分。例如,在图218的paket1中,对第2位列的开头侧的1个位(码w2的第2位)分配1位的地址数据a1。该情况下,对第2位列中的未被分配地址数据的2个位(码w3、w4各自的第2位)分配主数据da6、da5。

由此,能够使第2位列供地址数据和主数据的一部分进行共用,能够增加数据包结构的自由度。

另外,在实施方式20的变形例1的数据的分配中,在无法向第2位列分配地址数据的全部的情况下,向第3位列中的任意位分配地址数据中的除已分配到第2位列的部分之外的剩余部分。例如,在图218的paket3中,无法向第2位列分配4位的地址数据a1~a4的全部。该情况下,向第3位列中的最后的位(码w4的第3位)分配地址数据a1~a4中的除已分配到第2位列的部分a1~a3之外的剩余部分a4。

由此,能够将地址数据适当地分配到码w1~w4。

另外,在实施方式20的变形例1的数据的分配中,在将至少一个数据包中的终端的数据包作为对象数据包而变换成发送对象的信号的情况下,向第2位列以及第3位列所包含的某一个位分配地址数据。例如,图217~图226中的终端的数据包的地址数据的位数为4。该情况下,向第2位列以及第3位列中的最后的位(码w4的第3位)分配4位的地址数据a1~a4。

由此,能够将地址数据适当地分配到码w1~w4。

另外,在实施方式20的变形例1的至少一个数据包的生成中,通过将元数据分割成2部分,生成2个分割元数据,生成所述2个分割元数据各自的错误订正码。并且,使用2个分割元数据和针对该2个分割元数据分别生成的所述错误订正码,生成2个以上的数据包。在2个分割元数据各自的错误订正码的生成中,在2个分割元数据中的某一个分割元数据的位数不足错误订正码的生成所需的位数的情况下,对分割元数据进行填充,生成已填充的分割元数据的错误订正码。例如,如图223所示,在针对作为分割元数据的datab通过rs编码生成奇偶校验位时,在该datab只有15位而不足16位的情况下,对该datab进行填充,针对填充后的分割元数据(16位),通过rs编码生成奇偶校验位。

由此,即使分割元数据的位数不足错误订正码的生成所需的的位数,也能够生成适当的错误订正码。

另外,在实施方式20的变形例1的数据的分配中,在副数据表示0的情况下,对第3位列所包含的所有位分配0。由此,能够实现上述的短模式,能够增大可见光通信的通信距离。

(实施方式21)

图231是表示本实施方式的接收高频可见光信号的方法的图。

接收机在接收高频可见光信号时,例如,如图231的(a)所示,在可见光信号的上升以及下降时设置保护时间(保护间隔)。并且,接收机不使用该保护时间内的高频信号,而通过复制在紧接该保护时间之前所接收到的高频信号来补上该保护时间内的高频信号。此外,重叠于可见光信号的高频信号也可以通过ofdm(orthogonalfrequencydivisionmultiplexing,正交频分复用)进行调制。

另外,接收机在将表示high的亮度值的高频信号和表示low的亮度值的高频信号从高频可见光信号中分离时,对这些高频信号的增益进行自动调整(automaticgaincontrol,自动增益控制)。由此,可统一高频信号的增益(亮度值)。

图232a是表示本实施方式的接收高频可见光信号的另一方法的图。

接收高频可见光信号的接收机,与上述各实施方式同样地具备图像传感器,并且还具备dmd(digitalmirrordevice,数字微镜器件)元件和光电传感器。光电传感器是光电二极管或雪崩光电二极管(avalanchephotodiode)。

接收机通过图像传感器对发送高频可见光信号的发送机(光源)进行拍摄。由此,接收机取得包含亮线条纹图样的亮线图像。该亮线条纹图样通过高频可见光信号中的高频信号以外的信号、即图188所示的可见光信号的亮度变化来表现。接收机确定该亮线图像中的亮线条纹图样的位置(x1,y1)以及(x2,y2)。并且,接收机确定dmd元件中的与该位置(x1,y1)以及(x2,y2)分别对应的微镜。这些微镜接受表现亮线条纹图样的高频可见光信号的光。因此,接收机以仅使由dmd元件所包含的多个微镜中的所确定出的微镜反射的反射光被光电传感器接受的方式,调整各微镜的角度。也即是,接收机以仅使由与位置(x1,y1)对应的微镜反射的反射光被光电传感器1接受的方式,使该微镜有效(on)。进而,接收机以仅使由与位置(x2,y2)对应的微镜反射的反射光被光电传感器2接受的方式,使该微镜有效(on)。并且,接收机使这些所确定出的微镜以外的各微镜无效(off)。由此由被设为无效的微镜反射的反射光被光吸收体(黑体)吸收。另外,通过被设为有效的微镜,高频可见光信号可适当地被光电传感器接受。此外,dmd元件的各微镜通过有效和无效的切换,可切换倾斜角度(+0°或-0°)。在微镜有效时,该微镜朝向光电传感器输出反射光,在微镜无效时,该微镜朝向光吸收部输出反射光。

另外,接收机也可以如图232a所示那样具备半透半反镜(halfmirror)和发光元件。发光元件1通过发出光并进行亮度变化,发送可见光信号(或高频可见光信号)。从该发光元件1输出的光被半透半反镜反射,进而在dmd元件中也被与位置(x1,y1)对应的有效的微镜反射。其结果是,来自发光元件1的可见光信号被发送到与位于位置(x1,y1)的亮线条纹图样对应的发送机。由此,接收机和与位于位置(x1,y1)的亮线条纹图样对应的发送机能够进行双向通信。同样地,从发光元件2输出的光被半透半反镜反射,进而在dmd元件中被与位置(x2,y2)对应的有效的微镜反射。其结果是,来自发光元件2的可见光信号被发送到与位于位置(x2,y2)的亮线条纹图样对应的发送机。由此,接收机和与位于位置(x2,y2)的亮线条纹图样对应的发送机能够进行双向通信。

由此,即使通过图像传感器拍摄的发送机(光源)存在多个,接收机也能够同时且高速地与这些发送机进行双向通信。例如,接收机具备100个能够以10gbps进行接收的光电传感器,在这些接收机与100个发送机进行通信的情况下,能够实现1tbps的通信速度。

图232b是表示本实施方式的接收高频可见光信号的又一方法的图。

接收机例如具备透镜l1及l2、多个半透半反镜、dmd元件、图像传感器、光吸收部(黑体)、处理部、dmd控制部、光电传感器1及2、和发光元件1及2。

这样的接收机通过与图232a所示的例子同样的原理,与两辆车进行双向通信。两辆车通过从前照灯输出光并使该前照灯进行亮度变化,发送高频可见光信号。另外,一辆车从前照灯输出通常光(没有亮度变化的光)。

图像传感器经由透镜l1接受这些高频可见光信号和通常的光。由此,与图232a所示的例子同样地,得到包含因这些高频可见光信号产生的亮线条纹图样的亮线图像。处理部确定该亮线图像中的这些条纹图样的位置。dmd控制部从dmd元件所包含的多个微镜中,确定与上述确定出的条纹图样的位置对应的微镜,使这些微镜有效。

由此,从两辆车分别透过了透镜l1以及半透半反镜的高频可见光信号被dmd元件的微镜反射,朝向透镜l2。另外,对于一辆车的前照灯的通常光,由于没有通过该光产生亮线条纹图样,因此即使透过透镜l1以及半透半反镜,也会被dmd元件的无效的微镜反射。被无效的微镜反射后的光,被光吸收部(黑体)吸收。

透过了透镜l2的高频可见光信号透过半透半反镜并被光电传感器1或2接收。由此,能够接收来自各车的高频可见光信号。另外,如果发光元件1以及2向半透半反镜输出可见光信号(或高频可见光信号),则该可见光信号被半透半反镜反射并透过透镜l2,进而被dmd元件中的有效的微镜反射。其结果是,来自发光元件1以及2的可见光信号经由半透半反镜以及透镜l1向发送了高频可见光信号的车发送。也即是,接收机能够在其与发送高频可见光信号的多辆车之间进行双向通信。

如此,本实施方式的接收机通过图像传感器取得亮线图像,确定该亮线图像中的亮线条纹图样的位置。并且,接收机在dmd元件所包含的多个微镜中确定与该条纹图样的位置对应的微镜。并且,接收机通过使该微镜有效来由光电传感器接收高频可见光信号。另外,接收机通过从发光元件输出可见光信号并使其被该有效的微镜反射,能够将该可见光信发送到发送机。

此外,在图232a以及图232b所示的例子中,作为光学设备使用了半透半反镜以及透镜等,但只要具有与该半透半反镜以及透镜同样的功能,使用任何光学设备都可以。另外,dmd元件、半透半反镜以及透镜等的配置是一例,如何配置都可以。另外,在图232a以及图232b所示的例子中,接收机具备2组的光电传感器与发光元件的组,但也可以只具备1组,还可以具备3组以上。另外,1个发光元件也可以向多个有效的微透镜发送可见光信号。由此,接收机能够对多个发送机同时发送相同的可见光信号。另外,接收机也可以不具备图232a以及图232b所示的全部各构成要素,而仅具备这些构成要素的一部分。

图233是表示本实施方式的输出高频信号的方法的图。

对重叠于图188所示的可见光信号的高频信号进行输出的信号输出装置,例如具备蓝色激光器和荧光体。也即是,与图114a所示的例子同样地,该信号输出装置使高频率的蓝色激光从蓝色激光器照射到荧光体。由此,信号输出装置输出高频率的自然光来作为高频信号。

(实施方式22)

在本实施方式中,对利用了上述各实施方式的可见光通信的自主飞行装置(也称为无人机)进行说明。

图234是用于说明本实施方式的自主飞行装置的图。

本实施方式的自主飞行装置1921被收纳在监视摄像头1922的内部。例如,当由监视摄像头1922捕捉到可疑人员的图像时,监视摄像头1922的门打开,收纳在内部的自主飞行装置1921从该监视摄像头1922起飞,开始该可疑人员的追踪。自主飞行装置1921具备小型摄像头,以使得由监视摄像头1922捕捉到的可疑人员的图像也被该小型摄像头捕捉到的方式进行追踪。另外,自主飞行装置1921在检测到用于飞行等的电力不足时,返回到监视摄像头1922并收纳在监视摄像头1922的内部。此时,如果在监视摄像头1922中收纳有其他的自主飞行装置1921,则该其他的自主飞行装置1921代替电力不足的自主飞行装置1921来开始可疑人员的追踪。另外,电力不足的自主飞行装置1921通过监视摄像头1922所具备的无线供电装置1921a被供电。此外,无线供电装置1921a的供电例如遵循标准qi来进行。

自主飞行装置1921的小型摄像头以及监视摄像头1922能够接收上述各实施方式的可见光信号,能够进行与该接收到的可见光信号相应的动作。另外,只要在自主飞行装置1921和监视摄像头1922的至少一方中具备可见光信号的发送机,就能够在自主飞行装置1921与监视摄像头1922之间进行可见光通信。其结果是,能够更高效地进行可疑人员的追踪。

(实施方式23)

在本实施方式中,对实现使用了光id的ar(augmentedreality,增强现实)的显示方法等进行说明。

图235是表示本实施方式的接收机显示ar图像的例子的图。

本实施方式的接收机200是上述实施方式1~22中的某个实施方式的具备图像传感器以及显示器201的接收机,例如作为智能手机而构成。这样的接收机200通过由该图像传感器对被拍摄对象进行拍摄,取得作为上述通常拍摄图像的拍摄显示图像pa和作为上述可见光通信图像或亮线图像的解码用图像。

具体而言,接收机200的图像传感器拍摄作为站名标志而构成的发送机100。发送机100是上述实施方式1~22中的某个实施方式的发送机,具备一个或多个发光元件(例如led)。该发送机100通过使该一个或多个发光元件闪烁来进行亮度变化,通过该亮度变化来发送光id(光识别信息)。该光id是上述的可见光信号。

接收机200通过以通常曝光时间拍摄发送机100,取得映照出该发送机100的拍摄显示图像pa,并且通过以比该通常曝光时间短的通信用曝光时间拍摄发送机100,取得解码用图像。此外,通常曝光时间是上述的通常拍摄模式下的曝光时间,通信用曝光时间是上述的可见光通信模式下的曝光时间。

接收机200通过对该解码用图像进行解码来取得光id。也即是,接收机200从发送机100接收光id。接收机200将该光id发送给服务器。并且,接收机200从服务器取得与该光id对应的ar图像p1和识别信息。接收机200将拍摄显示画像pa中的与该识别信息相应的区域识别为对象区域。例如,接收机200将映照出作为发送机100的站名标志的区域识别为对象区域。并且,接收机200在该对象区域重叠ar图像p1,将重叠了ar图像p1的拍摄显示图像pa显示于显示器201。例如,在作为发送机100的站名标志中作为站名用日语记载有“京都駅(京都站)”的情况下,接收机200取得用英语记载了站名的ar图像p1、即记载为“kyotostation”的ar图像p1。该情况下,由于在拍摄显示图像pa的对象区域重叠有该ar图像p1,因此能够以使得用英语记载有站名的站名标志现实存在的方式显示拍摄显示图像pa。其结果是,能够看懂英语的用户即使不认识日语,只要看到该拍摄显示图像pa,就能够容易地知道作为该发送机100的站名标志所记载的站名。

例如,识别信息既可以是识别对象的图像(例如上述的站名标志的图像),也可以是该图像的特征点以及特征量。特征点以及特征量例如通过sift(scale-invariantfeaturetransform,尺度不变特征转换)、surf(speed-uppedrobustfeature,快速鲁棒特征)、orb(oriented-brief)、akaze(acceleratedkaze)等图像处理来得到。或者,识别信息也可以是与识别对象的图像类似的白色四边形的图像,进而还可以示出该四边形的纵横比(宽高比)。或者,识别信息也可以是出现在识别对象的图像中的随机点。进而,识别信息也可以示出上述的白色四边形或随机点等的以预定方向为基准的方向。预定方向例如是重力方向。

接收机200从拍摄显示图像pa中,将与这样的识别信息相应的区域识别为对象区域。具体而言,如果识别信息是图像,则接收机200将与作为该识别信息的图像类似的区域识别为对象区域。另外,如果识别信息是通过图像处理得到的特征点以及特征量,则接收机200通过对该拍摄显示图像pa进行该图像处理,进行特征点检测以及特征量提取。然后,接收机200在拍摄显示图像pa中将具有与作为识别信息的特征点以及特征量类似的特征点以及特征量的区域识别为对象区域。另外,如果识别信息示出了白色四边形及其方向,则接收机200首先通过自身所具备的加速度传感器来检测重力方向。然后,接收机200从以重力方向为基准而配置的拍摄显示图像pa中,将与朝向由识别信息表示的方向的白色四边形类似的区域识别为对象区域。

在此,识别信息也可以包含用于确定拍摄显示图像pa中的基准区域的基准信息和表示对象区域相对于该基准区域的相对位置的对象信息。基准信息是上述那样的识别对象的图像、特征点及特征量、白色四边形的图像、或者随机点等。该情况下,接收机200在识别对象区域时,首先,基于基准信息从拍摄显示图像pa中确定基准区域。然后,接收机200将拍摄显示图像pa中的位于以基准区域的位置为基准而由对象信息表示的相对位置的区域识别为对象区域。此外,对象信息也可以示出对象区域位于与基准区域相同的位置这一情况。如此,通过识别信息包含基准信息和对象信息,能够在广大范围内识别对象区域。另外,能够由服务器自由地设定要重叠ar画像的位置并通知给接收机200。

另外,基准信息也可以示出拍摄显示图像pa中的基准区域是拍摄显示图像中的映照出显示器的区域这一情况。该情况下,如果发送机100作为例如电视机等的显示器而构成,则能够以映照出该显示器的区域为基准来识别对象区域。

换言之,本实施方式的接收机200基于光id来确定基准图像和图像识别方法。图像识别方法是识别拍摄显示图像pa的方法,例如是几何学特征量提取、频谱(spectrum)特征量提取或者纹理(texture)特征量提取等。基准图像是表示成为基准的特征量的数据。该特征量例如也可以是图像的白色外框的特征量,具体而言,是将图像的特征由向量来表现的数据。接收机200通过按照图像识别方法从拍摄显示图像pa中提取特征量,并将该特征量与基准图像的特征量进行比较,由此从拍摄显示图像pa中找出上述的基准区域或对象区域。

另外,在图像识别方法中,例如也可以存在位置(location)利用方法,标记(marker)利用方法以及无标记(markerless)方法。位置利用方法是对gps的位置信息(即接收机200的位置)进行了活用的方法,可基于该位置信息从拍摄显示图像pa中识别对象区域。标记利用方法是使用二维条形码这样的由黑和白的图形构成的标记来作为靶确定用记号的方法。也即是,在该标记利用方法中,可基于映照在拍摄显示图像pa中的标记来识别对象区域。无标记方法是如下方法:通过对拍摄显示图像pa的图像分析,从该拍摄显示图像pa中提取特征点或特征量,基于该提取出的特征点或特征量,确定靶的位置以及区域。也即是,在图像识别方法是无标记方法的情况下,该图像识别方法是上述的几何学特征量提取、频谱特征量提取或纹理特征量提取等。

这样的接收机200也可以通过从发送机100接收光id,从服务器取得与该光id(以下,称为接收光id)关联的基准图像以及图像识别方法,由此确定该基准图像以及图像识别方法。也即是,在服务器中保存有多个包括基准图像和图像识别方法的组,多个组的各个组与互不相同的光id关联。由此,能够从服务器所保存的多个组中,确定与接收光id关联的一个组。因此,能够提高用于重叠ar图像的图像处理的速度。另外,接收机200既可以通过向服务器查询来取得与接收光id关联的基准图像等,也可以从自身预先保持的多个基准图像中取得与该接收光id关联的基准图像。

另外,服务器也可以按光id将与该光id关联的相对位置信息与基准图像、图像识别方法以及ar图像一起进行保持。相对位置信息例如是表示上述的基准区域与对象区域的相对位置关系的信息。由此,接收机200在向服务器发送接收光id并进行了查询时,取得与该接收光id关联的基准图像、图像识别方法、ar图像以及相对位置信息。该情况下,接收机200基于基准图像以及图像识别方法从拍摄显示图像pa中确定上述的基准区域。并且,接收机200将以该基准区域的位置为起点而处于由上述的相对位置信息表示的方向以及距离的区域识别为上述的对象区域,在该对象区域重叠ar图像。另外,如果没有相对位置信息,则接收机200也可以将上述的基准区域识别为对象区域,在该基准区域重叠ar图像。也即是,接收机200也可以取代相对位置信息的取得而预先保持基于基准图像显示ar图像的程序,例如在作为基准区域的白框内显示ar图像。该情况下,不需要相对位置信息。

在基准图像、相对位置信息、ar图像以及图像识别方法的保持或取得中,存在以下的4个变形(1)~(4)。

(1)服务器保持有多个包括基准图像、相对位置信息、ar图像以及图像识别方法的组。接收机200从这些组中,取得与接收光id关联的一个组。

(2)服务器保持有多个包括基准图像以及ar图像的组。接收机200使用预先确定的相对位置信息以及图像识别方法,并且,从这些组中取得与接收光id关联的一个组。或者,接收机200也可以预先保持有包括相对位置信息以及图像识别方法的多个组,从该多个组中选择与接收光id关联的一个组。该情况下,接收机200也可以向服务器发送接收光id并进行查询,从服务器取得与该接收光id对应的用于确定相对位置信息以及图像识别方法的信息。并且,接收机200从预先保持的分别包括相对位置信息以及图像识别方法的多个组中,基于从该服务器取得的信息来选择一个组。或者,接收机200也可以不是向服务器进行查询,而是从预先保持的分别包括相对位置信息以及图像识别方法的多个组中,选择与接收光id关联的一个组。

(3)接收机200保持有多个包括基准图像、相对位置信息、ar图像以及图像识别方法的组,从这些组中选择一个组。接收机200与上述(2)同样地,既可以通过向服务器进行查询来选择一个组,也可以选择与接收光id关联的一个组。

(4)接收机200保持有多个包括基准图像以及ar图像的组,选择与接收光id关联的一个组。接收机200使用预先确定的图像识别方法以及相对位置信息。

图236是表示本实施方式的显示系统的一例的图。

本实施方式的显示系统例如具备上述的作为站名标志的发送机100、接收机200和服务器300。

接收机200为了如上述那样显示重叠了ar图像的拍摄显示图像,首先,从发送机100接收光id。接着,接收机200将该光id发送给服务器300。

服务器300按光id保持有与该光id关联的ar图像以及识别信息。因此,服务器300在从接收机200接收到光id时,选择与该接收到的光id关联的ar图像以及识别信息,将该选择出的ar图像以及识别信息发送给接收机200。由此,接收机200接收从服务器300发送来的ar图像以及识别信息,对重叠了ar图像的拍摄显示图像进行显示。

图237是表示本实施方式的显示系统的另一例的图。

本实施方式的显示系统例如具备上述的作为站名标志的发送机100、接收机200、第1服务器301和第2服务器302。

接收机200为了如上述那样显示重叠了ar图像的拍摄显示图像,首先,从发送机100接收光id。接着,接收机200将该光id发送给第1服务器301。

第1服务器301在从接收机200接收到光id时,将与该接收到的光id关联的url(uniformresourcelocator,同一资源定位符)和key(关键字)通知给接收机200。接收到这样的通知的接收机200基于该url访问第2服务器302,将key转发给第2服务器302。

第2服务器302按key保持有与该key关联的ar图像以及识别信息。因此,第2服务器302在从接收机200接收到key时,选择与该key关联的ar图像以及识别信息,将该选择出的ar图像以及识别信息发送给接收机200。由此,接收机200接收从第2服务器302发送来的ar图像以及识别信息,对重叠了ar图像的拍摄显示图像进行显示。

图238是表示本实施方式的显示系统的另一例的图。

本实施方式的显示系统例如具备上述的作为站名标志的发送机100、接收机200、第1服务器301和第2服务器302。

接收机200为了如上述那样显示重叠了ar图像的拍摄显示图像,首先,从发送机100接收到光id。接着,接收机200将该光id发送给第1服务器301。

第1服务器301在从接收机200接收到光id时,将与该接收到的光id关联的key通知给第2服务器302。

第2服务器302按key保持有与该key关联的ar图像以及识别信息。因此,第2服务器302在从第1服务器301接收到key时,选择与该key关联的ar图像以及识别信息,将该选择出的ar图像以及识别信息发送给第1服务器301。第1服务器301在从第2服务器302接收到ar图像以及识别信息时,将该ar图像以及识别信息发送给接收机200。由此,接收机200接收从第1服务器301发送来的ar图像以及识别信息,对重叠了ar图像的拍摄显示图像进行显示。

此外,在上述的例子中,第2服务器302将ar图像以及识别信息发送给了第1服务器301,但也可以不发送给第1服务器301而发送给接收机200。

图239是表示本实施方式的接收机200的处理动作的一例的流程图。

首先,接收机200开始基于上述的通常曝光时间以及通信用曝光时间的拍摄(步骤s101)。然后,接收机200对通过以通信用曝光时间的拍摄而得到的解码用图像进行解码,由此取得光id(步骤s102)。接着,接收机200将该光id发送给服务器(步骤s103)。

接收机200从服务器取得与所发送来的光id对应的ar图像和识别信息(步骤s104)。接着,接收机200将通过通常曝光时间的拍摄而得到的拍摄显示图像中的与该识别信息相应的区域识别为对象区域(步骤s105)。然后,接收机200在该对象区域重叠ar图像,对重叠了该ar图像的拍摄显示图像进行显示(步骤s106)。

接着,接收机200判定是否应结束拍摄和拍摄显示图像的显示(步骤s107)。在此,接收机200在判定为不应结束时(步骤s107:否),进而判定接收机200的加速度是否为阈值以上(步骤s108)。该加速度通过接收机200所具备的加速度传感器来计测。接收机200在判定为加速度小于阈值时(步骤s108:否),执行从步骤s105起的处理。由此,即使在接收机200的显示器201所显示的拍摄显示图像发生偏离的情况下,也能够使ar画像跟随该拍摄显示图像的对象区域。另外,接收机200在判定为加速度为阈值以上时(步骤s108:是),执行从步骤s102起的处理。由此,在拍摄显示图像中未拍到发送机100的情况下,能够抑制将映照出与发送机100不同的被拍摄对象的区域错误地识别为对象区域。

如此,在本实施方式中,由于ar图像被重叠于拍摄显示图像并显示,因此能够向用户显示有益的图像。进而,能够抑制处理负荷并在适当的对象区域重叠ar图像。

也即是,在通常的扩展现实(即ar)中,通过对预先保存的庞大数量的识别对象图像与拍摄显示图像进行比较,判定在该拍摄显示图像中是否包含有某个识别对象图像。并且,如果判定为包含有识别对象图像,则将与该识别对象图像对应的ar图像重叠于拍摄显示图像。此时,以识别对象图像为基准来进行ar图像的位置对准。如此,在通常的扩展现实中,由于对庞大数量的识别对象图像与拍摄显示图像进行比较,进而由于在位置对准中也需要拍摄显示图像中的识别对象图像的位置检测,因此存在计算量多且处理负荷高这一问题。

但是,在本实施方式的显示方法中,通过对通过被拍摄对象的拍摄而得到的解码用图像进行解码来取得光id。也即是,接收从作为被拍摄对象的发送机发送来的光id。进而,从服务器取得与该光id对应的ar图像和识别信息。因此,在服务器中,不需要对庞大数量的识别对象图像与拍摄显示图像进行比较,能够选择与光id预先关联的ar图像并发送给显示装置。由此,能够减少计算量并大幅地抑制处理负荷。进而,能够使ar图像的显示处理高速化。

另外,在本实施方式中,从服务器取得与该光id对应的识别信息。识别信息是用于在拍摄显示图像中识别要重叠ar图像的区域即对象区域的信息。该识别信息也可以是表示例如白色四边形是对象区域的信息。在该情况下,能够简单地识别对象区域,能够进一步抑制处理负荷。也即是,根据识别信息的内容,能够进一步抑制处理负荷。另外,在服务器中,由于能够根据光id任意地设定该识别信息的内容,因此能够适当地保持处理负荷与识别精度的平衡。

此外,在本实施方式中,在接收机200将光id发送给服务器之后,接收机200从服务器取得与该光id对应的ar图像以及识别信息,但也可以预先取得ar图像和识别信息中的至少一方。也即是,接收机200预先集中从服务器取得并保存有可能会接收的与多个光id对应的多个ar图像以及多个识别信息。然后,接收机200在接收到光id时,从自身保存的多个ar图像以及多个识别信息中选择与该光id对应的ar图像以及识别信息。由此,能够使ar图像的显示处理进一步高速化。

图240是表示本实施方式的接收机200显示ar图像的另一例的图。

发送机100例如如图240所示那样作为照明装置而构成,通过一边照射设施的指引板101一边进行亮度变化来发送光id。指引板101由于被来自该发送机100的光照射,因此与发送机100同样地进行亮度变化,并发送光id。

接收机200通过拍摄被发送机100照射的指引板101,与上述同样地取得拍摄显示图像pb和解码用图像。接收机200通过对该解码用图像的解码来取得光id。也即是,接收机200从指引板101接收光id。接收机200将该光id发送给服务器。并且,接收机200从服务器取得与该光id对应的ar图像p2和识别信息。接收机200将拍摄显示图像pb中的与该识别信息相应的区域识别为对象区域。例如,接收机200将指引板101中的映照出框102的区域识别为对象区域。该框102是用于表示设施的等待时间的框。并且,接收机200在该对象区域重叠ar图像p2,将重叠了ar图像p2的拍摄显示图像pb显示于显示器201。例如,ar图像p2是包含字符串“30分”的图像。该情况下,由于在拍摄显示图像pb的对象区域重叠有该ar图像p2,因此接收机200能够以使得记载有等待时间“30分”的指引板101现实存在的方式显示拍摄显示图像pb。由此,不在指引板101设置特别的显示装置就能够以简单且易于理解的方式向接收机200的用户通知等待时间。

图241是表示本实施方式的接收机200显示ar图像的另一例的图。

发送机100例如如图241所示那样包括2个照明装置。发送机100通过一边照射设施的指引板104一边进行亮度变化来发送光id。指引板104由于被来自该发送机100的光照射,因此与发送机100同样地进行亮度变化并发送光id。另外,指引板104例如示出“abcランド(abc乐园)”以及“アドベンチャーランド(探险乐园)”等多个设施的名称。

接收机200通过拍摄被发送机100照射的指引板104,与上述同样地取得拍摄显示图像pc和解码用图像。接收机200通过对该解码用图像的解码来取得光id。也即是,接收机200从指引板104接收光id。接收机200将该光id发送给服务器。并且,接收机200从服务器取得与该光id对应的ar图像p3和识别信息。接收机200将拍摄显示图像pc中的与该识别信息相应的区域识别为对象区域。例如,接收机200将映照出指引板104的区域识别为对象区域。并且,接收机200在该对象区域重叠ar图像p3,将重叠了ar图像p3的拍摄显示图像pc显示于显示器201。例如,ar图像p3是表示多个设施的名称的图像。在该ar图像p3中,设施的等待时间越长则该设施的名称被显示得越小,反过来,设施的等待时间越短则该设施的名称被显示得越大。该情况下,由于在拍摄显示图像pc的对象区域重叠有该ar图像p3,因此接收机200能够以使得记载有与等待时间相应的大小的各设施名称的指引板104现实存在的方式,显示拍摄显示图像pc。由此,不在指引板104设置特别的显示装置就能够以简单且易于理解的方式向接收机200的用户通知各设施的等待时间。

图242是表示本实施方式的接收机200显示ar图像的另一例的图。

发送机100例如如图242所示那样包括2个照明装置。发送机100通过一边照射城墙105一边进行亮度变化来发送光id。城墙105由于被来自该发送机100的光照射,因此与发送机100同样地进行亮度变化并发送光id。另外,在城墙105上,例如刻有模拟了角色脸部的小标记来作为隐藏角色106。

接收机200通过拍摄被发送机100照射的城墙105,与上述同样地取得拍摄显示图像pd和解码用图像。接收机200通过对该解码用图像的解码来取得光id。也即是,接收机200从城墙105接收光id。接收机200将该光id发送给服务器。并且,接收机200从服务器取得与该光id对应的ar图像p4和识别信息。接收机200将拍摄显示图像pd中的与该识别信息相应的区域识别为对象区域。例如,接收机200将城墙105中的映照出包含隐藏角色106的范围的区域识别为对象区域。并且,接收机200在该对象区域重叠ar图像p4,将重叠了ar图像p4的拍摄显示图像pd显示于显示器201。例如,ar图像p4是模拟了角色脸部的图像。该ar图像p4是与映照在拍摄显示图像pd中的隐藏角色106相比足够大的图像。该情况下,由于在拍摄显示图像pd的对象区域重叠有该ar图像p4,因此接收机200能够以使得刻有模拟了角色脸部的大标记的城墙105现实存在的方式显示拍摄显示图像pd。由此,能够以易于理解的方式向接收机200的用户通知隐藏角色106的位置。

图243是表示本实施方式的接收机200显示ar图像的另一例的图。

发送机100例如如图243所示那样包括2个照明装置。发送机100通过一边照射设施的指引板107一边进行亮度变化来发送光id。指引板107由于被来自该发送机100的光照射,因此与发送机100同样地进行亮度变化并发送光id。另外,在指引板107的角落的多个部位涂敷有红外线遮断涂料108。

接收机200通过拍摄被发送机100照射的指引板107,与上述同样地取得拍摄显示图像pe和解码用图像。接收机200通过对该解码用图像的解码来取得光id。也即是,接收机200从指引板107接收光id。接收机200将该光id发送给服务器。并且,接收机200从服务器取得与该光id对应的ar图像p5和识别信息。接收机200将拍摄显示图像pe中的与该识别信息相应的区域识别为对象区域。例如,接收机200将映照出指引板107的区域识别为对象区域。

具体而言,在识别信息中,示出了与多个部位的红外线遮断涂料108外接的矩形为对象区域这一情况。另外,红外线遮断涂料108对从发送机100照射的光所含的红外线进行遮断。因此,在接收机200的图像传感器中,红外线遮断涂料108被识别为比其周边暗的像。接收机200将与分别作为暗像出现的多个部位的红外线遮断涂料108外接的矩形识别为对象区域。

并且,接收机200在该对象区域重叠ar图像p5,将重叠了ar图像p5的拍摄显示图像pe显示于显示器201。例如,ar图像p5表示在指引板107的设施中进行的活动的日程表。该情况下,由于在拍摄显示图像pe的对象区域重叠有该ar图像p5,因此接收机200能够以使得记载有活动的日程表的指引板107现实存在的方式显示拍摄显示图像pe。由此,不在指引板107设置特别的显示装置就能够以易于理解的方式向接收机200的用户通知设施的活动的日程表。

此外,在指引板107上,也可以取代红外线遮断涂料108而涂敷红外线反射涂料。红外线反射涂料对从发送机100照射的光所含的红外线进行反射。因此,在接收机200的图像传感器中,红外线反射涂料被识别为比其周边亮的像。也即是,该情况下,接收机200将与分别作为亮像出现的多个部位的红外线反射涂料外接的矩形识别为对象区域。

图244是表示本实施方式的接收机200显示ar图像的另一例的图。

发送机100作为站名标志而构成,配置在车站出口指引板110的附近。车站出口指引板110具备光源并发光,但不同于发送机100,不发送光id。

接收机200通过拍摄发送机100以及车站出口指引板110来取得拍摄显示图像ppre以及解码用图像pdec。发送机100进行亮度变化,车站出口指引板110进行发光,因此在该解码用图像pdec中出现与发送机100对应的亮线图案区域pdec1和与车站出口指引板110对应的亮区域pdec2。亮线图案区域pdec1是包括通过接收机200的图像传感器所具有的多个曝光线的通信用曝光时间的曝光而出现的多个亮线图案的区域。

在此,识别信息如上述那样包含用于确定拍摄显示图像ppre中的基准区域pbas的基准信息和表示对象区域ptar相对于该基准区域pbas的相对位置的对象信息。例如,该基准信息表示拍摄显示图像ppre中的基准区域pbas的位置与解码用图像pdec中的亮线图案区域pdec1的位置相同。进而,对象信息表示对象区域的位置为基准区域的位置。

因此,接收机200基于基准信息从拍摄显示图像ppre中确定基准区域pbas。也即是,接收机200将拍摄显示图像ppre中的位于与解码用图像pdec中的亮线图案区域pdec1的位置相同位置的区域确定为基准区域pbas。进而,接收机200将拍摄显示图像ppre中的位于以基准区域pbas的位置为基准而由对象信息表示的相对位置的区域识别为对象区域ptar。在上述的例子中,对象信息表示对象区域ptar的位置为基准区域pbas的位置,因此接收机200将拍摄显示图像ppre中的基准区域pbas识别为对象区域ptar。

并且,接收机200在拍摄显示图像ppre中的对象区域ptar重叠ar图像p1。

如此,在上述的例子中,为了识别对象区域ptar而利用了亮线图案区域pdec1。另一方面,在不利用亮线图案区域pdec1而想要仅通过拍摄显示图像ppre就将映照出发送机100的区域识别为对象区域ptar的情况下,有可能会发生误识别。也即是,有可能会将拍摄显示图像ppre中的不是映照出发送机100的区域而是映照出车站出口指引板110的区域误识别为对象区域ptar。这是因为:拍摄显示图像ppre中的发送机100的图像和车站出口指引板110的图像相似。但是,如上述的例子那样,在利用亮线图案区域pdec1的情况下,能够抑制误识别的发生并准确地识别对象区域ptar。

图245是表示本实施方式的接收机200显示ar图像的另一例的图。

在图244所示的例子中,发送机100通过使站名标志整体进行亮度变化来发送光id,对象信息表示对象区域的位置为基准区域的位置。但是,在本实施方式中,发送机100也可以通过不使站名标志整体进行亮度变化而使在站名标志的外框的一部分所配置的发光元件进行亮度变化来发送光id。另外,对象信息只要表示对象区域ptar相对于基准区域pbas的相对位置即可,例如也可以表示对象区域ptar的位置在基准区域pbas的上方(具体而言,铅直方向朝上)。

在图245所示的例子中,发送机100通过使在站名标志的外框下部沿着水平方向配置的多个发光元件进行亮度变化来发送光id。另外,对象信息表示对象区域ptar的位置在基准区域pbas的上方。

在这样的情况下,接收机200基于基准信息从拍摄显示图像ppre中确定基准区域pbas。也即是,接收机200将拍摄显示图像ppre中的位于与解码用图像pdec中的亮线图案区域pdec1的位置相同位置的区域确定为基准区域pbas。具体而言,接收机200确定在水平方向上长且在垂直方向上短的矩形状的基准区域pbas。进而,接收机200将拍摄显示图像ppre中的位于以基准区域pbas的位置为基准而由对象信息表示的相对位置的区域识别为对象区域ptar。也即是,接收机200将拍摄显示图像ppre中的位于比基准区域pbas靠上的位置的区域识别为对象区域ptar。此外,此时,接收机200基于由自身所具备的加速度传感器计测的重力方向,确定比基准区域pbas靠上的方向。

此外,对象信息也可以不仅表示对象区域ptar的相对位置还表示对象区域ptar的尺寸、形状以及宽高比。该情况下,接收机200识别由对象信息表示的尺寸、形状以及宽高比的对象区域ptar。另外,接收机200也可以基于基准区域pbas的尺寸来决定对象区域ptar的尺寸。

图246是表示本实施方式的接收机200的处理动作的另一例的流程图。

接收机200与图239所示的例子同样地执行步骤s101~s104的处理。

接着,接收机200从解码用图像pdec中确定亮线图案区域pdec1(步骤s111)。接着,接收机200从拍摄显示图像ppre中确定与该亮线图案区域pdec1对应的基准区域pbas(步骤s112)。然后,接收机200基于识别信息(具体是对象信息)和该基准区域pbas,从拍摄显示图像ppre中识别对象区域ptar(步骤s113)。

接着,接收机200与图239所示的例子同样地,在拍摄显示图像ppre的对象区域ptar重叠ar图像,对重叠了该ar图像的拍摄显示图像ppre进行显示(步骤s106)。然后,接收机200判定是否应结束拍摄和拍摄显示图像ppre的显示(步骤s107)。在此,接收机200在判定为不应结束时(步骤s107:否),进而,判定接收机200的加速度是否为阈值以上(步骤s114)。该加速度通过接收机200所具备的加速度传感器来计测。接收机200在判定为加速度小于阈值时(步骤s114:否),执行从步骤s113起的处理。由此,即使在接收机200的显示器201所显示的拍摄显示图像ppre发生偏离的情况下,也能够使ar图像跟随该拍摄显示图像ppre的对象区域ptar。另外,接收机200在判定为加速度为阈值以上时(步骤s114:是),执行从步骤s111或步骤s102起的处理。由此,能够抑制将映照出与发送机100不同的被拍摄对象(例如,车站出口指引板110)的区域错误地识别为对象区域ptar。

图247是表示本实施方式的接收机200显示ar图像的另一例的图。

当所显示的拍摄显示图像ppre中的ar图像p1被轻敲时,接收机200将该ar图像p1进行放大并显示。或者,当所显示的拍摄显示图像ppre中的ar图像p1被轻敲时,接收机200也可以取代该ar图像p1而显示表示内容比ar图像p1所表示的内容详细的新ar图像。另外,在ar画像p1表示包括多页的信息杂志的一页信息的情况下,接收机200也可以取代该ar画像p1而显示表示ar图像p1的页的下一页信息的新ar图像。或者,当所显示的拍摄显示图像ppre中的ar图像p1被轻敲时,接收机200也可以取代该ar图像p1而将与该ar图像p1关联的动态图像作为新ar图像进行显示。此时,接收机200也可以将像是对象(在图247的例子中为红叶)从对象区域ptar中出来的动态图像作为ar图像进行显示。

图248是表示本实施方式的通过接收机200的拍摄而取得的拍摄显示图像ppre以及解码用图像pdec的图。

接收机200在进行拍摄时,例如如图248的(a1)所示,以30fps的帧速率取得拍摄显示图像ppre以及解码用图像pdec等拍摄图像。具体而言,接收机200以在时刻t1取得拍摄显示图像ppre“a”、在时刻t2取得解码用图像pdec、在时刻t3取得拍摄显示图像ppre“b”的方式,交替地取得拍摄显示图像ppre和解码用图像pdec。

另外,接收机200在显示拍摄图像时,仅显示拍摄图像中的拍摄显示图像ppre,不显示解码用图像pdec。也即是,接收机200如图248的(a2)所示,在取得解码用图像pdec时,取代该解码用图像pdec而显示刚刚之前所取得的拍摄显示画像ppre。具体而言,接收机200在时刻t1显示所取得的拍摄显示图像ppre“a”,在时刻t2再次显示在时刻t1取得的拍摄显示图像ppre“a”。由此,接收机200以15fps的帧速率显示拍摄显示图像ppre。

在此,在图248的(a1)所示的例子中,接收机200交替地取得拍摄显示图像ppre和解码用图像pdec,但本实施方式的这些图像的取得方式并不限定于这种方式。也即是,接收机200也可以反复进行连续地取得n(n为1以上的整数)张解码用图像pdec、然后连续地取得m(m为1以上的整数)张拍摄显示图像ppre。

另外,接收机200需要将要取得的拍摄图像切换为拍摄显示图像ppre和解码用图像pdec,该切换有时会需要花费时间。因此,如图248的(b1)所示,接收机200也可以在拍摄显示图像ppre的取得与解码用图像pdec的取得之间的切换时设置切换期间。具体而言,接收机200当在时刻t3取得解码用图像pdec时,在时刻t3~t5的切换期间执行用于切换拍摄图像的处理,在时刻t5取得拍摄显示图像ppre“a”。然后,接收机200在时刻t5~t7的切换期间,执行用于切换拍摄图像的处理,在时刻t7取得解码用图像pdec。

在如此设置有切换期间的情况下,接收机200如图248的(b2)所示,在切换期间显示刚刚之前所取得的拍摄显示图像ppre。因此,该情况下,接收机200中的显示拍摄显示图像ppre的帧速率低,例如成为3fps。在如此帧速率低的情况下,即使用户活动了接收机200,所显示的拍摄显示图像ppre有时也不会跟随该接收机200的活动而移动。也即是,拍摄显示图像ppre不会作为实时取景(liveview)进行显示。因此,接收机200也可以使拍摄显示图像ppre根据接收机200的活动进行移动。

图249是是本实施方式的显示于接收机200的拍摄显示图像ppre的一例的图。

接收机200例如如图249的(a)所示,将通过拍摄得到的拍摄显示图像ppre显示于显示器201。在此,用户使接收机200向左侧活动。此时,在没有通过接收机200的拍摄取得新的拍摄显示图像ppre的情况下,接收机200如图249的(b)所示,使所显示的拍摄显示图像ppre向右侧移动。也即是,接收机200具备加速度传感器,根据由该加速度传感器计测的加速度,使所显示的拍摄显示图像ppre移动以使得与接收机200的活动匹配。由此,接收机200能够将拍摄显示图像ppre虚拟地显示为实时取景。

图250是表示本实施方式的接收机200的处理动作的另一例的流程图。

接收机200首先与上述同样地,在拍摄显示图像ppre的对象区域ptar重叠ar图像,并使该ar图像跟随该对象区域ptar(步骤s122)。也即是,显示与拍摄显示图像ppre中的对象区域ptar一起移动的ar图像。然后,接收机200判定是否维持ar图像的显示(步骤s122)。在此,当判定为不维持ar图像的显示时(步骤s122:否),接收机200如果通过拍摄取得新的光id,则将与该光id对应的新ar图像重叠于拍摄显示图像ppre并显示(步骤s123)。

另一方面,当判定为维持ar图像的显示时(步骤s122:是),接收机200反复执行从步骤s121起的处理。此时,接收机200即使取得了其他的ar图像也不显示其他的ar图像。或者,接收机200即使取得了新的解码用图像pdec,也不通过对该解码用图像pdec的解码取得光id。此时,能够抑制解码所消耗的功耗。

如此,通过维持ar图像的显示,能够抑制所显示的该ar图像被擦除或由于其他的ar图像的显示而导致难以观看。也即是,能够使用户容易观看所显示的ar图像。

例如,在步骤s122中,接收机200在从ar图像被显示起经过预先确定的期间(一定期间)之前,判定为维持ar图像的显示。也即是,接收机200在显示拍摄显示图像ppre时,一边抑制与通过步骤s121重叠的ar图像即第一ar图像不同的第二ar图像的显示,一边在预先确定的显示期间显示该第一ar图像。接收机200也可以在该显示期间禁止对新取得的解码用图像pdec进行解码。

由此,在用户观看一次显示的第一ar图像时,能够抑制该第一ar图像立即被与其不同的第二ar图像替换。进而,对于新取得的解码用图像pdec的解码,在第二ar图像的显示被抑制时是无效的处理,因此通过禁止该解码,能够抑制功耗。

或者,在步骤s122中,接收机200也可以具备面部摄像头,当基于该面部摄像头的拍摄结果检测到用户的脸正在靠近时,判定为维持ar图像的显示。也即是,接收机200在显示拍摄显示图像ppre时,进一步通过接收机200所具备的面部摄像头的拍摄,判定用户的脸是否正在向接收机200靠近。并且,接收机200在判定为脸正在靠近时,在抑制与通过步骤s121重叠的ar图像即第一ar图像不同的第二ar图像的显示的同时,显示该第一ar图像。

或者,在步骤s122中,接收机200也可以具备加速度传感器,当基于该加速度传感器的计测结果检测到用户的脸正在靠近时,判定为维持ar图像的显示。也即是,接收机200在显示拍摄显示图像ppre时,进一步通过由加速度传感器计测的接收机200的加速度,判定用户的脸是否正在靠近接收机200。例如,在由加速度传感器计测的接收机200的加速度在与接收机200的显示器201垂直的朝外方向上表示正值的情况下,接收机200判定为用户的脸正在靠近。并且,接收机200在判定为脸正在靠近时,在抑制与通过步骤s121重叠的ar图像即第一扩展现实图像不同的第二ar图像的显示的同时,显示该第一ar图像。

由此,在用户想要观看第一ar图像而使脸靠近接收机200时,能够抑制该第一ar图像被与其不同的第二ar图像替换。

或者,在步骤s122中,接收机200也可以在该接收机200所具备的锁定按钮被按下时,判定为维持ar图像的显示。

另外,在步骤s122中,接收机200在经过上述的一定期间(即显示期间)时,判定为不维持ar图像的显示。另外,在尽管未经过上述的一定期间、但由加速度传感器计测到阈值以上的加速度时,接收机200也判定为不维持ar图像的显示。也即是,接收机200在显示拍摄显示图像ppre时,进一步在上述的显示期间通过加速度传感器计测接收机200的加速度,判定所计测到的加速度是否为阈值以上。并且,接收机200在判定为该加速度为阈值以上时,通过解除第二ar图像的显示的抑制,在步骤s123中取代第一ar图像而显示第二ar图像。

由此,在计测到阈值以上的显示装置的加速度时,第二ar图像的显示的抑制被解除。因此,例如,在用户想要使图像传感器朝向其他的被拍摄对象而大幅活动了接收机200时,能够立即显示第二ar图像。

图251是表示本实施方式的接收机200显示ar图像的另一例的图。

发送机100例如如图251所示那样作为照明装置而构成,通过一边照射小的玩偶用舞台111一边进行亮度变化来发送光id。舞台111由于被来自该发送机100的光照射,因此与发送机100同样地进行亮度变化并发送光id。

2个接收机200从左右方向拍摄被发送机100照射的舞台111。

2个接收机200中的左侧的接收机200通过从左侧拍摄被发送机100照射的舞台111,与上述同样地取得拍摄显示图像pf和解码用图像。左侧的接收机200通过对该解码用图像的解码来取得光id。也即是,左侧的接收机200从舞台111接收光id。左侧的接收机200将该光id发送给服务器。并且,左侧的接收机200从服务器取得与该光id对应的三维的ar图像和识别信息。该三维的ar图像例如是用于以立体方式显示玩偶的图像。左侧的接收机200将拍摄显示画像pf中的与该识别信息相应的区域识别为对象区域。例如,左侧的接收机200将舞台111中央的上侧的区域识别为对象区域。

接着,左侧的接收机200基于映照在拍摄显示图像pf中的舞台111的方向,根据三维的ar图像生成与该方向相应的二维的ar图像p6a。并且,左侧的接收机200在该对象区域重叠二维的ar图像p6a,将重叠了ar图像p6a的拍摄显示图像pf显示于显示器201。该情况下,由于在拍摄显示图像pf的对象区域重叠有该二维的ar图像p6a,因此左侧的接收机200能够以使得玩偶现实存在于舞台111上的方式显示拍摄显示图像pf。

同样地,2个接收机200中的右侧的接收机200通过从右侧拍摄被发送机100照射的舞台111,与上述同样地取得拍摄显示图像pg和解码用图像。右侧的接收机200通过对该解码用图像的解码来取得光id。也即是,右侧的接收机200从舞台111接收光id。右侧的接收机200将该光id发送给服务器。并且,右侧的接收机200从服务器取得与该光id对应的三维的ar图像和识别信息。右侧的接收机200将拍摄显示图像pg中的与该识别信息相应的区域识别为对象区域。例如,右侧的接收机200将舞台111中央的上侧的区域识别为对象区域。

接着,右侧的接收机200基于映照在拍摄显示图像pg中的舞台111的方向,根据三维的ar图像生成与该方向相应的二维的ar图像p6b。并且,右侧的接收机200在该对象区域重叠二维的ar图像p6b,将重叠了ar图像p6b的拍摄显示图像pg显示于显示器201。该情况下,由于在拍摄显示图像pg的对象区域重叠有该二维的ar图像p6b,因此右侧的接收机200能够以使得玩偶现实存在于舞台111上的方式显示拍摄显示图像pg。

如此,2个接收机200在舞台111上的相同位置显示ar图像p6a以及p6b。另外,这些ar图像p6a以及p6b是以使得虚拟的玩偶实际面向预定方向的方式根据接收机200的方向而生成的。因此,无论从舞台111的哪个方向拍摄,都能够以使得玩偶现实存在于舞台111上的方式显示拍摄显示图像。

此外,在上述的例子中,接收机200根据三维的ar图像,生成了与接收机200和舞台111之间的位置关系相应的二维的ar图像,但也可以从服务器取得该二维的ar图像。也即是,接收机200将表示该位置关系的信息与光id一起发送给服务器,从服务器取代三维的ar图像而取得该二维的ar图像。由此,能够减轻接收机200的负担。

图252是表示本实施方式的接收机200显示ar图像的另一例的图。

发送机100例如如图252所示那样作为照明装置而构成,通过一边照射圆柱状的构造物112一边进行亮度变化来发送光id。构造物112由于被来自该发送机100的光照射,因此与发送机100同样地进行亮度变化并发送光id。

接收机200通过拍摄被发送机100照射的构造物112,与上述同样地取得拍摄显示图像ph和解码用图像。接收机200通过对该解码用图像的解码来取得光id。也即是,接收机200从构造物112接收光id。接收机200将该光id发送给服务器。并且,接收机200从服务器取得与该光id对应的ar图像p7和识别信息。接收机200将拍摄显示图像ph中的与该识别信息相应的区域识别为对象区域。例如,接收机200将映照出构造物112的中央部的区域识别为对象区域。并且,接收机200在该对象区域重叠ar图像p7,将重叠了ar图像p7的拍摄显示图像ph显示于显示器201。例如,ar图像p7是包含字符串“abcd”的图像,该字符串以与构造物112的中央部的曲面贴合的方式进行变形。该情况下,由于在拍摄显示图像ph的对象区域重叠有包含该变形的字符串的ar图像p2,因此接收机200能够以使得对构造物112描画的字符串现实存在的方式显示拍摄显示图像ph。

图253是表示本实施方式的接收机200显示ar图像的另一例的图。

发送机100例如如图253所示,通过一边照射饭店的菜单113一边进行亮度变化来发送光id。菜单113由于被来自该发送机100的光照射,因此与发送机100同样地进行亮度变化并发送光id。另外,菜单113例如示出“abc汤”、“xyz沙拉”以及“klm午餐”等多个料理的名称。

接收机200通过拍摄被发送机100照射的菜单113,与上述同样地取得拍摄显示图像pi和解码用图像。接收机200通过对该解码用图像的解码来取得光id。也即是,接收机200从菜单113接收光id。接收机200将该光id发送给服务器。并且,接收机200从服务器取得与该光id对应的ar图像p8和识别信息。接收机200将拍摄显示图像pi中的与该识别信息相应的区域识别为对象区域。例如,接收机200将映照出菜单113的区域识别为对象区域。并且,接收机200在该对象区域重叠ar图像p8,将重叠了ar图像p8的拍摄显示图像pi显示于显示器201。例如,ar图像p8是用标记表示多个料理分别使用的食材的图像。例如,对于ar图像p8,对使用鸡蛋的料理“xyz萨拉”示出模拟鸡蛋的标记,对使用猪肉的料理“klm午餐”示出模拟猪的标记。该情况下,由于在拍摄显示图像pi的对象区域重叠有该ar图像p8,因此接收机200能够以使得附加有食材标记的菜单113现实存在的方式显示拍摄显示图像pi。由此,不在菜单113设置特别的显示装置就能够以简单且容易理解的方式向接收机200的用户通知各料理的食材。

另外,接收机200也可以取得多个ar图像,基于由用户设定的用户信息,从这些多个ar图像中选择适合用户的ar图像,并重叠该ar图像。例如,如果用户信息中示出用户会对鸡蛋发生过敏反应,则接收机200选择对使用了鸡蛋的料理附加有鸡蛋标记的ar图像。另外,如果用户信息中示出禁止摄取猪肉,则接收机200选择对使用了猪肉的料理附加有猪标记的ar图像。或者,接收机200也可以将该用户信息与光id一起发送给服务器,从服务器取得与该光id和用户信息相应的ar图像。由此,能够按用户显示引起该用户注意的菜单。

图254是表示本实施方式的接收机200显示ar图像的另一例的图。

发送机100例如如图254所示那样作为电视机而构成,通过一边在显示器显示影像一边进行亮度变化来发送光id。另外,在发送机100的附近配置有通常的电视机114。电视机114在显示器显示影像,但不发送光id。

接收机200例如通过拍摄发送机100并拍摄电视机114,与上述同样地取得拍摄显示图像pj和解码用图像。接收机200通过对该解码用图像的解码来取得光id。也即是,接收机200从发送机100接收光id。接收机200将该光id发送给服务器。并且,接收机200从服务器取得与该光id对应的ar图像p9和识别信息。接收机200将拍摄显示图像pj中的与该识别信息相应的区域识别为对象区域。

例如,接收机200通过利用解码用图像的亮线图案区域,在拍摄显示图像pj中将映照出发送光id的发送机100的区域的下部识别为第1对象区域。此外,此时,识别信息所包含的基准信息表示拍摄显示图像pj中的基准区域的位置与解码用图像中的亮线图案区域的位置相同。进而,识别信息所包含的对象信息表示在该基准区域的下部存在对象区域。接收机200使用这样的识别信息来识别上述的第1对象区域。

进而,接收机200将在拍摄显示图像pj的下部预先固定了位置的区域识别为第2对象区域。第2对象区域比第1对象区域大。此外,识别信息所包含的对象信息不仅表示第1对象区域的位置,还示出了上述那样的第2对象区域的位置以及尺寸。接收机200使用这样的识别信息来识别上述的第2对象区域。

并且,接收机200在该第1对象区域以及第2对象区域重叠ar图像p9,将重叠了ar图像p9的拍摄显示图像pj显示于显示器201。在该ar图像p9的重叠中,接收机200使该ar图像p9的尺寸与第1对象区域的尺寸一致,将尺寸调整后的ar图像p9重叠于该第1对象区域。进而,接收机200使ar图像p9的尺寸与第2对象区域的尺寸一致,将尺寸调整后的ar图像p9重叠于该第2对象区域。

例如,ar图像p9表示与发送机100的影像对应的字幕。另外,ar图像p9的字幕的语言是与设定登记在接收机200中的用户信息相应的语言。也即是,接收机200在将光id发送给服务器时,也将该用户信息(例如,表示用户的国籍或使用语言等的信息)发送给服务器。并且,接收机200取得表示与该用户信息相应的语言的字幕的ar图像p9。或者,接收机200也可以取得分别表示不同语言的字幕的多个ar图像p9,根据所设定登记的用户信息,从这些多个ar图像p9中选择重叠所使用的ar图像p9。

换言之,在图254所示的例子中,接收机200通过将分别显示有图像的多个显示器作为被拍摄对象进行拍摄,取得拍摄显示图像pj以及解码用图像。并且,接收机200在识别对象区域时,将拍摄显示图像pj中的出现多个显示器中的发送光id的显示器即发送显示器(即发送机100)的区域识别为对象区域。接着,接收机200将与显示在发送显示器中的图像对应的第1字幕作为ar图像重叠于该对象区域。进而,接收机200在拍摄显示图像pj中的比对象区域大的区域,重叠对第1字幕进行了放大的字幕即第2字幕。

由此,接收机200能够以使得字幕现实存在于发送机100的影像中的方式显示拍摄显示图像pj。进而,接收机200在拍摄显示图像pj的下部也重叠大的字幕,因此即使发送机100的影像所附带的字幕小,也能够容易观看字幕。此外,在没有发送机100的影像所附带的字幕而仅在拍摄显示图像pj的下部重叠大的字幕的情况下,难以判断该重叠的字幕是与发送机100的影像对应的字幕还是与电视机114的影像对应的字幕。但是,在本实施方式中,由于对发送光id的发送机100的影像也附带字幕,因此用户能够容易地判断所重叠的字幕是与哪个影像对应的字幕。

另外,接收机200也可以在拍摄显示图像pj的显示中,进一步判定在从服务器取得的信息中是否含有声音信息。并且,接收机200在判定为含有声音信息时,相比于第1以及第2字幕,优先输出声音信息所表示的声音。由此,由于优先输出声音,因此能够减轻用户阅读字幕的负担。

另外,在上述的例子中,根据用户信息(即用户的属性)使字幕的语言不同,但也可以使发送机100所显示的影像(即内容)本身不同。例如,在发送机100所显示的影像是新闻的影像的情况下,如果用户信息中示出用户是日本人,则接收机200取得在日本播放的新闻的影像来作为ar图像。并且,接收机200将该新闻的影像重叠于映照出发送机100的显示器的区域(即对象区域)。另一方面,如果用户信息中示出用户是美国人,则接收机200取得在美国播放的新闻的影像来作为ar图像。并且,接收机200将该新闻的影像重叠于映照出发送机100的显示器的区域(即对象区域)。由此,能够显示适合用户的影像。此外,在用户信息中,作为用户的属性,例如示出国籍或使用语言等,接收机200基于该属性取得上述的ar图像。

图255是表示本实施方式的识别信息的一例的图。

即使识别信息是例如上述那样的特征点以及特征量等,也有可能会发生误识别。例如,发送机100a以及100b分别与发送机100同样地作为站名标志而构成。这些发送机100a以及100b即使是互不相同的站名标志,如果位于互相接近的位置,则有可能会由于类似而被误识别。

因此,发送机100a以及100b各自的识别信息也可以不示出发送机100a或100b的图像整体的各特征点以及各特征量而仅示出该图像中的特征性的一部分的各特征点以及各特征量。

例如,发送机100a的部分a1和发送机100b的部分b1彼此大大不同,发送机100a的部分a2和发送机100b的部分b2彼此大大不同。因此,如果发送机100a和100b设置在预先确定的范围内(即近距离),则服务器保持部分a1和部分a2各自的图像的特征点以及特征量来作为与发送机100a对应的识别信息。同样地,服务器保持部分b1和部分b2各自的图像的特征点以及特征量来作为与发送机100b对应的识别信息。

由此,接收机200在彼此类似的发送机100a和100b位于彼此接近的位置的情况(位于上述的预先确定的范围内的情况)下,也能够使用这些识别信息来适当地识别对象区域。

图256是表示本实施方式的接收机200的处理动作的另一例的流程图。

接收机200首先基于设定登记在接收机200中的用户信息,判定用户是否存在视觉障碍(步骤s131)。在此,接收机200在判定为存在视觉障碍时(步骤s131:是),将重叠显示的ar图像的文字用声音来输出(步骤s132)。另一方面,接收机200在判定为没有视觉障碍时(步骤s131:否),进而,基于用户信息判定用户是否存在听觉障碍(步骤s133)。在此,接收机200在判定为存在听觉障碍时(步骤s133:是),停止声音输出(步骤s134)。此时,接收机200停止所有功能的声音输出。

此外,接收机200在步骤s131中判定为存在视觉障碍时(步骤s131:是),也可以进行步骤s133的处理。也即是,接收机200也可以在判定为存在视觉障碍且没有听觉障碍时,将重叠显示的ar图像的文字用声音来输出。

图257是表示本实施方式的接收机200识别亮线图案区域的一例的图。

接收机200首先通过拍摄分别发送光id的2个发送机来取得解码用图像,通过对该解码用图像的解码,如图257的(e)所示那样取得光id。此时,由于在解码用图像中包含2个亮线图案区域x以及y,因此接收机200取得与亮线图案区域x对应的发送机的光id和与亮线图案区域y对应的发送机的光id。与亮线图案区域x对应的发送机的光id例如包含与地址0~9分别对应的数值(即数据),表示“5,2,8,4,3,6,1,9,4,3”。与亮线图案区域x对应的发送机的光id也同样地例如包含与地址0~9分别对应的数值,表示“5,2,7,7,1,5,3,2,7,4”。

接收机200即使一次取得这些光id、即已知这些光id,在进行拍摄时,有时也会处于不知道各个光id是从哪个亮线图案区域得到的状况。在这样的情况下,接收机200通过进行图257的(a)~(d)所示的处理,能够容易且迅速地判定各个已知的光id是从哪个亮线图案区域得到的。

具体而言,接收机200首先如图257的(a)所示,取得解码用图像pdec11,通过对该解码用图像pdec11的解码,取得亮线图案区域x和y各自的光id的地址0的数值。例如,亮线图案区域x的光id的地址0的数值是“5”,亮线图案区域y的光id的地址0的数值也是“5”。由于各个光id的地址0的数值是“5”,因此此时无法判定已知的光id是从哪个亮线图案区域得到的。

于是,接收机200如图257的(b)所示,取得解码用图像pdec12,通过对该解码用图像pdec12的解码,取得亮线图案区域x和y各自的光id的地址1的数值。例如,亮线图案区域x的光id的地址1的数值是“2”,亮线图案区域y的光id的地址1的数值也是“2”。由于各个光id的地址1的数值是“2”,因此此时也无法判定已知的光id是从哪个亮线图案区域得到的。

于是,进一步,接收机200如图257的(c)所示,取得解码用图像pdec13,通过对该解码用图像pdec13的解码,取得亮线图案区域x和y各自的光id的地址2的数值。例如,亮线图案区域x的光id的地址2的数值是“8”,亮线图案区域y的光id的地址2的数值是“7”。此时,能够判定为已知的光id“5,2,8,4,3,6,1,9,4,3”是从亮线图案区域x得到的,能够判定为已知的光id“5,2,7,7,1,5,3,2,7,4”是从亮线图案区域y得到的。

但是,接收机200为了提高可靠度,也可以进一步如图257的(d)所示,取得各个光id的地址3的数值。也即是,接收机200取得解码用图像pdec14,通过对该解码用图像pdec14的解码,取得亮线图案区域x和y各自的光id的地址3的数值。例如,亮线图案区域x的光id的地址3的数值是“4”,亮线图案区域y的光id的地址3的数值是“7”。此时,能够判定为已知的光id“5,2,8,4,3,6,1,9,4,3”是从亮线图案区域x得到的,能够判定为已知的光id“5,2,7,7,1,5,3,2,7,4”是从亮线图案区域y得到的。也即是,也能够不仅通过地址2还通过地址3来识别亮线图案区域x以及y的光id,因此能够提高可靠度。

如此,在本实施方式中,不重新取得光id的全部地址的数值(即数据)而重新取得至少一个地址的数值。由此,能够容易且迅速地判定已知的光id是从哪个亮线图案区域得到的。

此外,在上述的图257的(c)以及(d)所示的例子中,对预定地址取得的数值与已知的光id的数值一致,但也可以不一致。例如,在图257的(d)所示的例子中,接收机200取得“6”来作为亮线图案区域y的光id的地址3的数值。该地址3的数值“6”与已知的光id“5,2,7,7,1,5,3,2,7,4”的地址3的数值“7”不同。但是,由于数值“6”是接近数值“7”的数值,因此接收机200也可以判定为已知的光id“5,2,7,7,1,5,3,2,7,4”是从亮线图案区域y得到的。此外,接收机也可以通过数值“6”是否处于数值“7”±n(n例如为1以上的数)的范围内,判定数值“6”是否为接近数值“7”的数值。

图258是表示本实施方式的接收机200的另一例的图。

接收机200在上述的例子中作为智能手机而构成,但也可以与图19~图21所示的例子同样地,作为具备图像传感器的头戴式显示器(也称为眼镜)而构成。

这样的接收机200若一直启动着用于显示上述那样的ar图像的处理电路(以下,称为ar处理电路)则功耗会增加,因此也可以在检测到预先确定的信号时启动该ar处理电路。

例如,接收机200具备触摸传感器202。触摸传感器202若与用户的手指等接触则输出触摸信号。接收机200在检测到该触摸信号时启动ar处理电路。

或者,接收机200也可以在检测到bluetooth(注册商标)或wi-fi(注册商标)等的电波信号时启动ar处理电路。

或者,接收机200也可以具备加速度传感器,在通过该加速度传感器检测到与重力方向相反方向上的阈值以上的加速度时,启动ar处理电路。也即是,接收机200在检测到表示上述加速度的信号时,启动ar处理电路。例如,当用户将作为眼镜构成的接收机200的鼻托部分用指尖从下向上顶起时,接收机200检测到表示上述加速度的信号,启动ar处理电路。

或者,接收机200也可以在通过gps以及9轴传感器等检测到图像传感器朝向了发送机100时,启动ar处理电路。也即是,接收机200在检测到表示接收机200朝向了预定方向的信号时,启动ar处理电路。该情况下,如果发送机100是上述的日语的站名标志等,则接收机200将表示英语站名的ar图像重叠于该站名标志并显示。

图259是表示本实施方式的接收机200的处理动作的另一例的流程图。

接收机200在从发送机100取得光id时(步骤s141),通过接收与该光id相应的模式指定信息,对噪声消除的模式进行切换(步骤s142)。然后,接收机200判定是否应结束该模式的切换处理(步骤s143),当判定为不应结束时(步骤s143:否),反复执行从步骤s141起的处理。噪声消除的模式的切换例如是对飞机内的发动机等的噪音进行消除的模式(on)和不进行该噪音消除的模式(off)。具体而言,携带接收机200的用户将与该接收机200连接的耳机戴在耳朵上,聆听从该接收机200输出的音乐等声音。当这样的用户搭乘飞机时,接收机200取得光id。其结果是,接收机200将噪声消除的模式从off切换为on。由此,用户即使在飞机内,也能够听到不包含发动机的噪音等噪声的声音。另外,即使在用户离开飞机时,接收机200也取得光id。取得了该光id的接收机200将噪声消除的模式从on切换为off。此外,成为噪声消除的对象的噪声不仅是发动机的噪音,也可以是人声等任何声响。

图260是表示本实施方式的包括多个发送机的发送系统的一例的图。

该发送系统具备按预先确定的顺序排列的多个发送机120。这些发送机120与发送机100同样,是上述实施方式1~22中的某个实施方式的发送机,具备一个或多个发光元件(例如led)。开头的发送机120通过按照预先确定的频率(载波频率)使一个或多个发光元件的亮度发生变化来发送光id。进一步,开头的发送机120将表示该亮度变化的信号作为同步信号输出给后续的发送机120。后续的发送机120在收到该同步信号时,通过按照该同步信号使一个或多个发光元件的亮度发生变化来发送光id。进一步,后续的发送机120将表示该亮度变化的信号作为同步信号输出给下一个后续的发送机120。由此,发送系统所包括的全部发送机120同步地发送光id。

在此,同步信号被从开头的发送机120转发给后续的发送机120,从后续的发送机120进一步转发给下一个后续的发送机120,直到到达最后的发送机120。同步信号的转发例如花费约1μ秒。因此,如果发送系统具备n(n为2以上的整数)台发送机120,则同步信号从开头的发送机120到达最后的发送机120会花费1×nμ秒。其结果是,光id的发送的定时最大会偏离(错开)nμ秒。例如,存在如下情况:即使n台发送机120按照9.6khz的频率发送光id、且接收机200想要以9.6khz的频率接收光id,但接收机200会由于接收偏离了nμ秒的光id而无法正确地接收该光id。

因此,在本实施方式中,开头的发送机120根据发送系统所包括的发送机120的台数来加速地发送光id。例如,开头的发送机120按照9.605khz的频率发送光id。另一方面,接收机200以9.6khz的频率接收光id。此时,即使接收机200接收偏离了nμ秒的光id,由于开头的发送机120的频率比接收机200的频率高0.005khz,因此也能够抑制因该光id的偏离而导致的接收错误的产生。

另外,开头的发送机120也可以通过从最后的发送机120反馈回同步信号来控制频率的调整量。例如,开头的发送机120计测从自身输出同步信号到接收到从最后的发送机120反馈的同步信号为止的时间。并且,该时间越长,则开头的发送机120按照比基准频率(例如,9.6khz)越高的频率发送光id。

图261是表示本实施方式的包括多个发送机以及接收机的发送系统的一例的图。

该发送系统例如具备2个发送机120和接收机200。2个发送机120中的一方的发送机120按照9.599khz的频率发送光id。另一方的发送机120按照9.601khz的频率发送光id。在这样的情况下,2个发送机120分别将自身的光id的频率用电波信号通知给接收机200。

接收机200在收到这些频率的通知时,尝试按照所通知的频率的各频率进行解码。也即是,接收机200按照9.599khz的频率来尝试对解码用图像的解码,由此,如果无法接收到光id,则按照9.601khz的频率来尝试对解码用图像的解码。如此,接收机200按照所通知的全部频率的各频率,尝试对解码用图像的解码。换言之,接收机200对所通知的各个频率进行循环尝试。或者,接收机200也可以按照所通知的全部频率的平均频率来尝试解码。也即是,接收机200按照9.599khz和9.601khz的平均频率即9.6khz来尝试解码。

由此,能够降低因接收机200与发送机120各自的频率的差异而引起的接收错误的产生率。

图262a是表示本实施方式的接收机200的处理动作的一例的流程图。

接收机200首先开始拍摄(步骤s151),将参数n初始化为1(步骤s152)。接着,接收机200按照与参数n对应的频率对通过该拍摄得到的解码用图像进行解码,算出针对该解码结果的评价值(步骤s153)。例如,对参数n=1、2、3、4、5分别预先关联有9.6khz、9.601khz、9.599khz、9.602khz等频率。解码结果与正确的光id越类似,则评价值表示越高的数值。

接着,接收机200判定参数n的数值是否等于预先确定的1以上的整数即nmax(步骤s154)。在此,接收机200在判定为参数n的数值不等于nmax时(步骤s154:否),使参数n递增(步骤s155),反复执行从步骤s153起的处理。另一方面,接收机200在判定为参数n的数值等于nmax时(步骤s154:是),将算出最大评价值的频率作为最佳频率与表示接收机200的场所的场所信息关联地登记于服务器。如此登记的最佳频率以及场所信息在登记后被用于向该场所信息所表示的场所移动的接收机200的对光id的接收。另外,场所信息例如既可以是表示由gps计测的位置的信息,也可以是无线lan(localareanetwork,局域网)中的访问点的识别信息(例如,ssid:servicesetidentifier,服务集标识符)。

另外,进行了向服务器登记的接收机200按照通过基于该最佳频率的解码而得到的光id,进行例如上述那样的ar图像的显示。

图262b是表示本实施方式的接收机200的处理动作的一例的流程图。

在进行了图262a所示的向服务器的登记之后,接收机200将表示自身所在的场所的场所信息发送给服务器(步骤s161)。接着,接收机200从该服务器取得与该场所信息关联登记的最佳频率(步骤s162)。

接着,接收机200开始拍摄(步骤s163),按照通过步骤s162取得的最佳频率对通过该拍摄得到的解码用图像进行解码(步骤s164)。接收机200按照通过该解码得到的光id,进行例如上述那样的ar图像的显示。

如此,在进行了向服务器的登记之后,接收机200不执行图262a所示的处理而能够取得最佳频率并接收光id。此外,接收机200在步骤s162中未能取得最佳频率时,也可以通过执行图262a所示的处理来取得最佳频率。

[实施方式23的总结]

图263a是表示本实施方式的显示方法的流程图。

本实施方式的显示方法是上述的接收机200即显示装置显示图像的显示方法,包括步骤sl11~sl16。

在步骤sl11中,图像传感器通过拍摄被拍摄对象来取得拍摄显示图像以及解码用图像。在步骤sl12中,通过对该解码用图像的解码来取得光id。在步骤sl13中,将该光id发送给服务器。在步骤sl14中,从服务器取得与该光id对应的ar图像和识别信息。在步骤sl15中,将拍摄显示图像中的与识别信息相应的区域识别为对象区域。在步骤sl16中,显示在对象区域重叠了ar图像的拍摄显示图像。

由此,ar图像被重叠于拍摄显示图像并显示,因此能够向用户显示有益的图像。进而,能够抑制处理负荷并在适当的对象区域重叠ar图像。

也即是,在通常的扩展现实(即ar)中,通过对预先保存的庞大数量的识别对象图像与拍摄显示图像进行比较,判定在该拍摄显示图像中是否包含有某个识别对象图像。并且,如果判定为包含有识别对象图像,则将与该识别对象图像对应的ar图像重叠于拍摄显示图像。此时,以识别对象图像为基准来进行ar图像的位置对准。如此,在通常的扩展现实中,由于对庞大数量的识别对象图像与拍摄显示图像进行比较,进而由于在位置对准中也需要拍摄显示图像中的识别对象图像的位置检测,因此存在计算量多且处理负荷高这一问题。

但是,在本实施方式的显示方法中,也如图235~图262b所示,通过对通过被拍摄对象的拍摄而得到的解码用图像进行解码来取得光id。也即是,接收从作为被拍摄对象的发送机发送来的光id。进而,从服务器取得与该光id对应的ar图像和识别信息。因此,在服务器中,不需要对庞大数量的识别对象图像与拍摄显示图像进行比较,能够选择与光id预先关联的ar图像并发送给显示装置。由此,能够减少计算量并大幅地抑制处理负荷。

另外,在本实施方式的显示方法中,从服务器取得与该光id对应的识别信息。识别信息是用于在拍摄显示图像中识别要重叠ar图像的区域即对象区域的信息。该识别信息也可以是表示例如白色四边形是对象区域的信息。在该情况下,能够简单地识别对象区域,能够进一步抑制处理负荷。也即是,根据识别信息的内容,能够进一步抑制处理负荷。另外,在服务器中,由于能够根据光id任意地设定该识别信息的内容,因此能够适当地保持处理负荷与识别精度的平衡。

在此,也可以为,识别信息是用于确定拍摄显示图像中的基准区域的基准信息,在对象区域的识别中,基于该基准信息从拍摄显示图像中识别基准区域,在拍摄显示图像中,通过该基准区域的位置来识别对象区域。

或者,识别信息也可以包含用于确定拍摄显示图像中的基准区域的基准信息和表示对象区域相对于该基准区域的相对位置的对象信息。该情况下,在对象区域的识别中,基于基准信息从拍摄显示图像中确定基准区域,将拍摄显示图像中的位于以该基准区域的位置为基准而由对象信息表示的相对位置的区域识别为对象区域。

由此,如图244以及图245所示,能够扩大要在拍摄显示图像中识别的对象区域的位置的自由度。

另外,基准信息也可以示出拍摄显示图像中的基准区域的位置与解码用图像中的亮线图案区域的位置相同,所述亮线图案区域包括通过图像传感器所具有的多个曝光线的曝光而出现的多个亮线的图案。

由此,如图244以及图245所示,能够以拍摄显示图像中的与亮线图案区域对应的区域为基准来识别对象区域。

另外,基准信息也可以示出拍摄显示图像中的基准区域为拍摄显示图像中的映照出显示器的区域。

由此,如图235所示,例如如果将站名标志设为显示器,则能够以映照出该显示器的区域为基准来识别对象区域。

另外,在拍摄显示图像的显示中,也可以在抑制与上述的ar图像即第一ar图像不同的第二ar图像的显示的同时,在预先确定的显示期间显示第一ar图像。

由此,如图250所示,在用户正在观看一次显示的第一ar图像时,能够抑制该第一ar图像立即被与其不同的第二ar图像替换。

另外,在拍摄显示图像的显示中,在显示期间,也可以禁止对新取得的解码用图像的解码。

由此,如图250所示,对于新取得的解码用图像的解码,在第二ar图像的显示被抑制时是无效的处理,因此通过禁止该解码,能够抑制功耗。

另外,在拍摄显示图像的显示中,进而,也可以,在显示期间,通过加速度传感器计测显示装置的加速度,判定所计测到的加速度是否为阈值以上。并且,在判定为该加速度为阈值以上时,通过解除第二ar图像的显示的抑制,也可以取代第一ar图像而显示第二ar图像。

由此,如图250所示,在计测到阈值以上的显示装置的加速度时,解除第二ar图像的显示的抑制。因此,例如,在用户想要使图像传感器朝向其他的被拍摄对象而大幅活动了显示装置时,能够立即显示第二ar图像。

另外,在拍摄显示图像的显示中,进一步也可以为,通过由显示装置所具备的面部摄像头进行的拍摄,判定用户的脸是否正在靠近显示装置。并且,当判定为脸正在靠近时,也可以在抑制与第一ar图像不同的第二ar图像的显示的同时,显示第一ar图像。或者,在拍摄显示图像的显示中,进一步也可以为,通过由加速度传感器计测的显示装置的加速度,判定用户的脸是否正在靠近显示装置。并且,当判定为脸正在靠近时,也可以在抑制与第一ar图像不同的第二ar图像的显示的同时,显示第一ar图像。

由此,如图250所示,在用户想要观看第一ar图像而使脸向显示装置靠近时,能够抑制该第一ar图像被与其不同的第二ar图像替换。

另外,如图254所示,在拍摄显示图像以及解码用图像的取得中,也可以通过将分别显示有图像的多个显示器作为被拍摄对象进行拍摄,取得该拍摄显示图像以及解码用图像。此时,在对象区域的识别中,将拍摄显示图像中的出现多个显示器中的发送光id的显示器即发送显示器的区域识别为对象区域。另外,在拍摄显示图像的显示中,将与发送显示器所显示的图像对应的第1字幕作为ar图像显示于对象区域,进一步,在拍摄显示图像中的比对象区域大的区域重叠对第1字幕进行了放大的字幕即第2字幕。

由此,由于在发送显示器的图像重叠有第1字幕,因此能够使用户容易地掌握该第1字幕是与多个显示器中的哪个显示器的图像对应的字幕。另外,由于也显示对第1字幕进行了放大的字幕即第2字幕,因此即使在第1字幕小且不易阅读的情况下,通过第2字幕的显示,能够使字幕易于阅读。

另外,在拍摄显示图像的显示中,进一步也可以为,判定在从上述的服务器取得的信息中是否含有声音信息,在判定为含有声音信息时,相比于第1以及第2字幕,优选输出该声音信息所表示的声音

由此,由于优选输出声音,因此能够减轻用户阅读字幕的负担。

图263b是表示本实施方式的显示装置的结构的框图。

本实施方式的显示装置10是显示图像的显示装置,具备图像传感器11、解码部12、发送部13、取得部14、识别部15和显示部16。此外,该显示装置10相当于上述的接收机200。

图像传感器11通过拍摄被拍摄对象来取得拍摄显示图像以及解码用图像。解码部12通过对该解码用图像的解码来取得光id。发送部13将该光id发送给服务器。取得部14从服务器取得与光id对应的ar图像和识别信息。识别部15将拍摄显示图像中的与该识别信息相应的区域识别为对象区域。显示部16显示在该对象区域重叠了ar图像的拍摄显示图像。

由此,由于ar图像被重叠于拍摄显示图像并显示,因此能够向用户显示有益的图像。进而,能够抑制处理负荷并在适当的对象区域重叠ar图像。

此外,在本实施方式中,各构成要素也可以通过由专用的硬件构成或执行适合于各构成要素的软件程序来实现。各构成要素也可以通过cpu或处理器等程序执行部读出硬盘或半导体存储器等记录介质所记录的软件程序并执行来实现。在此,实现本实施方式的接收机200或显示装置10等的软件是使计算机执行图239、图246、图250、图256、图259以及图262a~图263a所示的流程图所包含的各步骤的程序。

[实施方式23的变形例1]

以下,对实施方式23的变形例1、即实现使用了光id的ar的显示方法的变形例1进行说明。

图264是表示实施方式23的变形例1的接收机显示ar图像的例子的图。

接收机200通过由其图像传感器进行的被拍摄对象的拍摄,取得作为上述通常拍摄图像的拍摄显示图像pk和作为上述可见光通信图像或亮线图像的解码用图像。

具体而言,接收机200的图像传感器拍摄作为机器人构成的发送机100c和位于发送机100c旁边的人物21。发送机100c是上述实施方式1~22中的某个实施方式的发送机,具备一个或多个发光元件(例如led)131。该发送机100c通过使该一个或多个发光元件131闪烁来进行亮度变化,通过该亮度变化来发送光id(光识别信息)。该光id是上述的可见光信号。

接收机200通过以通常曝光时间拍摄发送机100c以及人物21,取得映照出该发送机100c以及人物21的拍摄显示图像pk。进一步,接收机200通过以比该通常曝光时间短的通信用曝光时间拍摄发送机100c以及人物21,取得解码用图像。

接收机200通过对该解码用图像的解码来取得光id。也即是,接收机200从发送机100c接收光id。接收机200将该光id发送给服务器。并且,接收机200从服务器取得与该光id对应的ar图像p10和识别信息。接收机200将拍摄显示图像pk中的与该识别信息相应的区域识别为对象区域。例如,接收机200将处于映照出作为发送机100c的机器人的区域的右侧的区域识别为对象区域。具体而言,接收机200确定映照在拍摄显示图像pk中的发送机100c的2个标记132a与132b之间的距离。并且,接收机200将具有与该距离相应的宽度以及高度的区域识别为对象区域。也即是,识别信息示出了标记132a以及132b的形状和以这些标记132a以及132b为基准的对象区域的位置以及大小。

并且,接收机200在该对象区域重叠ar图像p10,将重叠了ar图像p10的拍摄显示图像pk显示于显示器201。例如,接收机200取得表示与发送机100c不同的其他机器人的ar图像p10。该情况下,由于在拍摄显示图像pk的对象区域重叠有该ar图像p10,因此能够以使得其他机器人现实存在于发送机100c旁边的方式显示拍摄显示图像pk。其结果是,即使其他机器人实际并不存在,人物21也能够与发送机100c以及其他机器人一起被拍到照片中。

图265是表示实施方式23的变形例1的接收机200显示ar图像的另一例的图。

发送机100例如如图265所示那样作为具有显示面板的图像显示装置而构成,通过一边在该显示面板显示静止图像ps一边进行亮度变化来发送光id。此外,显示面板例如是液晶显示器或有机el(electroluminescence,电致发光)显示器。

接收机200通过拍摄发送机100,与上述同样地取得拍摄显示图像pm和解码用图像。接收机200通过对该解码用图像的解码来取得光id。也即是,接收机200从发送机100接收光id。接收机200将该光id发送给服务器。并且,接收机200从服务器取得与该光id对应的ar图像p11和识别信息。接收机200将拍摄显示图像pm中的与该识别信息相应的区域识别为对象区域。例如,接收机200将映照出发送机100的显示面板的区域识别为对象区域。并且,接收机200在该对象区域重叠ar图像p11,将重叠了ar图像p11的拍摄显示图像pm显示于显示器201。例如,ar图像p11是按显示顺序具有与发送机100的显示面板所显示的静止图像ps相同或实质相同的图画作为开头图画的动态图像。也即是,ar图像p11是从静止图像ps开始活动起来的动态图像。

该情况下,由于在拍摄显示图像pm的对象区域重叠有该ar图像p11,因此接收机200能够以使得显示动态图像的图像显示装置现实存在的方式显示拍摄显示图像pm。

图266是表示实施方式23的变形例1的接收机200显示ar图像的另一例的图。

发送机100例如如图266所示那样作为站名标志而构成,通过进行亮度变化来发送光id。

接收机200如图266的(a)所示,从离开发送机100的位置拍摄发送机100。由此,接收机200与上述同样地,取得拍摄显示图像pn和解码用图像。接收机200通过对该解码用图像的解码来取得光id。也即是,接收机200从发送机100接收光id。接收机200将该光id发送给服务器。并且,接收机200从服务器取得与该光id对应的ar图像p12~p14和识别信息。接收机200将拍摄显示图像pn中的与该识别信息相应的2个区域识别为第1以及第2对象区域。例如,接收机200将发送机100周围的区域识别为第1对象区域。并且,接收机200在该第1对象区域重叠ar图像p12,将重叠了ar图像p12的拍摄显示图像pn显示于显示器201。例如,ar图像p12是促使接收机200的用户向发送机100接近的箭头。

该情况下,由于在拍摄显示图像pn的第1对象区域重叠并显示有该ar图像p12,因此用户以使接收机200朝向发送机100的状态向发送机100靠近。通过这样的接收机200向发送机100的接近,映照在拍摄显示图像pn中的发送机100的区域(相当于上述的基准区域)变大。当该区域的大小成为第1阈值以上时,接收机200例如如图266的(b)所示,进一步在映照出发送机100的区域即第2对象区域重叠ar图像p13。也即是,接收机200将重叠了ar图像p12以及p13的拍摄显示图像pn显示于显示器201。例如,ar图像p13是向用户通知站名标志所表示的车站周边的概况的消息。另外,ar图像p13的大小与映照在拍摄显示图像pn中的发送机100的区域的大小相等。

另外,在该情况下,由于在拍摄显示图像pn的第1对象区域重叠有作为箭头的ar图像p12并显示,因此用户也以使接收机200朝向发送机100的状态向发送机100靠近。通过这样的接收机200向发送机100的接近,映照在拍摄显示图像pn中的发送机100的区域(相当于上述的基准区域)进一步变大。当该区域的大小成为第2阈值以上时,接收机200例如如图266的(c)所示,将重叠于第2对象区域的ar图像p13变更为ar图像p14。进而,接收机200将重叠于第1对象区域的ar图像p12删除。

也即是,接收机200将重叠了ar图像p14的拍摄显示图像pn显示于显示器201。例如,ar图像p14是向用户通知站名标志所表示的车站周边的详细情况的消息。另外,ar图像p14的大小与映照在拍摄显示图像pn中的发送机100的区域的大小相等。接收机200越接近发送机100,该发送机100的区域就越大。因此,ar图像p14比ar图像p13大。

如此,接收机200越靠近发送机100,使ar图像越大,显示越多的信息。另外,由于显示有ar图像p12那样的促使用户接近的箭头,因此能够使用户容易地掌握若靠近发送机100则会显示大量信息这一情况。

图267是表示实施方式23的变形例1的接收机200显示ar图像的另一例的图。

在图266所示的例子中,接收机200若靠近发送机100则显示大量信息,但也可以不管与发送机100之间的距离如何,都以例如引出框的方式显示大量信息。

具体而言,接收机200如图267所示,通过拍摄发送机100,与上述同样地取得拍摄显示图像po和解码用图像。接收机200通过对该解码用图像的解码来取得光id。也即是,接收机200从发送机100接收光id。接收机200将该光id发送给服务器。并且,接收机200从服务器取得与该光id对应的ar图像p15和识别信息。接收机200将拍摄显示图像po中的与该识别信息相应的区域识别为对象区域。例如,接收机200将发送机100周围的区域识别为对象区域。并且,接收机200在该对象区域重叠ar图像p15,将重叠了ar图像p15的拍摄显示图像po显示于显示器201。例如,ar图像p15是以引出框的方式向用户通知站名标志所表示的车站周边的详细情况的消息。

该情况下,由于在拍摄显示图像po的对象区域重叠有该ar图像p15,因此接收机200的用户即使不靠近发送机100也能够使接收机200显示大量信息。

图268是表示实施方式23的变形例1的接收机200的另一例的图。

接收机200在上述的例子中作为智能手机而构成,但也可以与图19~图21以及图258所示的例子同样地,作为具备图像传感器的头戴式显示器(也称为眼镜)而构成。

这样的接收机200通过仅对解码用图像的一部分解码对象区域进行解码来取得光id。例如,接收机200如图268的(a)所示,具备视线检测摄像头203。视线检测摄像头203拍摄佩戴着作为接收机200的头戴式显示器的用户的眼睛。接收机200基于通过该视线检测摄像头203的拍摄而得到的眼睛的图像,检测该用户的视线。

接收机200如图268的(b)所示,例如以使得视线框204出现在用户视野中的朝向所检测到的视线的区域的方式,显示该视线框204。因此,该视线框204随着用户视线的活动而移动。接收机200将解码用图像中的与该视线框204内相当的区域作为解码对象区域来处理。也即是,即使在解码用图像中的解码对象区域外存在亮线图案区域,接收机200也不进行对该亮线图案区域的解码,而仅对解码对象区域内的亮线图案区域进行解码。由此,即使在解码用图像中存在多个亮线图案区域的情况下,也不进行对这些全部亮线图案区域的解码,因此能够减轻处理负荷,并且能够抑制多余的ar图像的显示。

另外,接收机200在分别用于输出声音的多个亮线图案区域包含在解码用图像中的情况下,也可以仅对解码对象区域内的亮线图案区域进行解码,仅输出与该亮线图案区域对应的声音。或者,接收机200也可以对解码用图像所包含的多个亮线图案区域分别进行解码,将与解码对象区域内的亮线图案区域对应的声音输出得大,将与解码对象区域外的亮线图案区域对应的声音输出得小。另外,在解码对象区域外存在多个亮线图案区域的情况下,也可以,越是接近解码对象区域的亮线图案区域,则接收机200将与该亮线图案区域对应的声音输出得越大。

图269是表示实施方式23的变形例1的接收机200显示ar图像的另一例的图。

发送机100例如如图269所示那样作为具备显示面板的图像显示装置而构成,通过一边在该显示面板显示图像一边进行亮度变化来发送光id。

接收机200通过拍摄发送机100,与上述同样地取得拍摄显示图像pp和解码用图像。

此时,接收机200从拍摄显示图像pp中确定位于与解码用图像中的亮线图案区域相同位置且大小与该亮线图案区域相同的区域。并且,接收机200也可以显示从该区域的一端向另一端反复移动的扫描线p100。

在显示有该扫描线p100的期间,接收机200通过对解码用图像的解码来取得光id,将该光id发送给服务器。并且,接收机200从服务器取得与该光id对应的ar图像和识别信息。接收机200将拍摄显示图像pp中的与该识别信息相应的区域识别为对象区域。

当识别到这样的对象区域时,接收机200结束扫描线p100的显示,在该对象区域重叠ar图像,将重叠了该ar图像的拍摄显示图像pp显示于显示器201。

由此,在从进行发送机100的拍摄到ar图像被显示为止的期间,显示有移动的扫描线p100,因此能够向用户通知正在进行光id以及ar图像的读取等处理。

图270是表示实施方式23的变形例1的接收机200显示ar图像的另一例的图。

2个发送机100分别例如如图270所示那样作为具有显示面板的图像显示装置而构成,通过一边在该显示面板显示相同的静止图像ps一边进行亮度变化来发送光id。在此,2个发送机100分别通过以互不相同的方式进行亮度变化来发送互不相同的光id(例如光id“01”以及“02”)。

接收机200与图265所示的例子同样地,通过拍摄2个发送机100,取得拍摄显示图像pq和解码用图像。接收机200通过对该解码用图像的解码来取得光id“01”以及“02”。也即是,接收机200从2个发送机100中的一方接收光id“01”,从另一方接收光id“02”。接收机200将这些光id发送给服务器。并且,接收机200从服务器取得与该光id“01”对应的ar图像p16和识别信息。进而,接收机200从服务器取得与光id“02”对应的ar图像p17和识别信息。

接收机200将拍摄显示图像pq中的与这些识别信息相应的区域识别为对象区域。例如,接收机200将映照出2个发送机100的各发送机的显示面板的区域识别为对象区域。并且,接收机200在与光id“01”对应的对象区域重叠ar图像p16,在与光id“02”对应的对象区域重叠ar图像p17。并且,接收机200将重叠了ar图像p16以及p17的拍摄显示图像pq显示于显示器201。例如,ar图像p16是按显示顺序具有与光id“01”所对应的发送机100的显示面板所显示的静止图像ps相同或实质相同的图画作为开头图画的动态图像。另外,ar图像p17是按显示顺序具有与光id“02”所对应的发送机100的显示面板所显示的静止图像ps相同或实质相同的图画作为开头图画的动态图像。也即是,作为动态图像的ar图像p16和ar图像p17各自的开头图画相同。但是,ar图像p16和ar图像p17是互不相同的动态图像,各自的除开头之外的图画不同。

因此,由于这样的ar图像p16以及ar图像p17被重叠于拍摄显示图像pq,因此接收机200能够以使得显示从相同的图画开始再现的互不相同的动态图像的图像显示装置现实存在的方式,显示拍摄显示图像pq。

图271是表示实施方式23的变形例1的接收机200的处理动作的一例的流程图。具体而言,对于由该图271的流程图表示的处理动作,在图265所示的发送机100存在2个的情况下,是单独拍摄这些发送机100的接收机200的处理动作的一例。

首先,接收机200通过将第1发送机100作为第1被拍摄对象进行拍摄来取得第1光id(步骤s201)。接着,接收机200从拍摄显示图像中识别该第1被拍摄对象(步骤s202)。也即是,接收机200从服务器取得与第1光id对应的第一ar图像以及第1的识别信息,基于该第1识别信息识别第1被拍摄对象。然后,接收机200使作为该第一ar图像的第1动态图像的再现从头开始(步骤s203)。也即是,接收机200从第1动态图像的开头图画起开始再现。

在此,接收机200判定第1被拍摄对象是否脱离了拍摄显示图像(步骤s204)。也即是,接收机200判定是否不再能够从拍摄显示图像中识别到第1被拍摄对象。在此,当判定为第1被拍摄对象脱离了拍摄显示图像时(步骤s204:是),接收机200中断作为第一ar图像的第1动态图像的再现(步骤s205)。

接着,接收机200通过将与第1发送机100不同的第2发送机100作为第2被拍摄对象进行拍摄,判定是否取得了与通过步骤s201取得的第1光id不同的第2光id(步骤s206)。在此,接收机200在判定为取得了第2光id时(步骤s206:是),进行与取得了第1光id时之后的步骤s202~s203同样的处理。也即是,接收机200从拍摄显示图像中识别第2被拍摄对象(步骤s207)。然后,接收机200使作为与第2光id对应的第二ar图像的第2动态图像的再现从头开始(步骤s208)。也即是,接收机200从第2动态图像的开头图画起开始再现。

另一方面,接收机200在步骤s206中判定为未取得第2光id时(步骤s206:否),判定第1被拍摄对象是否再次进入了拍摄显示图像(步骤s209)。也即是,接收机200判定是否从拍摄显示图像中再次识别到了第1被拍摄对象。在此,接收机200在判定为第1被拍摄对象进入了拍摄显示图像时(步骤s209:是),进一步,判定是否经过了预先确定的时间(即预定时间)(步骤s210)。也即是,接收机200判定从第1被拍摄对象脱离了拍摄显示图像到再次进入拍摄显示图像为止是否经过了预定时间。在此,当判定为未经过预定时间时(步骤s210:是),接收机200开始中断后的第1动态图像的从中途起的再现(步骤s211)。此外,该从中途起的再现开始时最初显示的第1动态图像的图画即再次开始再现的开头图画,也可以是在第1动态图像的再现被中断时的最后显示的图画的按显示顺序的下一个图画。或者,再次开始再现的开头图画也可以是按显示顺序在最后显示的图画的n(n为1以上的整数)张之前的图画。

另一方面,当判定为经过了预定时间时(步骤s210:否),接收机200开始中断后的第1动态图像的从头开始的再现(步骤s212)。

另外,在上述的例子中,接收机200在拍摄显示图像的对象区域重叠ar图像,但也可以在此时调整ar图像的明亮度。也即是,接收机200判定从服务器取得的ar图像的明亮度是否与拍摄显示图像的对象区域的明亮度一致。并且,接收机200在判定为不一致时,通过调整ar图像的明亮度来使该ar图像的明亮度与对象区域的明亮度一致。并且,接收机200将调整了明亮度后的ar图像重叠于拍摄显示图像的对象区域。由此,能够使要重叠的ar图像进一步接近实际存在的对象的图像,能够抑制用户对ar画像的违和感。此外,ar图像的明亮度是该ar图像的空间上的平均明亮度,对象区域的明亮度也是该对象区域的空间上的平均明亮度。

另外,接收机200也可以如图247所示,当轻敲ar图像时,将该ar图像放大并显示于整个显示器201。另外,在图247所示的例子中,接收机200将ar图像被轻敲的该ar图像切换为其他的ar图像,但也可以与轻敲无关地自动切换ar图像。例如,接收机200在显示有ar图像的时间经过预先确定的时间时,将该ar图像切换为其他的ar图像并进行显示。另外,接收机200在当前时刻到达预先确定的时刻时,将在此之前显示的ar图像切换为其他的ar图像并进行显示。由此,用户不进行操作就能够简单地观看新的ar图像。

[实施方式23的变形例2]

以下,对实施方式23的变形例2、即实现使用了光id的ar的显示方法的变形例2进行说明。

图272是表示在实施方式23或其变形例1的接收机200中显示所设想的ar图像时的问题的一例的图。

例如,实施方式23或其变形例1的接收机200在时刻t1拍摄被拍摄对象。此外,上述的被拍摄对象是通过亮度变化来发送光id的电视机等发送机、或者被来自该发送机的光照射的海报、指引板或广告牌等。其结果是,接收机200将通过图像传感器的有效像素区域得到的图像的整体(以下,称为全拍摄图像)作为拍摄显示图像显示于显示器201。此时,接收机200将该拍摄显示图像中的与基于光id取得的识别信息相应的区域识别为要重叠ar图像的对象区域。对象区域例如是表示电视机等发送机的像或海报等的像的区域。并且,接收机200在该拍摄显示图像的对象区域重叠ar图像,将重叠了ar图像的拍摄显示图像显示于显示器201。此外,ar图像可以是静止图像或动态图像,也可以是包含一个以上的字符或记号的字符串。

在此,接收机200的用户在为了使ar图像显示得大而靠近被拍摄对象时,在时刻t2,图像传感器中的与对象区域对应的区域(以下,称为识别区域)会超出(出离)有效像素区域。此外,识别区域是图像传感器的有效像素区域中的、拍摄显示图像中的对象区域的图像所投影的区域。也即是,图像传感器中的有效像素区域和识别区域分别相当于显示器201中的拍摄显示图像和对象区域。

由于识别区域超出有效像素区域,因此接收机200无法从拍摄显示图像中识别对象区域,成为无法显示ar图像的状态。

于是,本变形例的接收机200取得视角比显示于整个显示器201的拍摄显示图像大的图像来作为全拍摄图像。

图273是表示实施方式23的变形例2的接收机200显示ar图像的例子的图。

本变形例涉及的接收机200的全拍摄图像的视角、即图像传感器的有效像素区域的视角比显示于整个显示器201的拍摄显示图像的视角大。此外,以下,将图像传感器中的与显示于显示器201的图像范围相当的区域称为显示区域。

例如,接收机200在时刻t1拍摄被拍摄对象。其结果是,接收机200仅将通过图像传感器的有效像素区域得到的全拍摄图像中的通过比有效像素区域小的显示区域得到的图像作为拍摄显示图像显示于显示器201。此时,接收机200与上述同样地,将该全拍摄图像中的与基于光id取得的识别信息相应的区域识别为要重叠ar图像的对象区域。并且,接收机200在该拍摄显示图像的对象区域重叠ar图像,将重叠了ar图像的拍摄显示图像显示于显示器201。

在此,接收机200的用户在为了使ar图像显示得大而靠近被拍摄对象时,图像传感器中的识别区域扩大。然后,在时刻t2,该识别区域超出图像传感器中的显示区域。也即是,对象区域的图像(例如,海报的像等)超出显示器201所显示的拍摄显示图像。但是,图像传感器中的识别区域并没有超出有效像素区域。也即是,接收机200在时刻t2也取得了包含对象区域的全拍摄图像。其结果是,接收机200能够从全拍摄图像中识别对象区域,仅在对象区域中的位于拍摄显示图像内的一部分区域重叠与该区域对应的ar图像的一部分并显示于显示器201。

由此,在用户为了使ar图像显示得大而靠近被拍摄对象时,即使对象区域超出拍摄显示图像,也能够继续ar图像的显示。

图274是表示实施方式23的变形例2的接收机200的处理动作的一例的流程图。

接收机200通过图像传感器拍摄被拍摄对象来取得全拍摄图像以及解码用图像(步骤s301)。接着,接收机200通过对该解码用图像的解码来取得光id(步骤s302)。接着,接收机200将该光id发送给服务器(步骤s303)。接着,接收机200从服务器取得与该光id对应的ar图像和识别信息(步骤s304)。接着,接收机200将全拍摄图像中的与识别信息相应的区域识别为对象区域(步骤s305)。

在此,接收机200判定图像传感器的有效像素区域中的与该对象区域的图像对应的区域即识别区域是否超出显示区域(步骤s306)。在此,当判定为超出时(步骤s306:是),接收机200仅在对象区域中的位于拍摄显示图像内的一部分区域,显示与该区域对应的ar图像的一部分(步骤s307)。另一方面,接收机200在判定为没有超出时(步骤s306:否),接收机200在拍摄显示图像的对象区域重叠ar图像,对重叠了该ar图像的拍摄显示图像进行显示(步骤s308)。

然后,接收机200判定是否应结束ar图像的显示处理(步骤s309),当判定为不应结束时(步骤s309:否),反复执行从步骤s305起的处理。

图275是表示实施方式23的变形例2的接收机200显示ar图像的另一例的图。

接收机200也可以通过识别区域的大小相对于上述显示区域的大小的比率来切换ar图像的画面显示。

在将图像传感器的显示区域的水平方向的宽度设为w1、将显示区域的垂直方向的宽度设为h1、将识别区域的水平方向的宽度设为w2、将识别区域的垂直方向的宽度设为h2的情况下,接收机将比率(h2/h1)和(w2/w1)中的较大一方的比率与阈值进行比较。

例如,接收机200在如图275的(画面显示1)那样显示有ar图像被重叠于对象区域的拍摄显示图像时,将该较大一方的比率与第1阈值(例如,0.9)进行比较。并且,在较大一方的比率成为0.9以上时,接收机200如图275的(画面显示2)那样,将ar图像放大显示于整个显示器201。此外,即使在识别区域变为比显示区域大时,即识别区域使进一步变为比有效像素区域大时,接收机200也继续将ar图像放大显示于整个显示器201。

另外,接收机200例如在如图275的(画面显示2)那样将ar图像放大显示在整个显示器201时,将该较大一方的比率与第2阈值(例如,0.7)进行比较。第2阈值小于第1阈值。并且,在较大一方的比率成为0.7以下时,接收机200如图275的(画面显示1)那样显示ar图像被重叠于对象区域的拍摄显示图像。

图276是表示实施方式23的变形例2的接收机200的处理动作的另一例的流程图。

接收机200首先进行光id处理(步骤s301a)。该光id处理是包括图274所示的步骤s301~s304的处理。接着,接收机200将拍摄显示图像中的与识别信息相应的区域识别为对象区域(步骤s311)。然后,接收机200在拍摄显示图像的对象区域重叠ar图像,对重叠了该ar图像的拍摄显示图像进行显示(步骤s312)。

接着,接收机200判定识别区域的比率、即比率(h2/h1)和(w2/w1)中的较大一方的比率是否为第1阈值k(例如k=0.9)以上(步骤s313)。在此,当判定为该比率不为第1阈值k以上时(步骤s313:否),接收机200反复执行从步骤s311起的处理。另一方面,当判定为该比率为第1阈值k以上时(步骤s313:是),接收机200将ar图像放大显示于整个显示器201(步骤s314)。此时,接收机200将图像传感器的电源周期性地切换为接通和断开。通过周期性地使图像传感器的电源断开,能够实现接收机200的省电化。

接着,接收机200在图像传感器的电源周期性地接通时,判定识别区域的比率是否为第2阈值l(例如l=0.7)以下。在此,当判定为该比率不为第2阈值l以下时(步骤s315:否),接收机200反复执行从步骤s314起的处理。另一方面,当判定为该比率为第2阈值l以下时(步骤s315:是),接收机200在拍摄显示图像的对象区域重叠ar图像,对重叠了该ar图像的拍摄显示图像进行显示(步骤s316)。

然后,接收机200判定是否应结束ar图像的显示处理(步骤s317),当判定为不应结束时(步骤s317:否),反复执行从步骤s313起的处理。

如此,通过使第2阈值为比l第1阈值k小的值,能够防止在(画面显示1)和(画面显示2)之间频繁切换接收机200的画面显示,能够使画面显示的状态稳定。

此外,在图275以及图276所示的例子中,显示区域和有效像素区域既可以相同,也可以不同。另外,在该例子中使用了识别区域的大小相对于显示区域的大小的比率,但在显示区域和有效像素区域不同的情况下,也可以取代显示区域而使用识别区域的大小相对于有效像素区域的大小的比率。

图277是表示实施方式23的变形例2的接收机200显示ar图像的另一例的图。

在图277所示的例子中,与图273所示的例子同样地,接收机200的图像传感器具有比显示区域大的有效像素区域。

例如,接收机200在时刻t1拍摄被拍摄对象。其结果是,接收机200仅将通过图像传感器的有效像素区域得到的全拍摄图像中的通过比有效像素区域小的显示区域得到的图像作为拍摄显示图像显示于显示器201。此时,接收机200与上述同样地,将该全拍摄图像中的与基于光id取得的识别信息相应的区域识别为要重叠ar图像的对象区域。并且,接收机200在该拍摄显示图像的对象区域重叠ar图像,将重叠了ar图像的拍摄显示图像显示于显示器201。

在此,在用户改变接收机200(具体是图像传感器)的方向时,图像传感器中的识别区域例如在图277中向左上方向移动,在时刻t2超出显示区域。也即是,对象区域的图像(例如,海报的像等)会超出显示器201所显示的拍摄显示图像。但是,图像传感器中的识别区域并没有超出有效像素区域。也即是,接收机200即使在时刻t2也取得了包含对象区域的全拍摄图像。其结果是,接收机200能够从全拍摄图像中识别对象区域,仅在对象区域中的位于拍摄显示图像内的一部分区域重叠与该区域对应的ar图像的一部分并显示于显示器201。进一步,接收机200根据图像传感器中的识别区域的活动、即全拍摄图像中的对象区域的活动,变更要显示的ar图像的一部分的大小以及位置。

另外,在如上述那样识别区域超出显示区域时,接收机200将有效像素区域的边缘和显示区域的边缘之间的距离(以下,称为区域间距离)所对应的像素数与阈值进行比较。

例如,将有效像素区域的上边与显示区域的上边之间的距离和有效像素区域的下边与显示区域的下边之间的距离中的较短一方的距离(以下,称为第1距离)所对应的像素数设为dh。另外,将有效像素区域的左边与显示区域的左边之间的距离和有效像素区域的右边与显示区域的右边之间的距离中的较短一方的距离(以下,称为第2距离)所对应的像素数设为dw。此时,上述的区域间距离是第1距离和第2距离中的较短一方的距离。

也即是,接收机200将像素数dw、dh中的较小一方的像素数与阈值n进行比较。并且,接收机200例如在时刻t2,如果该较小一方的像素数成为阈值n以下,则根据该图像传感器中的识别区域的位置,将ar图像的一部分的大小以及位置不进行变更而固定。即,接收机200切换ar图像的画面显示。例如,接收机200将要显示的ar图像的一部分的大小以及位置固定为在该较小一方的像素数成为阈值n时显示在显示器201上的ar图像的一部分的大小以及位置。

因此,在时刻t3,即使识别区域进一步移动而超出有效像素区域,接收机200也与时刻t2同样地继续显示ar图像的一部分。即,只要像素数dw、dh中的较小一方的像素数为阈值n以下,接收机200就与时刻t2时同样地继续将大小以及位置已固定的ar图像的一部分重叠于拍摄显示图像并显示。

在图277所示的例子中,接收机200根据图像传感器中的识别区域的移动,对要显示的ar图像的一部分的大小以及位置进行了变更,但也可以变更ar图像整体的显示倍率以及位置。

图278是表示实施方式23的变形例2的接收机200显示ar图像的另一例的图。具体而言,图278示出ar图像的显示倍率被变更的例子。

例如,与图277所示的例子同样地,从时刻t1的状态开始,当用户改变接收机200(具体是图像传感器)的方向时,图像传感器中的识别区域例如在图278中向左上方向移动,在时刻t2超出显示区域。也即是,对象区域的图像(例如,海报的像等)会超出显示器201所显示的拍摄显示图像。但是,图像传感器中的识别区域并没有超出有效像素区域。也即是,接收机200即使在时刻t2也取得了包含对象区域的全拍摄图像。其结果是,接收机200能够从全拍摄图像中识别对象区域。

因此,在图278所示的例子中,接收机200以使得ar图像整体的尺寸与对象区域中的位于拍摄显示图像内的一部分区域的尺寸一致的方式,变更该ar图像的显示倍率。也即是,接收机200将ar图像缩小。并且,接收机200将变更了(即缩小了)显示倍率的ar图像重叠于该区域而显示于显示器201。进而,接收机200根据图像传感器中的识别区域的活动、即全拍摄图像中的对象区域的活动,变更要显示的ar图像的显示倍率以及位置。

另外,在如上述那样识别区域超出显示区域时,接收机200将像素数dw、dh中的较小一方的像素数与阈值n进行比较。并且,接收机200例如在时刻t2,如果该较小一方的像素数成为阈值n以下,则根据该图像传感器中的识别区域的位置,将ar图像的显示倍率以及位置不进行变更而固定。也即是,接收机200切换ar图像的画面显示。例如,接收机200将要显示的ar图像的显示倍率以及位置固定为在该较小一方的像素数成为阈值n时显示在显示器201上的ar图像的显示倍率以及位置。

因此,在时刻t3,即使识别区域进一步移动而超出有效像素区域,接收机200也与时刻t2同样地继续显示ar图像。即,只要像素数dw、dh中的较小一方的像素数为阈值n以下,接收机200就与时刻t2时同样地继续将显示倍率以及位置已固定的ar图像重叠并显示于拍摄显示图像。

此外,在上述的例子中,将像素数dw、dh中的较小一方与阈值进行了比较,但也可以将该较小一方的像素数的比率与阈值进行比较。该像素数dw的比率例如是像素数dw相对于有效像素区域的水平方向的像素数w0的比率(dw/w0)。同样地,像素数dh的比率例如是像素数dh相对于有效像素区域的垂直方向的像素数h0的比率(dh/h0)。或者,也可以取代有效像素区域的水平方向或垂直方向的像素数,而使用显示区域的水平方向或垂直方向的像素数来表示像素数dw、dh各自的比率。与像素数dw、dh的比率进行比较的阈值例如为0.05。

另外,也可以将像素数dw、dh中的较小一方的视角与阈值进行比较。在有效像素区域的对角线的像素数为m且与该对角线对应的视角为θ(例如55°)的情况下,与像素数dw对应的视角为θ×dw/m,与像素数dh对应的视角为θ×dh/m。

另外,在图277以及图278所示的例子中,接收机200基于有效像素区域与识别区域之间的区域间距离对ar图像的画面显示进行了切换,但也可以基于显示区域与识别区域的关系来切换ar图像的画面显示。

图279是表示实施方式23的变形例2的接收机200显示ar图像的另一例的图。具体而言,图279是表示基于显示区域与识别区域的关系来切换ar图像的画面显示的例子。另外,在图279所示的例子中,与图273所示的例子同样地,接收机200的图像传感器具有比显示区域大的有效像素区域。

例如,接收机200在时刻t1拍摄被拍摄对象。其结果是,接收机200仅将通过图像传感器的有效像素区域得到的全拍摄图像中的通过比有效像素区域小的显示区域得到的图像作为拍摄显示图像显示于显示器201。此时,接收机200与上述同样地,将该全拍摄图像中的与基于光id取得的识别信息相应的区域识别为要重叠ar图像的对象区域。并且,接收机200在该拍摄显示图像的对象区域重叠ar图像,将重叠了ar图像的拍摄显示图像显示于显示器201。

在此,当用户改变接收机200的方向时,接收机200根据图像传感器中的识别区域的活动,使要显示的ar图像的位置变更。并且,例如,图像传感器中的识别区域例如在图279中向左上方向移动,在时刻t2,识别区域的边缘的一部分与显示区域的边缘的一部分一致。也即是,对象区域的图像(例如海报等的像)被配置在显示器201所显示的拍摄显示图像的角落。其结果是,接收机200在位于拍摄显示图像的角落的对象区域重叠ar图像并显示于显示器201。

并且,在识别区域进一步移动而超出显示区域时,接收机200将在时刻t2显示的ar图像的大小以及位置不进行变更而固定。也即是,接收机200切换ar图像的画面显示。

因此,在时刻t3,即使识别区域进一步移动而超出有效像素区域,接收机200也与时刻t2同样地继续显示ar图像。即,只要识别区域正在超出显示区域,接收机200就继续将与时刻t2时相同尺寸的ar图像重叠并显示于拍摄显示图像中的与时刻t2时相同的位置。

如此,在图279所示的例子中,接收机200根据识别区域是否超出显示区域来切换ar图像的画面显示。另外,接收机200也可以取代显示区域而使用包含显示区域且比该显示区域大而比有效像素区域小的判定区域。该情况下,接收机200根据识别区域是否超出判定区域来切换ar图像的画面显示。

以上,使用图273~图279对ar图像的画面显示进行了说明,但接收机200也可以在不再能够从全拍摄图像中识别对象区域时,将刚刚之前所识别出的对象区域的大小的ar图像重叠并显示于拍摄显示图像。

图280是表示实施方式23的变形例2的接收机200显示ar图像的另一例的图。

此外,在图243所示的例子中,接收机200通过拍摄被发送机100照射的指引板107,与上述同样地取得拍摄显示图像pe和解码用图像。接收机200通过对该解码用图像的解码来取得光id。也即是,接收机200从指引板107接收光id。但是,如果指引板107的表面整体是吸收光的颜色(例如暗色),则该表面即使被发送机100照射也很暗,因此接收机200有时无法正确地接收光id。或者,即使指引板107的表面整体是解码用图像(即亮线图像)那样的条纹图样,接收机200有时也无法正确地接收光id。

因此,如图280所示,也可以在指引板107的附近配置反射板109。由此,接收机200能够接收到从发送机100经由反射板109反射的光、即从发送机100发送的可见光(具体是光id)。其结果是,接收机200能够适当地接收光id并显示ar图像p5。

[实施方式23的变形例1以及2的总结]

图281a是表示本发明的一个技术方案涉及的显示方法的流程图。

本发明的一个技术方案涉及的显示方法包括步骤s41~s43。

在步骤s41中,通过将由发送机照亮的对象物作为被拍摄对象来由拍摄传感器进行拍摄,由此取得拍摄图像,所述发送机通过光的亮度变化来发送信号。在步骤s42中,从该拍摄图像中解码信号。在步骤s43中,从存储器中读出与所解码出的信号对应的动态图像,使动态图像重叠于拍摄图像中的与该被拍摄对象对应的对象区域而显示于显示器。在此,步骤s43中,从作为该动态图像所包含的多个图像中的、包含该对象物的图像和在显示时间上处于包含所述对象物的图像的前后的预定个数的多个图像中的某一个图像开始,显示该动态图像。例如,该预定个数为10帧。或者,对象物是静止图,在步骤s4中,从与静止图相同的图像开始,显示该动态图像。此外,开始动态图像的显示的图像不限于与静止图相同的图像,也可以是从与该静止图相同的图像即包含对象物的图像起在显示顺序上处于前后预定帧数的图像。另外,对象物不限于静止图,也可以是玩偶等。

此外,拍摄传感器以及拍摄图像例如是实施方式23中的图像传感器以及全拍摄图像。另外,被照亮的静止图既可以是显示于图像显示装置的显示面板的静止图像,也可以是被来自发送机的光照射的海报、指引板或广告牌等。

另外,也可以为,这样的显示方法还包括:向服务器发送信号的发送步骤;和从服务器接收与该信号对应的动态图像的接收步骤。

由此,例如如图265所示,能够以使静止图活动起来的方式虚拟现实地显示动态图像,能够向用户显示有益的图像。

另外,也可以为,静止图具有预定颜色的外框,本发明的一个技术方案涉及的显示方法还包括根据该预定颜色从拍摄图像中识别对象区域的识别步骤。该情况下,在步骤s43中,也可以为,对动态图像进行尺寸调整,以使得与所识别出的对象区域的尺寸相同,使尺寸调整后的动态图像重叠于拍摄图像中的对象区域而显示于显示器。例如,预定颜色的外框是包围静止图的白色或黑色的矩形框,通过实施方式23中的识别信息来表示。并且,实施方式23中的ar图像被作为动态图像进行尺寸调整后加以重叠。

由此,能够以使动态图像作为被拍摄对象实际存在的方式,更现实地显示该动态图像。

另外,在显示器仅显示向拍摄传感器的拍摄区域中的比该拍摄区域小的区域即显示区域投影的图像。该情况下,在步骤s43中,也可以为,在该拍摄区域中的投影有被拍摄对象的投影区域比显示区域大的情况下,不将通过投影区域中的超出显示区域的部分而得到的图像显示于显示器。在此,例如如图273所示,拍摄区域以及投影区域是图像传感器的有效像素区域以及识别区域。

由此,例如如图273所示,存在如下情况:即使由于拍摄传感器向作为被拍摄对象的静止图靠近而导致通过投影区域(图273的识别区域)得到的图像的一部分不再显示于显示器,作为被拍摄对象的静止图的整体也会被投影到拍摄区域。因此,在该情况下,能够适当地识别作为被拍摄对象的静止图,能够使动态图像适当地重叠于拍摄图像中的与被拍摄对象对应的对象区域。

另外,例如,显示区域的水平方向和垂直方向的宽度分别为w1和h1,投影区域的水平方向和垂直方向的宽度分别为w2和h2。该情况下,在步骤s43中,也可以为,在h2/h1和w2/w1中的较大值为预定值以上的情况下,将动态图像显示于显示器的整个画面,在h2/h1和w2/w1中的较大值小于预定值的情况下,使动态图像重叠于拍摄图像中的对象区域而显示于显示器。

由此,例如如图275所示,当拍摄传感器向作为被拍摄对象的静止图靠近时,动态图像被显示于整个画面,因此用户不需要使拍摄传感器进一步靠近静止图并使动态图像显示得大。因此,能够抑制由于使拍摄传感器过于靠近静止图且投影区域(图275的识别区域)超出了拍摄区域(有效像素区域)而导致不再能够解码信号。

另外,也可以为,本发明的一个技术方案涉及的显示方法还包括如下控制步骤:在将动态图像显示于显示器的整个画面的情况下,使拍摄传感器的工作停止。

由此,例如如图276的步骤s314所示,通过使拍摄传感器的工作停止,能够抑制拍摄传感器的功耗。

另外,在步骤s43中,也可以为,在由于拍摄传感器移动而导致不再能够从拍摄图像中识别对象区域的情况下,以与即将不再能够识别之前所识别出的对象区域的尺寸相同的尺寸显示动态图像。此外,无法从拍摄图像中识别对象区域,例如是指与作为被拍摄对象的静止图对应的对象区域的至少一部分不包含于拍摄图像的状况。如此,在无法识别对象区域的情况下,例如如图279的时刻t3时那样,显示与刚刚之前所识别出的对象区域的尺寸相同尺寸的动态图像。因此,能够抑制由于使拍摄传感器进行了移动而导致动态图像的至少一部分不再被显示这一情况。

另外,在步骤s43中,也可以为,在由于拍摄传感器移动而导致对象区域中的仅一部分包含在拍摄图像中的被显示器显示的区域的情况下,使与该对象区域的一部分对应的动态图像的空间区域的一部分重叠于对象区域的一部分而显示于显示器。此外,动态图像的空间区域的一部分是指构成动态图像的各图画中的一部分。

由此,例如如图277的时刻t2时那样,动态图像(图277的ar图像)的空间区域的仅一部分被显示于显示器。其结果是,能够向用户通知拍摄传感器未适当地朝向作为被拍摄对象的静止图。

另外,在步骤s43中,也可以为,在由于拍摄传感器移动而导致不再能够从拍摄图像中识别对象区域的情况下,继续显示即将不再能够识别之前所显示的与对象区域的一部分对应的动态图像的空间区域的一部分。

由此,例如如图277的时刻t3时那样,即使在用户使拍摄传感器朝向了与成为被拍摄对象的静止图不同的方向时,也会继续显示动态图像(图277的ar图像)的空间区域的一部分。其结果是,能够容易地让用户掌握如何调整拍摄传感器的朝向才可显示动态图像的整体。

另外,在步骤s43中,也可以为,在拍摄传感器的拍摄区域的水平方向和垂直方向的宽度分别为w0和h0、拍摄区域中的投影有被拍摄对象的投影区域与该拍摄区域之间的水平方向和垂直方向的距离分别为dh和dw的情况下,在dw/w0和dh/h0的较小一方的值为预定值以下时,判断为无法识别对象区域。此外,投影区域例如是图277所示的识别区域。或者,在步骤s43中,也可以为,在拍摄传感器的拍摄区域中的投影有被拍摄对象的投影区域与该拍摄区域之间的水平方向和垂直方向的距离中的较短一方所对应的视角为预定值以下的情况下,判断为无法识别对象区域。

由此,能够适当地判断是否能够识别对象区域。

图281b是表示本发明的一个技术方案涉及的显示装置的结构的框图。

本发明的一个技术方案涉及的显示装置a10具备拍摄传感器a11、解码部a12和显示控制部a13。

拍摄传感器a11通过将由发送机照亮的静止图作为被拍摄对象来拍摄,由此取得拍摄图像,所述发送机通过光的亮度变化来发送信号。

解码部a12是从该拍摄图像中解码信号的解码部。

显示控制部a13从存储器中读出与所解码出的信号对应的动态图像,使该动态图像重叠于该拍摄图像中的与被拍摄对象对应的对象区域而显示于显示器。在此,显示控制部a13从该动态图像所包含的多个图像中的作为与静止图相同的图像的开头图像开始,依次显示该多个图像。

由此,能够实现与上述的显示方法同样的效果。

另外,也可以为:拍摄传感器a11具有多个微镜和光电传感器,显示装置a10还具备控制拍摄传感器的拍摄控制部。该情况下,拍摄控制部将拍摄图像中的包含信号的区域确定为信号区域,控制多个微镜中的与所确定出的信号区域对应的微镜的角度。并且,拍摄控制部使上述的光电传感器仅接受由多个微镜中的角度被控制的微镜反射的反射光。

由此,例如如图232a所示,即使在通过光的亮度变化表示的信号即可见光信号中含有高频成分,也能够正确地解码该高频成分。

此外,在上述各实施方式以及各变形例中,各构成要素也可以通过由专用的硬件构成或执行适合于各构成要素的软件程序来实现。各构成要素也可以通过cpu或处理器等程序执行部读出硬盘或半导体存储器等记录介质所记录的软件程序并执行来实现。例如程序使计算机执行由图271、图274、图276以及图281a的流程图表示的显示方法。

以上,基于上述各实施方式以及各变形例对一个或多个技术方案涉及的显示方法进行了说明,但本发明并不限定于该实施方式。只要不脱离本发明的主旨,在本实施方式中实施本领域技术人员能想到的各种变形而得到的方式、组合不同实施方式以及变形例中的构成要素而得到的方式,也可以包含在本发明的范围内。

[实施方式23的变形例3]

以下,对实施方式23的变形例3、即实现使用了光id的ar的显示方法的变形例3进行说明。

图282是表示ar图像的放大以及移动的一例的图。

接收机200如图282的(a)所示,与上述实施方式23或者其变形例1或2同样地,在拍摄显示图像ppre的对象区域重叠ar图像p21。并且,接收机200将重叠了该ar图像p21的拍摄显示图像ppre显示于显示器201。例如,ar图像p21是动态图像。

在此,接收机200如图282的(b)所示,当受理了尺寸变更的指示时,根据该指示来变更ar图像p21的尺寸。例如,接收机200在受理了放大的指示时,根据该指示来放大ar图像p21。尺寸变更的指示通过用户对ar图像p21进行的例如夹捏(pinch)操作、双击轻敲或长按来进行。具体而言,接收机200在受理了通过捏开(pinchout,放大操作)进行的放大的指示时,根据该指示来放大ar图像p21。反过来,接收机200在受理了通过捏合(pinchin,缩小操作)进行的缩小的指示时,根据该指示来缩小ar图像p21

另外,接收机200如图282的(c)所示,当受理了位置变更的指示时,根据该指示来变更ar图像p21的位置。位置变更的指示通过用户对ar图像进行的例如划动(sweep)等来进行。具体而言,接收机200在受理了通过划动进行的位置变更的指示时,根据该指示来变更ar图像p21的位置。即,ar图像p21进行移动。

由此,通过作为动态图像的ar图像的放大,能够使该ar图像更易于观看,并且,通过作为动态图像的ar图像的缩小或移动,能够向用户显示被ar图像盖住的拍摄显示图像ppre的区域。

图283是表示ar图像的放大的一例的图。

接收机200如图283的(a)所示,与上述实施方式23或者其变形例1或2同样地,在拍摄显示图像ppre的对象区域重叠ar图像p22。并且,接收机200将重叠了该ar图像p22的拍摄显示图像ppre显示于显示器201。例如,ar图像p22是记载有字符串的静止图像。

在此,接收机200如图283的(b)所示,当受理了尺寸变更的指示时,根据该指示来变更ar图像p22的尺寸。例如,接收机200在受理了放大的指示时,根据该指示来放大ar图像p22。尺寸变更的指示与上述同样地,通过用户对ar图像p22进行的例如夹捏操作、双击轻敲或长按来进行。具体而言,接收机200在受理了通过捏开进行的放大的指示时,根据该指示来放大ar图像p22。通过该ar图像p22的放大,能够使用户容易阅读ar图像p22所记载的字符串。

另外,接收机200如图283的(c)所示,当进一步受理了尺寸变更的指示时,根据该指示来变更ar图像p22的尺寸。例如,接收机200在受理了进一步的放大的指示时,根据该指示来进一步放大ar图像p22。通过该ar图像p22的放大,能够使用户更加容易阅读ar图像p22所记载的字符串。

此外,接收机200也可以在受理了放大的指示时,在与该指示相应的ar图像的放大率成为阈值以上的情况下取得高分辨率的ar图像。该情况下,接收机200也可以取代已经显示的原来的ar图像而将该高分辨率的ar图像放大到上述的放大率来显示。例如,接收机200取代640×480像素的ar图像而显示1920×1080像素的ar图像。由此,能够以使得ar图像现实地作为被拍摄对象被拍摄的方式,对该ar图像进行放大,并且能够显示通过光学变焦得不到的高分辨率的图像。

图284是表示由接收机200进行的与ar图像的放大以及移动有关的处理动作的一例的流程图。

首先,接收机200与图239的流程图所示的步骤s101同样地,开始基于通常曝光时间以及通信用曝光时间的拍摄(步骤s401)。当开始了该拍摄时,分别周期性地获得基于通常曝光时间的拍摄显示图像ppre和基于通信用曝光时间的解码用图像(即亮线图像)pdec。并且,接收机200通过对该解码用图像pdec进行解码来取得光id。

接着,接收机200进行包括图239的流程图所示的步骤s102~s106的处理在内的ar图像重叠处理(步骤s402)。当进行了该ar图像重叠处理时,ar图像被重叠于拍摄显示图像ppre并显示。此时,接收机200使光id取得率降低(步骤s403)。光id取得率是指通过步骤s401中开始的拍摄而获得的每单位时间的拍摄图像的张数中的解码用图像(即亮线图像)pdec的张数的比例。例如,通过光id取得率降低,每单位时间获得的解码用图像pdec的张数会变得比每单位时间获得的拍摄显示图像ppre的张数少。

接着,接收机200判定是否受理了尺寸变更的指示(步骤s404)。在此,当判定为受理了尺寸变更的指示时(步骤s404:是),接收机200进一步判定该尺寸变更的指示是否为放大的指示(步骤s405)。当判定为尺寸变更的指示是放大的指示时(步骤s405:是),接收机200进一步判定是否需要再次取得ar图像(步骤s406)。例如,接收机200在判断为与放大的指示相应的ar图像的放大率成为阈值以上的情况下,判定为需要再次取得ar图像。在此,接收机200在判定为需要再次取得时(步骤s406:是),例如从服务器取得高分辨率的ar图像,将已重叠显示的ar图像替换为该高分辨率的ar图像(步骤s407)。

然后,接收机200根据所受理的尺寸变更的指示,变更ar图像的尺寸(步骤s408)。也即是,在通过步骤s407取得了高分辨率的ar图像的情况下,接收机200对该高分辨率的ar图像进行放大。另外,在通过步骤s406判定为不需要再次取得ar图像的情况下(步骤s406:否),接收机200对已重叠的ar图像进行放大。另外,当通过步骤s405判定为尺寸变更的指示是缩小的指示时(步骤s405:否),接收机200根据所受理的尺寸变更的指示即缩小的指示,对已重叠显示的ar图像进行缩小。

另一方面,接收机200在通过步骤s404判定为未受理尺寸变更的指示时(步骤s404:否),判定是否受理了位置变更的指示(步骤s409)。在此,当判定为受理了位置变更的指示时(步骤s409:是),接收机200根据该位置变更的指示,对已重叠显示的ar图像的位置进行变更(步骤s410)。也即是,接收机200使ar图像移动。另外,当判定为未受理位置变更的指示时(步骤s409:否),接收机200反复执行从步骤s404起的处理。

在通过步骤s408变更了ar图像的尺寸时或通过步骤s410变更了ar图像的位置时,接收机200判定从步骤s401起周期性取得的光id是否不再被取得(步骤s411)。在此,当判定为光id不再被取得时(步骤s411:是),接收机200结束与ar图像的放大以及移动有关的处理动作。另一方面,当判定为现在也取得了光id时(步骤s411:否),接收机200反复执行从步骤s404起的处理。

图285是表示由接收机200进行的ar图像的重叠的一例的图。

接收机200如上述那样在拍摄显示图像ppre中的对象区域重叠ar图像p23。在此,如图285所示,ar图像p23构成为ar图像p23的各部位越接近ar图像p23的端部则该部位的透过率就越高。透过率是透过地显示被重叠的图像的程度。例如,ar图像整体的透过率为100%意味着:即使在拍摄显示图像的对象区域重叠有ar图像,在显示器201也不显示该ar图像而仅显示对象区域。反过来,ar图像整体的透过率为0%意味着:在显示器201不显示拍摄显示图像的对象区域而仅显示在该对象区域重叠的ar图像。

例如,在ar图像p23为矩形状的情况下,ar图像p23的各部位越接近矩形的上端、下端、左端或右端,则该部位的透过率就越高。更具体而言,这些端部的透过率为100%。另外,在ar图像p23的中央部分,存在比ar图像p23小的透过率0%的矩形区域,在该矩形区域中,例如用英语记载有“kyotostation”。也即是,在ar图像p23的周缘部,透过率以以渐变(gradation)的方式从0%阶梯状地变化至100%。

接收机200将这样的ar图像p23如图285所示那样重叠于拍摄显示图像ppre中的对象区域。此时,接收机200使ar图像p23的尺寸与对象区域的尺寸一致,将该尺寸调整后的ar图像p23重叠于对象区域。例如,在对象区域,出现与处于ar图像p23的中央部的矩形区域相同背景色的站名标志的像。此外,在站名标志上用日语记载有“京都”。

在此,如上所述,ar图像p23的各部位越接近ar图像p23的端部,该部位的透过率就越高。因此,当在对象区域重叠ar图像p23时,即使ar图像p23的中央部分的矩形区域被显示,但该ar图像p23的端部未被显示而显示对象区域的端部即站名标志的像的端部。

由此,能够使得ar图像p23与对象区域的偏离不容易显眼。也即是,即使ar图像p23被重叠于对象区域,有时也会由于接收机200的活动等而导致在ar图像p23与对象区域之间发生偏离。该情况下,假设ar图像p23整体的透过率为0%,则会显示ar图像p23的端部和对象区域的端部,该偏离会显眼。但是,在本变形例的ar图像p23中,由于越是接近端部的部位则该部位的透过率就越高,因此能够使得ar图像p23的端部不容易被显示,其结果是,能够使ar图像p23与对象区域之间的偏离不容易显眼。进而,在ar图像p23的周缘部,由于透过率以渐变的方式发生变化,因此能够使得在对象区域重叠有ar图像p23这一情况不容易显眼。

图286是表示由接收机200进行的ar图像的重叠的一例的图。

接收机200如上述那样在拍摄显示图像ppre中的对象区域重叠ar图像p24。在此,如图286所示,被拍摄的被拍摄对象例如是饭店的菜单。该菜单被白框包围,进而,该白框被黑框包围。也即是,被拍摄对象包括菜单、包围该菜单的白框、和包围该白框的黑框。

接收机200将拍摄显示图像ppre中的比白框的像大且比黑框的像小的区域识别为对象区域。并且,接收机200使ar图像p24的尺寸与该对象区域的尺寸一致,将该尺寸调整后的ar图像p24重叠于对象区域。

由此,即使在所重叠的ar图像p24由于接收机200的活动等而从对象区域发生了偏离的情况下,也能够使该ar图像p24以被黑框包围的状态持续显示。因此,能够使得ar图像p24与对象区域之间的偏离不容易显眼。

此外,在图286所示的例子中,框的颜色是黑色或白色,但并不限定于这些颜色,也可以任何颜色。

图287是表示由接收机200进行的ar图像的重叠的一例的图。

例如,接收机200将描画了被夜空照亮的城堡的海报作为被拍摄对象进行拍摄。例如,该海报通过作为背光源构成的上述的发送机100照射,通过该背光源发送可见光信号(即光id)。接收机200通过该拍摄,取得包含作为该海报的被拍摄对象的像的拍摄显示图像ppre和与该光id对应的ar图像p25。在此,ar图像p25具有与描画有上述城堡的区域被抽出后的海报的像相同的形状。即,ar图像p25中的与海报的像的城堡对应的区域被遮蔽(masking)。进而,ar图像p25与上述的ar图像p23同样地,构成为ar图像p25的各部位越接近ar图像p25的端部则该部位的透过率就越高。另外,在ar图像p25中的透过率为0%的中央部分,显示向夜空放烟花作为动态图。

接收机200使这样的ar图像p25的尺寸与作为被拍摄对象的像的对象区域的尺寸一致,将该尺寸调整后的ar图像p25重叠于对象区域。其结果是,描画在海报上的城堡不是作为ar图像而是作为被拍摄对象的像进行显示,进而,烟花的动态像作为ar图像进行显示。

由此,能够以使得在海报中现实地放烟花的方式显示拍摄显示图像ppre。另外,ar图像p25的各部位越接近ar图像p25的端部则该部位的透过率就越高。因此,当在对象区域重叠ar图像p25时,即使ar图像p25的中央部分被显示,该ar图像p25的端部也未被显示而显示对象区域的端部。其结果是,能够使得ar图像p25与对象区域的偏离不容易显眼。进而,在ar图像p25的周缘部,由于透过率以渐变的方式发生变化,因此能够使得在对象区域重叠有ar图像p25这一情况不容易显眼。

图288是表示由接收机200进行的ar图像的重叠的一例的图。

例如,接收机200将作为电视机构成的发送机100作为被拍摄对象进行拍摄。具体而言,该发送机100在显示器显示被夜空照亮的城堡,并且发送可见光信号(即光id)。接收机200通过该拍摄,取得映照出发送机100的拍摄显示图像ppre和与该光id对应的ar图像p26。在此,接收机200首先将拍摄显示图像ppre显示于显示器201。此时,接收机200在显示器201也显示促使用户关灯的消息。具体而言,该消息m例如是“请关闭房间的照明,使房间变暗”。

当通过该消息m的显示,用户关灯,设置有发送机100的房间变暗时,接收机200将ar图像p26重叠于拍摄显示图像ppre并显示。在此,ar图像p26的尺寸与拍摄显示图像ppre相同,该ar图像p26中的与拍摄显示图像ppre的城堡对应的区域已被抠出。也即是,ar图像p26中的与拍摄显示图像ppre的城堡对应的区域被遮蔽。因此,能够使用户从该区域看到拍摄显示图像ppre的城堡。另外,在ar图像p26中的该区域的周缘部,也可以与上述同样地,透过率以渐变的方式从0%阶梯状地变化至100%。该情况下,能够使得拍摄显示图像ppre与ar图像p26之间的偏离不容易显眼。

在上述的例子中,通过将周缘部的透过率高的ar图像重叠于拍摄显示图像ppre的对象区域,使得ar图像与对象区域的偏离不容易显眼。但是,也可以取代这样的ar图像而将尺寸与拍摄显示图像ppre相同且整体半透明(即透过率为50%)的ar图像重叠于拍摄显示图像ppre。在该情况下,也能够使得ar图像与对象区域的偏离不容易显眼。另外,也可以:在拍摄显示图像ppre整体上亮的情况下,将透明度均匀地低的ar图像重叠于拍摄显示图像ppre,反过来,在拍摄显示图像ppre整体上暗的情况下,将透明度均匀地高的ar图像重叠于拍摄显示图像ppre。

此外,ar图像p25以及ar图像p26的烟花等对象也可以由cg(computergraphics,计算机图形)来表现。该情况下,可以不需要遮蔽。另外,在图288所示的例子中,接收机200显示促使用户关灯的消息m,但也可以不进行这样的显示而自动地关灯。例如,接收机200通过bluetooth(注册商标)、zigbee或特定小功率无线站等,对设置有作为电视机的发送机100的照明装置输出关灯信号。由此,自动地进行照明装置的关灯。

图289a是表示通过接收机200的拍摄而得到的拍摄显示图像ppre的一例的图。

例如,发送机100作为设置于运动场的大型显示器而构成。并且,发送机100例如显示表示能够用光id进行快餐以及饮品的下单的消息,并且发送可见光信号(即光id)。当这样的消息被显示时,用户将接收机200朝向发送机100并进行拍摄。也即是,接收机200将作为设置于运动场的大型显示器而构成的发送机100作为被拍摄对象进行拍摄。

接收机200通过该拍摄取得拍摄显示图像ppre和解码用图像pdec。并且,接收机200通过对该解码用图像pdec进行解码来取得光id,将该光id和拍摄显示图像ppre发送给服务器。

服务器从按光id而与该光id关联的设置信息中,确定与从接收机200发送来的光id关联的被拍摄的大型显示器的设置信息。例如,设置信息表示设置有大型显示器的位置及方向、和该大型显示器的大小等。进而,服务器基于映照在该拍摄显示图像ppre中的大型显示器的大小及方向和该设置信息,确定在运动场中进行了该拍摄显示图像ppre的拍摄的座位的编号。并且,服务器使包含该座位编号的菜单画面显示于接收机200。

图289b是表示显示于接收机200的显示器201的菜单画面的一例的图。

菜单画面m1例如按各商品,包含用于输入该商品的下单数的输入栏ma1、记载有通过服务器确定出的运动场的座位编号的座位栏mb1、和下单按钮mc1。用户通过操作接收机200,向与所希望的商品对应的输入栏ma1输入该商品的下单数,选择下单按钮mc1。由此,下单被确定,接收机200将与该输入结果相应的下单内容发送给服务器。

服务器在接收到该下单内容时,指示运动场的工作人员将按照该下单内容的下单数的商品送到如上述那样确定出的编号的座位。

图290是表示接收机200和服务器的处理动作的一例的流程图。

接收机200首先对作为运动场的大型显示器而构成的发送机100进行拍摄(步骤s421)。接收机200对通过该拍摄得到的解码用图像pdec进行解码,由此取得从发送机100发送的光id(步骤s422)。接收机200将通过步骤s422取得的光id和通过步骤s421的拍摄得到的拍摄显示图像ppre发送给服务器(步骤s423)。

服务器在接收到该光id以及拍摄显示图像ppre时(步骤s424),基于该光id,确定设置于运动场的大型显示器的设置信息(步骤s425)。例如,服务器保持有按各光id示出与该光id关联的大型显示器的设置信息的表,通过从该表中检索与从接收机200发送来的光id关联的设置信息,确定该设置信息。

接着,服务器基于该确定出的设置信息和被拍到拍摄显示图像ppre中的大型显示器的大小及方向,确定运动场中的进行了该拍摄显示图像ppre的取得(即拍摄)的座位的编号(步骤s426)。然后,服务器将包含所确定出的座位的编号的菜单画面m1的url(uniformresourcelocator)发送给接收机200(步骤s427)。

接收机200在接收到从服务器发送来的菜单画面m1的url时(步骤s428),访问该url,显示菜单画面m1(步骤s429)。在此,用户通过操作接收机200,将下单内容输入到菜单画面m1,选择下单按钮mc1,由此确定下单。由此,接收机200将下单内容发送给服务器(步骤s430)。

服务器在接收到从该接收机200发送来的下单内容时,进行按照该下单内容的接受订货处理(步骤s431)。此时,服务器例如指示运动场的工作人员将与该下单内容相应的下单数的商品送到通过步骤s426确定出的编号的座位。

如此,基于通过接收机200的拍摄而得到的拍摄显示图像ppre,可确定座位的编号,因此接收机200的用户不需要在商品下单时特意输入座位的编号。因此,用户能够省掉座位编号的输入而简单地进行商品下单。

此外,在上述的例子中,服务器对座位的编号进行了确定,但也可以是接收机200对座位的编号进行确定。该情况下,接收机200从服务器取得设置信息,基于该设置信息和拍到拍摄显示图像ppre中的大型显示器的大小及方向来确定座位的编号。

图291是用于说明由接收机1800a再现的声音的音量的图。

接收机1800a与图123所示的例子同样地,接收从例如作为街头数字标牌(digitalsignage)构成的发送机1800b发送的光id(可见光信号)。并且,接收机1800a在与由发送机1800b进行的图像再现相同的定时,再现声音。也即是,接收机1800a以使得与由发送机1800b再现的图像同步的方式再现声音。此外,接收机1800a也可以将与由发送机1800b再现的图像(再现图像)相同的图像或与该再现图像关联的ar图像(ar的动态图像)与声音一起进行再现。

在此,接收机1800a在如上述那样再现声音时,根据到发送机1800b的距离来调整该声音的音量。具体而言,接收机1800a到发送机1800b的距离越长则将音量调整得越小,反过来,到发送机1800b的距离越短则将音量调整得越大。

接收机1800a也可以利用gps(globalpositioningsystem,全球定位系统)等来确定到发送机1800b的距离。具体而言,接收机1800a从服务器取得与光id关联的发送机1800b的位置信息,进而,通过gps确定接收机1800a的位置。并且,接收机1800a将由从服务器取得的位置信息表示的发送机1800b的位置与所确定出的接收机1800a的位置之间的距离确定为上述的到发送机1800b的距离。此外,接收机1800a也可以取代gps而利用bluetooth(注册商标)等来确定到发送机1800b的距离。

另外,接收机1800a也可以基于通过拍摄得到的上述的解码用图像pdec的亮线图案区域的大小,确定到发送机1800b的距离。亮线图案区域与图245以及图246所示的例子同样地,是包括通过接收机1800a的图像传感器所具有的多个曝光线的基于通信用曝光时间的曝光而出现的多个亮线的图案的区域。该亮线图案区域相当于映照在拍摄显示图像ppre中的发送机1800b的显示器的区域。具体而言,亮线图案区域越大则接收机1800a将越短的距离确定为到发送机1800b的距离,反过来,亮线图案区域越小则接收机1800a将越长的距离确定为到发送机1800b的距离。另外,接收机1800a也可以使用表示亮线图案区域的大小和距离的关系的距离数据,将该距离数据中的与拍摄显示图像ppre中的亮线图案区域的大小关联的距离确定为到发送机1800b的距离。此外,接收机1800a也可以将如上述那样接收到的光id发送给服务器,从该服务器取得与该光id关联的距离数据。

如此,由于可根据到发送机1800b的距离来调整音量,因此接收机1800a的用户能够使得由接收机1800a再现的声音如同现实地由发送机1800b再现的声音那样进行聆听。

图292是表示从接收机1800a到发送机1800b的距离与音量的关系的图。

例如,对于到发送机1800b的距离为l1~l2[m]之间,音量在vmin~vmax[db]的范围内与该距离成比例地增大或减小。具体而言,如果到发送机1800b的距离从l1[m]到l2[m]延长,则接收机1800a使音量从vmax[db]到vmin[db]直线性地减小。另外,即使到发送机1800b的距离变为比l1[m]短,接收机1800a也将音量维持为vmax[db],即使到发送机1800b的距离变为比l2[m]长,也将音量维持为vmin[db]。

如此,接收机1800a存储有最大音量vmax、可输出该最大音量vmax的声音的最长距离l1、最小音量vmin、以及可输出该最小音量vmin的声音的最短距离l2。另外,接收机1800a也可以根据自身所设定的属性,变更该最大音量vmax、最小音量vmin、最长距离l1以及最短距离l2。例如,在属性为用户的年龄且该年龄表示高龄的情况下,接收机1800a也可以使最大音量vmax比基准最大音量大、并使最小音量vmin比基准最小音量大。另外,属性也可以是表示声音的输出是从扬声器输出还是从耳机输出的信息。

如此,由于在接收机1800a中设定有最小音量vmin,因此能够抑制由于接收机1800a过于远离发送机1800b而导致听不见声音。进而,由于在接收机1800a中设定有最大音量vmax,因此能够抑制由于接收机1800a过于靠近发送机1800b而导致超出必要地输出大音量的声音。

图293是表示由接收机200进行的ar图像的重叠的一例的图。

接收机200对被照亮的广告牌进行拍摄。在此,广告牌通过发送光id的作为上述发送机100的照明装置来照亮。因此,接收机200通过该拍摄来取得拍摄显示图像ppre和解码用图像pdec。并且,接收机200通过对解码用图像pdec进行解码来取得光id,从服务器取得与该光id关联的多个ar图像p27a~p27c和识别信息。接收机200基于识别信息,将拍摄显示图像ppre中的映照出广告牌的区域m2的周边识别为对象区域。

具体而言,接收机200如图293的(a)所示,将与区域m2的左侧相接的区域识别为第1对象区域,在该第1对象区域重叠ar图像p27a。

接着,接收机200如图293的(b)所示,将包含区域m2的下侧在内的区域识别为第2对象区域,在该第2对象区域重叠ar图像p27b。

接着,接收机200如图293的(c)所示,将与区域m2的上侧相接的区域识别为第3对象区域,在该第3对象区域重叠ar图像p27c。

在此,ar图像p27a~p27c各自例如是雪人角色的图像,也可以是动态图。

另外,接收机200也可以在持续地反复取得光id的期间,按预先确定的顺序以及定时,将要识别的对象区域切换为第1~第3对象区域中的某个对象区域。也即是,接收机200也可以将要识别的对象区域按第1对象区域、第2对象区域、第3对象区域的顺序进行切换。或者,接收机200也可以每次取得上述的光id时,按预先确定的顺序将要识别的对象区域切换为第1~第3对象区域中的某个对象区域。也即是,接收机200首先取得光id,在持续地反复取得该光id的期间,如图293的(a)所示,识别第1对象区域,在该第1对象区域重叠ar图像p27a。并且,接收机200在不再能够取得该光id的情况下,使ar图像p27a非显示。接着,接收机200在再次取得了光id的情况下,在持续地反复取得该光id的期间,如图293的(b)所示,识别第2对象区域,在该第2对象区域重叠ar图像p27b。并且,接收机200在再次不再能够取得该光id的情况下,使ar图像p27b非显示。接着,接收机200在再次取得了光id的情况下,在持续地反复取得该光id的期间,如图293的(c)所示,识别第3对象区域,在该第3对象区域重叠ar图像p27c。

在如此每次取得光id时切换要识别的对象区域的情况下,接收机200也可以n(n为2以上的整数)次中一次的频度变更要显示的ar图像的颜色。n次是ar图像被显示的次数,例如也可以是200次。也即是,ar图像p27a~p27c是全部相同的白色的角色的图像,但200次中一次的频度,显示例如粉色的角色的ar图像。接收机200在显示有该粉色的角色的ar图像时,当受理了用户对该ar图像的操作时,也可以对该用户赋予积分。

如此,通过对要重叠ar图像的对象区域进行切换、和/或按预定的频度变更ar图像的颜色,能够使用户对由发送机100照亮的广告牌的拍摄产生兴趣,能够使用户反复取得光id。

图294是表示由接收机200进行的ar图像的重叠的一例的图。

接收机200具有作为所谓寻路器(wayfinder)的功能,即通过拍摄例如在建筑物内的多个通路交叉的位置的地面上描画的标记(mark)m4,对用户应前进的前进道路进行提示。建筑物例如是宾馆等,所提示的前进道路是办理了入住的用户向自己房间的前进道路。

标记m4由通过亮度变化发送光id的作为上述发送机100的照明装置照亮。因此,接收机200通过该标记m4的拍摄来取得拍摄显示图像ppre和解码用图像pdec。并且,接收机200通过对解码用图像pdec进行解码来取得光id,将该光id和接收机200的终端信息发送给服务器。接收机200从服务器取得与该光id以及终端信息关联的多个ar图像p28和识别信息。此外,光id以及终端信息在用户办理入住时,与多个ar图像p28以及识别信息关联地保存在服务器中。

接收机200基于识别信息,在拍摄显示图像ppre中的映照出标记m4的区域m4的周边识别多个对象区域。并且,接收机200如图294所示,在该多个对象区域的各对象区域重叠例如动物足迹那样的ar图像p28并显示。

具体而言,识别信息表示在标记m4的位置向右转弯的前进道路。接收机200基于这样的识别信息,确定拍摄显示图像ppre中的路径,识别沿着该路径排列的多个对象区域。该路径是从显示器201的下侧向区域m4、且在区域m4向右转弯的路径。接收机200以使得犹如动物沿着该路径走过的方式,在所识别出的多个对象区域的各对象区域配置ar图像p28。

在此,接收机200在确定拍摄显示图像ppre中的路径的情况下,也可以利用由自身所具备的9轴传感器检测的地磁。该情况下,识别信息将在标记m4的位置应前进的方位以地磁的方向为基准来表示。例如,识别信息表示西来作为在标记m4的位置应前进的方向。接收机200基于这样的识别信息,在拍摄显示图像ppre中,确定从显示器201的下侧向区域m4、且在区域m4向西的路径。并且,接收机200识别沿着该路径排列的多个对象区域。此外,接收机200通过由9轴传感器进行的重力加速度的检测,确定显示器201的下侧。

如此,由于通过接收机200提示用户的前进道路,因此用户只要沿着该前进道路前进,就能够简单地到达目的地。另外,由于该前进道路作为拍摄显示图像ppre中的ar图像进行显示,因此能够以易于理解的方式向用户提示该前进道路。

此外,作为发送机100的照明装置通过以短脉冲的光照射标记m4,能够在抑制亮度的同时适当地发送光id。另外,接收机200拍摄了标记m4,但也可以使用配置于显示器201侧的摄像头(所谓的自拍摄像头)来拍摄照明装置。另外,接收机200也可以对标记m4和照明装置这两方进行拍摄。

图295是用于说明由接收机200进行的线扫描时间的求取方式的一例的图。

接收机200在对解码用图像pdec进行解码的情况下,使用线扫描时间来进行解码。该线扫描时间是从图像传感器所包含的一个曝光线的曝光开始到下一个曝光线的曝光开始为止的时间。接收机200如果明确了该线扫描时间,则使用该明确的线扫描时间对解码用图像pdec进行解码。但是,在未明确该线扫描时间的情况下,接收机200根据解码用图像pdec来求出线扫描时间。

例如,接收机200如图295所示,从解码用图像pdec中的构成亮线图案的多个明亮线和多个暗线中找出最小宽度的线。此外,明亮线是在发送机100的亮度高时由于一个或多个连续的曝光线的各曝光线进行曝光而产生的解码用图像pdec上的线。另外,暗线是在发送机100的亮度低时由于一个或多个连续的曝光线的各曝光线进行曝光而产生的解码用图像pdec上的线。

接收机200若找到该最小宽度的线,则确定与该最小宽度的线对应的曝光线的线数即像素数。在发送机100为了发送光id而进行亮度变化的载波频率为9.6khz的情况下,发送机100的亮度高的时间或低的时间最短为104μs。因此,接收机200通过将104μs除以所确定出的最小宽度的像素数,算出线扫描时间。

图296是用于说明由接收机200进行的线扫描时间的求取方式的一例的图。

接收机200也可以对解码用图像pdec的亮线图案进行傅里叶变换,基于通过该傅里叶变换得到的空间频率来求出线扫描时间。

例如如图296所示,接收机200通过上述的傅里叶变换,导出表示空间频率与解码用图像pdec中的该空间频率的成分的强度的关系的频谱。接着,接收机200依次选择该频谱中示出的多个峰值的各峰值。并且,接收机200每次选择峰值时,将该选择出的峰值的空间频率(例如图296中的空间频率f2)会通过9.6khz的时间频率而得到那样的线扫描时间作为线扫描时间候选来算出。9.6khz如上述那样是发送机100的亮度变化的载波频率。由此,可算出多个线扫描时间候选。接收机200将这些多个线扫描时间候选中的最大似然的候选选择为线扫描时间。

为了选择最大似然的候选,接收机200基于拍摄中的帧速率和图像传感器所包含的曝光线的数量,算出线扫描时间的容许范围。也即是,接收机200通过1×106[μs]/{(帧速率)×(曝光线数)},算出线扫描时间的最大值。并且,接收机200将“该最大值×常数k(k<1)~最大值”决定为线扫描时间的容许范围。常数k例如是0.9或0.8等。

接收机200将多个线扫描时间候选中的处于该容许范围的候选选择为最大似然的候选、即线扫描时间。

此外,接收机200也可以通过根据图295所示的例子算出的线扫描时间是否处于上述的容许范围,对该算出的线扫描时间的可靠性进行评价。

图297是表示由接收机200进行的的线扫描时间的求取方式的一例的流程图。

接收机200也可以通过尝试解码用图像pdec的解码来求出线扫描时间。具体而言,首先,接收机200开始拍摄(步骤s441)。接着,接收机200判定是否明确了线扫描时间(步骤s442)。例如,接收机200可以将自身的种类以及型式通知给服务器并查询与该种类以及型式相应的线扫描时间,判定是否明确了该线扫描时间。在此,当判定为明确了该线扫描时间时(步骤s442:是),接收机200将光id的基准取得次数设定为n(n为2以上的整数,例如为4)(步骤s443)。接着,接收机200通过使用该明确的线扫描时间对解码用图像pdec进行解码,由此取得光id(步骤s444)。此时,接收机200对通过步骤s441中开始的拍摄而依次得到的多个解码用图像pdec分别进行解码,取得多个光id。在此,接收机200判定是否取得了基准取得次数(即n次)的相同光id(步骤s445)。当判定为取得了n次时(步骤s445:是),接收机200利用该光id,开始使用了该光id的处理(例如ar图像的重叠)(步骤s446)。另一方面,当判定为未取得n次时(步骤s445:否),接收机200不相信该光id而结束处理。

当在步骤s442中判定为未明确线扫描时间时(步骤s442:否),接收机200将光id的基准取得次数设定为n+k(k为1以上的整数)(步骤s447)。也即是,接收机200在未明确线扫描时间时,设定比明确了线扫描时间时多的基准取得次数。接着,接收机200决定暂时的线扫描时间(步骤s448)。然后,接收机200通过使用暂时决定的线扫描时间对解码用图像pdec进行解码,由此取得光id(步骤s449)。此时,接收机200与上述同样地,对通过步骤s441中开始的拍摄而依次得到的多个解码用图像pdec分别进行解码,由此取得多个光id。在此,接收机200判定是否取得了基准取得次数(即(n+k)次)的相同光id(步骤s450)。

当判定为取得了(n+k)次时(步骤s450:是),接收机200判断为暂时决定的线扫描时间是正确的线扫描时间。然后,接收机200将接收机200的种类及型式和该线扫描时间通知给服务器(步骤s451)。由此,在服务器中,对接收机的种类及型式与适合于该接收机的线扫描时间进行关联地存储。因此,在相同种类及型式的其他接收机开始了拍摄的情况下,其他接收机通过向服务器查询,能够确定自身的线扫描时间。也即是,其他接收机在步骤s442的判定中,能够判定为明确了线扫描时间。

然后,接收机200相信被取得了(n+k)次的光id,开始使用了该光id的处理(例如ar图像的重叠)(步骤s446)。

另外,当在步骤s450中判定为未取得(n+k)次的相同光id时(步骤s450:否),接收机200进一步判定是否满足了结束条件(步骤s452)。结束条件例如是从拍摄开始起经过了预先确定的时间、或者光id的取得已进行了最大取得次数以上等。当判定为满足了这样的结束条件时(步骤s452:是),接收机200结束处理。另一方面,当判定为不满足结束条件时(步骤s452:否),接收机200变更暂时决定的线扫描时间(步骤s453)。然后,接收机200使用该变更后的暂时决定的线扫描时间来反复执行从步骤s449起的处理。

如此,接收机200即使未明确线扫描时间,也能够如图295~图297所示的例子那样求出该线扫描时间。由此,无论接收机200的种类以及型式如何,接收机200都能够适当地对解码用图像pdec进行解码并取得光id。

图298是表示由接收机200进行的ar图像的重叠的一例的图。

接收机200拍摄作为电视机构成的发送机100。该发送机100例如通过一边显示电视节目一边进行亮度变化,周期性地发送光id和时间码。时间码可以是在每次被发送时表示该发送时的时刻的信息,例如是图126所示的时间数据包。

接收机200通过上述的拍摄,周期性地取得拍摄显示图像ppre和解码用图像pdec。并且,接收机200一边将周期性地取得的拍摄显示图像ppre显示于显示器201,一边对解码用图像pdec进行解码,由此取得上述的光id和时间码。接着,接收机200将该光id发送给服务器300。服务器300在接收到该光id时,将与该光id关联的声音数据、ar开始时刻信息、ar图像p29和识别信息发送给接收机200。

接收机200在取得了声音数据时,使该声音数据与映照在发送机100中的电视节目的影像同步地再现。也即是,声音数据包括多个声音单位数据,在这些多个声音单位数据中含有时间码。接收机200从声音数据中的包含表示和与光id一起从发送机100取得的时间码相同的时刻的时间码在内的声音单位数据起,开始多个声音单位数据的再现。由此,声音数据的再现与电视节目的影像同步。此外,这样的声音与影像的同步也可以通过与由图123以后的各图表示的声音同步再现同样的方法来进行。

接收机200在取得了ar图像p29以及识别信息时,将拍摄显示图像ppre中的与该识别信息相应的区域识别为对象区域,在该对象区域重叠ar图像p29。例如,ar图像p29是表示接收机200的显示器201的龟裂的图像,对象区域是在拍摄显示图像ppre中的发送机100的像上横穿的区域。

在此,接收机200将上述那样的重叠了ar图像p29的拍摄显示图像ppre在与ar开始时刻信息相应的定时进行显示。ar开始时刻信息是表示ar图像p29被显示的时刻的信息。也即是,接收机200在接收到从发送机100随时发送的时间码中的表示与ar开始时刻信息相同时刻的时间码的定时,显示上述的重叠了ar图像p29的拍摄显示图像ppre。例如,由ar开始时刻信息表示的时刻是在电视节目中出现使用魔法的少女实施冰魔法的场景的时刻。另外,在该时刻,接收机200也可以通过声音数据的再现,使该ar图像p29发生龟裂的声音从接收机200的扬声器输出。

由此,用户能够更加具有临场感地试听电视节目的场景。

另外,接收机200在由ar开始时刻信息表示的时刻,可以使接收机200所具备的振动器发生振动,也可以使光源像镁光灯那样发光,还可以使显示器201瞬间变亮或闪烁。另外,ar图像p29也可以不仅包含表示龟裂的图像还包含表示显示器201结冰冻住的状态的图像。

图299是表示由接收机200进行的ar图像的重叠的一例的图。

接收机200拍摄例如作为玩具棒构成的发送机100。该发送机100具备光源,通过该光源进行亮度变化来发送光id。

接收机200通过上述的拍摄,周期性地取得拍摄显示图像ppre和解码用图像pdec。并且,接收机200一边将周期性地取得的拍摄显示图像ppre显示于显示器201,一边对解码用图像pdec进行解码,由此取得上述的光id。接着,接收机200将该光id发送给服务器300。服务器300在接收到该光id时,将与该光id关联的ar图像p30和识别信息发送给接收机200。

在此,识别信息还包含由拿着发送机100的人物作出的手势(即动作)的手势信息。手势信息例如表示人物将发送机100从右向左活动的手势。接收机200对映照在各拍摄显示图像ppre中的由拿着发送机100的人物作出的手势和由手势信息表示的手势进行比较。并且,接收机200在这些手势一致时,例如以使得大量星型的ar图像p30沿着随着该手势移动的发送机100的轨迹排列的方式,将这些ar图像p30重叠于拍摄显示图像ppre。

图300是表示由接收机200进行的ar图像的重叠的一例的图。

接收机200与上述同样地,拍摄例如作为玩具棒构成的发送机100。

接收机200通过该拍摄,周期性地取得拍摄显示图像ppre和解码用图像pdec。并且,接收机200一边将周期性地取得的拍摄显示图像ppre显示于显示器201,一边对解码用图像pdec进行解码,由此取得上述的光id。接着,接收机200将该光id发送给服务器300。服务器300在接收到该光id时,将与该光id关联的ar图像p31和识别信息发送给接收机200。

在此,识别信息与上述同样地,包含表示由拿着发送机100的人物作出的手势的手势信息。手势信息例如表示人物将发送机100从右向左活动的手势。接收机200将映照在各拍摄显示图像ppre中的由拿着发送机100的人物作出的手势和由手势信息表示的手势进行比较。并且,接收机200在这些手势一致时,例如在拍摄显示图像ppre中的映照出拿着该发送机100的人物的区域即对象区域重叠表示礼服服装的ar图像p30。

如此,在本变形例的显示方法中,从服务器中取得与光id对应的手势信息。接着,判定由周期性地取得的拍摄显示图像表示的被拍摄对象的活动是否与由从服务器取得的手势信息表示的活动一致。并且,在判定为一致时,显示重叠了ar图像的拍摄显示图像ppre。

由此,例如能够根据人物等被拍摄对象的活动来显示ar图像。也即是,能够在适当的定时显示ar图像。

图301是表示根据接收机200的姿势取得的解码用图像pdec的一例的图。

例如,如图301的(a)所示,接收机200以横向的姿势拍摄通过亮度变化发送光id的发送机100。此外,横向的姿势是接收机200的显示器201的长度方向沿着水平方向的姿势。另外,接收机200所具备的图像传感器的各曝光线与显示器201的长度方向正交。通过上述那样的拍摄,可取得包含亮线的数量少的亮线图案区域x的解码用图像pdec。在该解码用图像pdec的亮线图案区域x,亮线的数量少。也即是,亮度向high或low变化的部位少。因此,接收机200有时无法通过对该解码用图像pdec的解码来适当地取得光id。

因此,例如,如图301的(b)所示,用户将接收机200的姿势从横向变为纵向。此外,纵向的姿势是接收机200的显示器201的长度方向沿着垂直方向的姿势。这样姿势的接收机200在拍摄发送光id的发送机100时,能够取得包含亮线的数量多的亮线图案区域y的解码用图像pdec。

如此,根据接收机200的姿势,有时无法适当地取得光id,因此在使接收机200取得光id时,可以使进行拍摄的接收机200的姿势适当变更。在姿势被变更时,接收机200能够在成为易于取得光id的姿势的定时,适当地取得光id。

图302是表示根据接收机200的姿势取得的解码用图像pdec的另一例的图。

例如,发送机100作为咖啡店的数字标牌而构成,在影像显示期间,显示与咖啡店的广告有关的影像,在光id发送期间,通过亮度变化来发送光id。也即是,发送机100交替地反复执行影像显示期间中的影像的显示和光id发送期间中的光id的发送。

接收机200通过发送机100的拍摄,周期性地取得拍摄显示图像ppre和解码用图像pdec。此时,根据发送机100的影像显示期间以及光id发送期间的反复周期与由接收机200进行的拍摄显示图像ppre以及解码用图像pdec的取得的反复周期的同步,有时无法取得包含亮线图案区域的解码用图像pdec。进而,根据接收机200的姿势,有时无法取得包含亮线图案区域的解码用图像pdec。

例如,接收机200以图302的(a)所示那样的姿势拍摄发送机100。也即是,接收机200以靠近发送机100并使得发送机100的像投影到接收机200的整个图像传感器的方式,拍摄该发送机100。

在此,如果接收机200取得拍摄显示图像ppre的定时处于发送机100的影像显示期间内,则接收机200会适当地取得映照出发送机100的拍摄显示图像ppre。

并且,即使在接收机200取得解码用图像pdec的定时横跨发送机100的影像显示期间和光id发送期间的情况下,接收机200也能够取得包含亮线图案区域z1的解码用图像pdec。

也即是,图像传感器所包含的各曝光线的曝光从位于垂直方向上端的曝光线向下侧依次开始。因此,在影像显示期间,即使接收机200为了取得解码用图像pdec而开始图像传感器的曝光,也无法获得亮线图案区域。但是,当该影像显示期间切换为光id发送期间时,能够获得与在该光id发送期间进行曝光的各曝光线对应的亮线图案区域。

在此,接收机200以图302的(b)所示那样的姿势拍摄发送机100。也即是,接收机200从发送机100离开,以使得发送机100的像仅投影在接收机200的图像传感器的上侧区域的方式,拍摄该发送机100。此时,与上述同样地,如果接收机200取得拍摄显示图像ppre的定时处于发送机100的影像显示期间内,则接收机200会适当地取得映照出发送机100的拍摄显示图像ppre。但是,在接收机200取得解码用图像pdec的定时横跨发送机100的影像显示期间和光id发送期间的情况下,有时接收机200无法取得包含亮线图案区域的解码用图像pdec。也即是,即使发送机100的影像显示期间切换为光id发送期间,有时在该光id发送期间进行曝光的处于图像传感器下侧的各曝光线,也不会投影进行亮度变化的发送机100的像。因此,无法取得具有亮线图案区域的解码用图像pdec。

另一方面,接收机200如图302的(c)所示,在从发送机100离开的状态下,以使得发送机100的像仅投影在接收机200的图像传感器的下侧区域的方式,拍摄该发送机100。此时,与上述同样地,如果接收机200取得拍摄显示图像ppre的定时处于发送机100的影像显示期间内,则接收机200会适当地取得映照出发送机100的拍摄显示图像ppre。进而,即使在接收机200取得解码用图像pdec的定时横跨发送机100的影像显示期间和光id发送期间的情况下,有时接收机200也能够取得包含亮线图案区域的解码用图像pdec。也即是,当发送机100的影像显示期间切换为光id发送期间时,在该光id发送期间进行曝光的处于图像传感器下侧的各曝光线,会投影进行亮度变化的发送机100的像。因此,能够取得具有亮线图案区域z2的解码用图像pdec。

如此,根据接收机200的姿势,有时无法适当地取得光id,因此接收机200在取得光id时,也可以促使用户改变接收机200的姿势。也即是,接收机200在拍摄开始时,进行例如“请活动”或“请摇动”这样的消息的显示或声音输出,使得改变接收机200的姿势。由此,接收机200一边改变姿势一边进行拍摄,因此能够适当地取得光id。

图303是表示接收机200的处理动作的一例的流程图。

例如,接收机200判定在进行拍摄时接收机200是否正在摇动(步骤s461)。具体而言,接收机200基于接收机200所具备的9轴传感器的输出,判定是否正在摇动。在此,接收机200在判定为在拍摄中正在摇动时(步骤s461:是),使上述的光id取得率提高(步骤s462)。具体而言,接收机200取得在拍摄中获得的每单位时间的所有的拍摄图像来作为解码用图像(即亮线图像)pdec,对所取得的所有的解码用图像分别进行解码。或者,接收机200在取得了所有的拍摄图像作为拍摄显示图像ppre时、即在解码用图像pdec的取得以及解码已停止时,开始该取得以及解码。

另一方面,接收机200在判定为在拍摄中未摇动时(步骤s461:否),以低的光id取得率取得解码用图像pdec(步骤s463)。具体而言,如果光id取得率通过步骤s462提高而成为比当前高的光id取得率,则由于当前的光id取得率高,因此接收机200使该光id取得率降低。由此,由接收机200进行解码用图像pdec的解码处理的频度减少,因此能够抑制功耗。

然后,接收机200判定是否满足了用于结束光id取得率的调整处理的结束条件(步骤s464),当判定为不满足时(步骤s464:否),反复执行从步骤s461起的处理。另一方面,接收机200在判定为满足了结束条件时(步骤s464:是),结束光id取得率的调整处理。

图304是表示由接收机200进行的摄像头镜头的切换处理的一例的图。

接收机200也可以具备广角镜头211和望远镜头212分别作为摄像头镜头。通过使用了广角镜头211的拍摄而得到的拍摄图像是视角广的图像,在该图像中被拍摄对象被映照得小。另一方面,通过使用了望远镜头212的拍摄而得到的拍摄图像是视角窄的图像,在该图像中被拍摄对象被映照得大。

上述那样的接收机200在进行拍摄时,也可以根据图304所示的方法a~e的某个方法来切换用于拍摄的摄像头镜头。

在方法a中,接收机200无论在通常拍摄的情况下还是在接收光id的情况下,在进行拍摄时一直使用望远镜头212。在此,通常拍摄的情况是指通过拍摄而取得所有的拍摄图像来作为拍摄显示图像ppre的情况。另外,接收光id的情况是指通过拍摄而周期性地取得拍摄显示图像ppre和解码用图像pdec的情况。

在方法b中,接收机200在通常拍摄的情况下使用广角镜头211。另一方面,在接收光id的情况下,接收机200首先使用广角镜头211。并且,接收机200如果在使用该广角镜头211时所取得的解码用图像pdec中含有亮线图案区域,则将摄像头镜头从广角镜头211切换为望远镜头212。在该切换之后,接收机200能够取得视角窄、即亮线图案区域被表现得大的解码用图像pdec。

在方法c中,接收机200在通常拍摄的情况下使用广角镜头211。另一方面,在接收光id的情况下,接收机200将摄像头镜头在广角镜头211和望远镜头212之间进行切换。也即是,接收机200使用广角镜头211取得拍摄显示图像ppre,使用望远镜头212取得解码用图像pdec。

在方法d中,接收机200无论在通常拍摄的情况下还是在接收光id的情况下,都根据用户的操作将摄像头镜头在广角镜头211和望远镜头212之间进行切换。

在方法e中,接收机200在接收光id的情况下,对使用广角镜头211取得的解码用图像pdec进行解码,如果无法正确地解码,则将摄像头镜头从广角镜头211切换为望远镜头212。或者,接收机200对使用望远镜头212取得的解码用图像pdec进行解码,如果无法正确地解码,则将摄像头镜头从望远镜头212切换为广角镜头211。此外,接收机200在判定是否正确地解码了解码用图像pdec时,首先将通过对该解码用图像pdec的解码而得到的光id发送给服务器。如果该光id与自身所登记的光id一致,则服务器将表示一致一致信息通知给接收机200,如果不一致,则服务器将表示不一致的不一致信息通知给接收机200。如果从服务器通知的信息是一致信息,则接收机200判定为正确地解码了解码用图像pdec,如果从服务器通知的信息是不一致信息,则接收机200判定为未能对解码用图像pdec正确地解码。或者,接收机200在通过解码用图像pdec的解码而得到的光id满足预先确定的条件的情况下,判定为正确地解码了解码用图像pdec。另一方面,在不满足该条件的情况下,接收机200判定为未能对解码用图像pdec正确地解码。

通过如此切换摄像头镜头,能够取得适当的解码用图像pdec。

图305是表示由接收机200进行的摄像头的切换处理的一例的图。

例如,接收机200具备内摄像头213和外摄像头(在图305中未图示)作为摄像头。内摄像头213也称为面部摄像头或自拍摄像头,是配置在接收机200的与显示器201相同面的摄像头。外摄像头是配置在接收机200的与显示器201的面相反侧的面的摄像头。

这样的接收机200以使内摄像头213朝向上方的状态,通过内摄像头213拍摄作为照明装置构成的发送机100。通过该拍摄,接收机200取得解码用图像pdec,通过对该解码用图像pdec的解码,取得从发送机100发送的光id。

接着,接收机200通过将该取得的光id发送给服务器,从服务器取得与该光id关联的ar图像以及识别信息。接收机200开始从通过外摄像头以及内摄像头213各自得到的各拍摄显示图像ppre中识别与该识别信息相应的对象区域的处理。在此,接收机200在从通过外摄像头以及内摄像头213各自得到的任何拍摄显示图像ppre中都无法识别对象区域的情况下,催促用户活动接收机200。被接收机200催促的用户使接收机200活动。具体而言,用户以使得内摄像头213以及外摄像头朝向用户的前后方向的方式,使接收机200活动。其结果是,接收机200从通过外摄像头取得的拍摄显示图像ppre中识别对象区域。也即是,接收机200将映照出人的区域识别为对象区域,在拍摄显示图像ppre中的该对象区域重叠ar图像,显示重叠了该ar图像的拍摄显示图像ppre。

图306是表示接收机200和服务器的处理动作的一例的流程图。

接收机200通过由内摄像头213拍摄作为照明装置的发送机100,取得从该发送机100发送的光id,将该光id发送给服务器(步骤s471)。服务器从接收机200接收光id(步骤s472),基于该光id,推定接收机200的位置(步骤s473)。例如,服务器存储有按光id表示配置有发送该光id的发送机100的房间、建筑物或空间等的表。并且,服务器将该表中的与从接收机200发送来的光id关联的房间等推定为接收机200的位置。进而,服务器将与该推定出的位置关联的ar图像以及识别信息发送给接收机200(步骤s474)。

接收机200取得从服务器发送来的ar图像以及识别信息(步骤s475)。在此,接收机200开始从由外摄像头以及内摄像头213各自得到的各拍摄显示图像ppre中识别与该识别信息相应的对象区域的处理。并且,接收机200例如从由外摄像头取得的拍摄显示图像ppre中识别对象区域(步骤s476)。接收机200在拍摄显示图像ppre中的对象区域重叠ar图像,显示重叠了该ar图像的拍摄显示图像ppre(步骤s477)。

此外,在上述的例子中,接收机200在取得从服务器发送来的ar图像以及识别信息时,在步骤s476中,开始了从由外摄像头以及内摄像头213各自得到的各拍摄显示图像ppre中识别对象区域的处理。但是,接收机200在步骤s476中,也可以开始从仅由外摄像头得到的拍摄显示图像ppre中识别对象区域的处理。也即是,也可以使用于取得光id的摄像头(在上述的例中是内摄像头213)和用于取得要重叠ar图像的拍摄显示图像ppre的摄像头(在上述的例子中是外摄像头)一直不同。

另外,在上述的例子中,接收机200通过内摄像头213拍摄了作为照明装置的发送机100,但也可以通过外摄像头来拍摄被发送机100照射的地面。即使在这样的外摄像头的拍摄中,接收机200也能够取得从发送机100发送的光id。

图307是表示由接收机200进行的ar图像的重叠的一例的图。

接收机200拍摄例如作为设置在便利商店等店铺的微波炉而构成的发送机100。该发送机100具备用于拍摄微波炉的箱体内的摄像头和对该箱体内进行照射的照明装置。并且,发送机100通过摄像头的拍摄来识别收纳在箱体内的饮食物(即加热对象物)。另外,发送机100在对该饮食物进行加热时,通过使上述的照明装置发光,并且使该照明装置进行亮度变化,由此发送表示所识别出的饮食物的光id。此外,虽然该照明装置对微波炉的箱体内进行照射,但该照明装置的光会从微波炉的具有透过性的窗部照射到外部。因此,光id会从照明装置经由微波炉的窗部发送到微波炉的外部。

在此,用户在便利商店购入饮食物,为了对该饮食物进行加热而向作为微波炉的发送机100放入该饮食物。此时,发送机100通过摄像头识别该饮食物,在发送表示该识别出的饮食物的光id的同时开始饮食物的加热。

接收机200通过对开始了该加热的发送机100进行拍摄,取得从发送机100发送的光id,将该光id发送给服务器。接着,接收机200从服务器取得与该光id关联的ar图像、声音数据以及识别信息。

上述的ar图像包括:表示发送机100内部的虚拟情形的动态图即ar图像p32a;详细地表示箱体内所收纳的饮食物的ar图像p32b;将从发送机100冒出蒸汽的情形由动态图来表示的ar图像p32c;以及将到饮食物的加热完成为止的剩余时间由动态图来表示的ar图像p32d。

例如,如果微波炉的箱体内所收纳的饮食物是披萨,则ar图像p32a是载置披萨的转盘正在旋转且多个小人正在该披萨的周围跳舞的动态图。如果箱体内所收纳的饮食物是披萨,则ar图像p32b例如是表示该商品名“披萨”和该披萨的材料的图像。

接收机200基于识别信息,将拍摄显示图像ppre中的映照出发送机100的窗部的区域识别为ar图像p32a的对象区域,在该对象区域重叠ar图像p32a。进而,接收机200基于识别信息,将拍摄显示图像ppre中的位于映照出发送机100的区域上方的区域识别为ar图像p32b的对象区域,在该对象区域重叠ar图像p32b。进而,接收机200基于识别信息,将拍摄显示图像ppre中的位于ar图像p32a的对象区域与ar图像p32b的对象区域之间的区域识别为ar图像p32c的对象区域,在该对象区域重叠ar图像p32c。进而,接收机200基于识别信息,将拍摄显示图像ppre中的位于映照出发送机100的区域下方的区域识别为ar图像p32d的对象区域,在该对象区域重叠ar图像p32d。

进而,接收机200通过再现声音数据,输出在饮食物被加热时所产生的声音。

通过由接收机200显示上述那样的ar图像p32a~p32d、并且输出声音,能够在到饮食物的加热完成为止的期间引起用户对接收机200的兴趣。其结果是,能够减轻用户等待加热完成的负担。另外,通过显示表示蒸汽等的ar图像p32c并输出在饮食物被加热时所产生的声音,能够让用户产生食欲。另外,通过ar图像p32d的显示,用户能够容易地知道到饮食物的加热完成为止的剩余时间。因此,用户在到加热完成为止的期间,例如能够离开作为微波炉的发送机100并阅读陈列在店铺内的书等。另外,接收机200也可以在剩余时间成为0时向用户通知加热已完成。

此外,在上述的例子中,ar图像p32a是载置披萨的转盘正在旋转且多个小人正在该披萨的周围跳舞的的动态图,但例如也可以是虚拟地表示箱体内的温度分布的图像。另外,ar图像p32b是表示箱体内所收纳的饮食物的商品名以及材料的图像,但也可以是表示营养成分或卡路里的图像。或者,ar图像p32b也可以是表示折扣卷的图像。

如此,在本变形例的显示方法中,被拍摄对象是具备照明装置的微波炉,照明装置对微波炉的箱体内进行照射,并且通过进行亮度变化来向微波炉的外部发送光id。并且,在拍摄显示图像ppre以及解码用图像pdec的取得中,通过拍摄发送光id的微波炉来取得拍摄显示图像ppre以及解码用图像pdec。在对象区域的识别中,将映照在拍摄显示图像ppre中的微波炉的窗部分识别为对象区域。在拍摄显示图像ppre的显示中,对重叠了表示箱体内的状态变化的ar图像的拍摄显示图像ppre进行显示。

由此,由于微波炉的箱体内的状态变化被作为ar图像进行显示,因此能够以易于理解的方式向微波炉的利用者传达箱体内的情形。

图308是表示包括接收机200、微波炉、中继服务器以及电子结算用服务器的系统的处理动作的时序图。此外,微波炉与上述同样地具备摄像头以及照明装置,通过使该照明装置的亮度进行变化来发送光id。也即是,微波炉具有作为发送机100的功能。

首先,微波炉通过摄像头来识别箱体内所收纳的饮食物(步骤s481)。接着,微波炉通过照明装置的亮度变化将表示该识别出的饮食物的光id发送给接收机200。

接收机200通过拍摄微波炉,接收从该微波炉发送的光id(步骤s483),将光id和卡信息发送给中继服务器。卡信息是预先保存在接收机200中的信用卡等的信息,是电子结算所需的信息。

中继服务器保持有按光id表示与该光id对应的ar图像、识别信息以及商品信息的表。该商品信息生成由光id表示的饮食物的费用等。这样的中继服务器在接收到从接收机200发送的光id和卡信息时(步骤s486),从上述表中找出与该光id关联的商品信息。然后,中继服务器将该商品信息和卡信息发送给电子结算用服务器(步骤s486)。电子结算用服务器在接收到从中继服务器发送的商品信息和卡信息时(步骤s487),基于该商品信息和卡信息来进行电子结算的处理(步骤s488)。然后,电子结算用服务器在该电子结算的处理完成时,将该完成通知给中继服务器(步骤s489)。

中继服务器在确认了来自电子结算用服务器的结算完成的通知时(步骤s490),向微波炉指示开始饮食物的加热(步骤s491)。然后,中继服务器将上述表中的与通过步骤s485接收到的光id关联的ar图像以及识别信息发送给接收机200(步骤s493)。

微波炉在从中继服务器收到加热开始的指示时,开始箱体内所收纳的饮食物的加热(步骤s492)。另外,接收机200在接收到从中继服务器发送的ar图像以及识别信息时,从通过从步骤s483开始的拍摄而周期性取得的拍摄显示图像ppre中,识别与该识别信息相应的对象区域。然后,接收机200在该对象区域重叠ar图像(步骤s494)。

由此,接收机200的用户如果能够向微波炉的箱体内放入饮食物并进行拍摄,则能够简单地完成结算并开始饮食物的加热。另外,在无法结算的情况下,能够禁止用户对饮食物的加热。进而,在加热已开始时,能够进行图307所示的ar图像p32a等的显示,能够让用户了解箱体内的情形。

图309是表示包括pos终端、服务器、接收机200以及微波炉的系统的处理动作的时序图。此外,微波炉与上述同样地具备摄像头以及照明装置,通过使该照明装置的亮度变化来发送光id。也即是,微波炉具有作为发送机100的功能。另外,pos(point-of-sale)终端是设置在与微波炉相同的便利商店等店铺的终端。

首先,接收机200的用户在店铺选择作为商品的饮食物,为了购买该饮食物而走向设置有pos终端的场所。该店铺的店员操作pos终端,从用户收取饮食物的货款。通过该店员对pos终端的操作,pos终端取得操作输入数据和销售信息(步骤s501)。销售信息例如表示商品的名称、个数及价格、销售场所和销售日期时刻。操作输入数据例如表示由店员输入的用户的性别以及年龄段等。pos终端将该操作输入数据和销售信息发送给服务器(步骤s502)。服务器接收从pos终端发送的操作输入数据和销售信息(步骤s503)。

另一方面,接收机200的用户在向店员支付了饮食物的货款时,为了对该饮食物进行加热而向微波炉的箱体内放入饮食物。微波炉通过摄像头识别箱体内所收纳的饮食物(步骤s504)。接着,微波炉通过照明装置的亮度变化将表示该识别出的饮食物的光id发送给接收机200(步骤s505)。然后,微波炉开始饮食物的加热(步骤s507)。

接收机200通过拍摄微波炉,接收从该微波炉发送的光id(步骤s508),将光id和终端信息发送给服务器(步骤s509)。终端信息是预先保存在接收机200中的信息,例如表示接收机200的显示器201所显示的语言的类别(例如英语或日语等)。

服务器在被接收机200访问、并接收到从接收机200发送的光id和终端信息时,判定来自该接收机200的访问是否为第一次访问(步骤s510)。第一次访问是从进行了步骤s503的处理时起在预定时间内第一次进行的访问。在此,服务器在判定为来自该接收机200的访问是第一次访问时(步骤s510:是),将操作输入数据和终端信息进行关联地保存(步骤s511)。

此外,服务器对来自接收机200的访问是否为第一次访问进行了判定,但也可以判定由销售信息表示的商品是否与由光id表示的饮食物一致。另外,在步骤s511中,服务器也可以不仅将操作输入数据和终端信息进行关联,还将销售信息与它们进行关联地保存。

(室内的利用)

图310是表示地下街道等的室内的利用情形的图。

接收机200接收作为照明装置构成的发送机100发送的光id,推定自身的当前位置。另外,接收机200在地图上显示当前位置并进行道路向导,和/或显示附近店铺的信息。

通过在紧急时从发送机100发送灾害信息或避难信息,即使在通信拥堵、通信基站发生了故障、或位于来自通信基站的电波无法到达的场所的情况下,也能够获得这些信息。这对于漏听了紧急广播的情况或无法听到紧急广播的听觉障碍者是有效的。

也即是,接收机200通过进行拍摄,取得从发送机100发送的光id,进而,从服务器取得与该光id关联的ar图像p33和识别信息。然后,接收机200从通过上述的拍摄得到的拍摄显示图像ppre中,识别与识别信息相应的对象区域,在该对象区域重叠表示箭头形状的ar图像p33。由此,能够将接收机200作为上述的寻路器(图294参照)来利用。

(扩展现实对象的显示)

图311是表示对扩展现实对象进行显示的情形的图。

使扩展现实显示的舞台2718e作为上述的发送机100而构成,以发光部2718a、2718b、2718c、2718d的发光模式(pattern)和/或位置模式,发送扩展现实对象的信息和/或使扩展现实对象显示的基准位置。

接收机200基于所接收到的信息,将作为ar图像的扩展现实对象2718f重叠于拍摄图像并进行显示。

此外,这些总括性或具体的技术方案既可以通过装置、系统、方法、集成电路、计算机程序或计算机可读取的cd-rom等记录介质来实现,也可以通过装置、系统、方法、集成电路、计算机程序和记录介质的任意组合来实现。另外,也可以通过如下技术方案来实现:将执行一个实施方式所涉及的方法的计算机程序保存在服务器的记录介质中,并根据终端的请求从服务器发布到终端。

产业上的可利用性

本发明的显示方法能够起到可向用户显示有益的图像这一效果,例如能够利用于智能手机、眼镜或平板电脑等的显示装置等。

标号的说明

a10显示装置

a11拍摄传感器

a12解码部

a13显示控制部

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1