信息通信方法

文档序号:7790612阅读:594来源:国知局
信息通信方法
【专利摘要】能够用多种多样的设备进行通信的信息通信方法包括:步骤(SA21),通过将被摄体摄像而取得第1图像;步骤(SA22),从第1图像中检测被摄体的范围;步骤(SA23),在多个曝光行中,决定将被摄体的范围摄像的规定的曝光行;步骤(SA24),设定曝光时间,以使得在使用规定的曝光行取得的第2图像中根据被摄体的亮度变化而产生亮线;步骤(SA25),通过使用规定的曝光行将亮度变化的被摄体摄像,取得包含亮线的第2图像;步骤(SA26),将由第2图像中包含的亮线的样式而确定的数据解调。
【专利说明】信息通信方法
【技术领域】
[0001]本发明涉及智能电话、平板电脑、便携电话等的便携终端与空调、照明设备、炊饭机(电饭煲)等的家电设备的通信方法。
【背景技术】
[0002]在近年来的家庭网络中,通过除了由Ethernet (注册商标)或无线LAN(LocalArea Network)下的IP(Internet Protocol)连接进行的AV家电的协同之外,还具有与环境问题对应的电力使用量的管理、或从宅外的电源ON / OFF这样的功能的家庭能源管理系统(HEMS)实现多种多样的家电设备连接在网络的家电协同功能的导入正在进展。但是,在具有通信功能方面,也有运算力不充分的家电、或在成本方面难以实现通信功能的搭载的豕电等。
[0003]为了解决这样的问题,在专利文献I中,记载有在使用光向自由空间传递信息的光空间传送装置中、通过进行使用多个照明光的单色光源的通信、能够在有限的发送装置中有效率地实现设备间的通信的技术。
[0004]现有技术文献
[0005]专利文献
[0006]专利文献1:日本特开2002-290335号公报

【发明内容】

[0007]发明概要
[0008]发明要解决的问题
[0009]但是,在上述以往的方式中,限定于使用的设备具有照明那样的3色光源的情况。本发明解决这样的问题,提供一种能够进行包括运算力较少那样的设备的多种多样的设备间的通信的信息通信方法。
[0010]用于解决问题的手段
[0011]有关本发明的一技术方案的信息通信方法,是从被摄体取得信息的信息通信方法,包括--第I摄像步骤,通过使用具有多个曝光行的图像传感器将上述被摄体摄像,取得第I图像;检测步骤,从上述第I图像中检测拍摄有上述被摄体的范围;决定步骤,在上述多个曝光行中,决定将拍摄有上述被摄体的范围摄像的规定的曝光行;曝光时间设定步骤,设定上述图像传感器的曝光时间,以使得在使用上述规定的曝光行取得的第2图像中、根据上述被摄体的亮度变化而产生与上述规定的曝光行对应的亮线;第2摄像步骤,通过使用上述规定的曝光行将亮度变化的上述被摄体在设定的上述曝光时间中摄像,取得包含上述亮线的第2图像;信息取得步骤,通过将由在所取得的上述第2图像中包含的上述亮线的样式确定的数据解调而取得信息。
[0012]另外,这些全局性或具体的技术方案既可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等的记录介质实现,也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合实现。
[0013]发明效果
[0014]根据本发明,能够实现包括运算力较少那样的设备的多种多样的设备间的通信的?目息通/[目方法。
【专利附图】

【附图说明】
[0015]图1是表示实施方式I的宅内的环境的例子的图。
[0016]图2是表示实施方式I的家电设备与智能电话的通信的例子的图。
[0017]图3是表示实施方式I的发送侧装置的结构的一例的图。
[0018]图4是表示实施方式I的接收侧装置的结构的一例的图。
[0019]图5是表示实施方式I的通过发送侧装置的LED的闪烁向接收侧装置发送信息的处理的流程的图。
[0020]图6是表示实施方式I的通过发送侧装置的LED的闪烁向接收侧装置发送信息的处理的流程的图。 [0021]图7是表示实施方式I的通过发送侧装置的LED的闪烁向接收侧装置发送信息的处理的流程的图。
[0022]图8是表示实施方式I的通过发送侧装置的LED的闪烁向接收侧装置发送信息的处理的流程的图。
[0023]图9是表示实施方式I的通过发送侧装置的LED的闪烁向接收侧装置发送信息的处理的流程的图。
[0024]图10是用来说明实施方式2的使用可视光进行用户与设备的通信的次序的图。
[0025]图11是用来说明实施方式2的使用可视光进行用户与设备的通信的次序的图。
[0026]图12是用来说明实施方式2的用户购买设备、进行设备的初始设定为止的次序的图。
[0027]图13是用来对实施方式2的设备故障的情况下的服务人员专用的服务进行说明的图。
[0028]图14是用来对实施方式2的清扫机、和使用可视光通信的用来确认清扫状况的服务进行说明的图。
[0029]图15是实施方式3的使用光通信的住宅配送服务支援的概略图。
[0030]图16是用来说明实施方式3的使用光通信的住宅配送服务支援的流程图。
[0031]图17是用来说明实施方式3的使用光通信的住宅配送服务支援的流程图。
[0032]图18是用来说明实施方式3的使用光通信的住宅配送服务支援的流程图。
[0033]图19是用来说明实施方式3的使用光通信的住宅配送服务支援的流程图。
[0034]图20是用来说明实施方式3的使用光通信的住宅配送服务支援的流程图。
[0035]图21是用来说明实施方式3的使用光通信的住宅配送服务支援的流程图。
[0036]图22是用来说明实施方式4的向服务器登记用户和使用中的便携电话的处理的图。
[0037]图23是用来说明实施方式4的进行用户声音特性的解析的处理的图。
[0038]图24是用来说明实施方式4的进行声音识别处理的准备的处理的图。[0039]图25是用来说明实施方式4的进行从周边的集音设备的集音的处理的图。
[0040]图26是用来说明实施方式4的环境音特性的解析处理的图。
[0041]图27是用来说明实施方式4的将来自存在于周边的声音输出设备的声音的处理的图。
[0042]图28是用来说明实施方式4的进行烹调菜单的选择和向电灶的运转内容设定的处理的图。
[0043]图29是用来说明实施方式4的从服务器等的DB取得电灶用的通知音、向电灶设定的处理的图。
[0044]图30是用来说明实施方式4的进行电灶的通知音的调整的处理的图。
[0045]图31是表示实施方式4的对电灶设定的通知音的波形的例子的图。
[0046]图32是用来说明实施方式4的进行烹调内容的显示的处理的图。
[0047]图33是用来说明实施方式4的进行电灶的通知音的识别的处理的图。
[0048]图34是用来说明实施方式4的进行从周边的集音设备的集音和电灶通知音的识别的处理的图。
[0049]图35是用来说明实施方式4的将电灶的运转结束向用户通知的处理的图。
[0050]图36是用来说明实施方式4的进行便携电话操作状态的确认的处理的图。
[0051]图37是用来说明实施方式4的进行用户位置的跟踪的处理的图。
[0052]图38是表不一边将来自声音输出装置的声音消除一边识别家电的通知音、使可通信的电子设备识别用户(操作者)的当前位置、根据用户位置的识别结果、使处于距用户位置较近的位置的设备进行向用户的通知的图。
[0053]图39是表示实施方式4的在服务器或便携电话、电灶中保持的数据库的内容的图。
[0054]图40是表示实施方式4的用户基于显示在便携电话上的烹调次序进行烹调、此外用户通过“向后”、“返回”等的声音操作便携电话的显示内容的图。
[0055]图41是表示实施方式4的开始电灶的运转、在等待运转结束的期间中、或煮东西的期间等的时间中、用户向其他场所移动的图。
[0056]图42是表示对于经由网络与便携电话连接、并且照相机或麦克风、人感传感器等的能够进行用户的位置的识别或能够识别用户存在的设备、从便携电话发送探知用户的命令的图。
[0057]图43是作为实施方式4的用户的探知的例子而表示用电视机附带的照相机识别用户的脸、此外用空调的人感传感器识别用户的移动或存在的图。
[0058]图44是表示从探知到用户的设备将探知到用户的情况、及从探知到的设备到用户的相对位置向便携电话发送的图。
[0059]图45是表示实施方式4的便携电话将电灶的运转结束音识别的图。
[0060]图46是表示向识别出电灶的运转结束的便携电话向探知到用户的设备中的、具有画面显示功能或声音输出功能的设备发送向用户通知电灶的运转结束的命令的图。
[0061]图47是表示实施方式4的接受到命令的设备将通知内容向用户通知的图。
[0062]图48是表示经由网络与便携电话连接、具备麦克风、存在于电灶的附近的设备将电灶的运转结束音识别的图。[0063]图49是表示将电灶的运转结束从识别到该情况的设备向便携电话通知的图。
[0064]图50是表示当便携电话接受到电灶的运转结束的通知时、如果便携电话处于用户的附近、则使用便携电话的画面显示或声音输出等向用户通知电灶的运转结束的图。
[0065]图51是表示向用户通知电灶的运转结束的图。
[0066]图52是表示接受到电灶的运转结束的通知的用户向厨房移动的图。
[0067]图53是表示从电灶用无线通信向便携电话发送运转结束等的信息、从便携电话向用户正观看的电视机进行通知命令、用电视机的画面显示或声音向用户进行通知的图。
[0068]图54是表示从电灶以无线通信向用户正观看的电视机发送运转结束等的信息、用电视机的画面显示或声音向用户进行通知的图。
[0069]图55是表示用电视机的画面显示或声音向用户进行通知的图。
[0070]图56是表示向处于远程的用户进行信息的通知的图。
[0071]图57是表示在不能从电灶向作为枢纽的便携电话进行直接通信的情况下、经由个人计算机等向便携电话发送信息的图。
[0072]图58是表示从接受到图57的通信的便携电话逆向沿着信息通信路径向电灶发送操作命令等的信息的图。
[0073]图59是表示在从作为信息源设备空调向作为枢纽的便携电话不能进行直接的通信的情况下、向用户进行信息的通知的图。
[0074]图60是用来对利用使用700?900MHz的电波的通信装置的系统进行说明的图。
[0075]图61是表示远程的便携电话向用户通知信息的图。
[0076]图62是表示远程的便携电话向用户进行信息的通知的图。
[0077]图63是表示在与图62同样的情况下、代替进行通知识别设备和信息通知设备的中继的设备、2层的电视机发挥中继设备的作用的情况下的图。
[0078]图64是表示实施方式5的宅内的环境的例子的图。
[0079]图65是表不实施方式5的家电设备和智能电话的通信的例子的图。
[0080]图66是表示实施方式5的发送侧装置的结构的图。
[0081]图67是表示实施方式5的接收侧装置的结构的图。
[0082]图68是在图64中、发送侧终端(TV)与接收侧终端(平板电脑)使用光通信进行无线LAN认证的情况下的顺序图。
[0083]图69是进行实施方式5的应用下的认证的情况下的顺序图。
[0084]图70是表示实施方式5的发送侧终端的动作的流程图。
[0085]图71是表示实施方式5的接收侧终端的动作的流程图。
[0086]图72是实施方式6的移动AV终端I向移动AV终端2发送数据的顺序图。
[0087]图73是实施方式6的移动AV终端I向移动AV终端2发送数据的情况下的画面变迁图。
[0088]图74是实施方式6的移动AV终端I向移动AV终端2发送数据的情况下的画面变迁图。
[0089]图75是实施方式6的移动AV终端I是数字照相机的情况下的系统概略图。
[0090]图76是实施方式6的移动AV终端I是数字照相机的情况下的系统概略图。
[0091]图77是实施方式6的移动AV终端I是数字照相机的情况下的系统概略图。[0092]图78是表示实施方式7的发光部的亮度的观测方法的一例的图。
[0093]图79是表示实施方式7的发光部的亮度的观测方法的一例的图。
[0094]图80是表示实施方式7的发光部的亮度的观测方法的一例的图。
[0095]图81是表示实施方式7的发光部的亮度的观测方法的一例的图。
[0096]图82是表示实施方式7的发光部的亮度的观测方法的一例的图。
[0097]图83是表示实施方式7的信号调制方式的一例的图。
[0098]图84是表不实施方式7的信号调制方式的一例的图。
[0099]图85是表不实施方式7的信号调制方式的一例的图。
[0100]图86是表不实施方式7的信号调制方式的一例的图。
[0101]图87是表不实施方式7的信号调制方式的一例的图。
[0102]图88是表不实施方式7的信号调制方式的一例的图。
[0103]图89是表不实施方式7的信号调制方式的一例的图。
[0104]图90是表不实施方式7的信号调制方式的一例的图。
[0105]图91是表不实施方式7的信号调制方式的一例的图。
[0106]图92是表不实施方式7的信号调制方式的一例的图。
[0107]图93是表示实施方式7的信号调制方式的一例的图。
[0108]图94是表不实施方式7的信号调制方式的一例的图。
[0109]图95是表不实施方式7的信号调制方式的一例的图。
[0110]图96是表不实施方式7的信号调制方式的一例的图。
[0111]图97是表示实施方式7的信号调制方式的一例的图。
[0112]图98是表不实施方式7的信号调制方式的一例的图。
[0113]图99是表示实施方式7的发光部的检测方法的一例的图。
[0114]图100是表示实施方式7的发光部的检测方法的一例的图。
[0115]图101是表示实施方式7的发光部的检测方法的一例的图。
[0116]图102是表不实施方式7的发光部的检测方法的一例的图。
[0117]图103是表示实施方式7的发光部的检测方法的一例的图。
[0118]图104是表示实施方式7的发送信号的时间行、和将发光部摄像的图像的图。
[0119]图105是表示实施方式7的通过位置样式进行的信号的传送的一例的图。
[0120]图106是表示实施方式7的接收装置的一例的图。
[0121]图107是表示实施方式7的发送装置的一例的图。
[0122]图108是表示实施方式7的发送装置的一例的图。
[0123]图109是表示实施方式7的发送装置的一例的图。
[0124]图110是表示实施方式7的发送装置的一例的图。
[0125]图111是表示实施方式7的发送装置的一例的图。
[0126]图112是表示实施方式7的发送装置的一例的图。
[0127]图113是表示实施方式7的发送装置的一例的图。
[0128]图114是表示实施方式7的发送装置的一例的图。
[0129]图115是表示实施方式7的发光部的构造的一例的图。
[0130]图116是表不实施方式7的信号载波的一例的图。[0131]图117是表示实施方式7的摄像部的一例的图。
[0132]图118是表示实施方式7的接收装置的位置的推测的一例的图。
[0133]图119是表示实施方式7的接收装置的位置的推测的一例的图。
[0134]图120是表示实施方式7的接收装置的位置的推测的一例的图。
[0135]图121是表示实施方式7的接收装置的位置的推测的一例的图。
[0136]图122是表示实施方式7的接收装置的位置的推测的一例的图。
[0137]图123是表示实施方式7的发送信息的设定的一例的图。
[0138]图124是表示实施方式7的发送信息的设定的一例的图。
[0139]图125是表示实施方式7的发送信息的设定的一例的图。
[0140]图126是表示实施方式7的接收装置的构成要素的一例的框图。
[0141]图127是表示实施方式7的发送装置的构成要素的一例的框图。
[0142]图128是表示实施方式7的接收的次序的一例的图。
[0143]图129是表示实施方式7的自己位置推测的次序的一例的图。
[0144]图130是表示实施方式7的发送控制的次序的一例的图。
[0145]图131是表示实施方式7的发送控制的次序的一例的图。
[0146]图132是表示实施方式7的发送控制的次序的一例的图。
[0147]图133是表示实施方式7的车站建筑内的信息提供的一例的图。
[0148]图134是表不实施方式7的乘车服务的一例的图。
[0149]图135是表示实施方式7的店铺内服务的一例的图。
[0150]图136是表示实施方式7的无线连接的建立的一例的图。
[0151]图137是表示实施方式7的通信范围的调整的一例的图。
[0152]图138是表示实施方式7的室内的利用的一例的图。
[0153]图139是表示实施方式7的屋外的利用的一例的图。
[0154]图140是表示实施方式7的道路顺序的指示的一例的图。
[0155]图141是表示实施方式7的多个摄像装置的利用的一例的图。
[0156]图142是表示实施方式7的发送装置自律控制的一例的图。
[0157]图143是表示实施方式7的发送信息的设定的一例的图。
[0158]图144是表示实施方式7的发送信息的设定的一例的图。
[0159]图145是表不实施方式7的发送信息的设定的一例的图。
[0160]图146是表示实施方式7的与二维条码的组合的一例的图。
[0161]图147是表示实施方式7的地图的制作和利用的一例的图。
[0162]图148是表示实施方式7的电子设备的状态取得和操作的一例的图。
[0163]图149是表示实施方式7的电子设备的识别的一例的图。
[0164]图150是表示实施方式7的扩展现实对象的显示的一例的图。
[0165]图151是表不实施方式7的用户界面的一例的图。
[0166]图152是表不实施方式7的用户界面的一例的图。
[0167]图153是表不实施方式7的用户界面的一例的图。
[0168]图154是表不实施方式7的用户界面的一例的图。
[0169]图155是表示实施方式7的用户界面的一例的图。[0170]图156是表示实施方式7的用户界面的一例的图。
[0171]图157是表示实施方式7的用户界面的一例的图。
[0172]图158是表示实施方式7的用户界面的一例的图。
[0173]图159是表示实施方式7的用户界面的一例的图。
[0174]图160是表示实施方式7的用户界面的一例的图。
[0175]图161是表示实施方式7的用户界面的一例的图。
[0176]图162是表示实施方式7的用户界面的一例的图。
[0177]图163是表示实施方式7的用户界面的一例的图。
[0178]图164是表示实施方式7的用户界面的一例的图。
[0179]图165是表不实施方式7的用户界面的一例的图。
[0180]图166是表示实施方式7的用户界面的一例的图。
[0181]图167是表示实施方式7的用户界面的一例的图。
[0182]图168是表示实施方式8的向ITS的应用例的图。
[0183]图169是表示实施方式8的向ITS的应用例的图。
[0184]图170是表不实施方式8的向位置信息报知系统及施设系统的应用例的图。
[0185]图171是表示实施方式8的向超级市场的系统的应用例的图。
[0186]图172是表示实施方式8的向便携电话终端与照相机的通信的应用例的图。
[0187]图173是表示实施方式8的向水中通信的应用例的图。
[0188]图174是用来说明实施方式9的向用户的服务提供例的图。
[0189]图175是用来说明实施方式9的向用户的服务提供例的图。
[0190]图176是表示实施方式9的接收机将从发送机接收到的多个信号同时处理的情况的流程图。
[0191]图177是表示实施方式9的通过相互通信实现设备间的通讯的情况的一例的图。
[0192]图178是用来说明实施方式9的利用指向性的特性的服务的图。
[0193]图179是用来说明实施方式9的向用户的服务提供例的另一例的图。
[0194]图180是表示实施方式9的在发送机发出的光源中包含的信号的格式例的图。
[0195]图181是表示实施方式10的原理的图。
[0196]图182是表示实施方式10的动作的一例的图。
[0197]图183是表示实施方式10的动作的一例的图。
[0198]图184是表示实施方式10的动作的一例的图。
[0199]图185是表不实施方式10的动作的一例的图。
[0200]图186是表示实施方式10的动作的一例的图。
[0201]图187是表示实施方式10的动作的一例的图。
[0202]图188是表示实施方式10的动作的一例的图。
[0203]图189是表示实施方式10的动作的一例的图。
[0204]图190是表示实施方式10的动作的一例的图。
[0205]图191是表示实施方式10的动作的一例的图。
[0206]图192是表示实施方式10的动作的一例的图。
[0207]图193是表示实施方式10的动作的一例的图。[0208]图194是表示实施方式10的动作的一例的图。
[0209]图195是实施方式11的信息通信装置的发送信号的时间图。
[0210]图196是表示实施方式11的发送信号与接收信号的关系的图。
[0211]图197是表示实施方式11的发送信号与接收信号的关系的图。
[0212]图198是表示实施方式11的发送信号与接收信号的关系的图。
[0213]图199是表示实施方式11的发送信号与接收信号的关系的图。
[0214]图200是表示实施方式11的发送信号与接收信号的关系的图。
[0215]图201是表示实施方式12的接收机和发送机的应用例的图。
[0216]图202是表示实施方式12的接收机和发送机的应用例的图。
[0217]图203是表示实施方式12的接收机和发送机的应用例的图。
[0218]图204是表示实施方式12的接收机和发送机的应用例的图。
[0219]图205是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
[0220]图206是表示实施方式12的接收机和发送机的应用例的图。
[0221]图207是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
[0222]图208是表示实施方式12的接收机和发送机的应用例的图。
[0223]图209是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
[0224]图210是表示实施方式12的接收机和发送机的应用例的图。
[0225]图211是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
[0226]图212是表示实施方式12的接收机和发送机的应用例的图。
[0227]图213是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
[0228]图214是表示实施方式12的接收机和发送机的应用例的图。
[0229]图215是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
[0230]图216是表示实施方式12的接收机和发送机的应用例的图。
[0231]图217是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
[0232]图218是表示实施方式12的接收机和发送机的应用例的图。
[0233]图219是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
[0234]图220是表示实施方式12的接收机和发送机的应用例的图。
[0235]图221是表示实施方式12的接收机和发送机的应用例的图。
[0236]图222是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
[0237]图223是表示实施方式12的接收机和发送机的应用例的图。
[0238]图224是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
[0239]图225是表示实施方式12的接收机和发送机的应用例的图。
[0240]图226是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
[0241]图227是表示实施方式12的接收机和发送机的应用例的图。
[0242]图228是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
[0243]图229是表示实施方式12的接收机的状态的图。
[0244]图230是表示实施方式12的接收机的处理动作的一例的流程图。
[0245]图231是表示实施方式12的接收机的状态的图。
[0246]图232是表示实施方式12的接收机的处理动作的一例的流程图。[0247]图233是表示实施方式12的接收机的状态的图。
[0248]图234是表示实施方式12的接收机的处理动作的一例的流程图。
[0249]图235是表示实施方式12的接收机的状态的图。
[0250]图236是表示实施方式12的接收机的处理动作的一例的流程图。
[0251]图237是表示实施方式12的接收机的状态的图。
[0252]图238是表示实施方式12的接收机的处理动作的一例的流程图。
[0253]图239是表示实施方式12的接收机和发送机的应用例的图。
[0254]图240是表示实施方式12的接收机和发送机的应用例的图。
[0255]图241是表示实施方式12的接收机和发送机的应用例的图。
[0256]图242是表示实施方式12的接收机和发送机的应用例的图。
[0257]图243是表示实施方式12的接收机和发送机的应用例的图。
[0258]图244是表示实施方式12的接收机和发送机的应用例的图。
[0259]图245是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
[0260]图246是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
[0261]图247是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
[0262]图248是表示实施方式12的发送机的亮度变化的图。
[0263]图249是表示实施方式12的接收机的处理动作的一例的流程图。
[0264]图250是表示实施方式12的发送机的亮度变化的图。
[0265]图251是表示实施方式12的接收机的处理动作的一例的流程图。
[0266]图252是表示实施方式12的发送机的亮度变化的图。
[0267]图253是表不实施方式12的发送机的处理动作的一例的流程图。
[0268]图254是表示实施方式12的发送机的亮度变化的图。
[0269]图255是表示实施方式12的接收机的处理动作的一例的流程图。
[0270]图256是表示实施方式12的接收机的处理动作的一例的流程图。
[0271]图257是表不实施方式12的发送机的处理动作的一例的流程图。
[0272]图258是表示实施方式12的发送机的结构例的图。
[0273]图259是表示实施方式12的发送机的结构例的图。
[0274]图260是表示实施方式12的发送机的结构例的图。
[0275]图261是表示实施方式12的接收机的处理动作的一例的流程图。
[0276]图262是表示实施方式12的由接收机和发送机进行的显示和摄影的例子的图。
[0277]图263是表示实施方式12的发送机的处理动作的一例的流程图。
[0278]图264是表示实施方式12的接收机的处理动作的一例的流程图。
[0279]图265是表示实施方式12的接收机和发送机的应用例的图。
[0280]图266是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
[0281]图267是表示实施方式12的接收机的状态的图。
[0282]图268是表示实施方式12的接收机的处理动作的一例的流程图。
[0283]图269是表示实施方式12的接收机的状态的图。
[0284]图270是表示实施方式12的接收机的处理动作的一例的流程图。
[0285]图271是表示实施方式12的接收机的处理动作的一例的流程图。[0286]图272是表示实施方式12的发送机的波长的一例的图。
[0287]图273是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
[0288]图274是表示实施方式12的包括接收机和发送机的系统的结构例的图。
[0289]图275是表不实施方式12的系统的处理动作的一例的流程图。
[0290]图276是表示实施方式12的包括接收机和发送机的系统的结构例的图。
[0291]图277是表不实施方式12的系统的处理动作的一例的流程图。
[0292]图278是表示实施方式12的接收机的处理动作的一例的流程图。
[0293]图279是表示实施方式12的接收机的处理动作的一例的流程图。
[0294]图280是表示实施方式12的包括接收机和发送机的系统的结构例的图。
[0295]图281是表示实施方式12的接收机的处理动作的一例的流程图。
[0296]图282是表示实施方式12的接收机和发送机的应用例的图。
[0297]图283是表示实施方式12的接收机的处理动作的一例的流程图。
[0298]图284是表示实施方式12的包括接收机和发送机的系统的结构例的图。
[0299]图285是表不实施方式12的系统的处理动作的一例的流程图。
[0300]图286是表示实施方式12的接收机的处理动作的一例的流程图。
[0301]图287A是表示实施方式12的发送机的结构的一例的图。
[0302]图287B是表示实施方式12的发送机的结构的另一例的图。
[0303]图288是表示实施方式12的接收机和发送机的处理动作的一例的流程图。
[0304]图289是表不实施方式13的关于接收机和发送机的处理动作的一例的流程图。
[0305]图290是表不实施方式13的关于接收机和发送机的处理动作的一例的流程图。
[0306]图291是表不实施方式13的关于接收机和发送机的处理动作的一例的流程图。
[0307]图292是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
[0308]图293是表示实施方式13的关于接收机和发送机的处理动作的一例的流程图。
[0309]图294是表示实施方式13的发送机的应用例的图。
[0310]图295是表不实施方式13的发送机的应用例的图。
[0311]图296是表不实施方式13的发送机的应用例的图。
[0312]图297是表示实施方式13的发送机和接收机的应用例的图。
[0313]图298是表示实施方式13的发送机和接收机的应用例的图。
[0314]图299是表示实施方式13的发送机和接收机的应用例的图。
[0315]图300是表示实施方式13的发送机和接收机的应用例的图。
[0316]图301A是表示实施方式13的发送信号的例子的图。
[0317]图301B是表示实施方式13的发送信号的另一例的图。
[0318]图302是表示实施方式13的发送信号的例子的图。
[0319]图303A是表示实施方式13的发送信号的例子的图。
[0320]图303B是表不实施方式13的发送信号的另一例的图。
[0321]图304是表示实施方式13的发送信号的例子的图。
[0322]图305A是表示实施方式13的发送信号的例子的图。
[0323]图305B是表示实施方式13的发送信号的例子的图。
[0324]图306是表示实施方式13的发送机的应用例的图。[0325]图307是表示实施方式13的发送机的应用例的图。
[0326]图308是用来说明实施方式13的摄像元件的图。
[0327]图309是用来说明实施方式13的摄像元件的图。
[0328]图310是用来说明实施方式13的摄像元件的图。
[0329]图311A是表示有关各实施方式的变形例的接收装置(摄像装置)的处理动作的流程图。
[0330]图311B是有关各实施方式的变形例的将通常摄像模式与微距摄像模式对比表示的图。
[0331]图312是表示有关各实施方式的变形例的显示影像等的显示装置的图。
[0332]图313是表示有关各实施方式的变形例的显示装置的处理动作的一例的图。
[0333]图314是表示有关各实施方式的变形例的显示装置的发送信号的部分的例子的图。
[0334]图315是表示有关各实施方式的变形例的显示装置的处理动作的另一例的图。
[0335]图316是表示有关各实施方式的变形例的显示装置的发送信号的部分的另一例的图。
[0336]图317是表示由有关各实施方式的变形例的显示装置进行的处理动作的另一例的图。
[0337]图318是表示有关各实施方式的变形例的包括发送机及接收机的通信系统的结构的图。
[0338]图319是表示有关各实施方式的变形例的通信系统的处理动作的流程图。
[0339]图320是表示有关各实施方式的变形例的信号传送的例子的图。
[0340]图321是表示有关各实施方式的变形例的信号传送的例子的图。
[0341]图322是表示有关各实施方式的变形例的信号传送的例子的图。
[0342]图323A是表示有关各实施方式的变形例的信号传送的例子的图。
[0343]图323B是表示有关各实施方式的变形例的信号传送的例子的图。
[0344]图323C是表示有关各实施方式的变形例的信号传送的例子的图。
[0345]图323D是表示有关各实施方式的变形例的包括显示器或投影机和接收机的通信系统的处理动作的流程图。
[0346]图324是表示有关各实施方式的变形例的发送信号的例子的图。
[0347]图325是表示有关各实施方式的变形例的发送信号的例子的图。
[0348]图326是表示有关各实施方式的变形例的发送信号的例子的图。
[0349]图327A是表示有关各实施方式的变形例的接收机的摄像元件的一例的图。
[0350]图327B是表示有关各实施方式的变形例的接收机的摄像装置的内部电路的结构例的图。
[0351]图327C是表示有关各实施方式的变形例的发送信号的例子的图。
[0352]图327D是表示有关各实施方式的变形例的发送信号的例子的图。
[0353]图328A是用来说明有关各实施方式的变形例的接收机的摄像模式的图。
[0354]图328B是表示有关各实施方式的变形例的使用接收机的特别摄像模式A的处理动作的流程图。[0355]图329A是用来说明有关各实施方式的变形例的接收机的其他摄像模式的图。
[0356]图329B是表示有关各实施方式的变形例的使用接收机的特别摄像模式B的处理动作的流程图。
[0357]图330A是用来说明有关各实施方式的变形例的接收机的其他摄像模式的图。
[0358]图330B是表示有关各实施方式的变形例的使用接收机的特别摄像模式C的处理动作的流程图。
[0359]图331A是有关本发明的一技术方案的信息通信方法的流程图。
[0360]图331B是有关本发明的一技术方案的信息通信装置的框图。
[0361]图331C是有关本发明的一技术方案的信息通信方法的流程图。
[0362]图331D是有关本发明的一技术方案的信息通信装置的框图。
[0363]图332是表示通过有关本发明的一技术方案的信息通信方法得到的图像的一例的图。
[0364]图333A是有关本发明的另一技术方案的信息通信方法的流程图。
[0365]图333B是有关本发明的另一技术方案的信息通信装置的框图。
[0366]图334A是有关本发明的再另一技术方案的信息通信方法的流程图。
[0367]图334B是有关本发明的再另一技术方案的信息通信装置的框图。
【具体实施方式】
[0368]有关本发明的一技术方案的一种信息通信方法,从被摄体取得信息,其特征在于,包括:第I摄像步骤,通过使用具有多个曝光行的图像传感器对上述被摄体进行摄像,取得第I图像;检测步骤,从上述第I图像中检测拍摄有上述被摄体的范围;决定步骤,在上述多个曝光行中,决定对拍摄有上述被摄体的范围进行摄像的规定的曝光行;曝光时间设定步骤,设定上述图像传感器的曝光时间,以使得在使用上述规定的曝光行而取得的第2图像中根据上述被摄体的亮度变化而产生与上述规定的曝光行相对应的亮线;第2摄像步骤,通过使用上述规定的曝光行对亮度变化的上述被摄体在所设定的上述曝光时间中进行摄像,取得包含上述亮线的第2图像;以及信息取得步骤,通过对由在所取得的上述第2图像中包含的上述亮线的样式而确定的数据进行解调,从而取得信息。
[0369]由此,通过图像传感器的曝光行的曝光取得由被摄体的亮度变化而发送的信息,所以能够不需要例如用来进行无线通信的特别的通信设备而进行多种多样的设备间的通信。进而,由于仅将图像传感器中包含的全部的曝光行中的、捕捉到被摄体的曝光行用于包含亮线的第2图像的取得,所以能够省去对于没有捕捉到被摄体的曝光行的处理,能够提高信息取得的效率,并且能够防止来自被摄体的信息的取得失败。另外,曝光行(line,曝光线)是由图像传感器中包含的同时曝光的多个像素构成的列或行。此外,亮线是在例如由后述的图79等表示的摄像图像中包含的线。
[0370]此外,也可以是,上述规定的曝光行仅包括上述多个曝光行中的、对拍摄有上述被摄体的范围进行摄像的曝光行,而不包括对未拍摄有上述被摄体的范围进行摄像的曝光行。
[0371]由此,能够更可靠地提高信息取得的效率,并且能够防止被摄体的信息的取得失败。[0372]此外,也可以是,在上述第2摄像步骤中,取得第2摄像时间,该第2摄像时间是将取得上述第I图像时的第I摄像时间用上述规定的曝光行中包含的行数等分而得到的;将上述第2摄像时间作为上述规定的曝光行中包含的各曝光行的摄像时间。
[0373]由此,例如如后述的图328A及图328B所示,能够从作为发送机的被摄体适当地取
得?目息。
[0374]此外,也可以是,在上述第2摄像步骤中,将上述第I摄像步骤中的上述图像传感器的各曝光行的摄像时间作为上述规定的曝光行中包含的各曝光行的摄像时间。
[0375]由此,例如如后述的图329Α及图329Β所示,能够从作为发送机的被摄体适当地取
得?目息。
[0376]此外,也可以是,在上述第2摄像步骤中,将由上述规定的曝光行摄像的多个上述第2图像合并,生成与上述第I图像相同的图像尺寸的第3图像;在上述信息取得步骤中,通过对由上述第3图像中包含的上述亮线的样式而确定的数据进行解调,从而取得信息。
[0377]由此,例如如后述的图330Α及图330Β所示,能够从作为发送机的被摄体适当地取得?目息。
[0378]此外,也可以是,在上述决定步骤中,将上述多个曝光行中的、对比拍摄有上述被摄体的范围窄的范围进行摄像的曝光行决定为上述规定的曝光行。
[0379]由此,例如如后述的图328Β、图329Β及图330Β所示,能够不受因手抖动等带来的影响而从作为发送机的被摄体适当地取得信息。
[0380]此外,也可以是,该信息通信方法能够切换为--第I模式,使用上述图像传感器的上述多个曝光行中的全部的曝光行对上述被摄体进行摄像;以及第2模式,使用上述图像传感器的上述多个曝光行中的上述规定的曝光行对上述被摄体进行摄像。
[0381]由此,通过进行切换,能够从作为发送机的被摄体适当地取得信息。
[0382]有关本发明的一技术方案的信息通信方法,是从被摄体取得信息的信息通信方法,包括:曝光时间设定步骤,设定图像传感器的曝光时间,以使得在通过由上述图像传感器进行的上述被摄体的摄像得到的图像中,对应于上述被摄体的亮度变化而产生与上述图像传感器中包含的曝光行对应的亮线;摄像步骤,通过上述图像传感器将亮度变化的上述被摄体在设定的上述曝光时间中摄像,取得包含上述亮线的图像;信息取得步骤,通过将由在所取得的上述图像中包含的上述亮线的样式确定的数据解调,取得信息。
[0383]由此,通过图像传感器的曝光行的曝光,取得由被摄体的亮度变化而发送的信息,所以不需要例如用来进行无线通信的特别的通信设备,而能够进行多种多样的设备间的通信。另外,曝光行是图像传感器中包含的、由同时曝光的多个像素构成的列或行。此外,亮线例如是在由后述的图79等表示的摄像图像中包含的线。
[0384]例如,在上述摄像步骤中,将在上述图像传感器中包含的多个曝光行分别以相互不同的定时依次曝光。
[0385]由此,通过进行卷帘快门方式的摄像而产生的亮线包含在图像内的与各曝光行对应的位置,所以能够从被摄体取得许多信息。
[0386]这里,也可以是,在上述信息取得步骤中,将由上述亮线的样式中的、与上述曝光行垂直的方向的样式确定的上述数据解调。
[0387]由此,能够适当地取得与亮度变化对应的信息。[0388]此外,也可以是,在上述曝光时间设定步骤中,将上述曝光时间设定得比10毫秒短。
[0389]由此,能够使图像中更可靠地产生亮线。
[0390]这里,也可以是,在上述摄像步骤中,对以200Hz以上的频率进行亮度变化的上述被摄体进行摄像。
[0391]由此,例如如后述的图305A及图305B所示,能够人不感到闪变而从被摄体取得许
多信息。
[0392]此外,也可以是,在上述摄像步骤中,取得包含与上述曝光行平行的亮线的上述图像。
[0393]由此,能够适当地取得与亮度变化对应的信息。
[0394]这里,也可以是,在上述信息取得步骤中,按照所取得的上述图像内的、与上述图像传感器中包含的各曝光行对应的每个区域,将由根据在该区域中是否有亮线而确定的表示O或I的上述数据解调。
[0395]由此,能够从被摄体取得PPM调制的许多信息。例如如后述的图79所示,当每I秒的图像的数(帧速率)为f,构成I图像的曝光行数为I时,如果根据各曝光行是否接受了一定以上的光而取得信息,则最大能够以η比特每秒的速度取得信息。
[0396]此外,也可以是,在上述信息取得步骤中,按照每个上述区域,根据该区域的亮度值是否是阈值以上,确定在该区域中是否有亮线。
[0397]由此,能够从被摄体适当地取得信息。
[0398]这里,也可以是,在上述摄像步骤中,按照每个规定的期间,将以与该规定的期间对应的一定的频率进行亮度变化的上述被摄体摄像;在上述信息取得步骤中,按照每个上述规定的期间,将由根据与该规定的期间对应的一定的频率的亮度变化生成的上述亮线的样式确定的上述数据解调。
[0399]由此,能够从被摄体取得FM调制的许多信息。例如如后述的图188所示,能够通过与频率Π对应的亮线的样式、和与频率f2对应的亮线的样式取得适当的信息。
[0400]此外,也可以是,在上述摄像步骤中,将以通过调整亮度的上升及下降中的一方的变化与下次上述一方的变化之间的时间来发送信号的方式进行亮度变化的上述被摄体摄像;在上述信息取得步骤中,将由上述亮线的样式确定的、作为与上述时间建立了对应的代码的上述数据解调。
[0401]由此,例如如后述的图248所示,能够不改变从被摄体发送的信息的内容,而通过PWM控制调来整人感到的被摄体(例如照明设备)的明亮程度。
[0402]这里,也可以是,在上述摄像步骤中,将以对于上述亮度变化以5毫秒以上的幅度进行移动平均时的各亮度值包含在预先设定的范围中的方式进行亮度变化的上述被摄体摄像。
[0403]由此,能够使得人不感到闪变而从被摄体取得许多信息。例如如后述的图85所示,当调制后的信号为O时不发光、为I时发光,如果在发送信号中没有偏倚,则能够使移动平均时的各亮度值成为发光时的亮度值的约75%。结果,能够防止人感到闪变。
[0404]此外,也可以是,上述亮线的样式根据上述图像传感器的曝光时间而不同;在上述信息取得步骤中,将通过与设定的上述曝光时间对应的上述样式确定的上述数据解调。[0405]由此,例如如后述的图91所示,能够根据曝光时间而从被摄体取得不同的信息。
[0406]这里,也可以是,上述信息通信方法还检测具备上述图像传感器的摄像装置的状态;在上述信息取得步骤中,取得表示上述被摄体的位置的上述信息,还基于所取得的上述信息和检测出的上述状态,计算上述摄像装置的位置。
[0407]由此,例如如后述的图185所示,即使不能使用GPS等也能够更正确地确定摄像装置的位置,或者与使用GPS等的情况相比,能够更正确地确定摄像装置的位置。
[0408]此外,也可以是,在上述摄像步骤中,将包括沿着上述曝光行而排列的多个区域、按照每个区域而进行亮度变化的上述被摄体摄像。
[0409]由此,例如如后述的图258所示,能够从被摄体取得许多信息。
[0410]这里,也可以是,在上述摄像步骤中,将以相互不同的定时发出同色异谱(metameric)的多种光的上述被摄体摄像。
[0411]由此,例如如后述的图272所示,能够使得人不感到闪变而从被摄体取得许多信
肩、O
[0412]此外,也可以是,上述信息通信方法还推测具备上述图像传感器的摄像装置存在的场所;在上述信息取得步骤中,取得上述被摄体的识别信息作为上述信息,并且从服务器取得与上述场所及上述识别信息建立了关联的关联信息。
[0413]由此,例如后述的图282及图283所示,即使是从多个照明设备通过亮度变化发送相同的识别信息那样的情况,也能够根据摄像装置存在的场所(建筑物)、即照明设备存在的场所(建筑物)取得适当的关联信息。
[0414]这里,有关本发明的一技术方案的信息通信方法,是通过亮度变化发送信号的信息通信方法,包括:决定步骤,通过将发送对象的信号调制,决定亮度变化的样式;第I发送步骤,通过发光体按照所决定的上述样式而亮度变化,将上述发送对象的信号发送;第2发送步骤,通过上述发光体在将上述发送对象的信号发送后33毫秒以内、按照与所决定的上述样式相同的样式而亮度变化,将与上述发送对象的信号相同的信号发送;在上述决定步骤中,决定上述样式,以使对于上述亮度变化以5毫秒以上的幅度进行移动平均时的各亮度值包含在预先设定的范围中。
[0415]由此,决定亮度变化的样式,以使得对于亮度变化以5毫秒以上的幅度进行移动平均时的各亮度值包含在预先设定的范围中,所以能够防止人感到闪变并通过亮度变化发送信号。进而,例如如后述的图301B所示,由于在33毫秒以内发送相同的信号,所以即使在接收信号的接收机中有空白,也能够可靠地将信号向该接收机发送。
[0416]此外,也可以是,在上述决定步骤中,按照将由2比特表示的信号分别调制为通过由表示相同的值的3比特和表示其他值的I比特构成的4比特表示的信号的方式,将上述发送对象的信号调制。
[0417]由此,例如如后述的图85所示,当调制后的信号为O时不发光,当为I时发光,如果在发送信号中没有偏倚,则能够使移动平均时的各亮度值成为发光时的亮度值的约75%。结果,能够更可靠地防止人感到闪变。
[0418]这里,也可以是,在上述决定步骤中,通过将亮度的上升及下降中的一方的变化与下次上述一方的变化之间的时间根据上述发送对象的信号调整,决定上述亮度变化的样式。[0419]由此,例如如后述的图248所示,能够不改变发送对象的信号的内容,而通过PWM控制来调整人感到的发光体(例如照明设备)的明亮程度。
[0420]此外,也可以是,在上述第I发送步骤及上述第2发送步骤中,进行亮度变化,以使得根据将亮度变化的上述发光体摄像的图像传感器的曝光时间,由具备上述图像传感器的摄像装置取得不同的信号。
[0421]由此,例如如后述的图91所示,能够将根据曝光时间而不同的信号向摄像装置发送。
[0422]这里,也可以是,在上述第I发送步骤及上述第2发送步骤中,通过多个发光体同步地亮度变化,上述多个发光体发送共通的信息;在发送了上述共通的信息后,通过按照每个发光体而亮度变化,按照该发光体而发送不同的信息。
[0423]由此,例如如后述的图98所示,通过多个发光体将共通的信息同时发送,能够将多个发光体看作一个较大的发光体,能够用接收该共通的信息的摄像装置将发光体较大地摄像,所以能够将信息更快、从更远发送。进而,例如如后述的图186所示,通过多个发光体发送共通的信息,能够按照每个发光体抑制发送的个别的信息的信息量。
[0424]此外,也可以是,上述信息通信方法还包括受理是否进行上述发送对象的信号的调制的指示的指示受理步骤;在受理了表示进行上述调制的指示的情况下,执行上述决定步骤、上述第I发送步骤及上述第2发送步骤;在受理了表示不进行上述调制的指示的情况下,不执行上述决定步骤、上述第I发送步骤及上述第2发送步骤,上述发光体点灯或灭灯。
[0425]由此,例如如后述的图186所示那样切换是否进行调制,所以能够抑制对于其他发光体的亮度变化作为噪声带来的影响。
[0426]这里,也可以是,上述发光体包括沿着将该发光体摄像的图像传感器的曝光行而排列的多个区域;在上述第I发送步骤及上述第2发送步骤中,按照上述发光体的每个区域而亮度变化。
[0427]由此,例如如后述的图258所示,能够发送许多信息。
[0428]此外,也可以是,在上述第I发送步骤及上述第2发送步骤中,上述发光体通过将同色异谱的多种光以相互不同的定时发出而亮度变化。
[0429]由此,例如如后述的图272所示,能够使人不感到闪变而发送许多信息。
[0430]这里,也可以是,在上述第I发送步骤及上述第2发送步骤中,作为上述发送对象的信号或上述相同的信号而发送上述发光体的识别信息。
[0431]由此,例如后述的图282所示那样发送发光体的识别信息,所以接收到该识别信息的摄像装置能够经由因特网等的通信线路从服务器等取得与该识别信息建立了关联的更多的信息。
[0432]此外,有关本发明的一技术方案的信息通信方法,是通过亮度变化而发送信号的信息通信方法,包括:决定步骤,通过将发送对象的信号调制,决定多个频率;发送步骤,通过发光体按照所决定的上述多个频率中的某个一定的频率而亮度变化,来发送信号;变更步骤,将在上述亮度变化中使用的频率以33毫秒以上的周期依次变更为所决定的多个频率中的其他频率;在上述发送步骤中,上述发光体亮度变化,以使得对于上述亮度变化以5毫秒以上的幅度进行移动平均时的各亮度值包含在预先设定的范围中。
[0433]由此,决定亮度变化的样式,以使得对于亮度变化以5毫秒以上的幅度进行移动平均时的各亮度值包含在预先设定的范围中,所以能够防止人感到闪变并通过亮度变化发送信号。进而,能够将FM调制的许多信号发送。例如如后述的图188所示,通过将亮度变化的频率(fl、f2等)以33毫秒以上的周期变更,能够发送适当的信息。
[0434]另外,这些全局性或具体的技术方案既可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等的记录介质实现,也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合实现。
[0435]以下,参照附图对实施方式具体地说明。
[0436]另外,以下说明的实施方式都是表示全局或具体的例子的。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例,并不是限定本发明的意思。此外,关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素,设为任意的构成要素进行说明。
[0437](实施方式I)
[0438]以下,对通过作为设备具备的LED的闪烁样式(pattern)发送信息、使用智能电话的照相机通信的处理的流程进行叙述。
[0439]图1是表示本实施方式的宅内的环境的例子的图。在图1所示的环境中,对于电视机1101及电灶(微波炉)1106、空气净化机1107,智能电话1105等也处于用户的周边。
[0440]图2是表示本实施方式的家电设备与智能电话的通信的例子的图。图2是信息通信的例子,是表示通过由用户持有的智能电话1201取得图1的电视机1101或电灶1106那样的各设备输出的信息来得到信息的结构的图。如图2所示,各设备使用LED的闪烁样式发送信息,智能电话1201使用照相机等的摄像功能接受信息。
[0441]图3是表示本实施方式的发送侧装置1301的结构的一例的图。
[0442]该发送侧装置1301通过用户按下按钮、或由NFC(Near Field Communication)等送出发送指示、或检测到装置内部的故障等的状态的变化,将信息作为光的闪烁样式发送。此时将发送重复一定时间。发送的信息如果是预先登记的设备间,也可以使用缩短ID。此夕卜,在具有无线LAN或特定节电无线等无线通信部的情况下,也可以将其连接所需要的认证信息作为闪烁样式发送。
[0443]此外,发送速度判断部1309通过掌握设备内部的时钟发生装置的性能,可以进行在时钟发生装置因较便宜而精度较差的情况下使发送速度变慢、在较高的情况下使发送速度变快的处理。在时钟发生装置的性能较差的情况下,或者也可以通过将发送的信息自身划分为较短,来减少因长时间通信下的闪烁间隔的偏差的累积造成的错误。
[0444]图4是表示本实施方式的接收侧装置1401的结构的一例的图。
[0445]该接收侧装置1401根据图像取得部1404取得的帧图像判断能看到光的闪烁的区域。此时闪烁也可以取能够采取追随可观测到一定以上的亮度的高低的区域那样的方法。
[0446]闪烁信息取得部1406根据闪烁的样式取得发送的信息,在其中包含有设备ID等的设备关联的情况下,使用该信息向云上的关联服务器查询附带的信息,或者使用事前保管的无线通信区域内的设备或保管在接收侧装置内部中的信息进行插补。由此,能够得到削减为了取得因将光的发光样式摄像时的噪声带来的错误修正或已经获得的信息而用户将智能电话罩在发送侧装置的发光部上的时间等的效果。
[0447]以下,说明图5。[0448]图5是表示通过本实施方式的发送侧装置的LED的闪烁向智能电话等的接收侧装置发送信息的处理的流程的图。这里,设想具有通过NFC与智能电话通信的功能的发送侧装置、和植入在该发送侧装置具有的否FC用的通信标记的一部分中的LED的发光样式发送信息的状况。
[0449]首先,在步骤IOOla中,用户购买家电设备,初次向插座插入电源,成为通电状态。
[0450]接着,在步骤IOOlb中,确认初始设定信息是否是已写入。在是的情况下向图中的圈3前进。另一方面,在否的情况下向步骤IOOlc前进,标记以用户容易理解的闪烁速度(例如:1?2 / 5)闪烁。
[0451]接着,在步骤IOOld中,确认是否用户通过以NFC通信将智能电话接触在标记上而取得家电的设备信息。这里,在是的情况下,向步骤IOOle前进,智能电话接收设备信息,向云的服务器登记。接着,在步骤IOOlf中,从云接收与智能电话的用户的账户建立了关联的缩短ID,向家电发送,向步骤IOOlg前进。另外,在步骤IOOld中为否的情况下向步骤IOOlg
、产.、rr.目U进。
[0452]接着,在步骤IOOlg中,确认是否有NFC下的登记。在是的情况下向步骤IOOlj前进,在蓝色的闪烁2次后,在步骤IOOlk中闪烁结束。
[0453]另一方面,在步骤IOOlg中为否的情况下向步骤IOOlh前进。接着,在步骤IOOlh中,确认是否过了 30秒。这里,在是的情况下向步骤IOOli前进,LED部分通过光的闪烁将设备信息(设备的型号、NFC下的登记处理有无、设备的固有ID)输出,向图6的圈2前进。
[0454]另外,在步骤IOOlh中为否的情况下向步骤IOOld返回。
[0455]接着,使用图6?图9,说明本实施方式的发送侧装置的通过LED的闪烁向接收侧装置发送信息的处理的流程。这里,图6?图9是表示通过发送侧装置的LED的闪烁向接收侧装置发送信息的处理的流程的图。
[0456]以下,说明图6。
[0457]首先,在步骤1002a中,用户起动取得智能电话的光闪烁信息的应用。
[0458]接着,在步骤1002b中,图像取得部分取得光的闪烁。并且,闪烁区域判断部根据图像的时间序列上的变化判断闪烁的区域。
[0459]接着,在步骤1002c中,闪烁信息取得部判断闪烁区域的闪烁样式,等待前同步码检测。
[0460]接着,在步骤1002d中,在能够检测到前同步码的情况下,取得该闪烁区域的信
肩、O
[0461]接着,在步骤1002e中,在能够取得设备ID的信息的情况下,在接收继续状态下,也向云侧的服务器发送信息,信息插补部一边将从云侧获得的信息与闪烁信息取得部的信息比较一边插补。
[0462]接着,在步骤1002f中,如果也包括插补的信息、全部的信息齐备,则向智能电话或用户通知。此时,通过将从云获得的关联站点或GUI显示,能够进行丰富而容易理解的通知,向图7的圈4前进。
[0463]以下,说明图7。
[0464]首先,在步骤1003a中,在家电故障、或生成了向用户通知的使用次数、室温等的消息的情况下,开始信息发送模式。[0465]接着,在步骤1003b中,使标记以I?2 / s闪烁。同时,LED也开始信息发信。
[0466]接着,在步骤1003c中,确认是否开始了 NFC下的通信。另外,在否的情况下向图9的圈7前进。在是的情况下向步骤1003d前进,停止LED的闪烁。
[0467]接着,在步骤1003e中,智能电话向云的服务器访问,将关联信息显示。
[0468]接着,在步骤1003f中,在需要现场应对的故障的情况下,在服务器侧检索支援的服务人员。利用家电、设置场所、位置信息。
[0469]接着,在步骤1003g中,服务人员通过以预先决定的顺序按下家电的按钮而成为支援模式。
[0470]接着,在步骤1003h中,在从智能电话看到由标记以外的家电的LED进行标记的闪烁的情况下,同时可见的LED的一部分或全部以将信息插补的方式烁,向图8的圈5前进。
[0471]以下,说明图8。
[0472]首先,在步骤1004a中,服务人员在持有的接收终端的性能能够检测高速(例如:1000 / s次)的闪烁的情况下,按下其设定按钮。
[0473]接着,在步骤1004b中,家电的LED进行高速模式闪烁,向圈6前进。
[0474]以下,说明图9。
[0475]首先,在步骤1005a中继续闪烁。
[0476]接着,在步骤1005b中,用户用智能电话来获取LED的闪烁信息。
[0477]接着,在步骤1005c中,用户将智能电话的取得光闪烁信息的应用起动。
[0478]接着,在步骤1005d中,图像取得部分取得光的闪烁。并且,闪烁区域判断部根据图像的时间序列上的变化判断闪烁的区域。
[0479]接着,在步骤1005e中,闪烁信息取得部判断闪烁区域的闪烁样式,等待前同步码检测。
[0480]接着,在步骤1005f中,在能够检测到前同步码的情况下,取得该闪烁区域的信
肩、O
[0481]接着,在步骤1005g中,在能够取得设备ID的信息的情况下,在接收继续状态下,也向云侧的服务器发送信息,信息插补部一边将从云侧获得的信息与闪烁信息取得部的信息比较一边插补。
[0482]接着,在步骤1005h中,如果也包括插补的信息、全部的信息齐备,则向智能电话或用户通知。此时,通过将从云获得的关联站点或GUI显示,能够进行丰富而容易理解的通知。
[0483]并且,向图7的步骤1003f前进。
[0484]这样,家电设备等的发送装置能够通过LED的闪烁向智能电话发送信息。即使是没有无线功能或NFC等的通信机构那样的设备也能够发信信息,还能够经由智能电话向处于云上的服务器的丰富的信息向用户提供。
[0485]此外,如本实施方式那样,在至少包括一个可拿持的设备的两个设备间具有通过双向通信(例如NFC通信)和单向通信(例如通过LED的亮度变化进行的通信)的两个通信方法进行数据的收发的功能的情况下,当从一方的设备向另一方的设备以单向通信进行数据的发送时,在以双向通信实现了数据收发的情况下,能够停止单向的通信。由此,能够省去单向通信所需要的耗电的浪费,所以是有效率的。[0486]以上,根据实施方式1,能够实现能够进行包括运算力较弱那样的设备的多种多样的设备间的通信的信息通信装置。
[0487]具体而言,本实施方式的信息通信装置具有管理包括自己的唯一的ID和设备的状态信息的设备信息的信息管理部、发光元件、和作为上述发光元件的闪烁样式而发送信息的光发送部,上述光发送部在上述设备的内部的状态中有变化的情况下,将上述设备信息变换为光的闪烁样式而发送。
[0488]这里,例如也可以是,还具备保存自己的起动状态及用户的使用履历等的设备内部的传感到的信息的起动履历管理部,上述光发送部取得利用的时钟发生装置的预先登记的性能信息,变更发送速度。
[0489]此外,例如也可以是,上述光发送部在用来通过光的闪烁发送信息的第一发光元件的周围配置有第二发光元件,上述第二发光元件在将通过上述第一发光元件的闪烁进行的信息发信重复一定次数的情况下,在信息发信的结束和开始之间发光。
[0490]另外,这些全局的或具体的技术方案也可以由系统、方法、集成电路、计算机程序或记录介质实现,也可以通过系统、方法、集成电路、计算机程序或记录介质的任意的组合实现。
[0491](实施方式2)
[0492]在本实施方式中,以清扫机为例,对使用可视光通信的设备与用户的通信次序、以及对从使用可视光通信的初始设定到故障时的修理对应服务、使用清扫机的服务协同进行说明。
[0493]图10和图11是用来说明本实施方式的使用可视光进行用户与设备的通信的次序的图。
[0494]以下,对图10进行说明。
[0495]首先,在圈I中开始。
[0496]接着,在步骤2001a中,用户将电源投入。
[0497]接着,在步骤2001b中,作为起动处理,确认是否进行了设置设定、NW设定等的初始设定。
[0498]这里,在进行了初始设定的情况下,向步骤200If前进,开始通常动作,如圈3所示那样结束。
[0499]另一方面,在没有进行初始设定的情况下,向步骤2001c前进,通过“LED通常发光”、“蜂鸣音”向用户通知需要初始设定。
[0500]接着,在步骤200Id中,收集设备信息(制品号码和制造号码),进行可视光通信的准备。
[0501]接着,在步骤2001e中,将设备信息(制品号码和制造号码)和能够进行可视光通信的情况通过“LED通信发光”、“向显示器的图标显示”、“蜂鸣音”、“将多个LED发光”向用户通知。
[0502]并且,如圈2所示那样结束。
[0503]接着,对图11进行说明。
[0504]首先,如圈2所示那样开始。
[0505]接着,在步骤2002a中,通过“接近传感器”、“照度传感器”及“人感传感器”感知可视光接收终端的接近。
[0506]接着,在步骤2002b中,以感知到的情况为触发事件,开始可视光通信。
[0507]接着,在步骤2002c中,用户用可视光接收终端取得设备信息。
[0508]接着,如圈4所示那样结束。或者,向步骤2002f~步骤2002i的某个前进。
[0509]在前进到步骤2002f的情况下,通过“感度传感器”的感知、以及“与调光设备的协同”,感知到房间被灭灯的情况,停止设备信息的发光,如圈5所示那样结束。此外,在前进到步骤2002g的情况下,可视光接收终端取得设备信息,将感知到的情况通过“NFC通信”及“NW通信”通知并结束。在前进到步骤2002h的情况下,感知可视光接收终端的脱离,将设备信息停止并结束。在前进到步骤2002i的情况下,等待一定时间的经过,将设备信息的发光停止并结束。 [0510]另外,在步骤2002a中没有感知到的情况下,向步骤2002d前进,等待一定时间的经过,将能够进行可视光通信的通知通过“变亮”、“使声音变大”、“移动图标”等强化并通知。这里,向步骤2002d返回。或者,向步骤2002e前进,进而在一定时间经过后,向步骤2002?前进。
[0511]图12是用来说明本实施方式的用户购买设备、进行设备的初始设定为止的次序的图。
[0512]在图12中,首先如圈4所示那样开始。
[0513]接着,在步骤2003a中,用GPS (Global Positioning System)取得接收到设备信息的智能电话的位置信息。
[0514]接着,在步骤2003b中,如果在智能电话中有用户信息,则在终端内收集用户名、电话号码、邮件地址等的用户信息。或者,在步骤2003c中,如果在智能电话中没有用户信息,则通过NW从周边设备收集用户信息。
[0515]接着,在步骤2003d中,将设备信息、用户信息和位置信息向云服务器发送。
[0516]接着,在步骤2003e中,使用设备信息和位置信息收集初始设定所需要的信息和激活信息。
[0517]接着,在步骤2003f中,收集为了与用户已登记的设备的协同在设定中需要的IP、认证方式及可利用服务等相关信息。或者,在步骤2003g中,通过对用户已登记的设备通过NW发送设备信息和设定信息,进行与周边设备的协同设定。
[0518]接着,在步骤2003h中,使用设备信息和用户信息进行用户设定。
[0519]接着,在步骤2003i中,将初始设定信息、活动信息和协同设定信息向智能电话发送。
[0520]接着,在步骤2003 j中,将初始设定信息、激活信息和协同设定信息用NFC向家电发送。
[0521]接着,在步骤2003k中,通过初始设定信息、激活信息和协同设定信息进行设备的设定。
[0522]并且,如圈6所示那样结束。
[0523]图13是用来对本实施方式的设备故障的情况下的、服务人员专用的服务进行说明的图。
[0524]在图13中,首先如圈3所示那样开始。[0525]接着,在步骤2004a中,将在设备的通常动作中发生的动作日志、用户操作日志等的履历信息向本地存储媒体记录。
[0526]接着,在步骤2004b中,在故障发生的同时,将错误代码、错误详细情况等的错误信息记录,将能够进行可视光通信的情况用LED异常发光通知。
[0527]接着,在步骤2004c中,通过服务人员的特殊命令执行而成为LED高速发光模式,开始可视光的高速通信。
[0528]接着,在步骤2004d中,判别接近的终端是通常智能电话、还是服务人员的专用接收终端。这里,在前进到了步骤2004e的情况下,在智能电话的情况下取得错误信息并结束。
[0529]另一方面,在前进到了步骤2004f的情况下,在服务人员的情况下,用专用接收终端取得错误信息和履历信息。
[0530]接着,在步骤2004g中,向云发送设备信息、错误信息和履历信息,取得修理方法。这里,在前进到了步骤2004h的情况下,通过服务人员的特殊命令执行将LED高速发光模式解除并结束。
[0531]另一方面,在前进到了步骤2004i的情况下,从云服务器取得设备信息的关联商品、类似商品的商品信息、最近店铺的销售价格、新商品信息。
[0532]接着,在步骤2004j中,用用户的智能电话和服务人员的专用终端通过可视光通信取得用户信息,经由云服务器向最近店铺订购商品。
[0533]并且,如圈9所示那样结束。
[0534]图14是用来对本实施方式的和清扫机使用可视光通信的、用于确认清扫状况的服务进行说明的图。
[0535]首先,如圈3所示那样开始。
[0536]接着,在步骤2005a中,记录设备的通常动作中的清扫信息。
[0537]接着,在步骤2005b中,房间布局信息组合而制作污垢信息,进行加密压缩。
[0538]这里,在前进到步骤2005c的情况下,将污垢信息的压缩作为触发事件,将污垢信息向本地存储媒体记录。或者,在前进到了步骤2005d的情况下,将清扫的暂停(吸入处理停止)作为触发事件将污垢信息通过可视光通信向照明器具发送。或者,在前进到了步骤2005e的情况下,将污垢信息的记录作为触发事件,将污垢信息用NW向家庭内本地服务器及云服务器发送。
[0539]接着,在步骤2005f中,以污垢信息的发送及记录为触发事件,将设备信息、保存部位、解密密钥通过可视光通信向智能电话发送。
[0540]接着,在步骤2005g中,通过NW及NFC取得污垢信息并解码。
[0541]并且,如圈10所示那样结束。
[0542]如以上这样,根据实施方式1,能够实现包括能够进行包括运算力较弱那样的设备的多种多样的设备间的通信的信息通信装置的可视光通信系统。
[0543]具体而言,包括本实施方式的信息通信装置的可视光通信系统(图10)搭载有用来判断可视光发送的准备是否完成的可视光发送可否判断部、和将是可视光发送中向用户通知的可视光发送通知部,当成为能够进行可视光通信的状态时向用户视觉及听觉地通知的可视光通信系统。由此,通过使LED的发光模式为“发光色”、“声音”、“图标显示”、“多LED发光”向用户通知能够进行可视光接收的状况,能够提高用户的方便性。
[0544]优选的是,如在图11中说明那样,也可以是一种可视光通信系统,搭载有感知可视光接收终端的接近的终端接近感知部、和根据可视光接收终端的位置判断可视光发送的开始和停止的可视光发送判断部,以由终端接近感知部感知到可视光接收终端的接近作为触发事件开始可视光发送。
[0545]这里,例如如在图11中说明那样,也可以是以由终端接近感知部感知到可视光接收终端的脱离为触发事件而将可视光发送停止的可视光通信系统。此外,例如如在图11中说明那样,也可以是一种可视光通信系统,搭载有感知房间的灭灯的周边照度感知部,以由周边照度感知部感知到房间的灭灯为触发事件将可视光发送停止。由此,通过感知可视光接收终端的接近和脱离、以及房间的灭灯,通过仅在能够可视光通信的状况下开始可视光通信,能够省去不必要的可视光通信而实现节能化。
[0546]进而,例如如在图11中说明那样,也可以是一种可视光通信系统,搭载有计测进行可视光发送的时间的可视光通信时间监视部、和将是可视光发送中的情况向用户通知的可视光发送通知部,以可视光通信进行了一定以上但没有可视光接收终端的接近的情况为触发事件,将向用户的视觉及听觉的通知进一步强化。此外,例如如在图11中说明那样,也可以是一种以可视光发送通知部将通知强化后可视光发送时间进行了一定以上但没有可视光接收终端的接近的情况为触发事件、将可视光发送停止的可视光通信系统。
[0547]由此,通过在虽然经过了一定以上的可视光发送时间、但没有进行用户的接收的情况下进行向用户的可视光接收的情况和停止,放置忘记接收或忘记取消,能够提高用户的方便性。
[0548]此外,包括本实施方式的信息通信装置的可视光通信系统(图12)也可以是一种可视光通信系统,搭载有判断接收到可视光通信的可视光接收判断部、用来取得终端位置的接收终端位置取得部、和取得设备信息和位置信息并收集设备设定信息的设备设定信息收集部,以接收到可视光为触发事件而取得接收终端的位置,收集设备设定所需要的信息。由此,通过以由可视光通信取得设备信息为触发事件、自动收集设备设定及用户登记所需要的位置信息和用户信息并设定,省略由用户进行的输入和登记步骤,能够提高方便性。
[0549]这里,还如在图14中说明那样,也可以是一种可视光通信系统,搭载有管理设备信息的设备信息管理部、管理设备与设备的类似性的设备关系管理部、管理销售设备的店铺信息的店铺信息管理部、和根据位置信息检索最近店铺的最寄店铺检索部,以接收设备信息和位置信息为触发事件,取得销售类似设备的最近店铺及价格。由此,根据设备信息收集关联的设备的销售状况及销售店铺,通过省去检索设备的工夫,能够提高用户的方便性。
[0550]此外,包括本实施方式的信息通信装置的可视光通信系统(图12)也可以是一种可视光通信系统,搭载有监视用户信息保存在终端内的情况的用户信息监视部、通过NW从周边设备收集用户信息的用户信息收集部、和取得用户信息和设备信息并进行用户登记的用户登记处理部,以没有用户信息为触发事件,从可访问的周边设备收集用户信息,与设备信息一起进行用户登记。由此,通过以由可视光通信取得设备信息为触发事件、自动收集设备设定、及用户登记所需要的位置信息和用户信息并设定,省略由用户进行的输入和登记步骤,能够提高方便性。
[0551]此外,包括本实施方式的信息通信装置的可视光通信系统(图13)也可以是一种可视光通信系统,搭载有受理特殊命令的命令判断部、可视光通信的频率、和操作多LED协同的可视光通信速度调整部,通过由受理特殊命令进行可视光通信的频率的调整和发送LED数,使可视光通信高速化。这里,例如,如在图14中说明那样,也可以是一种可视光通信系统,搭载有通过NFC通信判别接近终端的种类的终端种类判断部、和根据终端种类判别发送的信息的发送信息种类判断部,将由接近的终端发送的信息的量和可视光通信速度变更。由此,通过根据接收终端调整可视光通信的频率及发送LED数、变更可视光通信的速度和发送信息,能够进行高速通信,能够提高用户的方便性。
[0552]此外,包括本实施方式的信息通信装置的可视光通信系统(图14)也可以是一种可视光通彳目系统,搭载有记录清扫彳目息的清扫彳目息记录部、记录房间布局彳目息的房间布局信息记录部、通过将房间布局信息与清扫信息叠加而生成污垢部位信息的信息合成部、和监视通常动作的停止的动作监视部,通过以设备的停止的感知为触发事件,将污垢部位信息可视光发送。
[0553]另外,这些全局的或具体的技术方案也可以由系统、方法、集成电路、计算机程序或记录介质实现,也可以通过系统、方法、集成电路、计算机程序或记录介质的任意的组合实现。
[0554](实施方式3)
[0555]在本实施方式中,举住宅配送服务为例,对使用光通信的Web信息及设备的协同进行说明。
[0556]在图15中表示本实施方式的概要。即,图15是本实施方式的使用光通信的住宅配送服务支援的概略图。
[0557]具体而言,订购者使用移动终端3001a从商品购买站点进行商品的订购。在订购完成时,从商品购买站点发行订购号码。接收到订购号码的移动终端3001a将订购号码使用NFC通信向门禁电话宅内器300 Ib发送。
[0558]门禁电话宅内器3001b将从移动终端3001a接收到的订购号码向本设备的监视器显示等,向用户呈现发送完成的消息。
[0559]门禁电话宅内器3001b对门禁电话宅外器3001c发送内置在门禁电话宅外器3001c中的LED的闪烁指示和闪烁样式。闪烁样式根据从移动终端3001a接收到的订购号码由门禁电话宅内器300 Ib生成。
[0560]门禁电话宅外器3001c根据从门禁电话宅内器3001b指定的闪烁样式而使LED闪烁。
[0561]作为移动终端的替代,也可以是PC等的能够向处于Wffff3001d的商品购买站点访问的环境。
[0562]作为从移动终端3001a向门禁电话宅内器3001b的发送机构,除了 NFC通信以外,也可以使用宅内网络。
[0563]移动终端300Ia也可以不经由门禁电话宅内器300Ib而直接向门禁电话宅外器3001c发送订购号码。
[0564]在从订购者有订购的情况下,从住宅配送订购接收服务器3001e对住宅配送者移动终端3001f发送订购号码。当住宅配送者到达了住宅配送目标时,在住宅配送者移动终端3001f和门禁电话宅外器3001c的双向进行使用基于订购号码生成的LED闪烁样式的光通信。
[0565]接着,使用图16?图21进行说明。图16?图21是用来说明发明的实施方式3的使用光通信的住宅配送服务支援的流程图。
[0566]图16表示订购者进行订购、到发行订购号码为止的流程。以下,对图16进行说明。
[0567]订购者移动终端3001a在步骤3002a中,通过智能电话的Web浏览器或应用实施住宅配送的预约。并且,向图17的圈I前进。
[0568]此外,订购者移动终端3001a接着图17的圈2,在步骤3002b中,在订购号码发送等待状态下待机。接着,在步骤3002c中,确认是否接触在了订购号码发送目标设备上。在是的情况下,向步骤3002d前进,对门禁电话室内器NFC接触而发送订购号码(在门禁电话存在于与智能电话相同网络中的情况下也有经由网络发送的方法)。另一方面,在否的情况下,向步骤3002b返回。
[0569]门禁电话宅内器3001b首先在步骤3002e中,从其他终端等待LED闪烁的请求。接着,在步骤3002f中,从智能电话接收订购号码。接着,在步骤3002g中,根据接收到的订购号码,发出门禁电话室外机的LED闪烁指示。并且,向图19的圈3前进。
[0570]门禁电话宅外器3001c首先在步骤3002h中,从门禁电话宅内器等待LED闪烁指示。并且,向图19的圈7前进。
[0571]住宅配送者移动终端3001f在步骤3002i中,在订购通知等待状态下待机。接着,在步骤3002j中,确认是否被从住宅配送订购服务器通知了订购通知。这里,在否的情况下,向步骤3002i返回。在是的情况下,向步骤3002k前进,接收订购号码、住宅配送目标住址等的信息。接着,在步骤3002η中,待机直到用户有接收到的订购号码的LED发光指示或为了其他设备的LED发光识别而起动照相机。并且,向图18的圈5前进。
[0572]图17表示到订购者用订购者移动终端3001a进行住宅配送订购为止的流程。以下,对图17进行说明。
[0573]住宅配送订购服务器3001e首先在步骤3003a中等待接受订购号码。接着,在步骤3003b中确认是否接收到住宅配送订购。这里,在否的情况下,向步骤3003a返回。在是的情况下,向步骤3003c前进,对接收到的住宅配送订购发行订购号码。接着,在步骤3003d中,对住宅配送者通知接收到住宅配送订购的情况并结束。
[0574]订购者移动终端300Ia接着图16的圈1,在步骤3003e中,从住宅配送订购服务器提示的菜单中选择订购内容。接着,在步骤3003f中,确定订购,向住宅配送服务器发送。接着,在步骤3003g中,确认是否接收到订购号码。这里,在否的情况下,向步骤3003f返回。在是的情况下,向步骤3003h前进,显示接收到的订购号码,进行敦促向门禁电话宅内器的接触的显示。并且,向图16的圈2前进。
[0575]图18表示住宅配送者使用住宅配送者移动终端3001f与住宅配送目标的门禁电话宅外器3001c进行光通信的流程。以下,对图18进行说明。
[0576]住宅配送者移动终端3001f接着图16的圈5,在步骤3004a中,确认是否为了识别住宅配送目标的门禁电话宅外器3001c的LED而起动照相机。这里,在否的情况下,向图16的圈5返回。
[0577]另一方面,在是的情况下,向步骤3004b前进,通过住宅配送者移动终端的照相机确认住宅配送目标门禁电话宅外器的LED闪烁。[0578]接着,在步骤3004c中,识别门禁电话宅外器的LED发光并与订购号码对照。
[0579]接着,在步骤3004d中,确认门禁电话宅外器的LED闪烁是否与订购号码一致。这里,在是的情况下,向图20的圈6前进。
[0580]另外,在否的情况下,确认是否在照相机内能够确认其他LED闪烁。并且,在是的情况下,向步骤3004c返回,在否的情况下结束。
[0581]图19表示进行门禁电话宅内器3001b与门禁电话宅外器3001c间的订购号码对照的流程。以下,对图19进行说明。
[0582]门禁电话宅外器3001c接着图16的圈7,在步骤3005a中,确认是否从门禁电话宅内器有LED闪烁的指示。在否的情况下,向图16的圈返回。在是的情况下,向步骤3005b前进,按照从门禁电话宅内器指示的LED闪烁使LED闪烁。并且,向图20的圈8前进。
[0583]此外,门禁电话宅外器3001c接着图20的圈9,在步骤3005c中,将由门禁电话宅外器的照相机识别出的LED闪烁向门禁电话宅内器通知。并且,向图21的圈10前进。
[0584]门禁电话宅内器3001c接着图16的圈3,在步骤3005d中,对门禁电话宅外器实施对应于订购号码的LED闪烁指示。接着,在步骤3005e中待机,直到门禁电话宅外器的照相机识别住宅配送者移动终端的LED闪烁。接着,在步骤3005f中,确认是否从门禁电话宅外器识别出了 LED闪烁。这里,在否的情况下,向步骤3005e返回。在是的情况下,在步骤3005g中将门禁电话宅外器的LED闪烁与订购号码对照。接着,在步骤3005h中,确认门禁电话宅外器的LED闪烁与订购号码是否一致。在是的情况下,向图21的圈11前进。另一方面,在否的情况下,在步骤3005i中,向门禁电话宅外器指示LED闪烁的中止并结束。
[0585]图20表示订购号码对照后的门禁电话宅外器3001c与住宅配送者移动终端3001f间的流程。以下,对图20进行说明。
[0586]住宅配送者移动终端3001f接着图18的圈6,在步骤3006a中,根据住宅配送者移动终端保持的订购号码开始LED闪烁。
[0587]接着,在步骤3006b中,将LED闪烁部分配置到从门禁电话宅外器照相机能够摄影的范围中。
[0588]接着,在步骤3006c中,关于门禁电话宅外器的照相机摄影的住宅配送者移动终端的LED闪烁与门禁电话宅内器保持的订购号码是否一致,确认门禁电话宅外器LED闪烁
是否表示一致。
[0589]这里,在否的情况下,向步骤3006b返回。另一方面,在是的情况下,向步骤3006e前进,将是否一致显示在住宅配送者移动终端上并结束。
[0590]此外,如图20所示,门禁电话宅外器3001c接着图19的圈8,在步骤3006f中,确认是否由门禁电话宅外器的照相机识别出了住宅配送者移动终端的LED闪烁。这里,在是的情况下,向图19的圈9前进。在否的情况下,向图19的圈返回。
[0591]图21表示订购号码对照后的门禁电话宅外器3001c与住宅配送者移动终端3001f间的流程。以下,对图21进行说明。
[0592]门禁电话宅外器3001c接着图19的圈11,在步骤3007a中,关于门禁电话宅内器通知的LED闪烁是否与订购号码一致确认是否有通知。这里,在否的情况下向图19的圈11返回。另一方面,在是的情况下向步骤3007b前进,通过门禁电话宅外器进行表示是否一致的LED闪烁并结束。[0593]此外,如图21所示,门禁电话宅内器3001b接着图19的圈10,在步骤3007c中,用门禁电话宅内器将配送者已到达的显示调出,通过声音输出向订购者通知。接着,在步骤3007d中,向门禁电话宅外器指示表示LED闪烁的中止与订购号码一致的LED闪烁。接着结束。
[0594]另外,在公寓中住宅配送目标不在的情况下,有在玄关等设置收存住宅配送物的住宅配送盒的情况。住宅配送者在住宅配送时订购者不在的情况下,将住宅配送物向住宅配送盒收存。也可以是,通过使用住宅配送者移动终端3001f的LED对门禁电话宅外器3001c的照相机进行光通信并发送住宅配送物的尺寸,门禁电话宅外器3001c能够自动地仅利用与住宅配送物的尺寸相符的住宅配送盒。
[0595]如以上这样,根据实施方式3,能够实现使用光通信的Web信息及设备的协同。
[0596](实施方式4)
[0597]以下,对实施方式4进行说明。
[0598](向服务器登记用户和使用中的便携电话)
[0599]图22是用来说明向本实施方式的服务器登记用户和使用中的便携电话的处理的图。以下说明图22。
[0600]首先,在步骤400 Ib中,用户将应用起动。
[0601]接着,在步骤4001c中,将该用户和便携电话的信息向服务器对照。
[0602]接着,在步骤4001d中,确认在服务器的DB中是否登记有用户信息和使用中的便携电话的信息。
[0603]在是的情况下向步骤4001f前进,作为并行处理而开始(处理a)用户声音特性的解析,向图24的B前进。
[0604]另一方面,在否的情况下向4001e前进,向DB的便携电话表登记便携电话ID和用户ID,向图24的B前进。
[0605](处理a:用户声音特性的解析)
[0606]图23是用来说明本实施方式的用户声音特性的解析的处理的图。以下,说明图23。
[0607]首先,在步骤4002a中,从麦克风进行集音。
[0608]接着,在步骤4002b中,确认声音识别的结果是否将集音的声音推测为用户的声音。这里,在否的情况下向步骤4002a返回。
[0609]在是的情况下向步骤4002c前进,确认发生内容是否是在该应用中使用的键字(“向后”“返回”等)。在是的情况下,向步骤4002f前进,将声音数据向服务器的用户键字声音表登记,向步骤4002d前进。另一方面,在否的情况下向步骤4002d前进。
[0610]接着,在步骤4002d中,将声音特性(频率、声压、讲话速度)解析。
[0611]接着,在步骤4002e中,将解析结果向便携电话和服务器的用户声音特性表登记。
[0612](声音识别处理的准备)
[0613]图24是用来说明本实施方式的进行声音识别处理的准备的处理的图。以下,说明图24。
[0614]首先,接着图中的B,在步骤4003a中,(用户操作)进行显示烹调菜单一览的操作。[0615]接着,在步骤4003b中,从服务器取得烹调菜单一览。
[0616]接着,在步骤4003c中,将烹调菜单一览向便携设备画面显示。
[0617]接着,在步骤4004d中,从连接在便携电话上的麦克风开始集音。
[0618]接着,在步骤4003e中,作为并行处理而开始(处理b)从周边的集音设备的集音。
[0619]接着,在步骤4003f中,作为并行处理而开始(处理c)环境音特性的解析。
[0620]接着,在步骤4003g中,作为并行处理而开始(处理d)来自存在于周边的声音输出设备的声音的消除。
[0621]接着,在步骤4003h中,从服务器的DB取得用户声音特性。
[0622]最后,在步骤4003i中,开始用户声音的识别,向图28的C前进。
[0623](处理b:从周边的集音设备的集音)
[0624]图25是用来说明进行从本实施方式的周边的集音设备的集音的处理的图。以下,说明图25。
[0625]首先,在步骤4004a中,搜索从便携电话能够通信、能够集音的设备(集音设备)。
[0626]接着,在步骤4004b中,确认是否发现了集音设备。
[0627]这里,在否的情况下结束。在是的情况下向步骤4004c前进,从服务器取得集音器机的位置信息和麦克风特性信息。
[0628]接着,在步骤4004d中,确认在服务器中是否存在信息。
[0629]在是的情况下向步骤4004e前进,确认是否集音设备的设置位置距便携电话的位置足够近、能够将用户的声音集音。另外,在步骤4004e中为否的情况下,向步骤4004a返回。另一方面,在步骤4004e中为是的情况下,向步骤4004f前进,使集音设备开始集音。接着,在步骤4004g中,向便携电话发送由集音设备集音的声音,直到有集音处理结束的命令。另外,也可以不将集音的声音原样向便携电话发送,而向便携电话发送进行了声音识别的结果。此外,将向便携设备发送的声音与从连接在便携电话上的麦克风集音的声音同样处理,向步骤4004a返回。
[0630]另外,在步骤4004d中为否的情况下,向步骤4004h前进,使集音设备开始集音。接着,在步骤4004i中,从便携电话输出信号音。接着,在步骤4004j中,向便携电话发送由集音设备集音的声音。接着,在步骤4004k中,确认是否能够根据从集音设备传送的声音识别出信号音。这里,在是的情况下向步骤4004g前进,在否的情况下向步骤4004a返回。
[0631](处理c:环境音特性的解析)
[0632]图26是用来说明本实施方式的环境音特性的解析处理的图。以下,说明图26。
[0633]首先,在步骤4005f中,取得将该用户拥有的设备中的除了位置距电灶的位置足够远者以外的设备的列表。从DB取得这些设备发出的声音的数据。
[0634]接着,在步骤4005g中,将所取得的声音数据的特性(频率、声压等)解析,作为环境音特性保持。另外,处于电灶的附近的炊饭机等发出的声音由于特别容易发生误识别,所以设定较高的重要度并保持。
[0635]接着,在步骤4005a中,从麦克风集音。
[0636]接着,在步骤4005b中,确认集音的声音是否是用户的声音,在是的情况下向步骤4005a返回。在否的情况下,向步骤4005c前进,将集音的声音的特性(频率、声压)解析。
[0637]接着,在步骤4005d中,根据解析结果将环境音特性更新。[0638]接着,在步骤4005e中,确认结束标志是否亮起,在是的情况下结束。在否的情况下向步骤4005a返回。
[0639](处理d:将来自存在于周边的声音输出设备的声音消除)
[0640]图27是用来说明本实施方式的将来自存在于周边的声音输出设备的声音消除的处理的图。以下,说明图27。
[0641]首先,在步骤4006a中,搜索能够通信的设备且能够声音输出的设备(声音输出设备)。
[0642]接着,在步骤4006b中,确认是否发现了声音输出设备,在否的情况下结束。在是的情况下,向步骤4006c前进,使声音输出设备输出包含各种各样的频率的信号音。
[0643]接着,在步骤4006d中,用便携电话及图25的集音设备(各集音设备)进行集音,将从声音输出设备输出的信号音集音。
[0644]接着,在步骤4006e中,确认是否能够将信号音集音、识别,在否的情况下结束。在是的情况下,向步骤4006f前进,将从声音输出设备到各集音设备的传送特性(各频率的输出音量与集音的音量的关系、以及从信号音输出到集音的延迟时间)解析。
[0645]接着,在步骤4006g中,确认声音输出设备输出的声音数据是否从便携电话能够访问。
[0646]这里,在是的情况下向步骤4006h前进,在有消除处理结束的命令之前,取得从声音输出设备输出的声音源、输出部位、音量,一边考虑传送特性一边从由各集音设备集音的声音中将由声音输出设备输出的声音消除。向步骤4006a返回。另一方面,在否的情况下,向步骤4006i前进,在有消除处理结束的命令之前,取得从声音输出设备输出的声音,一边考虑传送特性一边从由各集音设备集音的声音将由声音输出设备输出的声音消除,向步骤4006a返回。
[0647](烹调菜单的选择和向电灶的运转内容设定)
[0648]图28是用来说明本实施方式的进行烹调菜单的选择和向电灶的运转内容设定的处理的图。以下,说明图28。
[0649]首先,接着图中的C,在步骤4007a中,(用户操作)选择想要烹调的菜单。
[0650]接着,在步骤4007b中,(用户操作)设定烹饪法参数(烹调的分量、味的浓度、火候调节等)。
[0651]接着,在步骤4007c中,从服务器取得与烹饪法参数相符的烹饪法数据,进行电灶运转内容设定命令。
[0652]接着,在步骤4007d中,向用户敦促使便携电话向植入在电灶中的非接触IC标签接触。
[0653]接着,在步骤4007e中,确认是否检测到向电灶的接触。
[0654]这里,在否的情况下向步骤4007e返回。在是的情况下,向步骤4007f前进,将从服务器取得的电灶的设定命令向电灶发送。由此,在该烹饪法中需要的电灶的设定全部被进行,用户仅通过按下电灶的运转开始按钮就能够烹调。
[0655]接着,在步骤4007g中,(处理e)从服务器等的DB取得电灶用的通知音,向电灶设定。
[0656]接着,在步骤4007h中,(处理f)进行电灶的通知音的调整,向图32的D前进。[0657](处理e:从服务器等的DB取得电灶用的通知音,向电灶设定)
[0658]图29是用来说明本实施方式的从服务器等的DB取得电灶用的通知音、向电灶设定的处理的图。以下,说明图29。
[0659]首先,在步骤4008a中,用户将便携电话向植入在电灶中的非接触IC标签靠近(=接触)。
[0660]接着,在步骤4008b中,向电灶询问在电灶中是否登记有面向该便携电话的通知音数据(在电灶的操作时或运转结束时输出的声音的数据)。
[0661]接着,在步骤4008c中,确认在电灶中是否登记有面向该便携电话的通知音数据。
[0662]这里,在是的情况下结束。在否的情况下,向步骤4008d前进,确认在便携设备中是否登记有面向该便携电话的通知音数据。在是的情况下,向步骤4008h前进,将登记在便携电话中的通知音数据向电灶登记并结束。另一方面,在否的情况下,向步骤4008e前进,参照服务器或便携电话或电灶的DB。
[0663]接着,在步骤4008f中,在DB中有面向该便携电话的通知音数据(该便携电话容易识别的通知音的数据)的情况下从DB取得该数据,在没有的情况下从DB取得面向一般的便携电话的通知音数据(一般便携电话容易识别的通知音的数据)。
[0664]接着,在步骤4008g中,将所取得的通知音数据向便携电话登记。
[0665]接着,在步骤4008h中,将登记在便携电话中的通知音数据向电灶登记并结束。
[0666](处理f:电灶的通知音的调整)
[0667]图30是用来说明本实施方式的进行电灶的通知音的调整的处理的图。以下,说明图30。
[0668]首先,在步骤4009a中,取得登记在便携电话中的该电灶的通知音数据。
[0669]接着,在步骤4009b中,确认该终端用的通知音的频率与环境音的频率的重叠是否为一定以上。
[0670]这里,在否的情况下结束。
[0671]另一方面,在是的情况下,向步骤4009c前进,将通知音的音量设定为相比环境音足够大的音量。或者将通知音的频率变更。
[0672]这里,如果举将频率变更的通知音的制作方法的一例,则如果电灶能够输出图31的(C)的声音,则以(C)的样式制作通知音并结束。如果(C)不能而(b)能够,则以(b)的样式制作通知音并结束。如果仅(a)能够,则以(a)的样式制作通知音并结束。
[0673]图31是表示本实施方式的向电灶设定的通知音的波形的例子的图。
[0674]图31(a)所示的波形是单纯的矩形波,能够由几乎全部的声音输出装置输出。由于容易与通知音以外的声音混淆,所以输出几次,如果能够识别其中的几个,则应当进行识别为该通知首响起等的对应。
[0675]图31 (b)所示的波形是通过短时间的矩形波将(a)的波形细小地划分那样的波形,如果声音输出装置的动作时钟足够快则能够输出。该声音在人的耳朵中能够与(a)的声音同样听到,但在机械识别中,有信息量比(a)多、难以与通知音以外的声音混淆的性质。
[0676]图31 (C)所示的波形是将声音输出部分的时间的长度改变的波形,称作PWM波形。比(b)难输出,但信息量比(b)多,也可以使识别率提高、从电灶向便携电话同时传递想要传递的信息。
[0677]另外,图31(b)、图31 (c)的波形相比图31(a)误识别的可能性较低,但与图31 (a)同样,通过将相同的波形重复多次,能够进一步提高识别率。
[0678](烹调内容的显示)
[0679]图32是表示本实施方式的向电灶设定的通知音的波形的例子的图。以下,说明图32。
[0680]首先,接着图中的D,在步骤4011a中,显示烹调内容。
[0681]接着,在步骤4011b中,确认烹调内容是否是电灶的运转。
[0682]这里,在是的情况下,向步骤4011c前进,向用户通知向电灶装入食材并按下运转开始按钮,向图33的E前进。
[0683]另一方面,在否的情况下,向步骤4011d前进,显示烹调内容,向图中的F前进或向步骤4011e前进。
[0684]在步骤4011e中,确认用户的操作是什么样的。在应用结束的情况下结束。
[0685]另一方面,在显示内容的变更操作、手输入(按钮按下等)、声音输入(“向后”“向前”等)的情况下,向步骤4011f前进,确认显示内容变更的结果是否是烹调结束。这里,在是的情况下,向步骤4011g前进,将烹调结束向用户通知并结束。在否的情况下向步骤4011a前进。
[0686](电灶的通知音的识别)
[0687]图33是用来说明本实施方式的进行电灶的通知音的识别的处理的图。以下,说明图33。
[0688]首先,接着图中的E,在步骤4012a中,作为并行处理,(处理g)开始从周边的集音设备的集音和电灶通知音的识别。
[0689]接着,在步骤4012f中,作为并行处理,(处理i)开始便携电话操作状态的确认。
[0690]接着,在步骤4012g中,作为并行处理,(处理j)开始用户位置的追踪。
[0691]接着,在步骤4012b中,对识别内容进行确认。
[0692]这里,在识别出按钮按下的通知音的情况下,向步骤4012c前进,登记设定变更,向步骤4012b返回。在识别出用户的操作的情况下,向图32的F前进。在从显示向电灶装入食材并按下运转开始按钮起经过运转时间后识别出(运转结束的通知音或将电灶的门打开的声音)的情况下,在步骤4012e中,(处理h)向用户通知电灶的运转结束,向图32的G前进。在识别出运转开始的通知音的情况下,向步骤4012d前进,待机直到经过运转时间,向步骤4012e前进,(处理h)向用户通知电灶的运转结束,向图32的G前进。
[0693](处理g:从周边的集音设备的集音和电灶通知音的识别)
[0694]图34是用来说明本实施方式的进行从周边的集音设备的集音和电灶通知音的识别的处理的图。以下,说明图34。
[0695]首先,在步骤4013a中,搜索能够从便携电话通信、能够集音的设备(集音设备)。
[0696]接着,在步骤4013b中,确认是否发现了集音设备。
[0697]这里,在否的情况下结束。另一方面,在是的情况下,向步骤4013c前进,从服务器取得集音器机的位置信息和麦克风特性信息。
[0698]接着,在步骤4013d中,确认在服务器中是否存在信息。[0699]在是的情况下,向步骤4013r前进,确认是否集音设备的设置位置距电灶足够近、能够将通知音集音。
[0700]这里,在步骤4013r中为否的情况下向步骤4013a返回。在是的情况下,向步骤4013s前进,确认集音设备的运算装置是否能够进行声音识别。在步骤4013s中为是的情况下,在步骤4013u中,向集音设备发送用于电灶的通知音识别的信息。接着,在步骤4013v中,使集音设备开始集音和声音识别,向便携电话发送识别结果。接着,在步骤4013q中,在向下个烹调阶段前进之前,进行电灶的通知音的识别处理,将识别结果向便携电话发送。另一方面,在步骤4013s中为否的情况下,向步骤4013t前进,使集音设备开始集音,将集音声音向便携电话发送。接着,在步骤4013j中,在向下个烹调阶段前进之前,将集音的声音向便携电话发送,由便携电话识别电灶的通知音。
[0701]另外,在步骤4013d中为否的情况下,向步骤4013e前进,确认集音设备的运算装置是否能够进行声音识别。
[0702]在是的情况下,向步骤4013k前进,向集音设备发送用于电灶的通知音识别的信息。接着,在步骤4013m中,使集音设备开始集音和声音识别,将识别结果向便携电话发送。接着,在步骤4013η中,使电灶的通知音响起。接着,在步骤4013ρ中,确认是否能够由集音设备识别上述通知音。在步骤4013ρ中为是的情况下,向4013q前进,在向下个烹调阶段前进之前进行电灶的通知音的识别处理,将识别结果向便携电话发送,向步骤4013a返回。在步骤4013p中为否的情况下,向步骤4013a返回。
[0703]此外,在步骤4013e中为否的情况下,向步骤4013f前进,使集音设备开始集音,将集音声音向便携电话发送。接着,在步骤4013g中,使电灶的通知音响起。接着,在步骤4013h中,对从集音设备送来的声音进行识别处理。接着,在步骤4013i中,确认是否能够识别上述通知音。这里,在是的情况下,向4013j前进,在向下个烹调阶段前进之前,将集音的声音向便携电话发送,由便携电话识别电灶的通知音,向步骤4013a返回。在否的情况下向步骤4013a返回。
[0704](处理h:向用户通知电灶的运转结束)
[0705]图35是用来说明本实施方式的向用户通知电灶的运转结束的处理的图。以下,说明图35。
[0706]首先,在步骤4013a中,确认是否能够判断出是正在使用便携电话中或根据传感器数据判断出便携电话是移动中。另外,在是的情况下,向步骤4014m前进,使用便携电话的画面显示、声音或振动等向用户通知电灶的运转结束并结束。
[0707]另一方面,在步骤4013a中为否的情况下,向步骤4014b前进,搜索由用户登入的PC等操作中的设备(用户操作中设备)。
[0708]接着,在步骤4014c中,确认是否发现了用户操作中设备。另外,在是的情况下,使用用户操作中设备的画面显示等向用户通知电灶的运转结束并结束。
[0709]另一方面,在步骤4014c中为否的情况下,向步骤4014e前进,搜索能够从便携电话通信、能够取得图像的设备(摄像设备)。
[0710]接着,在步骤4014f中,确认是否发现了摄像设备。
[0711]这里,在是的情况下,向步骤4014p前进,使摄像设备摄像,向摄像设备发送用户的脸数据,进行用户的脸识别。或者,将摄像图像向便携电话或服务器传送,在图像的发送目标中进行用户的脸识别。
[0712]接着,在步骤4014q中,确认是否识别出了用户的脸。在否的情况下向步骤4014e返回。在是的情况下,向步骤40141前进,确认在发现了用户的设备(发现设备)中是否有显示装置或发声装置。在步骤40141中为是的情况下,向步骤4014s前进,使用附属于设备的装置向用户通知电灶的运转结束并结束。
[0713]此外,在步骤4014f中为否的情况下,向步骤4014g前进,搜索能够从便携电话通信、能够集音的设备(集音设备)。
[0714]此外,在步骤4014h中为否的情况下,向步骤4014i前进,发现能够通过其他设备的操作或步行振动等的方法确定用户的位置的设备。接着,向步骤4014m前进,使用便携电话的画面显示、声音或振动等向用户通知电灶的运转结束并结束。
[0715]另外,在步骤4014i中为是的情况下,向步骤4014r前进,确认在发现了用户的设备(发现设备)中是否有显示装置或发声装置。这里,在否的情况下,向步骤4014t前进,从服务器取得发现设备的位置信息。
[0716]接着,在步骤4014U中,搜索处于发现设备的附近、有显示装置或发声装置的设备(通知设备)。接着,在步骤4014v中,考虑从通知设备到用户的距离,通过画面显示或足够的音量的声音向用户通知电灶的运转结束并结束。
[0717](处理1:便携电话操作状态的确认)
[0718]图36是用来说明本实施方式的进行便携电话操作状态的确认的处理的图。以下,说明图36。
[0719]首先,在步骤4015a中,确认是否是正在操作便携电话中,或便携电话正在移动,或在连接于便携电话上的输入输出装置中有输入输出,或正在将影像或音乐再现中,或处于距便携电话较近的位置的设备为操作中,或由处于距便携电话较近的位置的设备的照相机或各种传感器识别到了用户。
[0720]这里,在是的情况下,向步骤4015b前进,识别为用户的位置距该便携电话较近的概率较高,向步骤4015a返回。
[0721]另一方面,在否的情况下,向步骤4015c前进,确认是否处于距便携电话较远的位置的设备是操作中,或由处于距便携电话较远的位置的设备的照相机或各种传感器识别到用户,或是充电中。
[0722]在步骤4015c中,在是的情况下,向步骤4015d前进,识别为用户的位置距该便携电话较远的概率较高,向步骤4015a返回。在步骤4015c中,在否的情况下向步骤4015a返回。
[0723](处理j:用户位置的跟踪)
[0724]图37是用来说明本实施方式的进行用户位置的跟踪的处理的图。以下,说明图37。
[0725]首先,在步骤4016a中,确认是否由方位传感器、位置传感器或加速度传感器判断出便携电话正被移动。
[0726]在步骤4016a中为是的情况下,向步骤4016b前进,将便携电话和用户的位置向DB登记,向步骤4016a返回。
[0727]另一方面,在步骤4016a中为否的情况下,向步骤4016c前进,搜索能够从便携电话通信、照相机或麦克风、人感传感器等的能够检测用户的位置或用户存在的情况的设备(用户探知设备)。
[0728]接着,在步骤4016d中,确认是否发现集音设备。在步骤4016d中为否的情况下,向步骤4016a返回。
[0729]在步骤4016d中为是的情况下,向步骤4016e前进,确认是否由用户探知设备探知到用户。步骤4016e中为否的情况下,向步骤4016a返回。
[0730]在步骤4016e中为是的情况下,向步骤4016f前进,将用户的探知向便携电话发送。
[0731]接着,在步骤4016g中,将在用户探知设备的附近存在用户的情况向DB登记。
[0732]接着,在步骤4016h中,如果在DB中有用户探知设备的位置信息则取得,确定用户的位置,向步骤4016a返回。
[0733]图38是表不一边将来自声音输出装置的声音消除一边识别家电的通知音、使可通信的电子设备识别用户(操作者)的当前位置、根据用户位置的识别结果使处于距用户位置较近的位置的设备进行向用户的通知的图。此外,图39是表示在本实施方式的服务器或便携电话、电灶中保持的数据库的内容的图。
[0734]如图39所不,在电灶表4040a中,将电灶的机种、确定可输出的声音的数据(扬声器特性、调制方式等)、具有容易按照各种便携电话机种识别该便携电话的特性的通知音的数据、和一般的便携电话平均容易识别的通知音数据建立对应保持。
[0735]在便携设备表4040b中,将便携电话的各个体、该便携电话的机种、使用该便携电话的用户、和表示该便携电话的位置的数据建立对应保持。
[0736]在便携设备机种表4040c中,将便携电话的机种与在该便携电话机种中附带的麦克风等的集音特性建立对应保持。
[0737]在用户声音特性表4040d中,将用户与该用户的声音的声响特性建立对应保持。
[0738]在用户键字声音表4040e中,将用户、与该用户发声“向后” “返回”等的便携电话要识别的键字时的声音波形数据建立对应保持。另外,该数据也可以不是声音波形数据本身,而是将其解析、变形为容易处置的形式后的数据。
[0739]在用户拥有设备位置表4040f中,将用户、用户拥有的设备、和该设备的位置数据建立对应保持。
[0740]在用户拥有设备位置表4040g中,将用户、用户拥有的设备、和该设备发出的通知音或运转音等的声音的数据建立对应保持。
[0741]在用户位置表4040h中,将用户与用户的位置的数据建立对应保持。
[0742]此外,图40是表示本实施方式的用户基于显示在便携电话上的烹调次序进行烹调、此外用户通过“向后” “返回”等的声音操作便携电话的显示内容的图。图41是表示本实施方式的在开始电灶的运转、等待运转结束的期间、或煮东西的期间等的时间中、用户向其他场所移动的图。图42是表示对于经由网络与便携电话连接、并且照相机或麦克风、人感传感器等的能够进行用户的位置的识别或能够识别用户存在的设备、从便携电话发送探知用户的命令的图。图43作为用户的探知的例子而表示用电视机附带的照相机识别用户的脸、此外用空调的人感传感器识别用户的移动或存在的图。另外,该识别处理也可以由电视机或空调进行,也可以将图像数据等向便携电话或服务器发送,由发送目标进行识别处理。但是,从隐私保护的观点,不应将用户的数据向外部服务器发送。
[0743]图44是表示从探知到用户的设备向便携电话发送探知到用户的情况、及从探知到的设备到用户的相对位置的图。
[0744]这样,如果在DB中存在探知到用户的设备的位置信息,则能够确定用户的位置。
[0745]图45是表示本实施方式的便携电话识别电灶的运转结束音的图。图46是表示识别出电灶的运转结束的便携电话对探知到用户的设备中的、具有画面显示功能或声音输出功能的设备(在本图中是处于用户的正面的电视机)发送向用户通知电灶的运转结束的命令的图。
[0746]图47是表示接受到上述命令的设备将通知内容向用户通知(在本图中,在电视机的画面上显示电灶的运转已结束)的图。图48是表示经由网络与便携电话连接、具备麦克风、存在于电灶的附近的设备识别电灶的运转结束音的图。图49是表示从识别到电灶的运转结束的设备向便携电话通知该情况的图。图50是表示当便携电话接受到电灶的运转结束的通知时、如果便携电话处于用户的附近则使用便携电话的画面显示或声音输出等向用户通知电灶的运转结束的图。
[0747]图51是表示将电灶的运转结束向用户通知的图。具体而言,图51是表示当便携电话接受到电灶的运转结束的通知时、如果便携电话不在用户的附近、则在探知到用户的设备中的、对具有画面显示功能或声音输出功能的设备(在本图中处于用户的正面的电视机)发送向用户通知电灶的运转结束的命令、接受到该命令的设备向用户通知电灶的运转结束的图。表示当便携电话连接在充电器上时,便携电话在电灶的附近、用户的附近都不存在的情况较多,容易发生本图所示的状况。
[0748]图52是表示接受到电灶的运转结束的通知的用户向厨房移动的图。另外,此时便携电话显示接着的烹调内容。此外也可以是,便携电话通过声音等识别出用户已向厨房移动,在正合适的时机开始接着的烹调次序的说明。
[0749]图53是表示从电灶通过无线通信向便携电话发送运转结束等的信息、从便携电话对用户正观看的电视机进行通知命令、通过电视机的画面显示或声音向用户进行通知的图。
[0750]另外,信息源设备(在本图中是电灶)与便携电话的通信、及便携电话与向用户进行通知的设备(在本图中是电视机)的通信可以利用家庭内LAN,或直接的无线通信,特别是700MHz?900MHz台的无线通信等。此外,这里利用便携电话作为枢纽,但可以代替便携电话而利用具有通信能力的其他设备。
[0751]图54是表示从电灶通过无线通信向用户正观看的电视机发送运转结束等的信息、使用电视机的画面显示或声音对用户进行通知的。它表示不经由在图53中承担作为枢纽的作用的便携电话的情况下的动作。
[0752]图55是表示在I层的空调进行某个信息通知的情况下、向2层的空调发送信息、从2层的空调向便携电话发送信息、从便携电话对用户观看的电视机进行通知命令、通过电视机的画面显示或声音对用户进行通知的图。它表示在不能从信息源设备(在本图中是I层的空调)向作为枢纽的便携电话直接通信的情况下向能够通信的其他设备发送信息、进行到便携电话为止的通信。
[0753]图56是表示向处于远程的用户进行信息的通知的图。具体而言,图56表示从经由声音、光或无线通信等从电灶接受到通知的便携电话通过因特网或载波通信向处于远程的用户进行信息的通知。图57是表示在不能从电灶向作为枢纽的便携电话进行直接通信的情况下、经由个人计算机等对便携电话发送信息的图。图58是表示从图57的接受到通信的便携电话逆向沿着信息通信路径对电灶发送操作命令等的信息的图。
[0754]另外,便携电话也可以接受图57的信息、自动地发送信息,也可以将该信息向用户通知、接受到该通知而发送用户进行的操作的信息。
[0755]图59是表示从作为信息源设备的空调不能对作为枢纽的便携电话进行直接的通信的情况下、对用户进行信息的通知的图。具体而言,图59表示,在不能从作为信息源设备的空调对作为枢纽的便携电话进行直接的通信的情况下,首先,在圈I中,对个人计算机等的、作为向便携电话的通信的阶梯的设备发送信息,在圈2和圈3中,通过因特网或载波通信网从个人计算机向便携电话发送信息,便携电话自动处理该信息,或者,接受拿着便携电话的用户的操作,在圈4和圈5中,通过因特网或载波通信网将信息向个人计算机发送,在圈6中,个人计算机对能够向想要通知的用户通知的设备(在本图中是电视机)发送通知命令,在圈7中,使用电视机的画面显示或声音对用户进行信息的通知。
[0756]这样的状况在应接受来自空调的通知信息的用户与正使用便携电话的用户不同的情况下容易发生。
[0757]另外,在本图中,在个人计算机与便携电话之间的通信中经由因特网或载波通信网,但也可以通过家庭内LAN或直接通信等进行通信。
[0758]图60是用来对利用使用700?900MHz的电波的通信装置的系统说明的图。具体而言,在图60的结构中,对利用使用700?900MHz的电波(以下称作G电波)的通信装置(以下称作G装置)的系统进行说明,表示从带有G装置的电灶对带有G装置的3层的便携电话使用G电波发送信息、从带有G装置的3层的便携电话利用家庭内网络对没有G装置的2层的便携电话发送信息、从2层的便携电话向用户进行信息的通知。
[0759]另外,可以考虑在带有G装置的设备间的通信的登记、认证中使用附属于两设备的否FC的方法。此外,在某个设备中没有NFC的情况下,可以考虑作为登记模式而降低G电波的输出以使得仅在10?20cm程度的距离下能够通信、在将双方的设备靠近而通信成功的情况下进行G装置间的通信的登记、认证的方法。
[0760]此外,信息源设备(在本图中是电灶)只要具备G装置,也可以是电灶以外的设备。
[0761]此外,进行信息源设备和信息通知设备(在本图中是2层的便携电话)的中继的设备(在本图中是3层的便携电话)只要能够对G电波和家庭内网络访问,也可以不是便携电话,而是个人计算机、空调或智能电表等的设备。
[0762]此外,信息通知设备只要能够向家庭内网络访问、能够使用画面显示或声音输出等进行向用户的通知,也可以不是便携电话,而是个人计算机或电视机等的设备。
[0763]图61是表示远程的便携电话对用户通知信息的图。具体而言,图61表示从带有G装置的空调对带有G装置的宅内的便携电话发送信息、从宅内的便携电话通过因特网或载波通信网对远程的便携电话发送信息、用远程的便携电话向用户通知信息。
[0764]另外,信息源设备(在本图中是空调)只要具备G装置,也可以是电灶以外的设备。[0765]此外,进行信息源设备和信息通知设备(在本图中是远程的便携电话)的中继的设备(在本图中是宅内的便携电话)只要能够对G电波和因特网或载波通信网访问,也可以不是便携电话,而是个人计算机、空调或智能电表等的设备。
[0766]另外,信息通知设备只要能够对因特网或载波通信网访问、能够使用画面显示或声音输出等进行向用户的通知,也可以不是便携电话,而是个人计算机或电视机等的设备。
[0767]图62是表示远程的便携电话向用户进行信息的通知的图。具体而言,图62表示,带有G装置的电视机识别没有G装置的电灶的通知音,电视机经由G电波向带有G装置的宅内的便携电话发送信息,从宅内的便携电话经由因特网或载波通信网向远程的便携电话发送信息,远程的便携电话向用户进行信息的通知。
[0768]另外,信息源设备(在本图中是电灶)如果是其他设备也同样,通知识别设备(在本图中是电视机)识别信息源设备的通知的方法如果不是声音而是发光状态等也是同样的。
[0769]此外,通知识别设备也即使是带有G装置的其他设备也同样。此外,进行通知识别设备和信息通知设备(在本图中是远程的便携电话)的中继的设备(在本图中是宅内的便携电话)只要能够对G电波和因特网或载波通信网访问,也可以不是便携电话,而是个人计算机、空调或智能电表等的设备。
[0770]另外,信息通知设备只要能够对因特网或载波通信网访问、能够使用画面显示或声音输出等进行向用户的通知,也可以不是便携电话,而是个人计算机或电视机等的设备。
[0771]此外,图63是在与图62同样的情况下、代替进行通知识别设备(在本图中是2层的电视机)和信息通知设备(在本图中是远程的便携电话)的中继的设备(在图62中是宅内的便携电话)而由2层的电视机发挥中继设备的作用的情况下的图。
`[0772]根据以上,本实施方式的装置实现以下的功能。
[0773].通过应用的利用来学习用户的声音特性的功能
[0774]?在能够从便携电话通信、具有集音功能的设备中、找到能够将从便携电话发出的声音集音的集音设备的功能
[0775]?在能够从便携电话通信、具有集音功能的设备中、找到能够将从电子设备发出的声音集音的集音设备的功能
[0776].将由集音设备集音的声音原样或将声音识别结果向便携电话发送的功能
[0777].将环境首的特性解析、使声首识别的精度提闻的功能
[0778].从DB取得能够从用户拥有的设备输出的声音、使声音识别的精度提高的功能
[0779]?在能够从便携电话通信、具有集音功能的设备中、找到便携电话或集音设备能够将从该设备发出的声音集音的声音输出设备的功能
[0780].取得从声音输出设备输出的声音数据、通过考虑传送特性而从集音声音中减除、从集音声音中将不需要的声音消除的功能
[0781]?接受烹调烹饪法的参数输入、从服务器取得对用户进行指示的烹调次序、和用来控制烹调设备的控制数据的功能
[0782]?基于设备能够输出的声音的数据设定设备发出的通知音、以使便携电话或集音设备容易识别的功能
[0783]?通过基于用户的声音特性调整识别功能、使用户声音的识别精度提高的功能[0784].使用多个集音设备识别用户的声音的功能
[0785].使用多个集音设备识别电子设备的通知音的功能
[0786].经由便携电话和电子设备的非接触IC卡等、仅通过一次的操作、为了进行一系列的作业而从电子设备得到需要的信息、对电灶进行设定的功能
[0787]?在从便携电话能够通信的设备中,使用照相机或麦克风、人感传感器等的能够探知用户的设备探索用户、将用户的当前位置向便携电话发送或向DB保存的功能
[0788].使用保存在DB中的用户位置、从存在于附近的设备对用户进行通知的功能
[0789]?根据便携电话的状态(操作状态、传感器值、充电状态、数据链路状态等)推测在便携电话的附近是否存在用户的功能[0790]另外,在图22到图52的处理中,如果分别将声音数据改读作发光数据(频率或亮度等)、将声音输出改读作发光、将集音改读作受光,也能够实现同样的功能。
[0791]此外,在本实施方式中以电灶为例,但发出识别的通知音的电子设备如果不是电灶,而改变为洗衣机或炊饭机、清扫机、电冰箱、空气净化机、热水壶、餐具清洗干燥机、空调、个人计算机、便携电话、电视机、汽车、电话、邮件收信装置等,也有同样的效果。
[0792]此外,在本实施方式中,电灶、便携电话、和电视机等的向用户进行通知的设备直接进行通信,但在直接的通信中存在不良状况的情况下,也可以经过其他设备间接地进行通信。
[0793]此外,在本实施方式中,设想了主要利用家庭LAN的通信,但如果是经由设备彼此的直接无线通信、因特网或载波通信网的通信的情况,也能够实现同样的功能。
[0794]此外,在本实施方式中,将使用者的场所通过从便携电话的一下子的询问、用TV的照相机等进行人物识别,向本人的便携电话加密发送,所以具有防止个人信息的泄漏的效果。在家中有多个人的情况下,通过将空调或空气净化机、电冰箱的人感传感器的数据放置到便携设备等的位置管理数据库中,通过随着识别了一次的操作者的移动用传感器跟踪,也能够推测操作者的位置。
[0795]另外,在用户持有具备陀螺仪或方位计的便携电话的情况下,可以将所确定的位置数据登记到用户位置数据库中。
[0796]此外,当操作者将便携设备放置时,首先,由于物理传感器的运动在一定期间中静止,所以能够检测到该情况。接着离开的情况,使用家电或照明器具的人感传感器或按钮操作、TV等的照相机、便携设备的麦克风等检测。并且,将其位置向便携设备或家内的服务器的用户位置数据库登记。
[0797]如以上这样,根据实施方式4,能够实现能够进行设备间的通信的信息通信装置(识别装置)。
[0798]具体而言,本实施方式的信息通信装置也可以包括在从操作终端能够通信的电子设备中探索具有集音功能的电子设备(集音设备)、利用上述集音设备的集音功能识别别的电子设备的通知音的识别装置。
[0799]这里,该识别装置还可以是利用仅能够将从操作终端发出的信号音集音的集音设备的集音功能的识别装置。
[0800]此外,本实施方式的信息通信装置也可以包括在从操作终端能够通信的电子设备中探索具有集音功能的电子设备(集音设备)、将上述声音输出设备与上述集音设备之间的声音传送特性解析而取得上述声音输出设备的输出声音数据、根据上述声音传送特性和上述输出声音数据、从集音声音中将从上述声音输出设备输出的声音消除的集音装置。
[0801]此外,本实施方式的信息通信装置也可以包括调整想要识别通知音的电子设备的通知音、以使其不会被环境音掩埋的识别装置。
[0802]此外,本实施方式的信息通信装置也可以是,将用户拥有的电子设备(拥有电子设备)、拥有电子设备输出的声音的数据和拥有电子设备的位置数据保持在数据库中,包括调整上述想要识别的电子设备的上述通知音、以便容易区别拥有电子设备输出的声音和想要通知音的电子设备的通知音的识别装置。
[0803]这里,该识别装置还可以是调整声音识别处理、以便容易区别拥有电子设备输出的声音和想要识别通知音的电子设备的通知音的识别装置。
[0804]此外,本实施方式的信息通信装置也可以包括利用操作终端的操作状态、物理传感器的传感器值、数据链路状态和充电状态、识别上述操作终端与操作者的位置是否较近的识别装置。
[0805]这里,该识别装置还可以是利用能够从上述操作终端通信的电子设备的操作状态、照相机、麦克风、人感传感器、保持在数据库中的上述电子设备的位置数据识别用户的位置的识别装置。
[0806]此外,该上述识别装置还可以包含在信息通知装置中,所述信息通知装置利用上述用户位置的识别结果、和保持在数据库中的、具有能够通过画面显示或声音输出等的手段向上述用户通知的功能的电子设备(通知设备)的位置数据,使用能够向上述用户通知的上述通知设备对用户进行信息的通知。
[0807]另外,这些全局的或具体的技术方案也可以由系统、方法、集成电路、计算机程序或记录介质实现,也可以通过系统、方法、集成电路、计算机程序或记录介质的任意的组合实现。
[0808](实施方式5)
[0809]当前,在无线通信中研究了各种各样的简单认证方式。例如,在由W1-Fi联盟制定的无线LAN的WPS中,规定了按钮方式、PIN输入方式、NFC方式等。在无线的各种各样的简单认证方式中,对于正使用设备的用户是否要进行认证,通过限定时间、或者确定处于能够直接接触到双方的设备上来判断,进行认证。
[0810]但是,限定时间的方法在有恶意的用户处于某种程度接近的距离中的情况下不能说是安全的。此外,在家电设备等的固定放置设备中,有直接碰触较困难或较麻烦的情况。
[0811]所以,在本实施方式中,说明通过在无线认证中使用采用可视光的通信、确定要进行认证的用户确实处于房间内、简单且安全地进行家电设备的无线认证的方法。
[0812]图64是表不本实施方式的宅内的环境的例子的图。图65是表不本实施方式的家电设备与智能电话的通信的例子的图。图66是表示本实施方式的发送侧装置的结构的图。图67是表示本实施方式的接收侧装置的结构的图。图64?图67是与图1?图4同样的图,详细的说明省略。
[0813]宅内环境可以考虑图64所示那样的、将用户在厨房中拿持的平板电脑与处于起居室中的TV认证那样的环境。两者是能够连接到无线LAN的终端,假设安装了 WPS模组。
[0814]图68是在图64中、发送侧终端(TV)与接收侧终端(平板电脑)使用光通信进行无线LAN认证的情况下的顺序图。以下,对图68进行说明。
[0815]首先,例如图66所示那样的发送侧终端制作随机数(步骤5001a)。接着,向WPS的寄存器登记(步骤5001b)。进而,如登记在寄存器中的随机数的样式那样使发光元件发光(步骤5001c)。
[0816]另一方面,在发送侧装置的发光元件发光的期间中,例如在图67所示那样的接收侧装置中,以光认证模式使照相机起动。这里,所谓光认证模式,是能够识别发光元件为认证用而发光的模式,是指能够与发光侧的周期匹配而摄影的运动图像摄影模式。
[0817]S卩,首先,用户将发送侧终端的发光元件摄影(步骤5001d)。接着,接收侧终端通过摄影而受光随机数(步骤5001e)。接着,受光到随机数的接收侧终端将随机数作为WPS的PIN输入(步骤5001f)。
[0818]这里,成为了由双方共享PIN的状态的收发终端按照WPS中的规定,进行认证处理(步骤 500 Ig)。
[0819]接着,如果认证完成,则发送侧终端从寄存器将随机数删除,使得不会受理来自多个终端的认证(500 Ih)。
[0820]另外,本方式并不限于无线LAN的认证,能够应用到使用共享密钥的无线的认证方式全部中。
[0821]此外,本方式并不限定于无线的认证方式。对于例如在TV与平板电脑间的两者中搭载的应用的认证也能够适用。
[0822]图69是本实施方式的进行应用中的认证的情况下的顺序图。以下,说明图69。
[0823]首先,发送侧终端根据终端的状态制作发送侧ID (步骤5002a)。这里,发送侧ID既可以是随机数,也可以是用于加密的密钥。此外,也可以包含发送侧终端的终端ID(MAC地址、IP地址)。接着,发送侧终端如发送侧ID的样式那样发光(步骤5002b)。
[0824]另一方面,接收侧装置以与无线认证的情况相同的次序受光发送侧ID(步骤5002f)。接着,接收侧装置如果接收到发送侧ID,则制作能够证明已接收到发送侧ID的接收侧ID (步骤5002g)。例如,也可以是用发送侧ID加密的接收侧终端的终端ID。此外,也可以包括在接收侧终端中起动的应用的进程ID或口令。接着,接收侧终端将接收侧ID通过无线进行广播(步骤5002h)。另外,在发送侧ID中包含发送侧终端的终端ID的情况下也可以进行单播。
[0825]接着,用无线接收到接收侧ID的5002c发送侧终端与发送来所接收到的接收侧ID的终端使用相互共享的发送侧ID进行认证(步骤5002d)。
[0826]图70是表示本实施方式的发送侧终端的动作的流程图。以下,对图70进行说明。
[0827]首先,发送侧终端发光与终端的状态对应的ID (步骤5003a)。
[0828]接着,以与ID对应的样式发光(步骤5003b)。
[0829]接着,确认是否有与发光的ID对应的无线应答(步骤5003c)。在有应答的情况下(步骤5003c中是),对应答来的终端进行认证处理(步骤5003d)。另外,在步骤5003c中,在没有应答的情况下,等待过期时间(步骤5003i),显示无应答并结束(步骤5003j)。
[0830]接着,在步骤5003e中确认认证处理是否成功,在认证处理成功的情况下(步骤5003e中是),如果在发光的ID中包含认证以外的命令(步骤5003f中是),则进行遵循命令的处理(步骤5003g)。[0831]另外,在步骤5003e中认证失败的情况下,显示认证错误(步骤5003h)并结束。
[0832]图71是表示本实施方式的接收侧终端的动作的流程图。以下,对图71进行说明。
[0833]首先,接收侧终端以光认证模式将照相机起动(步骤5004a)。
[0834]接着,确认是否能够以特定样式受光到光(步骤5004b),在能够确认的情况下(步骤5004b中是),制作能够证明接收到了发送侧ID的接收侧ID (步骤5004c)。另外,在不能确认的情况下(步骤5004b中否),等待过期时间(步骤5004i中是),显示过期(步骤5004j)并结束。
[0835]接着,确认在发送侧终端中是否包含发送终端的ID (步骤5004k),在包含的情况下(步骤5004k中是),向该终端将接收侧ID单播发送(步骤5004d)。另一方面,在不包含的情况下(步骤5004k中否)进行广播(步骤50041)。
[0836]接着,从发送终端侧开始认证处理(步骤5004e),在认证处理成功的情况下(步骤5004e中是),判断在受光到的ID中是否包含有命令(步骤5004f)。在步骤5004f中判断为包含的情况下(步骤5004f中是),进行与ID对应的处理(步骤5004g)。
[0837]另外,在步骤5004e中认证失败的情况下(步骤5004e中否),显示认证错误(步骤5004h)并结束。
[0838]以上,根据本实施方式,通过在无线认证中使用利用可视光的通信,能够确定要认证的用户确实处于房间内,简单且安全地进行家电设备的无线认证。
[0839](实施方式6)
[0840]在上述实施方式中,说明了使用NFC通信及高速无线通信进行数据交换时的流程,但并不限定于此。本实施方式当然也可以设为例如图72?图74所示那样的流程。
[0841]图72是本实施方式的移动AV终端I向移动AV终端2发送数据的顺序图。具体而言,图72表示使用NFC-无线LAN无线通信的数据收发的顺序图。以下,说明图72。
[0842]移动AV终端I首先在画面上显示作为向移动AV终端2发送的对象的数据。
[0843]这里,如果移动AV终端I和移动AV终端2通过使相互的设备接触而进行NFC通信,则移动AV终端I在画面上发出是否进行数据发送的确认画面。该确认画面既可以是与“是否发送数据?”的文字一起向用户要求“是/否”的选择的画面,也可以为通过再一次接触在移动AV终端I的画面上而开始数据发送那样的界面。
[0844]在数据发送意思确认为OK的情况下,移动AV终端I和移动AV终端2通过NFC通信交换发送的数据的信息及用来建立高速无线通信的信息。发送的数据的信息也可以通过无线LAN通信进行。关于无线LAN通信建立的信息既可以是通信频道或SSID、加密密钥信息,也可以是交换随机生成的ID信息、通过该信息建立安全的通信路的方式。
[0845]如果无线LAN通信建立,则移动AV终端I和移动AV终端2进行通过无线LAN通信的数据通信,将移动AV终端I的发送对象的数据向移动AV终端2发送。
[0846]接着,使用图73、图74,进行以移动AV终端I及移动AV终端2的画面的变迁为中心的说明。图73是本实施方式的移动AV终端I向移动AV终端2发送数据的情况下的画面变迁图。图74是本实施方式的移动AV终端I向移动AV终端2发送数据的情况下的画面变迁图。
[0847]在图73及图74中,在移动AV终端I中用户首先将再现运动图像静止图像的应用起动。该应用将处于移动AV终端I内的静止图像或运动图像数据显示。[0848]这里,通过使移动AV终端I与移动AV终端2准接触而进行NFC通信。该NFC通信是用来在移动AV终端I中开始静止图像或运动图像数据的交换的处理。
[0849]首先,如果移动AV终端I和移动AV终端2通过NFC通信识别数据交换的开始,则在移动AV终端I的画面上显示是否可以数据发送的确认画面。另外,该确认画面如图73那样,既可以是为了数据发送开始而使用户接触画面那样的界面,也可以是使用户以是/否选择数据发送可否的界面。在数据发送开始判断中为是的情况下,即在移动AV终端I向移动AV终端2发送数据的情况下,移动AV终端I向移动AV终端2发送交换的数据的信息、和关于通过无线LAN的高速无线通信开始的信息。另外,该交换的数据的信息也可以使用高速无线通信进行。
[0850]接着,如果移动AV终端I及移动AV终端2收发关于通过无线LAN的高速无线通信开始的信息,则进行用来建立无线LAN通信的连接的处理。该处理包括以怎样的频道进行通信、在通信拓扑上哪个为母终端、哪个为子终端、口令信息或相互的SSID或终端信息的交换等。
[0851]接着,如果建立无线LAN通信的连接,则移动AV终端I及移动AV终端2发送通过无线LAN通信的数据。在数据发送中,移动AV终端I如通常那样显示运动图像的再现画面,作为接收数据侧的移动AV终端2显示表示数据接收中的画面。这是因为,如果对移动AV终端I显示数据发送中的画面则不再能进行其他处理,所以通过将数据发送在后台进行,具有用户的方便性提高的优点。此外,移动AV终端2是正在接收数据中,通过在画面上显示表示数据接收中的画面以便能够将接收到的数据立即显示,具有在数据的接收完成时能够立即将接受诊断的数据显示的优点。
[0852]最后,移动AV终端2如果数据的接收完成,则将接受诊断的数据显示到画面上。
[0853]图75?图77是表示本实施方式的移动AV终端I是数字照相机的情况下的系统概略图。
[0854]如图75所示,即使移动AV终端I是数字照相机,本实施的便携终端也当然能够使用。
[0855]此外,在移动AV终端I是数字照相机的情况下,一般数字照相机具有通过无线LAN的因特网访问的手段、但不具有通过移动通信进行的因特网访问的手段的情况较多。
[0856]因此,如图76或图77那样,优选的是构成为,数字照相机(移动AV终端I)能够进行无线LAN通信的环境下,将通过无线LAN摄影的图像数据向照片共享服务发送,在不能进行无线LAN通信的环境中,向移动AV终端2首先使用无线LAN发送数据,移动AV终端2将接受了诊断的数据原样通过便携电话通信向照片共享服务发送。
[0857]无线LAN通信与便携电话通信相比是高速的,所以通过在能够进行无线LAN通信的情况下进行无线LAN通信,能够高速地将照片向照片共享服务发送。此外,便携电话通信网与无线LAN通信网相比服务区域一般较广,所以在没有无线LAN环境的情况下,通过具有将移动AV终端2作为中继通过便携电话通信向照片共享服务发送数据的功能,能够在各种各样的场所立即将照片向照片共享服务发送。
[0858]以上,根据本实施方式,能够使用NFC通信及高速无线通信进行数据交换。
[0859]以上,基于实施方式对有关本发明的一个或多个技术方案的信息通信装置等进行了说明,但本发明并不限定于该实施方式。只要不脱离本发明的主旨,对本实施方式实施了本领域的技术人员想到的各种变形后的形态、或将不同的实施方式的构成要素组合而构建的形态也包含在本发明的一个或多个技术方案的范围内。
[0860]另外,在上述各实施方式中,各构成要素也可以由专用的硬件构成、或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序读出并执行来实现。
[0861](实施方式7)
[0862]以下,对实施方式7进行说明。
[0863](发光部的亮度的观测)
[0864]CMOS传感器等的摄像元件不是I次进行全部的像素的曝光的,而如图78那样,按照行(曝光行)以时间差进行曝光,完成I张摄像图像。
[0865]在摄像元件的整面上拍摄有发光部的状态下,在将闪烁的发光部摄像的情况下,如图79那样,根据各曝光行是否拍摄有发光部的光,能够识别以超过摄像帧速率的速度闪烁的发光部的闪烁的状况。
[0866]通过该方法,以超过摄像帧速率的速度进行信息的传送。
[0867]在一张摄像图像中,曝光时间不重叠的曝光行有20行,当摄像的帧速率为30fps时,能够识别I毫秒周期的亮度变化。在曝光时间不重叠的曝光行有1000行的情况下,能够识别3万分之I秒(约33微秒)周期的亮度变化。另外,曝光时间例如设定得比10毫秒短。
[0868]图79表示一个曝光行的曝光完成后开始下个曝光行的曝光的情况。
[0869]在此情况下,当每I秒的帧数(帧速率)为f、构成I图像的曝光行数为I时,如果根据各曝光行是否受光一定以上的光来传送信息,则最大能够以Π位每秒的速度传送信
肩、O
[0870]另外,在不是按照行、而是按照像素以时间差进行曝光的情况下,能够更高速地进行通信。
[0871]此时,在每曝光行的像素数是m像素、通过各像素是否受光一定以上的光来传送信息的情况下,传送速度最大为f Im位每秒。
[0872]如图80那样,如果能够将由发光部的发光带来的各曝光行的曝光状态用多个水平识别,则通过将发光部的发光时间以比各曝光行的曝光时间短的单位的时间控制,能够传送更多的信息。
[0873]在能够将曝光状态在Elv阶段中识别的情况下,最大能够以flElv位每秒的速度传送信息。
[0874]此外,通过在与各曝光行的曝光的定时稍稍错开的定时使发光部发光,能够识别发信的基本周期。
[0875]图81表示在一个曝光行的曝光完成之前开始下个曝光行的曝光的情况。
[0876]在此情况下,根据各曝光行的明亮程度计算曝光时间,识别发光部的发光的状态。
[0877]另外,在在通过亮度是否是阈值以上的2值判别各曝光行的明亮程度的情况下,为了识别不发光的状态,发光部必须将不发光的状态持续各行的曝光时间以上的时间。
[0878]如图82那样,根据摄像装置,也有存在不进行曝光的时间(空白)的情况。
[0879]在存在空白的情况下,不能观察该时间的发光部的亮度。[0880]通过发光部将相同的信号反复发送两次以上,或附加错误校正码,能够防止由空白带来的传送损失。
[0881]发光部为了防止相同的信号总是在空白的期间中被发送,以与将图像摄像的周期互素(relatively prime)的周期、或者比将图像摄像的周期短的周期发送信号。
[0882](信号调制方式)
[0883]在载波中使用可视光的情况下,通过使发光部发光以将以人的视觉的时间分辨率(resolution) (5毫秒到20毫秒左右)为窗宽时的发光部的亮度的移动平均值保持为一定,如图83那样,对人而言发送装置的发光部看起来以均匀的亮度发光,同时接收装置能够观察发光部的亮度变化。
[0884]作为使发光部发光以将以人的视觉的时间分辨率为窗宽时的发光部的亮度的移动平均值保持为一定那样的调制方式,有图84所示的调制方法。假设当调制后的信号为O时不发光、为I时发光、在发送信号中没有偏倚,则发光部的亮度的平均值为发光时的亮度的约50%。
[0885]另外,假设发光/不发光的切换与人的视觉的时间分辨率是足够高速的。
[0886]作为使发光部发光以将以人的视觉的时间分辨率为窗宽时的发光部的亮度的移动平均值保持为一定那样的调制方式,有图85所示的调制方法。假设当调制后的信号为O时不发光、为I时发光、在发送信号中没有偏倚,则发光部的亮度的平均值为发光时的亮度的约75%。
[0887]与图84的调制方式相比,编码效率为0.5是同等的,但能够使平均亮度变高。
[0888]作为使发光部发光以将以人的视觉的时间分辨率为窗宽时的发光部的亮度的移动平均值保持为一定那样的调制方式,有图86所示的调制方法。假设当调制后的信号为O时不发光、为I时发光、在发送信号中没有偏倚,则发光部的亮度的平均值为发光时的亮度的约87.5%。
[0889]与图84、图85所示的调制方式相比,编码效率为0.375较差,但能够将平均亮度保
持得较高。
[0890]以下同样,能够进行与编码效率权衡(trade off)而使平均亮度变高的调制。
[0891 ] 作为使发光部发光以将以人的视觉的时间分辨率为窗宽时的发光部的亮度的移动平均值保持为一定那样的调制方式,有图87所示的调制方法。
[0892]假设当调制后的信号为O时不发光、为I时发光、在发送信号中没有偏倚,则发光部的亮度的平均值为发光时的亮度的约25%。
[0893]通过与图85所示的调制方式等组合而周期性地使调制方式变化,能够使发光部对于人或曝光时间较长的摄像装置而言看起来闪烁。
[0894]同样,通过使调制方法变化,能够使发光部对于人或曝光时间较长的摄像装置而言看起来一边进行任意的亮度变化一边发光。
[0895]在载波中使用可视光的情况下,通过使发光部发光以使以人的视觉的时间分辨率为窗宽时的发光部的亮度的移动平均值周期性地变化,如图88那样,对人而言可看到发信装置的发光部闪烁或以任意的节奏变化,同时接收装置能够观察发光信号。
[0896]如果使在背灯中使用LED光源的液晶TV的LED部发光,也能够得到同样的效果。在此情况下,通过至少降低光通信部的画面部分的对比度、向白色靠近,能够进行错误率较少的光通信。通过使整面或在通信中使用的画面部分为白色,能够提高通信速度。
[0897]在使用电视机的显示器等作为发光部的情况下,通过将以人的视觉的时间分辨率为窗宽时的发光部的亮度的移动平均值成为想要使人看到的图像的亮度,如图89那样,对人而言能看到通常那样的电视机的影像,同时接收装置能够观察发光信号。
[0898]通过将设为摄像图像每I帧的时间左右的窗宽时的发光部的亮度的移动平均值调节为按照摄像帧传送信号的情况下的信号的值,如图90那样,通过在从近距离摄像的情况下按照曝光行观察发送装置的发光状态、在从远距离摄像的情况下按照摄像帧观察发送装置的发光状态,能够以两种速度进行信号传输。
[0899]另外,在从近距离摄像的情况下,也能够接收在从远距离摄像的情况下能够接收的信号。
[0900]图91是表不按照曝光时间怎样观察发光的图。
[0901]由于摄像出的像素的亮度与将摄像元件曝光的时间的摄像对象的平均亮度成比例,所以如果曝光时间较短则如2217b那样原样观察到发光样式2217a,如果曝光时间较长,则如2217c、2217d、2217e那样观察。
[0902]另外,2217a为将图85所示的调制方式分形地反复使用的调制方式。
[0903]通过利用这样的发光样式,能够向具有曝光时间较短的摄像装置的接收装置发送许多信息,向具有曝光时间较长的摄像装置的接收装置同时发送较少的信息。
[0904]接收装置如果遍及曝光行的I行或一定数量的行而发光部推测位置的像素的亮度是一定以上则识别为接收到1,如果是一定以下则识别为接收到O。
[0905]I持续的情况与通常的(不发送信号而总是发亮)发光部没有区别,O持续的情况与不存在发光部的情况没有区别。
[0906]因此,发送装置也可以在相同的数字连续一定数量的情况下发送不同的数字。
[0907]此外,也可以如图92那样,分为必定包含I和O的头部和发送信号的体部而发送。在此情况下,相同的数字不超过5次连续出现。
[0908]在发光部处于不与I部分的曝光行相配的位置的情况下、或在存在空白的情况下,不能由接收装置的摄像装置捕捉发光部的全部的状况。
[0909]因此,需要表示该信号是整体的哪个部分的信号。
[0910]为此,如图93那样,有将数据部和表示数据的位置的地址部一起发送的方法。
[0911]另外,为了在接收装置中容易进行信号的接收,优选的是将把数据部和地址部加在一起的大小的发光样式的长度设定得足够短,以将发光样式用接收装置摄像到一张摄像图像中。
[0912]如图94那样,有发送装置发送基准部和数据部、接收装置根据与接收到基准部时的时刻的差识别数据的位置的方法。
[0913]如图95那样,有发送装置将基准部、地址样式部和数据部发送、接收装置根据处于基准部的接着之处的地址样式部得到数据部的数据和其位置的样式、根据该样式和接收到基准部的时刻与接收到各数据时的时刻的差识别数据的位置的方法。
[0914]通过能够利用多个种类的地址样式,不仅是均匀地发送数据,可以将重要性较高的数据或应先处理的数据先发送、或相比其他数据增加重复次数。
[0915]发光部不与全部的曝光行相配的情况下、或存在空白的情况下,不能由接收装置的摄像装置捕捉发光部的全部的状况。
[0916]如图96那样,通过附加头部,能够检测信号的划分、检测地址部或数据部。
[0917]在头部的发光样式中,使用在地址部或数据部中没有出现的样式。
[0918]例如,在使用表2200.2a的调制方式的情况下,可以使头部的发光样式为“0011”。
[0919]此外,如果使头部的样式为“ 11110011”,则平均亮度与其他部分相等,能够抑制用人的眼睛观察时的闪变。由于该头部的冗余性较高,所以能够在这里也叠加信息。例如,在头部的样式为“11100111”的情况下,可以表示正在发送装置间发送通信的内容等。
[0920]另外,为了在接收装置中容易进行信号的接收,优选的是将把数据部、地址部和头部加在一起的大小的发光样式的长度设定得足够短,以将发光样式用接收装置摄像到一张摄像图像中。
[0921]在图97中,发送装置通过优先级决定信息的发送顺序。
[0922]例如,使发送次数与优先级成比例。
[0923]接收装置在发送装置的发光部没有拍摄在接收装置的摄像部全部中的情况下或有空白的情况下,不能连续接收信号,所以发送的频度越高则容易越快地接收。
[0924]图98表示存在于附近的多个发送装置同步发送信息的样式。
[0925]通过多个发送装置将共通信息同时发送,能够看作一个较大的发送装置,能够用接收装置的摄像部较大地摄像,所以能够将信息更快、从更远接收。
[0926]发送装置在附近的发送装置的发光部均匀发光(不发送信号)的时间带中单独发送信息,以便不与存在于附近的发送装置的发光样式混淆。
[0927]发送装置也可以通过用受光部受光存在于附近的发送信号的发光样式,学习存在于附近的发送装置的发光样式,决定自身的发光样式。此外,发送装置也可以通过用受光部受光存在于附近的发送信号的发光样式,由其他发送装置的命令来决定自身的发光样式。此外,发送装置也可以按照集中控制装置的命令决定发光样式。
[0928](发光部的检测)
[0929]作为判断在摄像图像的哪个部分摄像了发光部的方法,有如图99那样在与曝光行垂直的方向上计数发光部被摄像的行数、将发光部最多被摄像的列作为发光部存在的列的方法。
[0930]发光部的接近于端部的部分在受光的程度上有波动,容易弄错发光部是否被摄像的判断,所以在发光部被摄像最多的列中也根据中央的列的像素的摄像结果将信号取出。
[0931]作为判断在摄像图像的哪个部分摄像了发光部的方法,如图100那样,有按照曝光行求出将发光部摄像的部分的中点、推测在将求出的点连结的近似线(直线或二次曲线)上存在发光部的方法。
[0932]也可以如图101那样,将前面的帧中的发光部的推测位置作为事前概率,根据当前的帧的信息将发光部的推测位置更新。
[0933]另外,也可以根据该期间的加速度传感器或陀螺仪传感器的值,将当前的发光部的推测位置更新。
[0934]如果说明图102,则当摄像范围为2212a时,如果将发光部2212b摄像,则摄像出摄像图像2212c、2212d、2212e那样的图像。
[0935]如果取摄像图像2212c、2212d、2212e的发光部分的和,则得到合成图像2212f,能够确定摄像图像中的发光部位置。
[0936]接收装置根据所确定的发光部的位置,检测发光部的发光的开启关闭。
[0937]另外,在使用图85所示的调制方式的情况下,由于发光概率是0.75,所以当取η张图像的和时,合成图像2212f中的发光部看起来发光的概率是I?0.25n。这里,例如当n=3时,该概率为约0.984。
[0938]另外,根据陀螺仪传感器、加速度传感器或磁传感器的传感器值推测摄像部的姿势、进行摄像方向的补偿后将图像合成时精度变高。但是,在合成图像数较少的情况下摄像时间较短,所以即使不进行摄像方向的补偿,不良影响也较少。
[0939]图103是表示接收装置将多个发光部摄像的情况的图。
[0940]在多个发光部发出相同的信号的情况下,从两者的发光样式取得一个发送信号。在多个发光部发出不同的信号的情况下,从各自的发光样式取得各自的发送信号。
[0941]在发送信号的相同地址的数据值不同的情况下,发送了不同的信号。另外,也可以根据发送信号的头部的样式来判断为发送了与附近的发送装置相同或不同的信号。
[0942]在发光部大致相邻的情况下,也可以看作发送了相同的信号。
[0943]在图104中,表示此时的发送信号的时间行、和将发光部摄像的图像。
[0944](通过位置样式进行的信号的传送)
[0945]在图105 中,发光部 2216a、2216c、2216e 均匀地发光,发光部 2216b、2216d、2216f通过发光样式将信号发信。另外,发光部2216b、2216d、2216f也可以单单只是发光,以使得如果接收装置按照曝光行摄像则可看到棋盘格图案。
[0946]在图105中,发光部2216a?2216f既可以是相同的发送装置的发光部,也可以是各自不同的发送装置。
[0947]发送装置通过发送信号的发光部的位置、和不发送的发光部的位置的样式(位置样式)来表现发送的信号。
[0948]在图105中,由于有6个发信部,所以能够发送2的6次幂=64值的信号。如果从不同的方向观察,则不应使用看起来相同的位置样式,但通过由接收装置的磁传感器等确定摄像方向,能够识别上述那样的样式。另外,也可以通过使哪个发光部发送信号根据时刻变化来发送更多的信号。
[0949]发送装置也可以在一部分的时间带中进行通过位置样式的信号发送,在别的时间带中以发光样式发送信号。例如,可以在一部分的时间带中使全部的发光部同步将发送装置的ID及位置信息以发光样式发送。
[0950]发光部的配置样式大致无限地存在,所以接收装置难以将全部的位置样式预先存储。
[0951]所以,接收装置以发送装置通过发光样式发送的发送装置的ID及位置信息、由无线基站得到的接收装置的推测位置、由GPS或陀螺仪传感器、加速度传感器、磁传感器推测的接收装置的位置信息为键字,从服务器取得存在于附近的位置样式的列表,基于该列表将位置样式解析。
[0952]根据该方式,用位置样式表现的信号不需要在全世界中是唯一的,只要相同的位置样式在附近(半径几米到300米左右)不存在就可以,发光部较少的发送装置能够解决能够表现的位置样式的数量较少的问题。[0953]可以从服务器取得发光部的大小、形状及位置信息,根据这些信息、摄像的位置样式的大小及形状、和摄像部的透镜特性推测接收装置的位置。
[0954](接收装置)
[0955]作为主要进行接收的通信装置,如图106那样,可以考虑便携电话或数字静像照相机、数字摄像机、头戴显示器、机器人(清扫用、照护用、产业用等)、监视照相机等。但是,接收装置并不限定于这些。
[0956]另外,所谓接收装置,是主要接收信号的通信装置,根据本实施方式的方式或其他方式,也有进行信号的发送的情况。
[0957](发送装置)
[0958]作为主要进行发送的通信装置,如图107那样,可以考虑照明(家庭用、店铺用、办公室用、地下街用、街道用等)、怀中电灯、家电、机器人、其他电子设备。但是,发送装置并不限定于这些。
[0959]另外,所谓发送装置,是主要发送信号的通信装置,根据本实施方式的方式或其他方式,也有进行信号的接收的情况。
[0960]发光部如图108所示,优选的是如使用LED照明或LED背灯的液晶等那样、发光/不发光的开关较高速的结构。但是,发光部并不限定于这些。
[0961]在发光部中,除了上述以外,可以考虑荧光灯、白炽电灯、水银灯或有机EL显示器等的照明。
[0962]另外,发光部被较大地摄像时传送效率变高,所以发送装置也可以如图109那样具备多个同步发光的发光部。此外,由于越是在与摄像元件的曝光行垂直的方向上较大地映照则传送效率越高,所以发光部也可以排列为一列而设置。此外,在将接收装置自然构成的情况下也可以将发光部与曝光行垂直地排列。此外,在预想会从多个方向摄像的情况下,也可以如图110那样将发光部配置为十字形。此外,在预想会从多个方向摄像的情况下,也可以如图111那样,使用圆形的发光部、或将发光部配置为圆形。此外,较大地摄像由于传送效率变高,所以发送装置也可以如图112那样将散光板覆盖到发光部上。
[0963]如图113那样,发送不同的信号的发光部离开距离配置,以便不会同时被摄像。此夕卜,如图114那样,发送不同的信号的发光部在中间配置不发送信号的发光部,以便不会同时被摄像。
[0964](发光部的构造)
[0965]图115是表示发光部的优选的构造的图。
[0966]如2311a那样,通过使发光部和其周围的材料为反射率较低的材料,即使是光照在发光部周边的情况,接收装置也能够容易地识别发光的状况。此外,如2311b那样,通过设置阻挡外光的伞,光照在发光部周边,能够使接收装置容易识别发光的状况。此外,如2311c那样,通过在靠里的部分设置发光部,光照在发光部周边,能够使接收装置容易识别发光的状况。
[0967](信号载波)
[0968]输送信号的光(电磁波)使用接收装置能够受光的、图116所示的近红外线带?可视光带?近紫外线带的频率带的光(电磁波)。
[0969](摄像部)[0970]在图117中,接收装置的摄像部在摄像范围2310a中检测进行样式发光的发光部2310b。
[0971]摄像控制部代替使用其他曝光行,反复使用发光部的中心位置的曝光行2310c取得摄像图像2310d。
[0972]摄像图像2310d为曝光时间不同的相同场所的图像。通过将摄像图像2310d的发光部拍摄的像素在与曝光行垂直方向上扫描,能够观察发光部的发光样式。
[0973]通过该方法,即使是发光部仅存在于摄像图像中的一部分中的情况,也能够将发光部的亮度变化观察更长的时间。因此,即使是将较小的发光部或从较远将发光部摄像的情况,也能够读取信号。
[0974]在没有空白的情况下,通过该方法,只要用摄像装置的一部分拍摄发光部,就能够全部观察发光部的亮度变化。
[0975]在将一个行曝光的时间比到开始曝光下一行为止的时间长的情况下,通过使用发光部的中心的多个曝光行摄像,能够得到同样的效果。
[0976]另外,在能够进行以像素单位的控制的情况下,仅使用距发光部的中心最近的点、或仅使用其附近的多个点进行摄像。此时,通过将各像素的曝光开始时刻错开,能够以更细小的周期检测发光部的发光状态。
[0977]另外,通过主要使用2310c的曝光行、偶尔使用别的曝光行摄像、将摄像图像合成,虽然与通常相比分辨率及帧速率较差,但能够合成与通常那样摄像的摄像图像类似的图像(影像)。通过将该合成图像对用户显示,能够使用户操作接收装置、或用于手抖动的修正。
[0978]另外,在手抖动的修正中,也可以利用陀螺仪传感器、加速度传感器或磁传感器等的传感器值,或利用由与将发光部摄影的摄像装置不同的摄像装置摄像的图像。
[0979]另外,与发光部的端部相比,接近于中心时,在手抖动时发光部更不易从曝光行或曝光像素偏离,所以优选的是将距发光部的中心较近的部分作为曝光行或曝光像素。
[0980]另外,由于发光部的边缘部的发光亮度较低,所以优选的是尽量将距发光部的周围较远、亮度较高的部分作为曝光行或曝光像素。
[0981](接收装置的位置的推测)
[0982]在图118中,发送装置将自身被设置的位置信息、发光装置的大小、发光装置的形状和发送装置的ID发送。这里,在位置信息中,包括发光装置的中心部分的纬度、经度、标闻或距地面的闻度等。
[0983]接收装置根据从磁传感器、陀螺仪传感器和加速度传感器得到的信息推测摄像方向。接收装置根据从发送装置发送的发光装置的大小和形状、被摄像的图像中的发光装置的大小和形状、和摄像装置的信息,推测从接收装置到发光装置的距离。这里,在摄像装置的信息中,包括透镜的焦点距离、透镜的畸变、摄像元件的大小、透镜与摄像元件间的距离、及基准尺寸的物体的摄像图像中的大小与从摄像装置到摄像物体的距离的对照表等。
[0984]此外,接收装置根据从发送装置发送的信息、摄像方向、和从接收装置到发光装置的距离,推测接收装置的位置信息。
[0985]在图119中,发送装置将自身被设置的位置信息、发光部的大小、发光部的形状和发送装置的ID发送。这里,在位置信息中,包括发光部的中心部分的纬度、经度、标高或距地面的高度等。
[0986]接收装置根据从磁传感器、陀螺仪传感器和加速度传感器得到的信息推测摄像方向。接收装置根据从发送装置发送的发光部的大小和形状、被摄像的图像中的发光部的大小和形状、和摄像装置的信息,推测从接收装置到发光装置的距离。这里,在摄像装置的信息中,包括透镜的焦点距离、透镜的畸变、摄像元件的大小、透镜与摄像元件间的距离、及基准尺寸的物体的摄像图像中的大小与从摄像装置到摄像物体的距离的对照表等。
[0987]此外,接收装置根据从发送装置发送的信息、摄像方向、和从接收装置到发光部的距离,推测接收装置的位置信息。接收装置根据从磁传感器、陀螺仪传感器和加速度传感器得到的信息,推测移动方向和移动距离。接收装置使用在多个地点推测出的位置信息、和根据移动方向和移动距离推测出的该地点间的位置关系,推测接收装置的位置信息。
[0988]例如,如果设在地点
[0989][数式I]
[0990]X1
[0991]推测出的接收装置的位置信息的概率场为 [0992][数式2]
[0993]Px1
[0994]设在从地点
[0995][数式3]
[0996]X1
[0997]向地点
[0998][数式4]
[0999]X2
[1000]移动时推测出的移动方向与移动距离的概率场为
[1001][数式5]
[1002]MX1X2
[1003]则最终推测的位置信息的概率场可以计算为
[1004][数式6]
[1005]
【权利要求】
1.一种信息通信方法,从被摄体取得信息,其特征在于,包括: 第I摄像步骤,通过使用具有多个曝光行的图像传感器对上述被摄体进行摄像,取得第I图像; 检测步骤,从上述第I图像中检测拍摄有上述被摄体的范围; 决定步骤,在上述多个曝光行中,决定对拍摄有上述被摄体的范围进行摄像的规定的曝光行; 曝光时间设定步骤,设定上述图像传感器的曝光时间,以使得在使用上述规定的曝光行而取得的第2图像中根据上述被摄体的亮度变化而产生与上述规定的曝光行相对应的売线; 第2摄像步骤,通过使用上述规定的曝光行对亮度变化的上述被摄体在所设定的上述曝光时间中进行摄像,取得包含上述亮线的第2图像;以及 信息取得步骤,通过对由在所取得的上述第2图像中包含的上述亮线的样式而确定的数据进行解调,从而取得信息。
2.如权利要求1所述的信息通信方法,其特征在于, 上述规定的曝光行仅包括上述多个曝光行中的、对拍摄有上述被摄体的范围进行摄像的曝光行,而不包括对未拍摄有上述被摄体的范围进行摄像的曝光行。
3.如权利要求1或2所述的信息通信方法,其特征在于, 在上述第2摄像步骤中, 取得第2摄像时间,该第2摄像时间是将取得上述第I图像时的第I摄像时间用上述规定的曝光行中包含的行数等分而得到的; 将上述第2摄像时间作为上述规定的曝光行中包含的各曝光行的摄像时间。
4.如权利要求1或2所述的信息通信方法,其特征在于, 在上述第2摄像步骤中,将上述第I摄像步骤中的上述图像传感器的各曝光行的摄像时间作为上述规定的曝光行中包含的各曝光行的摄像时间。
5.如权利要求4所述的信息通信方法,其特征在于, 在上述第2摄像步骤中,将由上述规定的曝光行摄像的多个上述第2图像合并,生成与上述第I图像相同的图像尺寸的第3图像; 在上述信息取得步骤中,通过对由上述第3图像中包含的上述亮线的样式而确定的数据进行解调,从而取得信息。
6.如权利要求1?5中任一项所述的信息通信方法,其特征在于, 在上述决定步骤中,将上述多个曝光行中的、对比拍摄有上述被摄体的范围窄的范围进行摄像的曝光行决定为上述规定的曝光行。
7.如权利要求1?6中任一项所述的信息通信方法,其特征在于, 该信息通信方法能够切换为: 第I模式,使用上述图像传感器的上述多个曝光行中的全部的曝光行对上述被摄体进行摄像;以及 第2模式,使用上述图像传感器的上述多个曝光行中的上述规定的曝光行对上述被摄体进行摄像。
【文档编号】H04N5/235GK103650384SQ201380002141
【公开日】2014年3月19日 申请日期:2013年5月24日 优先权日:2012年5月24日
【发明者】山田和范, 饭田惠大, 中西幸司, 青山秀纪, 松下阳介, 向井务, 大岛光昭, 渊上郁雄, 秦秀彦 申请人:松下电器产业株式会社
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1