信息通信方法_5

文档序号:9932865阅读:来源:国知局
可见光ID。
[0285]如果由手势检测部B0102开始对用户的手势操作的检测,则手势检测部B0102将传感数据接收次数初始化为O (步骤SB0502)。并且,手势检测部BO102成为等待接收来自传感部B0103的传感数据的状态(数据接收等待状态)(步骤SB0503)。接着,手势检测部B0102判定是否从传感部B0103接收到传感数据(步骤SB0504)。在此,如果判定为接收到(步骤SB0504的是),则进行步骤SB0505的处理,如果判定为没有接收到(步骤SB0504的否),则重复进行步骤SB0503的处理。
[0286]在步骤SB0505中,手势检测部B0102暂时保持传感数据,并且对传感数据接收次数加上1(步骤SB0505)。并且,手势检测部B0102判定传感数据接收次数是否为规定次数以上(步骤SB0506)。另外,在步骤SB0502中,手势检测部B0102也可以代替将传感数据接收次数初始化为O而将开始等待接收传感数据起的经过时间即传感数据接收经过时间初始化为O。在该情况下,在步骤SB0506中,手势检测部B0102判定传感数据接收经过时间是否为规定时间以上。如果判定为传感数据接收次数为规定次数以上,或者判定为传感数据接收经过时间为规定时间以上(步骤SB0506的是),则进行步骤SB0507的处理,如果判定为传感数据接收次数小于规定次数,或者传感数据接收经过时间小于规定时间(步骤SB0506的否),则重复进行步骤SB0503的处理。
[0287]接着,手势检测部B0102使用暂时保持的至少一个传感数据来检测当前的手势操作(步骤SB0507)。此时,手势检测部B0102将该检测到的手势操作作为现状的手势操作来保持。并且,手势检测部B0102删除暂时保持的至少一个传感数据(步骤SB0508)。
[0288]在此,手势检测部B0102判定是否从受光ID拣选部B0104接收到请求停止手势操作的检测的信号(检测停止请求信号)(步骤SB0509)。在此,如果判定为接收到(步骤SB0509的是),则手势检测部B0102结束检测手势操作的处理动作。另一方面,如果判定为没有接收到(步骤SB0509的否),则手势检测部B0102重复执行步骤SB0502起的处理。另外,图46所示的检测手势操作的处理动作在经过一定时间后、或者以从传感部B0103发生的中断处理等为契机再次开始从步骤SB0502的处理起进行。
[0289]图47是用于说明移动终端B0101通过手势操作拣选可见光ID的动作的图。
[0290]例如,街灯B0605?B0608以及出租汽车B0601?B0603分别具有可见光发送设备B0120,通过发出可见光来发送可见光ID。在此,具备通常的以往的照相机的终端取得与来自在照相机所拍摄的方向上存在的全部可见光发送设备的可见光ID分别对应的详细信息。但是,例如,在本实施方式中,通过使用户仅想取得例如出租汽车B0601?B0603的详细信息的意图与用户例如向上方向(图47中的箭头方向)将移动终端BO1I移动的手势操作联动,移动终端B0101将取得的详细信息仅限制为出租汽车B0601?B0603的详细信息。
[0291]由此,能够限制对用户而言不需要的详细信息的取得。也就是说,能够拣选显示在显示部B0109上的详细信息(可见光ID对应信息),由此得到能够提高用户界面的易董性、限制经由网络取得可见光ID对应信息等的效果。另外,照相机(前置照相机B0106以及后置照相机B0107)在接受可见光ID时进行将快门速度高速地切换的处理。
[0292]图48是表示通过手势操作进行所显示的详细信息的选择的处理动作的一例的图。
[0293]移动终端B0101如上所述,如果检测到将移动终端B0101向上方向移动的手势操作,则仅取得出租汽车B0601?B0603的详细信息。并且,移动终端B0101显示通过照相机(前置照相机B0106以及后置照相机B0107)的拍摄而得到的摄像图像。此时,移动终端B0101将表示已取得详细信息的对话框图像(可提示通知图像)B0702?B0704分别以与出租汽车B0601?B0603各自的像建立对应的状态重叠于所显示的摄像图像。进而,移动终端B0101仅将出租汽车B0601?B0603的详细信息之中的某一个出租汽车的详细信息显示在该出租汽车的对话框图像上。例如,只有出租汽车B0601的详细信息“10%打折中”显示在对话框图像B0702上。包含这样的详细信息的对话框图像是根据来自被摄体即出租汽车的可见光ID而生成的图像,并且是表示与该出租汽车相关的内容的内容通知图像。此外,上述的可提示通知图像(不包含详细信息的对话框图像)是用于通知能够表示详细信息的图像。
[0294]在此,如果用户将移动终端B0101向右上方向(图48中的箭头方向)摇晃,则移动终端B0101的手势检测部B0102检测到该向右上方向摇晃的手势操作。结果,移动终端B0101隐藏显示在对话框图像B0702上的详细信息。进而,此时,移动终端B0101在摄像图像上的位于与对话框图像B0702最近的右上方向上的对话框图像B0703,显示与该对话框图像B0702建立对应的像的出租汽车B0602的详细信息“长距离打折中”。
[0295]像这样,在本实施方式中,用户通过摇晃移动终端B0101的手势操作,能够简单地变更所显示的详细信息。
[0296]图49是表示受光ID拣选部B0104所保持的手势.模式对应表的一例的图。
[0297]手势.模式对应表按每个手势操作,表示该手势操作B0801和与该手势操作建立对应的受光模式B0802 ο例如,对于将移动终端举到用户的眼前的操作(或者将移动终端向上举起的操作)的叫做举手(hold-up)的手势操作,与用于显示出租汽车的详细信息的受光模式“出租汽车”建立对应。此外,对于将移动终端左右摇晃的操作的叫做摆动(shake)的手势操作,与将当前设定的受光模式解除的受光模式“解除”建立对应。
[0298]图50是表示受光ID拣选部B0104所保持的ID处理表的一例的图。
[Ο2"] 该ID处理表按每个受光模式包含该受光模式B0901、用于识别该受光模式的第I组ID_B0902、在该受光模式中发送作为候选的可见光ID的可见光发送设备的名称B0903、用于识别该可见光发送设备的第2组ID_B0904、表示将基于该可见光发送设备的详细信息是否应作为向显示部B0109显示的对象的信息B0905、以及表示将该详细信息是否应从ID对应信息变换服务器BOlll取得的信息B0906。例如,对于用于显示出租汽车的详细信息的受光模式(出租汽车),与第I组ID“TAXIAA1”、可见光发送设备的名称“指示灯”以及“前照灯”建立对应。并且,对于可见光发送设备的名称“指示灯”,与第2组ID“XX001”、表示将基于该指示灯的详细信息是否应作为向显示部B0109显示的对象的“要”、以及表示将该详细信息是否应从ID对应信息变换服务器BOl 11取得的“要”建立对应。
[0300]图51是表示ID对应信息保持部B0114所保持的ID.对应信息表的一例的图。
[0301]该ID.对应信息表按每个可见光ID,表示该可见光ID_B1001、以及与该可见光ID建立对应的可见光ID对应信息B1002。如该ID.对应信息表所示,可见光ID由通过连字符(一)连接的三个字符数字串构成。这些字符数字串之中的开头的字符数字串相当于图50所示的第I组ID_B0902,中间的的字符数字串相当于图50所示的第2组ID_B0904,最后的字符数字串是用于识别可见光ID对应信息的ID。可见光ID对应信息例如由URL等表示。移动终端BO1I在通知信息中包含的可见光ID对应信息为URL的情况下,从该URL所示的场所取得详细信息。此外,图51所示的ID.对应信息表中包含的可见光ID_B1001之中的“TAXIAA1-XXOO1-0001"、“TAXIAA1-XX001-0002”、“TAXIAA1-XX001-0003” 以及 “TAXIAAl-XXOO1-0004”是从出租汽车的指示灯通过可见光发送的可见光ID。此外,图51所示的ID.对应信息表中包含的可见光ID_B1001 之中的 “TAXIAA1-HR001-0001” 以及“TAXIAA1-HR001-0002”是从出租汽车的前照灯通过可见光发送的可见光ID。
[0302]另外,在上述实施方式中,通过用户的手势操作决定了受光模式,但也可以通过其他因素来决定受光模式。例如,也可以通过移动终端B0101的姿势决定受光模式。
[0303]图52是用于说明通过移动终端B0101的姿势决定受光模式的处理的图。
[0304]移动终端B0101的传感部B0103检测移动终端B0101的框体的姿势。移动终端B0101基于其结果,将进行来自可见光发送设备B0120的可见光BllOl的受光的照相机决定为前置照相机BO106以及后置照相机BO107之中的一方。由此,仅用前置照相机BO106以及后置照相机B0107之中的一方进行可见光BllOl的受光。因此,能够从由前置照相机B0106以及后置照相机B0107分别得到的可见光ID之中,通过该移动终端BOlOl的姿势简单地拣选与对用户而言必要的详细信息对应的可见光ID。进而,能够减少由反射光等引发非法动作,此外,能够抑制电力消耗。
[0305]例如,如图52的(a)所示,作为移动终端B0101的框体的姿势,如果检测到该框体使正面侧朝上且相对于铅直方向倾斜45度以上的状态(例如倾斜60度的状态),则移动终端B0101仅启动前置照相机B0106。另一方面,如图52的(b)所示,作为移动终端B0101的框体的姿势,如果检测到该框体使正面侧朝向用户且相对于铅直方向倾斜得比45度小的状态(例如倾斜10度的状态),则移动终端B0101仅启动后置照相机B0107。
[0306]另外,在本实施方式中,说明了仅取得与出租汽车通过可见光发送的可见光ID对应的详细信息的情况。但是,除了这样的详细信息以外,也可以仅取得与街上的店铺招牌或标牌通过可见光发送的可见光ID对应的详细信息,也可以仅取得与室内的家电等(例如LED灯、电视影像)通过可见光发送的可见光ID对应的详细信息。
[0307]像这样,在本实施方式中,根据从多个被摄体(出租汽车等)分别发送而接收到的信号(可见光ID)之中的、来自某一个被摄体的信号而生成的、表示与该被摄体相关的内容的图像即内容通知图像(包含详细信息的对话框图像)以与该被摄体的像建立对应的状态重叠于摄像图像。进而,在判定为终端装置(移动终端)被摇晃时,根据来自位于被摇晃的方向上的其他被摄体的信号而生成的、表示与该其他被摄体相关的内容的图像即其他内容通知图像以与该其他被摄体的像建立对应的状态重叠于摄像图像。因此,例如,在对话框中记述有与被摄体相关的详细信息的内容通知图像以与该被摄体的像建立对应的状态被显示,因此用户能够适当地掌握与该被摄体相关的信息。此外,通过摇晃终端装置,能够简单地切换作为被显示内容通知图像的对象的被摄体。进而,该对象被切换为位于终端装置摇晃的方向上的被摄体,因此能够使用户直观地进行该切换,能够进一步改善用户界面。
[0308]进而,在本实施方式中,在多个被摄体的像之中,对于除了与内容通知图像建立对应的被摄体的像以外的其余的被摄体的像,分别将用于通知能够提示与该其余的被摄体相关的内容(详细信息)的情况的可提示通知图像重叠于摄像图像。因此,对于未被显示内容通知图像的被摄体的像,显示例如未记述详细信息的具有较小的对话框的形式的可提示通知图像,因此用户判断为通过摇晃终端装置能够将与该被摄体相关的内容(详细信息)作为内容通知图像来显示。
[0309]图53A是本发明的一个方式的信息通信方法的流程图。
[0310]本发明的一个方式的信息通信方法是进行可见光通信的信息通信方法,包括步骤S11、S12、S13 以及 S14。
[0311]也就是说,该信息通信方法包括:判定步骤(Sll),判定第I程序和第2程序是否发生检测光的受光部的使用的竞争,该第I程序用于使用所述受光部进行可见光通信,该第2程序用于使用所述受光部进行与所述可见光通信不同的处理;通知步骤(S12),在判定为发生了竞争时,向所述受光部的用户通知发生了所述竞争的情况;竞争解决步骤(S13),按照所述用户的操作,对所述第I及第2程序中的某一方许可所述受光部的使用;以及可见光通信步骤(S14),在对所述第I程序许可了使用的情况下,所述第I程序使计算机执行与由所述受光部检测到的光相应的可见光通信。
[0312]图53B是本发明的一个方式的信息通信装置的框图。
[0313]本发明的一个方式的信息通信装置10是进行可见光通信的信息通信装置,具备构成要素11、12、13以及14。
[0314]也就是说,该信息通信装置10具备:判定部11,判定第I程序和第2程序是否发生检测光的受光部的使用竞争,该第I程序用于使用所述受光部进行可见光通信,该第2程序用于使用所述受光部进行与所述可见光通信不同的处理;通知部12,在判定为发生了竞争时,向所述受光部的用户通知发生了所述竞争的情况;竞争解决部13,按照所述用户的操作,对所述第I及第2程序中的某一方许可所述受光部的使用;以及可见光通信部14,在对所述第I程序许可了使用的情况下,所述第I程序使计算机执行与由所述受光部检测到的光相应的可见光通?目。
[0315]在这样的图53Α以及图53Β所示的信息通信方法以及信息通信装置10中,发生受光部的使用的竞争的情况下,向受光部的用户通知发生该竞争的情况,通过用户的操作对某一个程序许可受光部的使用,因此用户能够容易地掌握在具备该受光部的终端中发生的状况。进而,在掌握该状况之后,用户能够操作终端,因此不用进行多余的操作就能够简单地解决受光部的使用的竞争。结果,能够实现用户界面的改善,减轻对用户的负担。
[0316]另外,在上述各实施方式以及变形例中,各构成要素可以由专用的硬件构成,或通过执行适合于各构成要素的软件程序来实现。各构成要素可以通过由CPU或处理器等程序执行部读出硬盘或者半导体存储器等记录介质中记录的软件程序并执行来实现。例如程序使计算机执行图53Α的流程图所示的信息通信方法。
[0317](实施方式5)
[0318]以下,对实施方式5进行说明。
[0319](发光部的亮度的观测)
[0320]提出了一种在拍摄I张图像时、不是使全部的摄像元件在相同的定时曝光、而是按照每个摄像元件在不同的时刻开始/结束曝光的摄像方法。图54是使排列为I列的摄像元件同时曝光、按照列从近到远的顺序将曝光开始时刻错开而摄像的情况下的例子。这里,称作同时曝光的摄像元件的曝光行,将与该摄像元件对应的图像上的像素的行称作亮线。
[0321 ]在使用该摄像方法将正在闪烁的光源拍摄到摄像元件的整面上而摄像的情况下,如图55那样,在摄像图像上发生沿着曝光行的亮线(像素值的明暗的线)。通过识别该亮线的样式,能够推测超过摄像帧速率的速度的光源亮度变化。由此,通过将信号作为光源亮度的变化发送,能够进行摄像帧速率以上的速度下的通信。在通过光源取两种亮度值来表现信号的情况下,将较低的亮度值称作低(LO),将较高的亮度值称作高(HI)。低也以是光源不发光的状态,也可以是与高相比较弱地发光。
[0322]通过该方法,以超过摄像帧速率的速度进行信息的传送。
[0323]在一张摄像图像中,曝光时间不重叠的曝光行有20行,当摄像的帧速率为30fps时,能够识别1.67毫秒周期的亮度变化。在曝光时间不重叠的曝光行有1000行的情况下,能够识别3万分之I秒(约33微秒)周期的亮度变化。另外,曝光时间例如设定得比10毫秒短。
[0324]图55表示一个曝光行的曝光完成后开始下个曝光行的曝光的情况。
[0325]在此情况下,当每I秒的帧数(帧速率)为f、构成I图像的曝光行数为I时,如果根据各曝光行是否受光一定以上的光来传送信息,则最大能够以fl位每秒的速度传送信息。
[0326]另外,在不是按照行、而是按照像素以时间差进行曝光的情况下,能够更高速地进行通信。
[0327]此时,在每曝光行的像素数是m像素、通过各像素是否受光一定以上的光来传送信息的情况下,传送速度最大为flm位每秒。
[0328]如图56那样,如果能够将由发光部的发光带来的各曝光行的曝光状态用多个水平识别,则通过将发光部的发光时间以比各曝光行的曝光时间短的单位的时间控制,能够传送更多的信息。
[0329]在能够将曝光状态在Elv阶段中识别的情况下,最大能够以flElv位每秒的速度传送信息。
[0330]此外,通过在与各曝光行的曝光的定时稍稍错开的定时使发光部发光,能够识别发信的基本周期。
[0331]图57A表示在一个曝光行的曝光完成之前开始下个曝光行的曝光的情况。即,为相邻的曝光行的曝光时间部分地具有时间上重叠的结构。通过这样的结构,(I)与等待一个曝光行的曝光时间的结束而开始下个曝光行的曝光的情况相比,能够使规定的时间内的样本数变多。通过规定时间内的样本数变多,能够将作为被摄体的光发送机产生的光信号更适当地检测到。即,能够降低检测光信号时的错误率。进而,(2)与等待一个曝光行的曝光时间的结束而开始下个曝光行的曝光的情况相比,能够使各曝光行的曝光时间变长,所以即使在被摄体较暗的情况下,也能够取得更明亮的图像。即,能够使S/N比提高。另外,不需要在全部的曝光行中相邻的曝光行的曝光时间部分地具有时间上的重叠,也可以是一部分的曝光行部分地不具有时间上的重叠。通过做成一部分的曝光行部分地不具有时间上的重叠的结构,能够抑制摄像画面上的因曝光时间的重叠带来的中间色的发生,能够更适当地检测壳线。
[0332]在此情况下,根据各曝光行的明亮程度计算曝光时间,识别发光部的发光的状态。
[0333]另外,在在通过亮度是否是阈值以上的2值判别各曝光行的明亮程度的情况下,为了识别不发光的状态,发光部必须将不发光的状态持续各行的曝光时间以上的时间。
[0334]图57B表示在各曝光行的曝光开始时刻相等的情况下、因曝光时间的差异带来的影响。7500a是前个曝光行的曝光结束时刻与下个曝光行的曝光开始时刻相等的情况,7500b是与其相比曝光时间更长的情况。通过如7500b那样做成相邻的曝光行的曝光时间部分地具有时间上的重叠的结构,能够较长地取得曝光时间。即,向摄像元件入射的光增大,能够得到明亮的图像。此外,通过将用来拍摄相同的明亮度的图像的摄像感度抑制得较低,能够得到噪声较少的图像,所以通信错误被抑制。
[0335]图57C表示在曝光时间相等的情况下、因各曝光行的曝光开始时刻的差异带来的影响。7501a是前个曝光行的曝光结束时刻与下个曝光行的曝光开始时刻相等的情况,7501b是比前个曝光行的曝光结束更早地开始下个曝光行的曝光的情况。通过如7501b那样做成相邻的曝光行的曝光时间部分地具有时间上的重叠的结构,能够增加每单位时间能够曝光的行。由此,分辨率变得更高,能够得到较多的信息量。样本间隔(=曝光开始时刻的差)变密,所以能够更正确地推测光源亮度的变化,能够降低错误率,进而能够识别更短的时间中的光源亮度的变化。通过使曝光时间具有重叠,能够利用相邻的曝光行的曝光量的差来识别比曝光时间短的光源的闪烁。
[0336]如图57B、图57C中说明那样,在以使相邻的曝光行的曝光时间部分地具有时间上的重叠的方式将各曝光行依次曝光的结构中,通过将曝光时间设定得比通常摄影模式短,并将由此产生的亮线样式用于信号传送,能够使通信速度飞跃性地提高。这里,通过将可视光通信时的曝光时间设定为1/480秒以下,能够产生适当的亮线样式。这里,如果设帧频率=f,则需要设定为曝光时间<l/8Xf。在摄影时产生的空白最大为I帧的一半的大小。即,由于空白时间是摄影时间的一半以下,所以实际的摄影时间在最短的时间下成为l/2f。进而,由于在l/2f的时间内需要接受4值的信息,所以产生了至少曝光时间比l/(2fX4)短的需要。由于通常帧速率是60帧/秒以下,所以通过设定为1/480秒以下的曝光时间,能够使图像数据产生适当的亮线样式,进行高速的信号传送。
[0337]图57D表示在各曝光行的曝光时间不重叠的情况下、曝光时间较短的情况下的优点。在曝光时间较长的情况下,即使光源如7502a那样进行2值的亮度变化,在摄像图像中也如7502e那样形成中间色的部分,有难以识别光源的亮度变化的倾向。但是,通过如7502d那样,做成在一个曝光行的曝光结束后、在下个曝光行的曝光开始前设置规定的不曝光的空闲时间(规定的等待时间)tD2的结构,能够使光源的亮度变化变得容易识别。即,能够检测7502f那样的更适当的亮线样式。如7502d那样设置规定的不曝光的空闲时间的结构可以通过使曝光时间tE比各曝光行的曝光开始时刻的时间差tD小来实现。在通常摄影模式是相邻的曝光行的曝光时间部分地具有时间上的重叠的结构的情况下,可以通过将曝光时间设定得与通常摄影模式时相比短到产生规定的不曝光的空闲时间来实现。此外,即使通常摄影模式是前个曝光行的曝光结束时刻与下个曝光行的曝光开始时刻相等的情况,也可以通过将曝光时间设定得较短直到发生规定的不曝光的时间来实现。此外,通过如7502g那样使各曝光行的曝光开始时刻的间隔tD变大,也能够采用在一个曝光行的曝光结束后、在下个曝光行的曝光开始前设置规定的不曝光的空闲时间(规定的等待时间)tD2的结构。在该结构中,
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1