信息显示装置、显示控制用集成电路、显示控制程序及显示控制方法

专利名称：信息显示装置、显示控制用集成电路、显示控制程序及显示控制方法
技术领域：
本发明涉及一种使显示用信息重叠显示于按时间序列拍摄的图像上的信息显示装置，特别涉及一种减轻接收状态不稳定的信息发送源对显示画面造成的不良影响，从而提高可读性(readability)的技术。
背景技术：
专利文献I中记载有，通过利用光空间传输(optical space transmission)的信息传输，将有关商品、展品等的信息 提示重叠显示于所拍摄的图像上的拍摄装置。专利文献I中记载有，从与商店门口并排的商品展柜、市内广告招牌等一起设置的信息发送源，发送利用了亮度变化的适合商品、广告招牌的内容的提示信息，拍摄装置按时间序列拍摄图像，分别根据各个图像区域的亮度变化提取提示信息，并将所提取的提示信息重叠显示于所拍摄的图像，由此能够明确信息提示对象物与提示信息之间的对应关系，从而消除把握信息时的误解。这里,专利文献I的拍摄装置中，在拍摄视角(viewing angle)内存在多个发送提示信息的光源，并且所提取的信息超过容许量的情况下，存在可读性(readability)显著降低的问题。因此，在这样的的情况下需要对信息的取舍选择、显示形态采取措施。专利文献2中公开了用于解决上述问题的信息显示装置。专利文献2中记载有，根据信息发送源的尺寸及形状的数据、和图像上的面积来计算与信息发送源的距离，并根据所算出的距离来调整讲话线条尺寸、文字尺寸等，从而能够提高可读性。然而，上述专利文献2是以从拍摄视角内的所有信息发送源总是正常取得信息为前提，但在实际的拍摄状况中，却存在例如由于人、电车、汽车等的来往而只能断续取得信息这样、接收状态不稳定的信息发送源混在一起的情况，而上述专利文献2并未考虑应对这样的状况下的对策。具体而言，若这样的接收状态不稳定的信息发送源的信息由上述专利文献2的信息显示装置重叠于所拍摄的图像，并被显示时，则重复发生信息的显示状态和不显示状态，画面闪烁，从而造成难以看到的情况，尤其在重复出现显示、不显示的信息的显示范围较广的情况下，每次转换时，有可能会改变所显示的其它信息的大小、显示位置等，导致可读性显著降低。专利文献I日本特开2001-245253号公报专利文献2日本特开2008-085555号公报

发明内容
故而，本发明提供一种信息显示装置、显示控制用集成电路、显示控制程序及显示控制方法，通过利用光空间传输的信息传输，在将信息重叠显示于所拍摄的图像时，即使混有接收状态不稳定的信息发送源的情况下，仍然能够减轻这样的信息发送源对显示画面造成的不良影响，并能够提闻可读性。
本发明涉及一种信息显示装置、显示控制用集成电路、显示控制程序及显示控制方法。为了解决上述问题，本发明的信息显示装置将显示用信息重叠于按时间序列拍摄的图像，并显示于显示设备，该信息显示装置具备摄像部、信息处理部以及显示控制部。摄像部按时间序列拍摄图像。信息处理部从摄像部所拍摄的图像中的、亮度随着时间变化而发生变化的一个或多个区域中，根据每个该区域的亮度变化，按每个该区域来提取包含显示用信息的通信信息，并按每个该通信信息来生成表示通信状态的稳定度的稳定度信息。显示控制部使信息处理部所提取的每个区域的通信信息中所包含的显示用信息，以基于信息处理部所生成的、对应的稳定度信息而规定的形态，重叠于摄像部所拍摄的图像，并显示于显示设备。优选的是，显示控制部从使用者受理显示设定，并进行存储，该显示设定表示是否使与通信状态不稳定的区域相对应 的通信信息中所包含的显示用信息，显示于显示设备；在所存储的显示设定表示“不显示”的情况下，显示控制部使根据稳定度信息而被判断为通信状态稳定的通信信息中所包含的显示用信息重叠于摄像部所拍摄的图像，并显示于显示设备，并且废弃被判断为通信状态不稳定的通信信息；在所存储的显示设定表示“显示”的情况下，显示控制部保存根据稳定度信息而被判断为通信状态不稳定的通信信息中所包含的显示用信息，并在被判断为通信状态不稳定的期间，继续使所保存的显示用信息重叠于摄像部所拍摄的图像，并显示于显示设备。优选的是，信息处理部按每个区域，来检测表示最近的规定时间间隔内未能提取通信信息的次数的错误次数、以及表示最近的规定时间间隔内能提取通信信息的状态与不能提取通信信息的状态之间转换的次数的状况转换次数，在满足该错误次数为规定数N以上、以及该状况转换次数为规定数M以上的两个条件的情况下，判断为通信状态不稳定，而在不满足其中任意一个条件的情况下，判断为通信状态稳定。优选的是，信息处理部按每个区域，来检测表示最近的规定时间间隔内未能提取通信信息的比例的出错率、以及表示最近的规定时间间隔内能提取通信信息的状态与不能提取通信信息的状态之间转换的次数的状况转换次数，在满足该出错率为规定值L以上、以及该状况转换次数为规定数M以上的两个条件的情况下，判断为通信状态不稳定，而在不满足其中任意一个条件的情况下，判断为通信状态稳定。优选的是，信息处理部测量每个区域的亮度的平均值，并将该平均值小于规定值的区域从处理对象中除去。优选的是，显示控制部使根据稳定度信息而被判断为通信状态稳定的通信信息中所包含的显示用信息，重叠于摄像部所拍摄的图像，并显示于显示设备，并且废弃被判断为通信状态不稳定的通信信息。优选的是，显示控制部保存根据稳定度信息而被判断为通信状态不稳定的通信信息中所包含的显示用信息，并在被判断为通信状态不稳定的期间，继续使所保存的显示用信息重叠于摄像部所拍摄的图像，并显示于显示设备。优选的是，在根据稳定度信息而被判断为通信状态不稳定的情况下，显示控制部使重叠于图像时的显示用信息的占有面积实质上小于被判断为通信状态稳定的情况下的占有面积。优选的是，在实质上减少占有面积时，显示控制部减少信息量，缩小显示文字，缩小显示标志，缩小讲话线条，将讲话线条的重叠顺序设在后面，或提高透过率。优选的是，在实际上减少占有面积时，显示控制部进一步改变显示文字的颜色，改变显示标志的颜色，或改变讲话线条的颜色。优选的是，信息处理部所提取的、每个区域的通信信息分别包含多个显示用信息，各个显示用信息与优先级建立了对应关系，显示控制部按每个区域，根据稳定度信息来确定优先级，并使与所确定的优先级相应的显示用信息显示于显示设备。

优选的是，信息处理部在提取通信信息时，判断每个区域是否符合亮度小于规定值、以及错误发生率高于规定值中的至少一个，将符合的区域的稳定度信息作为表示通信状态不稳定的信息。优选的是，显示控制部将每个区域的显示用信息与摄像部所拍摄的图像中的、每个该区域的图像建立相关关系，并进行重叠。优选的是，在认为摄像部所拍摄的图像中存在多个输出相同内容的信息的光源的情况下，信息处理部将它们作为一个区域来对待。优选的是，在认为存在多个输出相同内容的信息的光源的区域中提取通信信息时，信息处理部根据提取失败的光源的个数，来计算错误发生率，并判断该错误发生率是否高于规定值，将被判断为该错误发生率高于规定值的区域的稳定度信息作为表示通信状态不稳定的信息。优选的是，在认为存在多个输出相同内容的信息的光源的区域中提取通信信息时，显示控制部仅根据提取失败的几率低于规定值的光源的位置，来确定重叠显示用信息的位置。此外，为了解决上述问题，本发明的显示控制用集成电路是用于信息显示装置的集成电路，该信息显示装置将显示用信息重叠于摄像部按时间序列拍摄的图像，并显示于显示设备，该集成电路对发挥信息处理部以及显示控制部的功能的电路进行集成。信息处理部从摄像部所拍摄的图像中的、亮度随着时间变化而发生变化的一个或多个区域中，根据每个该区域的亮度变化，按每个该区域来提取包含显示用信息的通信信息，并按每个该通信信息来生成表示通信状态的稳定度的稳定度信息。显示控制部使信息处理部所提取的每个区域的通信信息中所包含的显示用信息，以基于信息处理部所生成的、对应的稳定度信息而规定的形态，重叠于摄像部所拍摄的图像，并显示于显示设备。此外，为了解决上述问题，本发明的显示控制程序由信息显示装置执行，该信息显示装置将显示用信息重叠于按时间序列拍摄的图像，并显示于显示设备，该显示控制程序使信息显示装置执行摄像步骤、信息处理步骤以及显示控制步骤。摄像步骤中按时间序列拍摄图像。信息处理步骤中，从摄像步骤中拍摄的图像中的、亮度随着时间变化而发生变化的一个或多个区域中，根据每个该区域的亮度变化，按每个该区域来提取包含显示用信息的通信信息，并按每个该通信信息来生成表示通信状态的稳定度的稳定度信息。显示控制步骤中，使信息处理步骤中提取的每个区域的通信信息中所包含的显示用信息，以基于信息处理步骤中生成的、对应的稳定度信息而规定的形态，重叠于摄像步骤中拍摄的图像，并显示于显示设备。此外，为了解决上述问题，本发明的显示控制方法将显示用信息重叠于按时间序列拍摄的图像，并显示于显示设备，该信息显示方法包括摄像步骤、信息处理步骤以及显示控制步骤。摄像步骤中，按时间序列拍摄图像。信息处理步骤中，从摄像步骤中拍摄的图像中的、亮度随着时间变化而发生变化的一个或多个区域中，根据每个该区域的亮度变化，按每个该区域来提取包含显示用信息的通信信息，并按每个该通信信息来生成表示通信状态的稳定度的稳定度信息。显示控制步骤中，使信息处理部所提取的每个区域的通信信息中所包含的显示用信息，以基于信息处理步骤中生成的、对应的稳定度信息而规定的形态，重叠于摄像步骤中拍摄的图像，并显示于显示设备。(发明效果)如上所述，本发明能够使每个区域的显示用信息以根据每个区域的接收状态的稳定度而规定的形态，重叠于所拍摄的 图像，并使之显示于外部的显示设备。根据本发明的结构，能够保存与接收状态不稳定的区域相对应的显示用信息，并使所保存的显示用信息继续显示于显示设备，或废弃与接收状态不安定的区域相对应的信息，从而能够消除显示用信息忽隐忽现的情况，并能够提高可读性。此外，根据本发明的结构，通过例如实质上减少占有面积，来使与忽隐忽现这样的接收状态不稳定的区域相对应的信息的显示变得不显眼，以降低其存在度，所以减低了存在度的信息即使忽隐忽现，也不存在可读性显著降低的情况，从而能够大幅度地提高可读性。此外，根据本发明的结构，能够使与可见性不好的区域相对应的信息的显示变得不显眼，并能够根据所拍摄的图像上的信息发送源的被拍摄状况，来使所对应的信息以相应的显示形态重叠，从而能够提供协调的、不使人感到别扭的图像。


图I是示出本发明所涉及的第一实施方式的信息显示系统I的功能结构的概要的图。图2是示出根据光的强弱从信息发送源100向信息显示装置200发送的通信信息的数据格式的一例的图。图3是示出本实施方式的一系列顺序的图。图4是示出计算出错率的平均值和出错率的变动振幅的平均值的处理的详细顺序的图。图5是示出计算亮度的平均值的处理的详细顺序的图。图6是示出对各光源区域进行优先级分配的处理的详细顺序的图。图7是示出使用本实施方式时的信息发送源100与信息显示装置200及显示设备300之间的位置关系的一例的图。图8是示出使用本实施方式时显示于显示设备300的图像的一例的图。图9是示出使用本实施方式时显示于显示设备300的图像的一例的图。图10是使用本实施方式时显示于显示设备300的图像的一例的图。图11是使用本实施方式时显示于显示设备300的图像的一例子的图。图12是示出具备多个分别发送相同信息的光源的招牌30、以及通过招牌前面的汽车31的图。图13是示出本发明所涉及的第一变形例中的信息显示系统2的功能结构的概要的图。图14是示出本发明所涉及的第二实施方式的信息显示系统3的功能结构的概要的图。图15是根据光的强弱从信息发送源600向信息显示装置700发送的通信信息的数据格式的一例的图。图16是示出第二实施方式中的、从光源区域检测处理到信号验证处理以及重叠处理的一系列顺序的图。(附图标记说明)I信息显示系统 2信息显示系统3信息显示系统100信息发送源110通信数据生成部120调制器130发送用光源200信息显示装置210摄像部211 镜头212图像传感器220信息处理部221获取信息处理部222图像信息处理部223通信信息处理部224错误信息处理部225亮度信息处理部230显示控制部231优先级计算部232显示用信息生成部233图像重叠部300显示设备400信息发送源500信息显示装置520信息处理部521同等光源个数控制部530显示控制部531显示用信息生成部600信息发送源610通信数据生成部620调制器
630发送用光源700信息显示装置710摄像部711 镜头712图像传感器720信息处理部721获取信息处理部 722图像信息处理部723通信信息处理部724错误信息处理部725亮度信息处理部730显示控制部731设定存储部732显示用信息生成部733图像重叠部800显示设备
具体实施例方式[第一实施方式]< 概要 >第一实施方式是在利用光空间传输的信息传输来将信息重叠显示于所拍摄的图像上的系统中，根据每个光源的通信状态的稳定度来改变重叠信息时的形态。更详细而言，通过实质上减少占有面积等，来使通信状态不稳定的光源的信息的显示变得不显眼，来提高可读性。< 结构 >图I是示出本发明所涉及的第一实施方式的信息显示系统I的功能结构的概要的图。图I所示的信息显示系统I包括信息发送源100、信息显示装置200及显示设备300。信息发送源100是与排列在商店中的商品展柜、市内广告招牌等一起设置的固定型电子设备，具有发送显示用信息的功能，并包括通信数据生成部110、调制器120及发送用光源130。信息显示装置200例如是数码相机、带照相机的手机等具备拍摄功能的便携式电子设备，该信息显示装置200具有通过光无线通信(optieal wireless communication)获取显示用信息，将显示用信息重叠显示于所拍摄的视频的功能，并具备摄像部210、信息处理部220以及显示控制部230。显示设备300是液晶显示器等图像显示装置。通信数据生成部110生成显示于信息显示装置200的显示用信息。调制器120将通信数据生成部110所生成的显示用信息转换成电信号。
发送用光源130是LED、荧光灯等能够发送具有一定程度以上强度的光的设备，它通过用由调制器120转换之后的电信号，并根据光的强弱，来向信息显示装置200发送包含显示用信息的通信信息。摄像部210是按时间序列拍摄图像的设备，具备镜头211以及图像传感器212，镜头211对所输入的光的成像状态进行调整，图像传感器212将通过镜头211而获取的光的强弱转换为电信号来生成光电转换信息，并通过将其依次输出给信息处理部220，来拍摄图像。此外，这里使用图像传感器来作为光电转换元件，但本发明并不局限于此，只要能够将光的强弱作为亮度信息转换成电信号，任何设备都可采用。例如，摄像部210也可以包括排列在二维平面上的光电二极管，来取代图像传感器212。
信息处理部220从摄像部210所拍摄的图像中，确定亮度随着时间变化而以规定模式发生变化的所有的光源区域，并根据每个光源区域的亮度变化，来从这里所确定的一个或多个光源区域中提取每个光源区域的通信信息，并按每个通信信息来生成表示通信状态的稳定度的稳定度信息(出错率的平均值、出错率的变动振幅以及亮度平均值等)，该信息处理部220包括获取信息处理部221，图像信息处理部222，通信信息处理部223，错误信息处理部224及亮度信息处理部225。显示控制部230使信息处理部220所提取的每个区域的通信信息中所包含的显示用信息，以根据信息处理部220所生成的、对应的稳定度信息而规定的形态，重叠于摄像部210所拍摄的图像，并对亮度、尺寸等进行调整后，使之显示于外部的显示设备300，显示控制部230包括优先级计算部231、显示用信息生成部232以及图像重叠部233。获取信息处理部221根据摄像部210的图像传感器212所生成的光电转换信息，提取用于图像解析的图像信息，将其输出给图像信息处理部222，并且，确定信息发送源的光源，按每个光源来设定光源区域，并按这里所设定的每个光源区域来提取亮度信息，该亮度信息表示对应时间序列的亮度变化，并将表示所设定的光源区域的区域信息与所提取的亮度信息建立对应关系后，输出给通信信息处理部223。图像信息处理部222通过对获取信息处理部221所提取的图像信息进行将图像输出给画面时所需的色彩空间转换、视角调整等图像信息处理，来进行显示用调整，并将其输出给图像重叠部233。通信信息处理部223按照获取信息处理部221所提取的区域信息所示的每个光源区域，通过将获取信息处理部221所提取的亮度信息所示的时间序列的亮度变化识别为‘0’和‘I’中任意的比特，来生成通信信息，并将其与区域信息一起输出给显示用信息生成部232。此外，通信信息处理部223计算表示生成通信信息时所产生的通信错误的比例的出错率，并将其与区域信息一起输出给错误信息处理部224，并且将亮度信息与区域信息一起输出给亮度信息处理部225。错误信息处理部224根据通信信息处理部223所计算出的每个光源区域的出错率，来计算出错率的平均值以及出错率的变动振幅，并将它们输出给优先级计算部231。此夕卜，出错率的变动振幅的计算方法将后述。亮度信息处理部225根据获取信息处理部221所提取的每个光源区域的亮度信息，按每个光源区域来计算亮度信息所示的亮度的平均值，并将其输出给优先级计算部231。此外，之后将对亮度信息所示的亮度的平均值的计算方法进行详细说明。
优先级计算部231根据错误信息处理部224所计算出的出错率的平均值及出错率的变动振幅、以及亮度信息处理部225所计算出的亮度信息所示的亮度的平均值，来计算用于确定按每个光源区域来显示通信信息时的显示形态的优先级，并将其输出给显示用信息生成部232。例如，将符合亮度小于规定值，以及错误发生率大于规定值等中的至少一个状态的区域判断为通信状态不稳定，并将该情况下的优先级设定为低于通信状态被判断为稳定的情况下的优先级。此外，优先级的计算方法的详细内容将后述。显示用信息生成部232基于通信信息处理部223所生成的每个光源区域的通信信息中包含的显示用信息，并根据优先级计算部231基于稳定度信息所计算出的每个光源区域的优先级，来确定重叠用信息及其显示形态，并将其输出给图像重叠部233。图像重叠部233使显示用信 息生成部232所确定的重叠用信息，以所确定的显示形态重叠于由图像信息处理部222进行了图像信息处理后的图像信息，将其输出给显示设备300，并使图像显示。例如，在优先级低的情况下(根据稳定度信息而被判断为通信状态比较不稳定的情况下)，使将重叠于图像时的显示用信息的占有面积实质上小于优先级高的情况(根据稳定度信息而被判断为通信状态比较稳定的情况)下的占有面积。这里，实质上减少占有面积具体是通过减少信息量、缩小显示文字、缩小显示标志、缩小讲话线条、将讲话线条的重叠顺序设在后面、或提高透过率等中的一个或组合其中的多个而实现。此外，在减少占有面积时，若将显示文字的颜色、显示标志的颜色、或讲话线条的颜色等改变成比较不明显的颜色、朴素的颜色或与背景颜色近似的颜色等，则尤为有效。此外，图像重叠部233也可以将每个光源区域的显示用信息分别与各自的光源区域的位置建立相关关系来进行重叠。更具体而言，例如，在光源区域的位置重叠相应的显示用信息，通过带箭头的线等来连接光源区域的位置与对应的显示用信息，或将讲话线条从光源区域的位置突出，并在该讲话线条内记载对应的显示用信息。图2是示出根据光的强弱从信息发送源100向信息显示装置200发送的通信信息的数据格式的一例的图。这里，图中“一”示出时间T的行进方向。如图2所示，通信信息的数据格式包括导言(preamble)数据部DlO以及数据部D20，从信息发送源100反复巡回地被输出。存储在导言数据部DlO中的数据是用于在信息显示装置200中识别包含显示用信息的通信信息的数据，并包含表示数据部D20的起点的、作为固定数据的导言模式。存储在数据部D20中的数据包括管理信息存储部D21、第I优先级信息存储部D22、第2优先级信息存储部D23以及第3优先级信息存储部D24。管理信息存储部D21存储有优先级信息的管理信息，该优先级信息表示后续的优先级信息存储部的个数、以及各优先级信息存储部中存储的优先级信息的长度(字符串(character string)的长度)等。图2是优先级信息的个数为“3”时的例子，当该个数为“I”时，则接着管理信息存储部D21之后只有第I优先级信息存储部D22，当该个数为“2”时，接着管理信息存储部D21之后则只有第I优先级信息存储部D22以及第2优先级信息存储部D23，一般地，当该个数为“N”(N是I以上的自然数)时，接着管理信息存储部D21之后就有N个优先级信息存储部。第I优先级信息存储部D22存储有优先级最高的显示用信息，即第I优先级信息，由于这里所存储的信息是所要显示的最重要的信息，所以即使在通信状态被判断为比较不稳定的情况下，也要尽可能地显示该第I优先级信息。第2优先级信息存储部D23存储有仅次于第I优先级信息存储部D22的、优先级第二高的显示用信息，即第2优先级信息，第3优先级信息存储部D24存储有仅次于第2优先级信息存储部D23的、优先级第三高的显示用信息，即第3优先级信息，一般而言，第N优先级信息存储部存储有优先级第N高的显示用信息，即第N优先级信息。这里，在判断为通信状态稳定的情况下，第I优先级信息 第N优 先级信息的所有信息尽可能按照优先级顺序而显示。此外，既可以使图2中的优先级信息的个数始终为“1，来使显示用信息始终只有一个优先级信息，也可以从最开始就不区分优先级而发送I个显示用信息。此外，在使图2中的优先级信息的个数为“ 2 ”以上的情况下，在图像重叠部233中，例如，在优先级最低的情况下仅将第I优先级信息重叠于图像，而在优先级高的情况下，则根据优先级的高低来增加所重叠的优先级信息的个数，从而能够根据优先级来调整重叠于图像时的信息量。〈动作〉图3是示出第一实施方式中的从光源区域检测处理到信号复原处理、优先级分配处理以及将显示用信息重叠显示于所拍摄的图像的重叠处理的一系列顺序的图。步骤SI 步骤S7是光源区域检测处理的顺序。(I)获取信息处理部221将图像传感器212所拍摄的图像映像作为框数据(framedata)，将相当于导言数据部DlO的比特数的多个框数据进行缓冲(buffering)(步骤SI)。(2)判断步骤SI中缓冲的多个框数据中是否存在亮度发生变化的光源(步骤S2)。(3)存在亮度发生变化的光源的情况下(步骤S2为是)，获取信息处理部221将所缓冲的框数据和导言数据部DlO中的导言模式进行比较，判断它们是否一致(步骤S3)。(4)不存在亮度发生变化的光源的情况下(步骤S2为否)、以及不存在与导言模式一致的光源的情况下(步骤S3为否)，获取信息处理部221判断为不是通信信息，从而废弃所缓冲的框数据，并返回对框数据的缓冲(步骤SI)(步骤S4)。(5)在存在与导言模式一致的光源的情况下(步骤S3为是)，获取信息处理部221将被判断为一致的、亮度发生变化的光源确定为是发送包含表示用数据的通信信息的光源，并提取用于图像解析的图像信息。此外，图像信息处理部222对这里所提取的图像信息进行显示用调整(步骤S5)。(6)获取信息处理部221使用陀螺仪或方位磁铁等来获取拍摄方向和拍摄角度(步骤S6)。(7)将在步骤S6中获取的拍摄方向和拍摄角度、与表示包含亮度发生变化的光源的光源区域的区域信息一起存储(步骤S7)。步骤S8 步骤Sll是彳目号复原处理的顺序。(8)通信信息处理部223从在步骤S7中所存储的区域信息所示的光源区域依次获取相当于图2所示的管理信息存储部D21的比特数的多个框数据(步骤S8)。(9)根据步骤S8中所获取的多个框数据，使优先级的个数以及各优先级信息的长度等优先级信息的管理信息复原(步骤S9)。(10)根据步骤S9中所复原的优先级信息的管理信息，来依次获取相当于图2所示的第I优先级信息存储部D22、第2优先级信息存储部D23以及第3优先级信息存储部D24等各优先级信息存储部的比特数的多个框数据(步骤S10)。(11)根据步骤SlO中所获取的多个框数据，使各优先级信息(按优先级来分的显示用数据)复原，并进行存储(步骤Sll)。步骤S12 步骤S15是优先级分配处理的顺序。 (12)计算步骤S8 步骤Sll中的、管理信息存储部D21、第I优先级信息存储部D22、第2优先级信息存储部D23及第3优先级信息存储部D24等的复原处理时的出错率、以及相当于与紧接前面的出错率之间的差分的变动振幅，并进行存储(步骤S12)。(13)错误信息处理部224利用在步骤S12中计算出的出错率和变动振幅，来计算出错率的平均值以及出错率的变动振幅的平均值(步骤S13)。具体将在图4所示的该步骤S13的顺序中进行说明。(14)亮度信息处理部225根据在步骤SI 步骤Sll中获取的框数据，用每个光源区域的亮度来计算亮度的平均值(步骤S14)。具体将在图5所示的该步骤S14的详细顺序中进行说明。(15)优先级计算部231使用在步骤S13、步骤S14中计算出的出错率的平均值、出错率的变动振幅的平均值以及亮度的平均值，来对各光源区域分配优先级(步骤S15)。具体将在图6所示的该步骤S15的详细顺序中进行说明。步骤S16 步骤S18是重叠处理的顺序。(16)显示用信息生成部232基于在步骤Sll中生成的每个光源区域的通信信息中所包含的显示用信息，并根据步骤S15中所分配的每个光源区域的优先级，来确定重叠用信息及其显示形态(步骤S16)。(17)图像重叠部233使在步骤S16中所确定的重叠用信息以所确定的显示形态，重叠于步骤S5中进行了图像信息处理的图像信息(步骤S17)。(18)将在步骤S17中重叠了信息的图像信息输出给显示设备300，并使图像显示(步骤S18)。图4是示出图3的步骤S13中的计算出错率的平均值以及出错率的变动振幅的平均值的处理的详细顺序的图。(I)错误信息处理部224获取按每个光源区域计算出的单位时间的出错率E (步骤S21)。(2)计算任意时间T的出错率的平均值Ea(步骤S22)。例如设过去一秒内的出错率为Eo。(3)错误信息处理部224获取按每个光源区域计算出的单位时间的出错率的变动振幅A (步骤S23)。(4)计算任意时间T的变动振幅的平均值Aa(步骤S24)。例如，设过去一秒内的出错率的变动振幅为Ao。图5是示出图3的步骤S14中的计算亮度的平均值的处理的详细顺序的图。(I)亮度信息处理部225获取按每个光源区域存储的亮度L (步骤S31)。
(2)进行降噪(noise-reduction)处理(步骤 S32)。(3)计算任意时间T的亮度的平均值La (步骤S33)。例如，设过去一秒的亮度为Lo0这里所进行的降噪处理例如是，为了减少外部干扰所造成的影响，求出分别从信息显示装置200的接收灵敏度能力的最小值及最大值(Lmin、Lmax)中除去了数％ (例如5% )的任意的第二最小值及第二最大值(Lmin2 = LminX I. 05、Lmax2 = LmaxXO. 95)之后，通过仅使用第二最小值与第二最大值之间的亮度，来计算亮度的平均值La，从而减轻光源区域的噪声。此外，这里说明的降噪处理不过是一个例子，既可以采用其它降噪处理，也可以不进行降噪。

图6是示出图3的步骤S15中的对各光源区域分配优先级的处理的详细顺序的图。(I)优先级计算部231根据图3的步骤S9中复原的优先级的个数，获取应对各光源区域设定的优先级的个数(步骤S41)。(2)并且，优先级计算部231基于相当于预先规定的规定亮度的阈值Tl，并根据按每个光源区域计算出的亮度的平均值La,判断各个光源区域的可见性(visibility)高(La彡H)，还是可见性低(La<H)(步骤S42)。这里，设预先规定的规定亮度为信息显示装置200可接收的亮度的最小值的I. 5倍。(3)，进一步根据出错率的平均值Ea和出错率的变动振幅的平均值Aa、并基于各自所设定的阈值Te和阈值Ta，对优先级计算部231在步骤S42中判断为可见性高的光源区域判断通信是稳定(Ea彡Te且Aa彡Ta)，还是不稳定(Ea > Te或Aa > Ta)(步骤S43)。这里，设出错率的阈值Te为50 %，出错率的变动振幅的阈值Ta为20 %。(4)优先级计算部231对判断为可见性高且通信稳定的光源区域，赋予虚拟优先级I (步骤S44)。(5)优先级计算部231对判断为可见性高且通信不稳定的光源区域赋予虚拟优先级2 (步骤S45)。(6)优先级计算部231对判断为可见性低的光源区域赋予虚拟优先级3(步骤S46)。(7)优先级计算部231根据在步骤S41中所获取的应设定的优先级的个数，按每个光源区域确定优先级。例如，某个光源区域的应设定的优先级的个数为3个的情况下，由于与步骤S44 步骤S46中所赋予的虚拟优先级的个数相符合，所以直接将虚拟优先级作为优先级。此外，在应设定的优先级的个数是优先级高、优先级低两个，即，应设定的优先级的个数小于虚拟优先级的个数的情况下，例如通过使虚拟优先级I对应优先级高，使虚拟优先级2和虚拟优先级3对应优先级低等，来使一个优先级与多个虚拟优先级建立对应关系。此外，在应设定的优先级的个数为六个，即，应设定的优先级的个数比虚拟优先级的个数多的情况下，例如，通过使虚拟优先级I对应优先级1，虚拟优先级2对应优先级3，虚拟优先级3对应优先级5等，来使虚拟优先级与分散的优先级建立对应关系。此外，这里，将虚拟优先级分为三个，但分类只要为两个以上即可。例如，通过阶段性地设定步骤S42、步骤S43中的各阈值，并将条件细分，由此能够增加虚拟优先级的分类。
〈使用例〉图7是示出使用本实施方式时的信息发送源100与信息显示装置200及显示设备300之间的位置关系的一例的图。图7中，以托着信息显示装置200及显示设备300的操作者10所站的位置为基准，在近距离A (例如，3m)、近距离B (例如5m)、远距离C (例如100m)、远距离D (例如150m)各自的位置上存在共计四个信息发送源100。这里，近距离A上存在设置有信息发送源100的点光源的标识11，在近距离B的高楼15的屋顶存在设置有信息发送源100的面光源的招牌12，在远距离C的高楼16的屋顶存在设置有信息发送源100的面光源的招牌13，在远距离D的高楼17的顶层附近存在设置有信息发送源100的点光源的招牌14。此外，在标识11与托着信息显示装置200及显示设备300的操作者10之间存在多个来往的人20，他们从操作者10向标识11的方向移动。 图8 图11是使用本实施方式时的显示于显示设备300的图像的一例的图。这里，假设时间按照图8、图9、图10、图11的顺序经过。图8中，显示设备300上显示图7所示的各被摄体,在标识11的跟前显示有来往的人20。此外，从各光源突出讲话线条21 24，各讲话线条中记载有从各光源获取的信息。这里，由于招牌13和招牌14位于较远的位置，所以通过现有技术的专利文献2的方法等限制讲话线条23、24中记载的信息，而只显示出“牛肉盖饭〇〇”，“ X X公寓”等概要信息，并且讲话线条23、24本身也缩小为相应的大小。此外，标识11尽管位于较近的位置，但由于来往的人20造成障碍，使点光源忽隐忽现，从而接收状态不好，所以通过本实施方式特有的结构，在从标识11的点光源突出的讲话线条21中只显示出“AA交叉路口”等概要信息，并且讲话线条21本身也缩小为相应的大小。此外，由于招牌12位于较近的位置，并且没有什么障碍物，所以从招牌12突出的讲话线条22中显示出“□□餐厅，营业时间…，今天推荐…”等这样详细的信息，并且讲话线条22本身也相应地扩大。图9中，讲话线条22、23及24中记载的信息与图8相同，但由于来往的人20完全遮蔽了标识11的点光源，所以讲话线条21没有被显示出。图10中，尽管接收状态不好，但仍能从来往的人20之间的空隙看到标识11的点光源，所以与图9同样地在较小的讲话线条中仅显示概要信息。图11中，由于来往的人20离开了标识11的点光源与托着信息显示装置200的操作者10之间，所以接收状态恢复，从而在从标识11的点光源突出的讲话线条25中显示出“AA交叉路口，等待信号50秒，丨市区，一XX车站，旁路一，拥挤状况…，限制时间…，”之类的详细信息，并且讲话线条22本身也相应地扩大。如上所述，在来自信息发送源100的信息因来往物等而中断，忽隐忽现地重复进行显示、非显示的情况下，通过不显示详细信息，而仅显示出概要来降低其存在感，从而提高其可读性。此外，上述具体例子中是通过根据通信状态的稳定度来限制重叠于图像的信息量，来改变显示形态，从而降低其存在感的，但改变显示形态的方法并不局限于对信息量的限制。例如，也可以通过改变文字、标志等的颜色和/或尺寸、讲话线条等背景的颜色和/或尺寸、讲话线条的重叠顺序、线的颜色和/或粗细、所显示的信息和/或讲话线条等的透过状况等，来改变显示形态，从而降低其存在感。
此外，在信息发送源瞬间被遮蔽或忽隐忽现的情况下，既可以不即刻使其不显示而使之继续进行显示，也可以直到通信状态变稳定为止一直使其不显示。此外，由于可见性高的光源所发送的信息一般就是应提示给使用者的信息，所以最好改变显示形态，以使可见性越高的信息显示得越显眼。〈总结〉

根据第一实施方式的信息显不系统I，在使用光空间传输的信息传输来将信息重叠显示于所拍摄的图像时，考虑到从操作信息显示装置200的操作者观看信息发送源100的可见性，在如信息发送源100被来往的人等瞬间遮蔽而忽隐忽现这样、存在接收状态不稳定的信息发送源100的情况下，能够使来自这样的信息发送源的信息不显眼，以降低其存在感。所以，即使减少了存在感后显示的信息因接收状态不稳定而忽隐忽现地重复进行显示和非显示，也不会有可读性显著降低的情况，从而能够大幅度提高可读性。此外，在将有关可见性不好的信息发送源100的信息重叠显示于所拍摄的图像时，通过使该信息显示得不显眼，并根据所拍摄的图像上的信息发送源100的拍摄情况，能够使对应的信息以相应的显示形态重叠，从而能够提供协调的、不使人感到别扭的图像。[第一变形例]第一变形例是在发送相同信息的多个光源群中，部分光源忽隐忽现的情况下，判断为可见性不好，将信息不显眼地重叠于图像的情况。图12是示出具备分别发送相同信息的多个光源的招牌30、以及通过招牌前面的汽车31的图。图12所示的招牌30整体上，发送用光源130以规定间隔均匀地分布成矩形状，并且几乎其下半部分因陆续通过的汽车而忽隐忽现。这样的招牌30从操作者来看，与能够观看整个招牌的情况相比，可以说是可见性不好。然而，由于几乎上半部分的发送用光源130并不是忽隐忽现，所以若不采取一些措施，其显示形态就会与能够看到整个招牌的、可见性好的招牌相同，因此不太理想。〈结构〉图13是示出本发明所涉及的第一变形例中的信息显示系统2的功能结构的概要的图。图13所示的信息显示系统2包括信息发送源400、信息显示装置500以及显示设备300。这里，信息显示系统2也可以包括信息发送源100。此外，对与图I的信息显示系统I相同的结构标注了相同的附图标记并省略其说明。信息发送源400如图13的招牌30所示那样具备分别发送相同信息的多个光源，包括多个图I的发送用光源130。信息显示装置500与图I的信息显示装置200的不同之处在于信息显示装置500具备信息处理部520来取代信息处理部220，并具备显示控制部530来取代显示控制部230 ;信息处理部520是在信息处理部220中追加了同等光源个数控制部521的结构；显示控制部530与显示控制部230的不同之处在于，显示控制部530具备显示用信息生成部531，来取代显示用信息生成部232，其它结构与信息显示装置200相同。
同等光源个数控制部521根据通信信息处理部223所生成的、每个光源区域的通信信息，在各光源区域的通信信息之间进行比较，并在认为摄像部210所拍摄的图像中存在多个输出相同内容信息的光源的情况下，将它们注册为一个光源群。详细而言，同等光源个数控制部521将通信信息处理部223所生成的、每个光源区域的通信信息中所包含的导言数据与其它光源区域的通信信息中所包含的导言数据进行比较，一致的情况下判断为是输出相同内容信息的光源。并且，同等光源个数控制部521综合地判断优先级计算部231基于稳定度信息而计算出的每个光源区域的优先级中、被注册为光源群的多个光源区域的优先级，并计算光源群的优先级。详细而言，例如在 提取通信信息时，基于提取失败的光源的个数，来计算光源群的错误发生率，并判断错误发生率是否高于规定值，将被判断为高于规定值的光源群判断为通信状态不稳定，并且，使优先级低于通信状态被判断为稳定的情况下的优先级。此夕卜，例如也可以使被注册为光源群的多个光源区域的优先级平均化，并通过采用最大值，或最小值等，来计算光源群的优先级。显示用信息生成部531基于通信信息处理部223所生成的、每个光源区域的通信信息中包含的显示用信息，并根据优先级计算部231基于稳定度信息而计算出的每个光源区域的优先级、以及同等光源个数控制部521所计算出的每个光源群的优先级，来确定重叠用信息及其显示形态，并将其输出给图像重叠部233。并且，显示用信息生成部531也可以仅基于光源群中、提取失败的几率低于规定值的光源的位置，来确定将显示用信息重叠在摄像部210所拍摄的图像中的位置，由此通过使显示用信息重叠于不忽隐忽现的可见性好的部分，能够提高使用者的可见性。〈总结〉根据第一变形例的信息显示系统2，将发送相同信息的多个光源的分类为光源群，并通过综合地判断对各光源计算出的优先级，从而能够实现相应于具有多个光源的招牌的可见性的显示形态。[第二实施方式]< 概要 >第二实施方式与第I实施方式同样地，在利用通过光空间传输的信息传输来将信息重叠显示于所拍摄的图像上的系统中，根据每个光源的通信状态的稳定度来改变重叠信息时的形态。更详细而言，通过保存通信状态不稳定的光源的信息并使之继续进行显示来提高可读性，或通过废弃通信状态不稳定的光源的信息来提高可读性。〈结构〉图14是示出本发明所涉及的第二实施方式的信息显示系统3的功能结构的概要的图。图14所示的信息显示系统3包括信息发送源600、信息显示装置700以及显示设备 800。与图I的信息显示系统I的信息发送源100相同，信息发送源600是与排列在商店中的商品展柜、市内广告招牌等一起设置的固定型电子设备，具有发送显示用信息的功能，并包括通信数据生成部610、调制器620及发送用光源630。与图I的信息显示系统I的信息显示装置200相同，信息显示装置700例如是数码相机、带照相机的手机等具备拍摄功能的便携式电子设备，该信息显示装置700具有通过光无线通信获取显示用信息，将显示用信息重叠显示于所拍摄的视频的功能，并具备摄像部710、信息处理部720以及显示控制部730。与图I的信息显示系统I的显示设备300相同，显示设备800是液晶显示器等图像显示装置。
通信数据生成部610生成显示于信息显示装置700的显示用信息。调制器620将通信数据生成部610所生成的显示用信息转换成电信号。发送用光源630是LED、荧光灯等能够发送具有一定程度以上强度的光的设备，它通过用由调制器620转换之后的电信号，并根据光的强弱，来向信息显示装置700发送包含显示用信息的通信信息。图15是根据光的强弱从信息发送源600向信息显示装置700发送的通信信息的数据格式的一例的图。这里、图中“一”示出时间T的行进方向。如图15所示，通信信息的数据格式包括导言数据部D30(图中记载为“导言”，这里为6bit)、帧类型(frame type)部D40 (图中记载为“F-TYPE”，这里为8bit)、净荷部D50 (图中记载为“PAYLOAD”，这里为512bit)以及检查用数据部D60 (图中记载为“CRC”，这里为16bit)，几个这样的通信帧一起，从信息发送源600反复巡回地被输出。存储在导言数据部D30中的数据包含用于在信息显示装置700中识别包含显示用信息的、作为固定数据的导言模式。存储在帧类型部D40中的数据是用于识别净荷部D50中存储有哪个类型的信息的Ih息，例如是，表不是字符"[目息还是图像"[目息等的"[目息，或是表不压缩格式、编码种类的"[目息，根据这样的信息，能够确定可以适当再现净荷部D50中所存储的数据的应用软件。净荷部D50的数据格式包括标志部D51(图中记载为“FLAG”，这里为8bit)、长度部D52(图中记载为“ML”，这里为16bit)、消息类型部D53(图中记载为“M-TYPE”，这里为8bit)、消息部D54(图中记载为“Message”，这里为可变长)、以及检查用数据部D55(图中记载为“CRC”，这里为16bit)。存储在标志部D51中的数据表示，在分为多个通信帧来发送信息时是否是开头的消息。存储在长度部D52中的数据表示，消息类型部D53与消息部D54的合计长度。存储在消息类型部D53中的数据是表示消息部D54中存储有什么类型的信息的信
肩、O存储在消息部D54中的数据是应发送接收的通信信息本身，根据数据长度而被分割为多个，并分为连续的多个通信帧而被发送。这里，根据存储在标志部D51中的数据，将连续所接收的多个通信帧按接收存储在消息部D54中的数据的顺序，从开头连接起来，由此来复原通信消息。存储在检查用数据部D55中的数据是为了确认存储在消息类型部D53以及消息部D54中的数据是否被正确发送接收而设置的检查用数据。存储在检查用数据部D60中的数据是为了确认存储在净荷部D50中的数据是否被正确发送接收而设置的检查用数据。摄像部710是按时间序列拍摄图像的设备，具备镜头711以及图像传感器712，镜头711对所输入的光的成像状态进行调整，图像传感器712将通过镜头711而获取的光的强弱转换为电信号来生成光电转换信息，并通过将其依次输出给信息处理部720，来拍摄图像。信息处理部720从摄像部710所拍摄的图像中，确定亮度随着时间变化以规定模式发生变化的所有的光源区域，并根据每个光源区域的亮度变化，来从这里所确定的一个或多个光源区域中提取每个光源区域的通信信息，并按每个通信信息来生成表示通信状态的稳定度的稳定度信息(第二实施方式中为平均错误次数、平均状况转换次数、亮度的平均值等)，信息处理部720包括获取信息处理部721、图像信息处理部722、通信信息处理部723、错误信息处理部724以及亮度信 息处理部725。这里，平均错误次数是指，最近的规定时间间隔内因产生通信错误而不能提取通信信息的次数。此外，平均状况转换次数是指，最近的规定时间间隔内能够提取通信信息的状态与不能提取通信信息的状态之间转换的次数。此外，也可以使用出错率来取代平均错误次数。显示控制部730将信息处理部720所提取的、每个区域的通信信息中包含的显示用信息，以根据信息处理部720所生成的、对应的稳定度信息而规定的形态，重叠于摄像部710所拍摄的图像，并对亮度、尺寸等进行调整后，使之显示于外部的显示设备800，显示控制部730包括设定存储部731、显示用信息生成部732以及图像重叠部733。获取信息处理部721根据摄像部710的图像传感器712所生成的光电转换信息，提取用于图像解析的图像信息，将其输出给图像信息处理部722，并且，确定信息发送源的光源，按每个光源来设定光源区域，并按这里所设定的每个光源区域来提取亮度信息，该亮度信息表示对应的时间序列的亮度变化，并将表示所设定的光源区域的区域信息与所提取的亮度信息建立对应关系后，输出给通信信息处理部723。图像信息处理部722通过对获取信息处理部721所提取的图像信息进行将图像输出给画面时所需的色彩空间转换、视角调整等图像信息处理，来进行显示用调整，并将其输出给图像重叠部733。通信信息处理部723按照获取信息处理部721所提取的区域信息所示的每个光源区域，通过将获取信息处理部721所提取的亮度信息所示的时间序列的的亮度变化识别为‘0’和‘I’中任意的比特，来生成通信信息，并将其与区域信息一起输出给显示用信息生成部 732。这里，通信信息处理部723保存有用于判断所拍摄的图像中的每个光源区域的亮度变化是否是可见光通信的判断用位串(bit string)。例如，假设摄像部710按时间序列所拍摄的图像中存在亮度发生如下变化的三个区域。(区域 1)01010011100000000010.(区域 2) 10110110111000000000.(区域 3) 11101111101111001000.这里，假设通信信息处理部723内预先保存有判断用位串“111000000000”，则通信信息处理部723的判断结果如下(区域I)由于从开头第7比特到第18比特与判断用位串相一致，所以通信信息处理部723判断为是可见光通信的光源。
(区域2)由于从开头第8比特到第19比特与判断用位串相一致，所以通信信息处理部723判断为是可见光通信的光源。(区域3)由于没有与判断用位串相一致的部分，所以通信信息处理部723判断为不是可见光通信的光源，并继续进行判断，直到找到相一致的部分为止。此外，通信信息处理部723对包含每个光源区域的通信变为正常(OK)的时刻、以及通信变得不正常的时刻的通信履历信息进行管理，并在生成通信信息时，使用所管理的通信履历信息，计算每个光源区域的平均错误次数以及平均状况转换次数，并将它们与区域信息一起输出给错误信息处理部724，并且，将亮度信息与区域信息一起输出给亮度信息处理部725。错误信息处理部724根据通信信息处理部723所计算出的每个光源区域的平均错误次数和平均状况转换次数，来判断通信状态是否稳定，并将其输出给显示用信息生成部732。具体而言，例如，在满足平均错误次数为规定数N以上、以及平均状况转换次数为规定数M以上的两个条件的情况下，错误信息处理部724判断为通信状态不稳定，而在不满足任意一个条件的情况下，判断为通信状态稳定。此外，例如也可以是，在出错率(通信错误次数/处理次数)为规定值L以上、以及平均状况转换次数为规定数M以上的两个条件都满足的情况下，错误信息处理部724判断为通信状态不稳定。亮度信息处理部725根据获取信息处理部721所提取的每个光源区域的亮度信息，来计算每个光源区域的亮度信息所示的亮度的平均值，并将亮度的平均值小于规定的信号振幅的下限的光源区域从处理对象中除去。此外，亮度信息所示的亮度的平均值的计算方法与第一实施方式相同。设定存储部731从使用者受理显示设定，并进行存储，该显示设定表示在显示设备800上是显示出与通信状态不稳定的区域相对应的通信信息中包含的显示用信息、还是不显示出该显示用信息。并且，设定存储部731除了对通信状态稳定的区域所进行的显示用属性的设定之夕卜，还从使用者受理对通信状态不稳定的区域所进行的显示用属性的设定，并进行存储。具体而言，通信状态不稳定的区域的显示用属性是字体、尺寸、文字颜色、文字格式(画线、黑体、斜体等)、显示背景(讲话线条的形状等)、背景颜色、透明度等，通过使用与通信状态稳定的区域的显示用属性不相同的设定值，能够通过视觉直观地识别出通信状态不稳定的区域。例如，通信状态不稳定的区域的情况下，使重叠于图像时的显示用信息的占有面积实质上小于通信状态稳定的区域的显示用信息的占有面积。这里，实质上减少占有面积具体是通过减少信息量、缩小显示文字、缩小显示标志、缩小讲话线条、将讲话线条的重叠顺序设在后面、或提高透射率等中的一个或组合其中的多个而实现。此外，在减少占有面积时，若将显示文字的颜色、显示标志的颜色、或讲话线条的颜色等改变成比较不显眼的颜色、朴素的颜色或与背景颜色近似的颜色等，则尤为有效。

此外，显示用属性的设定并不一定要进行，因此也可以省略显示用属性的设定。此夕卜，也可以使通信状态不稳定的区域的显示用属性与通信状态稳定的区域的显示用属性相同。显示用信息生成部732根据通信信息处理部723所生成的、每个光源区域的通信信息中包含的显示用信息，并根据与存储在设定存储部731中的显示设定以及显示用属性的设定相对应的形态，来确定重叠用信息及其显示形态，并将其输出给图像重叠部733。图像重叠部733使显示用信息生成部732所确定的重叠用信息，以所确定的显示形态重叠于由图像信息处理部722进行了图像信息处理后的图像信息，将其输出给显示设备800，并使图像显示。此外，图像重叠部733也可以将每个光源区域的显示用信息分别与各自的光源区域的位置建立相关关系来进行重叠。更具体而言，例如，在光源区域的位置重叠相应的显示用信息，通过带箭头的线等来使光源区域的位置与对应的显示用信息连接，或将讲话线条从光源区域的位置突出，并在该讲话线条内记载对应的显示用信息。
更详细而言，显示用信息生成部732将根据稳定度信息而被判断为通信状态稳定的通信信息中包含的显示用信息重叠于摄像部710所拍摄的图像，并使之显示于显示设备800。此外，在存储在设定存储部731中的显示设定表示“不显示”的情况下，显示用信息生成部732便废弃根据稳定度信息而被判断为通信状态不稳定的通信信息。此外，在存储在设定存储部731中的显示设定表示“显示”的情况下，显示用信息生成部732便保存根据稳定度信息而被判断为通信状态不稳定的通信信息中包含的显示用信息，并在被判断为通信状态不稳定的期间，继续使所保存的显示用信息重叠于摄像部710所拍摄的图像，并使之显示于显示设备800。此外，也可以不要显示设定，而使在显示设备800上显示与通信状态不稳定的区域相对应的通信信息中包含的显示用信息的情况、以及不显示出该显示用信息的情况中的任意一方总是有效。〈动作〉图16是示出第二实施方式中的、从光源区域检测处理到信号验证处理以及重叠处理的一系列顺序的图。步骤S51 步骤S57是光源区域检测处理的顺序。(I)获取信息处理部721将图像传感器712所拍摄的图像映像作为框数据，将相当于导言数据部D30的比特数的多个框数据进行缓冲(buffering)(步骤S51)。(2)判断步骤S51中缓冲的多个框数据中是否存在亮度发生变化的光源(步骤
552)。(3)存在亮度发生变化的光源的情况下(步骤S52为是)，获取信息处理部721将所缓冲的框数据和导言数据部D30中的导言模式进行比较，并判断它们是否一致(步骤
553)。(4)不存在亮度发生变化的光源的情况下(步骤S52为否)、以及不存在与导言模式一致的光源的情况下(步骤S53为否)，获取信息处理部721判断为亮度发生变化的所有光源都不是通信信息，进入对通信状态的稳定度较低的闪烁光源进行处理(步骤S65)的步骤(步骤S54)。(5)存在与导言模式一致的光源的情况下(步骤S53为是)，获取信息处理部221，将被判断为一致的、亮度发生变化的光源确定为是发送包含显示用数据的通信信息的光源，并提取用于图像解析的图像信息。此外，图像信息处理部722对这里所提取的图像信息进行显示用调整(步骤S55)。(6)获取信息处理部721使用陀螺仪或方位磁铁等来获取拍摄方向和拍摄角度(步骤S56)。(7)将在步骤S56中获取的拍摄方向和拍摄角度、与表示包含亮度发生变化的光源的光源区域的区域信息一起存储(步骤S57)。步骤S58 步骤S64是信号验证处理的顺序。(8)通信信息处理部723从在步骤S57中所存储的区域信息所示的光源区域接收如图15所示那样的数据格式的通信信息，并按每个光源区域，将相当于一个通信帧的比特数的位串进行缓冲。此外，亮度信息处理部 725根据获取信息处理部721所提取的、每个光源区域的亮度信息，以通信帧为单位计算每个光源区域的亮度信息所示的亮度的平均值。这里，将亮度的平均值小于规定的信号振幅的下限的光源区域从处理对象中除去(步骤 S58)。(9)判断是否至少有一个从处理对象中未被除去的、剩下的光源区域(步骤S59)。这里，在所有光源区域都从处理对象中被除去的情况下(步骤S59为否)，进入对闪烁光源进行处理(步骤S65)。(10)还剩至少I个没有从处理对象中除去的光源区域的情况下(步骤S59为是)，按剩下的每个光源区域，对相当于I个通信帧的比特数的位串进行第一次CRC检查。此外，按光源区域来分别将CRC检查结果为不正常的时刻追记到通信履历信息中(步骤S60)。(11)判断是否至少有一个第一次CRC检查结果为正常的光源区域(步骤S61)。这里，在所有光源区域的第一次CRC检查结果都为不正常(异常)的情况下(步骤S61为否)，进入对闪烁光源的处理(步骤S65)。(12)在至少有I个第一次CRC检查结果为正常(无异常)的情况下(步骤S61为是)，按剩下的每个光源区域，并参照标志部D51及长度部D52，来将存储在净荷部D50中的相当于一个通信消息的数据进行缓冲。(13)接着，按每个剩下的光源区域，对存储在净荷部D50中的相当于一个通信消息的数据进行第二次CRC检查。此外，按光源区域来分别将第二次CRC检查结果为不正常(有异常)的时间以及变为正常的时刻追记到通信履历信息中。(步骤S63)(14)判断是否至少有一个第二次CRC检查结果为正常的光源区域(步骤S64)。这里，存在第二次CRC检查结果为正常的光源区域的情况下(步骤S64为否)，进入步骤S66。步骤S65 步骤S71是重叠处理的顺序。(15)在所有光源区域都从处理对象中被除去的情况(步骤S59为否)、所有光源区域的第一次CRC检查结果都为不正常的情况(步骤S61为否)、以及所有光源区域的第二次CRC检查结果都为不正常的情况下(步骤S64为否)，判断是否存在闪烁光源(步骤S65)。这里，判断闪烁光源的具体方法是，首先使用通信履历信息，来计算最近规定时间内(例如I分钟)因产生通信错误而不能够提取通信信息的次数(平均错误次数)、以及最近规定时间内(例如5分钟)在不正常与正常(OK)之间转换的次数(平均状况转换次数)。接着，例如，若在这里所计算出的平均错误次数为规定数以上(例如10次)，并且平均状况转换次数为规定数以上(例如6次)的情况下，则判断为是闪烁光源，而若有其中一方小于规定数的情况下，则判断为不是闪烁光源。此外，例如也可以是，最近一定期间(例如5分钟)的出错率(通信错误次数/处理次数)为规定值以上(例如30% )，并且平均状况转换次数为规定数以上(例如6次)的情况下，判断为是闪烁光源。此外，判断是否闪烁光源的条件也可以适当地将各个条件进行组合。(16)在至少有一个CRC检查结果为正常的光源区域的情况下(步骤S64为是)，判断是否存在通信状态的稳定度低的闪烁光源(步骤S66)。(17)在判断为不存在闪烁光源的情况下(步骤S66为否)，对于CRC检查结果为正常的光源区域，使显示用信息以基于设定为显示用的显示用属性的显示形态重叠于图像信息(步骤S67)。(18)在判断为存在闪烁光源的情况下(步骤S66为是)，对于CRC检查结果为正常、且不是闪烁光源的光源区域，使显示用信息以基于设定为通常显示用的显示用属性的显示形态重叠于图像信息，并且，存储CRC检查结果为正常、且是闪烁光源的光源区域的显示用信息(步骤S68)。(19)在判断为存在闪烁光源的情况下(步骤S68的后续、步骤S65为否)，判断存储在设定存储部731中的显示设定是“显示”还是“不显示”(步骤S69)。这里，在显示设定为“不显示”的情况下，进入图像的显示处理(步骤S71)。(20)在显示设定为“显示”的情况下(步骤S69为是)，对于是闪烁光源的光源区域，使所保存的显示用信息以基于设定为闪烁光源用的显示用属性的显示形态重叠于图像信息(步骤S70)。(21)在判断为不存在闪烁光源的情况(步骤S65为否)、以及各重叠处理完毕的情况下(步骤S67的后续、步骤S70的后续)，将所重叠的图像信息输出给显示设备800，并使图像显示，并且，废弃所缓冲的所有数据，返回(步骤S71)框数据的缓冲(步骤S51)。〈总结〉根据第二实施方式的信息显不系统3,在利用光空间传输的信息传输来将信息重叠显示于所拍摄的图像时，考虑到从操作信息显示装置700的操作者来看的信息发送源600的可见性，在如信息发送源因被来往的人等瞬间遮蔽而忽隐忽现这样，存在接收状态不稳定的信息发送源的情况下，能够保存与接收状态不稳定的区域相对应的显示用信息，并使所保存的显示用信息继续显示于显示设备，或废弃与接收状态不稳定的区域相对应的信息，从而不存在显示用信息忽隐忽现的情况，并能够提高可读性。此外，上述实施方式也可以通过使CPU执行能够让CPU执行存储装置(ROM、RAM、硬盘等)中存储的上述处理顺序的程序来实现。该情况下，该程序既可以经由存储介质存储在存储装置内来执行，也可以从存储介质上直接执行。这里的存储介质是指，ROM、RAM、闪存(flash memory)等半导体存储器、软盘、硬盘等磁盘存储器、⑶-ROM、DVD、BD等光盘、存储卡等。此外，存储介质的概念包含电话线或传输路径等通信介质。此外，信息处理部220及显示控制部230内的各功能块、信息处理部520及显示控制部530内的各功能块、以及信息处理部720及显示控制部730内的各功能块可以通过LSI等集成电路来实现。此外，可以将这些各功能块单独地做成单芯片，或做成包含一部分或全部的单芯片。此外，本发明中称为LSI，但根据集成度的不同，也可以称为1C、系统LSI、超级(super)LSI、特级(ultra)LSI。 此外，电路集成的方法不仅仅局限于LSI，也可以通过专用电路或通用处理器来实现。例如，也可以利用能够在LSI制造后进行编程的现场可编程门阵列(FieldProgrammable Gate Array),或LSI内部的电路元件的连接或设定能够重构的可重构处理器。此外，随着半导体技术的进步或派生出另外的技术，若出现了能够取代LSI的电路集成技术，理所当然，也可以应用该技术对功能块进行集成。具体而言，也有可能应用到生物技术中。包括本发明的通信系统通过采用将Ethernet (注册商标)接口、IEEE1394接口、USB接口等信号接口转换成电力线通信接口的适配器的形式，能够连接于具有各种接口的个人电脑、DVD录像机、数字电视 机以及家庭服务器系统等多媒体设备。由此，能够构筑以电力线为介质的、高速传输多媒体数据等数字数据的网络系统。其结果，由于能够不需要如现有的有线LAN那样重新敷设网络电缆，而直接将已设置在家庭、办公室中等的电力线用作网络线路，所以从成本、设置的简便性的角度来看，其使用方便性很大。此外，将来，通过使个人电脑、DVD录像机、数字电视机以及家庭服务器系统等多媒体设备内置包含本发明的功能，经由多媒体设备的电源软线就能够在设备之间进行数据传输。在此情况下，由于不需要适配器、Ethernet电缆、IEEE1394电缆、USB电缆等，所以能够简化布线。此外，由于能够经由路由器而连接于互连网，或使用集线器等来连接于无线LAN、现有的有线电缆的LAN，所以在扩展本发明时也不会产生任何问题。此外，电力线传输方法中，由于通信数据经由电力线而被传输，所以不会如无线LAN那样产生数据因电波被窃听而泄漏的问题。因此，电力线传输方法从安全性方面来看对保护数据尤为有效。当然，传输于电力线的数据例如通过IP协议中的IPsec、信息内容本身的加密、其它DRM(DigitalRights Management,数字版权管理)方式等而被保护。这样,通过安装QoS (Quality of Service,服务质量)功能,使用电力线能够实现高质量的AV信息内容的传输,该QoS功能包括通过加密信息内容而进行的版权保护功能、以及本发明的效果(吞吐量(Throughput)的提高、灵活地对应重发的增加或通信量(traffic)的变动而进行的频带分配)。以上，虽然对本发明进行了详细的说明，但是上述说明中的所有方面不过是对本发明的示例，而非用来限定本发明的范围。因此，在不脱离本发明的范围内，可以进行各种改进和变形。(工业实用性)本发明的信息显示装置、显示控制用集成电路、显示控制程序以及显示控制方法可以应用于具有显示所拍摄的图像的功能的数码相机、手机、笔记本个人电脑等，由于在从所拍摄的图像提取信息，并使之重叠于图像时，能够提高可读性，所以尤为有效。
权利要求
1.一种信息显示装置，其特征在于 该信息显示装置将显示用信息重叠于按时间序列拍摄的图像，并显示于显示设备，该信息显示装置具备 摄像部，按时间序列拍摄图像； 信息处理部，从上述摄像部所拍摄的图像中的、亮度随着时间变化而发生变化的一个或多个区域中，根据每个该区域的亮度变化，按每个该区域来提取包含显示用信息的通信信息，并按每个该通信信息来生成表示通信状态的稳定度的稳定度信息；以及 显示控制部，使上述信息处理部所提取的每个区域的通信信息中包含的显示用信息，以基于上述信息处理部所生成的对应的稳定度信息而规定的形态，重叠于上述摄像部所拍摄的图像，并显示于上述显示设备。
2.根据权利要求I所述的信息显示装置，其特征在于 上述显示控制部从使用者受理显示设定，并进行存储，该显示设定表示是否使与通信状态不稳定的区域相对应的通信信息中所包含的显示用信息显示于上述显示设备， 在所存储的显示设定表示“不显示”的情况下，上述显示控制部将根据上述稳定度信息而被判断为通信状态稳定的通信信息中所包含的显示用信息重叠于上述摄像部所拍摄的图像，显示于上述显示设备，并废弃被判断为通信状态不稳定的通信信息， 在所存储的显示设定表示“显示”的情况下，上述显示控制部保存根据上述稳定度信息而被判断为通信状态不稳定的通信信息中所包含的显示用信息，并在被判断为通信状态不稳定的期间，继续使所保存的显示用信息重叠于上述摄像部所拍摄的图像，显示于上述显示设备。
3.根据权利要求2所述的信息显示装置，其特征在于 上述信息处理部按每个上述区域，来检测表示最近的规定时间间隔内未能提取上述通信信息的次数的错误次数、以及表示最近的规定时间间隔内能提取通信信息的状态与不能提取通信信息的状态之间转换的次数的状况转换次数，在满足该错误次数为规定数N以上、以及该状况转换次数为规定数M以上的两个条件的情况下，判断为通信状态不稳定，而在不满足其中任意一个条件的情况下，判断为通信状态稳定。
4.根据权利要求2所述的信息显示装置，其特征在于 上述信息处理部按每个上述区域，来检测表示最近的规定时间间隔内未能提取上述通信信息的比例的出错率、以及表示最近的规定时间间隔内能提取通信信息的状态与不能提取通信信息的状态之间转换的次数的状况转换次数，在满足该出错率为规定值L以上、以及该状况转换次数为规定数M以上的两个条件的情况下，判断为通信状态不稳定，而在不满足其中任意一个条件的情况下，判断为通信状态稳定。
5.根据权利要求2所述的信息显示装置，其特征在于 上述信息处理部测量每个上述区域的亮度的平均值，并将该平均值小于规定值的区域从处理对象中除去。
6.根据权利要求I所述的信息显示装置，其特征在于 上述显示控制部使根据上述稳定度信息而被判断为通信状态稳定的通信信息中所包含的显示用信息重叠于上述摄像部所拍摄的图像，并显示于上述显示设备，并且废弃被判断为通信状态不稳定的通信信息。
7.根据权利要求I所述的信息显示装置，其特征在于 上述显示控制部保存根据上述稳定度信息而被判断为通信状态不稳定的通信信息中所包含的显示用信息，并在被判断为通信状态不稳定的期间，继续使所保存的显示用信息重叠于上述摄像部所拍摄的图像，并显示于上述显示设备。
8.根据权利要求I所述的信息显示装置，其特征在于 在根据上述稳定度信息而被判断为通信状态不稳定的情况下，上述显示控制部使重叠于图像时的上述显示用信息的占有面积实际上小于被判断为通信状态稳定的情况下的占有面积。
9.根据权利要求8所述的信息显示装置，其特征在于 在实际上减少占有面积时，上述显示控制部减少信息量，缩小显示文字，缩小显示标志，缩小讲话线条，将讲话线条的重叠顺序设在后面，或提高透过率。
10.根据权利要求9所述的信息显示装置，其特征在于 在实际上减少占有面积时，上述显示控制部进一步改变显示文字的颜色，改变显示标志的颜色，或改变讲话线条的颜色。
11.根据权利要求I所述的信息显示装置，其特征在于 上述信息处理部所提取的、每个区域的通信信息分别包含多个上述显示用信息，各个显示用信息与优先级建立了对应关系， 上述显示控制部按每个上述区域，根据上述稳定度信息来确定优先级，并使与所确定的优先级相应的显示用信息显示于上述显示设备。
12.根据权利要求I所述的信息显示装置，其特征在于 上述信息处理部在提取上述通信信息时，判断每个上述区域是否符合亮度小于规定值的、以及错误发生率高于规定值中的至少一个，将符合的区域的上述稳定度信息作为表示通信状态不稳定的信息。
13.根据权利要求I所述的信息显示装置，其特征在于 上述显示控制部将每个上述区域的显示用信息与上述摄像部所拍摄的图像中的、每个该区域的图像建立相关关系，并进行重叠。
14.根据权利要求I所述的信息显示装置，其特征在于 在认为上述摄像部所拍摄的图像中存在多个输出相同内容的信息的光源的情况下，上述信息处理部将它们作为一个区域来对待。
15.根据权利要求14所述的信息显示装置，其特征在于 在认为存在多个输出相同内容的信息的光源的区域中提取上述通信信息时，上述信息处理部根据提取失败的光源的个数，来计算错误发生率，并判断该错误发生率是否高于规定值，从而将被判断为该错误发生率高的区域的上述稳定度信息作为表示通信状态不稳定的内容的信息。
16.根据权利要求14所述的信息显示装置，其特征在于 在认为存在多个输出相同内容的信息的光源的区域中提取上述通信信息时，上述显示控制部仅根据提取失败的几率低于规定值的光源的位置，来确定重叠上述显示用信息的位置。
17.一种集成电路，其特征在于该集成电路用于信息显示装置，该信息显示装置将显示用信息重叠于摄像部按时间序列拍摄的图像，并显示于显示设备， 该集成电路集成发挥以下功能的电路 信息处理部，从上述摄像部所拍摄的图像中的、亮度随着时间变化而发生变化的一个或多个区域中，根据每个该区域的亮度变化，并按每个该区域来提取包含显示用信息的通信信息，并且，按每个该通信信息来生成表示通信状态的稳定度的稳定度信息；以及 显示控制部，使上述信息处理部所提取的每个区域的通信信息中所包含的显示用信息以基于上述信息处理部所生成的、对应的稳定度信息而规定的形态，重叠显示于上述摄像部所拍摄的图像，并显示于上述显示设备。
18.一种显示控制程序，其特征在于 该显示控制程序由信息显示装置执行，该信息显示装置将显示用信息重叠于按时间序列拍摄的图像，并显示于显示设备， 该显示控制程序使上述信息显示装置执行 按时间序列拍摄图像的摄像步骤； 信息处理步骤，从在上述摄像步骤所拍摄的图像中的、亮度随着时间变化而发生变化的一个或多个区域中，根据每个该区域的亮度变化，按每个该区域来提取包含显示用信息的通信信息，并且，按每个该通信信息来生成表示通信状态的稳定度的稳定度信息；以及显示控制步骤，使上述信息处理步骤中提取的每个区域的通信信息中所包含的显示用信息以基于上述信息处理步骤中生成的、对应的稳定度信息而规定的形态，重叠显示于上述摄像步骤中拍摄的图像，并显示于上述显示设备。
19.一种信息显示方法，其特征在于 该信息显示方法将显示用信息重叠于按时间序列拍摄的图像，并显示于显示设备，该信息显示方法包括 摄像步骤，按时间序列拍摄图像； 信息处理步骤，从上述摄像步骤中拍摄的图像中的、亮度随着时间变化而发生变化的一个或多个区域中，根据每个该区域的亮度变化，按每个该区域来提取包含显示用信息的通信信息，并且，按每个该通信信息来生成表示通信状态的稳定度的稳定度信息；以及显示控制步骤，使上述信息处理部所提取的每个区域的通信信息中所包含的显示用信息以基于上述信息处理步骤中生成的对应的稳定度信息而规定的形态，重叠于上述摄像步骤中拍摄的图像，并显示于上述显示设备。
全文摘要
提供一种在通过光空间传输来将信息重叠显示于所拍摄的图像时，即使在接收状态不稳定的情况下，也能够提高可读性的信息显示装置、显示控制用集成电路、显示控制程序及显示控制方法。摄像部(210、720)按时间序列拍摄图像。信息处理部(220、520、720)从所拍摄的图像中的、亮度随着时间变化而发生变化的区域中，根据每个区域的亮度变化，并按每个区域来提取包含显示用信息的通信信息，并且，按每个通信信息来生成表示通信状态的稳定度的稳定度信息。显示控制部(230、530、730)使所提取的每个区域的通信信息中包含的显示用信息以基于所生成的对应的稳定度信息而规定的形态，重叠显示于所拍摄的图像，并显示于显示设备(300、800)。
文档编号H04N5/225GK102714691SQ201080027880
公开日2012年10月3日 申请日期2010年11月4日 优先权日2009年12月18日
发明者中西幸司, 山田和范 申请人:松下电器产业株式会社