位置信息取得装置、位置信息取得方法、记录介质以及位置信息取得系统与流程

文档序号:21041589发布日期:2020-06-09 20:42阅读:141来源:国知局
位置信息取得装置、位置信息取得方法、记录介质以及位置信息取得系统与流程

关于本申请,主张以在2018年11月30日申请的日本专利申请2018-224457以及在2019年6月5日申请的日本专利申请2019-105599为基础的优先权,将该基础申请的内容全都引入到本申请中。

本发明涉及位置信息取得装置、位置信息取得方法、记录介质以及位置信息取得系统。



背景技术:

如国际公开第2005/124687号记载的那样,已知多台摄像机对标志物(marker)摄像来确定其三维位置的技术。

但在上述的专利文献的技术中,易于受到摄像机的光学特性、标志物的小的位置的偏离等的影响,为此三维位置的确定的可靠性中有可能会产生偏差。



技术实现要素:

本申请发明鉴于这样的问题点而提出,其目的在于,提供用来对位置信息取得对象的位置的偏差产生的解决方案。

本发明所涉及的位置信息取得装置取得设置于给定的空间内的位置取得对象的位置信息,位置信息取得装置具备处理器,所述处理器执行:检测基于识别信息的光,该识别信息在从各个不同的拍摄方向对所述给定的空间摄像得到的多个摄像图像中共通包含,根据所述检测到的光的所述多个摄像图像中的各个检测位置和对所述多个图像摄像的摄像装置的摄像时各自的位置信息,取得以所述识别信息确定的位置信息取得对象在所述给定的空间中的三维位置,基于与正在对所述多个摄像图像摄像时的所述摄像装置的各个摄像状况相关的信息,来取得所述取得的所述位置信息取得对象的三维位置的可靠度信息,具备:存储所述取得的可靠度信息的存储器。

本发明所涉及的位置信息取得方法取得设置于给定的空间内的位置取得对象的位置信息,所述位置信息取得方法包括:检测基于识别信息的光的检测步骤,该识别信息在从各个不同的拍摄方向对所述给定的空间摄像得到的多个摄像图像中共通包含;根据所述检测步骤中检测到的光的所述多个摄像图像中的各个检测位置和对所述多个图像摄像的摄像装置的摄像时各自的位置信息,来取得以所述识别信息确定的位置信息取得对象在所述给定的空间中的三维位置的取得步骤;基于与正在对所述多个摄像图像摄像时的摄像装置的各个摄像状况相关的信息,来取得所述取得的所述位置信息取得对象的三维位置的可靠度信息的取得步骤;和使所述取得的可靠度信息存储在给定的存储器的存储步骤。

本发明所涉及的记录介质一种记录介质,是取得设置于给定的空间内的位置取得对象的位置信息的位置信息取得装置所具有的计算机能读取的记录介质,所述记录介质记录有程序,所述程序使该计算机作为如下单元发挥功能:检测基于识别信息的光的检测单元,所述识别信息在从各个不同的拍摄方向对所述给定的空间摄像得到的多个摄像图像中共通包含;根据由所述检测单元检测到的光的所述多个摄像图像中的各个检测位置和对所述多个图像摄像的摄像装置的摄像时各自的位置信息,来取得以所述识别信息确定的位置信息取得对象在所述给定的空间中的三维位置的取得单元;基于与正在对所述多个摄像图像摄像时的摄像装置的各个摄像状况相关的信息来取得所述取得的所述位置信息取得对象的三维位置的可靠度信息的取得单元;和使所述取得的可靠度信息存储在给定的存储器的存储单元。

本发明所涉及的位置信息取得系统具备:从各个不同的拍摄方向对给定的空间摄像的摄像装置;和取得设置于所述给定的空间内的位置取得对象的位置信息的位置信息取得装置,所述位置信息取得系统的特征在于,所述位置信息取得装置具备处理器,所述处理器执行:检测基于识别信息的光,所述识别信息在通过所述摄像装置摄像得到的多个摄像图像中共通包含,根据所述检测到的光的所述多个摄像图像中的各个检测位置和所述摄像装置的多个摄像图像的摄像时各自的位置信息,来取得以所述识别信息确定的位置信息取得对象在所述给定的空间中的三维位置,基于与正在对所述多个摄像图像摄像时的各个摄像状况相关的信息来取得所述取得的所述位置信息取得对象的三维位置的可靠度信息,具备:存储所述取得的可靠度信息的存储器。

发明的效果

根据本发明,能提供用来对位置信息取得对象的位置的偏差产生的解决方案。

附图说明

图1是表示本发明的实施方式所涉及的可见光通信系统的一例的图。

图2是表示该实施方式所涉及的服务器的结构的一例的图。

图3是表示从由该实施方式所涉及的2个摄像机摄像的图像求得的视差的一例的图。

图4是表示该实施方式所涉及的2个摄像机的设置位置以及摄像方向的算出的一例的图。

图5是表示该实施方式所涉及的速度算出的一例的图。

图6是表示该实施方式所涉及的空间分割的一例的图。

图7是表示该实施方式所涉及的服务器所进行的可靠度信息取得的一例的流程图。

图8是表示该实施方式所涉及的服务器所进行的第2标志物的设置位置的取得处理的一例的流程图。

图9是表示其他实施方式所涉及的服务器所进行的位置/可靠度信息表格的生成、保持的一例的流程图。

图10是表示其他实施方式所涉及的位置/可靠度信息表格的一例的图。

图11是表示其他实施方式所涉及的服务器所进行的位置/可靠度信息表格的生成、保持的其他示例的流程图。

图12是表示其他实施方式所涉及的位置/可靠度信息表格的一例的图。

图13是表示其他实施方式所涉及的位置的误差算出的一例的图。

具体实施方式

以下参考附图来说明作为本发明的实施方式所涉及的位置信息取得系统的可见光通信系统。

图1是表示可见光通信系统的结构的图。如图1所示那样,可见光通信系统1包含设置于空间500内的设备100a、100b、100c(以下在不分别限定设备100a、100b、100c的情况下适宜称作「设备100」)和与位置信息取得装置对应的服务器200而构成。

设备100a安装有第2标志物102a,设备100b安装有第2标志物102b,设备100c安装有第2标志物102c(以下在不分别限定第2标志物102a、102b、102c的情况下适宜称作「第2标志物102」)。服务器200安装有与摄像装置对应的摄像机201a、201b、201c、201d(以下在不分别限定摄像机201a、201b、201c、201d的情况下适宜称作「摄像机201」)。另外,在空间500内设置有第1标志物300a、300b、300c、300d、300e(以下在不分别限定第1标志物300a、300b、300c、300d、300e的情况下适宜称作「第1标志物300」)。第1标志物300以及第2标志物102包含未图示的led(lightemittingdiode,发光二极管)。第2标志物102与位置信息取得对象对应。

在本实施方式中,安装于设备100的第2标志物102通过发出与设备100的状态等各种发送对象的信息对应的光来发送信息。另一方面,服务器200对通过摄像机201在时间序列上连续的摄像而得到的光的图像中的发光色的变化进行解调,来取得第2标志物102所发出的信息。

在本实施方式中,起初,摄像机201a~201d的位置以及摄像方向不明。为此,在上述的服务器200所进行的设备100的状态等的取得之前,首先服务器200基于通过摄像机201a~201d的摄像而得到的图像中的第1标志物300a、300b、300c、300d、300e的各像的位置(二维坐标信息)来算出三维空间的空间500中的摄像机201a~201d的位置(设置位置)以及摄像方向。进而,服务器200生成用于将通过摄像而得到的图像中的第1标志物300的各像的位置(二维坐标信息)变换成空间500内的位置(设置位置)的变换矩阵。

图2是表示服务器200的结构的一例的图。如图2所示那样,服务器200包含控制部202、图像输入部204、存储器205、操作部206、显示部207以及通信部208。另外,在服务器200,经由布线安装摄像机201a~201d。

摄像机201a包含镜头203a,摄像机201b包含镜头203b,摄像机201c包含镜头203c,摄像机201d包含镜头203d(以下在不分别限定镜头203a、203b、203c、203d的情况下适宜称作「镜头203」)。镜头203由变焦透镜等构成。镜头203通过来自操作部206的变焦控制操作以及控制部202所进行的对焦控制而移动。通过镜头203的移动来控制摄像机201摄像的摄像视角、光学像。

摄像机201a~201d由规则地二维排列在受光面的多个受光元件构成。受光元件例如是ccd(chargecoupleddevice,电荷耦合器件)、cmos(complementarymetaloxidesemiconductor,互补金属氧化物半导体)等摄像器件。摄像机201a~201d基于来自控制部202的控制信号来以给定范围的摄像视角摄像(受光)经由镜头203进入的光学像,将该摄像视角内的图像信号变换成数字数据,来生成帧。另外,摄像机201a~201d在时间上连续地进行摄像和帧的生成,将连续的帧输出到服务器200内的图像输入部204。

在图像输入部204,基于来自控制部202的控制信号,而被输入摄像机201输出的帧(数字数据)。

控制部202例如是由cpu(centralprocessingunit,中央处理器)构成的处理器。控制部202通过按照存储于存储器205的程序(例如用于实现后述的图3所示的服务器200的动作的程序)执行软件处理,来控制服务器200所具备的各种功能。

存储器205例如是ram(randomaccessmemory,随机存取存储器)、rom(readonlymemory,只读存储器)。存储器205存储服务器200中的控制等中所用的各种信息(程序等)。

操作部206由数字小键盘、功能键等构成,是为了输入用户的操作内容而用的接口。显示部207例如由lcd(liquidcrystaldisplay,液晶显示器)、pdp(plasmadisplaypanel,等离子显示器)、el(electroluminescence,电致发光)显示器等构成。显示部207按照从控制部202输出的图像信号来显示图像。通信部208例如是lan(localareanetwork,局域网)卡。通信部208基于通信控制部242的控制来在与外部的通信装置之间进行通信。

在控制部202中包含图像处理部231、摄像机位置/摄像方向算出部232、矩阵生成部234、与算出单元对应的发光位置取得部236、与信息取得单元对应的摄像状况取得部238、与可靠度信息取得单元对应的可靠度信息取得部240、和通信控制部242而构成。

图像处理部231,对于从摄像机201各自输出并输入到图像输入部204的帧(数字数据),为了使其在显示部207作为实时取景图像显示而进行周边减光补正、失真补正,调整画质、图像尺寸。另外,图像处理部231具有如下功能:若被输入基于来自操作部206的记录指示操作的控制信号,就将记录指示的时间点的摄像机201中的摄像视角内、或显示于显示部207的显示范围内的光学像,以例如jpeg(jointphotographicexpertsgroup,联合图像专家组)等压缩编码方式进行编码、文件化。摄像机位置/摄像方向算出部232检测通过摄像机201a~201d的摄像得到的各图像中的第1标志物300的像的位置(二维坐标信息)。在此,空间500内的第1标志物300a、300b、300c、300d、300e的设置位置(三维坐标信息)设为已知。另外,第1标志物300a、300b、300c、300d、300e发出用能唯一确定自己的id(identification)调制过的以r(红)g(绿)b(蓝)三色的图案循环变化的光。

摄像机位置/摄像方向算出部232对摄像机201a~201d设定2台摄像机201的组合(摄像机对)。来自4台摄像机201的任意的2台摄像机201的组合(摄像机对)的图案为6个(6种)。

摄像机位置/摄像方向算出部232对通过摄像机201a~201d的摄像得到的各图像中所含的循环的三色的图案的光进行检测。进而,摄像机位置/摄像方向算出部232进行与该三色的发光的图案对应的id的检测,然后尝试向id的解调。在存储器205中,将第1标志物300a、300b、300c、300d、300e各自的设置位置和id建立对应存储。

进而,摄像机位置/摄像方向算出部232,对每个摄像机对,从通过该摄像机对中所含的2台摄像机201的摄像得到的图像双方尝试检测根据相同的id调制的光即调制光区域(具有预先设定的值以上的高的亮度值的由特定的尺寸、形状构成的像素区域)。然后,在能进行检测的情况下,视作能检测与该id对应的第1标志物300。进而,摄像机位置/摄像方向算出部232对每个摄像机对,认识第1标志物300的检测数。

接下来,摄像机位置/摄像方向算出部232,对每个摄像机对,对应于通过该摄像机对中所含的2台摄像机201摄像的图像双方中所含的第1标志物300的数量来设定用于算出摄像机对中所含的2台摄像机201的空间500中的位置(设置位置)以及摄像方向的算法。算法按图像中所含的第1标志物300的不同数量存储在存储器205,例如在用摄像机对摄像的各个图像中所含的第1标志物300的数量是5个的情况下准备5点算法,在8个的情况下准备8点算法。

接下来,摄像机位置/摄像方向算出部232对每个摄像机对,使用设定的算法来算出该摄像机对中所含的2台摄像机201的设置位置以及摄像方向。

以下对算法进行说明。图3是表示从由摄像机201摄像的图像求得的视差的一例的图。另外,图4是表示摄像机201的设置位置以及摄像方向的算出的一例的图。

如图3所示那样,在摄像机对中所含的2台摄像机201(这里是摄像机201a、201b)对相同的第1标志物300c摄像的情况下,由于摄像机201a和摄像机201b设置位置不同,因此在通过摄像机201a的摄像得到的摄像面250a的图像中的第1标志物300c的像251a的位置(二维坐标信息)和通过摄像机201b的摄像得到的摄像面250b的图像中的第1标志物300c的像251b的位置(二维坐标信息)产生差分(视差)s。

另外,如图4所示那样,将从摄像机对中所含的2台摄像机201(这里是摄像机201a、201b)当中一方的摄像机201(这里是摄像机201a)的摄像面250a到焦点位置的距离、和另从一方的摄像机201(这里是摄像机201b)的摄像面250b到焦点位置的距离设为f(相同值),将摄像机201a与摄像机201b的设置位置间的距离设为b,将连结摄像机201a的焦点位置和摄像机201b的焦点位置的直线与第1标志物300c的最短距离设为d,然后,将使摄像面250a和摄像面250b虚拟重叠的结果而得到的第1标志物300c的像251a的位置与像251b的位置的视差设为s,则距离算出式d=b×f/s成立。在该式中,f和s是已知的固定值。

在本实施方式中,摄像机位置/摄像方向算出部232,除了对第1标志物300c的距离算出式,还对检测到的各个第1标志物300求取距离算出式。进而,摄像机位置/摄像方向算出部232基于求得的距离算出式和预先测定的第1标志物300的设置位置,来算出摄像机对中所含的2台摄像机201的设置位置以及摄像方向。

具体地,摄像机位置/摄像方向算出部232,从通过摄像机对中所含的2台摄像机201的一方的摄像机201的摄像得到的图像中所含的第1标志物300的像251a的位置(xga1,yga1)与通过另一方的摄像机201的摄像得到的图像中所含的第1标志物300的像251b的位置(xgb1,ygb1)的组合,求取2台摄像机201的相对的设置位置以及摄像方向。

接下来,摄像机位置/摄像方向算出部232参考第1标志物300a~300e的id来读出存储于存储器205的第1标志物300a~300e各自的设置位置,使用该读出的设置位置来算出空间500内的摄像机对中所含的2台摄像机201的设置位置以及摄像方向。然后,矩阵生成部234基于算出的一方的摄像机201和另一方的摄像机201的设置位置以及摄像方向来求取变换矩阵,该变换矩阵能实现从通过一方的摄像机201的摄像得到的图像中所含的第1标志物300的像的位置(二维坐标信息)与通过另一方的摄像机201的摄像得到的图像中所含的第1标志物300的像的位置(二维坐标信息)的组合向空间500内的第1标志物300的设置位置(在三维空间坐标定义的位置信息)的变换。变换矩阵对每个摄像机对求取。

第2标志物102a、102b、102c发出用能唯一确定自己的id调制过的以r(红)g(绿)b(蓝)三色的图案循环变化的光。

在对每个摄像机对求取变换矩阵后,发光位置取得部236检测通过摄像机201a~201d的摄像得到的各图像中所含的循环的三色的图案的光。进而,发光位置取得部236进行与该三色的发光的图案对应的id的检测,然后尝试向id的解调。发光位置取得部236在能从通过摄像机对中所含的2台摄像机201的摄像得到的图像双方检测到相同的id的情况下,视作能检测到与该id对应的第2标志物102。

接下来,发光位置取得部236对每个摄像机对取得该摄像机对中所含的2台摄像机201当中一方的摄像机201的摄像面中的第2标志物102的像的位置(xga2,yga2)和另一方的摄像机201的摄像面中的第2标志物102的像的位置(xgb2,ygb2)。进而,发光位置取得部236使用双方的像的位置(xga2,yga2)、(xgb2,ygb2)的组合和变换矩阵来取得空间500内的第2标志物102的设置位置(xk2,yk2,zk2)。

通过上述的处理,存在对1个第2标志物102对应于多个摄像机对的各自而取得设置位置的情况。对应于这样的情况,对每个摄像机对,取得关于第2标志物102的空间500内的设置位置的可靠度信息(似然信息)。以下说明可靠度信息的取得。

摄像状况取得部238对每个摄像机对,从该摄像机对中所含的2台摄像机201当中一方的摄像机201的摄像面取得的图像中的第2标志物102的像的位置越接近图像的中心,则将与该像的位置相关的可靠度设定得越高,距中心的距离越远,则将与该像的位置相关的可靠度设定得越低。同样地,从另一方的摄像机201的摄像面得到的图像中的第2标志物102的像的位置越接近图像的中心,摄像状况取得部238将与该像的位置相关的可靠度设定得越高,距中心的距离越远,摄像状况取得部238将与该像的位置相关的可靠度设定得越低。该设定处理是与图像处理部231中的失真补正处理关联的处理,在该失真补正处理中,摄像面中越接近中心就越减弱失真补正的补正强度,随着趋向周边而加强失真补正的补正强度。为此,第2标志物102的像的位置越是存在于周边,越会产生失真补正引起的位置偏离,其结果可靠度越低。

通过上述的处理,对于摄像机对中所含的2台摄像机201当中一方的摄像机201,取得针对正在关注的1个第2标志物102的与图像位置相关的可靠度信息(图像位置可靠度信息)b1,对于另一方的摄像机201,取得针对正在关注的1个第2标志物102的与图像位置相关的可靠度信息(图像位置可靠度信息)b2。

另外,摄像状况取得部238参考通过摄像机对中所含的2台摄像机201当中一方的摄像机201连续摄像而取得的多个帧(图像),根据第2标志物102的位置的变化来算出第2标志物102的移动速度。

图5是表示速度算出的一例的图。例如在时间方向t上连续摄像的多个帧f1、f2~fn当中帧f1的第2标志物102的像的位置是710a,帧fn的第2标志物102的像的位置是710n。

然后考虑使帧f1和fn重合的帧fx中的像的位置710a、710n的距离是l的情况。在该情况下,摄像状况取得部238能基于双方的第2标志物102的像的大小与预先存储于存储器205的已知的第2标志物102的大小的对比的结果、距离l以及帧频,来算出第2标志物102的移动速度。进而,摄像状况取得部238对与该与移动速度相关的可靠度设定成移动速度越慢(距离l越小)则该速度可靠度越高。

同样地,摄像状况取得部238,根据在摄像机对中所含的2台摄像机201当中另一方的摄像机201通过摄像机201的连续的摄像取得的各个图像中的第2标志物102的像的位置的距离l来算出该第2标志物102的移动速度。进而,摄像状况取得部238对该与移动速度相关的可靠度设定成移动速度越慢(距离l越小)则该速度可靠度越高。

即使是第2标志物102长时间固定于设置位置的情况,也会因摄像机201中的摄像角度微细变化,以及/或者第2标志物102微细地移动而有其设置位置发生变化的可能性,上述的处理为了这样的情况而执行。具体地,对于摄像机对中所含的2台摄像机201当中一方的摄像机201,取得针对第2标志物102的与移动速度相关的可靠度信息(速度可靠度信息)c1,对于另一方的摄像机201,取得针对相同第2标志物102的与移动速度相关的可靠度信息(速度可靠度信息)c2。

另外,摄像状况取得部238将空间500分割成多个区域。图6是空间分割的一例。在图6中,图像以等间隔在纵向上被3分割,并以相同等间隔在横向上被3分割,由此形成9个区域(分割区域)501a、501b、501c、501d、501e、501f、501g、501h、501i(以下在不分别限定分割区域501a~501i的情况适宜称作「分割区域501」)。

进而,摄像状况取得部238基于摄像机对中所含的2台摄像机201的设置位置与正在关注的1个第2标志物102的设置位置的相对的位置关系,来取得与该第2标志物102的设置位置相关的可靠度信息(设置位置可靠度信息)d。

具体地,由于越接近摄像机对中所含的2台摄像机201的设置位置,就能拍摄更大的第2标志物102的像,因此摄像状况取得部238将设置位置可靠度设定得越高。例如在如图6所示那样设置了摄像机201a和摄像机201d的情况下,若第2标志物102存在于分割区域501a、501b、501c,则设置位置可靠度成为高,若存在于分割区域501d、501e、501f,则设置位置可靠度成为中,若存在于分割区域501g、501h、501i,则设置位置可靠度成为低。

另外,可靠度信息取得部240对每个摄像机对,对于通过该摄像机对中所含的2台摄像机201双方摄像的第1标志物300的像,使用通过一方的摄像机201的摄像得到的位置(二维坐标信息)与通过另一方的摄像机201的摄像得到的位置(二维坐标信息)的组合、和与该摄像机对对应的变换矩阵来算出空间500内的第1标志物300的设置位置(在三维空间坐标中定义的位置信息)。进而,可靠度信息取得部240将算出的空间500内的第1标志物300的设置位置与存储于存储器205的第1标志物300的设置位置(已知的信息)的误差算出。进而,可靠度信息取得部240设定该误差可靠度信息a,使得误差越小,与误差相关的可靠度(误差可靠度)越高。

接下来,可靠度信息取得部240对每个摄像机对,使用通过上述的处理取得的图像位置可靠度信息b1、b2、速度可靠度信息c1、c2、设置位置可靠度信息d、误差可靠度信息a来算出针对正在关注的1个第2标志物102的与设置位置算出相关的可靠度信息(第2标志物102的可靠度信息)n。例如,通过n=a×(b1+b2+c1+c2+d)算出。

之后,发光位置取得部236算出空间500内的第2标志物102的设置位置。这时,关于正在关注的1个第2标志物102,有能从多个摄像机对的各自算出设置位置的情况。在这样的情况下,发光位置取得部236对于正在关注的1个第2标志物102比较在每个摄像机对取得的可靠度信息n。然后,发光位置取得部236选择与最高的可靠度信息n对应的摄像机对。

接下来,发光位置取得部236取得通过该选择的摄像机对当中一方的摄像机201的摄像得到的图像中的第2标志物102的像的位置(二维坐标信息)和通过另一方的摄像机201的摄像得到的图像中的第2标志物102的像的位置(二维坐标信息)。进而,发光位置取得部236使用这些2个像的位置的组合和变换矩阵,来算出空间500内的第2标志物102的设置位置(在三维空间坐标中定义的位置信息)。

接下来参考流程图来说明服务器200的动作。图7是表示服务器200所进行的可靠度信息取得的一例的流程图。图7所示的动作对每个摄像机对且对每个通过摄像机对中所含的2台摄像机双方摄像的第1标志物300进行。

1个摄像机对中所含的2台摄像机201对相同的第1标志物300摄像,通过id取得来确定该第1标志物300(步骤s101)。

接下来,摄像状况取得部238取得图像位置可靠度信息b1,使得在摄像机对中所含的2台摄像机201当中一方的摄像机201摄像的图像中的第2标志物102的像的位置越接近摄像的图像的中心,该图像位置可靠度越高,取得图像位置可靠度信息b2,使得在另一方的摄像机201摄像的图像中的第2标志物102的像的位置越接近摄像的图像的中心,该图像位置可靠度越高(步骤s102)。

接下来,摄像状况取得部238基于通过摄像机对中所含的2台摄像机201当中一方的摄像机201连续的摄像取得的各个图像来算出第2标志物102的移动速度,取得速度可靠度信息c1,使得移动速度越慢,该速度可靠度越高。同样地,摄像状况取得部238,基于通过另一方的摄像机201连续的摄像取得的各个图像来算出第2标志物102的移动速度,取得速度可靠度信息c1,使得移动速度越慢,该速度可靠度越高(步骤s103)。

接下来,摄像状况取得部238基于摄像机对中所含的2台摄像机201的设置位置与第2标志物102的设置位置的位置关系来取得设置位置可靠度信息d,使得第2标志物102的设置位置越接近摄像机对中所含的2台摄像机201的设置位置,该设置位置可靠度越高(步骤s104)。

接下来,可靠度信息取得部240对于通过摄像机对中所含的2台摄像机201双方摄像的第1标志物300的像,使用通过一方的摄像机201的摄像得到的位置与通过另一方的摄像机201的摄像得到的位置的组合、和与该摄像机对对应的变换矩阵来算出空间500内的第1标志物300的设置位置。进而,可靠度信息取得部240将算出的空间500内的第1标志物300的设置位置与存储于存储器205的第1标志物300的设置位置(已知的信息)的误差算出,取得误差可靠度信息a,使得该误差越小,该误差可靠度越高(步骤s105)。

进而,可靠度信息取得部240使用取得的图像位置可靠度信息b1、b2、速度可靠度信息c1、c2、设置位置可靠度信息d以及误差可靠度信息a来取得第2标志物102的可靠度信息n(步骤s106)。

图8是表示服务器200所进行的第2标志物102的设置位置的取得处理的一例的流程图。多个摄像机201对空间500内的第2标志物102进行摄像(步骤s201)。

接下来,发光位置取得部236对于1个第2标志物102,在2台摄像机201双方正在对该第2标志物102摄像的摄像机对存在多个的情况下,选择在该多个摄像机对的每一者取得的该第2标志物102的可靠度信息当中最高的可靠度信息。进而,发光位置取得部236选择与该选择的可靠度信息对应的摄像机对(步骤s202)。

接下来,发光位置取得部236取得通过该选择的摄像机对当中一方的摄像机201的摄像得到的图像中的第2标志物102的像的位置、和通过另一方的摄像机201的摄像得到的图像中的第2标志物102的像的位置。进而,发光位置取得部236使用取得的这些2个位置的组合和变换矩阵来算出第2标志物102的设置位置(步骤s203)。

接下来,发光位置取得部236判定是否对步骤s201中摄像的全部第2标志物102算出了设置位置(步骤s204)。在对全部第2标志物102算出了设置位置的情况下(步骤s204“是”),一系列动作结束。另外,在存在未被算出设置位置的第2标志物102的情况下(步骤s204“否”),重复步骤s202以后的动作。

如此地,在本实施方式中,服务器200对每个摄像机对,从通过该摄像机对中所含的2台摄像机201双方的摄像取得的图像中的第2标志物102的像的位置,取得与该第2标志物102的设置位置的算出相关的可靠度信息。进而,服务器200基于通过摄像机对的摄像取得的图像来算出第2标志物102的设置位置。这时,在能通过多个摄像机对对第2标志物102摄像来对每个摄像机对算出第2标志物102的设置位置的情况下,服务器200选择该第2标志物102的可靠度最高的摄像机对,基于该摄像机对的摄像的图像来算出第2标志物102的设置位置。由此,能算出基于第2标志物102的可靠度高的摄像机对的摄像的该第2标志物102的设置位置,能使算出的精度提升。

具体地,服务器200取得图像位置可靠度信息,使得在摄像图像中,第2标志物102的图像位置越接近图像的中心,该图像位置可靠度越高。由此,第2标志物102的图像位置越远离图像的中心,越能降低该第2标志物102的可靠度,能取得与越远离中心失真率就越大的图像的特性相应的合适的可靠度信息。

另外,服务器200基于摄像图像来算出第2标志物102的速度,取得速度可靠度信息,使得速度越慢,该速度可靠度越高。由此,能取得与移动速度越快则第2标志物102的设置位置的算出精度越降低的特性相应的合适的可靠度信息。

另外,服务器200取得设置位置可靠度信息,使得第2标志物102的设置位置越接近摄像机对中所含的2台摄像机201的设置位置,设置位置可靠度越高。由此,在一般的三角测量中,能取得距摄像机201的距离越远则设置位置的算出精度越降低的特性相应的合适的可靠度信息。

另外,服务器200将算出的空间500内的第1标志物300的设置位置与第1标志物300的设置位置的已知的信息的误差算出,取得误差可靠度信息,使得该误差越小,误差可靠度越高。由此,能将误差小、即算出精度高的摄像机对优先来用在第2标志物102的设置位置的算出中。

接下来说明其他实施方式。在本实施方式中,可见光通信系统1与图1同样,服务器200与图2同样。在本实施方式中,对于1个标志物算出多个第1标志物300以及第2标志物102的设置位置,设定关于各个设置位置的可靠度信息。

图9是表示其他实施方式所涉及的服务器200所进行的位置/可靠度信息表格的生成、保持的一例的流程图。图9所示的动作对每个第1标志物300进行。

在每个摄像机对中,该摄像机对中所含的2台摄像机201若对相同的第1标志物300摄像,就经由图像输入部204取得该摄像图像,控制部202尝试通过控制部id取得来确定该第1标志物300(步骤s301)。

接下来,摄像机位置/摄像方向算出部232,选择步骤s301中对第1标志物300摄像、并取得了id的摄像机对(步骤s302)。

接下来,发光位置取得部236,对每个步骤s302中选择的摄像机对,基于该摄像机对中所含的2台摄像机201的摄像图像来算出第1标志物300的设置位置(步骤s303)。具体地,与图8的步骤s203同样地,发光位置取得部236取得通过摄像机对当中一方的摄像机201的摄像得到的图像中的第1标志物300的像的位置、和通过另一方的摄像机201的摄像得到的图像中的第1标志物300的像的位置。进而,发光位置取得部236使用这些取得的2个位置的组合、和与摄像机对对应的变换矩阵来算出第1标志物300的设置位置。

接下来,可靠度信息取得部240对步骤s303中算出了设置位置的第1标志物300生成位置/可靠度信息表格2051,保持在存储器205中(步骤s304)。

图10是表示在步骤s304生成并保持在存储器205的给定的存储区域的位置/可靠度信息表格2051的一例的图。图10所示的位置/可靠度信息表格2051按每个作为标志物的第1标志物300,由该第1标志物300的id、对该第1标志物300摄像的摄像机对所进行的摄像而得到的设置位置、对该设置位置的算出中所用的图像摄像的摄像机对的信息、设置位置的可靠度信息、表示算出设置位置的日期时间的更新日期时间、和误差而构成。

可靠度信息按可靠度从高到低的顺序以a、b、c这3阶段设定。可靠度信息取得部240对于第1标志物300,适宜选择与图7的步骤s102同样取得的图像位置可靠度信息、与该图的步骤s103同样取得的速度可靠度信息、与该图的步骤s104同样取得的设置位置可靠度信息、与该图的步骤s105同样取得的误差可靠度信息等来设定可靠度信息。

误差按误差从小到大的顺序以r1、r2、r3这3阶段设定。可靠度信息取得部240例如设定误差,使得更新日期时间越接近当前就越小。

图11是表示其他实施方式所涉及的服务器200所进行的位置/可靠度信息表格的生成、保持的其他示例的流程图。图11所示的动作对每个第2标志物102进行。

在每个摄像机对中,该摄像机对中所含的2台摄像机201对相同的第2标志物102摄像,尝试通过id取得来确定该第2标志物102(步骤s401)。

接下来,摄像机位置/摄像方向算出部232选择步骤s401中对第2标志物102摄像、并取得了id的摄像机对(步骤s402)。

接下来,发光位置取得部236对每个步骤s402中选择的摄像机对,基于该摄像机对中所含的2台摄像机201的摄像图像来算出第2标志物102的设置位置(步骤s403)。具体地,与图8的步骤s203同样地,发光位置取得部236取得通过摄像机对当中一方的摄像机201的摄像得到的图像中的第2标志物102的像的位置和通过另一方的摄像机201的摄像得到的图像中的第2标志物102的像的位置。进而,发光位置取得部236使用这些2个图像位置的组合和与摄像机对对应的变换矩阵来算出第2标志物102的设置位置。

接下来,可靠度信息取得部240对在步骤403算出了设置位置的第2标志物102生成位置/可靠度信息,追加保持到位置/可靠度信息表格2051中(步骤s404)。

图12是表示步骤s404中的位置/可靠度信息表格2052的一例的图。图12表示在图10所示的按每个第1标志物300生成的位置/可靠度信息表格2051中追加了步骤s404中按每个第2标志物102生成的位置/可靠度信息而得到的位置/可靠度信息表格2052。

按每个第2标志物102生成的位置/可靠度信息表格2052与按每个第1标志物300生成的位置/可靠度信息表格2051同样,由该第2标志物102的id、在对该第2标志物102摄像的摄像机对的摄像中得到的设置位置、对用在该设置位置的算出中的图像摄像的摄像机对的信息、设置位置的可靠度信息、表示算出设置位置的日期时间的更新日期时间、和误差而构成。

可靠度信息按可靠度从高到低的顺序以a、b、c这3阶段设定。可靠度信息取得部240对于第2标志物102,适宜选择与图7的步骤s102同样取得的图像位置可靠度信息、与该图的步骤s103同样取得的速度可靠度信息、与该图的步骤s104同样取得的设置位置可靠度信息、与该图的步骤s105同样取得的误差可靠度信息等来设定可靠度信息。

进而,可靠度信息取得部240对于第2标志物102,也可以取得第1标志物300的设置位置来取得该第2标志物102的设置位置、可靠度信息以及误差。

误差按误差从小到大的顺序以r1、r2、r3这3阶段设定。可靠度信息取得部240例如设定误差,使得更新日期时间越接近当前就越小。

接下来,发光位置取得部236判定是否对步骤s401中摄像的全部第2标志物102算出了设置位置(步骤s405)。在对全部第2标志物102算出了设置位置的情况下(步骤s405“是”),一系列动作结束。另外,在存在未算出设置位置的第2标志物102的情况下(步骤s405“否”),重复步骤s402以后的动作。

如此地,通过对第1标志物300以及第2标志物102生成、保持位置/可靠度信息表格,来取得算出的第1标志物300以及第2标志物102的多个设置位置的可靠度信息。为此,对于第1标志物300以及第2标志物102,能选择可靠度最高的设置位置,或者能选择加进可靠度信息和误差双方的最合适的设置位置。

进而,能合适地进行设置位置的确定,对于仅算出可靠度低的设置位置的第1标志物300以及第2标志物102,视作不能确定设置位置,或者对于未算出加进可靠度信息和误差双方的合适的设置位置的第1标志物300以及第2标志物102,视作不能确定设置位置等。

另外,在仅生成位置/可靠度信息表格2051的情况下,还能之后求取第2标志物102的设置位置、可靠度信息、误差。作为具体例而叙述如下情况:仅生成位置/可靠度信息表格2051,在从空间500将第1标志物300去除后,摄像机201a~201d对该空间500内摄像。如图13所示那样,对于空间500,在生成、保持位置/可靠度信息表格2051后,去除第1标志物300,新设置第2标志物102c(通常动作状态)。然后摄像机201a~201d对该状态的空间500的图像摄像,在图像输入部204被输入各个摄像图像后,图像处理部231从这些图像检测第2标志物102c。进而根据摄像的这些图像中的第2标志物102c的像和行列式来算出第2标志物102c的设置位置。然后参考位置/可靠度信息表格2051,将在最接近该算出的第2标志物102c的设置位置且由可靠度高的摄像机对摄像的第1标志物300(图13中第1标志物300d和300e)的信息读出。另外用以下的方法求取第2标志物102c的误差e。如图13图示那样,若将空间中的第1标志物300d与第2标志物102c的x方向的距离设为xf,将第1标志物300e与第2标志物102c的x方向的距离设为xg,将第1标志物300d的基于已知的信息的位置与算出位置的误差设为ef,将第1标志物300e的基于已知的信息的位置与算出位置的误差设为eg,则第2标志物102c的位置的误差e用内插法通过e=(ef*xg+eg+xf)/(xf+xg)来算出。

另外,本发明并不由上述实施方式的说明以及附图限定,能在上述实施方式以及附图中适宜加进变更等。

例如在上述的实施方式中,可靠度信息取得部240对每个摄像机对,使用通过上述的处理取得的图像位置可靠度信息b1、b2、速度可靠度信息c1、c2、设置位置可靠度信息d、误差可靠度信息a,并通过n=a×(b1+b2+c1+c2+d)来算出关于正在关注的1个第2标志物102的可靠度信息n。

但算出式并不限定于此,例如也可以将图像位置可靠度信息b1、b2、速度可靠度信息c1、c2、设置位置可靠度信息d、误差可靠度信息a全都相乘。另外,可靠度信息取得部240,也可以适宜取舍选择图像位置可靠度信息b1、b2、速度可靠度信息c1、c2、设置位置可靠度信息d、误差可靠度信息a来算出关于第2标志物102的可靠度信息n。例如在最高的第2标志物102的可靠度信息不足阈值的情况下,也可以不乘以误差可靠度信息a。进而,例如设置位置可靠度信息d可以对每个摄像机对中所含的2台摄像机201算出。进而可以将更新日期时间最近的摄像机对的信息读出并采用。

另外,在上述的实施方式中,服务器200选择第2标志物102的可靠度最高的摄像机对,基于该摄像机对的摄像的图像来算出第2标志物102的设置位置。但设置位置的算出手法并不限定于此。

例如服务器200也可以对2台摄像机201双方正在对第2标志物102摄像的全部摄像机对,算出基于该摄像机对的摄像的该第2标志物102的设置位置,第2标志物102的可靠度越高的摄像机对,基于该摄像机对的摄像算出的该第2标志物102的设置位置的加权就越大。另外,服务器200也可以将基于第2标志物102的可靠度排名靠前的多个摄像机对的摄像算出的该第2标志物102的设置位置的平均值算出。

另外,在上述的实施方式中,如图6所示那样将空间500分割成9个分割区域501a~501i,若第2标志物102存在于分割区域501a、501b、501c,设置位置可靠度信息就成为高,若存在于分割区域501d、501e、501f,设置位置可靠度信息就成为中,若存在于分割区域501g、501h、501i,设置位置可靠度信息就成为低,但分割区域501的设定、与各分割区域501对应的设置可靠度信息并不限定于此。也可以在每个分割区域501让可靠度信息不同。

另外,关于第1标志物300,在存储器205中与各id建立对应地存储空间500内的设置位置,但也可以通过可见光通信来发出对应于空间500内的设置位置而调制过的光。

另外,在上述的实施方式中,位置/可靠度信息表格内的可靠度信息按可靠度从高到低的顺序以a、b、c这3阶段设定,但并不限定于此,也可以以更多的阶段设定,还可以以数值设定。另外,可靠度信息适宜选择图像位置可靠度信息、速度可靠度信息、设置位置可靠度信息、误差可靠度信息等来设定,但并不限定于此。

进而,位置/可靠度信息表格内的误差按误差从小到大的顺序以r1、r2、r3这3阶段设定,但并不限定于此,也可以以更多的阶段设定,也可以以数值设定。另外,误差设定成更新日期时间越接近当前则越小,但并不限定于此。

例如第1标志物300以及第2标志物102并不限定于led。例如,也可以在构成显示装置的lcd、pdp、el显示器等的一部分构成标志物。

另外,服务器200只要安装有摄像机即可,可以是任何装置。

另外,在上述实施方式中,执行的程序可以通过存放在软盘、cd-rom(compactdisc-readonlymemory,光盘只读存储器)、dvd(digitalversatiledisc,数字多功能盘)、mo(magneto-opticaldisc,光磁盘)等能在计算机读取的记录介质并分发,通过安装该程序来构成执行上述的处理的系统。

另外,也可以将程序存放在因特网等网络上的给定的服务器所具有的盘装置等,例如重叠在载波中来进行下载等。

另外,在os(operatingsystem,操作系统)分担来实现上述的功能的情况下,或通过os与应用的协作来实现上述的功能的情况下等,也可以仅将os以外的部分存放在介质来进行分发,另外,也可以进行下载等。

以上说明了本发明的优选的实施方式,但本发明并不限定于相关的特定的实施方式,在本发明中包含记载于权利要求书的发明和其等同的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1