信息处理装置、信息处理系统、用于获取位置姿态的设备以及设备信息获取方法与流程

文档序号:26012875发布日期:2021-07-23 21:33阅读:57来源:国知局
信息处理装置、信息处理系统、用于获取位置姿态的设备以及设备信息获取方法与流程

本发明涉及通过拍摄来获取设备的位置、姿态的信息的信息处理装置、信息处理系统、用于获取位置姿态的设备以及设备信息获取方法。



背景技术:

已知一种游戏,其通过相机对用户的身体、标记进行拍摄,用另一像替换该像的区域并显示在显示器上(例如,参照专利文献1)。此外,还已知一种用户界面系统,其接收相机所拍摄到的嘴、手的运动作为应用的操作指示。以这种方式拍摄现实世界并显示对现实世界的运动作出反应的虚拟世界、或者进行某种信息处理的技术,与规模无关地被利用于从移动终端到休闲设施的广泛的领域。

现有技术文献

专利文献

专利文献1:欧洲专利申请公开第0999518号说明书



技术实现要素:

发明要解决的课题

在上述那样的技术中,如何从拍摄图像中正确地获取与现实世界相关的信息,始终是重要的课题。例如,当拍摄视野中存在大量的物体时,很可能将除了应进行位置、姿态的识别的目标物体以外的物体作为目标物体进行检测。此外,还存在拍摄图像的亮度分布根据拍摄环境的明亮度、照明的配置等而发生较大的变化,影响分析精度的情况。因此,正在寻求对环境、状况的变化具有较高的稳健性,且能够从拍摄图像中获取正确的信息的技术。

本发明是鉴于上述课题而完成的,其目的在于,提供能够使用拍摄图像,以稳定的精度获取与目标物体相关的信息的技术。

用于解决课题的手段

本发明的一个方式涉及信息处理装置。该信息处理装置,其特征在于,具备:拍摄图像获取部,获取摄像装置在比1帧的周期短的曝光时间内对具有发光标记的设备进行拍摄而得到的动态图像的数据;同步处理部,请求设备使发光标记以将1帧的周期分割为规定数量而成的时间为最小单位且以规定的点亮/熄灭模式发光,并基于在拍摄所述设备而得到的动态图像的规定数量的帧中是否出现了该发光标记的像,确定设备的时间轴上的曝光时间;控制信息发送部,请求设备使发光标记在与曝光时间对应的发光时刻发光;位置姿态获取部,基于在发光时刻以小于等于曝光时间的固定时间而发光的发光标记在动态图像的帧中的像,获取设备的位置姿态信息;以及输出数据生成部,生成基于位置姿态信息的数据并输出。

本发明的其它方式涉及一种信息处理系统。该信息处理系统,其特征在于,具备:具有发光标记的设备;摄像装置,在比1帧的周期短的曝光时间内对设备进行拍摄;以及信息处理装置,使用摄像装置所拍摄到的动态图像的数据获取设备的位置姿态信息,信息处理装置具备:同步处理部,请求设备使发光标记以将1帧的周期分割为规定数量而成的时间为最小单位且以规定的点亮/熄灭模式发光,并基于在拍摄所述设备而得到的动态图像的规定数量的帧中是否出现了该发光标记的像,确定设备的时间轴上的曝光时间;控制信息发送部,请求设备使发光标记在与曝光时间对应的发光时刻发光;位置姿态获取部,基于在发光时刻以小于等于曝光时间的固定时间而发光的发光标记在动态图像的帧中的像,获取设备的位置姿态信息;以及

输出数据生成部,生成基于位置姿态信息的数据并输出。

本发明的另一方式涉及用于获取位置姿态的设备。该用于获取位置姿态的设备,其是作为摄像装置在比1帧的周期短的曝光时间内拍摄并且信息处理装置使用所拍摄到的动态图像获取位置姿态信息的对象的、具有发光标记的设备,其特征在于,具备:控制信息获取部,获取来自信息处理装置的与发光相关的请求;以及控制部,按照第一所述请求,使发光标记以将1帧的周期分割为规定数量而成的时间为最小单位且以规定的点亮/熄灭模式反复发光,并且按照第二请求,使发光标记在与相对于设备的时间轴而表示的曝光时间对应的发光时刻以小于等于曝光时间的固定时间而发光。

本发明的另一方式涉及设备信息获取方法。该设备信息获取方法,是基于信息处理装置的设备信息获取方法,其特征在于,包括以下步骤:获取摄像装置在比1帧的周期短的曝光时间内对具有发光标记的设备进行拍摄而得到的动态图像的数据;请求设备使所述发光标记以将1帧的周期分割为规定数量而成的时间为最小单位且以规定的点亮/熄灭模式发光;基于在拍摄所述设备而得到的动态图像的规定数量的帧中是否出现了该发光标记的像,确定设备的时间轴上的曝光时间;请求设备使发光标记在与曝光时间对应的发光时刻发光;基于在发光时刻以小于等于曝光时间的固定时间而发光的发光标记在动态图像的帧中的像,获取设备的位置姿态信息;以及生成基于位置姿态信息的数据并输出。

另外,将以上的结构元素的任意的组合、本发明的表述在方法、装置、系统、计算机程序、记录了计算机程序的记录介质等之间进行转换而得到的方案,作为本发明的方式也是有效的。

发明的效果

根据本发明,能够使用拍摄图像,以稳定的精度获取目标物体的信息。

附图说明

图1是表示能够应用本实施方式的信息处理系统的结构例的图。

图2是用于说明在本实施方式中信息处理装置获取发光设备的位置和姿态的方法的图。

图3是例示本实施方式中的摄像装置的曝光时间与发光标记的发光时间的关系的图。

图4是例示本实施方式的发光设备中的发光与基于imu传感器的测量在时间上的关系的图。

图5是表示本实施方式中的信息处理装置的内部电路结构的图。

图6是表示本实施方式中的发光设备的内部电路结构的图。

图7是表示本实施方式中的信息处理装置以及发光设备的功能块的结构的图。

图8是表示本实施方式的同步处理部所实施的处理的阶段的图。

图9是示意性地表示本实施方式的预扫描阶段(pre-scanphase)中的发光模式(pattern)的图。

图10是示意性地表示本实施方式的粗略阶段(broadphase)中的发光模式的例子的图。

图11是表示在本实施方式的粗略阶段中同步处理部确定发光设备的与曝光时间对应的时间栅格的处理过程的流程图。

图12是用于说明本实施方式的后台阶段(backgroundphase)中的同步处理的原理的图。

图13是示意性地表示本实施方式的后台阶段中的发光模式的例子的图。

图14是表示本实施方式的后台阶段中的原发光时刻与像出现模式之间的关系的图。

图15是表示在本实施方式的后台阶段中同步处理部使发光时刻与曝光时间的中间时刻一致的处理过程的流程图。

图16是例示在图15的s40中为了从发光时刻的识别信息中获取校正量而参考的设定信息的图。

图17是例示本实施方式中的、发光时刻相对于曝光时间的中间时刻的偏移的偏差的时间变化的图。

图18是表示在本实施方式的后台阶段中同步处理部对发光设备的时钟进行校正的处理过程的流程图。

图19是用于说明在本实施方式中,通过偏差相加参数对发光设备的时钟频率进行校正的方法的图。

图20是表示本实施方式中的、基于信息处理装置与发光设备的协作的曝光时间和发光时刻的同步处理的时序的图。

具体实施方式

图1表示能够应用本实施方式的信息处理系统的结构例。该信息处理系统8包括:发光设备14;摄像装置12,对包含该发光设备14的空间进行拍摄;信息处理装置10,分析所拍摄到的图像并进行信息处理;以及显示装置16,输出基于信息处理装置10的处理的结果。

在该例子中,发光设备14通过蓝牙(bluetooth)(注册商标)等已知的无线通信单元与信息处理装置10建立通信。此外,摄像装置12以及显示装置16与信息处理装置10通过有线建立通信。但是,并非旨在以此限制通信连接的单元。此外,图示的方式是一例,并非用于限制装置的形状、结构。例如,信息处理装置10以及摄像装置12、或者信息处理装置10、摄像装置12以及显示装置16也可以作为一体的装置来实现。

显示装置16也可以不是图示那样的平板型的显示器,也可以是通过由用户穿戴从而在其眼前显示图像的头戴式显示器等。在这种情况下,也可以在该头戴式显示器上设置摄像装置12,拍摄与用户的视线对应的图像。或者,也可以在该头戴式显示器的外表面安装发光设备14,并通过摄像装置12进行拍摄。

发光设备14是例如用于通过由用户把持从而将位置、姿态、运动等经由拍摄图像作为输入信息的装置。在图示的例子中,发光设备14具有在环状的框体表面配置了多个点状的发光标记(例如,发光标记6)的结构。发光标记6由led(发光二极管,lightemittingdiode)等能够切换点亮状态和熄灭状态的元件构成,该切换也能够由信息处理装置10控制。

另外,发光设备14的形状、发光标记6的形状、尺寸、数量等不限于图示的例子。也可以是例如将内部具备发光元件的任意形状的一个或多个发光体与用户能够把持的任意形状的物体连接而成的结构。或者,也可以将在一般的游戏控制器上设置了发光标记的装置设为发光设备14。进一步地,也可以在用户的身体上直接安装一个或多个发光设备14。进一步地,发光设备14优选为在内部具备用于获取发光设备14本身的角速度、加速度的陀螺仪传感器以及加速度传感器。下面,将这些传感器总称为“imu(惯性测量单元,inertialmeasurementunit)传感器”。

摄像装置12包括:以规定的帧速率对包含发光设备14的空间进行拍摄的相机;以及通过对该输出信号实施去马赛克(demosaic)处理等一般的处理从而生成拍摄图像的输出数据,并送出至信息处理装置10的机构。相机具备ccd(电荷耦合器件,chargecoupleddevice)传感器、cmos(互补金属氧化物半导体,complementarymetaloxidesemiconductor)传感器等被利用在一般的数码摄像机中的可见光传感器。但是,只要能够获取发光设备14的发光标记6的像,则对于传感器所检测的光的波长带不作限定。

此外,为了能够高精度地检测基于发光标记6的发光的像,将本实施方式的摄像装置12的曝光时间设置为比一般的拍摄条件短。因此,在以显示图像的生成等为目的而需要一般的曝光时间的拍摄图像的情况下,也可以根据帧来改变曝光时间,也可以另行导入专用的摄像装置。即,信息处理系统8中包含的摄像装置12的数量不受限定。

此外,一个摄像装置12所具备的相机也可以仅为一个,也可以是将两个相机以已知的间隔配置于左右而成的所谓的立体相机。在导入了立体相机的情况下,从左右不同的视点对发光设备14进行拍摄,并基于在拍摄图像上的位置的偏移,利用三角测量的原理求出至发光设备14为止的距离。

信息处理装置10使用从摄像装置12发送而来的拍摄图像的数据进行必要的信息处理,生成图像、语音等的输出数据。在本实施方式中,信息处理装置10至少基于拍入(写る)在拍摄图像上的发光标记6的像,确定发光设备14的位置、姿态。若已知发光设备14的形状以及发光标记6在该发光设备14的表面上的位置,则能够基于发光标记6的像在拍摄图像上的分布,估计发光设备14的位置和姿态。在将发光标记设为一个发光体的情况下,也能够基于该像的尺寸、形状,获取发光设备14的位置等。

若针对拍摄图像的每1个帧反复该处理,则能够确定发光设备14的运动甚至用户的运动,因此能够将其作命令输入来实施游戏等的信息处理。或者,还能够生成如下图像:将发光设备14在拍摄图像中的像替换为虚拟对象而得到的图像;表示其与周围的真实物体进行互动的情形的图像等。对于信息处理装置10利用发光设备14的位置、姿态的信息进行的处理的内容不作特别限定,根据用户希望的功能、应用的内容等适当地决定即可。

显示装置16由液晶显示器、有机el显示器等对图像进行显示的一般的显示器以及对语音进行输出的扬声器等构成,对信息处理装置10生成的作为信息处理的结果的图像、语音进行输出。如上述那样,显示装置16也可以是头戴式显示器等,只要是能够输出图像、语音的装置,则对于其方式不作限定。此外,也可以将信息处理装置10所实施的处理的结果记录在记录介质、存储装置中或者经由未图示的网络发送给另一装置。即,在信息处理系统8中,显示装置16并非是必须的,作为其代替,也可以设置它们的输出机构。

图2是用于对在本实施方式中信息处理装置10获取发光设备14的位置和姿态的方法进行说明的图。信息处理装置10以规定的速率从摄像装置12中获取拍摄图像50。在拍摄图像50中,以比较高的亮度表示已知的颜色的发光标记的像。因此,信息处理装置10提取这样的发光标记的像,并使用如下所示的一般的转换公式,确定发光设备14在三维空间内的位置和姿态。

【数学式1】

其中,(u,v)是发光标记的像在拍摄图像上的位置;(fx、fy)是摄像装置12的焦距,(cx、cy)是图像主点;以r11~r33、t1~t3为元素的矩阵是旋转/平移矩阵;(x,y,z)是发光设备14处于基准位置和姿态时发光标记在三维空间内的位置。其中的(u,v)、(fx、fy)、(cx、cy)、(x,y,z)是已知的,通过针对多个发光标记求解方程式,能够求出它们公共的旋转/平移矩阵。基于由该矩阵表示的角度以及平移量,能够得到发光设备14的位置和姿态。将该处理设为图像分析处理52。

另一方面,信息处理装置10还以规定的速率从内置于发光设备14的imu传感器中获取发光设备14的角速度、加速度,还根据它们来获取发光设备14的位置、姿态。将该处理设为传感器值分析处理54。在图2中,用一个曲线图示意性地示出了发光设备14相对于时间经过的位置或者姿态的实际的变化和基于图像分析处理52以及传感器值分析处理54的处理的结果。其中,实线表示发光设备14的实际的变化,白色圆圈表示通过图像分析处理52获得的结果,虚线表示通过传感器值分析处理54获得的结果。

从imu传感器中获得的信息是发光设备14的旋转速度以及平移的加速度。因此,在传感器值分析处理54中,通过将前一时刻的位置、姿态设为起点,并与根据速度/加速度的积分运算得到的位置、姿态的变化量相加,从而计算下一时刻的位置、姿态。作为此时的起点,能够利用图像分析处理52的结果。其中,基于摄像装置12的拍摄为60hz(60帧/秒(sec))左右,与此相对地,imu传感器能够以1600hz左右的高频率进行测量。因此,以白色圆圈表示的图像分析处理52的结果是离散的,相比之下,如虚线所示,传感器值分析处理54能够以非常短的间隔追踪位置、姿态。

但是,从性质上来说,对速度、加速度进行积分运算会在传感器值分析处理54中累积误差,具有容易随着时间经过从实线所示的实际的位置、姿态偏离的倾向。为此,通过利用卡尔曼(kalman)滤波器对图像分析处理52的结果进行整合,从而连续且高精度地求出发光设备14的位置、姿态。像这样对基于摄像装置12、imu传感器等多个传感器的分析结果进行整合而提高精度的方法,作为传感器融合(sensorfusion)而被知晓。

在传感器融合中,需要在公共的时间轴上表示通过各传感器获取到值的时刻。在本实施方式的情况下,相对于图中作为横轴的一个时间轴,通过正确地决定在图像分析处理52中使用的图像被拍摄的时刻、以及在传感器值分析处理54中使用的角速度、加速度被测量的时刻,从而能够对它们进行整合以更高的精度获得发光设备14的位置、姿态。

另一方面,为了提高图像分析处理52的精度,尽量缩短摄像装置12的曝光时间和发光标记的发光时间是有效的。即,在一般的拍摄图像中,有时发光标记的像以与其它物体的反射光、照明的图像相同程度的亮度出现,从而难以进行区分。此外,根据周围的明亮度等的不同,区分的容易度也会发生变化。曝光时间越短,越容易在发出强光的物体与其以外的物体之间产生像的亮度差,作为结果,能够以较高的稳健性检测发光标记的像。

此外,发光设备14是以进行运动作为前提的,因此若发光标记的发光时间长,则其像会发生抖动,变得难以检测,并且,会导致用于分析的像的位置坐标中包含的误差变大。若通过尽可能地缩短发光时间,从而能够拍摄到抖动较少的像,则能够高精度地获取在拍摄图像上的位置,还能够提高分析结果的精度。此外,由于像与时刻的对应变得明确,因此在上述传感器融合中也是有效的。进一步地,通过仅短时间发光从而能够减轻功耗,即使将发光设备14设为电池电源也能够长时间使用。

图3例示了本实施方式中的摄像装置12的曝光时间与发光标记6的发光时间之间的关系。该图的横轴表示时间经过,以单点划线划分的时间是帧的拍摄周期。例如,在60帧/秒的帧率的情况下,拍摄周期为约16.6毫秒(msec)。对此,在本实施方式中,将各帧的曝光时间60a、60b、60c设为500微秒(μsec),将发光标记6的发光时间62a、62b、62c设为100微秒等。

但是,对于曝光时间、发光时间,根据发光亮度、周围的明亮度等进行优化即可,对于具体的时间不作限定。总之,在以对于从拍摄图像中检测像而言充分的亮度表现发光标记6的前提下,期望尽量缩短曝光时间60a、60b、60c、发光标记6的发光时间62a、62b、62c。定性地说,必要条件是:以使某一瞬间的发光作为像出现的方式决定发光时间,并将曝光时间设置为大于等于该发光时间。

进一步地,如图示那样,通过以使发光时间62a、62b、62c整体被包含在曝光时间60a、60b、60c中的方式进行时间设定,从而使发光标记6的像始终以同样的亮度出现在拍摄图像中。例如,通过将曝光时间设为发光时间的数倍左右,从而即使发光时刻稍微偏移也能够抑制对像的影响。

此外,在实现上述传感器融合时,期望正确地获取基于imu传感器的测量时刻与曝光时刻之间的相关。由于发光设备14和摄像装置12分别以各自的时钟工作,因此在本实施方式中,进行用于使它们在公共的时间轴上一致的控制。具体而言,首先,使曝光时间60a、60b、60c的基准时刻与发光时间62a、62b、62c的基准时刻一致。

在图示的例子中,如箭头所示,以曝光时间60a、60b、60c的中间时刻(经过了整个时间的1/2的时刻)为基准,使发光时间62a、62b、62c的中间时刻与其一致。下面,有时将发光时间的中间时刻仅称为“发光时刻”。这样一来,发光设备14识别出的发光时刻即成为拍摄时刻。此外,即使发光时间62a、62b、62c稍微向前后偏移,也不容易从曝光时间60a、60b、60c偏离。

图4例示了本实施方式的发光设备14中的发光与基于imu传感器的测量的在时间上的关系。该图的上段示出了在图3所示的时间轴中,1帧的拍摄周期中的曝光时间60a以及发光时间62a。在该拍摄周期中,imu传感器高频率地测量发光设备14的角速度、加速度。该图的中段,在与上段相同的时间轴上,并列示出了发光标记6的发光时刻(白色圆圈)以及基于imu传感器的测量时刻(黑色圆圈)。

发光设备14对应于内部的时间轴获取这样的发光时刻和测量时刻。于是,如图中的下段所示,发光设备14将使发光标记6发光的时刻与基于imu传感器的测量结果和进行了测量的时刻一同发送给信息处理装置10。如图3所示,通过预先使发光时刻与曝光时间的中间时刻一致,从而在信息处理装置10中,能够基于被发送的发光时刻,在相同的时间轴上表示图像的拍摄时刻和基于imu传感器的测量时刻。

通过这样的机制,能够像图2所示的那样对传感器值分析处理54和图像分析处理52进行整合,从而能够连续且高精度地获取发光设备14的位置、姿态。如图3所示,在游戏的运行前,信息处理装置10达到了拍摄与发光同步的状态,并且为了保持其状态,即使在运行中也作为后台处理来监视偏移,并根据需要进行修正。

图5示出了信息处理装置10的内部电路结构。信息处理装置10包含cpu(中央处理单元,centralprocessingunit)22、gpu(图形处理单元,graphicsprocessingunit)24、以及主存储器26。这些各个部分经由总线30而相互连接。总线30还连接有输入输出接口28。输入输出接口28连接有:由usb、ieee1394等外围设备接口、有线或无线lan的网络接口构成的通信部32;硬盘驱动器、非易失性存储器等存储部34;向显示装置16、发光设备14输出数据的输出部36;从摄像装置12、发光设备14输入数据的输入部38;以及对磁盘、光盘或半导体存储器等可移动记录介质进行驱动的记录介质驱动部40。

cpu22通过执行存储部34中存储的操作系统从而控制整个信息处理装置10。此外,cpu22执行从可移动记录介质中读取并载入到主存储器26中、或者经由通信部32而下载的各种程序。gpu24具有几何引擎的功能以及渲染处理器的功能,按照来自cpu22的绘制指令进行绘制处理,并将显示图像存储至未图示的帧缓冲器。然后,将帧缓冲器中存储的显示图像转换为视频信号并输出至输出部36。主存储器26由ram(随机存取存储器,randomaccessmemory)构成,存储处理所需的程序、数据。

图6示出了发光设备14的内部电路结构。发光设备14包含cpu180、存储器182、通信部184、imu传感器186、led188以及时钟发生电路190。cpu180对构成发光设备14的各电路、这些电路之间的数据传输进行控制。尤其在本实施方式中,接受来自信息处理装置10的请求,对led188的点亮/熄灭、基于imu传感器186的测量进行控制,或者对内部的时钟进行校正。存储器182对cpu180中的处理所需的数据进行存储。尤其在本实施方式中,对led188中的发光定时的模式、各种校正值进行存储。

通信部184是用于与信息处理装置10之间发送接收数据的接口,能够使用蓝牙(bluetooth)(注册商标)等已知的无线通信技术来实现。imu传感器186包含陀螺仪传感器以及加速度传感器,获取发光设备14的角速度、加速度。传感器的输出值经由通信部184被发送给信息处理装置10。led188是以规定的颜色发光的元件或其集合,构成图1所示的发光标记6。时钟发生电路190是发生发光设备14的时钟的电路,具有通过cpu180的控制对时钟频率进行校正的功能。

图7示出了信息处理装置10以及发光设备14的功能块的结构。该图所示的各功能块在硬件上能够由图5、6所示的cpu、gpu、存储器等结构来实现,在软件上,能够通过从记录介质等载入到存储器中的、发挥数据输入功能、数据保持功能、图像处理功能、输入输出功能等各种功能的程序来实现。因此,本领域技术人员可以理解的是,这些功能块能够通过仅硬件、仅软件、或者它们的组合以各种各样的形式实现,不限于任一个。

信息处理装置10包括:设备数据获取部130,从发光设备14中获取与传感器的测量值、各种时刻相关的数据;拍摄图像获取部132,从摄像装置12中获取拍摄图像的数据;位置姿态获取部134,使用imu传感器的测量值和拍摄图像,获取发光设备14的位置、姿态;信息处理部136,基于发光设备14的位置、姿态,实施信息处理;输出数据生成部138,生成表示信息处理的结果的数据并输出;同步处理部140,使摄像装置12的曝光与发光设备14的发光同步;以及控制信息发送部142,向发光设备14发送与发光、时刻校正相关的控制信息。

设备数据获取部130由图5的输入部38、通信部32、cpu22、主存储器26等实现,以规定的速率从发光设备14中获取imu传感器186的测量值,即角速度以及加速度。此时,还同时获取获得各测量值的时刻、以及与其并行地使发光标记发光的时刻。设备数据获取部130将获取到的信息提供给位置姿态获取部134。拍摄图像获取部132由图5的输入部38、cpu22、主存储器26等实现,依次获取摄像装置12以规定的帧率拍摄得到的拍摄图像的数据,并提供给位置姿态获取部134。

位置姿态获取部134由图5的cpu22、gpu24、主存储器26等实现,从拍摄图像中检测发光标记的像,并通过式1获取发光设备14的位置和姿态。位置姿态获取部134还基于imu传感器所测量到的角速度、加速度,通过积分运算获取发光设备14的位置和姿态。然后,如图2中说明的那样,通过对两者的结果进行整合,从而以规定的速率生成位置和姿态的信息。此时,如上述那样,位置姿态获取部134通过在同一的时间轴上表示基于imu传感器186的测量时刻和发光标记的发光时刻、甚至图像的拍摄时刻,从而提高位置、姿态的获取精度。

信息处理部136由图5的cpu22、主存储器26等实现,基于发光设备14的位置、姿态,实施规定的信息处理。如上述那样,对于处理的内容不作特别限定,也可以将用户的运动作为输入信息来推进游戏,也可以通过将发光设备14替换为虚拟的对象并进行物理运算从而实现增强现实。另外,本领域技术人员可以理解的是,能够实现各种各样的信息处理。

输出数据生成部138由图5的gpu24、主存储器26、输出部36、通信部32等实现,生成作为基于信息处理部136的信息处理的结果而应输出的图像、语音的数据。应生成的数据的内容根据信息处理的内容的不同而各种各样。在生成图像、语音的情况下,输出数据生成部138将所生成的数据以规定的速率输出至显示装置16。但是,如上述那样,输出目的地不限于显示装置,也可以是记录介质、存储装置、网络等。

同步处理部140由图5的cpu22、主存储器26等实现,使基于摄像装置12的拍摄与发光标记6的发光同步。即,如图3所示的那样,以使曝光时间的中间时刻与发光标记6的发光时刻一致的方式进行调整处理。具体而言,通过使发光标记6沿时间方向以规定的模式发光,并确认其如何拍入在拍摄图像上,从而决定应该在发光设备14内部的时间轴上的哪一个时刻使发光标记6发光。

该处理包含:第一阶段,以与曝光时间相同程度的时间单位进行评价以使至少在曝光时间内发光;以及第二阶段,使曝光时间的中间时刻与发光时刻严格地一致。第一阶段是在游戏等的运行处理之前,作为初始校准而实施的。第二阶段通过在与运行时相同的发光时间使其发光,从而能够作为运行时的后台处理而实施。在该后台处理中,通过对由于摄像装置12与发光设备14的时钟的差异而产生的偏移进行监视,从而还进行时钟的校正。各个处理的详细情况将在后文描述。

控制信息发送部142由图5的cpu22、输出部36、通信部32等实现,将同步处理部140实施同步所需的信息、请求发送给发光设备14。具体而言,对发光模式的指定、发光时刻的校正请求、时钟的校正请求等进行发送。此外,控制信息发送部142也可以将与基于imu传感器的测量的开始/停止、基于摄像装置12的拍摄的开始/停止相关的控制信息发送给发光设备14、摄像装置12。摄像装置12中的曝光时间也可以预先设置于摄像装置12本身中,也可以由控制信息发送部142指定。

发光设备14包含:控制信息获取部144,从信息处理装置10中获取控制信息;控制部146,按照控制信息对发光、测量、时钟进行控制;发光部148,使led188发光;测量部150,对角速度、加速度进行测量;以及数据发送部152,将测量值等必要的数据发送给信息处理装置10。控制信息获取部144由图6的通信部184、cp1u80等实现,获取信息处理装置10被发送的控制信息。

控制部146由图6的cpu180、存储器182、时钟发生电路190等实现,按照该控制信息使发光部148、测量部150工作,并且生成时钟。来自信息处理装置10的控制信息中包含对表示点亮/熄灭的时间变化的发光模式进行指定的识别信息。因此,控制部146在内部保持将该识别信息与发光模式关联后的信息。

除此之外,控制信息也可以包含发光时刻的校正值、发光的开始/停止、发光亮度、发光色、基于imu传感器的测量的开始/停止等各种信息。控制部146根据这些信息,适当地使发光部148、测量部150工作。此外,控制信息包含时钟的校正请求时,控制部146对在内部生成的时钟的频率进行校正。

发光部148由图6的led188实现,在控制部146的控制下,使元件以被指定的模式或者定时发光。测量部150由图6的imu传感器186实现,在控制部146的控制下,以规定的频率测量发光设备14的角速度、加速度。数据发送部152由图6的cpu180、存储器182、通信部184等实现,将测量部150所测量的角速度、加速度的值与进行测量的时刻一同依次发送给信息处理装置10。数据发送部152还将在发光部148中进行了发光的时刻依次发送给信息处理装置10。

下面,对信息处理装置10的同步处理部140通过与发光设备14的协作而实施的同步处理的内容进行详细说明。图8示出了同步处理部140所实施的处理的阶段。如图示的那样,同步处理由预扫描阶段(pre-scanphase)(s10)、粗略阶段(broadphase)(s12)、后台阶段(backgroundphase)(s14)这3个阶段的处理构成。预扫描阶段以及粗略阶段是在游戏处理等的运行之前实施的。其中的预扫描阶段以发光设备14的检测为目的。为此,发光标记6在整个期间点亮。

粗略阶段的目的在于,使在预扫描阶段检测到的发光设备14的发光时刻与曝光时间大致一致。为此,将时间分割为与曝光时间相同程度的时间栅格,使发光标记6按照分别与这些时间栅格对应地设定的点亮/熄灭的模式发光。在多个帧的时间上预先设定发光模式。由此,根据拍入了发光标记6的像/未拍入发光标记6的像这两个的状态如何在时间方向上变化,来确定与曝光时间一致的发光时刻的范围。

后台阶段的目的在于,从运行前到运行时,定期地、严格地确认发光时刻的偏移,并根据需要对发光时刻、发光设备14的时钟频率进行修正。为此,在比粗略阶段的时间栅格短的、运行时的发光时间内,特意使发光时刻错开,获取拍入在了拍摄图像的状态/未拍入在拍摄图像的状态的迁移的定时,从而求出原发光时刻相对于曝光时间的中间时刻的偏移。然后,校正发光时刻以消除偏移。此外,基于每单位时间的偏移的发生量,沿着将其消除的方向对时钟频率进行校正。

在粗略阶段,若成为在规定时间未获得发光标记6的像的状态,则返回至预扫描阶段,从发光设备的检测开始实施。在后台阶段,若成为未获得有效的偏移量的状态,则返回至粗略阶段,从使发光时刻大致一致的步骤开始重新执行。像这样通过分为多个阶段,使发光标记6以与这些阶段相适的模式发光,从而能够高效地进行同步,并且在运行时也能够实现始终监视。

图9示意性地表示预扫描阶段中的发光模式。该图所示的矩形表示横向的长度为1帧的拍摄周期。基本而言,将该时间分割为规定时间的时间栅格,并以此为单位使发光设备点亮或熄灭。例如,在帧率为60帧/秒的情况下,拍摄周期为16.6毫秒。若将其分割为32个,则一个时间栅格为521微秒。在如上述那样将曝光时间设为500微秒的情况下,通过设置与其相同程度的时间栅格,能够使曝光时间与发光时间的粒度一致,能够大致判定发光时间与曝光时间是否重叠。

但是,在预扫描阶段,由于目的在于对摄像装置12的视野中存在的发光设备14进行检测,因此通过pwm(脉冲宽度调制,pulsewidthmodulation)控制在全部时间栅格中设为点亮状态。在该图中,通过对时间栅格进行填充来表示点亮状态。在预扫描阶段,同步处理部140通过从拍摄图像获取部132中获取拍摄图像,并对发光标记6的像进行检测,从而确认视野内存在发光设备。通过在整个期间点亮发光标记,从而即使在500微秒的短时间的曝光下,只要视野内存在发光设备14就能够检测到其像。

在确认了发光设备14的存在之后,转移至粗略阶段。图10示意性地表示粗略阶段中的发光模式的例子。图的表现方式与图9相同。但是,在该阶段中,由于在多个帧上设定了发光模式,因此在纵向上表示在每个帧中的变化。在该图的情况下,从帧0至帧10为止的11帧构成了一个发光模式。

即,发光标记6以11帧为单位反复该发光模式下的发光。与运行时同样地,摄像装置12在各帧的拍摄周期内在规定的定时反复进行短时间(例如,500微秒左右)的曝光。例如,假设曝光时间被设定为与时间栅格“2”对应的实线矩形70a的时间。在这种情况下,由于在最初的5帧(帧0~4)中,发光标记6熄灭,因此未拍入其像。由于在接下来的帧5中,发光标记6在整个期间点亮,因此在矩形70a的曝光时间内都会拍入发光标记6的像。

在接下来的3帧(帧6~8)中,由于发光标记6在该定时熄灭,因此未拍入像,进一步地,由于发光标记6在接下来的2帧(帧9、10)中点亮,因此拍入了发光标记6的像。在连续的11帧中,若将拍入了发光标记6的像的帧表示为“1”,将未拍入发光标记6的帧表示为“0”,则在与矩形70a对应的曝光时间内,从帧0起依次成为{0,0,0,0,0,1,0,0,0,1,1}的数列。下面,将这样的数列称为“像出现模式”。

另外,在图像曝光时间跨越点亮时间和熄灭时间时,根据曝光时间中的点亮时间的不同,像的亮度各种各样。于是,针对该亮度设置阈值,若大于等于该阈值则判定为“拍入”,若小于该阈值则判定为“未拍入”。此外,在设置了多个发光标记的情况下,只要拍入了其中一个发光标记,就可以设为“拍入”,也可以在拍入了大于等于阈值的数量的发光标记时设为“拍入”。

通过这些基准的组合,以“1”和“0”两个值表示拍入和未拍入。类似的方法作为通过图像分析对物体的有无进行检测的斑点检测(blobdetection)而被知晓。但是在本实施方式中,由于特意使发光标记的熄灭,因此不将“未拍入”视为错误,继续进行像出现模式的获取。

如图示的那样,若为了获得不同的像检测模式而在所有的时间栅格中设定发光模式,则能够获得发光设备14的时间栅格与曝光时间之间的关系。另外,将最初的5帧的期间全部设为熄灭并将下一帧的期间全部设为点亮,是为了使1个单位的发光模式区别于前后的发光模式。将该期间称为同步模式(syncpattern)72。因此,实际上,在连续获取拍摄图像,得到作为同步模式72的{0,0,0,0,0,1}的像出现模式之后,基于接下来的5帧的像出现模式,确定发光设备14的时间栅格与曝光时间之间的关系。

同步模式72之后的发光模式如上述那样,设定为某一时间栅格中的发光模式与其它时间栅格不一致,并且仅1帧会在前后的时间栅格中改变点亮/熄灭。例如,若以矩形70a的时间栅格(时间栅格“2”)为基准,则从其前面的时间栅格“1”开始,仅帧9从熄灭变为点亮。此外,在之后的时间栅格“3”中,仅帧10从点亮变为熄灭。

通过以这种方式设置使点亮状态和熄灭状态逐渐改变的发光模式,从而即使曝光时间跨越了两个时间栅格,误差也至多为一个时间栅格。例如,在曝光时间是比矩形70a延迟了250微秒左右的虚线矩形70b的定时的情况下,同步模式之后的像出现模式在{0,0,0,1}之前不发生变化,根据延迟的程度,仅最后的值成为0到1之间的中间值。若通过斑点检测进行阈值判定,则数值成为1或0,但是无论如何,由于仅在连续的两个时间栅格得到这样的数列,因此能够几乎无误差地确定曝光时间。这样的模式的特征与在数字电路中用于表示数值的格雷码(graycodes)相同。

另外,图示的发光模式为一例,只要能够在每个时间栅格中得到不同的像出现模式,且在前后的时间栅格中仅1帧发生了点亮/熄灭的变化,就可以设为任意的发光模式。此外,也可以按照曝光时间适当地调整时间栅格的大小。定性地说,时间栅格的数量越多,则1个单位的发光模式所需的帧数越多。

图11是表示在粗略阶段中同步处理部140确定发光设备14的与曝光时间对应的时间栅格的处理过程的流程图。该流程图在以下状态下开始:控制信息发送部142请求发光设备14以粗略阶段用的发光模式发光,相应地,摄像装置12通过短时间的曝光对发光标记6在图10所示的模式下反复发光的情形进行拍摄。

此外,同步处理部140获取拍摄图像的数据,并行地实施对发光标记的像进行检测的处理。通过缩短曝光时间,从而在曝光时间中只要有发光就能够容易检测到发光标记的像。在该状态下,反复进行像的检测处理直到获得与同步模式一致的像出现模式(s20的否(n))。在检测到这样的模式后(s20的是(y)),从下一帧开始,获取用于确定时间栅格的像出现模式(s22)。

在1个单位的发光模式的帧拍摄结束的时刻,若像出现模式与预先判明的每个时间栅格的发光模式的变化中的任一个一致(s24的是(y)),则判明与该模式对应的时间栅格与曝光时间发生了重叠(s26)。因此,为了在该时间栅格中发光,同步处理部140生成控制信息,并经由控制信息发送部142发送给发光设备14,从而设定大致的发光时间段(s28)。

在s24中,在像出现模式与已设定的每个时间栅格的发光模式均不一致的情况下,从同步模式的检测开始重新执行(s24的否(n))。另外,也可以反复多次从s20至s26的处理,将所获得的结果中频率最高的结果、或者最先达到规定次数的结果等决定为与曝光时间对应的时间栅格的最终值,从而提高精度。此外,若没有得到规定时间、结果,则返回至预扫描阶段,从发光设备的检测开始重新执行。

通过粗略阶段,能够以与曝光时间相同程度的粒度决定应发光的时间段。由此,由于至少完成了曝光时间与发光的同步,因此能够保证发光标记的像拍入到拍摄图像上。在以传感器融合等为目的而无需严格地使时刻一致的情况下等,也可以省略接下来的后台阶段,定期地实施粗略阶段。但是,通过后台阶段预先使发光时刻与曝光时间的中间时刻一致,由此能够提高针对由时钟的差异导致的发光时刻的偏移的稳健性。

图12是用于对后台阶段中的同步处理的原理进行说明的图。该图将横轴设为时间经过,实线矩形表示1帧的曝光时间80,虚线矩形表示发光标记6的发光时间(例如,发光时间82)。其中,发光时间同时表示多个帧的发光时间。后台阶段基本上是在运行时实施的,因此发光时间82也是运行时的短的发光时间(例如,100微秒)。如上述那样,后台阶段是使发光时刻与曝光时间的中间时刻严格地一致的处理。

通过粗略阶段,在发光设备14的时间轴上以500微秒左右的分辨率判明与曝光时间80对应的定时,但是在将发光时间设为比其短时,有可能成为从曝光时间的中间时刻偏移的发光。此外,考虑两者的时刻根据每个装置的时钟频率的偏移而随着时间经过相对地偏移的情况。

在图示的例子中,发光时间82的中间时刻tl早于曝光时间80的中间时刻te。于是,通过求出该时间上的偏移量d,并与已设定的发光时刻相加,从而使发光时间的中间时刻tl与曝光时刻te一致。以此为目的,同步处理部140故意使发光时刻错开,获取在拍摄图像上拍入了发光标记6的状态和未拍入发光标记6的状态之间的迁移发生的定时。

在该图中,在发光标记6的发光时间82包含于曝光时间80的期间,其像出现在拍摄图像上,若发光时间82偏离曝光时间80,则像不出现。发光时刻逐渐错开,若直到偏离曝光时间80为止的时间越短,则原发光时刻在曝光时间中越靠近错开的方向。在图示的例子中,若如白色空心箭头那样将发光时间82提前,则会更早地偏离曝光时间80,从而像不会拍入在拍摄图像上。根据直到不拍入为止的时间、每个帧的发光时刻的错开量以及曝光时间80,求出原发光时刻tl的偏移量d。

图13示意性地表示后台阶段中的发光模式的例子。图的表现方式与图10相同。其中,横轴的时间宽度比1帧的时间短,例如为1100微秒左右。如上述那样,在后台阶段中,着眼于发光时间偏离和进入曝光时间的定时,因此,以白色空心箭头表示的已设定的发光时刻为中心,以曝光时间的2倍左右的时间宽度使发光时刻错开就足够了。此外,通过使偏离的状态不变长,从而使得发光设备14的位置、姿态的追踪精度不降低。如图12所示,在发光时刻在曝光时间的中间时刻之前发生偏移的情形下,曝光时间成为例如矩形86的范围。

此外,若将发光时间设为短时间,则偏移量d的检测误差也会被其粒度抑制。例如图示的那样,若将发光时间设为100微秒,则检测误差落入±100微秒的范围。在图示的例子中,由从帧0至帧26的27帧构成了一个发光模式。发光标记6以27帧为单位反复该发光模式下的发光。

基于与粗略阶段相同的目的,针对最初的7帧(帧0~6)设置同步模式88。在该例子中,设置为发光标记6反复进行点亮/熄灭的模式。通过粗略阶段中的调整,已设定的发光时刻进入曝光时间,因此,在同步模式88中,不从已设定的时刻错开地使其发光。然后,从同步模式88的期间的下一帧(帧7)起,每次规定时间地使发光时刻错开。在图示的例子中,各提前了50微秒。

然后,若发光时刻的错开量达到规定的上限时间,则在沿与前面发生的错开相反的方向偏移了规定的上限时间的时刻使其发光。在图示的例子中,若在10帧(帧7~16)将发光时刻提前500微秒,则在接下来的帧(帧17)中,在比原设定时刻晚500微秒的时刻使其发光。然后,同样地每次规定时间地使发光时刻错开,将原发光时刻的前一个设为1个单位的发光模式的终点(帧18~26)。

若在矩形86的曝光时间内对这样的模式下的发光进行拍摄,则同步模式88的后面的像出现模式成为{1,1,1,1,0,0,0,0,0,0,0,0,0,1,1,1,1,1,1,1}。即,发光时间在帧11偏离曝光时间,并在帧20再次进入曝光时间,因此,在帧11~19的期间内不拍入像。这样的像出现模式依赖于相对于曝光时间的原发光时刻而发生变化。

图14表示后台阶段中的原发光时刻与像出现模式之间的关系。根据图13所示的发光模式,根据原发光时刻与曝光时间在时间上的关系,存在21种像出现模式。其中,根据曝光时间与发光时间的长度、一次的错开量的不同,像出现模式的变化也各种各样。若原发光时刻与曝光时间的中间时刻一致,则直到发光时间偏离曝光时间为止的帧数与再次进入曝光时间而恢复至原状态为止的帧数相等,因此“位置(position)10”的模式与之相当。

在图13中,在矩形86中存在曝光时间的情况相当于“位置13”的模式。因此,通过预先准备如图示那样的数据,从而能够基于实际的像出现模式,以50微秒左右的粒度求出相对于曝光时间的原发光时刻。

图15是表示在后台阶段中同步处理部140使发光时刻与曝光时间的中间时刻一致的处理过程的流程图。该流程图在以下状态下开始:控制信息发送部142请求发光设备14以后台阶段用的发光模式发光,相应地,摄像装置12在短的曝光时间内对发光标记6以图13所示的模式反复发光的情形进行拍摄。

此外,同步处理部140获取拍摄图像的数据,并行地实施对发光标记的像进行检测的处理。进一步地,信息处理装置10的位置姿态获取部134基于检测到的像、imu传感器的测量值等,获取发光设备14的位置、姿态,信息处理部136以此为基础适当地进行信息处理即可。在该状态下,反复像的检测处理,直到获得与同步模式一致的像出现模式(s30的否(n))。若检测到同步模式(s30的是(y)),则从下一帧开始,获取用于确定相对于曝光时间的发光时刻的像出现模式(s32)。

在1个单位的发光模式的帧拍摄结束的时刻,若像出现模式与图14所示的所设想的模式中的哪一个都不一致,则从同步模式的检测开始重新执行(s34的否(n))。若像出现模式与所设想的模式中的任一个一致(s34的是(y)),则如图14的“位置13”那样,获取与该模式关联的、表示原发光时刻的识别信息(s36)。

连续地反复规定次数的s30至s36的处理,直到获得相同的结果(s38的否(n))。若连续地反复规定次数而得到了相同的结果(s38的是(y)),则获取与其发光时刻对应的校正量(s40)。基于例如图14中获得的“位置13”,获取图12所示的时间的偏移量d作为校正量。为此,预先准备对发光时刻的识别信息与校正量进行了关联的表格或者转换规则。在所获取的校正量表示需要进行校正的情况下(s42的是(y)),通过将该校正量与原发光时刻的设定相加从而对发光时刻进行校正(s44)。

在不需要进行校正的情况下,保持发光时刻的设定不变(s42的否(n))。通过定期地反复图示的处理过程作为运行处理的后台处理,从而能够始终使发光时刻与曝光时间的中间时刻一致。图16例示了在图15的s40中为了从发光时刻的识别信息中获取校正量而参考的设定信息。校正量表格90表示发光时刻的识别信息(发光时刻id)与应校正的时间(校正量)之间的关联。由于校正量能够从像出现模式、曝光时间、发光时间、每一次的错开量中导出,因此事先进行计算。

在图14所示的例子中,定义了21种发光时刻。因此,校正量表格90也针对21种识别信息设定校正量。在图示的例子中,以曝光时间的1/5(=发光时间)作为1个单位来表示校正量。如图13所示,在发光时间的每一次的错开量为发光时间的1/2的情况下,如图16所示的那样能够以0.5的粒度设定校正量。根据基于该粒度的校正,如上述那样,除了最初的发光时刻与曝光时间的中间时刻一致的状态的“位置10”以外,位于其前后的“位置9”、“位置11”的校正量也成为“0”,不需要进行校正。

离“位置10”越远,校正量越大,最大达到±2.5。若将原设定时刻与正的校正量相加,则设定时刻变迟,若与负的校正量相加,则设定时刻变早。例如,图13的例子相当于“位置13”,因此,通过使设定时刻延迟偏移量d=0.5×发光时间,从而使发光时刻与曝光时间的中间时刻几乎一致。若将发光时间设为100微秒,则成为使发光时刻延迟50微秒的校正。

还考虑即使通过这样的调整,也会由于摄像装置12与发光设备14的时钟频率之间产生微小的差异,导致曝光时间的中间时刻与发光时刻逐渐偏移的情况。反过来说,若观测到这样的偏移的时间变化,则能够知晓时钟频率的差异,因此能够通过人为地对频率本身进行校正,从而抑制偏移的增加速度。

图17例示了发光时刻相对于曝光时间的中间时刻的偏移的偏差的时间变化。这里,偏差d是在图15的流程图中的闭环中,将在第i次的s40中获取到的校正量,即,从曝光时间的中间时刻开始的偏移量di累加计算而得的值,通过以下公式进行定义。

【数学式2】

d=∑di(式2)

通过上述校正,实际的偏移量定期地恢复为0,但将所获取的偏移量di相加后得到的偏差d会由于时钟频率的差异而单调递增或者单调递减。也就是说,若考虑图示的秒级别的时间经过,则偏差线性地发生变化,其斜率表示时钟频率的差异。因此,例如若在期间a得到了偏差的斜率,则沿着将其消除的方向对时钟频率进行校正。由此,偏差的斜率如期间b所示的那样发生变化。

然后,若在期间b中也获得了偏差的斜率,则再次对时钟频率进行校正以消除其斜率。通过在下一个期间c中也反复同样的处理,从而使偏差的时间变化逐渐变小。这样一来,如虚线所示的偏差92那样,逐渐接近斜率为0的理想状态。通过人为地对发光设备的原本的时钟进行校正,从而能够长时间保持使曝光时间的中间时刻与发光时刻几乎一致的状态。

图18是表示在后台阶段中同步处理部140对发光设备14的时钟进行校正的处理过程的流程图。该流程图与图15所示的发光时刻的调整处理并行地实施。但是,实施频率也可以不同。首先,如图17所示的那样,绘制偏差d相对于时间t的曲线,并按照如下方式求出两者的相关系数r(s50)。

【数学式3】

带横杠的t、d是各自的平均值。若不满足例如相关系数r的绝对值大于0.99等表示具有相关的规定的基准(s52的否(n)),则继续进行偏差d的曲线和相关系数r的获取(s50)。若满足表示具有相关的规定的基准(s52的是(y)),则求出其斜率a(s54)。该处理实际上是按照以下方式通过回归分析求出前一个规定期间中的斜率a,并与之前求得的斜率a相加的处理。

【数学式4】

通过使用以这种方式得到的斜率a,并按照以下方式求出偏差相加参数m以及n,作为控制信息发送给发光设备14,从而对设定值进行更新(s56)。另外,参数m的分子用于将时间的单位由秒换算为微秒。此外,偏差相加参数m、n是根据n/m=a/10-6而赋予每单位时间的时钟的校正量(校正时间)的参数。

【数学式5】

图19是用于对通过偏差相加参数m、n来校正发光设备14的时钟频率的方法进行说明的图。发光设备14的控制部146具备对来自振荡器的时钟频率进行校正的校正电路。校正电路本身为一般的结构即可。在图示的曲线图中,横轴为现实时间,纵轴为发光设备14的时钟。此外,单点划线94为时钟的初始状态。

发光设备14的控制部146基于从信息处理装置10发送而来的偏差相加参数m、n,以每经过时间m则加上时间n的方式对时钟进行校正。如图示的直线96所示,若n为正,则如图示的那样时钟变快。若为负,则时钟变慢。由此,斜率的变化为n/m=a/10-6,因此,原理上,能够消除图17所示的偏差的变化。但是,即使通过这样的校正也会包含误差,因此通过随时求出偏差相加参数m、n并更新,从而逐步抑制偏差。

根据实验,通过导入基于偏差相加的校正处理,从而能够大幅延长直至发光时间偏离曝光时间为止的时间。发光时刻的契机由于计时器中断而成为微秒级别,但是,根据图示的时钟校正,能够以更小的单位对发光时刻进行控制。

图20表示基于信息处理装置10与发光设备14的协作的、曝光时间与发光时刻的同步处理的时序。首先,在预扫描阶段中,信息处理装置10向发光设备14发送预扫描阶段的发光模式下的发光指令(s100)。相应地,发光设备14使发光标记以图9所示的预扫描阶段的发光模式、即在整个期间发光(s102)。信息处理装置10使用拍摄了该情形的图像,检测发光设备14(s104)。

在检测到发光设备后,转移至粗略阶段,信息处理装置10发送粗略阶段的发光模式下的发光指令(s106)。相应地,发光设备14使发光标记以图10所示的模式、即以与曝光时间相同程度的时间为最小单位反复点亮/熄灭的模式发光(s108)。信息处理装置10使用拍摄了该情形的图像,对发光设备14的时钟(时间轴)上的、与曝光时间对应的时间栅格进行检测(s110)。

在检测到该时间栅格后,转移至后台阶段,信息处理装置10发送后台阶段的发光模式下的发光指令(s112)。相应地,发光设备14使发光标记以图13所示的模式、即一边在每一帧中使时刻错开一边反复适合于运行的短时间发光的模式发光(s114)。在s112的指令中,通过对在粗略阶段检测到的、与曝光时间对应的时间栅格的识别信息进行指定,从而能够在发光设备14中至少在曝光时间内设定发光时刻。

使用对以该设定时刻作为基点而使发光时刻错开的情形进行拍摄而得到的图像,信息处理装置10如上述那样对从曝光时间的中间时刻开始的设定的偏移进行检测(s116)。然后,根据需要,将用于对设定时刻进行校正的刷新指令发送给发光设备14(s118)。此外,信息处理装置10通过将所获得的偏移量进行相加从而获取偏差的时间变化(s120)。然后,将包含偏差相加参数m、n的偏差校正指令发送给发光设备14(s122)。

在发光设备14侧,按照被发送而来的刷新指令、偏差校正指令,对发光时刻的设定进行校正、或者对内部的时钟进行校正(s124)。由此,始终形成使曝光时间的中间时刻与发光时刻同步的状态。如上述那样,通过延长直至发光时刻偏离曝光时间为止的时间,从而即使发光设备14位于摄像装置12的视野外例如几分钟,也能够可靠地对再次进入视野时的发光进行拍摄,能够大幅减少看丢发光设备14的概率。

另外,由于时钟频率是装置特定的,因此,一旦获取到与频率的差异、甚至偏差相加参数m、n类似的数据,如果是相同的摄像装置12和发光设备14的组合,则能够使用该数据适当地进行时钟的校正。在这种情况下,能够省略与后台阶段中的偏差相关的校正处理。

例如,在同步处理部140中预先准备对摄像装置12和发光设备14的个体识别信息的组合与偏差相加参数进行关联而得到的表格。然后,基于实际连接的摄像装置12以及发光设备14的个体识别信息,读取偏差相加参数,能够在运行时进行校正而无需导出该参数,能够容易地保持同步状态。

根据以上所述的本实施方式,在通过从拍摄图像中提取发光标记的像,从而获取具有发光标记的设备在三维空间中的位置、姿态的技术中,缩短摄像装置的曝光时间和发光标记的发光时间。由此,能够在拍摄图像中使发光标记的像的亮度变得显眼,因此,能够降低将周围的照明、强烈的反射光误认为发光标记的可能性。此外,即使在设备发生运动的情况下也能够抑制发光标记的像的抖动,因此能够明确位置和时刻的对应。进一步地,能够抑制用于使标记发光的功耗,即使作为电池电源也能够应对长时间使用。

此外,通过分析对以特有的发光模式点亮/熄灭的标记进行拍摄而得的结果,从而调整以各自的时间轴进行工作的摄像装置的曝光时间和设备的发光时间,以使它们的中心时刻一致。由此,即使在短时间的发光时也能够可靠地拍摄其像。此外,由于能够将发光时刻作为拍摄到图像的时刻进行处理,因此,能够在相同的时间轴上确定相同的设备内部所具备的imu传感器的测量时刻和拍摄时刻。结果,能够高精度地对通过图像分析获得的信息和从imu传感器的测量值中获得的信息进行整合,最终能够提高所获得的位置、姿态的精度。

在进行上述调整时,设置了:使发光标记在整个期间点亮而对设备进行检测的阶段;使发光标记以与曝光时间相同程度的单位点亮/熄灭并使发光时间落入曝光时间内的阶段;以及以最佳的发光时间使其中间时刻与曝光时间的中间时刻一致的阶段。通过这样划分阶段,能够将最后的阶段与设备的位置、姿态的获取处理并行地实施,因此,在不妨碍原本的信息处理的情况下能够进行稳定且长期的监视和调整。因此,能够长期对装置特定的时钟的偏差进行评价,适应性地消除时间偏移的积累,即使抑制校正处理的频率也能够使同步状态长时间保持不变。

以上,基于实施方式对本发明进行了说明。上述实施方式为例示,本领域技术人员应理解的是,它们的各结构要素、各处理过程的组合存在各种变形例,此外,这些变形例也在本发明的范围内。

例如,在本实施方式中,将粗略阶段的发光设为点亮和熄灭这两个状态,将表示像出现模式的数值设为0或1这两个灰度,但是,也可以通过将发光亮度设为多个阶段,从而按照亮度将该数值设为三个灰度以上。为了对与曝光时间对应的时间栅格进行识别,需要使表示像出现模式的数列按每个时间栅格完全不同,因此,若增加时间栅格的分割数量,对它们进行识别所需的帧数也会增加。通过用三个灰度以上表示数列,从而能够以较少的帧数进行时间栅格的识别,能够缩短粗略阶段。

产业上的可利用性

如上述那样,本发明能够利用于游戏装置、内容处理装置、图像分析装置、目标物体识别装置等的信息处理装置、输入设备、控制器以及包含它们的系统等。

标号说明

6发光标记、10信息处理装置、12摄像装置、14发光设备、16显示装置、22cpu、24gpu、26主存储器、130设备数据获取部、132拍摄图像获取部、134位置姿态获取部、136信息处理部、138输出数据生成部、140同步处理部、142控制信息发送部、144控制信息获取部、146控制部、148发光部、150测量部、152数据发送部、186imu传感器、188led。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1