一种虚拟现实系统中的空间定位装置和定位方法与流程

文档序号:11100541阅读:555来源:国知局
一种虚拟现实系统中的空间定位装置和定位方法与制造工艺

本发明涉及虚拟现实和增强现实技术,尤其涉及一种虚拟现实系统中的空间定位装置和定位方法。



背景技术:

虚拟现实(VR)或增强现实(AR)技术(本发明统称为VR技术),就是通过计算机技术以及各类传感器技术在特定范围内产生出在视觉、听觉、触觉的虚拟环境或在真实环境上进行叠加效果叠加。

在VR系统中,很多应用场景会涉及到室内空间定位,利用室内空间定位技术可以实现真实世界与虚拟世界的更好互动。但是,目前现有的室内空间定位技术主要通过以下两种方式:第一种是在人体上布置反光点,通过在场景外围布置多个摄像头采集这些反光点的图像,然后通过图像处理的方法确定空间位置关系。这种定位方式需要架设多个摄像头,成本高并且布置繁琐,同时人体在活动过程中会出现反光点被遮挡等情况而影响定位,准确性不高。第二种是通过在场景外布置激光发射器,通过激光扫描整个使用区域,人体佩戴激光接收设备,激光接收设备接收到激光发送的信号后,通过计算得到当前位置。和第一种定位方法一样,第二种定位方式同样需要在在场景外围布置激光发射器,并且也会受到遮挡的影响。此外,上述两种方式都会严格限制使用者的活动范围,超出范围后就会定位失败。而且,现有的惯性动捕设备技术无法提供准确的空间定位。



技术实现要素:

为了克服上述现有技术的不足,本发明提供一种在虚拟现实系统中使用的空间定位方法和定位装置,通过在人体上佩戴一个或一个以上的摄像头,摄像头固定在人体的某一部位,根据摄像头连续获取图像信息,通过图像处理算法对图像信息进行分析处理,从而判断人体的位移,能够简化VR定位场景的布置摄像头等外围设备,更加方便使用。

本发明的原理是:在虚拟现实系统中,需要通过定位跟踪人体在真实世界中的活动轨迹,使得虚拟世界中的人体模型也按照这个轨迹移动,来实现在虚拟现实系统中的空间定位,达到真实世界中的人体和虚拟世界中的人体模型同步。本发明在人体上安装垂直于屋顶和/或墙面的摄像头,由于摄像头会随着人体的移动而移动,使得摄像头所采集的图像也会随之移动(图像中的物体在图像中的位置随之移动),所以,通过摄像头连续采集得到周围墙壁等物体的图像,通过对这些物体的图像进行分析处理,获取图片中位置连续变化的信息,由此实现虚拟现实系统中的空间定位。

本发明提供的技术方案是:

一种虚拟现实系统中的空间定位装置,包括摄像头姿态校准模块、摄像头姿态固定模块、初始化图像采集处理模块和连续图像处理模块;摄像头姿态校准模块包括成像单元、校准平面和参照图形,或者包括成像单元和IMU单元(惯性测量装置IMU单元是测量物体三轴姿态的装置,Inertial Measurement Unit);成像单元包括一个或多个摄像头;摄像头姿态校准模块用于对摄像头姿态进行初始校准;摄像头姿态固定模块包括稳定器或云台,用于将成像单元中的摄像头通过稳定器或云台固定连接到人体上,使得摄像头在后续的使用过程中一直保持与校准平面垂直;初始化图像采集处理模块采用初始化图像参照图案或激光测距仪(或超声波测距仪),通过摄像头采集图像并获取摄像头采集的图像与图像所对应的实物之间的空间比例数值关系;连续图像处理模块通过在人体移动过程中对连续采集得到的图像进行图像处理,计算得到摄像头在其轴向方向的移动和在垂直于轴向的平面的移动距离和方向,获得人体的位移,由此实现虚拟现实系统中的空间定位。

其中,成像单元中的一个或多个摄像头可以安装在人体同一部位或不同部位,摄像头可以是单目摄像头、双目摄像头或多目摄像头。校准平面可以为屋顶和(或)墙面;固定在人体上的摄像头垂直于屋顶和/或墙面。

具体实施中,摄像头姿态校准模块可包括成像单元、校准平面和参照图形,这种情况在校准平面上设置参照标记图形(如十字形或圆形、正方形、正多边形等的图案),可通过采用参照标记图形方法进行摄像头姿态的初始校准,实现摄像头轴向与校准平面垂直;摄像头姿态校准模块也可包括成像单元和IMU单元,这种情况采用在摄像头上放置输出姿态信息装置(IMU单元)的方法实现摄像头姿态的初始校准,当安装输出姿态信息装置和摄像头镜头平面平行并和摄像头轴线垂直时,输出姿态信息装置输出的姿态欧拉角,就是摄像头镜头平面的姿态欧拉角。

具体实施中,初始化图像采集处理模块可在校准平面上放置参照图案;或将激光测距仪(或超声波测距仪)与摄像头相连接;可分别通过已知尺寸的参照图案对摄像头进行标定,或采用激光测距或超声波测距方法进行初始化图像采集。

上述空间定位装置可以和惯性动作捕捉设备配合使用,其中,摄像头姿态校准模块包括成像单元和IMU单元,惯性动作捕捉设备中的一个IMU单元和摄像头组成一体化成像装置,例如,IMU单元安装在摄像头底部,平行于摄像头镜头平面;由于惯性动作捕捉设备包括多个IMU单元,在真实人体上安装所述空间定位装置要使得所述摄像头垂直于屋顶或墙面,或者同时垂直于屋顶和墙面;通过该空间定位装置中的摄像头采集图像进行处理,确定真实人体的空间坐标位置;再利用惯性动作捕捉设备自身建立的相对坐标系,计算得到惯性动作捕捉设备任意一个节点的空间坐标;还可通过一体化装置中的IMU单元反映的摄像头抖动情况来辅助摄像头进行防抖处理。本发明实施例中,摄像头和惯性动作捕捉设备中的一个IMU单元结合,解决了惯性动捕不能提供准确空间定位的问题。在摄像头拍摄的位置为反光特别强烈导致无法通过连续拍照获取图像的连续变化时,可以通过IMU惯性单元计算位移,作为补充。同时,通过与摄像头一体的IMU单元,可以根据摄像头抖动的情况来辅助摄像头进行防抖处理。

本发明还提供一种虚拟现实系统中的空间定位方法,通过在人体上安装垂直于屋顶和/或墙面的摄像头,使得摄像头所采集的图像随着人体的移动而发生移动,图像中的物体或者是图像中的特征点或物体边缘即随着人体的移动而发生移动;通过摄像头连续采集周围物体的图像,通过对物体的图像进行分析处理,获取图片中位置连续变化的信息,由此实现虚拟现实系统中的空间定位;主要包括初始校准摄像头姿态过程、固定摄像头姿态过程、初始化图像采集处理过程和连续图像处理过程;

1)初始校准摄像头姿态过程:实现摄像头轴向与校准平面垂直;

2)固定摄像头姿态使得摄像头在使用过程中一直保持初始校准摄像头姿态;

3)初始化图像采集过程通过摄像头采集图像并根据已知量获取摄像头采集的图像与图像所对应的实物之间的数值关系(空间比例关系);

4)连续图像处理过程进行连续图像采集,通过提取图像轮廓和特征点,分析当前帧和前一帧图像中特征点的变化,根据图像轮廓和特征点的变化,计算得到摄像头在其轴向方向的移动和在垂直于轴向的平面的移动,根据移动的距离和方向实现虚拟现实系统中的空间定位。

针对上述空间定位方法,步骤1)可以采用参照标记图形方法进行摄像头姿态的初始校准;也可以采用在摄像头上放置输出姿态信息装置的方法实现摄像头姿态的初始校准。

采用参照标记图形这种校准方式时,初始校准摄像头姿态过程可以通过利用在校准平面上设置图案作为参照标记图形,将摄像头拍摄到参照标记图形时得到的图像与参照标记图形进行比较,判断是否变形失真(本发明中的失真是指发生形变,等比例放缩不是失真),如果失真说明镜头平面与拍摄面不平行,若没有失真说明两者平行,校准过程就是要使得摄像头内的成像与标记图案不失真。初始校准摄像头姿态过程包括如下步骤:

11)在校准平面上设置十字形或其他形状(如圆形、正方形、正多边形等)的图案,作为参照标记图形;

12)通过摄像头对上述参照标记图案进行图像采集,得到摄像头内成像图案;

13)分析摄像头内成像图案与上述参照标记图案是否有失真;调整摄像头姿态,使得摄像头内的成像与上述参照标记图案没有失真,即完成摄像头姿态的初始校准。

采用参照标记图形进行校准时,通过判断成像后在照片上的形状还是不是原来的形状来识别图案是否有失真(仅大小变化不算失真)。例如,当校准采用的参照标记图形为正十字形时,可以通过比较成像后两条边长是否相等且夹角是否为直角来识别是否有失真。

采用在摄像头上放置输出姿态信息装置的方法实现摄像头姿态的初始校准时,具体通过在摄像头上加装可以输出姿态信息的装置(如姿态传感器、IMU),根据装置输出的姿态信息,对摄像头进行姿态调整;具体校准步骤如下:

21)在摄像头上固定输出姿态信息装置;

22)获取上述输出姿态信息装置的姿态信息;

23)根据上述姿态信息和该输出姿态信息装置和摄像头的固定位置关系,计算得到摄像头的姿态;

具体地,当安装输出姿态信息装置和镜头平面平行和摄像头轴线垂直时,根据输出姿态信息装置输出的姿态欧拉角,就是镜头平面的姿态欧拉角。

24)调整摄像头的姿态,直至摄像头与校准面(墙面或屋顶)垂直。

针对上述空间定位方法,进一步地,步骤2)固定摄像头姿态过程通过稳定器或云台,使得摄像头在后续的使用过程中一直保持与校准平面垂直,然后进入初始化图像采集过程。

针对上述空间定位方法,进一步地,步骤3)初始化图像采集过程的目的是根据已知量获取摄像头采集的图像与图像所对应的实物之间的数值关系(成像时两者之间的比例关系),具体实施时,可以采用参照图案方法、激光测距或超声波测距方法实现。

采用参照图案方法进行初始化图像采集过程,具体通过已知尺寸的十字线或其他形状(可以是初始校准摄像头姿态中用于校准摄像头姿态时用的图案也可以是新的图案)对摄像头进行标定,摄像头获取到上述形状后,根据已知的图形尺寸信息以及根据拍照时焦距的长度、视角的大小,推算出此时摄像头与已知形状的距离以及单位长度所对应的像素点数目;由此获取摄像头采集的图像与图像所对应的实物之间的数值关系;具体步骤如下:

31)在校准平面上放置参照图案,该参照图案的尺寸已知;

32)对上述已知尺寸的参照图案进行图像采集;

33)根据上述32)所得图像在照片上呈现的像素数,得到每个像素点对应的实际物体的尺寸;

具体地,假设已知参照图案长为X,在照片上成像的长为y个像素点,则每个像素点对应的实际物体尺寸是x/y。

34)根据整幅图片的像素,获得整幅画面拍摄景物的实际尺寸W;

整幅画面的实际尺寸就是长和宽分别为(z1*x/y)和(z2*x/y),其中,每个像素点对应的实际物体尺寸为x/y;照片当前已知的分辨率为z1*z2像素;

35)根据摄像头的拍摄时的视角α的大小,通过三角函数关系计算出镜头与实际拍摄物体之间的距离L为:

式1中,α为摄像头拍摄时的视角;W为整幅画面拍摄景物的实际尺寸;

由此得到摄像头与实际拍摄物体之间的距离。

采用激光测距或超声波测距方法进行初始化图像采集过程,具体是:通过激光测距或超声波测距等方式测得摄像头与摄像头采集的图像实物之间直接的距离L,或直接采用双目摄像头直接实现测距以及图像采集;再根据拍照时视角的大小得到图像中的像素对应图像实物实际尺寸的对应关系;具体步骤如下:

41)进行图像采集;

42)采用激光测距仪和超声波测距仪,通过激光测距或超声波测距等方式测得摄像头与摄像头采集的图像实物之间的距离L;

43)根据上述摄像头与拍摄实物之间的距离L以及拍摄时的视角α,根据三角函数关系获得拍摄图像对应实际物体的尺寸:

W=2×L×tanα (式2)

44)再根据整幅图片的像素就可以知道每个像素对应的实际尺寸;

上述步骤43)获得拍摄图像对应实际物体的尺寸,还可根据成像感光片的尺寸W′以及镜头到感光片的距离L′,计算得到图像中的像素对应图像实物实际尺寸的对应关系;具体地,根据上述摄像头与拍摄实物之间的距离L以及拍摄时的焦距L′,根据相似三角形比例关系可知拍摄图像对应实际物体的尺寸为:

同理,根据拍摄图片中已知物体的尺寸,根据该物体在图片中对应的像素点的个数,可以得到全幅画面对应的实际尺寸;再根据已知感光片的尺寸W′和焦距L′时,利用相似三角形比例关系:得到拍摄物体到镜头的距离L;

初始化图像采集成像中,可以利用已有的墙面或屋顶进行计算,为简化处理,也可以在墙面或屋顶上增加明显标记简化图像分析,如采用可见光或非可见光投影在屋顶或墙面上进行标记,此时,摄像头要根据可见光或非可见光的特征对应选择合适摄像头。例如,当采用某一波长的红外光进行投影时,选择可以接收同样波长的红外成像的摄像头。

针对上述空间定位方法,进一步地,步骤4)后续连续计算过程首先提取图像轮廓和特征点(可利用边缘检测算子方法和特征点检测算子方法),在初始化图像采集并固定摄像头姿态之后,摄像头进行连续图像采集,提取图像轮廓和特征点并分析当前帧和前一帧图像中特征点的变化,根据轮廓和特征点的变化,计算出摄像头在其轴向方向的移动或在垂直于轴向的平面的移动,具体流程如下:

51)对摄像头连续获取的图片,通过边缘检测算法和/或特征点检测算法或其他算法提取得到图像轮廓和/或特征点;

52)将当前帧图像与前一帧图像提取的图像轮廓和/或特征点进行比较;

53)当图像轮廓或特征点的直接尺寸信息不变时,说明摄像头在轴向上没有移动;当图像轮廓或特征点的直接尺寸信息发生变化时,说明摄像头在轴向上有位移;

54)当摄像头在轴向上有位移时,得到变化后的像素和实际尺寸的对应关系,再根据当前的视角,得到当前摄像头镜面与拍摄面的距离;当摄像头在轴向上没有移动时,判断图像轮廓或特征点的在图片中的位置是否发生变化,如果有变化,根据初始化图像采集过程中的成像比例关系,得到实际摄像头的移动距离和方向;再根据初始化过程中成像与真实方向的夹角,确定摄像头真实的移动方向。

为简化摄像头轴向位移的计算,可以增加与原摄像头垂直且垂直于墙面或屋顶的摄像头,这样可以只计算与成像平面平行平面内的移动,就可以得到摄像头的空间移动轨迹;也可以用三个摄像头组成相互垂直的系统,这三个摄像头分别垂直于屋顶和两个相互垂直的墙面,这样可以只处理摄像头轴向的位移,就可以确定摄像头的空间位移;当增加摄像头时,还是全部计算水平和垂直方向的位移,由此达到增加系统冗余,增强可靠性和精度。

上述连续计算过程中,步骤54)根据连续每帧图像的移动确定与成像平面平行方向上的位移可采用如下方法替代:用实物、可见光或非可见光按一定的编码方式经过编码得到数字或符号(例如矩阵),将编码呈现在墙面或屋顶上,并对墙面或屋顶进行覆盖,经摄像头成像后,进行编码识别,根据识别的编码确定摄像头所在的与成像平面平行平面位置。

与现有技术相比,本发明的有益效果是:

本发明提供一种虚拟现实系统中的空间定位装置和定位方法,通过在人体上佩戴一个或一个以上的摄像头,摄像头固定在人体的某一部位,根据摄像头连续获取图像信息,通过图像处理算法对图像信息进行分析处理,从而判断人体的位移,简化了VR定位场景的布置摄像头等外围设备,更加方便使用。

附图说明

图1是摄像头成像原理示意图;

其中,α为摄像头拍摄时的视角;W为整幅画面拍摄景物的实际尺寸;L为摄像头与拍摄实物之间的距离;L′为拍摄时的焦距;W′为成像感光片的尺寸;V为摄像头镜头。

图2是本发明提供的虚拟现实系统中的空间定位装置的结构框图。

图3是本发明实施例中成像单元为摄像头和惯性动作捕捉设备一体化装置的结构框图。

图4是本发明实施例中空间定位装置的成像单元包括相互垂直的双目摄像头在人体上安装的位置示意图。

图5是本发明提供的空间定位方法的流程框图。

具体实施方式

下面结合附图,通过实施例进一步描述本发明,但不以任何方式限制本发明的范围。

本发明提供一种虚拟现实系统中的空间定位装置和定位方法,通过在人体上佩戴一个或一个以上的摄像头,摄像头通过稳定器或云台固定在人体部位上,根据摄像头连续获取图像信息,通过图像处理器对图像信息进行分析处理,从而判断人体的位移,简化了VR定位场景的布置摄像头等外围设备,更加方便使用。

图1是摄像头成像原理示意图;图1中,通过实际物体通过镜头成像到感光片上,其中,α为摄像头拍摄时的视角;W为整幅画面拍摄景物的实际尺寸;L为摄像头与拍摄实物之间的距离;L′为拍摄时的焦距;W′为成像感光片的尺寸;V为摄像头镜头。

本发明提供的虚拟现实系统中的空间定位装置的结构如图2所示,空间定位装置包括摄像头姿态校准模块、摄像头姿态固定模块、初始化图像采集处理模块和连续图像处理模块;摄像头姿态校准模块包括成像单元和校准平面,成像单元包括一个或多个摄像头,摄像头姿态校准模块实现摄像头轴向与校准平面垂直;摄像头姿态固定模块包括稳定器或云台,用于将成像单元中的摄像头通过稳定器或云台固定连接到人体上;初始化图像采集处理模块通过摄像头采集图像并获取摄像头采集的图像与图像所对应的实物之间的空间比例数值关系;连续图像处理模块通过在人体移动过程中对连续采集得到的图像进行图像处理,计算得到摄像头在其轴向方向的移动和在垂直于轴向的平面的移动距离和方向,获得人体的位移,由此实现虚拟现实系统中的空间定位。

本发明提供的空间定位装置可以和惯性动作捕捉设备配合使用,图3是成像单元中摄像头和惯性动作捕捉设备一体化装置的结构框图,摄像头和惯性动作捕捉设备中的一个IMU单元结合,通过该摄像头确定的空间坐标位置,以及惯性动作捕捉设备自身建立的相对坐标系结合,可以解算出惯性动捕设备任意一个节点的空间坐标。解决了由于惯性动捕不能提供准确空间定位的问题。在摄像头拍摄的位置为反光特别强烈导致无法通过连续拍照获取图像的连续变化时,可以通过IMU惯性单元计算位移,作为补充。同时,通过与摄像头一体的IMU单元可以根据摄像头抖动的情况来辅助摄像头进行防抖处理。

以下实施例将窄视角摄像头安装在头顶位置朝上,成像单元中的摄像头通过USB线或其他连接方式与VR背负式计算机主机、外置主机或其他处理器(包括图像处理单元)相连,通过激光测距仪进行激光测距获取摄像头与屋顶直接的距离,并通过摄像头获取图像信息,根据摄像头拍照时的焦距、视角计算出整幅照片(获取到的图像)所对应的实际尺寸,由于摄像头的像素信息是已知的,所以可以得到当前实际尺寸与像素的对应关系,然后通过处理器对摄像头获取的连续图像信息进行分析处理,提取图像的特征信息,例如进行灰度处理然后提高对比度获取图像的轮廓信息或特征点,根据这些特征信息的连续变动就可以计算出摄像头的位置变化,也就是佩戴者的位置变化。

也可以在身体上安装两个或两个以上的摄像头(可以是安装的人体不同位置的多个摄像头,摄像头可以是单目摄像头、双目摄像头或多目摄像头),避免一个摄像头在获取不到合适的图像特征标记或者拍摄到正在移动的物体时,可以相互补充,两个摄像头的处理结果也可以相互融合,例如,如图4所示,当两个摄像头相互垂直时,一个摄像头的Z轴(摄像头轴线方向)方向也是另外一个摄像头的X或Y轴方向,就可以在图像处理方面每个摄像头只处理两个轴向的分析,降低处理程序的复杂度。

采用上述虚拟现实系统中的空间定位装置进行空间定位时,在人体上安装垂直于屋顶和/或墙面的摄像头,使得摄像头所采集的图像随着人体的移动而发生移动,图像中的物体或者是图像中的特征点或物体边缘即随着人体的移动而发生移动;通过摄像头连续采集周围物体的图像,通过对物体的图像进行分析处理,获取图片中位置连续变化的信息,由此实现虚拟现实系统中的空间定位;主要包括初始校准摄像头姿态、固定摄像头姿态、初始化图像采集处理和连续图像处理过程;

1)初始校准摄像头姿态过程:实现摄像头轴向与校准平面垂直;

2)固定摄像头姿态使得摄像头在使用过程中一直保持初始校准摄像头姿态;

3)初始化图像采集过程通过摄像头采集图像并根据已知量获取摄像头采集的图像与图像所对应的实物之间的数值关系(空间比例关系);

4)连续图像处理过程进行连续图像采集,通过提取图像轮廓和特征点,分析当前帧和前一帧图像中特征点的变化,根据图像轮廓和特征点的变化,计算得到摄像头在其轴向方向的移动和在垂直于轴向的平面的移动,根据移动的距离和方向实现虚拟现实系统中的空间定位。

其中,初始校准摄像头姿态过程是为了实现摄像头轴向与校准平面垂直,也就是摄像头镜头平面与摄像头所对的拍摄面平行,校准平面可以是屋顶或墙面。

在具体实施中,可以采用参照标记图形方法进行摄像头姿态的初始校准;也可以采用在摄像头上放置输出姿态信息装置的方法实现摄像头姿态的初始校准。

参照标记图形方法具体是:初始校准摄像头姿态过程可以通过利用在校准平面上设置十字形或其他形状(如圆形、正方形、正多边形等)的图案作为参照标记图形,将摄像头拍摄到参照标记图形时得到的图像与参照标记图形进行比较,判断是否变形失真(本发明中的失真是指发生形变,等比例放缩不是失真),如果失真说明镜头平面与拍摄面不平行,若没有失真说明两者平行,校准过程就是要使得摄像头内的成像与标记图案不失真。

采用参照标记图形这种校准方式时,初始校准摄像头姿态过程包括如下步骤:

11)在校准平面上设置十字形或其他形状(如圆形、正方形、正多边形等)的图案,作为参照标记图形

12)通过摄像头对上述参照标记图案进行图像采集,得到摄像头内成像图案;

13)分析摄像头内成像图案与上述参照标记图案是否有失真;调整摄像头姿态,使得摄像头内的成像与上述参照标记图案没有失真,即完成摄像头姿态的初始校准。

校准时,通过判断成像后在照片上的形状还是不是原来的形状来识别图案是否有失真(仅大小变化不算失真)。例如,当校准采用的参照标记图形为正十字形时,可以通过比较成像后两条边长是否相等且夹角是否为直角来识别是否有失真。

在具体实施中,还可以采用在摄像头上放置输出姿态信息装置的方法实现摄像头姿态的初始校准;具体通过在摄像头上加装可以输出姿态信息的装置(如:姿态传感器),根据装置输出的姿态信息,对摄像头进行姿态调整,直到控制摄像头实现与校准平面垂直,具体校准步骤如下:

21)在摄像头上固定输出姿态信息装置;

22)获取上述输出姿态信息装置的姿态信息;

23)根据上述姿态信息和该输出姿态信息装置和摄像头的固定位置关系,计算得到摄像头的姿态;

具体地,当安装输出姿态信息装置和镜头平面平行和摄像头轴线垂直时,根据输出姿态信息装置输出的姿态欧拉角,就是镜头平面的姿态欧拉角。

24)调整摄像头的姿态,直至摄像头与校准面(墙面或屋顶)垂直。

针对上述虚拟现实系统中的空间定位方法,进一步地,在完成上述校准过程后,通过稳定器或云台,使得摄像头在后续的使用过程中一直保持与校准平面垂直,然后进入初始化图像采集过程。

初始化图像采集过程的目的是根据已知量获取摄像头采集的图像与图像所对应的实物之间的数值关系(成像时两者之间的比例关系),具体实施时,可以采用参照图案方法、激光测距或超声波测距方法实现。

采用参照图案方法进行初始化图像采集过程,具体通过已知尺寸的十字线或其他形状(可以是初始校准摄像头姿态中用于校准摄像头姿态时用的图案也可以是新的图案)对摄像头进行标定,摄像头获取到上述形状后,根据已知的图形尺寸信息以及根据拍照时焦距的长度、视角的大小,推算出此时摄像头与已知形状的距离以及单位长度所对应的像素点数目;由此获取摄像头采集的图像与图像所对应的实物之间的数值关系;具体步骤如下:

31)在校准平面上放置参照图案,该参照图案的尺寸已知;

32)对上述已知尺寸的参照图案进行图像采集;

33)根据上述32)所得图像在照片上呈现的像素数,得到每个像素点对应的实际物体的尺寸;

具体地,假设已知参照图案长为X,在照片上成像的长为y个像素点,则每个像素点对应的实际物体尺寸是x/y。

34)根据整幅图片的像素,获得整幅画面拍摄景物的实际尺寸W;

整幅画面的实际尺寸就是长和宽分别为(z1*x/y)和(z2*x/y),其中,每个像素点对应的实际物体尺寸为x/y;照片分辨率为z1*z2像素;

35)根据摄像头的拍摄时的视角α的大小,通过三角函数关系计算出镜头与实际拍摄物体之间的距离L为:

式1中,α为摄像头拍摄时的视角;W为整幅画面拍摄景物的实际尺寸;

由此得到摄像头与实际拍摄物体之间的距离。

采用激光测距或超声波测距方法进行初始化图像采集过程,具体是:通过激光测距或超声波测距等方式测得摄像头与摄像头采集的图像实物之间直接的距离L,或直接采用双目摄像头直接实现测距以及图像采集;再根据拍照时视角的大小得到图像中的像素对应图像实物实际尺寸的对应关系;具体步骤如下:

41)进行图像采集;

42)采用激光测距仪和超声波测距仪,通过激光测距或超声波测距等方式测得摄像头与摄像头采集的图像实物之间的距离L;

43)根据上述摄像头与拍摄实物之间的距离L以及拍摄时的视角α,根据三角函数关系获得拍摄图像对应实际物体的尺寸:

W=2×L×tanα (式2)

44)再根据整幅图片的像素就可以知道每个像素对应的实际尺寸;

上述步骤43)获得拍摄图像对应实际物体的尺寸,还可根据成像感光片的尺寸W′以及镜头到感光片的距离L′,计算得到图像中的像素对应图像实物实际尺寸的对应关系;具体地,根据上述摄像头与拍摄实物之间的距离L以及拍摄时的焦距L′,根据相似三角形比例关系可知拍摄图像对应实际物体的尺寸为:

同理,根据拍摄图片中已知物体的尺寸,根据该物体在图片中对应的像素点的个数,可以得到全幅画面对应的实际尺寸;再根据已知感光片的尺寸W′和焦距L′时,利用相似三角形比例关系:得到拍摄物体到镜头的距离L;

初始化图像采集成像中,可以利用已有的墙面或屋顶进行计算,为简化处理,也可以在墙面或屋顶上增加明显标记简化图像分析,如采用可见光或非可见光投影在屋顶或墙面上进行标记,此时,摄像头要根据可见光或非可见光的特征对应选择合适摄像头。例如,当采用某一波长的红外光进行投影时,选择可以接收同样波长的红外成像的摄像头。

后续连续计算过程首先提取图像轮廓和特征点(可利用边缘检测算子和特征点检测算子对图像轮廓和特征点进行提取),在初始化图像采集并固定摄像头姿态之后,摄像头进行连续图像采集,提取图像轮廓和特征点并分析当前帧和前一帧图像中特征点的变化,根据轮廓和特征点的变化,计算出摄像头在其轴向方向的移动或在垂直于轴向的平面的移动,具体流程如下:

51)对摄像头连续获取的图片,通过边缘检测算法或其他算法提取得到图像轮廓和特征点;

52)将当前帧图像与前一帧图像提取的图像轮廓或特征点进行比较;

53)当图像轮廓或特征点的直接尺寸信息不变时,说明摄像头在轴向上没有移动;当图像轮廓或特征点的直接尺寸信息发生变化时,说明摄像头在轴向上有位移;

54)当摄像头在轴向上有位移时,得到变化后的像素和实际尺寸的对应关系,再根据当前的视角,得到当前摄像头镜面与拍摄面的距离;当摄像头在轴向上没有移动时,判断图像轮廓或特征点的在图片中的位置是否发生变化,如果有变化,根据初始化图像采集过程中的成像比例关系,得到实际摄像头的移动距离和方向;再根据初始化过程中成像与真实方向的夹角,确定摄像头真实的移动方向。

为简化摄像头轴向位移的计算,可以增加与原摄像头垂直且垂直于墙面或屋顶的摄像头,这样可以只计算摄像头在成像平面平行平面内的移动,就可以得到摄像头的空间移动轨迹;也可以有三个摄像头组成相互垂直的系统,这三个摄像头分别垂直于屋顶和两个相互垂直的墙面,这样可以只处理摄像头轴向的位移,就可以确定摄像头的空间位移;当增加摄像头时,还是全部计算水平和垂直方向的位移,由此达到增加系统冗余,增强可靠性和精度。

上述连续计算过程中,步骤54)根据连续每帧图像的移动确定水平方向上的位移可采用如下方法替代:用实物、可见光或非可见光按一定的编码方式经过编码得到数字或符号(例如矩阵),将编码呈现在墙面上对墙面进行覆盖,经摄像头成像后,进行编码识别,根据识别的编码确定摄像头所在的水平面位置。

在具体实施中,将上述空间定位装置和定位方法应用于动捕设备,空间定位装置在工作时,摄像头与动捕设备其中的一个节点结合,动捕设备自身会建立一个坐标系,每个动捕节会有各个节点的坐标位置,当和摄像头结合的动捕节点确定空间坐标以后就可以实现动捕设备各个节点的坐标转换到空间坐标系中,实现每个节点空间定位。可在屋顶或墙面做标记,可以在摄像头对准标记点时对位置进行标定,从而减少误差,标记点可以是光点或特定图案。标记点可以是特定频段的可见光或非可见光,配套相对应的同一波段的摄像头。测距也可以采用双目摄像头实现。

例如,通过激光灯照射有规律的数字矩阵到屋顶上,如矩阵然后直接通过摄像头拍摄图片,对图片中的数字进行数字识别,然后根据矩阵和实际房间尺寸的对应关系,确定当前摄像头的水平位置,然后再根据上述分析矩阵数字之间的距离或者数字的尺寸,计算得到垂直位置,从而实现空间定位。

需要注意的是,公布实施例的目的在于帮助进一步理解本发明,但是本领域的技术人员可以理解:在不脱离本发明及所附权利要求的精神和范围内,各种替换和修改都是可能的。因此,本发明不应局限于实施例所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1