专利名称：无标定真三维全景显示与交互装置的制作方法
技术领域：
本发明涉及一种无标定真三维全景显示与交互装置及方法，属于计算机视觉和人机交 互领域。背JR技术沉浸是使人具有真实感并获得体验的根本，而交互是实现人机和谐的关键。虚拟场景 的显示和交互是虚拟现实的核心所在，目前显示部分主要通过各种不同的显示设备实现，如立体显示器、柱幕或环幕系统、CAVE系统，以提供给人沉浸感；而交互主要通过各种输入设备如数据手套、光学标志点、位置跟踪器等实现。如要跟踪人头部的运动，需要专 门的位置跟踪器，体积大，价格高，且有较大的重量，使用不方便。而人如果要用手与虚 拟场景交互，必须戴数据手套，也只能捕捉几个自由度的信息，不够灵活。在人体位置和 姿态动作的捕捉和识别方面，目前也有做的，但都有标定。 发明内容本发明所要解决的技术问题是克服现有技术存在的不足，提供一种可以实现无标定 真三维全景显示和交互的装置及方法，无须对观察者进行标定，观察者在工作空间内可以 自然的转动头部和身体以改变视点，实现真三维全景的显示与交互，具有较好的浸入感和 灵活性。本发明的技术解决方案 一种无标定真三维全景显示与交互装置，包括主体支架、头 盔显示器、图像存储和处理器、能够进行高速运算和实时处理的主机，所述主体支架上设 置有多个可安装摄像机的云台，所述云台上装有摄像机，观察者站在主体支架内部空间中， 通过头盔显示器即可实时观看一个虚拟场景，观察者可做空间上的自由移动，包括头部转 向、自由行走、转动，并能与场景实时交互，所述的多个摄像机通过从多个角度同步采集 观察者的图像信息，输入到图像存储和处理器进行图像昨预处理，预处理后的图像再输入 到主机，由主机对多幅图像通过进行分析、匹配和计算，实时解算出人的位置、姿态和动 作信息，并由此来控制头盔显示器中的虚拟场景产生相应的变化，以实现虚拟显示并产生 交互效应。所述主体支架上还安装有传感器的固定件，所述传感器固定件上可安装红外传感器、 或声音传感器、或温度传感器，红外传感器用于识别人体信息后，或声音传感器采集人的自然语言后，或温度传感器采集工作空间的温度后输入主机进行识别、处理和存储，作为 对场景信息的记录和分析，可用来模拟和恢复场景。本发明的另一目的是提供一种无标定真三维全录显示与交互方法，其步骤如下(1) 对摄像机进行标定；(2) 进行图像采集观察者站在主体支架内部空间中，通过头盔显示器即可实时观看 —个虚拟场景，观察者可做空间上的自由移动，包括头部转向、自由行走、转动，多个摄 像机从不同角度同步采集观察者的图像；(3) 图像预处理摄像机釆集的图像送入图像存储和处理器进行存储和预处理(4) 图像信息提取预处理的图像传送到主机，主机对接收到的多幅图像进行分析、 匹配和计算，提取其中的关键信息，包括人头部和手部的轮廓及头部和手部在不同图像上 对应的特征点对的图像坐标；(5) 根据所提取的关键信息实时解算人的位置、姿态和动作信息；(6) 更新虚拟场景的显示根据位移和姿态的改变控制头盔显示器的虚拟场景产生相 应的变化，以实现虚拟显示并产生交互效应。本发明与现有技术相比的优点在于(1) 本装置可容纳多人同时在工作空间内，观察者可以自然的在三维空间内运动，实 现了真三维的效果(2) 由于设置了多个摄像机，从而可以在无须对观察者进行标定的情况下，通过图像 的采集和模式识别技术实时获取观察者的头部和手部的位置、姿态和动作信息，实现了跟 踪和定位(3) 观察者转动头部和身体以改变视点，所看到的场景即计算机生成的虚拟世界将实 时发生变化(4) 观察者可以以自然的方式直接与虚拟环境中的对象进行交互操作。总之，本发明创建了一个酷似客观环境又超越客观时空、既能够沉浸其中又能驾奴其 上的和谐的人机交互环境，即一个由多维信息所构造的可操纵的立体空间，其主要目标是 实现人类在计算机控制的虚拟环境中获得最真实的体验，且以方便自然的方式进行人与环 境之间的交互。观察者不用透过外部显示器，而能够査接沉浸在ih算机控制下的虚拟环境 当中，如同人类日常生活在真实世界一样。
图1是本发明装置的结构示意图图2是本发明的方法流程图。
具体实施方式
如图1所示，本发明的装置由主体支架1、云台2、固定件3、摄像机4、红外传感器5、 声音传感器6、温度传感器7、图像存储和处理器8、头盔显示器9和主机IO组成。主体支 架1上设置有多个安装摄像机4的云台2和安装传感器的固定件3,云台2上装有摄像机4， 传感器固定件3上装有红外传感器5、声音传感器6、温度传感器7;支架l、云台2和固 定件3均是可移动的，多个摄像机都能够通过外触发进行图像采集，每个摄像机与一个图 像存储和处理器8相连接头盔显示器9是封闭式头盔显示器。观察者站在装置的工作空 间内，头戴头盔显示器9,显示器上显示计算机控制的虚拟场景。观察者可以走动、转动头 部或移动手的位置r装置内架设的多个摄像机实时采集观察者的图像，送入图像存储和处 理器8进行图像的预处理，提取前录信息即观察者的轮廓信息。图像存储和处理器8将图 像送入主机10,主机IO得到同一时刻采集到的不同位置和角度的观察者的图像，对这组图 像进行分割和模式匹配，得到头部和手部的位置和姿态，作为输入控制虛拟场景产生相应 的位移和角度变化，并送到头盔显示器中进行显示，这样，观察者即可以通过转动头部和 身体来改变视点，也可以通过手的移动和触摸来与场景交互。此外，红外传感器5、或声音传感器6、或温度传感器7用来做数据采集，作为场景信 息的记录和分析，可用来模拟和恢复场景。红外传感器用于识别人体信息，可用来记录场 景中出现过的人的信息声音传感器采集人的自然语言，经过识别和处理，可以转化为指 令，控制虚拟场景产生相应的变化；温度传感器釆集工作区的温度，可作为历史信息存储 到主机中，根据这些信息可以重现某时间段内的场景。本发明方法的具体工作过程如下第一步，摄像机标定；第二步，图像采集观察者站在主体支架内部空间中，通过头盔显示器即可实时观看 一个虚拟场景，观察者可做空间上的自由移动，包括头部转向、自由行走、转动，多个摄 像机从不同角度同步采集观察者的图像第三步，图像预处理摄像机采集的图像送入图像存储和处理器进行存储和预处理；第四步，图像信息提取预处理的图像传送到主机，主机对接收到的多幅图像进行分 析、匹配和计算，提取其中的关键信息第五步，解算人的位置、姿态和动作信息；第六步，更新虚拟场景的显示根据位移和姿态的改变控制头盔显示器的虚拟场录产 生相应的变化，以实现虚拟显示并产生交互效应。上述的主机进行分析、匹配和计算.，提取其中的关键-信.息.,，.实时解算出人的位置、姿态和动作信息的过程如下(1) 图像分割和提取对输入的一组图像进行图像分割，从每幅图像人的轮廓信息中 提取出头部的轮廓和手的轮廓(2) 立体匹配根据立体匹配的原理(两个摄像机即可对其重叠区域的目标物体进行 空间定位)，由这组已经进行分割和提取的图像对头部和手部分别进行特征点匹配，计算 出特征点的深度信息和三维坐标；(3) 差值计算由于图像是实时釆集的，根据当前时刻采集的图像顿计算出的三维坐 标跟前一帧的一组图像计算出的三维坐标进行差值，计算出人头部的位移和旋转量以及手 部的动作信息。图像存储和处理器进行存储和预处理的方法如下(1) 多个摄像机同步采集观察者不同角度的图像，存储到图像存储和处理器中；(2) 图像存储和处理器对存储的图像进行前景提取，去除背录，得到目标对象即人的 轮廓信息。摄像机标定的方法如下用一个均匀的黑白棋盘格模板作为目标对象，摄像机固定好 之后，采集不同位置和角度的模板的图像，用这组图像进行角点的提取和计算，从而求出 摄像机的模型，即摄像机的内外参数。
权利要求
1、一种无标定真三维全景显示与交互装置，其特征在于包括主体支架、头盔显示器、图像存储和处理器、能够进行高速运算和实时处理的主机，所述主体支架上设置有多个可安装摄像机的云台，所述云台上装有摄像机，观察者站在主体支架内部空间中，通过头盔显示器即可实时观看一个虚拟场景，观察者可做空间上的自由移动，包括头部转向、自由行走、转动，并能与场景实时交互，所述的多个摄像机通过从多个角度同步采集观察者的图像信息，输入到图像存储和处理器进行图像的预处理，预处理后的图像再输入到主机，由主机对多幅图像进行分析、匹配和计算，实时解算出人的位置、姿态和动作信息，并由此来控制头盔显示器中的虚拟场景产生相应的变化，以实现虚拟显示并产生交互效应。
2、 根据权利要求1所述的无标定真三维全景显示与交互装置，其特征在于所述主 体支架上还安装有传感器的固定件，所述传感器固定件上可安装红外传感器、或声音传感 器、或温度传感器，红外传感器用于识别人体信息后，或声音传感器采集人的自然语言后， 或温度传感器采集工作空间的温度后输入主机进行识别、处理和存储，作为对场景信息的 记录和分析，可用来模拟和恢复场景。
3、 根据权利要求1或2所述的无标定真三维全景显示与交互装置，其特征在于所述 的支架和云台均是可移动的。
4、 根据权利要求1或2所述的无标定真三维全景显示与交互装置，其特征在于所 述的多个摄像机都能够通过外触发进行图像采集。
5、 根据权利要求1或2所述的无标定真三维全景显示与交互装置，其特征在于所 述的多个摄像机中，每个摄像机与一个图像存储和处理器相连接。
6、 根据权利要求1或2所述的无标定真三维全景显示与交互装置，其特征在于所述 的头盔显示器是封闭式头盔显示器。
7、 根据权利要求1或2所述的无标定真三维全景显示与交互装置，其特征在于所 述的主机进行分析、匹配和计算，实时解算出人的位置、姿态和动作信息的过程如下(1) 进行图像分割和提取对输入的一组图像进行图像分割，从每幅图像人的轮廓信 息中提取出头部的轮廓和手的轮廓(2) 然后进行立体匹配根据立体匹配的原理，通过两个摄像机对其重叠区域的目标 物体进行空间定位，由所述的一组已经进行分割和提取的图像对头部和手部分别进行特征 点匹配，计算出特征点的深度信息和三维坐标(3)最后进行差值计算由于图像是实时采集的，根据当前时刻釆集的图像帧计算出的 H维坐标跟前一帧的一组图像计算出的三维坐标进行差值，计算出人头部的位移和旋转量 以及手部的动作信息。
8、 一种采用权利要求1所述的无标定真三维全景显示与交互装置的实现显示与交互的 方法，其特征在于(1) 对摄像机进行标定(2) 进行图像采集观察者站在主体支架内部空间中，通过头盔显示器即可实时观看 一个虚拟场景，观察者可做空间上的自由移动，包括头部转向、自由行走、转动，多个摄 像机从不同角度同歩采集观察者的图像；(3) 图像预处理摄像机采集的图像送入图像存储和处理器进行存储和预处理；(4) 图像信息提取预处理的图像传送到主机，主机对接收到的多幅图像进行分析、 匹配和计算，提取其中的关键信息，包括人头部和手部的轮廓及头部和手部在不同图像上 对应的特征点对的图像坐标；(5) 根据所提取的关键信息实时解算人的位置、姿态和动作信息(6) 更新虚拟场景的显示根据位移和姿态的改变控制头盔显示器的虚拟场景产生相 应的变化，以实现虚拟显示并产生交互效应。
9、 根据权利要求8所述的无标定真三维全景显示与交互方法，其特征在于所述的步 骤(4)中实时解算出人的位置、姿态和动作信息的过程如下(1) 图像分割和提取对输入的一组图像进行图像分割，从每幅图像人的轮麻信息中 提取出头部的轮麻和手的轮廓；(2) 立体匹配根据J^体匹配的原理，通过两个摄像机可对其重叠区域的目标物体进 行空间定位，由所述的一组己经进行分割和提取的图像对头部和手部分别进行特征点匹配， 计箅出特征点的深度信息和三维坐标；(3) 差值计算由于图像是实时采集的，根据当前时刻采集的图像帧计算出的三维坐 标跟前一帧的一组图像计算出的三维坐标进行差值，计算出人头部的位移和旋转量以及手 部的动作信息。
10、 根据权利要求8'所述的无标定真三维全衆显示与交互方法，其特征在于所述的 步骤(3)中图像预处理的方法如下(1) 多个摄像机同步采集观察者不同角度的图像，存储到图像存储和处理器中；(2) 图像存储和处理器对存储的图像进行前景提取，去除背景，得到目标对象即人的 轮麻信息。
全文摘要
一种无标定真三维全景显示与交互装置包括主体支架、头盔显示器、图像存储和处理器、主机，主体支架上设有安装多个摄像机的云台，云台上装有摄像机；观察者站在主体支架内部空间中，通过头盔显示器即可实时观看一个虚拟场景，观察者可做空间上的自由移动，包括头部转向、自由行走、转动，并能与场景实时交互，多个摄像机采集观察者的图像信息，经过图像预处理后由主机对多幅图像进行分析、匹配和计算，实时解算出人的位置、姿态和动作信息，来控制头盔显示器中的虚拟场景产生相应的变化，实现虚拟显示产生交互效应。本发明无须对观察者进行标定，其在工作空间内可以自然的转动头部和身体以改变视点，实现真三维全景的显示与交互，具有较好的浸入感和灵活性。
文档编号G06T7/00GK101231752SQ20081005730
公开日2008年7月30日 申请日期2008年1月31日 优先权日2008年1月31日
发明者威 吴, 忠 周, 张淑军, 赵沁平 申请人:北京航空航天大学