一种三维注册方法及装置的制造方法
【技术领域】
[0001] 本发明涉及计算机技术领域，特别涉及一种三维注册方法及装置。
【背景技术】
[0002] 增强现实（Augmented Reality，AR)，是指将计算机生成的虚拟对象叠加在真实场 景中，与真实场景结合起来构成具有虚实结合的虚拟空间。在增强现实的过程中，终端的摄 像头可以拍摄到真实场景的图像，使用图像识别算法可以在拍摄的图像中寻找想要进行虚 拟对象叠加的物体，即标志物。获取到标志物的特征，如顶点坐标等，使用三维注册技术确 定虚拟对象该以何种姿态显示在终端的屏幕上才能符合透视原理和观察规律，而这一姿态 就是通过拍摄的图像中的标志物与真实场景中的标志物的变换矩阵表示的。在确定了变换 矩阵之后，利用图形渲染程序将虚拟对象绘制在屏幕上，使用者可以透过屏幕同时观察到 真实场景和虚拟对象，即实现了虚拟对象和真实场景的叠加。
[0003] Hirokazu Kato和Mark Billinghurst在1999年设计出了增强现实开源开发套 件（AR Toolkit)，其是利用终端的摄像头捕捉正方形黑色标志物，结合三维注册技术将虚 拟对象在真实场景上叠加，并在终端的屏幕上显示的软件。三维注册技术作为增强现实的 关键技术，在增强现实过程中起着重要作用。
[0004] 现有的三维注册方法是基于标志物的，在捕捉到的含有标志物的真实场景的图像 中，识别出标志物，识别到的标志物是经过透视变形的，利用标志物的几何约束和透视原理 重构变形的方法，可以得到变形标志物和正常形态标志物之间的变换关系，从而得到二者 之间的变换矩阵。
[0005] 这种方法只运用了捕捉到的标志物的几何约束和透视原理，通过数学公式来计算 变换矩阵。但由于拍摄的真实场景的图像存在噪声与形变，比如在真实场景中，标志物是内 角为直角的正方形，而在捕捉的图像中该标志物的内角呈现为锐角或钝角，所以会导致在 提取图像中的标志物的特征点时提取精度不够，进而影响变换矩阵的计算，使得计算结果 精度低、不准确等问题。这种情况下，真实场景中的虚拟对象会出现较大幅度的抖动或者错 误的融合效果。
【发明内容】
[0006] 为解决上述问题，本发明实施例公开了一种三维注册方法及装置。技术方案如 下：
[0007] -种三维注册方法，应用于具有陀螺仪及摄像头的终端，所述摄像头用于拍摄包 含标志物的真实场景的图像，所述标志物放置于任一平面上，所述方法包括：
[0008] 读取所述陀螺仪的角度信息，并根据读取的所述陀螺仪的角度信息，确定预先建 立的世界坐标系到当前时刻的摄像机坐标系的旋转矩阵R wc;
[0009] 根据所述世界坐标系与预先建立的标志物坐标系相应坐标轴夹角关系及所述RK， 确定所述标志物坐标系到所述摄像机坐标系的旋转矩阵R mc;
[0010] 根据所述摄像机坐标系和所述标志物坐标系的关系，确定所述标志物坐标系到所 述摄像机坐标系的平移向量Tmc;
[0011] 根据确定的RMjP确定的ΤΜε，进行三维注册；
[0012] 其中，
[0013] 所述世界坐标系为：y轴正切于地表，指向北；ζ轴垂直于地表，指向天空；X轴为y 轴与z轴的向量积，指向东；所述世界坐标系的原点为真实场景中标志物的中心点；
[0014] 所述标志物坐标系为：x轴对应于真实场景中标志物的长度方向，y轴对应于真实 场景中标志物的宽度方向，ζ轴垂直于X轴和y轴所确定的平面；所述标志物坐标系的原点 为真实场景中标志物的中心点；
[0015] 所述摄像机坐标系为：z轴沿所述摄像头的镜头的方向垂直于所述终端，y轴对应 于所述终端的长度方向，X轴对应于所述终端的宽度方向；所述摄像机坐标系的原点为所 述终端的摄像头的中心点。
[0016] 在本发明的一种【具体实施方式】中，所述读取所述陀螺仪的角度信息，并根据读取 的所述陀螺仪的角度信息，确定预先建立的世界坐标系到当前时刻的摄像机坐标系的旋转 矩阵R we，包括：
[0017] 读取所述陀螺仪的俯仰pitch角α、所述陀螺仪的滚转roll角β、所述陀螺仪的 方位azimuth角γ ;
[0018] 根据读取到的所述陀螺仪的角度信息，确定预先建立的世界坐标系到当前时刻的 摄像机坐标系的旋转矩阵R wc:
[0019]
[0020] 在本发明的一种【具体实施方式】中，所述根据所述世界坐标系与预先建立的标志物 坐标系相应坐标轴夹角关系及所述R k，确定所述标志物坐标系到所述摄像机坐标系的旋转 矩阵RMe，包括：
[0021 ] 根据所述世界坐标系与预先建立的标志物坐标系的关系，确定所述标志物坐标系 的X轴与所述世界坐标系的X轴、y轴所确定平面的夹角Θ，所述世界坐标系的X轴与所述 标志物坐标系的X轴、y轴所确定平面的夹角中，所述世界坐标系的ζ轴与所述标志物坐标 系的ζ轴的夹角ω ;
[0022] 确定所述标志物坐标系到所述摄像机坐标系的旋转矩阵Rmc:
[0023
[0024」 仕小及明的一柙共棒头施力Aψ，尸/Γ还俩疋尸/Γ还称志籾！称乐的X牠与尸/Γ还世芥 坐标系的X轴、y轴所确定平面的夹角Θ，包括：
[0025] 获取当前时刻所述摄像头拍摄的图像中的标志物的至少一个特征点在当前时刻 的像素坐标系中的坐标；
[0026] 确定获取的所述图像中的标志物的至少一个特征点在所述像素坐标系中的坐标 (u，v)与真实场景中标志物的对应特征点在所述世界坐标系中的坐标（X W，YW，Zw)的第一关 系：
[0027]
LiJ
[0028] 其中，
[0029] s为小孔成像的缩放系数；
[0030]
1S所述终端的摄像机内参数矩阵；P 11为所述终端的摄 像机透镜的物理焦距的长度与成像仪在X方向上每个单元尺寸的乘积；P22为所述终端的摄 像机透镜的物理焦距的长度与成像仪在y方向上每个单元尺寸的乘积；P12刻画成像传感器 轴间倾斜；(p 13，p23)为所述像素坐标系中的光心，所述光心为所述摄像机坐标系的z轴与所 述像素坐标系所在平面的交点；
[0031]
为所述世界坐标系到所述摄 像机坐标系的变换矩阵，
b所述世界坐标系到所述摄像机坐标 系的旋转矩阵；
[0032] 根据所述标志物坐标系与所述世界坐标系的关系及所述第一关系，确定获取的所 述图像中的标志物的至少一个特征点在所述像素坐标系中的坐标（u，V)与真实场景中标 志物的对应特征点在所述标志物坐标系中的坐标（X M，YM，Zm)的第二关系： 「nrml LUUJ4」 共T，
[0035] φ为所述世界坐标系的X轴与所述标志物坐标系的X轴、y轴所确定平面的夹角， ω为所述世界坐标系的z轴与所述标志物坐标系的z轴的夹角；
[0036] 根据所述第二关系，确定所述标志物坐标系的X轴与所述世界坐标系的X轴、y轴 所确定平面的夹角Θ。
[0037] 在本发明的一种【具体实施方式】中，所述根据所述摄像机坐标系和所述标志物坐标 系的关系，确定所述标志物坐标系到所述摄像机坐标系的平移向量T Me，包括：
[0038] 获取当前时刻所述摄像头拍摄的图像中的标志物的至少一个特征点在当前时刻 的像素坐标系中的坐标；
[0039] 根据获取的所述图像中的标志物的至少一个特征点在所述像素坐标系中的坐标 与真实场景中标志物的对应特征点在所述标志物坐标系中的坐标的关系，确定所述世界坐 标系到所述摄像机坐标系的平移向量T wc;
[0040] 根据确定的Twe，确定所述标志物坐标系到所述摄像机坐标系的平移向量T mc;
[0041] 其中，所述像素坐标系为：建立在所述终端的屏幕上，X轴沿所述终端的屏幕的宽 度方向，y轴沿所述终端的屏幕的长度方向。
[0042] 在本发明的一种【具体实施方式】中，所述根据获取的所述图像中的标志物的至少一 个特征点在所述像素坐标系中的坐标与真实场景中标志物的对应特征点在所述标志物坐 标系中的坐标的关系，确定所述世界坐标系到所述摄像机坐标系的平移向量T we，包括：
[0045][0046] ?味1/丨、7丨,成榜的縮协蒸教.
[0043] 确定获取的所述图像中的标志物的至少一个特征点在所述像素坐标系中的坐标 (u，v)与真实场景中标志物的对应特征点在所述标志物坐标系中的坐标（X W，YW，Zw)的第一 关系：
[0044]
[0047]
为所述终端的摄像机内参数矩阵；P11为所述终端的摄 像机透镜的物理焦距的长度与成像仪在X方向上每个单元尺寸的乘积；P22为所述终端的摄 像机透镜的物理焦距的长度与成像仪在y方向上每个单元尺寸的乘积；P12刻画成像传感器 轴间倾斜；(p 13，p23)为所述像素坐标系中的光心，所述光心为所述摄像机坐标系的z轴与所 述像素坐烷蒸所亦平而的夺占.
[0048]
述世界坐标系到所述摄 像机坐标系的变换矩卩听述世界坐标系到所述摄像机坐标 系的旋转矩阵；
[0049] 根据所述标志物坐标系与所述世界坐标系的关系及所述第一关系，确定获取的所 述图像中的标志物的至少一个特征点在所述像素坐标系中的坐标（u，V)与真实场景中标 志物的对应特征点在所述标志物坐标系中的坐标（X M，YM，Zm)的第二关系：
[0050] LuuoI J 穴 T，
[0052] Θ为所述标志物坐标系的X轴与所述世界坐标系的X轴、y轴所确定平面的夹角， 取为所述世界坐标系的X轴与所述标志物坐标系的X轴、y轴所确定平面的夹角，ω为所 述世界坐标系的ζ轴与所述标志物坐标系的ζ轴的夹角；
[0053] 根据所述第二关系，确定所述世界坐标系到所述摄像机坐标系的平移向量Twc:
[0054]
[0055] ττ二ttty工;」λι :??且，/!Γη _Γ具有陀螺仪及摄像头的终端，所述摄像头用于拍摄包 含标志物的真实场景的图像，所述标志物放置于任一平面上，所述装置包括：
[0056] 旋转矩阵1^确定模块，用于读取所述陀螺仪的角度信息，并根据读取的所述陀螺 仪的角度信息，确定预先建立的世界坐标系到当前时刻的摄像机坐标系的旋转矩阵R wc;
[0057] 旋转矩阵Rk确定模块，用于根据所述世界坐标系与预先建立的标志物坐标系相 应坐标轴夹角关系及所述R we，确定所述标志物坐标系到所述摄像机坐标系的旋转矩阵Rmc;
[0058] 平移向量ΤΜε确定模块，用于根据所述摄像机坐标系和所述标志物坐标系的关系， 确定所述标志物坐标系到所述摄像机坐标系的平移向量T mc;
[0059] 三维注册模块，用于根据确定的RMe和确定的T Με，进行三维注册；
[0060] 其中，
[0061] 所述世界坐标系为：y轴正切于地表，指向北；ζ轴垂直于地表，指向天空；X轴为y