专利名称：用于再生虚拟物体的系统的制作方法
技术领域：
本专利申请通常涉及一种用于产生虚拟物体的电子系统，更具体地，涉及一种产生虚拟物体以及能够保持该虚拟物体的精确的相对坐标特性并且能够方便地使用于例如计算机辅助制图的应用中的系统。
背景技术：
光学投影有时用于通过投影图像在例如墙壁的表面上(2D或3D表面)再生虚拟物体，以使得画工能够根据投影图像在墙上绘图。在壁画的典型设置中，光学投影仪与计算机连接，由该计算机运行的应用程序经由光学投影仪将虚拟物体以数字图像的形式投影到墙上。用户手中握着铅笔，前往该墙壁前，并用他的双眼找到该数字图像。因而用户能够通过他看到的数字图像以及铅笔在墙上重建该虚拟物体。通过这样的系统，常常期待的是，在再生过程中保持虚拟物体的精确的相对坐标特性。对于再生虚拟物体的系统，还期望的是，能够测量物理物体与在相同物理空间上投影的虚拟物体之间的位移。专利申请内容本专利申请针对一种用于再生虚拟物体的系统。在一个方面中，所述系统包括:携带已知的跟踪图案或跟踪特征的检测器设备；以及主机设备，所述主机设备被配置为将模板图案虚拟地投影到表面上并产生结合所述跟踪图案以及模板图案的图像。所述模板图案对应虚拟物体。所述主机设备被配置为处理所述图像并且因而传递关于在所述跟踪图案和所述模板图案之间的几何关系的信息至用户，以使得所述用户能够基于所述信息在所述表面上再生所述虚拟物体。在另一方面中，所述用于再生虚拟物体的系统包括:携带跟踪图案的检测器设备；以及主机设备，所述主机设备被配置为将模板图案投影到表面上并产生结合所述跟踪图案以及模板图案的图像。所述模板图案对应虚拟物体。所述主机设备被配置为处理所述图像并且因而通过所述检测器设备传递关于在所述跟踪图案和所述模板图案之间的几何关系的信息至用户。在又一方面中，所述用于再生虚拟物体的系统包括表面；携带或产生跟踪图案的检测器设备；主机设备，所述主机设备被配置为将模板图案虚拟地投影到所述表面上并产生结合所述跟踪图案以及模板图案的图像；以及计算机单元。所述模板图案对应虚拟物体；并且所述计算机单元被配置为处理所述图像并且因而传递或利用关于所述跟踪图案相对于所述模板图案的相对位置的信息。
图1描绘了根据本专利申请的用于再生虚拟物体的系统。图2描绘了在图1中示出的用于再生虚拟物体的系统的主机设备；图3描绘了在图1中示出的用于再生虚拟物体的系统的检测器设备；图4描绘了在图1中示出的用于再生虚拟物体的系统在与物理红点相同的表面上重建蓝色虚拟物体的操作。图5描绘了在图1中示出的用于再生虚拟物体的系统的校准过程，该校准过程不需要任何校准设备。图6描绘了校准在物理空间和虚拟空间之间的缩放比例的过程。图7描绘了飞行器坐标的角误差。图8描绘了不同类型的角误差的图像。图9描绘了偏航误差的校准。图10描绘了俯仰误差的校准。图1lA描绘了侧滚误差的校准。图1lB描绘了装配有陀螺仪的智能电话。图12A描绘了不同类型的光学畸变的图像。图12B描绘了子像素边缘位置估计的实例。图12C示出了通过使用Matlab来评估关于焦点位移的质心坐标的多种分析方式。图12D描绘了在PCB上的置信标记(fiduciary mark)。图12E描绘了 AR (增强现实)标记的实例。图12F描绘了结合AR标记和PCB置信标记的追踪方式。图12G描绘了具有嵌入码的追踪方式。图12H描绘了根据本专利申请的实施方式的用于再生虚拟物体的系统。图121描绘了根据本专利申请的另一实施方式的用于再生虚拟物体的系统。图12J描绘了如何使用投影仪。图12K描绘了根据本专利申请的实施方式的用于再生虚拟物体的系统。图12L描绘了在图12K中示出的系统中的检测器设备。图12M描绘了在图12K中示出的系统中的角误差的校正。图13描绘了根据本专利申请的实施方式的用于再生应用到艺术墙绘画上的虚拟物体的系统。图14描绘了图13中示出的系统的检测器设备。图15描绘了通过图13中示出的系统进行的模板的生成。图16描绘了再生在通过图13示出的系统生成的模板中的颜色的过程。图17A描绘了图13的系统，其中，该系统通过加入若干个检测器设备而被扩展为多用户模式。图17B描绘了根据本专利申请的另一实施方式的检测器载体。图17C描绘了在图17B中示出的检测器载体中的检测器设备的顶部和侧部。图17D描绘了图17B中示出的系统的操作。图17E描绘了由图17B中示出的系统进行的计算机操纵的绘图的典型实施例。图17F描绘了由图17B中示出的系统进行的计算机操纵的绘图的另一典型实施例。图17G描绘了光学水平仪。图17H描绘了激光器布局设备。图171描绘了在根据本专利申请的另一实施方式的系统与光学水平仪(光学布局设备)之间的比较。图17J描绘了在根据本专利申请的另一实施方式的系统与激光水平仪之间的比较。图17K描绘了在根据本专利申请的另一实施方式的系统与另一激光水平仪之间的比较。图17L描绘了在根据本专利申请的另一实施方式的系统与又一激光水平仪之间的比较。图18描绘了根据本专利申请的实施方式的、应用到相片墙上的用于再生虚拟物体的系统。图19描绘了根据本专利申请的实施方式的、应用到单壁内部布局上的用于再生虚拟物体的系统。图20描绘了根据本专利申请的实施方式的、应用到动态交互布局上的用于再生虚拟物体的系统。图21描绘了根据本专利申请的实施方式的、应用到多壁布局上的用于再生虚拟物体的系统。图22描绘了根据本专利申请的实施方式的、应用到管道布局上的用于再生虚拟物体的系统。图23A描绘了在图22中示出的系统中的表面和结合到单个设备中的检测器设备。图23B描绘了根据本专利申请的另一实施方式的、应用到计算机辅助制图中的系统。图23C描绘了根据本专利申请的另一实施方式的、应用到建筑物基础中的系统。图23D描绘了根据本专利申请的另一实施方式的、应用到计算机辅助装配中的系统。图23E描绘了根据本专利申请的另一实施方式的、应用到自动光学检测中的系统。图23F描绘了在图23E中示出的系统的操作中被处理的图像的实例。图23G描绘了根据本专利申请的另一实施方式的、用作虚拟投影仪的系统。图23H描绘了在图23G中示出的系统中的检测器设备。图24描绘了根据本专利申请的实施方式的、应用到对于目标物体关于光学中心的位移的测量的用于再生虚拟物体的系统。图25A描绘了偏移(Y轴线)与在目标物体和由图24中示出的系统生成的主机设备(X轴线)之间的距离的曲线图。图25B描绘了根据本专利申请的实施方式的、应用到固定物体的震动的测量的用再生虚拟物体的系统。图25C描绘了由图25B中示出的系统生成的曲线图。
具体实施方式
图1描绘了根据本专利申请的实施方式的用于再生虚拟物体的系统。参照图1，被用户100操作的该系统包括主机设备101、检测器设备103和表面(surface) 105。表面(surface)是一个在一个更高维空间可能弯曲的二维形状。其可以是不同空间之间的边界。例如:曲线、多边形或流形。表面105为物理表面，在该表面上的检测器设备103能够通过主机设备101在该表面上被检测到。主机设备101被配置为处理来自于用户100或附接至主机设备101的传感器设备的信息，并且将相关信息(包括原始信息，例如捕获的图像、附属的传感器至，以及扩增信息，例如模板、检测器设备位置等)传递回用户。检测器设备103被配置为由主机设备101追踪它的位置，并在用户100和主机设备101之间发送和接收信肩、O图2描绘了在图1中示出的用于再生虚拟物体的系统的主机设备101。参照图2，主机设备101包括光学系统201、数字光传感器203、计算机单元205、通信单元207和校准传感器209。光学系统被配置为捕获在物理表面上的图像，并且该图像能够被数字光传感器203检测。由光学系统201捕获的产生图像的光可在任何频谱中，例如，可见光、红外线、X射线等。数字光传感器203被配置为将光图像变换为被计算机识别的数学矩阵。数字光传感器可为C⑶传感器、CMOS传感器、光场传感器等。矩阵可为1D、2D或3D。通信单元207被配置为与检测器设备103或其他外围设备通信。校准传感器209被配置为向计算机单元205提供额外信息以增强应用。校准传感器209可为GPS单元、水平传感器、陀螺仪、近程传感器、距离传感器等。应当理解，在另一实施方式中，计算机单元205可不为主机设备101的一个部件，而是附接到检测器设备103上。计算机单元205在替代性实施方式中可为独立的设备。图3描绘了图1中示出的用于再生虚拟物体的系统的检测器设备103。参照图3，检测器设备103包括携带跟踪图案或特征301的跟踪物体300，跟踪图案或特征301能够被主机设备101检测并且允许该主机设备101在虚拟空间中将其变换为OD物体(或者替代性地，变换为1D、2D或3D物体)。该图案能够为像图3中示出的在一张纸上的红点一样简单。该图案能够为从环境或者从光源(例如，激光器)方式反射光的无源图案。或者为通过自身发出光的有源图案。跟踪特征能够为跟踪物体的任何已知的特征，例如，笔的尖部，指尖，或已知物体的轮廓。检测器设备103还包括通信设备305，通信设备305被配置为在用户100和主机设备101之间通信。在该实施方式中，通信设备为移动电话。还应当理解，该通信设备能够为像用户的嘴或耳朵一样简单，以使得主机设备101能够从用户的声音得到消息并且用户能够从主机设备101接收声音消息。图4描绘了用于再生虚拟物体的系统的操作，在该实施方式中，将蓝色虚拟物体(0D物体)重建于与物理红点相同的表面上。参见图3和图4，在跟踪物体300上的红点301(在图4的部分A中以401示出)通过数字光传感器203检测并且通过计算机单元205变换为由矩阵表示的虚拟跟踪物体(在图4的部分B中以403示出)。根据正在被使用的传感器的类型，矩阵能够为0D、1D、2D或3D。矩阵还进一步被变换为OD物体(在该说明中，OD物体的分辨率为矩阵的一个单元，并且通过使用子像素估计算法，它能够为低于一个单元)，以使得红点301通过在物理空间或虚拟空间中的坐标被逻辑地代表。当检测器设备103移动时，跟踪物体300移动、红点301移动，并且红点301在虚拟空间中的坐标也将改变。图4的部分C示出在主机设备101中形成的数学矩阵，该数学矩阵具有与部分B相同的尺寸并且携带虚拟蓝色物体405。图4的部分D示出部分B和部分C的叠加。当虚拟跟踪物体403 (对应红点301)的坐标与虚拟蓝色物体405的坐标相等时，主机设备101被配置为发送消息至用户100以使得用户100得知蓝色物体的精确坐标被投影到物理表面。借助，用户100能够使用重建设备，例如铅笔，将该投影的物体重建(例如，用铅笔标记)到该表面上。结果，该虚拟蓝色物体在物质世界中被理想地再生，其包含在该蓝色物体与在虚拟空间中的红点之间的精确的相对坐标特性。在该实施方式中，从主机设备101发送至用户100的消息不限制于为“什么时候红点=蓝色物体”。主机设备101还能够告诉用户蓝色物体和红点的坐标信息，例如，在这两个物理之间有多近距离。消息的内容也不限制于为坐标信息。它可包括虚拟物体的附加特性，例如，关于类型、尺寸、材料、延伸、质地等的信息。这种附加信息还可从主机设备101经由通信设备305发送至检测器设备103。在该实施方式中的用于再生虚拟物体的系统需要校准过程以连接在物理空间和虚拟空间之间的特性，例如，定向、尺寸、水平面等。根据具体的应用，校准能够为与使用用户的感知一样简单，或者为使用校准设备。如果应用不需要跟随在物理特性上的任何严格的规则，则投影的物理的坐标、定向和比例可仅仅依赖于用户的感知，并且不需要校准设备。图5描绘了不需要任何校准设备的校准过程。参照图5，星为将投影到物理表面上的虚拟物体。“C”为初始的虚拟物体。“Cl”为基于用户的感知在虚拟空间中按比例绘制、被旋转和/或被重新定位的虚拟物体。在该情形中，被投影到物理表面上的星形物体的精确的定向、比例和坐标特性不是重要的。最重要的是用户所感知的该虚拟物体在物理表面上的最好的定向、比例和位置。如果应用需要跟随在物理特性上的一些严格的规则，则需要校准设备。为了将物理坐标系统的比例与虚拟坐标系统连接，需要知道在物理和虚拟坐标系统的基本单元之间的缩放比例。为了便于说明，使用毫米作为在物理坐标系统中的尺寸。则该系统需要知道在虚拟空间中的多少个单元与在物理空间中的Imm相等。图6描绘了校准在物理空间和虚拟空间之间的缩放比例的过程。参照图6，该校准需要携带两个跟踪物体 (图6中以两个红点示出)的设备。在两个跟踪物体之间的距离是预定的，例如，为Im或1000mm。该系统接着计算在虚拟空间中的这两个跟踪物体之间的距离,例如,将为d个单元。接着，我们知道，在物理空间中的IOOOmm=在虚拟空间中的d个单元，或者，在虚拟空间中的I个单元==在物理空间中的1000/dmm,其中，“d”不需要为整数，并且，根据将捕获的跟踪物体变换为坐标的坐标变换算法的分辨率，“d”能够为浮点数。需要在图6中示出的水平和竖直轴中完成该校准。校准的另一方面与坐标系统的定向有关。投影的表面可不与数字光传感器理想地平行。实际上，在实际使用中总存在影响精确性的角误差。图7描绘了飞行器坐标中的角误差。参照图7，在重心处为数字光传感器。投影表面被设置为正好在飞行器头部的前方。角误差被限定如下:侧滚-φ:关于X-轴线的旋转俯仰-Θ:关于Y-轴线的旋转偏航-Ψ:关于Z-轴线的旋转图8描绘了不同类型的角误差的图像。参照图8，图1不具有角误差。图2具有在偏航轴线中的角误差。图3具有在俯仰轴线中的角误差。图4具有在侧滚轴线中的角误差。[0080]图9描绘了偏航误差的校准。参照图9，为了校准偏航误差，校准目标被布置在视野(FOV)的左侧并且计算虚距离(dL)。校准目标接着被移动到视野的右侧并且计算虚距离(dR)。该系统能够基于dL和dR的比计算偏航误差。图10描绘了俯仰误差的校准。参照图10，为了校准俯仰误差，校准目标被布置在视野(FOV)的底部并且计算虚距离(dB)。校准目标接着被移动到视野的顶部并且计算虚距离(dT)。如果该墙壁具有关于水平的表面的已知的俯仰角(竖直的墙壁具有零俯仰角)，则也能够使用附接到主机设备上的数字水平传感器来计算该俯仰误差。图1lA描绘了侧滚误差的校准。参照图11A，能够通过附接到校准目标上的水平传感器或者通过附接到主机设备上的水平传感器计算侧滚误差。为了使用附接到校准目标上的水平传感器，校准目标被布置在视野的中心并且水平传感器被调准直到它为水平的。在虚拟空间中的两个点之间的角度为侧滚误差。为了通过附接到主机设备的数字水平传感器继续侧滚误差，计算机单元被配置为直接地从数字水平传感器读取侧滚误差。该方法使用数学来校正在主机设备和投影的表面之间的角误差。图1lB描绘了装配有陀螺仪的智能电话。在如今的电子消费产品中，陀螺仪是十分常见的。大多数智能电话已经装配有陀螺仪。如果陀螺仪附接到主机设备上，则用户能够把主机设备放到墙壁上来获取墙壁的侧滚、俯仰和偏航图像，并接着将主机设备放回到三脚架并调准该三脚架，以使得侧滚、俯仰和偏航图像与墙壁的图像相等。该方法调准主机设备以使得在主机设备和投影的表面之间不存在角误差。图12A描绘了具有不同类型的光学畸变的图像。参照图12，当镜头以弯曲的线表现直线时发生光学畸变。常常能在变焦透镜中变焦范围的两个端部处观察到该现象，在此处，在框架的端部处的直线显现出稍微地弯曲。这些畸变能够通过校准过程数字地校正。需要主机设备获取包含若干个水平和竖直线的校准目标的图像。由于系统知道物理目标图案，所以，用过将捕获的图案与理论上理想的图案进行比较，能够开发软件校正算法来校正该畸变。由于在光学器件一旦组装到系统上后，光学畸变是相对稳定的，所以，一次性的制造厂/用户校准是足够的。系统精度系统精度依赖于以下因素:1、表面的物理尺寸2、数字光传感器的分辨率3、跟踪图案让我们假设我们有以下设置:a.尺寸为6m χ3.375m的物理表面(高宽比=16:9)b.分辨率=1920像素X1080像素的数字光传感器c.点源跟踪图案，其在数字光传感器输出矩阵中以一个像素代表。物理分辨率(mm)=6*1000/1920=3.13mm在此总结出市场上最常见的数码摄像机的物理分辨率。
权利要求1.一种用于再生虚拟物体的系统，包括: 检测器设备，所述检测器设备携带已知的跟踪图案或跟踪特征；以及主机设备，所述主机设备被配置为将模板图案投影到表面上并产生结合所述跟踪图案以及模板图案的图像；其中: 所述模板图案对应虚拟物体；并且 所述主机设备被配置为处理所述图像并且因而传递关于在所述跟踪图案和所述模板图案之间的几何关系的信息至用户，以使得所述用户能够基于所述信息在所述表面上再生所述虚拟物体。
2.根据权利要求1所述的用于再生虚拟物体的系统，其中，所述主机设备包括主机摄像机和与所述主机摄像机连接的主机计算机，所述主机摄像机被配置为产生所述图像并且所述主机计算机被配置为处理所述图像。
3.根据权利要求1所述的用于再生虚拟物体的系统，其中，所述检测器设备包括跟踪物体和通信设备，所述跟踪物体携带所述跟踪图案或所述跟踪特征并且包括按钮，用于用户按下所述按钮，因而在所述表面上做标记，并且所述通信设备被配置为在所述主机设备和所述用户之间通信。
4.根据权利要求3所述的用于再生虚拟物体的系统，其中，所述通信设备可以是智能电话，所述智能电话被配置为接收从所述主机设备传递的信息以及传递所述信息至所述用户。
5.根据权 利要求1所述的用于再生虚拟物体的系统，其中，所述主机设备还被配置为传递所述虚拟物体的特性至所述用户，所述特性与在所述图像中的所述跟踪图案相对于所述模板图案的相对位置有关；
6.根据权利要求1所述的用于再生虚拟物体的系统，其中，所述特性包括类型、坐标、尺寸、材料、颜色或质地。
7.根据权利要求1所述的用于再生虚拟物体的系统，其中，所述主机设备被配置为将所述跟踪图案变换为由矩阵表示的虚拟跟踪物体，用以在虚拟空间中处理所述模板图案，并且用以在产生所述图像期间叠加所述被变换的跟踪图案和所述被处理的模板图案。
8.根据权利要求7所述的用于再生虚拟物体的系统，其中，所述主机设备被配置为在处理所述模板图案期间在所述虚拟空间中对所述模板图案按比例绘制、旋转或重新定位。
9.根据权利要求8所述的用于再生虚拟物体的系统，其中，所述主机设备被配置为基于所述用户的感知处理所述模板图案。
10.根据权利要求8所述的用于再生虚拟物体的系统，其中，所述主机设备被配置为基于系统的校准处理所述模板图案。
11.根据权利要求2所述的用于再生虚拟物体的系统，其中，所述主机设备还包括校准传感器，所述校准传感器被配置为提供附加信息至所述主机计算机，并且所述校准传感器为GPS单元、水平传感器、陀螺仪、近程传感器或距离传感器。
12.根据权利要求1所述的用于再生虚拟物体的系统还包括多个检测器设备，其中，所述检测器设备中的每一个被配置为在所述主机设备和多个用户中的一个之间通信，以使得所述用户能够共同地在所述表面上再生所述虚拟物体。
13.一种用于再生虚拟物体的系统，包括:检测器设备，所述检测器设备携带跟踪图案；以及 主机设备，所述主机设备被配置为将模板图案投影到表面上并产生结合所述跟踪图案以及模板图案的图像；其中: 所述模板图案对应虚拟物体；并且 所述主机设备被配置为处理所述图像并且因而传递关于在所述跟踪图案和所述模板图案之间的几何关系的信息至用户，以使得所述用户能够基于所述信息在所述表面上再生所述虚拟物体。
14.根据权利要求13所述的用于再生虚拟物体的系统，其中，所述主机设备包括被配置为产生所述图像的主机摄像机，所述主机摄像机包括可调节焦距系统。
15.根据权利要求14所述的用于再生虚拟物体的系统，其中，所述检测器设备的跟踪图案或跟踪特征与所述表面固定地附接。
16.根据权利要求15的用于再生虚拟物体的系统，其中，所述检测器设备和所述表面能够沿着所述主机摄像机的光学轴线相对于所述主机摄像机移动。
17.一种用于再生虚拟物体的系统，包括: 表面； 检测器设备，所述检测器设备携带或产生跟踪图案； 主机设备，所述主机设备被配置为将模板图案视觉投影到表面上并产生结合所述跟踪图案以及模板图案的图像；和 计算单元；其中: 所述模板图案对应虚拟物体；并且 所述计算单元被配 置为处理所述图像并且因而传递或使用关于在所述跟踪图案和所述模板图案之间的几何关系的信息。
18.根据权利要求17所述的用于再生虚拟物体的系统，其中，所述主机设备包括光学系统和数字光传感器，所述光学系统被配置为捕获在预定的频谱中的光，并且所述数字光传感器被配置为检测在所述预定的频谱内的光。
19.根据权利要求17所述的用于再生虚拟物体的系统，其中，所述跟踪图案可为彩色的点，并且在产生所述图像中，所述主机设备被配置为将所述彩色的点变换为在虚拟空间中的零维物体。
20.根据权利要求17所述的用于再生虚拟物体的系统，其中，所述跟踪图案为反射环境光或从光源发出的光的无源图案，或者为被配置为发出光的有源图案。
专利摘要一种用于再生虚拟物体的系统，包括携带已知的跟踪图案或跟踪特征的检测器设备；以及主机设备，所述主机设备被配置为将模板图案虚拟地投影到表面上并产生结合所述跟踪图案以及模板图案的图像。所述模板图案对应虚拟物体。所述主机设备被配置为处理所述图像并且因而传递关于在所述跟踪图案和所述模板图案之间的几何关系的信息至用户，以使得所述用户能够基于所述信息在所述表面上再生所述虚拟物体。
文档编号G06F19/00GK203084734SQ20132008171
公开日2013年7月24日 申请日期2013年2月22日 优先权日2012年2月22日
发明者方铭 申请人:方铭