一种由移动中的用户佩戴的用于通过锚定虚拟对象充分增强现实的系统的制作方法
【技术领域】
[0001]本发明总体上涉及一种增强现实的系统，尤其涉及一种将虚拟对象在功能上和行为上锚定到现实世界对象以在固定的位置和用户/观察者能够四处移动而不会造成环境损失的位置创造一个综合的、广泛的、合理性增强的现实环境的系统，其包含在现实世界中的虚拟对象的相对位置、3维立体以及视角，以及现实世界的虚拟对象之间以及多个虚拟对象之间的互动。多用户的虚拟对象也能够互动，其中该系统被提供给多用户中的每个以用于彼此间的交流。
【背景技术】
[0002]增强现实(AR)是一种实时的、直接或间接的物理的、现实世界环境的视角，其元素被诸如声音、视频、图像或GPS数据的由计算机生成的传感输入增强。AR涉及更普遍的媒介化现实(MR)概念，其中现实的视觉被计算机修正而非增强。因此，该技术通过提升当前的现实感觉来运行。相比之下，虚拟现实用完全模拟的一个世界代替了现实世界。
[0003]增强在实时的和具有环境因素的语意的环境中是惯用的，诸如在比赛中电视上当前和外部的体育比分。在先进的AR技术的帮助下，例如，增加计算机视觉和物体识别，关于用户周围的现实世界的信息变为互动的和可数字化操作的。关于环境的人工信息和其对象可以覆加在现实世界上。
[0004]科学研宄探索了将计算机产生的图像的应用于实时视频流以增强现实世界的感觉。AR技术包含头戴式显示器和用于形象化的虚拟视网膜显示器以及通过传感器和驱动器启用的受控环境的建立。
[0005]透视眼镜是现有技术，其包含:电光设备；以及一副透明眼镜，其投射用户视力能看到的给定的显示屏，就好像在现实世界中存在无限焦距的真实显示屏，所以，虽然其设置的与眼镜非常接近，但显示的图像仍可以被看到。由于透视眼镜屏幕对于每个眼睛是单独的，所显示的图像可以为十分真实的三维全息术。由于黑色不反射光线所以其在透视眼镜中被看作是透光的，黑屏中的对象被隔离出来并通常正如它们存在的样子一样被看到。
[0006]Total Immers1n是一个增强现实的公司，该公司的D’Fus1n技术使用黑框特征将实时交互的3D图像融入实时视频源中。
[0007]因此，提供一种还克服了增强现实系统的受限实用性的可佩带解决方案以在用户/观察者的移动过程中保留现实性是有利的，并从而使用户环境中的虚拟与现实元素的整合更加真实和丰富。
【发明内容】
[0008]相应地，本发明的主要目的在于使用户/观察者环境中的虚拟与现实因素的整合更加真实和丰富。
[0009]本发明的另一个主要目的是视觉上将所选择的虚拟对象在功能上和行为上锚定到现实世界，以便于创造一个在固定位置和移动中都完整的、广泛的、合理的增强现实环境。
[0010]本发明的另一个主要目的在于提供一种移动中的用户/观察者佩带的系统(硬件)和方法(算法/软件)，以通过透视眼镜将计算机生成的图像叠加到现实世界，提供来自该系统的数据输入的整合，通过该方法进行完善并生成结果输出，通过透视眼镜显示给用户/观察者。
[0011]本发明的另一个主要目的还在于使用补偿公式在坐标系中向特定方位提供MU稳定性-在黑框中移动CGI。(软锚定)
[0012]本发明的另一个主要目的在于利用作为标记物的现实世界对象向现实世界提供一种计算机生成的图像(CGI)的计算机视觉(CV)动态3D整合(硬锚定)，以使虚拟对象与该计算机视觉(CV)动态3D整合现实相关。
[0013]本发明的进一步的主要目的在于基于视角执行计算机视觉和图像的加工。
[0014]本发明的一个其他的目的在于通过建立一个与卅界的其余部分真实互动的虚拟对象的动态数据库以启用软件应用。
[0015]一组逻辑规则，其按照包含定位、视角、功能和行为的限定互动性质加工计算机生成的图像。
[0016]一组逻辑规则，其用于按照每个个体和其相关可视角度和视角在创造了一系列行为和其各自的图像处理的个体中共享虚拟世界。
[0017]软件开发工具包(SDK)包含用于允许任何开发者创造真实世界与虚拟世界任何类型的整合的应用。
[0018]该源图像为计算机生成的图像(CGI)，其与黑框上显示的图像是相反的。由在透视设备上所安装的摄像机接收到的视频图像为现实世界的皇盡，从中，使用计算机视觉应用和相应的算法，软件识别真实对象作为标记物，以便将CGI “硬锚定”(即，虚拟对象和所说的真实对象之间的紧密的相关连接)到现实世界。该源图像(CGI)与使用计算机视觉进行锚定的参考图像是不同的。
[0019]软锚定是锚定到特定点，独立于现实世界中的任何变形和环境。相比之下，硬锚定是销定到现实世界中的对象，通过标记物进行针标定(pin-pointed)，标记物包括在空间中的变形和转换、视角、中断等，而不是现实世界的特定对象。
[0020]由于该系统应当在移动中(身体和头部移动)启用软和硬锚定，所以这个移动可以通过观察设备上安装的IMU设备进行测量和补偿。
[0021]本发明的另一个主要目的是将虚拟对象的相对位置、视角和可视角度包括在现实世界的描绘中，以及虚拟对象与现实世界以及虚拟对象和其他虚拟对象之间的互动。
[0022]本发明的进一步的主要目的为使用透视眼镜将虚拟对象锚定到现实世界中。
[0023]一些示例:
[0024]3D图像视图和锚定:如果观察者正在绕着一座雕塑边走边观看，根据其与雕塑相关的视角，他将从不同的角度看到雕塑。
[0025]移动中改变视角:如果观察者在路上驾驶他的车辆时看到了虚拟符号，当接近该符号时，该符号的尺寸将会随着观察者与符号间的距离的函数而增加。
[0026]虚拟对象的物理特性:如果网球有力地击打了虚拟的一杯水，由于冲击杯子将破碎并且水将会涌出。但是如果轻纸团击打同样的虚拟的一杯水，尽管由纸团造成冲击，这杯水将保持直立。也就是说，虚拟的玻璃杯和两种类型的球将在线访问“维基-种类”解决方案(当前事件的结果)中的特定参考信息，这些信息是关于相对重量、尺寸、冲击角度以及其他相关的物理数据的。
[0027]本发明的进一步的主要目的为提供一种头戴式的显示器，其包含透视眼镜、虚拟视网膜显示设备或允许将计算机生成的图像(CGI)叠加在现实世界的观察中的任何其他的设备或技术。
[0028]头戴式显示器(HMD)佩戴在头部或作为头盔的一部分，其具有位于一只眼睛(单眼式HMD)或两只眼睛(双眼式HMD)之前的小的显示镜片。
[0029]典型的HMD具有带有嵌入到头盔，眼镜(又称数据眼镜)或面罩中的镜片和半透明镜的一个或两个小的显示器。该显示器单元被小型化并可以包含阴极射线管(CRT)、液晶显示器(IXD)、硅基液晶(LCoS)、或有机发光二极管(OLED)。在优选的实施例中，多个微显示器被实施以增加整体分辨率和视野。
[0030]该设备使计算机生成图像(CGI)可以被叠加在现实世界中。现实世界的视野与CGI的叠加通过将CGI投射穿过部分反射镜并直接观察现实世界来完成。这个方法常被称为光学透