实现增强现实的方法与流程

本发明涉及图像处理技术领域，尤其涉及一种实现增强现实的方法。

背景技术：

投影机，又叫投影仪，是一种可以将图像或视频投射到幕布上的设备，其广泛应用于家庭、办公室、学校和各种娱乐场所。现有的投影机分为普通投影机和智能投影机，其区别在与是否搭载向用户开放的智能操作系统。增强现实，增强现实技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。其是一种全新的人机交互技术，利用这一技术，可以模拟真实的现场景观，使用者不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的“身临其境”的逼真性，而且能够突破空间、时间以及其他客观限制，感受到在真实世界中无法亲身经历的体验。

但是，无论是普通投影机还是智能投影机，基本都不具备增强现实功能。目前，具备增强现实功能的投影系统只在科学实验室和军事训练领域有少量应用，该些系统都是价格极其昂贵、结构极其庞大复杂的专业增强现实系统，根本不具备大规模民用的可行性。虽然有个别投影机厂商已研发出互动功能，但都是基于红外跟踪触控的互动方式，具有很大的局限性，在许多场合都无法使用，而且这些投影功能组件一般都是与投影机整合在一起，使得投影机的价格飙升，以获得更高的商业利益。因此，如何使得普通投影机具有增强现实功能，加强人机互动，提高人们的使用乐趣，是目前亟待解决的技术问题。

技术实现要素：

本发明提供一种实现增强现实的方法，用以解决普通投影机不能实现增强现实功能的问题，以加强人机互动，提高人们的使用乐趣。

为了解决上述问题，本发明提供了一种实现增强现实的方法，包括如下步骤：提供相对位置固定不变的投影机和外部设备；获取投影机的投射面上的图像；对所述图像中的真实物体进行提取；对所述真实物体进行识别；对所述识别的结果进行互动处理，并根据互动处理的结果生成一待投影的图像；根据所述投影机与所述投射面之间的空间位置关系对所述待投影的图像进行调整，并将调整后的待投影的图像传输至所述投影机，投射至投射面上。

优选的，所述提供相对位置固定不变的投影机和外部设备之后还包括如下步骤：所述外部设备输出第一参考画面给所述投影机，并投射至投射面上；所述外部设备获取所述投射面上显示的第一参考画面；根据获取的所述投射面上显示的第一参考画面计算所述投影机、所述外部设备、所述投射面三者之间的相互空间位置关系和几何投影关系。

优选的，所述提供相对位置固定不变的投影机和外部设备的具体步骤包括：采用一连接构件连接所述投影机和外部设备；所述外部设备传输第二参考画面给所述投影机，并投射到投射面上；根据第二参考画面在投射面上的位置，调整连接构件，使得所述投影机与外部设备的夹角和投影机的偏轴角度的差值在一预设范围内。

优选的，所述获取投影机的投射面上的图像之前还包括如下步骤：提供一红外补光灯、一红外切换器；开启所述红外补光灯和红外切换器。

优选的，所述获取投影机的投射面上的图像之前还包括如下步骤：获取真实物体的多种状态图像；对所述多种状态图像进行深度学习；根据学习结果形成模式识别数据库，所述模式识别数据库用于对真实物体进行识别。

优选的，所述提供相对位置固定不变的投影机和外部设备之后还包括如下步骤：所述外部设备输出第三参考画面给所述投影机，并投射至投射面上；获取显示在所述投射面上的第三参考画面；获取投影机所在场所的自然光场参数；根据获取的所述投射面上显示的第三参考画面和所述自然光场参数，计算投影参数；根据所述投影参数调整所述投影机的内部参数。

优选的，所述投射面的形状是平板状、球状、曲面状或多面体。

优选的，所述投射面的材质是不透光材质、能散射投影光线的半透光材质或能散射投影光线的高透光材质。

优选的，所述投射面与所述投影机的投影光线之间的夹角α满足0°＜α＜180°。

优选的，所述实现增强现实的方法还包括如下步骤：所述外部设备发出控制指令至所述投影机；所述投影机接收所述控制指令，并根据所述控制指令执行相应的操作。

本发明提供的实现增强现实的方法，使得普通投影机也可以具有增强现实的功能，通过使用嵌入式系统、关键算法和系统架构优化之后，不需要再外接计算机，不需要复杂且昂贵的动作捕捉系统，用户操作步骤简单，降低了实现增强现实的成本，增强了人机互动，且所述增强现实装置体积小、功耗低，极大的提高了用户体验。

附图说明

附图1是本发明具体实施方式的实现增强现实的方法流程图；

附图2是本发明实施例1的增强现实围棋的结构示意图；

附图3是本发明实施例2的增强现实自由落体弹性小球的结构示意图；

附图4是本发明实施例3的增强现实四则混合运算的结构示意图。

具体实施方式

下面结合附图对本发明提供的实现增强现实的方法的具体实施方式做详细说明。

本发明提供了一种实现增强现实的方法，附图1是本发明具体实施方式的实现增强现实的方法流程图。如图1所示，本发明所述的实现增强现实的方法的具体包括如下步骤：

步骤s11，提供相对位置固定不变的投影机和外部设备。其中，所述外部设备体积小巧，便于携带。所述外部设备包括拍摄模块、通信模块、视觉处理模块、模式识别模块、互动功能模块、普适投影模块、无线同屏模块、投影机高级功能控制模块和智能操作平台中的一种或几种。其中，所述拍摄模块包括至少一个摄像头；所述通信模块主要用于所述外部设备内部或所述外部设备与所述投影机之间的数据传输；所述视觉处理模块包括一计算机视觉处理程序，用于对所述拍摄模块拍摄的图像进行计算机视觉处理；所述模式识别模块包括一模式识别程序，主要用于对图像进行模式识别；所述互动功能模块包括一互动功能处理程序，主要用于根据模式识别的结果进行互动功能处理；所述普适投影模块包括一普适投影程序，用于对待投影的图像进行调整；所述无线同屏模块包括一无线同屏程序，用于在所述外部设备与所述投影机之间进行图像传输；所述投影机高级功能控制模块和智能操作平台用于对投影机发出控制指令，控制投影机执行相应的操作。在本具体实施方式中，可以采用一连接构件将所述投影机和外部设备固定连接，各种连接线缆的两端分别与位于所述投影机主机上的接口、位于外部设备上的接口连接，其中，所述连接线缆可以是hdmi线缆、以太网线或usb线缆中的一种或几种。所述投影机和所述外部设备通电后，两者内部的软件自动开始运行，通过usb线缆、以太网线或hdmi线缆进行自检。

为了获得较佳的投影显示效果以及提高互动识别的精准度，优选的，所述提供相对位置固定不变的投影机和外部设备的具体步骤包括：

(1)采用一连接构件连接所述投影机和外部设备。其中，所述连接构件的两端与所述投影机和外部设备都是活动连接，即用户可以根据实际需要平动或转动所述投影机和/或所述外部设备，以调整所述投影机与所述外部设备之间的相对位置关系。

(2)所述外部设备传输第二参考画面给投影机，并投射到投射面上。所述外部设备通过hdmi线缆给所述投影机输出第二参考画面，并控制所述投影机将所述第二参考画面投射至所述投射面上。其中，所述第二参考画面是在计算机图形图像学术领域有特殊含义的画面，本领域技术人员可以根据实际需要选择第二参考画面的内容，本具体实施方式对此不作限定。

(3)根据第二参考画面在投射面上的位置，调整连接构件，使得所述投影机与外部设备的夹角和投影机的偏轴角度的差值在一预设范围内。人工根据第二参考画面在所述投射面上的位置，调整所述连接构件，例如转动所述投影机和/或所述外部设备，使得所述投影机和所述外部设备的夹角和投影机的偏轴角度的差值在一预设范围内。其中，所述预设范围本领域技术人员可以根据实际需要进行设定，只要保证所述投影机和所述外部设备的夹角和投影机的偏轴角度大致相同即可，也就是说，只有在所述投影画面和摄像头的视角相差比较大的时候，例如所述投影画面和摄像头的视角之间形成的夹角大于10度，才需要调整，且也仅需大致调整，例如所述预设范围可以是0-10度。这样，极大的降低了所述外部设备与所述投影机的装配难度。

步骤s12，获取投影机的投射面上的图像。由于投影机一般在光线较暗的环境下工作，为了在光线较暗的环境下也能准确的获取所述投影屏幕上的图像，优选的，所述获取投影机的投射面上的图像之前还包括如下步骤：提供一红外补光灯、一红外切换器；开启所述红外补光灯和红外切换器。所述外部设备上的拍摄模块包括一摄像头，所述摄像头一般工作在自然光状态下，在实现所述增强现实的过程中，所述摄像头连续获取投影机的投射面上的图像。在光线较亮的情况下，所述红外切换器和所述红外补光灯关闭，所述摄像头捕捉自然光下的画面；在光线较暗的情况下，所述红外补光灯和所述红外切换器开启，且所述红外切换器仅允许红外光透过。这样，即使在光线较暗的情况下，也能对所述投射面上的图像进行准确的捕捉。其中，本具体实施方式所述的摄像头为普通的单目或双目摄像头即可。这是与其他投影互动装置的重要区别。现有的投影互动装置必须要特制的摄像头，或者必须采用特制的辅助设备(例如红外笔、深度感知传感器等)、辅助记号(如二维码)才能正常工作。而本具体实施方式的增强现实装置极大的简化了系统结构，降低了制造成本。

步骤s13，对所述图像中的真实物体进行提取。为了提高图像信息提取的准确度，所述外部设备内部的程序还能够自动对所述拍摄模块进行调整，使所述拍摄模块能够获取到清晰度较高的图像。为了提高图像信息提取的准确度，对所述图像中的真实物体进行提取的具体步骤包括：获取所述外部设备与所述投射面之间的空间位置关系；对所述图像中的真实物体进行提取；根据所述外部设备与所述投射面之间的空间位置关系对提取结果进行调整。

为了获取所述外部设备、所述投影机、所述投射面三者之间的相互位置关系和投影关系，以提高后续模式识别的准确性，优选的，所述提供相对位置固定不变的投影机和外部设备之后还包括如下步骤：所述外部设备输出第一参考画面给所述投影机，并投射至投射面上；所述外部设备获取所述投射面上显示的第一参考画面；根据获取的所述投射面上显示的第一参考画面计算所述投影机、所述外部设备、所述投射面三者之间的相互空间位置关系和几何投影关系。其中，所述第一参考画面是在计算机图形图像学术领域有特殊含义的画面，本领域技术人员可以根据实际需要选择第一参考画面的内容，本具体实施方式对此不作限定。所述外部设备对获取到的所述投射面上的第一参考画面进行处理，根据处理的结果计算出所述投影机、所述外部设备、所述投射面之间精确的空间位置关系和几何投影关系，并转换成投影控制参数。其中，所述外部设备对获取到的所述投射面上的第一参考画面进行处理的过程，主要是对获取的第一参考画面进行计算机视觉处理、模式识别和识别结果的调整。经过这一步骤，所述投影机与所述外部设备就形成了一个空间关系固定且参数已知的整体，实现了所述投影机与所述外部设备牢固的“绑定”在一起，确保后续的投影和增强现实互动过程中不会出现投影偏差。

为了进一步提高后续增强现实过程中图像识别的准确度，优选的，所述外部设备输出第一参考画面给所述投影机并投射至投射面上的步骤之前还包括如下步骤：所述外部设备通过其上的拍摄模块捕捉投射至投射面上的第二参考画面；根据所述拍摄模块捕捉的第二参考画面提取所述投射面相对于所述投影机和/或外部设置的位置。这样，为下一步确定投影机、外部设备和投射面三者之间的空间位置关系做好准备，已达到更准确的获知三者之间的位置关系的目的。

步骤s14，对所述真实物体进行识别。为了实现对所述真实物体的准确识别，优选的，所述获取投影机的投射面上的图像之前还包括如下步骤：获取真实物体的多种状态图像；对所述多种状态图像进行深度学习；根据学习结果形成模式识别数据库，所述模式识别数据库用于对真实物体进行识别。所述外部设备中搭载的模式识别程序预先通过精确识别算法和/或模糊识别算法学习物体识别。即在对所述图像中的真实物体进行准确识别之前，需要预先运用多种人工智能算法对棋子、卡牌、操作板等各类真实物品以及投影的图像进行深度学习，使得所述外部设备能够精确的识别真实物体的各种形态以及真实物体与虚拟图像的区分，同时排除各种干扰。具体来说，所述外部设备先通过其上的拍摄模块获取所述真实物体的多种状态图像，并对所述状态图像进行深度学习，并根据所述学习结果形成模式识别数据库。所述真实物体的多种状态图像包括所述真实物体在各种位置、姿势、光照条件下的图像，如果所述真实物体具有颜色、尺寸、组合等方面的变化，则所述状态图像还包括所述真实物体在各种变化状态下的图像。所述外部设备的深度学习算法主要有两大类：精确识别算法和模糊识别算法。精确识别算法用于精确判断目标，比如是卡牌“6”、还是卡牌“9”还是卡牌“b”，这需要预先对大量范本进行深度学习；模糊识别算法则用于模糊判定目标，比如目标是可以互动的深色长条状物体，还是不可以互动的浅色圆形物体。模糊识别算法的核心是其高效、有类别针对性的算法，比如针对颜色、针对外形，而且与所述外部设备搭载的互动功能处理程序对识别的需求有密切关系。在本具体实施方式中，两种算法可以是并发运行的，同时输出两个识别结果(即模糊识别结果和精确识别结果)，而所述互动功能处理程序可以根据需要选择采用其中一个或两个结果。为了保证深度学习结果的通用性，剔除硬件或环境导致的误差，优选采用多套学习系统各自独立的进行深度学习。另外，为了确保所述投影机与所述外部设备相互连接时，在不可控的姿势状态下亦能正常识别所述真实物体，所述深度学习还包括对若干种特定姿势状态下不同视角的深度学习。上述的深度学习过程仅在所述外部设备的研发和测试阶段进行，量产后均可通用所述模式识别数据库，不需要单独再进行学习。

本具体实施方式所述的真实物体不仅限于有体积的物体，例如棋子、积木块、卡牌等，也可以是涂鸦、笔迹、色块、印刷品等无体积的真实物体。本具体实施方式所述实现增强现实的方法可以同时对有体积和无体积的真实物体进行提取、识别。这与现有的图像处理技术有着本质的区别：现有的识别技术只能识别并跟踪红外光斑，对于有体积的物体不能提取、识别，对于非红外的笔迹、涂鸦等无体积的物体也不能提取、识别。而本具体实施方式所述的增强现实的方法可对任意真实物体进行提取、识别，扩大了本具体实施方式所述的实现增强现实的方法的应用领域。

步骤s15，对所述识别的结果进行互动处理，并根据互动处理的结果生成一待投影的图像。

步骤s16，根据所述投影机与所述投射面之间的空间位置关系对所述待投影的图像进行调整，并将调整后的待投影的图像传输至所述投影机，投射至投射面上。为了准确的将互动处理后的待投影图像显示于所述投射面上，提高增强现实的精准度，还可以根据预先获取的所述投影机与所述投射面之间的空间位置关系和/或几何投影关系调整所述待投影的图像的形状、亮度等。所述待投影的图像可以通过hdmi线缆传输至所述投影机，投射在投射面上。

为了提高图像识别的准确度，以及获得较佳的投影显示效果，优选的，所述外部设备通过其上的摄像头采集图像之前还包括如下步骤：

(a)所述外部设备输出第三参考画面给所述投影机，并投射至投射面上。其中，所述第三参考画面是具有明暗变化、色调变化的画面。

(b)获取显示在所述投射面上的第三参考画面。

(c)获取投影机所在场所的自然光场参数。其中，与所述投影机产生的投影光场不同，所述自然光场包括大自然光源和人工光源产生的综合光场。

(d)根据获取的所述投射面上显示的第三参考画面和所述自然光场参数，计算投影参数。对捕捉到的投射面上显示的第三参考画面进行计算机视觉处理，并对计算机视觉处理后的结果与自然光场参数进行计算，得出适宜投影和视觉识别的最佳投影参数。

(e)根据所述投影参数调整所述投影机的内部参数。所述外部设备通过数据传输通道，根据计算得到的投影参数，对所述投影机的内部参数进行调整、设置。其中，所述投影机的内部参数包括亮度、对比度、色温、分辨率中的一种或几种。

不仅如此，为了使得投影效果能够更加适应用户的需求，用户还可以手动调节所述投影机的各项内部参数。为了节省成本，所述外部设备与所述投影机之间也可以不设置数据传输通道，所述外部设备通过对所述第三参考画面进行识别，根据识别结果可以得到一矫正参数，采用所述矫正参数调整所述待投影的图像的投影误差，例如投影机亮度过高，则普适投影软件模块将待投影画面整体亮度降低，反之，则提升画面整体亮度。

本具体实施方式对投射面的具体形状不作限定，本领域技术人员可以根据实际需要进行设定，为了获得更多的交互功能，提高用户的使用乐趣，优选的，所述投射面的形状是平板状、球状、曲面状或多面体。另外，所述投射面的材质是不透光材质、能散射投影光线的半透光材质或能散射投影光线的高透光材质，本领域技术人员可以根据实际需要进行选择，本具体实施方式对此不作限定。由于本具体实施方式可以对投射面、投影机和外部设备之间的空间位置关系进行智能识别并进行普适投影，只要投射面的显示面不是平行于投影光线，本具体实施方式所述的实现增强现实的方法都能稳定、正常的运行，优选的，所述投射面与所述投影机的投影光线之间的夹角α满足0°＜α＜180°。

优选的，所述投射面是真实操作板或虚拟操作板，其中，虚拟操作板包括地面、墙面或桌面。投射面是作为互动操作的承载器具以及投影画面的投射载体而存在，由于投影技术的特点，它是必须存在的，但不一定是真实的操作板，也可以是虚拟的操作板，例如桌面、墙面或者地面，从而扩大了所述实现增强现实的方法的应用场合。

为了增强互动的趣味性，优选的，所述实现增强现实的方法还包括如下步骤：提供至少一个增强现实配件；所述外部设备识别所述增强现实配件，并进行互动处理；根据互动处理结果生成一待投影图像，并传输至投影机；所述投影机根据所述投影控制参数，将所述待投影图像投射在投射面上。其中，所述增强现实配件可以包括但不限于棋子、卡牌等各类实体物品，本领域技术人员可以根据实际需要进行选配。所述增强现实操作配件几乎可以是自然界中的所有物体，但它们需要具备以下特点：需要在可见光或红外光下具有可供识别的特征点，例如特定的外形、特定的颜色、特定的标记图案等。通过使用这些附加的增强现实配件，摆脱了投影机只能利用红外操作笔和简单的手势进行互动的局限性，增加了用户使用的乐趣。

当所述投影机为智能投影机时，为了便于对所述投影机进行控制，从而获得令人满意的投影画面，优选的，所述实现增强现实的方法还包括如下步骤：所述外部设备发出控制指令至所述投影机；所述投影机接收所述控制指令，并根据所述控制指令执行相应的操作。更优选的，所述控制指令包括功能运算、互动处理、投影机内部参数调整中的一种或几种。其中，所述投影机内部参数调整包括聚焦参数调整、镜头偏移参数调整、亮度参数调整、对比度参数调整中的一种或几种。即所述外部设备可以将部分的硬件设备或软件程序转移至投影机上进行，实现所述投影机与所述外部设备的分工合作，提高了图像处理效率，加快了增强现实过程中的响应速度，提高了用户体验。通过所述外部设备与所述投影机的相互控制，协同配合，充分利用了两者的处理资源，进一步提高了增强现实的处理效率。

本发明提供的实现增强现实的方法，使得普通投影机也可以具有增强现实的功能，通过使用嵌入式系统、关键算法和系统架构优化之后，不需要再外接计算机，不再需要外接计算机，不需要复杂且昂贵的动作捕捉系统，用户操作步骤简单，降低了实现增强现实的成本，增强了人机互动，极大的提高了用户体验。

实施例1

本实施例提供了一种增强现实围棋。附图2是本发明实施例1的增强现实围棋的结构示意图。如图2所示，在实现本实施例所述的增强现实围棋的过程中，投影机在投射面上投影出棋盘41和右侧的显示信息框44，所述显示信息框44包括提示信息442、虚拟交互按钮441。其中，所述提示信息442包括下围棋过程中的贴目、让子、着子、黑方用时、白方用时、预估信息等中的一种或几种；所述虚拟交互按钮441包括新局、设置、悔棋、复盘、提示、认输等中的一种或几种。用户执黑子(真实的围棋棋子)，增强现实投影围棋系统用白子应对，从而实现了增强现实围棋功能。

在具体的实现过程中，投影机在投射面投影出棋盘41和右侧的显示信息框44，所述显示信息框44包括提示信息442、交互按钮441。所述外部设备中的拍摄模块就开始不间断地对所述投射面进行拍摄，并将拍摄的图像进行计算机视觉处理。当用户执黑子落子后，所述外部设备通过对获取的图像进行计算机视觉处理，即刻发现所述投射面上的图像发生了变化，接着从整幅图像中提取出发生变化的部分，并根据所述外部设备与投射面之间的空间位置关系和/或几何投影关系对形状进行纠正，这是因为由于空间透视关系，所述拍摄模块拍到棋子很可能不是圆的，而是扁的，最后将纠正后的变化图像中的真实物体进行模式识别。所述对有变化的图像进行模式识别的过程，具体是对有变化的图像进行精确识别(所述进行精确识别的前提是，事前已经对围棋棋子进行过深度学习)，以判定是用户放下的黑子，还是干扰图像。如果是用户放的黑子，则进一步精确识别所述黑子在棋盘上的位置。本实施例中的所述互动功能处理程序具体是围棋人工智能软件程序。所述围棋人工智能软件程序根据所述识别结果(即所述黑子在棋盘上的位置)，给出下一步走棋的点位，且根据所述下一步走棋的位点生成一待投影的图像。所述外部设备根据所述投影机与所述投射面之间的空间位置关系和几何投影关系，对所述待投影得图像进行预变形，并将变形后的待投影的图像通过数据通信接口或无线同屏功能模块将经变形的待投影的图像传输至所述投影机，并投射在所述投影机的投射面上。上述过程周而复始，即实现了增强现实投影围棋功能。不仅如此，用户用手触摸所述虚拟交互按钮441，所述拍摄模块11拍摄到用户触摸所述虚拟交互按钮441的图像；所述外部设备对所述图像中的人手进行提取；对人手及其触摸位置进行识别；根据用户触摸的虚拟交互按钮441执行相应的操作；根据所述操作生成一待投影的图像；根据所述投影机和投射面之间的空间位置关系和几何投影关系对所述待投影的图像进行调整，并将调整后的待投影的图像传输至所述投影机，投射至投射面上。

实施例2

本实施例提供了一种增强现实自由落体弹性小球，附图3是本发明实施例2的增强现实自由落体弹性小球的结构示意图。如图3所示，在实现本实施例所述的增强现实自由落体弹性小球的过程中，投影机在投射面51投影出的若干小球52以自由落体的方式从顶部落下，用户可以将各种形状、颜色的积木块53放在投射面内，如果小球52在下落的过程中碰到积木块53，则会反弹；反弹过程中如果再次遇到积木块53，则会再次反弹，如此循环，实现有趣的弹跳游戏。

在具体的实现过程中，所述投影机在所述投射面投射出自由落体的小球，所述外部设备中的拍摄模块对所述投射面不间断的进行拍摄，并将拍摄的图像进行计算机视觉处理。当用户将所述积木块53放置到所述投射面51内时，所述外部设备通过对获取的图像进行计算机视觉处理，即刻发现所述投射面上的图像发生了变化，接着从整幅图像中提取出发生变化的部分，并根据所述外部设备与投射面之间的空间位置关系和/或几何投影关系对发生变化的部分进行形状纠正(这是因为，由于空间透视关系，所述拍摄模块拍摄到的所述积木块53的形状并不是其真实形状)，最后将纠正后的变化图像中的真实物体进行模式识别。本实施例中所述模式识别过程是对有变化的图像进行模糊识别(这是因为本实施例中的积木块并不一定是长方形，也可以是圆形、三角形，设置是不规则形状，因此不适用于精确识别算法，只能用模糊识别算法)，以判定是用户放下的积木块，还是干扰图像。值得一提的是，如果模糊识别的结果是“无法判定”或所述外部设备无法从所述拍摄模块拍摄的图像中提取清晰的发生变化的部分，则所述外部设备还可自动将红外补光灯打开，并开启红外切换器，在红外线辅助照明的情况下，再次对投射面上的图像进行拍摄、提取和模式识别。如果识别结果是用户方的积木块，则进一步精确识别其在投射面的位置和精确范围。本实施例中的所述外部设备在软件程序中存储了每个积木块的位置、范围，并根据物理学中的动量守恒定律和自由落体定律控制每个小球52的运动轨迹。在本实施例中所述互动功能处理程序时小球自由落体运动刚性碰撞程序。如果所述小球52的运动轨迹触碰到所述积木块53的边缘，所述外部设备内部的互动功能处理程序就能够立刻根据刚体碰撞的物理定律计算出所述小球52与所述积木块53“碰撞”后的轨迹，并根据所述“碰撞”后的轨迹生成一待投影的图像。所述外部设备根据所述投影机与所述投射面之间的空间位置关系和几何投影关系，对所述待投影得图像进行预变形，并将变形后的待投影的图像通过数据通信接口或无线同屏功能模块将经变形的待投影的图像传输至所述投影机，并投射在所述投影机的投射面上。上述过程周而复始，并且对实时性有较高的要求，由此即实现了增强现实自由落体弹性小球功能。

实施例3

本实施例提供了一种增强现实四则混合运算，附图4是本发明实施例3的增强现实四则混合运算的结构示意图。如图4所示，在实现本实施例所述的增强现实四则混合运算的过程中，用户在所述投影机的投射面61内放入印有数字或运算符的卡牌62，所述增强现实装置实时识别所述卡牌62，并在所述投射面61的底部投出整齐的四则混合运算算式，最后在印有等号的卡牌后面投射出计算结果。

在具体的实现过程中，本实施例中的投影机在所述投射面内初始化后并不投影互动图像，等待用户防止印有数字或运算符的卡牌。所述外部设备的拍摄模块不间断的对所述投射面进行拍摄，并将拍摄的图像进行计算机视觉处理。当用户将印有数字或运算符的卡牌放置在所述投射面内时，所述外部设备通过对获取的图像进行计算机视觉处理，即刻发现所述投射面上的图像发生了变化，接着从整幅图像中提取出发生变化的部分，并根据所述外部设备与投射面之间的空间位置关系对发生变化的部分进行形状纠正(这是因为，由于空间透视关系，所述拍摄模块11拍摄到的所述卡牌62的形状并不是其真实形状)，最后将纠正后的变化图像中的真实物体进行模式识别。所述模式识别过程是对有变化的图像进行精确识别(所述进行精确识别的前提是，所述外部设备事前已经对每张卡牌都进行过深度学习)，以判定是用户放下的卡牌62，还是干扰物体。如果是用户放下的卡牌62，则进一步精确识别所述卡牌在所述投射面内的位置以及卡牌的内容，所述卡牌的内容包括卡牌62上印的数字或运算符，并将识别结果进行互动功能处理。本实施例中的所述互动功能处理程序是四则混合运算软件程序。所述四则混合运算软件程序首先识别所述卡牌62的内容是否是“＝”(等号)，如果是则将前面整个四则混合运算算式进行运算，根据运算后的结果生成一待投影的图像；反之，如果所述四则混合运算软件程序识别出所述卡牌62上印的内容不是“＝”(等号)，则根据识别出的卡牌的内容生成一待投影的图像。所述外部设备根据所述投影机与所述投射面之间的空间位置关系和几何投影关系，对所述待投影得图像进行预变形，并将变形后的待投影的图像通过数据通信接口或无线同屏功能模块将经变形的待投影的图像传输至所述投影机，并投射在所述投射面上的底部区域。由此实现了增强现实四则混合运算功能。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。