增强现实装置的制作方法

本发明涉及图像处理技术领域，尤其涉及一种增强现实装置。

背景技术：

投影机，又叫投影仪，是一种可以将图像或视频投射到幕布上的设备，其广泛应用于家庭、办公室、学校和各种娱乐场所。现有的投影机分为普通投影机和智能投影机，其区别在与是否搭载向用户开放的智能操作系统。增强现实，增强现实技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。其是一种全新的人机交互技术，利用这一技术，可以模拟真实的现场景观，使用者不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的“身临其境”的逼真性，而且能够突破空间、时间以及其他客观限制，感受到在真实世界中无法亲身经历的体验。

但是，无论是普通投影机还是智能投影机，基本都不具备增强现实功能。目前，具备增强现实功能的投影系统只在科学实验室和军事训练领域有少量应用，该些系统都是价格及其昂贵、结构及其庞大复杂的专业增强现实系统，根本不具备大规模民用的可行性。虽然有个别投影机厂商已研发出互动功能，但都是基于红外跟踪触控的互动方式，具有很大的局限性，在许多场合都无法使用，而且这些投影功能组件一般都是与投影机整合在一起，使得投影机的价格飙升，以获得更高的商业利益。因此，如何使得普通投影机具有增强现实功能，加强人机互动，提高人们的使用乐趣，是目前亟待解决的技术问题。

技术实现要素：

本发明提供一种增强现实装置，用以使普通投影机具有增强现实功能，加强人机互动，提高人们的使用乐趣。

为了解决上述问题，本发明提供了一种增强现实装置，包括：拍摄模块，用于获取投影机的投射面上的图像，并将获取的图像传输至计算机视觉处理模块；计算机视觉处理模块，用于对所述图像中的真实物体进行信息提取，并将提取结果传输至模式识别模块；模式识别模块，用于对所述真实物体进行识别，并将识别结果传输至互动功能模块；互动功能模块，用于对所述识别结果进行互动处理，且根据互动处理的结果生成一待投影的图像，并将所述待投影的图像传输至普适投影模块；普适投影模块，用于根据所述投影机与所述投射面之间的空间关系对所述待投影的图像进行调整，并将调整后的待投影的图像传输至投影机，投射至投射面上。

优选的，所述拍摄模块获取所述真实物体的多种状态图像，并将所述状态图像传输至所述计算机视觉处理模块；所述计算机视觉处理模块对所述状态图像进行深度学习，并将所述学习结果传输至所述模式识别模块；所述模式识别模块根据所述学习结果形成模式识别数据库。

优选的，所述增强现实装置还包括数据通信接口模块，所述数据通信接口模块用于连接外部设备。

优选的，所述增强现实装置还包括无线通信模块，用于所述增强现实装置内部各元件之间以及所述增强现实装置与所述投影机之间的数据通信。

优选的，所述拍摄模块还包括摄像头、红外切换器和红外补光灯。

优选的，所述增强现实装置还包括无线同屏模块，所述无线同屏模块用于将所述调整后的待投影的图像数据传输至所述投影机。

优选的，所述增强现实装置还包括控制模块，用于向所述投影机发送控制指令，控制所述投影机执行相应的操作。

优选的，所述控制指令包括功能运算、互动处理、投影机内部参数调整中的一种或几种。

优选的，所述控制模块还包括接收单元，所述接收单元用于接收投影机发送的指令，并根据所述指令执行相应的操作。

优选的，所述计算机视觉处理模块包括计算单元、提取单元和调整单元，所述计算单元用于计算所述增强现实装置与所述投射面之间的空间关系参数；所述提取单元用于对所述图像中的真实物体进行提取；所述调整单元用于根据所述空间关系参数对提取结果进行调整，并将经调整的提取结果传输至模式识别模块。

本发明提供了一种增强现实装置，使得普通投影机也可以具有增强现实的功能，所述增强现实装置使用嵌入式系统，关键算法和系统架构优化之后，不需要外接计算机，不需要复杂且昂贵的动作捕捉系统，用户操作步骤简单，降低了实现增强现实的成本，增强了人机互动，且所述增强现实装置体积小、功耗低，极大的提高了用户体验。

附图说明

附图1是本发明具体实施方式的增强现实装置的结构示意图；

附图2是本发明具体实施方式的增强现实装置中拍摄模块的结构示意图；

附图3是本发明具体实施方式的增强现实装置中计算机视觉处理模块的结构示意图；

附图4是本发明第一实施例的增强现实围棋的结构示意图；

附图5是本发明第二实施例的增强现实自由落体弹性小球的结构示意图；

附图6是本发明第三实施例的增强现实四则混合运算的结构示意图。

具体实施方式

下面结合附图对本发明提供的增强现实装置的具体实施方式做详细说明。

本具体实施方式提供了一种增强现实装置，附图1是本发明具体实施方式的增强现实装置的结构示意图。如图1所示，本具体实施方式所述的增强现实装置包括拍摄模块11、计算机视觉处理模块12、模式识别模块13、互动功能模块14和普适投影模块15。

附图2是本发明具体实施方式的增强现实装置中拍摄模块的结构示意图，如图2所示，所述拍摄模块11，用于获取投影机的投射面上的图像，并将获取的图像传输至计算机视觉处理模块。由于投影机一般在光线较暗的环境下工作，为了在光线较暗的环境下也能准确的获取所述投影屏幕上的图像，优选的，所述拍摄模块11包括摄像头111、红外切换器112和红外补光灯113。所述摄像头111一般工作在自然光状态下，在所述增强现实装置工作过程中，所述摄像头111连续获取投影机的投影屏幕上的图像。在光线较亮的情况下，红外切换器112和红外补光灯113关闭，所述摄像头111捕捉自然光下的画面；在光线较暗的情况下，红外补光灯113和红外切换器112开启，且所述红外切换器112仅允许红外光透过。这样，即使在光线较暗的情况下，也能对所述投影屏幕上的图像进行准确的捕捉。其中，本具体实施方式所述的摄像头111为普通的单目或双目摄像头即可。这是与其他投影互动装置的重要区别。现有的投影互动装置必须要特制的摄像头，或者必须采用特制的辅助设备(例如红外笔、深度感知传感器等)、辅助记号(如二维码)才能正常工作。而本具体实施方式的增强现实装置极大的简化了系统结构，降低了制造成本。

所述计算机视觉处理模块12，用于对所述图像中的真实物体进行信息提取，并将提取结果传输至模式识别模块13。为了提高图像信息提取的准确度，所述计算机视觉处理模块12还能够对所述拍摄模块11进行调整，使所述拍摄模块11能够获取到清晰度较高的图像。附图3是本发明具体实施方式的增强现实装置中计算机视觉处理模块的结构示意图，如图3所示，为了提高后续模式识别的准确性，优选的，所述计算机视觉处理模块12包括计算单元121、提取单元122和调整单元123，所述计算单元121用于计算所述增强现实装置与所述投射面之间的空间关系参数；所述提取单元122用于对所述图像中的真实物体进行提取；所述调整单元123用于根据所述空间关系参数对提取结果进行调整，并将经调整的提取结果传输至模式识别模块。

所述模式识别模块13，用于对所述真实物体进行识别，并将识别结果传输至互动功能模块14。所述模式识别模块13预先通过精确识别算法和/或模糊识别算法学习物体识别。即在对所述图像中的真实物体进行准确识别之前，需要预先运用多种人工智能算法对棋子、卡牌、操作板等各类真实物品以及投影的图像进行深度学习，使得所述模式识别模块13能够精确的识别真实物体的各种形态以及真实物体与虚拟图像的区分，同时排除各种干扰。

具体来说，所述拍摄模块11获取所述真实物体的多种状态图像，并将所述状态图像传输至所述计算机视觉处理模块12；所述计算机视觉处理模块12对所述状态图像进行深度学习，并将所述学习结果传输至所述模式识别模块13；所述模式识别模块13根据所述学习结果形成模式识别数据库。所述真实物体的多种状态图像包括所述真实物体在各种位置、姿势、光照条件下的图像，如果所述真实物体具有颜色、尺寸、组合等方面的变化，则所述状态图像还包括所述真实物体在各种变化状态下的图像。所述计算机视觉处理模块12内部的深度学习算法主要有两大类：精确识别算法和模糊识别算法。精确识别算法用于精确判断目标，比如是卡牌“6”、还是卡牌“9”还是卡牌“b”，这需要预先对大量范本进行深度学习；模糊识别算法则用于模糊判定目标，比如目标是可以互动的深色长条状物体，还是不可以互动的浅色圆形物体。模糊识别算法的核心是其高效、有类别针对性的算法，比如针对颜色、针对外形，而且与互动功能模块14对识别的需求有密切关系。在本具体实施方式中，两种算法可以是并发运行的，同时输出两个识别结果，而互动功能模块14可以根据需要选择采用其中一个或两个结果。为了保证深度学习结果的通用性，剔除硬件或环境导致的误差，优选采用多套学习系统各自独立的进行深度学习。另外，为了确保所述投影机与所述增强现实装置相互连接时，在不可控的姿势状态下亦能正常识别所述真实物体，所述深度学习还包括对若干种特定姿势状态下不同视角的深度学习。上述的深度学习过程仅在所述增强现实装置的研发和测试阶段进行，量产后的所述增强现实装置均可通用所述模式识别数据库，不需要单独再进行学习。

本具体实施方式所述的真实物体不仅限于有体积的物体，例如棋子、积木块、卡牌等，也可以是涂鸦、笔迹、色块、印刷品等无体积的真实物体。本具体实施方式所述的增强现实装置可以同时对有体积和无体积的真实物体进行提取、识别。这与现有的图像处理技术有着本质的区别：现有的识别技术只能识别并跟踪红外光斑，对于有体积的物体不能提取、识别，对于非红外的笔迹、涂鸦等无体积的物体也不能提取、识别。而本具体实施方式的增强现实装置可对任意真实物体进行提取、识别，扩大了所述增强现实装置的应用领域。

所述互动功能模块14，用于对所述识别结果进行互动处理，且根据互动处理的结果生成一待投影的图像，并将所述待投影的图像传输至普适投影模块15。

所述普适投影模块15，用于根据所述投影机与所述投射面之间的空间关系对所述待投影的图像进行调整，并将调整后的待投影的图像传输至投影机，投射至投射面上。为了准确的将互动处理后的待投影图像显示于所述投影屏幕上，提高增强现实的精准度，所述普适投影模块15先获取所述投影机与所述投射面之间的空间关系参数，然后根据所述空间关系参数调整所述待投影的图像的形状、亮度等。

为了便于所述增强现实装置与所述投影机进行数据通信，优选的，所述增强现实装置还包括数据通信接口模块18，所述数据通信接口模块18用于连接外部设备。例如，所述数据通信接口模块18可以通过通信线缆与外部设备连接，以扩展所述增强现实装置的功能，增大所述增强现实装置的应用范围。所述通信线缆可以是usb线、hdmi线、以太网线、独立音频线、独立视频线中的一种或几种。其中，所述usb线不仅可用于所述增强现实装置与所述投影机之间的数据传输通道，还可用作电源接口、连接外部移动设备(例如u盘)等；所述hdmi线用于所述增强现实装置向所述投影机传输待映射图像；所述以太网线可用于增强现实装置连接网络服务器；所述独立音频线用于所述增强现实装置向音箱传输音频信号；所述独立电源线用于向所述增强现实装置供电。

为了便于所述增强现实装置内部各元件之间以及所述增强现实装置与所述投影机之间的数据通信，优选的，所述增强现实装置还包括无线通信模块17，所述无线通信模块17用于所述增强现实装置内部各元件之间以及所述增强现实装置与所述投影机之间的数据通信。其中，所述无线通信模块17包括wifi、蓝牙、zigbee、低功耗wifi、3g网络、4g网络中的一种或几种。为了便于同时进行多个通道的数据通信，优选的，所述无线通信模块17包括多个蓝牙单元。所述多个是指2个或2个以上，本具体实施方式对此不作限定，本领域技术人员可以根据实际需要进行设定。

为了便于将经调整的待投影的图像传输至投影机，加快增强现实过程的响应速度，优选的，所述增强现实装置还包括无线同屏模块19，所述无线同屏模块19用于将所述调整后的待投影的图像数据传输至所述投影机。

当所述投影机为智能投影机时，为了便于对所述投影机进行控制，从而获得令人满意的投影画面，优选的，所述增强现实装置还包括控制模块16，所述控制模块16用于向所述投影机发送控制指令，控制所述投影机执行相应的操作。更优选的，所述控制指令包括功能运算、互动处理、投影机内部参数调整中的一种或几种。其中，所述投影机内部参数调整包括聚焦参数调整、镜头偏移参数调整、亮度参数调整、对比度参数调整中的一种或几种。即所述增强现实装置可以通过控制模块16将部分的运算功能或互动识别转移至智能投影机上进行，实现所述智能投影机与所述增强现实装置的分工合作，提高了图像处理效率，加快了增强现实过程中的响应速度，提高了用户体验。不仅如此，更优选的，所述控制模块16还包括接收单元161，所述接收单元161用于接收投影机发送的指令，并根据所述指令执行相应的操作。其中，所述投影机发送的指令包括开机、关机、互动功能模块调用等。通过所述增强现实装置与所述投影机的相互控制，协同配合，充分利用了两者的处理资源，进一步提高了增强现实的处理效率。

不仅如此，本具体实施方式提供的增强现实装置非常小巧，尺寸仅为120mm×80mm×40mm，重量较轻，仅为100g左右，携带方便，且可以适用于各种尺寸的普通投影机或智能投影机，适用范围广。本具体实施方式所述的增强现实装置与所述投影机可以采用如下两种方式设置：一是将所述增强现实装置内置于所述投影机；二是将所述增强现实装置与所述投影机分离，通过有线接口或无线接口互联。而无论是将所述增强现实装置内置于所述投影机，还是与所述投影机分离，都需要确保所述投影机与所述增强现实装置的相对位置固定不变，以实现对投射面内物体的准确识别。

本具体实施方式提供的一种增强现实装置，使得普通投影机也可以具有增强现实的功能，所述增强现实装置使用嵌入式系统，关键算法和系统架构优化之后，不需要外接计算机，不需要复杂且昂贵的动作捕捉系统，用户操作步骤简单，降低了实现增强现实的成本，增强了人机互动，极大的提高了用户体验。

第一实施例

本实施例提供了一种增强现实围棋。附图4是本发明第一实施例的增强现实围棋的结构示意图。如图4所示，在实现本实施例所述的增强现实围棋的过程中，投影机在投射面上投影出棋盘41和右侧的显示信息框44，所述显示信息框44包括提示信息442、虚拟交互按钮441。其中，所述提示信息442包括下围棋过程中的贴目、让子、着子、黑方用时、白方用时、预估信息等中的一种或几种；所述虚拟交互按钮441包括新局、设置、悔棋、复盘、提示、认输等中的一种或几种。用户执黑子(真实的围棋棋子)，增强现实投影围棋系统用白子应对，从而实现了增强现实围棋功能。

在具体的实现过程中，投影机在投射面投影出棋盘41和右侧的显示信息框44，所述显示信息框44包括提示信息442、交互按钮441。所述增强现实装置的拍摄模块11就开始不间断地对所述投射面进行拍摄，并将拍摄的图像传给所述计算机视觉处理模块12。当用户执黑子落子后，所述计算机视觉处理模块12即刻发现所述拍摄模块11获取的所述投射面上的图像发生了变化，所述计算机视觉处理模块12内部的提取单元122利用计算单元121确定的空间关系，从整幅图像中提取出发生变化的部分，并利用调整单元123对形状进行纠正，这是因为由于空间透视关系，所述拍摄模块11拍到棋子很可能不是圆的，而是扁的，最后将纠正后的变化图像传递给所述模式识别模块13。所述模式识别模块13对有变化的图像进行精确识别(所述进行精确识别的前提是，所述模式识别模块13事前已经对围棋棋子进行过深度学习)，以判定是用户放下的黑子，还是干扰图像。如果是用户放的黑子，则进一步精确识别所述黑子在棋盘上的位置，并将识别结果传输至所述互动功能模块14。本实施例中的所述互动功能模块14具体是围棋人工智能软件程序。所述围棋人工智能软件程序根据所述模式识别模块13的识别结果，给出下一步走棋的点位，且根据所述下一步走棋的位点生成一待投影的图像，并将所述待投影的图像传输至所述普适投影模块15。所述普适投影模块15根据所述投影机与所述投射面之间的空间关系，对所述待投影得图像进行预变形，并将变形后的待投影的图像传给所述数据通信接口模块18或所述无线同屏模块19。所述数据通信接口模块18或所述无线同屏模块19将经变形的待投影的图像传输至所述投影机，并投射在所述投影机的投射面上。上述过程周而复始，即实现了增强现实投影围棋功能。不仅如此，用户用手触摸所述虚拟交互按钮441，所述拍摄模块11拍摄到用户触摸所述虚拟交互按钮441的图像，并将拍摄到的图像传输至所述计算机视觉处理模块12；所述计算机视觉处理模块12对所述图像中的人手进行提取，并将提取结果传输至所述模式识别模块13；所述模式识别模块13对人手及其触摸位置进行识别，并将所述识别结果传输至所述互动功能模块14；所述互动功能模块14根据用户触摸的虚拟交互按钮441执行相应的操作，根据所述操作生成一待投影的图像，并将所述待投影的图像传输至所述普适投影模块15；所述普适投影模块15根据所述投影机和投射面之间的空间关系对所述待投影的图像进行调整，并将调整后的待投影的图像传输至所述投影机，投射至投射面上。

第二实施例

本实施例提供了一种增强现实自由落体弹性小球，附图5是本发明第二实施例的增强现实自由落体弹性小球的结构示意图。如图5所示，在实现本实施例所述的增强现实自由落体弹性小球的过程中，投影机在投射面51投影出的若干小球52以自由落体的方式从顶部落下，用户可以将各种形状、颜色的积木块53放在投射面内，如果小球52在下落的过程中碰到积木块53，则会反弹；反弹过程中如果再次遇到积木块53，则会再次反弹，如此循环，实现有趣的弹跳游戏。

在具体的实现过程中，所述投影机在所述投射面投射出自由落体的小球，所述增强现实装置的所述拍摄模块11对所述投射面不间断的进行拍摄，并将拍摄的图像传输给所述计算机视觉处理模块12。当用户将所述积木块53放置到所述投射面51内时，所述计算机视觉处理模块12即刻发现所述拍摄模块11获取的所述投射面上的图像发生了变化，则所述计算机视觉处理模块12内部的提取单元122利用计算单元121确定的空间关系，从整幅图像中提取出发生变化的部分，并利用调整单元123对发生变化的部分进行形状纠正(这是因为，由于空间透视关系，所述拍摄模块11拍摄到的所述积木块53的形状并不是其真实形状)，并将纠正后的变化图像传递给所述模式识别模块13。所述模式识别模块13对有变化的图像进行模糊识别(这是因为本实施例中的积木块并不一定是长方形，也可以是圆形、三角形，设置是不规则形状，因此不适用于精确识别算法，只能用模糊识别算法)，以判定是用户放下的积木块，还是干扰图像。值得一提的是，如果模糊识别的结果是“无法判定”或所述计算机视觉处理模块12中的所述提取单元122无法从所述图像中提取清晰的发生变化的部分，则所述增强现实装置还可自动将所述红外补光灯113打开，并开启所述红外切换器112，在红外线辅助照明的情况下，所述计算机视觉处理模块12对所述图像进行提取和所述模式识别模块13进行模糊识别。如果识别结果是用户方的积木块，则进一步精确识别其在投射面的位置和精确范围，并将这些识别结果传输至所述互动功能模块14。本实施例中的所述互动功能模块14在软件程序中存储了每个积木块的位置、范围，并根据物理学中的动量守恒定律和自由落体定律控制每个小球52的运动轨迹。如果所述小球52的运动轨迹触碰到所述积木块53的边缘，所述互动功能模块14就能够立刻根据刚体碰撞的物理定律计算出所述小球52与所述积木块53“碰撞”后的轨迹，并根据所述“碰撞”后的轨迹生成一待投影的图像，并将所述待投影的图像传输至所述普适投影模块15。所述普适投影模块15根据所述投影机与所述投射面之间的空间关系，对所述待投影的图像进行与变形处理，最后将变形后的待投影的图像传输至所述数据通信接口模块18或所述无线同屏模块19。所述数据通信接口模块18或所述无线同屏模块19将经变形的待投影的图像传输至所述投影机，并投射在所述投影机的投射面上。上述过程周而复始，并且对实时性有较高的要求，由此即实现了增强现实自由落体弹性小球功能。

第三实施例

本实施例提供了一种增强现实四则混合运算，附图6是本发明第三实施例的增强现实四则混合运算的结构示意图。如图6所示，在实现本实施例所述的增强现实四则混合运算的过程中，用户在所述投影机的投射面61内放入印有数字或运算符的卡牌62，所述增强现实装置实时识别所述卡牌62，并在所述投射面61的底部投出整齐的四则混合运算算式，最后在印有等号的卡牌后面投射出计算结果。

在具体的实现过程中，本实施例中的投影机在所述投射面内初始化后并不投影互动图像，等待用户防止印有数字或运算符的卡牌。所述增强现实装置的所述拍摄模块11不间断的对所述投射面进行拍摄，并将拍摄的图像传输至所述计算机视觉处理模块12。当用户将印有数字或运算符的卡牌放置在所述投射面内时，所述计算机视觉处理模块12即刻发现所述拍摄模块11获取的所述投射面上的图像发生了变化，所述计算机视觉处理模块12内部的提取单元122利用计算单元121确定的空间关系，从整幅图像中提取发生变化的部分，并利用调整单元123对发生变化的部分进行形状纠正(这是因为，由于空间透视关系，所述拍摄模块11拍摄到的所述卡牌62的形状并不是其真实形状)，并将纠正后的变化图像传递给所述模式识别模块13。所述模式识别模块13对有变化的图像进行精确识别(所述进行精确识别的前提是，所述模式识别模块13事前已经对每张卡牌都进行过深度学习)，以判定是用户放下的卡牌62，还是干扰物体。如果是用户放下的卡牌62，则所述模式识别模块13进一步精确识别所述卡牌在所述投射面内的位置以及卡牌的内容，所述卡牌的内容包括卡牌62上印的数字或运算符，并将识别结果传输至互动功能模块14。本实施例中的所述互动功能模块14是四则混合运算软件程序。所述四则混合运算软件程序首先识别所述卡牌62的内容是否是“＝”(等号)，如果是则将前面整个四则混合运算算式进行运算，根据运算后的结果生成一待投影的图像，并将所述待投影的图像传输至所述普适投影模块15；反之，如果所述四则混合运算软件程序识别出所述卡牌62上印的内容不是“＝”(等号)，则根据识别出的卡牌的内容生成一待投影的图像，并传输至所述普适投影模块15。所述普适投影模块15根据所述投影机与所述投射面之间的空间关系，对所述待投影的图像进行预变形处理，并将经预变形处理的待投影的图像传输至所述数据通信接口模块18或所述无线同屏模块19，并投射至所述投射面上的底部区域。由此实现了增强现实四则混合运算功能。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。