基于移动设备的2D、3D混合增强现实的实现方法及系统与流程

本发明涉及2D/3D混合增强现实技术领域，尤其涉及一种基于移动设备的2D、3D混合增强现实的实现方法及系统。

背景技术：

由于增强现实能够加强现实沉浸感，因此被广泛应用于包括电力设备制造在内的各个行业。因为二维设计图纸信息表达不直接，给设备设计人员、工程师以及制造人员间的交流、理解造成一定的困难，因此基于增强现实技术的2D图纸3D虚拟化展示受到越来越多的关注，现有的2D、3D混合增强现实的实现方式计算量较大，识别率不高。

技术实现要素：

本发明要解决的技术问题是提供一种基于移动设备的2D、3D混合增强现实的实现方法及系统。

本发明的目的在于提供一种基于移动设备的2D、3D混合增强现实的实现方法，包括：

2D图纸管理服务器管理与配置；

2D图纸识别装置识别2D图纸；

2D/3D数据混合可视化装置实现基于移动设备的2D/3D数据混合可视化。

其中，所述2D图纸管理服务器管理与配置，包括：

所述2D图纸管理服务器，包括2D图纸管理服务器配置模块、2D图纸信息管理模块、特征点匹配与查询模块；

所述2D图纸管理服务器配置模块存储与管理视频图像、特征点以及2D图纸对应的3D模型，查找与来自于移动设备的特征点数据相关的2D图纸，传输2D图纸信息以及3D模型；

所述2D图纸信息管理模块管理2D图纸中信息，管理所有的辅助信息，授权用户能够管理其授权访问的信息，管理在增强现实中用到的所有图像的信息；

所述特征点匹配与查询模块，当移动设备获取相关图像后，基于数据库DB管理系统中的信息进行特征点的匹配与查询，查找结果以可扩展标记语言XML的形式输出。

其中，所述2D图纸管理服务器管理与配置，还包括：

图纸模型库，存储2D图纸对应的3D模型。

其中，所述2D图纸识别装置识别2D图纸，包括：2D图纸特征点数据库、2D图纸区域检测模块、抽取2D图纸的特征点模块、2D图纸特征点匹配模块；

所述2D图纸特征点数据库保存2D图纸图像、特征点数据、3D模型；

所述2D图纸区域检测模块检测矩形有效图纸区域，包括：

所述2D图纸区域检测模块从向上扩展到向下扩展方式进行移动设备图像的去噪；

采用交互区域轮廓算法，通过调整阈值进行边界检测，通过逼近这些指标，来生成矩形区域，并计算其相应的顶点坐标；

所述抽取2D图纸的特征点模块在抽取2D图纸的矩形有效区域后，再在该矩形区域内进行特征点抽取；

所述2D图纸特征点匹配模块对抽取的典型特征点数据在数据库中进行匹配。

其中，所述2D/3D数据混合可视化装置实现基于移动设备的2D/3D数据混合可视化，包括：

2D/3D数据混合可视化装置，包括3D模型几何转换模块、2D图纸的3D模型一致性处理模块；

所述3D模型几何转换模块在2D图纸矩形区域的4个坐标已知时，对2D图纸的旋转位置与姿势基于摄像头坐标系统进行计算，摄像头坐标系统将从2D图纸感兴趣区域ROI中获取；

所述2D图纸的3D模型一致性处理模块将实际图纸与虚拟3D图形进行叠加，通过接收的图形系统帧缓存中视频图像，进行3D模型的深度值以及3D图纸匹配后在指定位置进行重叠展示。

本发明的目的在于还提供一种基于移动设备的2D、3D混合增强现实的实现系统，包括：2D图纸管理服务器、2D图纸识别装置、2D/3D数据混合可视化装置；

所述2D图纸管理服务器，用于管理与配置；

所述2D图纸识别装置，用于识别2D图纸；

所述2D/3D数据混合可视化装置，用于实现基于移动设备的2D/3D数据混合可视化。

其中，所述2D图纸管理服务器，包括：

图纸管理服务器配置模块、2D图纸信息管理模块、特征点匹配与查询模块；

所述图纸管理服务器配置模块，用于存储与管理视频图像、特征点以及2D图纸对应的3D模型，查找与来自于移动设备的特征点数据相关的2D图纸，传输2D图纸信息以及3D模型；

所述2D图纸信息管理模块，用于管理2D图纸中信息，管理所有的辅助信息，授权用户能够管理其授权访问的信息，管理在增强现实中用到的所有图像的信息；

所述特征点匹配与查询模块，用于当移动设备获取相关图像后，基于数据库DB管理系统中的信息进行特征点的匹配与查询，查找结果以可扩展标记语言XML的形式输出。

其中，所述2D图纸管理服务器，还包括：

图纸模型库，用于存储2D图纸对应的3D模型。

其中，所述2D图纸识别装置，包括：

2D图纸特征点数据库、2D图纸区域检测模块、抽取2D图纸的特征点模块、2D图纸特征点匹配模块；

所述2D图纸特征点数据库，用于保存2D图纸图像、特征点数据、3D模型；

所述2D图纸区域检测模块，用于检测矩形有效图纸区域，包括：

所述2D图纸区域检测模块从向上扩展到向下扩展方式进行移动设备图像的去噪；

采用交互区域轮廓算法，通过调整阈值进行边界检测，通过逼近这些指标，来生成矩形区域，并计算其相应的顶点坐标；

所述抽取2D图纸的特征点模块，用于在抽取2D图纸的矩形有效区域后，再在该矩形区域内进行特征点抽取；

所述2D图纸特征点匹配模块，用于对抽取的典型特征点数据在数据库中进行匹配。

其中，所述2D/3D数据混合可视化装置，包括：

3D模型几何转换模块、2D图纸的3D模型一致性处理模块；

所述3D模型几何转换模块，用于在2D图纸矩形区域的4个坐标已知时，对2D图纸的旋转位置与姿势基于摄像头坐标系统进行计算，摄像头坐标系统将从2D图纸感兴趣区域ROI中获取；

所述2D图纸的3D模型一致性处理模块，用于将实际图纸与虚拟3D图形进行叠加，通过接收的图形系统帧缓存中视频图像，进行3D模型的深度值以及3D图纸匹配后在指定位置进行重叠展示。

本发明提供的基于移动设备的2D、3D混合增强现实的实现方法，包括：2D图纸管理服务器管理与配置；2D图纸识别装置识别2D图纸；2D/3D数据混合可视化装置实现基于移动设备的2D/3D数据混合可视化；本发明基于移动设备的2D、3D混合增强现实的实现方法通过移动设备视频进行设计图纸识别而不需要对图纸进行标记，并为了识别设计图纸，从视频图像中抽取边界点用于确定2D图纸区域，由于整个图像中的特征点是根据2D图纸区域的显示度匹配进行抽取，计算量远小于现有匹配方式，而识别率大大提高。

本发明提供的基于移动设备的2D、3D混合增强现实的实现系统，包括：2D图纸管理服务器、2D图纸识别装置、2D/3D数据混合可视化装置；2D图纸管理服务器，用于管理与配置；2D图纸识别装置，用于识别2D图纸；2D/3D数据混合可视化装置，用于实现基于移动设备的2D/3D数据混合可视化；本发明基于移动设备的2D、3D混合增强现实的实现系统通过移动设备视频进行设计图纸识别而不需要对图纸进行标记，并为了识别设计图纸，从视频图像中抽取边界点用于确定2D图纸区域，由于整个图像中的特征点是根据2D图纸区域的显示度匹配进行抽取，计算量远小于现有匹配方式，而识别率大大提高。

附图说明

图1，为本发明基于移动设备的2D、3D混合增强现实的实现方法的示意图；

图2，为本发明基于移动设备的2D、3D混合增强现实的实现系统的示意图。

具体实施方式

本发明提供一种基于移动设备的2D、3D混合增强现实的实现方法及系统，应用于2D/3D混合增强现实技术领域，本发明基于移动设备的2D、3D混合增强现实的实现方法，包括：2D图纸管理服务器管理与配置；2D图纸识别装置识别2D图纸；2D/3D数据混合可视化装置实现基于移动设备的2D/3D数据混合可视化；本发明基于移动设备的2D、3D混合增强现实的实现方法通过移动设备视频进行设计图纸识别而不需要对图纸进行标记，并为了识别设计图纸，从视频图像中抽取边界点用于确定2D图纸区域，由于整个图像中的特征点是根据2D图纸区域的显示度匹配进行抽取，计算量远小于现有匹配方式，而识别率大大提高。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于移动设备的2D、3D混合增强现实的实现方法。

请参见图1，图1为本发明基于移动设备的2D、3D混合增强现实的实现方法的示意图，本发明基于移动设备的2D、3D混合增强现实的实现方法，包括：

S11、2D图纸管理服务器管理与配置；

S12、2D图纸识别装置识别2D图纸；

S13、2D/3D数据混合可视化装置实现基于移动设备的2D/3D数据混合可视化。

其中，2D图纸管理服务器管理与配置，包括：

2D图纸管理服务器，包括2D图纸管理服务器配置模块、2D图纸信息管理模块、特征点匹配与查询模块；

2D图纸管理服务器配置模块存储与管理视频图像、特征点以及2D图纸对应的3D模型，查找与来自于移动设备的特征点数据相关的2D图纸，传输2D图纸信息以及3D模型；

2D图纸信息管理模块管理2D图纸中信息，管理所有的辅助信息，授权用户能够管理其授权访问的信息，管理在增强现实中用到的所有图像的信息；

特征点匹配与查询模块，当移动设备获取相关图像后，基于数据库(DB)管理系统中的信息进行特征点的匹配与查询，查找结果以可扩展标记语言(XML)的形式输出。

其中，2D图纸管理服务器管理与配置，还包括：

2D图纸管理服务器管理与配置，还包括图纸模型库，存储2D图纸对应的3D模型。

其中，2D图纸识别装置识别2D图纸，包括：

2D图纸识别装置，包括2D图纸特征点数据库、2D图纸区域检测模块、抽取2D图纸的特征点模块、2D图纸特征点匹配模块；

2D图纸特征点数据库保存2D图纸图像、特征点数据、3D模型；

2D图纸区域检测模块检测矩形有效图纸区域，包括：

2D图纸区域检测模块从向上扩展到向下扩展方式进行移动设备图像的去噪；

采用交互区域轮廓算法，通过调整阈值进行边界检测，通过逼近这些指标，来生成矩形区域，并计算其相应的顶点坐标；

抽取2D图纸的特征点模块在抽取2D图纸的矩形有效区域后，再在该矩形区域内进行特征点抽取；

2D图纸特征点匹配模块对抽取的典型特征点数据在数据库中进行匹配；由于移动设备的处理能力与速度限制，本方法采用加速健壮特征(SURF)算法进行特征点匹配。

其中，2D/3D数据混合可视化装置实现基于移动设备的2D/3D数据混合可视化，包括：

2D/3D数据混合可视化装置，包括3D模型几何转换模块、2D图纸的3D模型一致性处理模块；

3D模型几何转换模块在2D图纸矩形区域的4个坐标已知时，对2D图纸的旋转位置与姿势基于摄像头坐标系统进行计算，摄像头坐标系统将从2D图纸感兴趣区域(ROI)中获取；

2D图纸的3D模型一致性处理模块将实际图纸与虚拟3D图形进行叠加，通过接收的图形系统帧缓存中视频图像，进行3D模型的深度值以及3D图纸匹配后在指定位置进行重叠展示。

本发明还提供一种基于移动设备的2D、3D混合增强现实的实现系统。

请参见图2，图2为本发明基于移动设备的2D、3D混合增强现实的实现系统的示意图，本发明基于移动设备的2D、3D混合增强现实的实现系统20，包括：2D图纸管理服务器201、2D图纸识别装置202、2D/3D数据混合可视化装置203；

2D图纸管理服务器201，用于管理与配置；

2D图纸识别装置202，用于识别2D图纸；

2D/3D数据混合可视化装置203，用于实现基于移动设备的2D/3D数据混合可视化。

其中，2D图纸管理服务器201，包括：

图纸管理服务器配置模块2011、2D图纸信息管理模块2012、特征点匹配与查询模块2013；

图纸管理服务器配置模块2011，用于存储与管理视频图像、特征点以及2D图纸对应的3D模型，查找与来自于移动设备的特征点数据相关的2D图纸，传输2D图纸信息以及3D模型；

2D图纸信息管理模块2012，用于管理2D图纸中信息，管理所有的辅助信息，授权用户能够管理其授权访问的信息，管理在增强现实中用到的所有图像的信息；

特征点匹配与查询模块2013，用于当移动设备获取相关图像后，基于数据库DB管理系统中的信息进行特征点的匹配与查询，查找结果以可扩展标记语言XML的形式输出。

其中，2D图纸管理服务器201，还包括：

图纸模型库(图中未标示)，用于存储2D图纸对应的3D模型。

其中，2D图纸识别装置202，包括：

2D图纸特征点数据库2021、2D图纸区域检测模块2022、抽取2D图纸的特征点模块2023、2D图纸特征点匹配模块2024；

2D图纸特征点数据库2021，用于保存2D图纸图像、特征点数据、3D模型；

2D图纸区域检测模块2022，用于检测矩形有效图纸区域，包括：

2D图纸区域检测模块2022从向上扩展到向下扩展方式进行移动设备图像的去噪；

采用交互区域轮廓算法，通过调整阈值进行边界检测，通过逼近这些指标，来生成矩形区域，并计算其相应的顶点坐标；

抽取2D图纸的特征点模块2023，用于在抽取2D图纸的矩形有效区域后，再在该矩形区域内进行特征点抽取；

2D图纸特征点匹配模块2024，用于对抽取的典型特征点数据在数据库中进行匹配；由于移动设备的处理能力与速度限制，本方法采用加速健壮特征SURF算法进行特征点匹配。

其中，2D/3D数据混合可视化装置203，包括：

3D模型几何转换模块2031、2D图纸的3D模型一致性处理模块2032；

3D模型几何转换模块2031，用于在2D图纸矩形区域的4个坐标已知时，对2D图纸的旋转位置与姿势基于摄像头坐标系统进行计算，摄像头坐标系统将从2D图纸感兴趣区域ROI中获取；

2D图纸的3D模型一致性处理模块2032，用于将实际图纸与虚拟3D图形进行叠加，通过接收的图形系统帧缓存中视频图像，进行3D模型的深度值以及3D图纸匹配后在指定位置进行重叠展示。

本发明提供的基于移动设备的2D、3D混合增强现实的实现方法，包括：2D图纸管理服务器管理与配置；2D图纸识别装置识别2D图纸；2D/3D数据混合可视化装置实现基于移动设备的2D/3D数据混合可视化；本发明基于移动设备的2D、3D混合增强现实的实现方法通过移动设备视频进行设计图纸识别而不需要对图纸进行标记，并为了识别设计图纸，从视频图像中抽取边界点用于确定2D图纸区域，由于整个图像中的特征点是根据2D图纸区域的显示度匹配进行抽取，计算量远小于现有匹配方式，而识别率大大提高。

本发明提供的基于移动设备的2D、3D混合增强现实的实现系统20，包括：2D图纸管理服务器201、2D图纸识别装置202、2D/3D数据混合可视化装置203；2D图纸管理服务器201，用于管理与配置；2D图纸识别装置202，用于识别2D图纸；2D/3D数据混合可视化装置203，用于实现基于移动设备的2D/3D数据混合可视化；本发明基于移动设备的2D、3D混合增强现实的实现系统20通过移动设备视频进行设计图纸识别而不需要对图纸进行标记，并为了识别设计图纸，从视频图像中抽取边界点用于确定2D图纸区域，由于整个图像中的特征点是根据2D图纸区域的显示度匹配进行抽取，计算量远小于现有匹配方式，而识别率大大提高。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。而且，术语“包含”、“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系统要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个、、、、、、”限定的要素，并不排除在包括所述要素的过程、方法、物品、设备或者装置中还存在另外的相同要素。

对于本发明基于移动设备的2D、3D混合增强现实的实现方法及系统，实现的形式是多种多样的。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。