一种基于图片虚拟内容融合真实场景的实现方法及系统的制作方法
【专利摘要】本发明适用于图像融合领域，提供了一种基于图片虚拟内容融合真实场景的实现方法，包括以下步骤：A、将设备内部的图像进行读取、分析、识别并且利用摄像设备获取真实场景分析场景特征；B、利用识别结果激发不同的虚拟内容；C、利用图像特征追踪算法跟踪获取的场景图像特征点；D、在摄像设备空间中将激发的虚拟内容置于跟踪的特征点空间位置进行虚拟内容与真实场景融合。通过采用单一图片作为输入源，识别该图片从而激发虚拟内容；同时利用场景特征追踪技术，将虚拟内容置于用户的真实环境中，从而实现增强现实的效果，解除了特征图像激发虚拟内容的限制，促进了产业的发展。
【专利说明】一种基于图片虚拟内容融合真实场景的实现方法及系统
【技术领域】
[0001] 本发明属于动静融合领域，尤其涉及一种基于图片虚拟内容融合真实场景的实现 方法及系统。
【背景技术】
[0002] 增强现实（Augmented Reality,简称AR)，是在虚拟现实的基础上发展起来的新技 术。是通过计算机系统提供的信息增加用户对现实世界感知的技术，将虚拟的信息应用到 真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现 对现实的增强。
[0003] 目前，实现增强现实的必要条件是需具备识别图，即通过识别特定图像来激发虚 拟内容。此种方式大大限制了增强现实技术的应用，也在很大程度上阻碍了增强现实产业 的发展。
【发明内容】
[0004] 本发明一种基于图片虚拟内容融合真实场景的实现方法及系统，旨在解决现有技 术中通过特征图像来激发虚拟内容大大限制了增强现实技术的应用、很大程度阻碍产业发 展的问题。
[0005] 本发明是这样实现的，一种基于图片虚拟内容融合真实场景的实现方法，所述方 法包括以下步骤： A、 将设备内部的图像进行读取、分析、识别并且利用摄像设备获取真实场景分析场景 特征； B、 利用识别结果激发不同的虚拟内容； C、 利用图像特征追踪算法跟踪获取的场景图像特征点； D、 在摄像设备空间中将激发的虚拟内容置于跟踪的特征点空间位置进行虚拟内容与 真实场景融合。
[0006] 本发明的进一步技术方案是：所述步骤A包括以下步骤： A1、系统对硬件设备内的图像进行读取； A2、对读取到的图像进行数据分析获取图像的特征点； A3、将获取的图像特征点与数据库中图像进行对比得到识别结果； A4、系统利用摄像设备获取真实场景分析场景特征。
[0007] 本发明的进一步技术方案是：所述步骤C包括以下步骤： C1、给图像中每一个像素点赋予一个初始速度矢量形成图像运动场； C2、根据各个像素点的速度矢量特征对图像进行动态分析； C3、判断图像中是否有运动物体，若图像中没有运动物体，则光流矢量在整个图像区域 是连续变化的；若图像中有运动物体，目标和图像背景存在相对运动，运动物体所形成的速 度矢量必然和邻域背景速度矢量不同，从而检测出运动物体及位置； C4、获得图像特征点新的位置。
[0008] 本发明的进一步技术方案是：所述步骤D包括以下步骤： D1、根据得到图像特征点新的位置与原始位置，基于摄像头的物理参数计算出三维空 间内物体的平移、旋转与缩放矢量； D2、将激发的虚拟内容赋予得到的平移、旋转与缩放矢量完成虚拟内容与真实场景融 合。
[0009] 本发明的进一步技术方案是：所述步骤A2与A4中采用压缩后的较低分辨率，图 像均由彩色格式转换灰度格式。
[0010] 本发明的另一目的在于提供一种基于图片虚拟内容融合真实场景的实现系统，该 实现系统包括： 获取分析识别模块，用于将设备内部的图像进行读取、分析、识别并且利用摄像设备获 取真实场景分析场景特征； 虚拟内容激发模块，用于利用识别结果激发不同的虚拟内容； 场景特征点获取模块，用于利用图像特征追踪算法跟踪获取的场景图像特征点； 融合模块，用于在摄像设备空间中将激发的虚拟内容置于跟踪的特征点空间位置进行 虚拟内容与真实场景融合。
[0011] 本发明的进一步技术方案是：所述获取分析识别模块包括： 图像读取单元，用于系统对硬件设备内的图像进行读取； 图像分析单元，用于对读取到的图像进行数据分析获取图像的特征点； 图像识别单元，用于将获取的图像特征点与数据库中图像进行对比得到识别结果； 场景获取分析单元，用于系统利用摄像设备获取真实场景分析场景特征。
[0012] 本发明的进一步技术方案是：所述场景特征点获取模块包括： 形成图像运动场单元，用于给图像中每一个像素点赋予一个初始速度矢量形成图像运 动场； 动态分析单元，用于根据各个像素点的速度矢量特征对图像进行动态分析； 判断单元，用于判断图像中是否有运动物体，若图像中没有运动物体，则光流矢量在整 个图像区域是连续变化的；若图像中有运动物体，目标和图像背景存在相对运动，运动物体 所形成的速度矢量必然和邻域背景速度矢量不同，从而检测出运动物体及位置； 新位置获得单元，用于获得图像特征点新的位置。
[0013] 本发明的进一步技术方案是：所述融合模块包括： 三维空间计算单元，用于根据得到图像特征点新的位置与原始位置，基于摄像头的物 理参数计算出三维空间内物体的平移、旋转与缩放矢量； 虚拟真实融合单元，用于将激发的虚拟内容赋予得到的平移、旋转与缩放矢量完成虚 拟内容与真实场景融合。
[0014] 本发明的进一步技术方案是：所述图像分析单元与场景获取分析单元中采用压缩 后的较低分辨率，图像均由彩色格式转换灰度格式。
[0015] 本发明的有益效果是：通过采用单一图片作为输入源，识别该图片从而激发虚拟 内容；同时利用场景特征追踪技术，将虚拟内容置于用户的真实环境中，从而实现增强现实 的效果，解除了特征图像激发虚拟内容的限制，极大的扩展了增强现实技术的使用空间，也 为增强现实内容的传播提供了极大的便利性，促进了产业的发展。
【专利附图】
【附图说明】
[0016] 图1是本发明实施例提供的基于图片虚拟内容融合真实场景的实现方法的流程 图； 图2是本发明实施例提供的基于图片虚拟内容融合真实场景的实现方系统结构框图； 图3是本发明实施例提供的获取分析识别模块的结构框图； 图4是本发明实施例提供的场景特征点获取模块的结构框图； 图5是本发明实施例提供的融合模块的结构框图。
【具体实施方式】
[0017] 附图标记：10-获取分析识别模块 20-虚拟内容激发模块 30-场景特征点获 取模块40-融合模块 101-图像读取单元102-图像分析单元103-图像识别单元 104-场景获取分析单元301-形成图像运动场单元302-动态分析单元 303-判断单 元304-新位置获得单元 401-三维空间计算单元402-虚拟真实融合单元 图1示出了本发明提供的基于图片虚拟内容融合真实场景的实现方法的流程图，其详 述如下： 步骤S1中，在将系统启动初始化后，系统通过图像读取单元读取系统硬件设备中存取 的指定图像；在系统硬件设备中存取的图像文件均是用户通过摄像拍摄的照片或是通过其 他的途径获取的图片，将这些照片和图片存储到系统设备中的图像数据库中，供给后续需 要选择各种图像的来源。
[0018] 步骤S2中，系统对在步骤S1中获取的图像进行分析，获取到图像数据，根据图像 数据得到图像的特征点信息；在对图像进行分析的过程中首先将图像文件的分辨率进行统 一，将其分辨率压缩到较低，其中分辨率320*240大小，在将分辨率调整后对图像文件需要 进行格式转化，将图像的彩色格式转化为灰度格式，将转化格式后的图像利用二维图像亮 度变化距离的点或图像边缘曲线上具有曲率极大值的点分析图像角点的特征，并以分析的 图像角点特征作为图像特征点。
[0019] 步骤S3中，将获取的图像特征点信息与数据库中特想进行对比得到识别结果；利 用局部随机二值特征，分别计算在步骤S2中获取的特征点信息和数据库中图像的特征描 述信息，在通过各个角点的描述信息来判断他们在两张图像中的对应关系，去除两张图片 中错误匹配的外点，保留下正确匹配的内点，当保留的正确北配特征点的数量超过了设定 的阈值，则判断为识别成功进如下一个步骤；若识别不成功，则返回步骤S2中从新对图片 进行循环处理直到识别成功为止。
[0020] 步骤S4中，在系统启动初始化后，系统冋时还利用摄像设备摄录动态是真实场 景，并且对摄录的真是长的图像特征点进行分析；在对摄录的真实场景特想进行分析中 要对获取的真实场景图像的分辨率进行统一的压缩，将其分辨率压缩到较低，其中分辨率 320*240大小，分辨率处理后对摄录的图像的格式进行转化，将其彩色格式转化为灰度格 式，将转化格式后的图像利用二维图像亮度变化距离的点或图像边缘曲线上具有曲率极大 值的点分析图像角点的特征，并以分析的图像角点特征作为图像特征点。
[0021] 步骤S5中，系统利用步骤S3中得到的识别结果激发不同的虚拟内容，依据步骤S3 中的识别结果得到识别到的目标编号，按照编号在数据库中检索出相对应的虚拟内容。
[0022] 步骤S6中，系统利用图像特征追踪算法跟踪步骤S4获取的场景图像特征点；对追 踪的成精图像中的每一个像素点赋予一个初始速度矢量，使其形成场景图像运动场，在运 行的特定时刻，使其图像上的点鱼三维物体上的点一一对应，这种对应关系可以由投影关 系得到，根据各个像素点的所读矢量特征，对图像进行动态分析，判断图像中是否有运动的 物体，如果图像中没有物体在运动，则光流矢量在整个图像区域是连续变化的；如果图像中 有运动的物体，则目标和图像背景存在相对运动，运动物体所形成的速度矢量必然和邻域 背景矢量不同，从而检测出运动物体及位置，使其得到场景图像特征点的新位置。
[0023] 步骤S7中，将静态图像转化成虚拟内容和动态的真实场景均准备妥当后，在摄像 设备空间中将步骤S5激发的虚拟内容置于步骤S6中跟踪的特征点空间位置，将虚拟内容 与真实场景进行融合；根据步骤S6中得到的场景图像特征点新的位置与原始位置，依据摄 像头的物理参数计算出在三维图像空间内物体的平移、旋转与缩放矢量，这时将激发的虚 拟内容赋予计算出来在三维空间内物体的平移、旋转与缩放矢量上，就实现了虚拟内容与 真实场景的完整融合。
[0024] 通过采用单一图片作为输入源，识别该图片从而激发虚拟内容；同时利用场景特 征追踪技术，将虚拟内容置于用户的真实环境中，从而实现增强现实的效果，解除了特征图 像激发虚拟内容的限制，促进了产业的发展。
[0025] 本发明的另一目的在于提供一种基于图片虚拟内容融合真实场景的实现系统，该 实现系统包括 ： 获取分析识别模块10,用于将设备内部的图像进行读取、分析、识别并且利用摄像设备 获取真实场景分析场景特征； 虚拟内容激发模块20,用于利用识别结果激发不同的虚拟内容； 场景特征点获取模块30,用于利用图像特征追踪算法跟踪获取的场景图像特征点； 融合模块40,用于在摄像设备空间中将激发的虚拟内容置于跟踪的特征点空间位置进 行虚拟内容与真实场景融合。
[0026] 所述获取分析识别模块10包括： 图像读取单元101，用于系统对硬件设备内的图像进行读取； 图像分析单元102,用于对读取到的图像进行数据分析获取图像的特征点； 图像识别单元103,用于将获取的图像特征点与数据库中图像进行对比得到识别结 果； 场景获取分析单元104,用于系统利用摄像设备获取真实场景分析场景特征。
[0027] 所述场景特征点获取模块30包括： 形成图像运动场单元301，用于给图像中每一个像素点赋予一个初始速度矢量形成图 像运动场； 动态分析单元302,用于根据各个像素点的速度矢量特征对图像进行动态分析； 判断单元303,用于判断图像中是否有运动物体，若图像中没有运动物体，则光流矢量 在整个图像区域是连续变化的；若图像中有运动物体，目标和图像背景存在相对运动，运动 物体所形成的速度矢量必然和邻域背景速度矢量不同，从而检测出运动物体及位置； 新位置获得单元304,用于获得图像特征点新的位置。
[0028] 所述融合模块40包括： 三维空间计算单元401，用于根据得到图像特征点新的位置与原始位置，基于摄像头的 物理参数计算出三维空间内物体的平移、旋转与缩放矢量； 虚拟真实融合单元402，用于将激发的虚拟内容赋予得到的平移、旋转与缩放矢量完成 虚拟内容与真实场景融合。
[0029] 所述图像分析单元与场景获取分析单元中采用压缩后的较低分辨率，图像均由彩 色格式转换灰度格式。
[0030] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【权利要求】
1. 一种基于图片虚拟内容融合真实场景的实现方法，其特征在于，所述方法包括以下 步骤： A、 将设备内部的图像进行读取、分析、识别并且利用摄像设备获取真实场景分析场景 特征； B、 利用识别结果激发不同的虚拟内容； C、 利用图像特征追踪算法跟踪获取的场景图像特征点； D、 在摄像设备空间中将激发的虚拟内容置于跟踪的特征点空间位置进行虚拟内容与 真实场景融合。
2. 根据权利要求1所述的实现方法，其特征在于，所述步骤A包括以下步骤： A1、系统对硬件设备内的图像进行读取； A2、对读取到的图像进行数据分析获取图像的特征点； A3、将获取的图像特征点与数据库中图像进行对比得到识别结果； A4、系统利用摄像设备获取真实场景分析场景特征。
3. 根据权利要求2所述的实现方法，其特征在于，所述步骤C包括以下步骤： C1、给图像中每一个像素点赋予一个初始速度矢量形成图像运动场； C2、根据各个像素点的速度矢量特征对图像进行动态分析； C3、判断图像中是否有运动物体，若图像中没有运动物体，则光流矢量在整个图像区域 是连续变化的；若图像中有运动物体，目标和图像背景存在相对运动，运动物体所形成的速 度矢量必然和邻域背景速度矢量不同，从而检测出运动物体及位置； C4、获得图像特征点新的位置。
4. 根据权利要求3所述的实现方法，其特征在于，所述步骤D包括以下步骤： D1、根据得到图像特征点新的位置与原始位置，基于摄像头的物理参数计算出三维空 间内物体的平移、旋转与缩放矢量； D2、将激发的虚拟内容赋予得到的平移、旋转与缩放矢量完成虚拟内容与真实场景融 合。
5. 根据权利要求3所述的实现方法，其特征在于，所述步骤A2与A4中采用压缩后的较 低分辨率，图像均由彩色格式转换灰度格式。
6. -种基于图片虚拟内容融合真实场景的实现系统，其特征在于，该实现系统包括： 获取分析识别模块，用于将设备内部的图像进行读取、分析、识别并且利用摄像设备获 取真实场景分析场景特征； 虚拟内容激发模块，用于利用识别结果激发不同的虚拟内容； 场景特征点获取模块，用于利用图像特征追踪算法跟踪获取的场景图像特征点； 融合模块，用于在摄像设备空间中将激发的虚拟内容置于跟踪的特征点空间位置进行 虚拟内容与真实场景融合。
7. 根据权利要求6所述的实现系统，其特征在于，所述获取分析识别模块包括： 图像读取单元，用于系统对硬件设备内的图像进行读取； 图像分析单元，用于对读取到的图像进行数据分析获取图像的特征点； 图像识别单元，用于将获取的图像特征点与数据库中图像进行对比得到识别结果； 场景获取分析单元，用于系统利用摄像设备获取真实场景分析场景特征。
8. 根据权利要求7所述的实现系统，其特征在于，所述场景特征点获取模块包括： 形成图像运动场单元，用于给图像中每一个像素点赋予一个初始速度矢量形成图像运 动场； 动态分析单元，用于根据各个像素点的速度矢量特征对图像进行动态分析； 判断单元，用于判断图像中是否有运动物体，若图像中没有运动物体，则光流矢量在整 个图像区域是连续变化的；若图像中有运动物体，目标和图像背景存在相对运动，运动物体 所形成的速度矢量必然和邻域背景速度矢量不同，从而检测出运动物体及位置； 新位置获得单元，用于获得图像特征点新的位置。
9. 根据权利要求7所述的实现系统，其特征在于，所述融合模块包括： 三维空间计算单元，用于根据得到图像特征点新的位置与原始位置，基于摄像头的物 理参数计算出三维空间内物体的平移、旋转与缩放矢量； 虚拟真实融合单元，用于将激发的虚拟内容赋予得到的平移、旋转与缩放矢量完成虚 拟内容与真实场景融合。
10. 根据权利要求6所述的实现系统，其特征在于，所述图像分析单元与场景获取分析 单元中采用压缩后的较低分辨率，图像均由彩色格式转换灰度格式。
【文档编号】G06T7/00GK104156998SQ201410388313
【公开日】2014年11月19日 申请日期:2014年8月8日 优先权日:2014年8月8日
【发明者】谈飞, 孙鸿玉 申请人:深圳中科呼图信息技术有限公司