专利名称：一种基于网络的增强现实物体识别分析方法
技术领域：
本发明属于移动增强现实技术领域，应用计算机视觉技术中的图像增强使智能设 备具备增强现实的识别功能，对当前环境中的信息进行识别和检测，检测后进行相应的增 强，进而实现多种应用。
背景技术：
随着各种智能设备的迅速发展，如今配备摄像头已经成为智能设备的基本设置之 一，在越加强大的图像处理器支持下，智能设备中的摄像头不再局限于拍照这种简单的功 能，使用摄像头对当前场景进行图像帧的采集和分析操作，已经被广泛应用在各种智能个 人设备上，如智能手机。这些基于摄像头的应用通常集中在导航、游戏等一些特定的领域， 配合事先通过其他设备获得的大量数据，用以从图像中分析出预定的场景状态或者动作信 号，实现相应的功能。但是，这样的识别过程，首先，需要依赖智能设备的中的其他配件，例 如，对于导航而言，智能设备中必须配备GPS模块，对于游戏中的应用，则需要红外组件/重 力感应等配合实现，其次，这样的特定应用，并不能给使用者提供有关于该场景中被摄物体 的实时信息，也不能提供有关被摄物体的全面信息，只能依赖于现有的数据。因此，识别受 到了严格的限制，应用也难以扩展。一般的智能设备并不必备GPS等辅助功能模块，但基本的通信模块却是不可缺少 的，特别是随着3G网络这种新一代无线通信网络技术的蓬勃发展，数据传输的速度得到了 显著的提高，基于数据的各种应用日益受到使用者的青睐，在这种情况下，无需依赖其他辅 助功能模块就可实现的场景识别以及基于识别信息的各种深度应用具有极大客户的需求 和经济发展前景，不仅有助于帮助各种网络运营商和内容提供商发展其业务，更有助于简 化智能设备的硬件配置，从而使之更加轻薄。同时，基于C/S架构系统的各种应用得以充分 利用相对于智能设备而言性能更加优异的网络服务器端，使得应用不受限于智能设备数据 处理能力。
发明内容
本发明提供一种基于网络的增强现实(AR)物体识别分析方法，以及相应的系统 和应用。根据本发明的物体识别分析方法，使用智能设备的摄像头对当前场景进行图像采 集，并利用AR识别技术，对被采集场景内的物体进行识别，依靠互联网或其它通信手段，提 供被识别物体的各种信息，并在这些信息上附加进一步的各种应用，为使用者获取该物品 的相关信息提供一种更为便利的手段。根据本发明的一种基于网络的增强现实(AR)物体识别分析方法，包括，(a)使用智能终端的拍摄设备，采集当前场景的视频帧；(b)对采集获得的当前场景视频帧进行处理，提取表示当前场景的视频帧的H0G 特征，通过通信模块向网络端服务器发送所述H0G特征；(c)网络端服务器接收所述H0G特征，并且网络服务器端储存有多个物体模板，取各物体的SVM (Support Vector Machine)分类器，将收到的当前场景HOG特征描述与服 务器端的各SVM分类器相匹配，找到匹配成功的一分类器以将当前场景的内各物体成功归 类；(d)输出分类结果，并发送给智能终端；(e)智能终端显示上述分类结果，用户可以点击上述分类结果，查看详细信息。相应的，根据本发明的方法，还提供了一种基于网络的增强现实物体识别分析系 统，包括客户端和网络服务端，其中，所述客户端包括智能设备，所述智能设备具有图像获 取模块和H0G特征提取模块，采集当前场景的视频帧，对采集到的视频帧进行处理，提取表 示当前场景的视频帧的H0G特征；以及通信模块和显示模块，向网络端服务器发送所述H0G 特征，显示网络服务器端返回的结果；所述网络服务器端具有接收模块，接收发送的所述H0G特征点；识别模块，基于网络服务器端储存有多个物体模板，读取各物体的SVM(Supp0rt Vector Machine)分类器，将收到的当前场景HOG特征描述与服务器端的各SVM分类器相匹 配，找到匹配成功的一分类器以将当前场景的内各物体成功归类；发送模块，将匹配的模板发送给智能终端；根据本发明的基于网络的增强现实(AR)物体识别分析方法，使用成熟的C/S架 构，实现基于视觉的增强现实，能够使用智能设备实时获取当前场景的视频帧，通过对视频 帧图像的H0G特征提取和SVM分类，实时检测出当前场景内的各物体种类，进而提供进一步 的附加信息，扩展了智能终端的交互式应用，满足了教育、零售、交通、酒店服务等在智能终 端上的扩展应用，使网络运营商和内容提供商能够利用其丰富的服务器资源和优越的服务 器性能发展其业务。
图1示出了本发明的基于网络的增强现实(AR)物体识别分析方法流程图；图2为示出了本发明的H0G特征提取流程图；图3为本发明的网络服务器端物体样本训练流程图；图4a_4c为本发明的物体识别方法使用在水果场景的示意图。
具体实施例方式下面将结合附图对本发明的物体识别分析方法做详细描述，图1示出了本发明的 基于网络的增强现实(AR)物体识别分析方法流程，包括以下基本步骤，(a)用户打开智能 终端的拍摄设备，采集当前场景的视频帧，(b)对采集获得的当前场景视频帧进行处理，提 取表示当前场景的H0G特征，(c)网络端服务器接收所述H0G特征，并且网络服务器端储存 有多个物体模板，读取各物体的SVM (Support Vector Machine)分类器，将收到的当前场景 H0G特征描述与服务器端的各SVM分类器相匹配，找到匹配成功的一分类器以将当前场景 的内各物体成功归类；(d)输出分类结果，并发送给智能终端；(e)智能终端在当前场景上 叠加显示上述分类结果，用户可以点击上述分类结果，查看详细信息。在图1所示的方法流程中，步骤(a)、(d)、(e)涉及智能终端拍摄视频图像，根据相 应的应用要求，处理并显示来自网络服务器端的数据，这些步骤在目前的智能终端上均已经广泛实施，这些已有实施方式均可用于本发明，且本发明的视频图像拍摄、处理并显示来 自网络服务器端的数据不限于现有的方式。以下对步骤(b)和(c)的实现详细描述。视频帧处理，提取场景的H0G特征提取表现当前场景的H0G特征通过对拍摄获取的当前场景视频帧进行图像处理 实现，H0G特征以特征向量的形式表现，用以表征一幅图像的特征。因此通过对拍摄获得的 表现当前场景的一幅或几幅视频帧图像进行处理，以获得表现当前场景的H0G特征。以下 部分以处理一幅视频帧图像为例进行说明首先，可以对该视频帧通过建立尺度金字塔，实现尺度空间的概念，在尺度金字塔 的每层，将图像转换为RGBA空间的图像，以提取H0G特征；上述建立尺度金字塔和转换图像 为RGBA空间图像的步骤可互换。具体的，对于某幅图像，如图2所述，获得H0G特征的步骤 为，1)对于转换得到的上述RGBA图像，创建窗口图像所述创建窗口图像的过程为设 定检测窗口的尺寸，该检测窗口从所述转换得到的RGBA图像上获取与检测窗口大小一致 的图像，其中检测窗口的大小可依据待处理的图像大小以及场景特征决定，例如，对于场景 特征为物体较为单一的大尺寸图像，可以设定较大尺寸的检测窗口，如200 X 200像素，而 对于场景特征为物体较为丰富的图像，则可以设定小尺寸的检测窗口 ；2)对上述获得的窗口图像实施标准化ga_a空间和颜色空间，以减少光照因素的 影响，这种处理压缩了图像，能够有效地降低图像局部的阴影和光照变化，并且成为灰度图 以减少不必要的信息处理量；其中Gamma 压缩公式I (x, y) = I (x, y) gamma,例如，取 Gamma = 1/23)计算梯度计算上述步骤2)获得的压缩图像的一阶梯度。一般的，梯度计算通 过求导操作获得，这样不仅能够捕获轮廓，人影和一些纹理信息，还能进一步弱化光照的影 响，其中，
权利要求
1.一种基于网络的增强现实(AR)物体识别分析方法，包括以下步骤 (a)使用智能终端的拍摄设备，采集当前场景的视频帧； (b)对采集获得的当前场景视频帧进行处理，提取表示当前场景的视频帧HOG特征，通过通信模块向网络端服务器发送所述HOG特征； (c)网络端服务器接收所述HOG特征，并且网络服务器端储存有多个物体模板，读取各物体的SVM (Support Vector Machine)分类器,将收到的当前场景HOG特征描述与服务器端的各SVM分类器相匹配，找到匹配成功的一分类器以将当前场景的内各物体成功归类； (d)输出分类结果，并发送给智能终端； (e)智能终端显示上述分类结果，用户可以点击上述分类结果，查看详细信息。
2.如权利要求I的一种基于网络的增强现实(AR)物体识别分析方法，其特征在于所述(c)步骤所述的匹配为服务器使用获得的表示当前场景的HOG特征询问储存在服务器内的不同SVM分类器，在不同分类器中用当前场景的HOG特征向量与分类器的模板HOG向量进行对比，输出分值最高的并且大于设定的阈值的分类器模板。
3.如权利要求2的一种基于网络的增强现实(AR)物体识别分析方法，所述的SVM分类器通过预先离线训练获得。
4.如权利要求3的一种基于网络的增强现实(AR)物体识别分析方法，所述离线训练包括对样本物进行分割，以部件的方式进行训练。
5.如权利要求I的一种基于网络的增强现实(AR)物体识别分析方法，所述步骤(b)中提取表示当前场景的HOG特征包括对采集的视频帧建立尺度金字塔，在尺度金字塔的每层，将图像转换为RGBA空间的图像，以提取HOG特征。
6.如权利要求5的一种基于网络的增强现实(AR)物体识别分析方法，所述HOG特征提取还包括， 对转换得到的RGBA图像进行设定检测窗口 ； 对窗口图像实施标准化gamma空间和颜色空间； 计算梯度，创建单元格将梯度投影到单元格的梯度方向； 将所有单元格在块上进行归一化； 收集检测空间的所有块的HOG特征形成表示所述视频帧的HOG特征。
7.一种基于网络的增强现实物体识别分析系统，包括客户端和网络服务端，其中，所述客户端包括智能设备，所述智能设备具有图像获取模块和HOG特征提取模块，采集当前场景的视频帧，对采集到的视频帧进行处理，提取表示当前场景的视频帧的HOG特征；以及通信模块和显示模块，向网络端服务器发送所述HOG特征，显示网络服务器端返回的结果； 所述网络服务器端具有接收模块，接收发送的所述HOG特征点； 识别模块，基于网络服务器端储存有多个物体模板，读取各物体的SVM(SupportVector Machine)分类器，将收到的当前场景HOG特征描述与服务器端的各SVM分类器相匹配，找到匹配成功的一分类器以将当前场景的内各物体成功归类；以及 发送模块，将匹配的模板发送给智能终端。
8.一种基于权利要求1-5之一所述方法的应用。
全文摘要
本发明涉及一种基于网络的增强现实(AR)物体识别分析方法，通过智能终端的拍摄设备，对采集的当前场景进行处理，提取表示当前场景的HOG特征，通过在网络端服务器接收所述HOG特征，由于在网络服务器端预先储存有多个物体模板，通过读取各物体的SVM分类器，将接收到的当前场景HOG特征描述与服务器端的各SVM分类器相匹配，找到匹配成功的一分类器以将当前场景的内各物体成功归类，最终将输出分类结果，并发送给智能终端；智能终端在当前场景上叠加显示上述分类结果，用户可以点击上述分类结果，查看详细信息。
文档编号H04N7/18GK102663448SQ20121005769
公开日2012年9月12日 申请日期2012年3月7日 优先权日2012年3月7日
发明者刘越, 桂振文, 王涌天 申请人:北京理工大学