一种基于AR技术的社交方法和系统与流程

本发明涉及计算机视觉技术领域，具体地涉及一种基于ar技术的社交方法和系统。

背景技术

目前，随着电子技术的快速发展，增强现实(ar)通过实时计算摄像头的位置和角度，并加上相应图像和视频等虚拟信息达到与现实世界进行融合的场景效果，是近年来计算机视觉与人机交互领域备受关注的热点。

现有技术中，虽然存在基于ar技术实现社交的方法，如公布号为cn107040890的公开的基于ar技术的社交方法、系统及空间位置信息计算方法，但是其只是提高了定位精度；实现虚拟信息与现实信息的高度融合匹配是实现增强现实的关键。而现有技术中鲜有对虚拟信息和现实信息进行匹配的技术，如何能够让ar更加智能化，人性化，提高其运行效率，增强用户舒适度成为新的研究课题，但是现有ar技术信息匹配准确性以及效率较低；且主要是针对视频影像的处理，没有涉及语音效果的匹配，因此，一种能够增加ar智能化程度的增强显示匹配技术成为了改进ar效果的迫切需求，从而改善用户的体验。

技术实现要素：

为解决上述技术问题，本发明提供一种基于ar技术的社交方法和系统，本发明的基于ar技术的社交方法显著了提高虚拟信息与现实信息融合效率，且在准确率方面大大增强，增强用户体验；一种基于ar技术的社交方法，其特征在于，包括步骤：获取显示面前方的影像信息；对影像信息进行预处理，根据预处理后的特征信息匹配云平台数据库中的虚拟影像信息，对预处理后的特征信息与匹配成功的虚拟影像信息进行编码、传输，把预处理后的特征信息和虚拟影像信息分别解码后叠加显示；所述影像信息包括视频信息、语音信息、方位信息，视频信息、语音信息由显示面上的视频采集组件获取，方位信息由gps或基站进行定位；匹配包括如下步骤：获取的影像信息经过预处理后的信息包括像素点信息、以及像素点对应的方位信息，形成三维立方体特征值，立方体中的每个位置加入一个权值，来表示该位置像素点的作用大小，搜寻立方体每移动一次，就形成一个新的加权模板，加权模板的大小和形状与搜寻立方体一致，加权模板中相应位置的权值由该位置像素点到中心像素点的空间距离和与中心像素的相关程度确定，相关程度由距离函数fd和相似度函数fs表示，其中，fd(i,j)＝fd(deu(i,j))，fs(i,j)＝fs(drv(gi,gj))，deu(i,j)是像素i和像素j之间的欧几里得距离，drv(gi,gj)是像素i和像素j之间相异度测量距离函数fd是各向同性的高斯函数的一个应用，其中，kd是标准常量，σd是高斯核的标准误差，像素i和像素j的距离越远，距离函数的值越小，同样地，相似性函数fs也是一个高斯型函数，ks是标准常量，σs是高斯核的标准误差，r(gi,gj)是相关系数，r(gi,gj)的值与像素i、像素j两者之间的相似度正相关，k是一个常量，用它来保证高斯型过滤核中分散的离散变量的值相加结果为1，参数α和β用来平衡距离函数和相似性函数的作用，它们的取值在0到1之间，取0则代表没有作用，取1则代表作用很大；若像素点i为类心点，像素点j为待分类体素点，则两点之间的加权rv计算wrv(i,j)＝rv(xfi,yfj)，x是n×p的矩阵，由以类心i为中心的立方体包含的像素点集组成，y是n×q的矩阵，由以像素点j为中心的立方体包含的像素点集组成，fi是p×p的矩阵，fj是q×q的矩阵。

优选地，所述显示面为手机屏幕或电脑显示屏。

优选地，还包括声控系统，对语音预处理时根据距离和/或遮挡因素进行分贝调节输出，以逼真真实环境。

优选地，在步骤获取显示面前方的影像信息之前还包括型号判断模块，型号判断模块根判断确认cpu型号、屏幕版本、系统版本、操作系统，根据不同的机型型号以采集不同分辨率的影像信息。

优选地，所述预处理包括对图像信息的滤波去噪，特征提取；以及对图像像素、语音信息方位信息的确定。

优选地，所述编码包括：视频编码、音频编码、分辨率控制、帧率控制；所述传输过程包括流接受、流处理、流分类；所述解码包括音频同步，降噪、回声控制。

本发明还包括一种基于ar技术的社交系统，一种基于ar技术的社交系统，包括影像获取模块：获取显示面前方的影像信息，所述显示面为手机显示屏或电脑显示屏；预处理模块：对影像信息进行预处理，还包括声控系统，对语音预处理时根据距离和/或遮挡因素进行分贝调节输出，以逼真真实环境；匹配模块：根据预处理后的特征信息匹配云平台数据库中的虚拟影像信息，对预处理后的特征信息与匹配成功的虚拟影像信息进行编码、传输；融合模块：把预处理后的特征信息和虚拟影像信息分别解码后叠加显示；所述影像信息包括视频信息、语音信息、方位信息，视频信息、语音信息由显示面上的视频采集组件获取，方位信息由gps或基站进行定位；所述匹配模块还包括：获取的影像信息经过预处理后的信息包括像素点信息、以及像素点对应的方位信息，形成三维立方体特征值，立方体中的每个位置加入一个权值，来表示该位置像素点的作用大小，搜寻立方体每移动一次，就形成一个新的加权模板，加权模板的大小和形状与搜寻立方体一致，加权模板中相应位置的权值由该位置像素点到中心像素点的空间距离和与中心像素的相关程度确定，相关程度由距离函数fd和相似度函数fs表示，其中，fd(i,j)＝fd(deu(i,j))，fs(i,j)＝fs(drv(gi,gj))，deu(i,j)是像素i和像素j之间的欧几里得距离，drv(gi,gj)是像素i和像素j之间相异度测量距离函数fd是各向同性的高斯函数的一个应用，，其中，kd是标准常量，σd是高斯核的标准误差，像素i和像素j的距离越远，距离函数的值越小，同样地，相似性函数fs也是一个高斯型函数，ks是标准常量，σs是高斯核的标准误差，r(gi,gj)是相关系数，r(gi,gj)的值与像素i、像素j两者之间的相似度正相关，k是一个常量，用它来保证高斯型过滤核中分散的离散变量的值相加结果为1，参数α和β用来平衡距离函数和相似性函数的作用，它们的取值在0到1之间，取0则代表没有作用，取1则代表作用很大；若像素点i为类心点，像素点j为待分类体素点，则两点之间的加权rv计算wrv(i,j)＝rv(xfi,yfj)，x是n×p的矩阵，由以类心i为中心的立方体包含的像素点集组成，y是n×q的矩阵，由以像素点j为中心的立方体包含的像素点集组成，fi是p×p的矩阵，fj是q×q的矩阵，p＝q＝27。

优选地，在步骤获取显示面前方的影像信息之前还包括型号判断模块，型号判断模块根判断确认cpu型号、屏幕版本、系统版本、操作系统，根据不同的机型型号以采集不同分辨率的影像信息。

优选地，所述预处理包括对图像信息的滤波去噪，特征提取；以及对图像像素、语音信息方位信息的确定。

优选地，所述编码包括：视频编码、音频编码、分辨率控制、帧率控制；所述传输过程包括流接受、流处理、流分类；所述解码包括音频同步，降噪、回声控制。

与现有技术相比，本发明的技术方案具有以下有益效果：

解决了传统技术中ar技术虚拟影像信息与现实信息匹配准确性以及效率较低的问题；且解决了现有技术中ar主要是针对视频影像的处理，没有涉及语音效果的匹配，因此，一种能够增加ar智能化程度的增强显示匹配技术成为了改进ar效果的迫切需求，从而改善用户的体验。

附图说明

图1是本发明一种基于ar技术的社交系统图；

图2是本发明的海量数据云平台数据库架构图。

具体实施方式

本领域技术人员理解，如背景技术所言，传统的ar技术虚拟信息与现实信息融合效率较低，且在准确率方面大大较差，用户体验比较差，因此，需要设计一款能够大大增强融合效率以及提高准确率的ar系统及方法。为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

实施例1：

图1示出了本申请的一种基于ar技术的社交系统系统图，在一些实施例中，例如qq视频，语音视频过程中，通常视频背景信息为自己房间或工作室或者室外一些常驻地，通过图像、视频等采集将这些信息整合，形成云平台数据库，云平台数据库根据采集的信息或者百度街景、谷歌街景信息进行加工，形成三维立体增强现实数据库，再进行视频式，会自动匹配背景信息与现实信息进行虚拟现实，达到身临其境的效果，具体实施中，一种基于ar技术的社交方法，包括步骤：获取显示面前方的影像信息；对影像信息进行预处理，根据预处理后的特征信息匹配云平台数据库中的虚拟影像信息，对预处理后的特征信息与匹配成功的虚拟影像信息进行编码、传输，把预处理后的特征信息和虚拟影像信息分别解码后叠加显示；所述影像信息包括视频信息、语音信息、方位信息，视频信息、语音信息由显示面上的视频采集组件获取，方位信息由gps或基站进行定位；匹配包括如下步骤：获取的影像信息经过预处理后的信息包括像素点信息、以及像素点对应的方位信息，形成三维立方体特征值，立方体中的每个位置加入一个权值，来表示该位置像素点的作用大小，搜寻立方体每移动一次，就形成一个新的加权模板，加权模板的大小和形状与搜寻立方体一致，加权模板中相应位置的权值由该位置像素点到中心像素点的空间距离和与中心像素的相关程度确定，相关程度由距离函数fd和相似度函数fs表示，其中，fd(i,j)＝fd(deu(i,j))，fs(i,j)＝fs(drv(gi,gj))，deu(i,j)是像素i和像素j之间的欧几里得距离，drv(gi,gj)是像素i和像素j之间相异度测量距离函数fd是各向同性的高斯函数的一个应用，，其中，kd是标准常量，σd是高斯核的标准误差，像素i和像素j的距离越远，距离函数的值越小，同样地，相似性函数fs也是一个高斯型函数，ks是标准常量，σs是高斯核的标准误差，r(gi,gj)是相关系数，r(gi,gj)的值与像素i、像素j两者之间的相似度正相关，k是一个常量，用它来保证高斯型过滤核中分散的离散变量的值相加结果为1，参数α和β用来平衡距离函数和相似性函数的作用，它们的取值在0到1之间，取0则代表没有作用，取1则代表作用很大；若像素点i为类心点，像素点j为待分类体素点，则两点之间的加权rv计算wrv(i,j)＝rv(xfi,yfj)，x是n×p的矩阵，由以类心i为中心的立方体包含的像素点集组成，y是n×q的矩阵，由以像素点j为中心的立方体包含的像素点集组成，fi是p×p的矩阵，fj是q×q的矩阵，在一些实施例中，设置p＝q＝27。

实施例二：

在本实施例中对以上发明进行详细说明，其中，所述显示面优选的是，为手机屏幕或电脑显示屏，在一些实施例中显示面也可以为投影面，但不限于上述显示面，包括一切呈现光源的面。

在一些实施例中，还包括声控系统，对语音预处理时根据距离和/或遮挡因素进行分贝调节输出，以逼真真实环境，其中，还包括遮挡判断模块，根据遮挡类型进行分贝选择，当是全遮挡时，则分别调节至最小加权项，当是半遮挡时，分别调节至中间加权项，当没有遮挡时则进行正常分贝播放。

在一些实施例中，在步骤获取显示面前方的影像信息之前还包括型号判断模块，型号判断模块根判断确认cpu型号、屏幕版本、系统版本、操作系统，根据不同的机型型号以采集不同分辨率的影像信息，在信号判断前还包括类型判断部分，例如，手机，ipad，电脑等不同类型的电子器件则采用不同的ar显示效果。

在一些实施例中，所述预处理包括对图像信息的滤波去噪，特征提取；以及对图像像素、语音信息方位信息的确定，其中，滤波去噪采用频域去噪方式，将图像信息经过傅立叶变换到频域，在频域中选择合适频段进行滤波；语音信息方位信息确定包括将与音数据映到三维图像数据中，根据语音数据在三维图像中的位置，判断是否有遮挡，以及进行分贝选择。

其中，所述编码包括：视频编码、音频编码、分辨率控制、帧率控制；所述传输过程包括流接受、流处理、流分类；所述解码包括音频同步，降噪、回声控制。

实施例三：

与以上方法实施例相对应，本发明还包括一种基于ar技术的社交系统，一种基于ar技术的社交系统，包括影像获取模块：获取显示面前方的影像信息，所述显示面为手机显示屏或电脑显示屏；预处理模块：对影像信息进行预处理，还包括声控系统，对语音预处理时根据距离和/或遮挡因素进行分贝调节输出，以逼真真实环境；匹配模块：根据预处理后的特征信息匹配云平台数据库中的虚拟影像信息，对预处理后的特征信息与匹配成功的虚拟影像信息进行编码、传输；融合模块：把预处理后的特征信息和虚拟影像信息分别解码后叠加显示；所述影像信息包括视频信息、语音信息、方位信息，视频信息、语音信息由显示面上的视频采集组件获取，方位信息由gps或基站进行定位；所述匹配模块还包括：获取的影像信息经过预处理后的信息包括像素点信息、以及像素点对应的方位信息，形成三维立方体特征值，立方体中的每个位置加入一个权值，来表示该位置像素点的作用大小，搜寻立方体每移动一次，就形成一个新的加权模板，加权模板的大小和形状与搜寻立方体一致，加权模板中相应位置的权值由该位置像素点到中心像素点的空间距离和与中心像素的相关程度确定，相关程度由距离函数fd和相似度函数fs表示，其中，fd(i,j)＝fd(deu(i,j))，fs(i,j)＝fs(drv(gi,gj))，deu(i,j)是像素i和像素j之间的欧几里得距离，drv(gi,gj)是像素i和像素j之间相异度测量，g表示像素的i的相异度，距离函数fd是各向同性的高斯函数的一个应用，其中，kd是标准常量，σd是高斯核的标准误差，像素i和像素j的距离越远，距离函数的值越小，同样地，相似性函数fs也是一个高斯型函数，ks是标准常量，σs是高斯核的标准误差，r(gi,gj)是相关系数，r(gi,gj)的值与像素i、像素j两者之间的相似度正相关，k是一个常量，用它来保证高斯型过滤核中分散的离散变量的值相加结果为1，参数α和β用来平衡距离函数和相似性函数的作用，它们的取值在0到1之间，取0则代表没有作用，取1则代表作用很大；若像素点i为类心点，像素点j为待分类体素点，则两点之间的加权rv计算wrv(i,j)＝rv(xfi,yfj)，x是n×p的矩阵，由以类心i为中心的立方体包含的像素点集组成，y是n×q的矩阵，由以像素点j为中心的立方体包含的像素点集组成，fi是p×p的矩阵，fj是q×q的矩阵，p＝q＝27。

实施例四：

在一些实施例中，当遮挡消失或者用户不在相机感知区域时，根据不同时刻图像的位置计算搜算框，并提取搜索框中的图像，计算映射中心线，映射到搜索框的工作空间，计算中心线与搜索框的交点，将交点定位关节点，并在彩色空间中更新，重新扩大搜索框的大小，进一步在三维立体空间中进行搜索。

其中，在步骤获取显示面前方的影像信息之前还包括型号判断模块，型号判断模块判断确认cpu型号、屏幕版本、系统版本、操作系统，根据不同的机型型号以采集不同分辨率的影像信息。

在一些实施例中，所述预处理包括对图像信息的滤波去噪，特征提取；以及对图像像素、语音信息方位信息的确定。

在一些实施例中，所述编码包括：视频编码、音频编码、分辨率控制、帧率控制；所述传输过程包括流接受、流处理、流分类；所述解码包括音频同步，降噪、回声控制。

本发明的基于ar技术的社交方法和系统，解决了传统技术中ar技术虚拟影像信息与现实信息匹配准确性以及效率较低的问题；且解决了现有技术中ar主要是针对视频影像的处理，没有涉及语音效果的匹配，因此，一种能够增加ar智能化程度的增强显示匹配技术成为了改进ar效果的迫切需求，从而改善用户的体验。

本领域技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品，因此本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。