一种VR场景构建方法、系统和装置与流程

本发明涉及虚拟现实技术领域，尤其涉及一种vr场景构建方法、系统和装置。

背景技术：

虚拟现实技术(英文名称：virtualreality，缩写为vr)，又称灵境技术，囊括计算机、电子信息、仿真技术于一体，其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。随着社会生产力和科学技术的不断发展，各行各业对vr技术的需求日益旺盛。vr技术也取得了巨大进步，并逐步成为一个新的科学技术领域，vr技术已经应用到了各个领域，如电力巡检、vr看房和游戏领域，但是vr的效果往往不能保证足够真实，为了保证用户体验的真实性，前期的vr场景构建极为重要。

传统的vr场景的搭建方式有两种：第一种是通过三维建模来实现；第二种是使用一张全景图片来代替三维模型。第一种方式搭建的vr场景效果逼真，能够带来很好的沉浸感，但是开发周期较长，开发成本较大，文件较大，渲染计算量较大，导致卡顿，提高了系统延迟。第二种方式系统延迟小，开发成本低，精简了文件大小，这种方法虽然可以弥补第一种方法的缺点，但是，由一张全景图片构建的场景由于拍摄设备及合成算法的误差，导致很严重的畸变现象，由一张全景图片构建的场景是平面的，仅仅将一张图片拉伸到三维空间内，不会有逼真的三维效果，纯图像的方式制作的vr场景对于用户互动只能够采用视频植入的方式，而不能够像模型一样有可操作性和高互动性，不能给用户带来沉浸感。

因此，本领域亟需一种vr场景构建方法、系统和装置。

因此，有鉴于此，提出本发明。

技术实现要素：

本发明的目的在于提供一种vr场景构建方法、系统和装置，以解决上述至少一个技术问题。

本发明的第一方面提供了一种vr场景构建方法，包括以下步骤：

数据接收，接收实景数据，所述实景数据为在待采集场景中所采集的数据，所述实景数据用于建立所述vr场景；

数据筛选，所述实景数据还包括采集路径，输出所述采集路径上的无效路径，将无效路径从采集路径中删除，得出有效路径；

数据处理，所述实景数据还包括视频数据和点云数据，接入在所述有效路径上所采集的视频数据和点云数据，分别对视频数据和点云数据进行处理使视频数据和点云数据的帧数相对应；

场景构建，根据所述点云数据建立模拟场景，在所述模拟场景中嵌入所述视频数据，构建vr场景。

采用上述方案，一方面在保证用户沉浸感的前提下，避免使用大规模三维渲染，减少计算量，提高运算速度，解决了用户在实际使用vr场景时发生卡顿现象体验感差的问题；另一方面，所述实景数据包括视频数据和点云数据，使用所述视频数据构建vr场景相对于单独的照片沉浸感更强，再通过结合点云数据，增强vr场景物理效果，视频场景的可交互性，增强vr场景真实性。

进一步地，所述实景数据为使用采集设备在待采集场景中所采集的数据。

进一步地，所述采集设备可以为采集雷达、摄像机或全景相机等。

采用上述方案，所述实景数据从实际采集场景中采集得出，一方面避免直接建立虚拟场景需要庞大计算的问题，另一方面采集实景数据，提高数据真实性，提高后期建立的虚拟场景的真实度。

进一步地，所述采集路径包括采集子路径，所述数据筛选还包括无效路径筛选，输出所述采集路径上的无效路径，还包括步骤：

判断所述采集路径中的采集子路径数量是否大于1；

若否，根据第一方案输出所述无效路径；

若是，判断所述采集子路径之间是否存在交点；

若不存在，根据第一方案输出所述无效路径；

若存在，根据第二方案输出所述无效路径。

采集上述方案，所述采集设备通常会安装在搭载设备上，如搭载车或无人机上，当搭载设备启动或停止时，都需要一定时间和距离，进入或脱离稳定状态，在进入或脱离稳定状态所采集的数据通常由于搭载设备不够稳定而误差较大，采集的数据不具备参考性，将这一部分数据删除，能进一步保证最终vr场景的还原度。

进一步地，所述第一方案计算的步骤包括：

接收所述采集子路径，输出所述采集子路径端点位置；

接收第一无效阈值，以所述采集子路径端点为圆心，第一无效阈值为半径做圆；

输出该采集子路径与以第一无效阈值为半径的圆的交点为第一交汇点；

输出所述采集子路径上所述第一交汇点与该圆心间的路径为无效路径。

采集上述方案，通过设置第一无效阈值，将第一无效阈值距离内搭载设备的采集数据认定为不稳定数据，不具备参考性，将此类数据通过第一无效阈值进行识别，提高识别精准度。

进一步地，所述第二方案计算的步骤包括：

接受所述交点和采集子路径端点位置；

接收第二无效阈值，以所述交点为圆心，第二无效阈值为半径做圆；

判断所述采集子路径端点是否在以第二无效阈值为半径的圆内，若是，输出所述采集子路径上所述交点与该端点间的路径为无效路径。

采用上述方案，当所述采集子路径之间是否存在交点时，通常是搭载设备在进行转弯，转弯处不在主要路径上的采集不具备参考性，通过设置第二无效阈值，将主要路径外的无效路径删除，降低后期数据分类的计算量。

进一步地，所述数据处理还包括步骤：

数据接入，接收所述有效路径，接入在所述有效路径上所采集的视频数据和点云数据；

数据解析，解析所述视频数据和点云数据，分别得出所述视频数据和点云数据每秒所采集帧数；

数据匹配，接受所述视频数据和点云数据的采集时序，根据所述采集时序将视频数据和点云数据逐帧匹配。

采用上述方案，解析所述视频数据和点云数据每秒所采集帧数，根据所述视频数据和点云数据的采集时序将视频数据和点云数据逐帧匹配，提高数据匹配精细度，避免由于数据处理粗糙导致最终vr场景还原度差的情况。

进一步地，所述数据匹配还包括步骤：

判断所述视频数据每秒帧数是否大于点云数据每秒帧数；

若是，将所述点云数据进行等比例均分，使所述视频数据每秒帧数与点云数据每秒帧数相等。

采用上述方案，所述视频数据的每秒帧数即为视频数据采集时每秒所采集的画幅数，将所述点云数据进行等比例均分，不需要降低画幅数，也进一步保证vr场景使用时的流畅性，提高用户体验感。

进一步地，所述数据匹配还包括步骤：

若所述视频数据每秒帧数等于点云数据每秒帧数，根据所述采集时序将视频数据和点云数据逐帧匹配；

若所述视频数据每秒帧数小于点云数据每秒帧数，将所述点云数据进行等比例合并，使所述视频数据每秒帧数与点云数据每秒帧数相等。

采用上述方案，在进行数据匹配的处理时，不对视频数据的帧进行破坏，保证最高的还原度，提高vr场景模拟真实性。

进一步地，所述场景构建的步骤还包括：

点云模拟场景建立，接收点云数据，将所述点云数据以坐标的方式表示，建立所述点云模拟场景；

vr场景建立，接收所述视频数据，将所述视频数据的每一帧嵌入到与之对应的点云数据所在位置，建立所述vr场景。

采用上述方案，只分类出密度较高的部分，然后这个部分对应的解决方法是使用点的向量进行分类，表示到空间坐标系中也可以表示成一个点。再进行分类，分类方法可以为dbscan、kmeans、knn、svm等多种方法，得到的分类结果对应到采集到的点云中，得到最后的分类结果，在实际采样过程中，由于待采集空间边角位置的特殊性，往往会被多次采集到，如果不对此处的点进行分类，则不能区分该点所在物体，如墙壁等，容易发生数据混乱的情况，解决这一问题；将所述视频数据的每一帧嵌入到与之对应的点云数据所在位置，逐帧建立，提高vr场景真实性，提高用户使用时的沉浸感。

进一步地，所述vr场景构建方法还包括外接植入物，所述外接植入物包括步骤；

接收所述植入物的植入物视频，所述植入物视频为植入物在所述待采集场景中所采集的视频数据；

接收植入物在vr场景中的植入位置，将所述植入物视频嵌入所述植入位置。

采用上述方案，将植入物视频嵌入所述植入位置，提高植入物真实性。

进一步地，将所述植入物视频嵌入所述植入位置的步骤包括：

将所述植入物视频划分为帧，将所述植入物视频与植入位置的视频数据逐帧相匹配，将所述植入物视频融入视频数据中。

优选地，所述外接植入物包括步骤：

接收所述植入物的点云信息；

将所述点云信息嵌入所述植入位置；

将同时存在植入位置的植入物视频与植入物的点云信息相融合。

采用上述方案，将植入物视频与植入物的点云信息相融合，点云数据具备物理特性，提高场景互动性。

进一步地，将所述植入物视频融入视频数据中的方式可以为对照所述植入物视频对所述视频数据进行抠图处理。

采用上述方案，抠图处理简单快捷，当外接物较小或对整体视频信息影响较小时，效率较高

优选地，将所述植入物视频融入视频数据中的方式包括步骤：

筛选出植入物视频中存在所述植入物的帧；

提取所述视频数据中与植入物视频中存在所述植入物的帧对应的帧；

将视频数据中对应的帧替换为对应的存在所述植入物的帧。

采用上述方案，提取所述视频数据中对应的帧，直接将该帧进行替换，提高处理速度，避免图像失真。

本发明的第二方面提供了一种vr场景构建系统，包括：

数据接收模块，用于接收实景数据，所述实景数据为在待采集场景中所采集的数据，所述实景数据用于建立所述vr场景；

数据筛选模块，所述实景数据还包括采集路径，用于输出所述采集路径上的无效路径，将无效路径从采集路径中删除，得出有效路径；

数据处理模块，所述实景数据还包括视频数据和点云数据，用于接入在所述有效路径上所采集的视频数据和点云数据，分别对视频数据和点云数据进行处理使视频数据和点云数据的帧数相对应；

场景构建模块，用于根据所述点云数据建立模拟场景，在所述模拟场景中嵌入所述视频数据，构建vr场景。

采用上述方案，一方面在保证用户沉浸感的前提下，避免使用大规模三维渲染，减少计算量，提高运算速度，解决了用户在实际使用vr场景时发生卡顿现象体验感差的问题；另一方面，所述实景数据包括视频数据和点云数据，使用所述视频数据构建vr场景相对于单独的照片沉浸感更强，再通过结合点云数据，增强vr场景物理效果，增强vr场景真实性。

进一步地，所述采集路径包括采集子路径，所述数据筛选模块还包括无效路径筛选模块，用于输出所述采集路径上的无效路径，还包括：

判断所述采集路径中的采集子路径数量是否大于1；

若否，根据第一方案输出所述无效路径；

若是，判断所述采集子路径之间是否存在交点；

若不存在，根据第一方案输出所述无效路径；

若存在，根据第二方案输出所述无效路径。

采集上述方案，所述采集设备通常会安装在搭载设备上，如搭载车或无人机上，当搭载设备启动或停止时，都需要一定时间和距离，进入或脱离稳定状态，在进入或脱离稳定状态所采集的数据通常由于搭载设备不够稳定而误差较大，采集的数据不具备参考性，将这一部分数据删除，能进一步保证最终vr场景的还原度。

进一步地，所述无效路径筛选模块还包括第一方案计算模块，所述第一方案计算的步骤包括：

接收所述采集子路径，输出所述采集子路径端点位置；

接收第一无效阈值，以所述采集子路径端点为圆心，第一无效阈值为半径做圆；

输出该采集子路径与以第一无效阈值为半径的圆的交点为第一交汇点；

输出所述采集子路径上所述第一交汇点与该圆心间的路径为无效路径。

采集上述方案，通过设置第一无效阈值，将第一无效阈值距离内搭载设备的采集数据认定为不稳定数据，不具备参考性，将此类数据通过第一无效阈值进行识别，提高识别精准度。

进一步地，所述无效路径筛选模块还包括第二方案计算模块，所述第二方案计算的步骤包括：

接受所述交点和采集子路径端点位置；

接收第二无效阈值，以所述交点为圆心，第二无效阈值为半径做圆；

判断所述采集子路径端点是否在以第二无效阈值为半径的圆内，若是，输出所述采集子路径上所述交点与该端点间的路径为无效路径。

采用上述方案，当所述采集子路径之间是否存在交点时，通常是搭载设备在进行转弯，转弯处不在主要路径上的采集不具备参考性，通过设置第二无效阈值，将主要路径外的无效路径删除，降低后期数据分类的计算量。

进一步地，所述数据处理模块还包括：

数据接入模块，用于接收所述有效路径，接入在所述有效路径上所采集的视频数据和点云数据；

数据解析模块，用于解析所述视频数据和点云数据，分别得出所述视频数据和点云数据每秒所采集帧数；

数据匹配模块，用于接受所述视频数据和点云数据的采集时序，根据所述采集时序将视频数据和点云数据逐帧匹配。

采用上述方案，解析所述视频数据和点云数据每秒所采集帧数，根据所述视频数据和点云数据的采集时序将视频数据和点云数据逐帧匹配，提高数据匹配精细度，避免由于数据处理粗糙导致最终vr场景还原度差的情况。

进一步地，所述数据匹配模块还包括：

判断所述视频数据每秒帧数是否大于点云数据每秒帧数；

若是，将所述点云数据进行等比例均分，使所述视频数据每秒帧数与点云数据每秒帧数相等。

采用上述方案，所述视频数据的每秒帧数即为，视频数据采集时每秒所采集的画幅数，将所述点云数据进行等比例均分，不需要降低画幅数，也进一步保证vr场景使用时的流畅性，提高用户体验感。

进一步地，所述数据匹配模块还包括：

若所述视频数据每秒帧数等于点云数据每秒帧数，根据所述采集时序将视频数据和点云数据逐帧匹配；

若所述视频数据每秒帧数小于点云数据每秒帧数，将所述点云数据进行等比例合并，使所述视频数据每秒帧数与点云数据每秒帧数相等。

采用上述方案，在进行数据匹配的处理时，不对视频数据的帧进行破坏，保证最高的还原度，提高vr场景模拟真实性。

进一步地，所述场景构建模块还包括：

点云模拟场景建立模块，用于接收点云数据，将所述点云数据以坐标的方式表示，建立所述点云模拟场景；

vr场景建立模块，用于接收所述视频数据，将所述视频数据的每一帧嵌入到与之对应的点云数据所在位置，建立所述vr场景。

采用上述方案，在实际采样过程中，由于待采集空间边角位置的特殊性，往往会被多次采集到，如果不对此处的点进行分类，则不能区分该点所在物体，如墙壁等，容易发生数据混乱的情况，解决这一问题；将所述视频数据的每一帧嵌入到与之对应的点云数据所在位置，逐帧建立，提高vr场景真实性，提高用户使用时的沉浸感。

进一步地，所述vr场景构建方法还包括外接植入物模块，所述外接植入物模块包括：

接收所述植入物的植入物视频，所述植入物视频为植入物在所述待采集场景中所采集的视频数据；

接收植入物在vr场景中的植入位置，将所述植入物视频嵌入所述植入位置。

采用上述方案，将植入物视频嵌入所述植入位置，提高植入物真实性。

进一步地，将所述植入物视频嵌入所述植入位置的步骤包括：

将所述植入物视频划分为帧，将所述植入物视频与植入位置的视频数据逐帧相匹配，将所述植入物视频融入视频数据中。

优选地，所述外接植入物模块还包括：

接收所述植入物的点云信息；

将所述点云信息嵌入所述植入位置；

将同时存在植入位置的植入物视频与植入物的点云信息相融合。

采用上述方案，将植入物视频与植入物的点云信息相融合，点云数据具备物理特性，提高场景互动性。

进一步地，将所述植入物视频融入视频数据中的方式可以为对照所述植入物视频对所述视频数据进行抠图处理。

采用上述方案，抠图处理简单快捷，当外接物较小或对整体视频信息影响较小时，效率较高

优选地，将所述植入物视频融入视频数据中的方式包括步骤：

筛选出植入物视频中存在所述植入物的帧；

提取所述视频数据中与植入物视频中存在所述植入物的帧对应的帧；

将视频数据中对应的帧替换为对应的存在所述植入物的帧。

采用上述方案，提取所述视频数据中对应的帧，直接将该帧进行替换，提高处理速度，避免图像失真。

本发明的第三方面提供了一种vr场景构建装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法。

本发明的第四方面提供了一种存储介质，所述存储介质包括一个或多个程序，所述一个或多个程序可以被处理器执行以完成上述的方法。

综上所述，本发明具有以下有益效果：

1、本发明的vr场景构建方法，一方面在保证用户沉浸感的前提下，避免使用大规模三维渲染，减少计算量，提高运算速度，解决了用户在实际使用vr场景时发生卡顿现象体验感差的问题；另一方面，所述实景数据包括视频数据和点云数据，使用所述视频数据构建vr场景相对于单独的照片沉浸感更强，再通过结合点云数据，增强vr场景物理效果，增强vr场景真实性；

2、本发明的vr场景构建方法，所述采集设备通常会安装在搭载设备上，如搭载车或无人机上，当搭载设备启动或停止时，都需要一定时间和距离，进入或脱离稳定状态，在进入或脱离稳定状态所采集的数据通常由于搭载设备不够稳定而误差较大，采集的数据不具备参考性，将这一部分数据删除，能进一步保证最终vr场景的还原度；

3、本发明的vr场景构建方法，解析所述视频数据和点云数据每秒所采集帧数，根据所述视频数据和点云数据的采集时序将视频数据和点云数据逐帧匹配，提高数据匹配精细度，避免由于数据处理粗糙导致最终vr场景还原度差的情况；

4、本发明的vr场景构建方法，所述视频数据的每秒帧数即为视频数据采集时每秒所采集的画幅数，将所述点云数据进行等比例均分，不需要降低画幅数，也进一步保证vr场景使用时的流畅性，提高用户体验感；

5、本发明的vr场景构建方法，将植入物视频嵌入所述植入位置，提高植入物真实性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明vr场景构建方法一种实施方式的流程图；

图2为本发明包括无效路径筛选一种实施方式的流程图；

图3为对图2中无效路径筛选步骤细化的流程图；

图4为图2第一方案的流程图；

图5为图2第二方案的流程图；

图6为对图1中步骤细化的流程图；

图7为对图6中数据匹配步骤细化的流程图；

图8为本发明vr场景构建方法另一种实施方式的流程图；

图9为本发明vr场景构建系统一种实施方式的示意图；

图10为对图9中模块细化的示意图；

图11为本发明vr场景构建系统另一种实施方式的示意图；

图12为对图11中模块细化的示意图；

图13为所述无效路径筛选一种实施方式的示意图；

图14为所述无效路径筛选另一种实施方式的示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

如图1所示，本发明的第一方面提供了一种vr场景构建方法，包括以下步骤：

s100、数据接收，接收实景数据，所述实景数据为在待采集场景中所采集的数据，所述实景数据用于建立所述vr场景；

在具体实施过程中，采集数据需要使用采集设备进行采集，所述采集设备包括数据收集设备和定位设备，所述定位设备用于确定数据收集设备的位置，所述采集设备需要安装在搭载装置上。

s200、数据筛选，所述实景数据还包括采集路径，输出所述采集路径上的无效路径，将无效路径从采集路径中删除，得出有效路径；

在具体实施过程中，所述数据采集设备包括采集相机和采集雷达，所述定位设备可以为定位雷达，以待采集场景的俯视平面建立坐标系，所述定位设备的位置可以直接通过定位雷达得出，所述数据采集设备与定位设备的相对位置为预先测量得出，由定位设备的位置在坐标系中计算数据采集设备的位置，所述采集路径为所述数据收集设备安装在搭载装置上运动的轨迹，所述搭载装置包括但不限于采集车、无人机等。

在具体实施过程中，由定位设备的位置在坐标系中计算数据采集设备的位置的方式可以为：

接收所述定位设备坐标，将所述定位设备坐标转换为四元数，将四元数转换为旋转矩阵m0；

接收定位设备坐标与数据采集设备的转换矩阵，设转换矩阵为t01；

设数据采集设备坐标对应的旋转矩阵为m1，m1＝m0·t01；

将m1转换为坐标即为数据采集设备坐标。

采用上述方案，数据采集设备的位置不能直接进行定位，通过测量数据采集设备与定位设备的相对位置，进而计算数据采集设备坐标，提高计算便捷度。

在具体实施过程中，旋转矩阵(英语：rotationmatrix)是在乘以一个向量的时候有改变向量的方向但不改变大小的效果并保持了手性的矩阵。旋转矩阵不包括点反演，点反演可以改变手性，也就是把右手坐标系改变成左手坐标系或反之。

在本发明一个优选的实施方式中，所述搭载装置为采集车，所述采集车内安装有用于保证运动稳定性的步进电机。

s300、数据处理，所述实景数据还包括视频数据和点云数据，接入在所述有效路径上所采集的视频数据和点云数据，分别对视频数据和点云数据进行处理使视频数据和点云数据的帧数相对应；

在本发明一个优选的实施方式中，所述视频数据为采集相机所采集的数据，所述采集相机可以为全景相机、单反相机或全画幅相机等；所述点云数据为采集雷达所采集的数据，所述采集雷达可以为脉冲激光雷达或连续波激光雷达等。

s400、场景构建，根据所述点云数据建立模拟场景，在所述模拟场景中嵌入所述视频数据，构建vr场景。

在具体实施过程中，所述点云数据建立的模拟场景为点堆积而成的模拟场景。

采用上述方案，一方面在保证用户沉浸感的前提下，避免使用大规模三维渲染，减少计算量，提高运算速度，解决了用户在实际使用vr场景时发生卡顿现象体验感差的问题；另一方面，所述实景数据包括视频数据和点云数据，使用所述视频数据构建vr场景相对于单独的照片沉浸感更强，再通过结合点云数据，增强vr场景物理效果，增强vr场景真实性。

如图2、3所示，在具体实施过程中，所述采集路径包括采集子路径，所述s200、数据筛选还包括s210、无效路径筛选，输出所述采集路径上的无效路径，还包括步骤：

判断所述采集路径中的采集子路径数量是否大于1；

若否，根据第一方案输出所述无效路径；

若是，判断所述采集子路径之间是否存在交点；

若不存在，根据第一方案输出所述无效路径；

若存在，根据第二方案输出所述无效路径。

采集上述方案，所述采集设备通常会安装在搭载设备上，如搭载车或无人机上，当搭载设备启动或停止时，都需要一定时间和距离，进入或脱离稳定状态，在进入或脱离稳定状态所采集的数据通常由于搭载设备不够稳定而误差较大，采集的数据不具备参考性，将这一部分数据删除，能进一步保证最终vr场景的还原度。

如图3、4所示，在具体实施过程中，所述第一方案计算的步骤包括：

接收所述采集子路径，输出所述采集子路径端点位置；

接收第一无效阈值，以所述采集子路径端点为圆心，第一无效阈值为半径做圆；

输出该采集子路径与以第一无效阈值为半径的圆的交点为第一交汇点；

输出所述采集子路径上所述第一交汇点与该圆心间的路径为无效路径。

采集上述方案，通过设置第一无效阈值，将第一无效阈值距离内搭载设备的采集数据认定为不稳定数据，不具备参考性，将此类数据通过第一无效阈值进行识别，提高识别精准度。

如图13所示，在具体实施过程中，所述采集子路径端点可以为a、b,设第一无效阈值为x1，以x1为半径做圆，设圆与该采集子路径的分别为c、d；则线段ac、bd为无效了路径。

如图3、5所示，在具体实施过程中，所述第二方案计算的步骤包括：

接受所述交点和采集子路径端点位置；

接收第二无效阈值，以所述交点为圆心，第二无效阈值为半径做圆；

判断所述采集子路径端点是否在以第二无效阈值为半径的圆内，若是，输出所述采集子路径上所述交点与该端点间的路径为无效路径。

采用上述方案，当所述采集子路径之间是否存在交点时，通常是搭载设备在进行转弯，转弯处不在主要路径上的采集不具备参考性，通过设置第二无效阈值，将主要路径外的无效路径删除，降低后期数据分类的计算量。

如图14所示，在具体实施过程中，设所述交点为o1、o2，设采集子路径端点分别为a1、a2、a3、a4，设设第二无效阈值为x2，分别以o1、o2为圆心，x2为半径做圆，可知线段o1a1、o1a2、o2a3为无效路径，o2a4不为无效路径。

如图6所示，在具体实施过程中，所述s300、数据处理还包括步骤：

s310、数据接入，接收所述有效路径，接入在所述有效路径上所采集的视频数据和点云数据；

在具体实施过程中，所述视频数据和点云数据为同步采集，根据采集时间可以提取在同一时间点采集的视频数据和点云数据。

s320、数据解析，解析所述视频数据和点云数据，分别得出所述视频数据和点云数据每秒所采集帧数；

在具体实施过程中，所述视频数据每秒所采集的帧数即为所述采集相机每秒所采集的画幅数，所述点云数据的帧数为采集雷达美妙的扫描次数。

s330、数据匹配，接受所述视频数据和点云数据的采集时序，根据所述采集时序将视频数据和点云数据逐帧匹配。

在具体实施过程中，若所述视频数据的总时长为10s，则可以提取同时提取第一秒所采集的视频数据和点云数据进行匹配。

采用上述方案，解析所述视频数据和点云数据每秒所采集帧数，根据所述视频数据和点云数据的采集时序将视频数据和点云数据逐帧匹配，提高数据匹配精细度，避免由于数据处理粗糙导致最终vr场景还原度差的情况。

如图7所示，在本发明一个优选的实施方式中，所述s330、数据匹配还包括步骤：

判断所述视频数据每秒帧数是否大于点云数据每秒帧数；

若是，将所述点云数据进行等比例均分，使所述视频数据每秒帧数与点云数据每秒帧数相等。

采用上述方案，所述视频数据的每秒帧数即为视频数据采集时每秒所采集的画幅数，将所述点云数据进行等比例均分，不需要降低画幅数，也进一步保证vr场景使用时的流畅性，提高用户体验感。

在具体实施过程中，所述视频数据可以为每秒30帧，所述点云数据可以为每秒1帧，所述等比例均分即为将点云数据在1秒采集的数据复制为相同30份，使每1份对应视频数据的1帧。

在具体实施过程中，所述s330、数据匹配还包括步骤：

若所述视频数据每秒帧数等于点云数据每秒帧数，根据所述采集时序将视频数据和点云数据逐帧匹配；

若所述视频数据每秒帧数小于点云数据每秒帧数，将所述点云数据进行等比例合并，使所述视频数据每秒帧数与点云数据每秒帧数相等。

采用上述方案，在进行数据匹配的处理时，不对视频数据的帧进行破坏，保证最高的还原度，提高vr场景模拟真实性。

在具体实施过程中，若所述视频数据每秒帧数等于点云数据每秒帧数，则可以将视频数据的帧和点云数据的帧直接匹配；若所述视频数据每秒帧数小于点云数据每秒帧数，进行等比例合并，所述等比例合并为若视频数据为每秒1帧，点云数据为每秒2帧,则点云数据为每0.5秒1帧，将1秒中的两帧数据进行合并，将两帧所述采集的点合并，合并后的点云与视频数据逐帧匹配。

在具体实施过程中，所述s400、场景构建的步骤还包括：

s410、点云模拟场景建立，接收点云数据，将所述点云数据以坐标的方式表示，建立所述点云模拟场景；

在本发明一个优选的实施方式中，将所述点云数据以坐标的方式表示的步骤还包括，对所述点云数据进行分类处理，将所述点云数据进行分类处理包括对点云数据使用pcl方法进行筛选并生成平面法向量,使用分类方法即可对这些法向量几乎相同点按照法向量进行分类。

在具体实施过程中，所述分类方法可以为dbscan、kmeans、knn或svm等多种方法。

在具体实施过程中，所述pcl点云库(pointcloudlibrary，pcl)实现了大量点云相关的通用算法和高效数据结构，涉及到点云获取、滤波、分割、配准、检索、特征提取、识别、追踪、曲面重建、可视化等。支持多种操作系统平台，可在windows、linux、android、macosx、部分嵌入式实时系统上运行。

在具体实施过程中，dbscan(density—basedspatialclusteringofapplicationwithnoise)算法是一种典型的基于密度的聚类方法。它将簇定义为密度相连的点的最大集合，能够把具有足够密度的区域划分为簇，并可以在有噪音的空间数据集中发现任意形状的簇；kmeans，k均值聚类算法(k-meansclusteringalgorithm)是一种迭代求解的聚类分析算法，其步骤是，预将数据分为k组，则随机选取k个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是没有(或最小数目)对象被重新分配给不同的聚类，没有(或最小数目)聚类中心再发生变化，误差平方和局部最小。knn邻近算法，或者说k最近邻(knn，k-nearestneighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓k最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻近值来代表。近邻算法就是将数据集合中每一个记录进行分类的方法。svm支持向量机(supportvectormachine,svm)是一类按监督学习(supervisedlearning)方式对数据进行二元分类的广义线性分类器(generalizedlinearclassifier)，其决策边界是对学习样本求解的最大边距超平面(maximum-marginhyperplane)。

s420、vr场景建立，接收所述视频数据，将所述视频数据的每一帧嵌入到与之对应的点云数据所在位置，建立所述vr场景。

在具体实施过程中，所述视频数据的每一帧即为一张画幅，根据该画幅的采集时间，插入同时间采集的点云数据位置上。

采用上述方案，在实际采样过程中，由于待采集空间边角位置的特殊性，往往会被多次采集到，如果不对此处的点进行分类，则不能区分该点所在物体，如墙壁等，容易发生数据混乱的情况，解决这一问题；将所述视频数据的每一帧嵌入到与之对应的点云数据所在位置，逐帧建立，提高vr场景真实性，提高用户使用时的沉浸感。

如图8所示，在具体实施过程中，所述vr场景构建方法还包括s500、外接植入物，所述s500、外接植入物包括步骤；

接收所述植入物的植入物视频，所述植入物视频为植入物在所述待采集场景中所采集的视频数据；

接收植入物在vr场景中的植入位置，将所述植入物视频嵌入所述植入位置。

采用上述方案，将植入物视频嵌入所述植入位置，提高植入物真实性。

在具体实施过程中，将所述植入物视频嵌入所述植入位置的步骤包括：

将所述植入物视频划分为帧，将所述植入物视频与植入位置的视频数据逐帧相匹配，将所述植入物视频融入视频数据中。

在具体实施过程中，所述s500、外接植入物包括步骤：

接收所述植入物的点云信息；

将所述点云信息嵌入所述植入位置；

将同时存在植入位置的植入物视频与植入物的点云信息相融合。

采用上述方案，将植入物视频与植入物的点云信息相融合，点云数据具备物理特性，提高场景互动性。

在具体实施过程中，将所述植入物视频融入视频数据中的方式可以为对照所述植入物视频对所述视频数据进行抠图处理。

采用上述方案，抠图处理简单快捷，当外接物较小或对整体视频信息影响较小时，效率较高

在本发明一个优选的实施方式中，将所述植入物视频融入视频数据中的方式包括步骤：

筛选出植入物视频中存在所述植入物的帧；

提取所述视频数据中与植入物视频中存在所述植入物的帧对应的帧；

将视频数据中对应的帧替换为对应的存在所述植入物的帧。

采用上述方案，提取所述视频数据中对应的帧，直接将该帧进行替换，提高处理速度，避免图像失真。

在具体实施过程中，所述植入物为向所述vr场景中添加的物体。

如图9所示，本发明的第二方面提供了一种vr场景构建系统，包括：

数据接收模块100，用于接收实景数据，所述实景数据为在待采集场景中所采集的数据，所述实景数据用于建立所述vr场景；

数据筛选模块200，所述实景数据还包括采集路径，用于输出所述采集路径上的无效路径，将无效路径从采集路径中删除，得出有效路径；

数据处理模块300，所述实景数据还包括视频数据和点云数据，用于接入在所述有效路径上所采集的视频数据和点云数据，分别对视频数据和点云数据进行处理使视频数据和点云数据的帧数相对应；

场景构建模块400，用于根据所述点云数据建立模拟场景，在所述模拟场景中嵌入所述视频数据，构建vr场景。

采用上述方案，一方面在保证用户沉浸感的前提下，避免使用大规模三维渲染，减少计算量，提高运算速度，解决了用户在实际使用vr场景时发生卡顿现象体验感差的问题；另一方面，所述实景数据包括视频数据和点云数据，使用所述视频数据构建vr场景相对于单独的照片沉浸感更强，再通过结合点云数据，增强vr场景物理效果，增强vr场景真实性。

如图10所示，在具体实施过程中，所述采集路径包括采集子路径，所述数据筛选模块200还包括无效路径筛选模块210，用于输出所述采集路径上的无效路径，还包括：

判断所述采集路径中的采集子路径数量是否大于1；

若否，根据第一方案输出所述无效路径；

若是，判断所述采集子路径之间是否存在交点；

若不存在，根据第一方案输出所述无效路径；

若存在，根据第二方案输出所述无效路径。

采集上述方案，所述采集设备通常会安装在搭载设备上，如搭载车或无人机上，当搭载设备启动或停止时，都需要一定时间和距离，进入或脱离稳定状态，在进入或脱离稳定状态所采集的数据通常由于搭载设备不够稳定而误差较大，采集的数据不具备参考性，将这一部分数据删除，能进一步保证最终vr场景的还原度。

在具体实施过程中，所述无效路径筛选模块210还包括第一方案计算模块211，所述第一方案计算的步骤包括：

接收所述采集子路径，输出所述采集子路径端点位置；

接收第一无效阈值，以所述采集子路径端点为圆心，第一无效阈值为半径做圆；

输出该采集子路径与以第一无效阈值为半径的圆的交点为第一交汇点；

输出所述采集子路径上所述第一交汇点与该圆心间的路径为无效路径。

采集上述方案，通过设置第一无效阈值，将第一无效阈值距离内搭载设备的采集数据认定为不稳定数据，不具备参考性，将此类数据通过第一无效阈值进行识别，提高识别精准度。

在具体实施过程中，所述无效路径筛选模块210还包括第二方案计算模块212，所述第二方案计算的步骤包括：

接受所述交点和采集子路径端点位置；

接收第二无效阈值，以所述交点为圆心，第二无效阈值为半径做圆；

判断所述采集子路径端点是否在以第二无效阈值为半径的圆内，若是，输出所述采集子路径上所述交点与该端点间的路径为无效路径。

采用上述方案，当所述采集子路径之间是否存在交点时，通常是搭载设备在进行转弯，转弯处不在主要路径上的采集不具备参考性，通过设置第二无效阈值，将主要路径外的无效路径删除，降低后期数据分类的计算量。

在具体实施过程中，所述数据处理模块300还包括：

数据接入模块310，用于接收所述有效路径，接入在所述有效路径上所采集的视频数据和点云数据；

数据解析模块320，用于解析所述视频数据和点云数据，分别得出所述视频数据和点云数据每秒所采集帧数；

数据匹配模块330，用于接受所述视频数据和点云数据的采集时序，根据所述采集时序将视频数据和点云数据逐帧匹配。

采用上述方案，解析所述视频数据和点云数据每秒所采集帧数，根据所述视频数据和点云数据的采集时序将视频数据和点云数据逐帧匹配，提高数据匹配精细度，避免由于数据处理粗糙导致最终vr场景还原度差的情况。

在具体实施过程中，所述数据匹配模块330还包括：

判断所述视频数据每秒帧数是否大于点云数据每秒帧数；

若是，将所述点云数据进行等比例均分，使所述视频数据每秒帧数与点云数据每秒帧数相等。

采用上述方案，所述视频数据的每秒帧数即为，视频数据采集时每秒所采集的画幅数，将所述点云数据进行等比例均分，不需要降低画幅数，也进一步保证vr场景使用时的流畅性，提高用户体验感。

在具体实施过程中，所述数据匹配模块330还包括：

若所述视频数据每秒帧数等于点云数据每秒帧数，根据所述采集时序将视频数据和点云数据逐帧匹配；

若所述视频数据每秒帧数小于点云数据每秒帧数，将所述点云数据进行等比例合并，使所述视频数据每秒帧数与点云数据每秒帧数相等。

采用上述方案，在进行数据匹配的处理时，不对视频数据的帧进行破坏，保证最高的还原度，提高vr场景模拟真实性。

在具体实施过程中，所述场景构建模块400还包括：

点云模拟场景建立模块410，用于接收点云数据，将所述点云数据以坐标的方式表示，建立所述点云模拟场景；

vr场景建立模块420，用于接收所述视频数据，将所述视频数据的每一帧嵌入到与之对应的点云数据所在位置，建立所述vr场景。

采用上述方案，在实际采样过程中，由于待采集空间边角位置的特殊性，往往会被多次采集到，如果不对此处的点进行分类，则不能区分该点所在物体，如墙壁等，容易发生数据混乱的情况，解决这一问题；将所述视频数据的每一帧嵌入到与之对应的点云数据所在位置，逐帧建立，提高vr场景真实性，提高用户使用时的沉浸感。

如图11、12所示，在具体实施过程中，所述vr场景构建方法还包括外接植入物模块500，所述外接植入物模块500包括：

接收所述植入物的植入物视频，所述植入物视频为植入物在所述待采集场景中所采集的视频数据；

接收植入物在vr场景中的植入位置，将所述植入物视频嵌入所述植入位置。

采用上述方案，将植入物视频嵌入所述植入位置，提高植入物真实性。

在具体实施过程中，将所述植入物视频嵌入所述植入位置的步骤包括：

将所述植入物视频划分为帧，将所述植入物视频与植入位置的视频数据逐帧相匹配，将所述植入物视频融入视频数据中。

在本发明一个优选的实施方式中，所述外接植入物模块500还包括：

接收所述植入物的点云信息；

将所述点云信息嵌入所述植入位置；

将同时存在植入位置的植入物视频与植入物的点云信息相融合。

采用上述方案，将植入物视频与植入物的点云信息相融合，点云数据具备物理特性，提高场景互动性。

在具体实施过程中，将所述植入物视频融入视频数据中的方式可以为对照所述植入物视频对所述视频数据进行抠图处理。

采用上述方案，抠图处理简单快捷，当外接物较小或对整体视频信息影响较小时，效率较高

在本发明一个优选的实施方式中，将所述植入物视频融入视频数据中的方式包括步骤：

筛选出植入物视频中存在所述植入物的帧；

提取所述视频数据中与植入物视频中存在所述植入物的帧对应的帧；

将视频数据中对应的帧替换为对应的存在所述植入物的帧。

采用上述方案，提取所述视频数据中对应的帧，直接将该帧进行替换，提高处理速度，避免图像失真。

本发明的第三方面提供了一种vr场景构建装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法。

本发明的第四方面提供了一种存储介质，所述存储介质包括一个或多个程序，所述一个或多个程序可以被处理器执行以完成上述的方法。

应当指出，对于本领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

应当理解，本申请实施例中，从权、各个实施例、特征可以互相组合结合，都能实现解决前述技术问题。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。