一种基于ARM架构的异构数据融合与推流方法、系统

一种基于arm架构的异构数据融合与推流方法、系统
技术领域
1.本发明属于仿真数据处理技术领域，具体涉及一种基于arm架构的异构数据融合与推流方法、系统。


背景技术：

2.随着软件技术的发展，建筑信息化模型(building information modeling，简称bim)，因为具有良好的可视性，能够更直观的展示业务系统的各类数据，被越来越广泛的应用于各类业务系统中。
3.另一方面，随着it技术的不断发展，轻量化、云渲染技术在实景三维领域的运用越广越来泛。目前，主流的仿真场景渲染厂商，大多采用x86架构的gpu服务器进行异构数据融合加载和推流，服务器成本高，存在着推流路数限制，一般只能推送2～3路像素流。


技术实现要素：

4.为解决基于x86架构的gpu服务器仿真场景渲染的推流路数限制的问题，在本发明的第一方面提供了一种基于arm架构的异构数据融合与推流方法，包括：获取目标模型的bim数据和倾斜摄影数据，并分别对所述的bim数据和所述倾斜摄影数据进行预处理；将经过预处理后的bim数据和倾斜摄影数据进行融合，构建三维仿真场景；将所述三维仿真场景编译为基于arm架构的安装包，并将所述安装包部署在arm架构的推流设备上；基于所述安装包，推流设备将编译后的三维仿真场景渲染并编码为视频流；根据websocket协议和预设推送端口，向多路视频流接收设备推送视频流。
5.在本发明的一些实施例中，所述分别对所述的bim数据和所述倾斜摄影数据进行预处理包括：从所述bim数据中提取bim模型属性信息，并按照自然属性分类，对目标模型进行结构优化、分级、减面或转换；将所述倾斜摄影数据进行转换、分级或减面。
6.进一步的，所述将经过预处理后的bim数据和倾斜摄影数据进行融合，构建三维仿真场景包括：将处理后的bim模型和倾斜摄影数据，导入到bim引擎中，并将场景层级与模型细节层级关联；配准bim模型和倾斜摄影数据的真实空间位置，并根据其进行叠加融合。
7.在本发明的一些实施例中，所述基于所述安装包，推流设备将编译后的三维仿真场景渲染并编码为视频流包括：推流设备运行所述安装包，得到三维仿真场景的像素流；对所述像素流进行渲染，生成实时像素流；将所述实时像素流按照预设的分辨率、码率和帧率生成预设编码格式的视频流。
8.进一步的，所述根据websocket协议和预设推送端口，向多路视频流接收设备推送视频流包括：根据websocket协议配置多个访问端口及其对应的ip地址；基于每个访问端口及其对应的ip地址，向每个访问端口的视频流接收设备推送视频流。
9.在上述的实施例中，所述视频流为h.264编码的视频流。
10.本发明的第二方面，提供了一种基于arm架构的异构数据融合与推流系统，包括：获取模块，用于获取目标模型的bim数据和倾斜摄影数据，并分别对所述的bim数据和所述
倾斜摄影数据进行预处理；将经过预处理后的bim数据和倾斜摄影数据进行融合，构建三维仿真场景；构建模块，用于将所述三维仿真场景编译为基于arm架构的安装包，并将所述安装包部署在arm架构的推流设备上；推送模块，用于基于所述安装包，推流设备将编译后的三维仿真场景渲染并编码为视频流；根据websocket协议和预设推送端口，向多路视频流接收设备推送视频流。
11.进一步的，所述获取模块包括：第一预处理单元，用于从所述bim数据中提取bim模型属性信息，并按照自然属性分类，对目标模型进行结构优化、分级、减面或转换；第二预处理单元，用于将所述倾斜摄影数据进行转换、分级或减面。
12.本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明在第一方面提供的基于arm架构的异构数据融合与推流方法。
13.本发明的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本发明在第一方面提供的基于arm架构的异构数据融合与推流方法。
14.本发明的有益效果是：本发明涉及一种基于arm架构的异构数据融合与推流方法及系统，其方法包括：获取目标模型的bim数据和倾斜摄影数据，并分别对所述的bim数据和所述倾斜摄影数据进行预处理；将经过预处理后的bim数据和倾斜摄影数据进行融合，构建三维仿真场景；将所述三维仿真场景编译为基于arm架构的安装包，并将所述安装包部署在arm架构的推流设备上；基于所述安装包，推流设备将编译后的三维仿真场景渲染并编码为视频流；根据websocket协议和预设推送端口，向多路视频流接收设备推送视频流。可见，本发明公开的基于arm架构的bim引擎融合bim与gis数据的加载和推流方法，其采用arm架构的gpu设备，相比x86架构设备而言，成本低、功耗更低，体积更小，应用更广泛；其次，对bim模型、倾斜摄影数据，进行预处理操作，通过gpu渲染像素流、流拷贝、编码压缩、推流，解决了bim引擎只能推送2～3路像素流的问题，支持更多路数的像素流推送，并且性能更好。
附图说明
15.图1为本发明的一些实施例中的基于arm架构的异构数据融合与推流方法的基本流程示意图；图2为本发明的一些实施例中的基于arm架构的异构数据融合与推流方法的具体流程示意图；图3为本发明的一些实施例中的场景融合效果图；图4为本发明的一些实施例中的基于arm架构的异构数据融合与推流系统的结构示意图；图5为本发明的一些实施例中的电子设备的结构示意图。
具体实施方式
16.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并
非用于限定本发明的范围。
17.参考图1与图2，在本发明的第一方面，提供了一种基于arm架构的异构数据融合与推流方法，包括：s100.获取目标模型的bim数据和倾斜摄影数据，并分别对所述的bim数据和所述倾斜摄影数据进行预处理；将经过预处理后的bim数据和倾斜摄影数据进行融合，构建三维仿真场景；s200.将所述三维仿真场景编译为基于arm架构的安装包，并将所述安装包部署在arm架构的推流设备上；s300.基于所述安装包，推流设备将编译后的三维仿真场景渲染并编码为视频流；根据websocket协议和预设推送端口，向多路视频流接收设备推送视频流。
18.下面以房屋建筑为示例对步骤s100进行具体说明。在本发明的一些实施例的步骤s100中，所述分别对所述的bim数据和所述倾斜摄影数据进行预处理包括：s101.从所述bim数据中提取bim模型属性信息，并按照自然属性分类，对目标模型进行结构优化、分级、减面或转换；s102.将所述倾斜摄影数据进行转换、分级或减面。需要说明的是，上述步骤s100中的bim模型可以是房屋、桥梁、道路等，为确保bim和倾斜数据融合效果，步骤1所述的倾斜摄影数据和bim数据在空间上处在同一区域。其中，bim模型数据为rvt格式，倾斜摄影数据为osgb格式。可选的，上述rvt格式和osgb格式在本公开中仅为示例，并不影响其可替换为其他格式的数据。
19.基于上述步骤s101-s102,在步骤s103中，所述将经过预处理后的bim数据和倾斜摄影数据进行融合，构建三维仿真场景包括：s1031.将处理后的bim模型和倾斜摄影数据，导入到bim引擎中，并将场景层级与模型细节层级关联；s1032.配准bim模型和倾斜摄影数据的真实空间位置，并根据其进行叠加融合。
20.具体地，处理后的bim和倾斜摄影数据，导入bim引擎，场景层级与模型lod（level of detail，细节层次）层级关联；配准bim模型和倾斜摄影数据的真实空间位置，进行叠加融合，搭建三维仿真场景。
21.在本发明的一些实施例的步骤s200中，将所述三维仿真场景编译为基于arm架构的安装包，并将所述安装包部署在arm架构的推流设备上。具体地，将三维仿真场景，编译为支持linux操作系统和arm架构的安装包，部署在arm架构的英伟达orin设备上。
22.为了提高推流效率和降低推流成本，将推流插件集成，将三维场景打包为可执行程序，在arm架构设备运行。有鉴于此，在本发明的一些实施例的步骤s300中，所述基于所述安装包，推流设备将编译后的三维仿真场景渲染并编码为视频流包括：s301.推流设备运行所述安装包，得到三维仿真场景的像素流；s302.对所述像素流进行渲染，生成实时像素流；s303.将所述实时像素流按照预设的分辨率、码率和帧率生成预设编码格式的视频流。
23.具体地，生成像素流，转为jpeg。通过orin设备的gpu显卡，渲染打包的三维场景（图3），通过pixel streaming组件生成实时像素流。然后对像素流编码。读取像素流每一帧，设置像素分辨率，转换为jpeg图像。将jpeg图像，转为yuv格式；采用libx264组件，输入yuv图像，设置码率、帧率，按照图像的质量，生成h.264格式编码的码流。
24.进一步的，在步骤s304中，所述根据websocket协议和预设推送端口，向多路视频流接收设备推送视频流包括：s3041.根据websocket协议配置多个访问端口及其对应的ip地址；s3042.基于每个访问端口及其对应的ip地址，向每个访问端口的视频流接收设备推送视频流。
25.具体地，websocket推送视频流。将h.264编码的视频流，通过websocket协议，配置访问端口，推送到web端。接着，web端接收视频流。在web端，通过orin设备的ip地址，以及配置的端口，建立与实时视频流的连接，接收orin设备实时渲染的视频流，一个端口接收一路视频流。以arm架构的英伟达orin设备和图3的三维场景为例，渲染分辨率、推流路数与渲染帧率测试结果如下：通过上表可以看出，本发明通过bim、倾斜摄影数据融合加载、推流方法，解决了在arm架构的设备上，实现多路视频流推送的问题。分辨率、推流路数、渲染的帧率均可根据实际需求进行调整。
26.实施例2参考图4，本发明的第二方面，提供了一种基于arm架构的异构数据融合与推流系统1，包括：获取模块11，用于获取目标模型的bim数据和倾斜摄影数据，并分别对所述的bim数据和所述倾斜摄影数据进行预处理；将经过预处理后的bim数据和倾斜摄影数据进行融合，构建三维仿真场景；构建模块12，用于将所述三维仿真场景编译为基于arm架构的安装包，并将所述安装包部署在arm架构的推流设备上；推送模块13，用于基于所述安装包，推流设备将编译后的三维仿真场景渲染并编码为视频流；根据websocket协议和预设推送端口，向多路视频流接收设备推送视频流。
27.进一步的，所述获取模块11包括：第一预处理单元，用于从所述bim数据中提取bim模型属性信息，并按照自然属性分类，对目标模型进行结构优化、分级、减面或转换；第二预处理单元，用于将所述倾斜摄影数据进行转换、分级或减面。
28.在上述实施例的一些实际实现中，获取模块、构建模块和推送模块可集成在一个或多个服务器（节点）上；多个服务器也可根据负载均衡对上述业务模块进行调整，从而保
证服务器应对大量用户端的访问请求。每个服务器节点均是基于arm架构。
29.实施例3参考图5，本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明在第一方面的方法。
30.电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储装置508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、rom 502以及ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
31.通常以下装置可以连接至i/o接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置507；包括例如硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图5中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
32.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从rom 502被安装。在该计算机程序被处理装置501执行时，执行本公开的实施例的方法中限定的上述功能。需要说明的是，本公开的实施例所描述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
33.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个计算机程序，当上述一个
或者多个程序被该电子设备执行时，使得该电子设备：可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++、python，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
34.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。需要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
35.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。