一种十亿级像素全景视频直播方法、装置、介质及设备与流程

1.本发明涉及图像领域，尤其涉及一种十亿级全景视频直播方法、装置、介质及设备。


背景技术：

2.随着网络直播的兴起，针对动态大场景的直播需求日益增强。例如对于一些意义重大的工程建设，人们往往想要通过监控视频云监工，围观整个工程建设过程，人们在家就可以通过观看实时直播的方式去了解工程建设的进程；比如房地产行业，人们预售购买了新房，也想了解房屋建设或装修情况。但是目前现有的监控视频拍摄都是通过低分辨率固定视角的摄像头拍摄，人们只能看到建筑大体外观，对于一些细节或特定视角不能自如观察。受限于现有相机的视频成像质量，在空间尺度上，对于动态大场景的建筑物难以做到高清细节与宽视场并重，“云直播”不能放大局部看高清细节，窄视场使得不能随意观察到想看的特定视角从而产生一定的观察遮蔽死角；在时间尺度上，受成像延迟和相应成像帧率的限制，对于实时视频直播不能传递动态大场景十亿像素级别的高清数据流。当前直播视频多为远景粗略轮廓或者近景清晰局部，因此，在高清监控或全景成像直播领域，如何能让人们可以自由放大直播视频中的场景细节依然保持高清和如何自由旋转画面查看立体场景的不同角度成为直播视频领域亟待解决的问题。


技术实现要素：

3.为了解决上面描述的问题，本发明提供一种十亿级像素全景视频直播方法、装置、介质及设备，包括：
4.根据本文的第一方面，提供一种十亿级像素全景视频直播方法，包括：
5.通过多个相机阵列，获取不同视角的多个亿级像素图像组，所述亿级像素图像组包括宽视场图像及窄视场图像；
6.将所述多个亿级像素图像组中的宽视场图像进行拼接，拼接为全景视频图像；
7.基于所述全景视频图像生成虚拟3d模型；
8.将所述虚拟3d模型传输至客户端；
9.接收客户端的请求，所述请求包括客户端在所述3d模型选取的角度和区域；
10.发送与所述请求对应的视频流至客户端。
11.十亿级像素全景视频直播方法，还包括：
12.将所述宽视场图像及窄视场图像映射至所述3d模型；
13.十亿级像素全景视频直播方法还包括：
14.采用结构相似性指数ssim的方式检测视频流连续帧之间的相似度，当所述相似度大于阈值时，所述视频流为可复用视频流；
15.将可复用视频流存储在多级服务器的数据库中。
16.十亿级像素全景视频直播方法，还包括：
17.查询所述数据库，是否存有与所述请求对应的可复用视频；
18.所述发送与所述请求对应的视频流至客户端包括，当存有与所述请求对应的可复用视频流时，发送所述可复用视频流至客户端，当未存有与所述请求对应的可复用视频流时，将所述请求对应的多个宽视场图像或多个窄视场图像进行拼接裁剪，生成视频流发送至客户端。
19.所述将所述请求对应的多个宽视场图像或多个窄视场图像进行拼接裁剪，生成视频流发送至客户端包括：
20.根据所述宽视场图像及窄视场图像与所述3d模型的映射关系，确定所述请求对应的图像；
21.根据所述请求的视频分辨率，确定所述对应的图像为宽视场图像或者窄视场图像；
22.对所述宽视场图像或者窄视场图像进行拼接；
23.根据所述请求的区域，对拼接后的图像进行裁剪；
24.基于裁剪后的图像生成视频流，并发送至客户端。
25.根据本文的另一方面，提供一种十亿级像素全景视频直播装置，包括：
26.图像获取模块，用于通过多个相机阵列，获取不同视角的多个亿级像素图像组，所述亿级像素图像组包括宽视场图像及窄视场图像；
27.图像拼接模块，用于将所述多个亿级像素图像组中的宽视场图像进行拼接，拼接为全景视频图像；
28.3d模型生成模块，用于基于所述全景视频图像生成虚拟3d模型；
29.传输模块，用于将所述虚拟3d模型传输至客户端；
30.请求接收模块，用于接收客户端的请求，所述请求包括客户端在所述3d模型选取的角度和区域；
31.直播模块，用于发送与所述请求对应的图形或视频流至客户端。
32.所述3d模型生成模块还用于将所述宽视场图像及窄视场图像映射至所述3d模型。
33.十亿级像素全景视频直播装置，还包括：
34.复用模块，用于采用结构相似性指数ssim的方式检测视频流连续帧之间的相似度，当所述相似度大于阈值时，所述视频为可复用视频；
35.存储模块，用于将可复用视频存储在多级服务器的数据库中。
36.根据本文的另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现十亿级像素全景视频直播方法的步骤。
37.根据本文的另一方面，提供一种计算机设备，包括处理器、存储器和存储于所述存储器上的计算机程序，所述处理器执行所述计算机程序时实现十亿级像素全景视频直播方法的步骤。
38.通过本发明所述的方法，可以实现十亿级以上像素视频的在线交互直播，并支持旋转画面视角以观察不同角度的场景，还能对正在观看的画面进行缩放，并保持高清分辨率。
附图说明
39.并入到说明书中并且构成说明书的一部分的附图示出了本发明的实施例，并且与描述一起用于解释本发明的原理。在这些附图中，类似的附图标记用于表示类似的要素。下面描述中的附图是本发明的一些实施例，而不是全部实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。
40.图1是根据一示例性实施例示出的十亿级像素全景视频直播方法流程图。
41.图2是根据一示例性实施例示出的十亿级像素全景视频直播装置的框图。
42.图3是根据一示例性实施例示出的十亿级像素全景视频直播装置的框图。
具体实施方式
43.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
44.传统技术中，视频直播分辨率往往为1080p或者4k画面，对于观看大场景下的画面，不能提供很好的分辨率。相机为了观察到大场景的全貌，需要在较远的位置进行拍摄，导致拍摄的图像只能看到物体的大致轮廓，如果想要放大某个局部细节，信息会丢失，使画面模糊不清。
45.现有技术中，直播分两种方式，一种单镜头单一视角画面，一种多镜头多角度画面。单一镜头只能看到一个特定角度，导致其他角度无法被观察到。而多镜头多角度的画面，直播画面是分裂开的多个画面。
46.为了进行大场景的高清视频直播，本文提供一种十亿级像素全景视频直播方法。
47.图1是根据一实施例示出的十亿级像素全景视频直播方法的流程图。参考图1，十亿级像素全景视频直播方法，包括：
48.步骤s11，通过多个相机阵列，获取不同视角的多个亿级像素图像组，所述亿级像素图像组包括宽视场图像及窄视场图像。
49.步骤s12，将多个亿级像素图像组中的宽视场图像进行拼接，拼接为全景视频图像。
50.步骤s13,基于所述全景视频图像生成虚拟3d模型。
51.步骤s14，将所述虚拟3d模型传输至客户端。
52.步骤s14，接收客户端的请求，所述请求包括客户端在所述3d模型选取的角度和区域。
53.步骤s15，发送与所述请求对应的图形或视频流至客户端。
54.在步骤s11中，通过多个亿级像素的相机阵列，获取不同视角的多个亿级像素图像组。
55.每个亿级像素的相机阵列，包括一个以上的宽视场相机，可以为宽视场低分辨率短焦相机，用于获取宽视场图像；还包括多个窄视场相机，可以为窄视场高分辨率长焦相机，用于获取高清窄视场图像。因此每台亿级像素的相机阵列拍摄的图像为一组包括一个
以上宽视场图像和多个窄视场图像的图像组。每一台亿级像素的相机阵列中相机位置，拍摄角度都经过标定，根据标定参数和图像的像素值，可以计算出每一局部高清窄视场图像对应的宽视场图像的哪一块区域，对每个图像的坐标进行标定，可以将高清窄视场图像按标定的坐标映射到宽视场图像上。
56.同时，多个亿级像素的相机阵列的拍照位置，拍摄角度也按事先测试好的参数进行标定，使得多个亿级像素的相机阵列各自拍摄的图像具有一定的重叠区域，但又是视角不同的图像，且重叠区域是已知的，对拍摄的图像可以直接通过预设算法和固定的参数进行计算，对图像进行拼接，并去掉重叠区域，并进行平滑处理，消除图像之间的接缝，在得到完整拼接图像的同时大大节省计算资源的开销。
57.多个亿级像素的相机阵列可以拍摄更大视角的场景图像，甚至360度的全景图像。
58.步骤s12中，每个相机阵列获取的图像组中都包括宽视场图像，按事先标定的参数，将多个相机阵列获取的宽视场图像进行拼接，裁剪，可以得到全景视频图像。
59.步骤s13中，根据全景视频图像可以进一步生成虚拟3d模型。
60.在一实施例中，十亿级像素全景视频直播方法还包括：将宽视场图像及窄视场图像映射到虚拟3d模型上。客户端在对3d模型进行旋转或者缩放的时候，可以获取对应位置的映射图像，而映射图像又包括宽视场图像和窄视场图像，根据请求的区域和分辨率，选择映射的宽视场图像或窄视场图像，拼接裁剪后提供给客户端。客户端还可在显示设备中对图像进行缩放，服务端只需根据客户端请求的区域和分辨率选择对应的映射图像进行裁剪拼接。
61.步骤s14，接收客户端的请求，请求包括客户端在所述3d模型选取的角度和区域。客户端在接收到虚拟3d模型后，可以对3d模型进行旋转和缩放，并选择自己感兴趣的角度和位置，例如在模型上勾选出目标位置和区域，也就生成了客户端的请求，该请求被发送至服务器，由于模型已经映射了宽视场图像和窄视场图像，服务器可以知道客户选择的观看区域包括哪些图像的哪些部分，还可以获知客户端支持的分辨率，综合客户端选择的观看区域和分辨率，确定对应的宽视场图像或者窄视场图像，将确定的图像进行裁剪拼接，就可以向客户端提供与客户端勾选的目标位置和区域对应的图像。例如客户端选择了模型上的大面积区域，说明客户端想看到大范围的图像，这时只需要将对应的宽视场图像裁剪拼接后提供给客户端，如果客户端选择了小面积区域，说明客户端想观看局部高清细节，此时将对应的窄视场图像进行裁剪拼接后提供给客户端。
62.步骤s15,发送与所述请求对应的视频流至客户端。将拼接后的图像作为帧，按时间戳组成视频流，并将视频流发送至客户端。
63.在一实施例中，十亿级像素全景视频直播方法还包括：生成视频流后，采用结构相似性指数ssim的方式检测视频流连续帧之间的相似度，当相似度大于阈值时，确定视频流为可复用视频流；
64.将可复用视频流存储在多级服务器的数据库中。如果视频流为可复用视频流，将可复用视频流存储在多级服务器的数据库中，在有其他客户端请求相同视频的时候，可以将存储的视频流发送给客户端，即减少请求的响应时延，又节省由于重复计算导致的资源开销。
65.在一实施例中，当接收到客户端的请求后，查询数据库，是否存有与请求对应的可
复用视频流；
66.发送与请求对应的视频流至客户端包括，当存有与请求对应的可复用视频流时，发送可复用视频流至客户端，当未存有与请求对应的可复用视频流时，将请求对应的多个宽视场图像或多个窄视场图像进行拼接裁剪，生成视频流发送至客户端。
67.同样对新生成的视频流采用结构相似性指数ssim的方式检测视频流连续帧之间的相似度，当相似度大于阈值时，确定视频流为可复用视频流，将直播过程中的可复用视频流都存储下来，并分发到多级服务器中，实现视频流的半传播，本文的直播方法不同于传统直播中视频流只需生成一次，所有客户端观看相同的视频流，而是根据不同客户端的选择，生成不同的视频流，每个客户端播放的画面都可以不同，又可以把已经生成的可复用视频流存储在服务器中，对于不同客户端的相同请求，尽可能复用同一视频流，大大减小系统时延和资源开销。
68.通过以上描述，本文提供的十亿级像素全景视频直播方法，可以实现十亿级以上像素视频的在线交互直播，并支持旋转画面视角以观察不同角度的场景，还能对正在观看的画面进行缩放，并保持高清分辨率。通过视频流复用，实现视频流的半传播。
69.图2是根据一示例性实施例示出的十亿级像素全景视频直播装置的框图。参考图2，十亿级像素全景视频直播装置包括：图像获取模块201，图像拼接模块202，3d模型生成模块203，传输模块204，请求接收模块205，直播模块206。
70.该图像获取模块201被配置为用于通过多个相机阵列，获取不同视角的多个亿级像素图像组，所述亿级像素图像组包括宽视场图像及窄视场图像。
71.该图像拼接模块202被配置为用于将所述多个亿级像素图像组中的宽视场图像进行拼接，拼接为全景视频图像。
72.该3d模型生成模块203被配置为用于基于所述全景视频图像生成虚拟3d模型。
73.该传输模块204被配置为用于将所述虚拟3d模型传输至客户端。
74.该请求接收模块205被配置为用于接收客户端的请求，所述请求包括客户端在所述3d模型选取的角度和区域。
75.该直播模块206被配置为用于发送与所述请求对应的图形或视频流至客户端。
76.3d模型生成模块203还用于将所述宽视场图像及窄视场图像映射至所述3d模型。
77.图3是根据一示例性实施例示出的十亿级像素全景视频直播装置的框图。参考图3，十亿级像素全景视频直播装置还包括：复用模块301，存储模块302。
78.该复用模块301被配置为用于采用结构相似性指数ssim的方式检测视频流连续帧之间的相似度，当所述相似度大于阈值时，所述视频为可复用视频。
79.该存储模块302被配置为用于将可复用视频存储在多级服务器的数据库中。
80.上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。
81.本领域技术人员应明白，本文的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本文可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本文可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易
失性、可移除和不可移除介质,包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质等。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
82.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
83.在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
84.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
85.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明的意图也包含这些改动和变型在内。