基于深度强化学习的移动设备全景视频播放系统的制作方法

本发明涉及计算机软件技术领域，更具体的说是涉及一种基于深度强化学习的移动设备全景视频播放系统。

背景技术：

全景视频是虚拟现实，即vr的一种表现形式，目前全景视频越来越多的应用于日常生活中，全景视频传输的手段，大多是通过有线头戴式设备进行呈现，这是因为目前的技术，只有通过有线设备，才能满足对于视频画面传输的带宽要求。利用有线式头戴设备进行全景视频播放，由于头戴设备相对来说，重量更大，携带不方便，价格也更加昂贵，所以只能在相应的场所进行布置，不方便日常的使用，而通过无线移动设备进行传输的解决方案一般为利用lte或者wifi对全景视频进行传输。

但是由于全景视频传输对于网络的要求非常高，导致目前的lte或者wifi无法满足高质量全景视频传输的需求，所以相对来说，市场上几乎没有针对无线移动设备的全景视频传输解决方案。

因此，如何实现利用无线移动设备进行全景视频传输是本领域技术人员亟需解决的问题。

技术实现要素：

有鉴于此，本发明提供了一种基于深度强化学习的移动设备全景视频播放系统，对全景视频的传输做出改进，从流量消耗的角度进行优化，降低全景视频传输带宽消耗，提高传输质量。

为了实现上述目的，本发明采用如下技术方案：

一种基于深度强化学习的移动设备全景视频播放系统，包括：服务器端和客户端；

其中，所述服务器端包括视频编码模块、视频切块模块和视频拆分模块；原始全景视频信息传输至所述视频编码模块；所述视频编码模块输出端连接所述视频切块模块输入端；所述视频切块模块输出端连接所述视频拆分模块输入端；所述视频拆分模块与所述客户端进行无线通讯；

所述客户端包括码率选择模块、运动记录模块和视频播放模块；所述视频播放模块与所述服务器端进行无线通讯；所述视频播放模块输出端连接所述运动记录模块的输入端和所述码率选择模块的输入端；所述运动记录模块的输出端连接所述码率选择模块；所述码率选择模块输出端连接所述视频播放模块输入端。

优选的，所述视频编码模块将所述原始全景视频信息编码成多种清晰度的全景视频，并发送至所述视频切块模块将所述多种清晰度全景视频进行切块处理，生成多块具有多种清晰度版本的全景视频块，并将所述全景视频块发送至所述视频拆分模块，进行切块处理可以在所述码率选择模块根据用户视角针对不同位置的所述全景视频块选择不同的清晰度以此来降低带宽消耗。

优选的，所述视频切块模块将原始全景视频信息变成物理空间上分块、每块都有几种不同清晰度的形式的多块所述全景视频块。

优选的，所述视频编码模块和所述视频切块模块采用h.265编码器进行tile并行运算，使得视频编码与视频切块同步完成，得到具有不同清晰度的、带有播放坐标位置信息的多个所述全景视频块。

优选的，所述视频拆分模块接收所述全景视频块视频切块模块的输出，将所述全景视频块的所有清晰度版本均分割成时间长度相等的视频段，每个清晰度版本的视频段均生成一个对应的子文件，按照所述视频段的播放坐标位置、时间序号、清晰度版本，可以唯一定义一个所述子文件，并存储于所述服务器端，同时生成一个信息描述文件，发送至所述视频播放模块。

优选的，所述视频播放模块接收所述信息描述文件，获得所有所述子文件的播放坐标位置、时间序号、清晰度版本及存储路径信息，所述码率选择模块与所述运动记录模块结合计算出码率选择结果并发送至所述视频播放模块，所述视频播放模块结合所述码率选择结果，调取存储于所述服务器端的对应所述子文件，并进行缓存和播放，从而最大限度的节省了带宽。

优选的，所述视频拆分模块利用mpeg-dash技术将所述全景视频块分割成所述视频段。

优选的，所述运动记录模块利用手持播放设备设置的陀螺仪，用于实时记录所述手持播放设备的运动速度与趋势，并将记录结果发送至所述码率选择模块。

优选的，所述码率选择模块接收所述记录结果，并采用深度强化学习的方法完成自动选择码率和自动预测下一个运动视角。

优选的，所述深度强化学习的方法将网络情况、下一个时间片各个版本清晰度所需要下载的文件大小、视频缓冲区情况和运动速度定义为状态，每一次全景视频块的码率选择定义为动作，用户体验、缓冲区占用情况定义为回报，建立一个深度强化学习模型，然后进行训练，最终完成码率的选择。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于深度强化学习的移动设备全景视频播放系统，通过设置视频编码模块将原始全景视频编码成多种清晰度版本的全景视频信息，之后通过视频切块模块将全景视频信息切割成多块具有多种清晰度版本的全景视频块，这样就可以针对网络下载速度、客户端当前缓冲区的情况，动态的选择下一个时间片所下载的视频码率，从而降低带宽消耗，最大限度的避免视频停滞，同时设置有运动记录模块和码率选择模块，根据用户运动速度和趋势判断下一时刻用户视角，然后根据视角选择不同清晰度的全景视频块进行播放，可以在用户主视角之外的全景视频播放清晰度较低的版本，从而降低带宽消耗，流畅播放全景视频。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的整体系统结构示意图；

图2附图为本发明提供的服务器端全景视频信息处理流程结构示意图；

图3附图为本发明提供的客户端全景视频信息播放流程结构示意图；

图4附图为本发明提供的分割视频块示意图；

图5附图为本发明用户视角示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于深度强化学习的移动设备全景视频播放系统，包括：服务器端和客户端；

其中，服务器端包括视频编码模块、视频切块模块和视频拆分模块；原始全景视频信息传输至视频编码模块；视频编码模块输出端连接视频切块模块输入端；视频切块模块输出端连接视频拆分模块输入端；视频拆分模块与所述客户端进行无线通讯；

客户端包括码率选择模块、运动记录模块和视频播放模块；视频播放模块与所述服务器端进行无线通讯；视频播放模块输出端连接运动记录模块的输入端和码率选择模块的输入端；运动记录模块的输出端连接码率选择模块；码率选择模块输出端连接视频播放模块输入端。

为了进一步优化上述技术方案，视频编码模块将原始全景视频信息编码成多种清晰度的全景视频，并发送至视频切块模块将多种清晰度全景视频进行切块处理，生成多块具有多种清晰度版本的全景视频块，并将全景视频块发送至视频拆分模块进行时间维度上的拆分处理，将每种版本的清晰度全景视频块拆分成多段视频段，之后在码率选择模块实时的根据用户视角变化，针对不同播放坐标位置选择不同清晰度的视频段以此来降低带宽消耗。

为了进一步优化上述技术方案，视频切块模块将原始全景视频信息变成物理空间上分块、每块都有几种不同清晰度的形式的多块全景视频块。

为了进一步优化上述技术方案，视频编码模块和视频切块模块采用h.265编码器进行tile并行运算，使得视频编码与视频切块同步完成，得到具有不同清晰度的、带有播放坐标位置信息的多个全景视频块。

为了进一步优化上述技术方案，视频拆分模块接收全景视频块，将全景视频块的所有清晰度版本均分割成时间长度相等的视频段，每一个清晰度版本的视频段都生成一个相对应的子文件，并存储于服务器端，同时生成一个信息描述文件，发送至视频播放模块。

为了进一步优化上述技术方案，视频拆分模块利用mpeg-dash技术将全景视频块分割成视频段。

为了进一步优化上述技术方案，信息描述文件中包含子文件的播放坐标位置信息、子文件清晰度版本情况、视频段长度信息和子文件在服务器的储存路径信息。

为了进一步优化上述技术方案，视频播放模块接收信息描述文件，同时接收码率选择模块发送的码率选择结果，根据信息描述文件中的信息以及运动记录模块、码率选择模块计算的码率选择结果，调用存储于服务器中的相应子文件，并进行缓存和播放，最大限度的节省了带宽。

为了进一步优化上述技术方案，运动记录模块利用手持播放设备设置的陀螺仪，用于实时记录手持播放设备的运动速度与趋势，并将记录结果发送至码率选择模块。

为了进一步优化上述技术方案，播放设备为头戴式播放设备，运动记录模块记录头部运动速度和趋势。

为了进一步优化上述技术方案，码率选择模块接收记录结果，并采用深度强化学习的方法完成自动选择码率和自动预测下一个运动视角。

为了进一步优化上述技术方案，深度强化学习的方法将网络情况、下一个时间片各个版本清晰度所需要下载的文件大小、视频缓冲区情况和运动速度定义为状态，每一次全景视频块的码率选择定义为动作，用户体验、缓冲区占用情况定义为回报，采用a3c算法进行深度强化学习训练，最终完成码率的选择。

实施例

码率选择模块的码率选择过程类似于马尔科夫决策过程，即下一步的动作与状态，只由当前的状态所决定，深度强化学习方法就是用来解决这一问题的，将播放时的网络情况、下一个时间片各个版本清晰度所需要下载的文件大小、视频缓冲区情况与运动速度等定义为状态、每一次全景视频块的码率选择定义为动作、取得的用户体验、缓冲区占用情况定义为回报，建立一个强化学习的模型，然后投入训练，最终得到一个码率选择的模块，可以动态的根据当前的状态，选择下一个时刻，呈现视频的每一块需要获取的视频块的清晰度版本。

全景视频具体播放过程为，首先，在第一个时间点上，用户的观察视角如图5所示，对角为t22-t43的方形区域为用户实际上能看到的范围，而t23-t44方形区域为通过运动记录模块与码率选择模块，动态推测出的下一个时刻用户将会看到的区域。在这个情况下，t22-t43方形区域和t23-t44方形区域均传输相对高清晰度版本，保证用户体验，其他块则传输低清晰度版本，降低带宽消耗。

在下一个时刻，用户产生运动，视角来到了预测范围内，t23-t44方形区域为用户视角所能看到的内容，而在上一个时间点，已经对用户的运动进行了预测，所以用户视野内的依然为高清晰度版本的内容。此时，对用户下一个时刻的运动进行预测，如t31-t52方形区域为用户视角所能看到的内容，因此在t23-t44方形区域与t31-t52方形区域所覆盖的区域均传输相对高清晰度版本。因此全景视频播放过程为结合网络情况、客户端缓冲区情况等状态，动态的选择下一个时间点，用户视野内传输什么版本的清晰度，而非视野内的内容，始终传输低清晰度版本的过程，本发明在保证用了户体验的同时提高了传输效率。

本发明利用全景视频分块传输、动态码率选择、运动预测三项技术，在保证视频质量的同时，给用户提供能在无线移动设备上播放全景视频的体验。全景视频在无线移动设备上流畅播放的限制因素就是全景视频传输对网络要求较高，需要较宽的带宽，因此本发明对全景视频的传输做出改进，从流量消耗的角度进行优化。将全景视频信息分成多块具有多种清晰度的全景视频块，然后根据网络下载速度、客户端当前缓冲区情况选择不同清晰度的全景视频块进行加载显示以最大限度避免卡顿现象发生；运动记录模块对头戴式播放设备的头部运动或者手持式播放设备的手部运动的运动速度和趋势进行记录；码率选择模块则是采用深度强化学习的方法根据采集的记录信息自动选择码率、自动预测头部或手部运动的效果，根据用户视角变化选择全景视频块的清晰度，最终在视频播放模块中显示出清晰度不同的流畅全景视频，在降低带宽消耗的同时为用户带来更好的视觉体验。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。