一种视频投屏方法、装置、系统及存储介质与流程

本发明涉及视频编码领域，特别是涉及一种视频投屏方法、装置、系统及存储介质。

背景技术：

随着多媒体技术的不断发展，可以进行视频文件播放的设备种类也变得更加多样，在此基础上，将视频文件在播放设备之间的共享播放逐渐成为当前视频软件所具有的重点功能，视频投屏则是当前视频文件共享播放的一种常用途径，视频投屏指的是将手机、平板、电脑等智能设备上面播放的视频文件通过投屏的方式同步到另外一个设备上面进行播放和观看。

为了提高对视频的观看体验，投屏的视频内容中往往需要包含字幕，而当前对于包含字幕的视频进行投屏时，需要先将字幕压制在视频文件中，再对压制有字幕的完整视频文件进行投屏播放，而将字幕完整压制于视频文件所需的时长取决于视频文件的大小，需要用户等待的时长从几分钟到半个小时不等，降低了对视频文件进行投屏的整体效率，用户的视频观看体验较低。

由此可见，提供一种视频投屏方法，以相对提高对视频文件进行投屏播放的效率，进而提高用户的视频观看体验，是本领域技术人员需要解决的问题。

技术实现要素：

本发明的目的是提供一种视频投屏方法、装置、系统及存储介质，以相对提高对视频文件进行投屏播放的效率，进而提高用户的视频观看体验。

为解决上述技术问题，本发明提供一种视频投屏方法，包括：

获取视频文件以及字幕文件；

对视频文件进行解码操作生成视频解码文件，并对字幕文件进行渲染操作生成字幕渲染文件；

将视频解码文件以及字幕渲染文件进行合成编码，生成ts视频流；

将ts视频流实时传输至投屏端播放。

优选的，将ts视频流实时传输至投屏端播放，包括：

利用dlna协议将ts视频流实时传输至投屏端播放。

优选的，将视频解码文件以及字幕渲染文件进行合成编码，包括：

利用硬件编码器将视频解码文件以及字幕渲染文件进行合成编码。

优选的，硬件编码器包括intelquicksync编码器。

优选的，在将视频解码文件以及字幕渲染文件进行合成编码之前，方法还包括：

获取视频解码文件中视频帧的时间戳，以及字幕渲染文件中字幕的时间戳；

将视频解码文件以及字幕渲染文件进行合成编码，包括：

将视频解码文件以及字幕渲染文件之间时间戳一致的视频帧及字幕进行合成编码。

优选的，在生成ts视频流之后，方法还包括：

收集ts视频流，并根据ts视频流生成字幕视频文件。

此外，本发明还提供一种视频投屏装置，装置包括存储器、处理器和总线，存储器上存储有可由总线传输至处理器并在处理器上运行的视频投屏程序，视频投屏程序被处理器执行时实现如上述的视频投屏方法。

优选的，装置为组成cdn网络或者区块链网络的节点。

此外，本发明还提供一种视频投屏系统，系统包括：

文件获取单元，用于获取视频文件以及字幕文件；

解码单元，用于对视频文件进行解码操作生成视频解码文件，并对字幕文件进行渲染操作生成字幕渲染文件；

合成编码单元，用于将视频解码文件以及字幕渲染文件进行合成编码，生成ts视频流；

实时投屏单元，用于将ts视频流实时传输至投屏端播放。

此外，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有视频投屏程序，视频投屏程序可被一个或者多个处理器执行，以实现如上述的视频投屏方法。

此外，本发明还提供一种计算机程序产品，包括计算机指令，当其在计算机上运行时，使得计算机可以执行上述的视频投屏方法。

本发明所提供的视频投屏方法，首先获取视频文件以及字幕文件，进而分别对视频文件进行解码操作生成视频解码文件，对字幕文件进行渲染操作生成字幕渲染文件，进而将视频解码文件以及字幕渲染文件合成编码为ts视频流，并通过实时传输ts视频流至投屏端的方式实现在投屏端实时播放包含有字幕的视频内容。本方法通过将视频解码文件以及字幕渲染文件合成编码为ts视频流的方式，将产生ts视频流实时传输至投屏端，并同时继续编码产生新的ts视频流，在确保了投屏端中播放的视频内容中包含有合成编码时压制的字幕的同时，相对提高了对视频文件进行投屏播放的效率，进而提高用户的视频观看体验。此外，本发明还提供一种视频投屏装置、系统及存储介质，有益效果同上所述。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种视频投屏方法的流程图；

图2为本发明实施例提供的另一种视频投屏方法的流程图；

图3为本发明实施例提供的另一种视频投屏方法的流程图；

图4为本发明实施例提供的一种视频投屏装置的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。

随着多媒体技术的不断发展，可以进行视频文件播放的设备种类也变得更加多样，在此基础上，将视频文件在播放设备之间的共享播放逐渐成为当前视频软件所具有的重点功能，视频投屏则是当前视频文件共享播放的一种常用途径，视频投屏指的是将手机、平板、电脑等智能设备上面播放的视频文件通过投屏的方式同步到另外一个设备上面进行播放和观看。

为了提高对视频的观看体验，投屏的视频内容中往往需要包含字幕，而当前对于包含字幕的视频进行投屏时，需要先将字幕压制在视频文件中，再对压制有字幕的完整视频文件进行投屏播放，而将字幕完整压制于视频文件所需的时长取决于视频文件的大小，需要用户等待的时长从几分钟到半个小时不等，降低了对视频文件进行投屏的整体效率，用户的视频观看体验较低。

为此，本发明的核心是提供一种视频投屏方法，以相对提高对视频文件进行投屏播放的效率，进而提高用户的视频观看体验。本发明的另一核心是提供一种视频投屏装置、系统及存储介质。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。

图1为本发明实施例提供的一种视频投屏方法的流程图。请参考图1，视频投屏方法的具体步骤包括：

步骤s10：获取视频文件以及字幕文件。

需要说明的是，本步骤中的视频文件是需要进行投屏的视频所对应的文件，而字幕文件指的是需要在视频文件作为视频投屏时显示在视频内容中的字幕。视频文件对应的视频内容中可以已经包含有字幕，也可以尚不包含有任何字幕，应根据实际的应用场景下的需求而定，在此不做具体限定。

步骤s11：对视频文件进行解码操作生成视频解码文件，并对字幕文件进行渲染操作生成字幕渲染文件。

在接收到视频文件以及字幕文件后，分别对视频文件进行解码生成视频解码文件，并对字幕文件进行渲染生成字幕渲染文件，对视频文件进行解码的目的在于获取到视频文件中视频帧的源码，即视频解码文件，而对字幕文件进行渲染操作的目的是将字幕文件中的字幕字符对应转化为视频中图像画面的源码，即字幕渲染文件。

步骤s12：将视频解码文件以及字幕渲染文件进行合成编码，生成ts视频流。

在获取到视频解码文件以及字幕渲染文件后，为了能够确保投屏的视频内容中包含有字幕，本步骤进一步将视频解码文件以及字幕渲染文件进行合成编码。此外，本步骤的重点在于进行合成编码所采用的协议为ts协议，将视频解码文件以及字幕渲染文件进行编码生成ts视频流，而ts的全称则是transportstream，ts视频流，是一种dvd的mpeg2-ts文件格式，特点是在ts视频流的任一片段开始都能够独立解码，因此在产生ts视频流之后能够通过播放器进行实时解码播放。

将视频解码文件以及字幕渲染文件进行合成编码这一操作可以由硬件编码器或软件编码器实现，硬件编码器的工作原理是通过显卡类的专用于图像编码的元器件对视频文件进行编码；而软件编码器的工作原理是将对处理过程的描述转换为基于某种计算机语言程序，并基于cpu执行该计算机语言程序实现对视频文件的编码。

由于当前进行投屏的视频文件的质量往往较高，即高清视频，而高清视频的分辨率远远高于一般格式视频，因此会使得高清视频的码率非常高，并且当前进行编码的压缩率很高，这导致解码运算的运算量很大，因此通过直接用cpu解码的常规方式，会极大地消耗cpu的运算能力。

因此作为一种优选的实施方式，可以具体利用硬件编码器将视频解码文件以及字幕渲染文件进行合成编码。通过硬件编码器对视频解码文件以及字幕渲染文件进行编码，能够相对确保编码效率，以及编码过程的稳定性，进一步确保了视频投屏的稳定性。

更进一步的，硬件编码器可以优选为intelquicksync编码器，由于intelquicksync编码器相比于其它类型的硬件编码器而言，具有更高的编码效率，并且能够最大程度的确保编码后ts视频流的视频画质。

步骤s13：将ts视频流实时传输至投屏端播放。

需要说明的是，本步骤是在产生ts视频流后就将ts视频流实时传入至投屏端进行播放，也就是说，投屏端进行对ts视频流进行播放时，仍然有新的ts视频流产生并继续传输至投屏端以备投屏端对后续视频内容的播放。

作为一种优选的实施方式，将ts视频流实时传输至投屏端播放，可以进一步包括，利用dlna协议将ts视频流实时传输至投屏端播放。

dlna，即digitallivingnetworkalliance的简称，dlna协议意在解决个人电脑、家电、移动设备在局域网内的多媒体(音频，视频，图片)共享。dlna协议具有较高的多媒体文件共享的稳定性，能够相对确保视频投屏过程的稳定性。

本发明所提供的视频投屏方法，首先获取视频文件以及字幕文件，进而分别对视频文件进行解码操作生成视频解码文件，对字幕文件进行渲染操作生成字幕渲染文件，进而将视频解码文件以及字幕渲染文件合成编码为ts视频流，并通过实时传输ts视频流至投屏端的方式实现在投屏端实时播放包含有字幕的视频内容。本方法通过将视频解码文件以及字幕渲染文件合成编码为ts视频流的方式，将产生ts视频流实时传输至投屏端，并同时继续编码产生新的ts视频流，在确保了投屏端中播放的视频内容中包含有合成编码时压制的字幕的同时，相对提高了对视频文件进行投屏播放的效率，进而提高用户的视频观看体验。

图2为本发明实施例提供的一种视频投屏方法的流程图。请参考图2，视频投屏方法的具体步骤包括：

步骤s20：获取视频文件以及字幕文件。

步骤s21：对视频文件进行解码操作生成视频解码文件，并对字幕文件进行渲染操作生成字幕渲染文件。

步骤s22：获取视频解码文件中视频帧的时间戳，以及字幕渲染文件中字幕的时间戳。

需要说明的是，视频解码文件中视频帧的时间戳表征的是该视频帧在完整解码文件播放时的被播放的时刻，而字幕渲染文件中字幕的时间戳表征的是该字幕在字幕渲染文件播放时被播放的时刻。

步骤s23：将视频解码文件以及字幕渲染文件之间时间戳一致的视频帧及字幕进行合成编码，生成ts视频流。

由于视频中的画面与字幕之间存在对应的显示关系，例如在视频画面中的人物在说话时，该画面中应显示相应的字幕内容，为了更加准确的在视频画面中显示对应的字幕内容，本步骤将时间戳作为视频解码文件中视频帧与字幕渲染文件的字幕之间建立对应关系的依据，也就是说，是将时间戳一致的视频帧与字幕进行合成编码，以此确保字幕能够在正确的视频帧中呈现。

步骤s24：将ts视频流实时传输至投屏端播放。

本实施例能够进一步提高字幕与视频内容在播放时的匹配程度，提高了对视频文件进行投屏播放的可靠性，进而提高用户的视频观看体验。

图3为本发明实施例提供的一种视频投屏方法的流程图。请参考图3，视频投屏方法的具体步骤包括：

步骤s30：获取视频文件以及字幕文件。

步骤s31：对视频文件进行解码操作生成视频解码文件，并对字幕文件进行渲染操作生成字幕渲染文件。

步骤s32：将视频解码文件以及字幕渲染文件进行合成编码，生成ts视频流。

步骤s33：收集ts视频流，并根据ts视频流生成字幕视频文件。

步骤s34：将ts视频流实时传输至投屏端播放。

需要说明的是，本实施例中收集ts视频流的操作与将ts视频流实时传输至投屏端播放的操作可以是同时进行的，目的是在将ts视频流传输至投屏端的同时根据ts视频流生成半含有字幕的视频文件，即字幕视频文件，以此确保当再次对相同的视频进行投屏时，无需再次进行编码即可直接将字幕视频文件传输至投屏端，并播放包含有字幕的视频内容，进一步提高了对视频文件进行投屏播放的效率，进而提高了用户的视频观看体验。

在上文中对于视频投屏方法的实施例进行了详细的描述，本发明还提供一种与该方法对应的视频投屏装置，由于视频投屏装置部分的实施例与方法部分的实施例相互对应，视频投屏装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

图4为本发明实施例提供的一种视频投屏装置的结构图。

本发明实施例提供的一种视频投屏装置1，包括存储器11、处理器12和总线13，存储器11上存储有可由总线13传输至处理器12并在处理器12上运行的视频投屏程序，视频投屏程序被处理器12执行时实现如上述的视频投屏方法。

该视频投屏装置1可以是组成cdn网络或者区块链网络的节点。

当视频投屏装置1为组成cdn网络或者区块链网络的节点时，能够通过cdn网络或区块链网络对视频文件进行相对可靠的存储。

其中，存储器11至少包括一种类型的可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器11(例如，sd或dx存储器11等)、磁性存储器11、磁盘、光盘等。存储器11在一些实施例中可以是视频投屏装置1的内部存储单元，例如该视频投屏装置1的硬盘。存储器11在另一些实施例中也可以是视频投屏装置1的外部存储设备，例如视频投屏装置1上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，存储器11还可以既包括视频投屏装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于视频投屏装置1的应用软件及各类数据，例如视频转码程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器12(centralprocessingunit,cpu)、控制器、微控制器、微处理器12或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行视频转码程序等。

该总线13可以是外设部件互连标准(peripheralcomponentinterconnect，简称pci)总线13或扩展工业标准结构(extendedindustrystandardarchitecture，简称eisa)总线13等。该总线13可以分为地址总线13、数据总线13、控制总线13等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

进一步地，视频投屏装置1还可以包括网络接口，网络接口可选的可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等)，通常用于在该视频投屏装置1与其他电子设备之间建立通信连接。

可选地，该视频投屏装置1还可以包括用户接口，用户接口可以包括显示器(display)、输入单元比如键盘(keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organiclight-emittingdiode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在视频投屏装置1中处理的信息以及用于显示可视化的用户界面。

本发明所提供的视频投屏装置，首先获取视频文件以及字幕文件，进而分别对视频文件进行解码操作生成视频解码文件，对字幕文件进行渲染操作生成字幕渲染文件，进而将视频解码文件以及字幕渲染文件合成编码为ts视频流，并通过实时传输ts视频流至投屏端的方式实现在投屏端实时播放包含有字幕的视频内容。本装置通过将视频解码文件以及字幕渲染文件合成编码为ts视频流的方式，将产生ts视频流实时传输至投屏端，并同时继续编码产生新的ts视频流，在确保了投屏端中播放的视频内容中包含有合成编码时压制的字幕的同时，相对提高了对视频文件进行投屏播放的效率，进而提高用户的视频观看体验。

此外，本发明还提供一种视频投屏系统，系统包括：

文件获取单元，用于获取视频文件以及字幕文件；

解码单元，用于对视频文件进行解码操作生成视频解码文件，并对字幕文件进行渲染操作生成字幕渲染文件；

合成编码单元，用于将视频解码文件以及字幕渲染文件进行合成编码，生成ts视频流；

实时投屏单元，用于将ts视频流实时传输至投屏端播放。

本发明所提供的视频投屏系统，首先获取视频文件以及字幕文件，进而分别对视频文件进行解码操作生成视频解码文件，对字幕文件进行渲染操作生成字幕渲染文件，进而将视频解码文件以及字幕渲染文件合成编码为ts视频流，并通过实时传输ts视频流至投屏端的方式实现在投屏端实时播放包含有字幕的视频内容。本系统通过将视频解码文件以及字幕渲染文件合成编码为ts视频流的方式，将产生ts视频流实时传输至投屏端，并同时继续编码产生新的ts视频流，在确保了投屏端中播放的视频内容中包含有合成编码时压制的字幕的同时，相对提高了对视频文件进行投屏播放的效率，进而提高用户的视频观看体验。

此外，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有视频投屏程序，视频投屏程序可被一个或者多个处理器执行，以实现如上述的视频投屏方法。

本发明所提供的计算机可读存储介质，首先获取视频文件以及字幕文件，进而分别对视频文件进行解码操作生成视频解码文件，对字幕文件进行渲染操作生成字幕渲染文件，进而将视频解码文件以及字幕渲染文件合成编码为ts视频流，并通过实时传输ts视频流至投屏端的方式实现在投屏端实时播放包含有字幕的视频内容。本计算机可读存储介质通过将视频解码文件以及字幕渲染文件合成编码为ts视频流的方式，将产生ts视频流实时传输至投屏端，并同时继续编码产生新的ts视频流，在确保了投屏端中播放的视频内容中包含有合成编码时压制的字幕的同时，相对提高了对视频文件进行投屏播放的效率，进而提高用户的视频观看体验。

以上对本发明所提供的一种视频投屏方法、装置、系统及存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。