在线答疑时的视频回放方法和装置与流程

本申请涉及互联网技术领域，尤其涉及一种在线答疑时的视频回放方法和装置。

背景技术：

随着技术的发展，出现了在线答疑。在线答疑时，答疑方(如老师)可以对提问方(如学生)提出的问题进行解答。为了巩固学生的学习效果，在线答疑系统还可以提供视频回放功能，在视频回放时，学习可以对之前与老师的交流过程进行回放。

在线答疑系统的数据流可以分为两路，一路是音频数据，另一路是笔迹数据。相关技术中，在视频回放时，是分别获取这两路数据，对这两路数据进行合成，得到mp4文件，并播放得到的mp4文件。但是，合成时需要消耗较大的服务器计算资源，同时会存在一定的延迟，影响用户体验。

技术实现要素：

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的一个目的在于提出一种在线答疑时的视频回放方法，该方法可以降低资源消耗并保证视频回放的实时性，提升用户体验。

本申请的另一个目的在于提出一种在在线答疑时的视频回放装置。

为达到上述目的，本申请第一方面实施例提出的在线答疑时的视频回放方法，包括：在接收到视频回放指令时，如果不存在已合成的待回放文件，则获取笔迹数据和音频数据；确定所述笔迹数据的记录起始时间和所述音频数据的录制起始时间，并计算所述记录起始时间与所述录制起始时间之间的时间偏移值；根据所述时间偏移值同步回放所述笔迹数据和所述音频数据。

本申请第一方面实施例提出的在线答疑时的视频回放方法，通过同步回放笔迹数据和音频数据，可以在视频回放时不需要对笔迹数据和音频数据进行合成，可以降低资源消耗并保证视频回放的实时性，提升用户体验。

为达到上述目的，本申请第二方面实施例提出的在线答疑时的视频回放装置，包括：获取模块，用于在接收到视频回放指令时，如果不存在已合成的待回放文件，则获取笔迹数据和音频数据；计算模块，用于确定所述笔迹数据的记录起始时间和所述音频数据的录制起始时间，并计算所述记录起始时间与所述录制起始时间之间的时间偏移值；同步模块，用于根据所述时间偏移值同步回放所述笔迹数据和所述音频数据。

本申请第二方面实施例提出的在线答疑时的视频回放装置，通过同步回放笔迹数据和音频数据，可以在视频回放时不需要对笔迹数据和音频数据进行合成，可以降低资源消耗并保证视频回放的实时性，提升用户体验。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请一个实施例提出的在线答疑时的视频回放方法的流程示意图；

图2是本申请另一个实施例提出的在线答疑时的视频回放方法的流程示意图；

图3是本申请实施例中生成待回放的文件的流程示意图；

图4是本申请一个实施例提出的在线答疑时视频回放装置的结构示意图；

图5是本申请另一个实施例提出的在线答疑时视频回放装置的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。相反，本申请的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

在线答疑可以分为非实时答疑和实时答疑，非实时答疑时，提问方主要使用图片、文字或语音上传需要，答疑方也同样利用图片、文字或语音等形式提供答案，双方不建立一对一的答疑环境。实时答疑时，建立问答双方的通信信道，双方可以以语音形式实时沟通，配备可以书写的手写设备完成文字内容实时传输。

本申请以调度方法具体应用在在线实时答疑系统中为例，当然，也并不排除在非实时答疑系统中的应用。

图1是本申请一个实施例提出的在线答疑时的视频回放方法的流程示意图。

参见图1，本实施例的方法包括：

s11：在接收到视频回放指令时，如果不存在已合成的待回放文件，则获取笔迹数据和音频数据。

用户答疑完成之后，可以选择查看答疑记录，并在查看的记录中选择需要的记录进行回放。例如，用户点击回放按钮后，可以产生视频回放指令，视频回放装置可以在接收到视频回放指令后进行回放处理。

在视频回放时，一种情况是存在已合成的待回放文件，另一种情况是不存在已合成的待回放文件。

其中，已合成的待回放文件是指根据音频数据和笔迹数据合成得到的文件。音频数据具体可以是mp3格式，已合成的待回放文件具体可以是mp4格式。

在用户(提问方)与答疑方进行交流的过程中，可以记录该交流过程中生成的笔迹数据，以及录制该交流过程中生成的音频数据，并分别进行存储，因此，从已存储的信息中可以分为获取到笔迹数据和音频数据。

s12：确定所述笔迹数据的记录起始时间和所述音频数据的录制起始时间，并计算所述记录起始时间与所述录制起始时间之间的时间偏移值。

其中，在记录笔迹数据时，不仅可以记录笔迹对应的坐标、压感等，还可以记录相应的时间，从而可以在已记录的笔迹数据中找到记录时间最早的时间作为记录起始时间。类似的，录制音频数据时，可以记录相应的录制时间，从而可以在已记录的音频数据中找到记录时间最早的时间作为录制起始时间。

在提问方与答疑方的交流过程中，通常是问答双方建立连接后就开始音频数据的录制，此时可能还没有生成音频数据，而笔迹数据是从生成笔迹数据后才开始记录的，因此两者可能存在偏差。假设音频数据的录制起始时间用t1表示，笔迹数据的记录起始时间用t2表示，则时间偏移值t＝t2-t1。

s13：根据所述时间偏移值同步回放所述笔迹数据和所述音频数据。

具体的，在用户点击回放后，对于笔迹数据，从记录起始时间开始，按照笔迹数据的记录时间，根据笔迹数据顺序生成笔迹。对于音频数据，则根据时间偏移值计算得到偏移后的起始时间，从偏移后的起始时间开始，按照音频数据的录制时间顺序播放音频数据。比如，对于笔迹数据从t2时刻开始按照时间顺序生成笔迹，对于音频数据从(t1+t)时刻开始按照时间顺序播放音频。

本实施例中，通过同步处理笔迹数据和音频数据，可以在视频回放时不需要对笔迹数据和音频数据进行合成，可以降低资源消耗并保证视频回放的实时性，提升用户体验。

图2是本申请另一个实施例提出的在线答疑时的视频回放方法的流程示意图。

本实施例以音频数据是mp3格式，根据笔迹数据和音频数据合成后的文件是mp4格式为例。

如图2所示，本实施例的流程包括：

s21：开始查看回放。

例如，用户点击视频回放按钮。

s22：判断是否存在已合成的mp4文件，若是，执行s23，否则执行s25。

其中，在合成mp4文件后，可以存储mp4文件，并在数据库中记录mp4文件的存储地址，因此，在用户需要查看回放时可以先在数据库中进行查找，如果可以查找到mp4文件的存储地址则确定存在已合成的mp4文件，否则不存在。

s23：获取已合成的mp4文件，以及播放获取的mp4文件。之后执行s24。

在数据库中记录mp4文件的存储地址时，可以根据该存储地址获取mp4文件。

进一步的，在用户需要查看回放时，可以先调起播放页面，再获取到mp4文件后，再调起播放器，通过播放器播放获取到的mp4文件，实现视频回放。上述的播放页面可以是web页面，如html5页面，或者，上述的播放页面也可以是原生(native)页面。

s24：结束。

s25：获取笔迹数据和音频数据。

其中，笔迹数据和音频数据可以是在提问方与答疑方的相互交流过程中记录或录制的，因此，可以在存储信息中分别获取到笔迹数据和音频数据。

s26：判断回放是否结束，若是，执行s24，否则执行s27。

例如，到达到回放文件的结束时间点时，可以判断出回放结束，或者，用户也可以点击结束视频回放从而结束回放。

s27：确定笔迹数据的记录起始时间和音频数据的录制起始时间，并根据记录起始时间和录制起始时间计算时间偏移值。

其中，在存储数据时，数据中可以包含相应的时间，如对应笔迹数据包含记录时间，对应音频数据包含录制时间，通过比较所有已存储的笔迹数据包含的记录时间，将其中的最早时间作为记录起始时间，通过比较所有已存储的音频数据包含的录制时间，将其中的最早时间作为录制起始时间。

由于通常笔迹数据的记录时间晚于音频数据的录制时间，因此上述的时间偏移值是记录起始时间减去录制起始时间之后的值。假设音频数据的录制起始时间用t1表示，笔迹数据的记录起始时间用t2表示，则时间偏移值t＝t2-t1。

s28：从笔迹数据的记录起始时间开始，按照时间顺序绘制笔迹，以及根据时间偏移值确定偏移处理后的时间，并播放相应时间的音频数据。

通过该步骤可以实现笔迹和音频的同步绘制和播放。

之后，可以重复执行s26及其后续步骤。

进一步的，当存在快进或回退时，可以计算快进或回退后对应的时间点与记录起始时间点的差值，再在存储的笔迹数据中根据该差值及记录起始时间点获取相应的笔迹数据并渲染生成笔迹，再在存储的音频数据中根据该差值及录制起始时间点及时间偏移值获取相应的音频数据并播放，实现笔迹和音频的同步绘制和播放。

进一步的，上述流程中涉及了已合成的mp4文件，具体的，mp4文件可以是在实时合成的。

如图3所示，生成mp4文件的流程包括：

s31：开始答疑。

s32：在问答双方交流过程中，记录交流过程中产生的笔迹数据，以及录制交流过程中产生的音频数据。

其中，音频数据可以采用通常的mp3格式的数据进行记录。

笔迹数据的格式可以如下：

<ts,signo,data<c,id,loc[(x,y,pressure),(x,y,pressure)]>,pgid,pid>

说明：

ts:时间戳

signo:信令号，比如翻页、换颜色、换图片之类的指令

c:color缩写，表示颜色值

id:笔迹id，一次连续笔画算成一个id

loc:笔迹坐标点

pgid:页码id

pid:数据网络包id

在记录上的笔迹数据和音频数据后，可以在问答双方交流过程中，对记录的笔迹数据和录制的音频数据进行同步合成，生成所述待回放文件。具体包括：

s33：进入mp4文件生成队列。之后执行s34和s35。

s34：根据笔迹数据生成笔迹图像，形成视频流。

s35：根据音频数据进行mp3文件处理，形成音频流。

s36：对视频流和音频流进行合成，形成mp4文件。

s37：结束。

本实施例中，通过同步处理笔迹数据和音频数据，可以在视频回放时不需要对笔迹数据和音频数据进行合成，可以降低资源消耗并保证视频回放的实时性，提升用户体验。进一步的，在问答双方交流过程中合成待回放的文件，可以在需要视频回放时直接播放已合成的文件，保证视频回放的实时性。

图4是本申请一个实施例提出的在线答疑时视频回放装置的结构示意图。

如图4所示，本实施例的装置40包括：获取模块41、计算模块42和同步模块43。

获取模块41，用于在接收到视频回放指令时，如果不存在已合成的待回放文件，则分别获取笔迹数据和音频数据；

计算模块42，用于确定所述笔迹数据的记录起始时间和所述音频数据的录制起始时间，并计算所述记录起始时间与所述录制起始时间之间的时间偏移值；

同步模块43，用于根据所述时间偏移值同步回放所述笔迹数据和所述音频数据。

一些实施例中，参见图5，该装置40还包括：

播放模块44，用于在存在已合成的待回放文件时，获取所述待回放文件，并播放所述待回放文件。

一些实施例中，参见图5，该装置40还包括：

存储模块45，用于在问答双方交流过程中，记录交流过程中产生的笔迹数据，以及录制交流过程中产生的音频数据。

一些实施例中，参见图5，该装置40还包括：

合成模块46，用于在问答双方交流过程中，对记录的笔迹数据和录制的音频数据进行同步合成，生成所述待回放文件。

一些实施例中，回放模块43具体用于：

从记录起始时间开始，按照时间顺序根据笔迹数据绘制笔迹，以及，根据时间偏移值对录制起始时间进行偏移，从偏移后的起始时间开始，按照时间顺序根据音频数据播放音频。

可以理解的是，本实施例的装置与上述方法实施例对应，具体内容可以参见方法实施例的相关描述，在此不再详细说明。

本实施例中，通过同步处理笔迹数据和音频数据，可以在视频回放时不需要对笔迹数据和音频数据进行合成，可以降低资源消耗并保证视频回放的实时性，提升用户体验。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。