本发明实施例涉及互联网技术，尤其涉及一种互动信息处理方法、装置、主播侧设备和介质。
背景技术：
随着互联网技术的迅猛发展，网络直播作为一个新的技术领域进入大众视野，观众可以在各自的设备上观看到主播的精彩表演，并可以与主播实时互动。
目前，主播在与观众实时互动时，主播侧设备需要向观众侧设备发送音视频流和互动信息。如图1所示，音视频流通过视频网络发送至观众侧设备，互动信息则通过信令服务器发送至观众侧设备。由于视频网络的通道与信令服务器的通道中的节点数量、网络负载、带宽等可能不同，导致在观众侧设备接收到音视频流时，信令服务器可能或早或晚地将互动信息传输至观众侧设备，即音视频流的时间戳与互动信息的时间戳容易出现不对齐。这容易造成观众在通过音视频流感知到互动时，互动信息并未在观众侧设备上同步展示。
技术实现要素：
本发明实施例提供一种互动信息处理方法、装置、主播侧设备和介质，以实现互动信息与音视频流的同步，提高实时性。
第一方面，本发明实施例提供了一种互动信息处理方法，包括：
响应于主播的当前互动操作，生成与所述当前互动操作对应的当前互动信息；
将所述当前互动信息插入当前音视频流中，以生成互动音视频文件；
将所述互动音视频文件发送至视频网络，以供观众侧设备通过所述视频网络接收所述互动音视频文件并展示所述互动音视频文件中的所述当前互动信息。
第二方面，本发明实施例还提供了另一种互动信息处理方法，包括：
从视频网络接收互动音视频文件，其中，所述互动音视频文件通过主播侧设备将当前互动信息插入当前音视频流中生成，所述当前互动信息与主播的当前互动操作对应；
从所述互动音视频文件中，识别所述当前互动信息；
对所述当前互动信息进行展示。
第三方面，本发明实施例还提供了一种互动信息处理装置，包括：
第一生成模块，用于响应于主播的当前互动操作，生成与所述当前互动操作对应的当前互动信息；
第二生成模块，用于将所述当前互动信息插入当前音视频流中，以生成互动音视频文件；
发送模块，用于将所述互动音视频文件发送至视频网络，以供观众侧设备通过所述视频网络接收所述互动音视频文件并展示所述互动音视频文件中的所述当前互动信息。
第四方面，本发明实施例还提供了一种主播侧设备，包括一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现任一实施例所述的互动信息处理方法。
第五方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如任一实施例所述的互动信息处理方法。
本实施例中，通过将与主播当前互动操作对应的当前互动信息插入当前音视频流中，以生成互动音视频文件，从而将当前互动信息与当前音视频流合二为一，生成一个互动音视频文件；然后，通过将互动音视频文件发送至视频网络，从而将互动音视频文件通过视频网络这一条通道发送至观众端设备，无需在当前互动信息上打上时间戳，也就不需要对齐时间戳，即可使互动音视频文件中的当前互动信息和当前音视频流一起传输至观众侧设备，解决了现有技术中当前互动信息和当前音视频流难以同步传输至观众侧设备，即时间戳不对齐的问题，实现了当前互动信息与当前音视频流的同步，提高准确性和实时性；进一步地，由于当前互动信息利用也通过视频网络这一条通道传输，无需信令服务器传输当前互动信息，从而减少信令服务器开销。
附图说明
图1是现有技术中主播侧设备与观众侧设备之间的信号流程图；
图2是本发明实施例一提供的一种互动信息处理方法的流程图；
图3是本发明实施例二提供的一种互动信息处理方法的流程图；
图4为本发明实施例三提供的一种互动信息处理方法的流程图；
图5是本发明实施例四提供的一种互动信息处理方法的流程图；
图6a是本发明实施例提供的一种主播侧设备与观众侧设备之间的信号流程图；
图6b是本发明实施例提供的另一种主播侧设备与观众侧设备之间的信号流程图；
图7是本发明实施例五提供的一种互动信息处理装置的结构示意图；
图8为本发明实施例六提供的一种主播侧设备的结构示意图；
图9是本发明实施例七提供的一种互动信息处理装置的结构示意图；
图10是本发明实施例八提供的一种观众侧设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图2是本发明实施例一提供的一种互动信息处理方法的流程图，本实施例可适用于主播侧设备向观众侧设备发送互动信息的情况，该方法可以由互动信息处理装置来执行，该装置可由硬件和/或软件组成，并一般可集成在主播侧设备中，具体包括如下步骤：
s110、响应于主播的当前互动操作，生成与当前互动操作对应的当前互动信息。
主播侧设备上安装有直播应用程序，为了便于主播与观众互动，直播应用程序提供多种互动活动，例如竞猜活动、抽奖活动、发弹幕活动等。当主播想要与观众互动时，可以在主播侧设备上开启直播应用程序提供的互动活动，并对已开启的活动执行一系列的后续操作。
在主播的各项操作中，有些需要对应展示在观众侧设备上，以使观众能够及时获知并参与到主播的互动活动中。例如，在主播点击“发弹幕活动”控件，开启发弹幕活动，需要在观众侧设备上展示“主播开启发弹幕活动”的提示信息，以吸引观众参与主播的发弹幕活动。
为了方便描述和区分，将需要对应展示在观众侧设备上的主播的操作称为互动操作。可选地，在主播侧设备中预先存储多种互动操作，当主播的当前时刻的操作与一互动操作匹配时，响应于主播的当前互动操作，生成与当前互动操作对应的当前互动信息。例如，响应于主播对“中奖名单”控件的点击操作，生成中奖名单。又例如，响应于主播对“结束竞猜活动”控件的点击操作，生成“竞猜活动已结束”的提示信息。
s120、将当前互动信息插入当前音视频流中，以生成互动音视频文件。
当前音视频流指当前时刻主播侧设备录制的音频流和视频流，主播侧设备将当前互动信息插入到当前音视频流中，生成互动音视频文件。基于此，互动音视频文件包含当前音视频和当前互动信息。
s130、将互动音视频文件发送至视频网络，以供观众侧设备通过视频网络接收互动音视频文件并展示互动音视频文件中的当前互动信息。
主播侧设备在生成互动音视频文件后，将互动音视频文件以推流的方式发送至视频网络。其中，所述推流可以是指使用推流工具等内容抓取软件把互动音视频文件传输到视频网络的过程。可选地，所述视频网络可以是cdn(contentdeliverynetwork，内容分发网络)。
观众侧设备可以以拉流的方式从视频网络接收互动音视频文件，识别其中的当前互动信息，以及将当前互动信息展示在观众侧设备上。其中，所述拉流是指视频网络已有互动音视频文件，用指定地址拉取视频网络中互动音视频文件的过程。
本实施例中，通过将与主播当前互动操作对应的当前互动信息插入当前音视频流中，以生成互动音视频文件，从而将当前互动信息与当前音视频流合二为一，生成一个互动音视频文件；然后，通过将互动音视频文件发送至视频网络，从而将互动音视频文件通过视频网络这一条通道发送至观众端设备，也就是说，当前互动信息和当前音视频流使用同一视频网络通道传输至观众端设备。无需在当前互动信息上打上时间戳，也就不需要对齐时间戳，即可使互动音视频文件中的当前互动信息和当前音视频流一起传输至观众侧设备，解决了现有技术中当前互动信息和当前音视频流难以同步传输至观众侧设备的技术问题，实现了当前互动信息与当前音视频流的同步，提高实时性；进一步地，由于当前互动信息利用也通过视频网络这一条通道传输，无需信令服务器传输当前互动信息，从而减少信令服务器开销。
实施例二
本实施例对上述实施例进行进一步优化，图3是本发明实施例二提供的一种互动信息处理方法的流程图，如图3所示，包括以下步骤：
s210、响应于主播的当前互动操作，生成与当前互动操作对应的当前互动信息。
s220、根据当前互动信息，生成与当前互动信息对应的自定义元数据。
其中，所述自定义元数据用于描述当前互动信息。本实施例中，可以预先制定自定义元数据的描述规则，并建立自定义元数据与互动信息间的对应关系。其中，自定义元数据实质是数组元素，包括元素名称和值组成的对。元素名称指互动信息类型，例如是活动，则可以用字符串“activity”描述“活动”。值指互动信息内容，例如是抽奖，则可以用字符串“lottery”描述“抽奖”。此时，自定义元数据为字符串“activitylottery”,并建立“activitylottery”与“活动抽奖”的对应关系。
在生成当前互动信息后，可以将当前互动信息在自定义元数据与互动信息间的对应关系中进行比对，以得到与当前互动信息对应的自定义元数据。
s230、将自定义元数据插入当前音视频流中，以生成互动音视频文件。
可以将所述自定义元数据写入当前音视频流的元数据文件中，从而生成所述互动音视频文件。
也可以将所述自定义数据加入元数据标签(metadatatag)，生成一个元数据数据单位，例如元数据帧等，这样所述音视频流中包括了携带所述当前互动信息的自定义元数据。
在一个实施例中，s230可以包括：
根据自定义元数据的生成时间点，确定第一音视频流，其中，自定义元数据的生成时间点位于第一音视频流的生成时间段内。
第一音视频流包括多帧视频帧和多帧音频帧。假设该多帧视频帧和多帧音频帧的生成时间段是a时刻到b时刻。而主播触发的当前互动操作也是在a时刻和b时刻之内，所述自定义元数据的生成时间点应在a时刻至b时刻之内。a时刻至b时刻的时间差距应小于或等于预设的时间间隔。
当主播触发当前互动操作时，可以记录当前视频帧的时间戳，生成所述自定义元数据后，可以根据该视频戳确定所述第一音视频流。此时，可以获取主播触发所述当前互动操作时对应时间戳的视频帧；将所述视频帧所在视频流区段和对应的音频流区段，确定为第一音视频流。
在与第一音视频流对应的元数据文件中，存储自定义元数据。
在确定第一音视频流生成完成后，将元数据文件和第一音视频流进行封装，以生成互动音视频文件。
将自定义元数据存储至与第一音视频流对应的元数据文件中，并将元数据文件和第一音视频流进行封装，以生成互动音视频文件，此时，第一音视频流即为当前音视频流。
元数据文件可以包括用于描述不同信息的多种元数据，例如描述“码率”的元数据、描述“分辨率”的元数据、描述“作者信息”的元数据等。将自定义元数据存储至元数据文件中，并将元数据文件和当前音视频流进行封装，从而实现将当前互动信息插入当前音视频流中的操作。例如，将自定义元数据存储至metadata元数据文件中，并将metadata元数据文件和当前音视频流使用流媒体格式(flashvideo,flv)容器进行封装，封装后得到的文件称为互动音视频文件。
s240、将互动音视频文件发送至视频网络，以供观众侧设备通过视频网络接收互动音视频文件并展示互动音视频文件中的当前互动信息。
本实施例中，通过根据当前互动信息，生成与当前互动信息对应的自定义元数据；将自定义元数据存储至元数据文件中，并将元数据文件和当前音视频流进行封装，以生成互动音视频文件，从而通过封装自定义元数据的方式，将当前互动信息融入视频网络的通道，使当前互动信息与当前音视频流保持同步，使得观众在观看到当前音视频时能够同时看到当前互动信息，提高用户体验。
在上述实施例中，通过将自定义元数据存储至元数据文件中，并将元数据文件和当前音视频流进行封装，以将自定义元数据插入至当前音视频流中。在一些实施例中，根据当前互动信息，生成与当前互动信息对应的自定义字段，将所述自定义字段插入当前音视频流中，生成互动音视频文件。可以将自定义字段添加至当前音频流和/或当前视频流中，并将当前视频流和当前音频流进行封装，以将自定义字段插入至当前音视频流中。当然，也可以将当前互动信息划分为两部分，一部分信息生成自定义字段，另一部分生成自定义元数据，将自定义元数据存储至元数据文件，将自定义字段添加到当前视频流和/或当前音频流中，并将元数据文件、当前视频流和当前音频流进行封装，以生成互动音视频文件。
下面，详细描述将自定义字段添加至当前音频流和/或当前视频流中，并将当前视频流和当前音频流进行封装，以生成互动音视频文件的过程。
将当前互动信息插入当前音视频流中，以生成互动音视频文件，包括：根据当前互动信息，生成与当前互动信息对应的自定义字段；根据自定义字段的生成时间点，确定目标视频帧和/或目标音频帧，其中，自定义字段与目标视频帧和目标音频帧的生成时间点之差均在预设时长内；在目标视频帧和/或目标音频帧中添加自定义字段；在确定与目标视频帧和目标音频帧对应的第二音视频流生成完成后，对第二音视频流进行封装，以生成互动音视频文件。
假设，一视频帧的生成时间点是m时刻，一音频帧的生成时间点是n时刻，自定义字段的生成时间点是p时刻。如果p时刻与m时刻的时间点之差在预设时长内，且p时刻与n时刻的时间点之差也在预设时长内，确定该视频帧是目标视频帧，该音频帧是目标音频帧。此时，目标视频帧就是当前视频帧，目标音频帧就是当前音频帧。
可选地，将自定义字段添加到目标视频流和/或目标音频流中包括以下三种实施方式：
第一种实施方式：将自定义元数据添加到目标视频帧中。在一示例中，互动音视频文件是flv文件。flv文件包括文件头和文件体两部分。文件体由一系列的tag组成。其中，tag包括音频tag、视频tag和script。
在目标视频帧的视频tag中添加自定义元字段，例如字符串“activitylottery”。
第二种实施方式：将自定义字段添加到目标音频帧中。在一示例中，互动音视频文件是flv文件，可以在目标音频帧的音频tag中，添加自定义字段。
第三种实施方式：当自定义字段占用字节较多时，可以将自定义字段划分为两部分，一部分添加到目标音频帧中，另一部分添加到目标视频帧中。例如，自定义字段是“activitymemberlottery”，对应的互动信息是“活动会员抽奖”。将“activity”添加至目标视频帧的视频tag中，并将“memberlottery”添加至目标音频帧的音频tag中。
第二音视频流包括多帧音频帧和多帧视频帧，其中，目标视频帧是该多帧视频帧之一，目标音频帧是该多帧音频帧之一。在第二音视频流均生成完成后，对第二音视频流中的多帧音频帧和多帧视频帧进行封装，以生成互动音视频文件。
本实施例中，通过将自定义字段添加到目标视频帧和/或目标音频帧中，并对目标视频帧和目标音频帧对应的第二音视频流进行封装，以生成互动音视频文件，从而实现将当前互动信息插入当前音视频流中，生成一个互动音视频文件。通过将互动音视频文件发送至视频网络，从而将互动音视频文件通过视频网络这一条通道发送至观众端设备，无需在当前互动信息上打上时间戳，也就不需要对齐时间戳，即可将互动音视频文件中的当前互动信息和当前音视频流一起传输至观众侧设备，解决了现有技术中当前互动信息和当前音视频流难以同步传输至观众侧设备的技术问题，实现了当前互动信息与当前音视频流的同步，提高实时性；而且，正是因为当前互动信息也通过视频网络这一条通道传输，则无需信令服务器传输当前互动信息，从而减少信令服务器开销。
实施例三
图4为本发明实施例三提供的一种互动信息处理方法的流程图，本实施例可适用于观众侧设备展示互动信息的情况，该方法可以由互动信息处理装置来执行，该装置可由硬件和/或软件组成，并一般可集成在观众侧设备中，具体包括如下步骤：
s310、从视频网络接收互动音视频文件，其中，互动音视频文件通过主播侧设备将当前互动信息插入当前音视频流中生成，当前互动信息与主播的当前互动操作对应。
主播通过主播侧设备进行当前互动操作，主播侧设备响应于主播的当前互动操作，生成与当前互动操作对应的当前互动信息。接着，主播侧设备将当前互动信息插入当前音视频流中，生成互动音视频文件，并将互动音视频文件发送至视频网络。可选地，视频网络可以是cdn视频网络。
观众侧设备从视频网络以拉流的方式接收互动音视频文件。
s320、从互动音视频文件中，识别当前互动信息。
观众侧设备从互动音视频文件中读取当前互动信息。可选地，观众侧设备预先存储有合法互动信息，将读取到的当前互动信息与预先存储的合法互动信息进行匹配，如果当前互动信息与合法互动信息之一相匹配，则识别出当前互动信息。
s330、对当前互动信息进行展示。
观众侧设备将当前互动信息以文字、图片、声音、视频等形式展示出来，以供观众感知到主播的当前互动操作。
观众侧设备还对互动音视频文件中的音视频流进行解复用，并播放，以供观众感知到直播内容。有些情况下，主播的当前互动操作会录制到当前音视频流中，则观众会从直播内容中感知到主播的互动操作。此时，观众侧设备对当前互动信息进行展示，使得当前互动信息与直播内容中的互动操作保持同步，提高观众体验的真实感。
本实施例中，通过从视频网络接收互动音视频文件，并从互动音视频文件中，识别当前互动信息，以及对当前互动信息进行展示，使得从视频网络同时获取到音视频流和当前互动信息，无需从信令服务器获取当前互动信息，减少信令服务器的开销，节省成本；同时，从互动音视频文件中同时获取到音视频流和当前互动信息，使得当前互动信息与直播内容中的互动操作保持同步，提高观众体验的真实感。
实施例四
本实施例上述实施例进行进一步优化。图5是本发明实施例四提供的一种互动信息处理方法的流程图。如图5所示，具体包括以下步骤：
s410、从视频网络接收互动音视频文件，其中，互动音视频文件通过主播侧设备将当前互动信息插入当前音视频流中生成，当前互动信息与主播的当前互动操作对应。
s420、从互动音视频文件中，识别元数据文件中的自定义元数据，其中，自定义元数据的生成时间点位于互动音视频文件中第一音视频流的生成时间段内。
互动音视频文件封装有当前音视频流和元数据，元数据包括自定义元数据。由于自定义元数据的生成时间点位于互动音视频文件中第一音视频流的生成时间段内，表明自定义元数据与第一音视频流几乎同步。在观众侧设备的观众看来，由于视觉延迟，几乎感受不到自定义元数据与第一音视频流之间的时差，从而提高观众体验的真实感。
其中，自定义元数据与当前互动信息相对应，用于描述“当前互动信息”。合法互动信息与合法元数据相对应。基于此，观众端设备预先存储有合法元数据，将自定义元数据与预先存储的合法元数据进行匹配，如果自定义元数据与合法元数据之一相匹配，则识别出自定义元数据。
s430、根据自定义元数据，确定自定义元数据对应的当前互动信息。
观众侧设备存储有合法元数据与合法互动信息的对应关系，将自定义元数据在合法元数据与合法互动信息的对应关系中进行匹配，以得到与自定义元数据对应的当前互动信息。
例如，观众侧设备存储有合法元数据“activitylottery”与合法互动信息“活动抽奖”的对应关系，则识别出自定义元数据“activitylottery”后，得到其对应的合法互动信息“活动抽奖”。
s440、对当前互动信息进行展示。
本实施例中，通过从互动音视频文件中，识别元数据文件中的自定义元数据，并根据自定义元数据，确定自定义元数据对应的当前互动信息，从而从元数据文件中获取当前互动信息，无需从信令服务器获取当前互动信息，减少信令服务器的开销，节省成本；同时，当前互动信息与直播内容中的互动操作保持同步，提高观众体验的真实感。
在一些实施例中，当前互动信息对应的自定义元数据可能存储于元数据文件中，和/或，当前互动信息对应的自定义字段可能存储于目标视频帧和/或目标音频帧中，则观众侧设备可从存储于自定义元数据的元数据文件、目标视频帧和/或目标音频帧中识别自定义元数据和/或自定义字段。
下面，详细描述从互动音视频文件的目标视频帧和/或目标音频帧中，识别当前互动信息的方法。
从互动音视频文件中，识别当前互动信息，包括：从互动音视频文件的第二音视频流中，获取目标视频帧和/或目标音频帧；识别目标视频帧中的自定义字段和/或目标音频帧中的自定义字段，其中，自定义字段与目标视频帧和目标音频帧的生成时间点之差均在预设时长内；根据自定义字段，确定自定义字段对应的当前互动信息。
遍历第二音频流中各帧视频帧和各帧音频帧，获取添加有自定义字段的目标视频帧和/或目标音频帧。
可选地，识别目标视频帧中的自定义字段和/或目标音频帧中的自定义字段，包括以下三种实施方式：
第一种实施方式：适用于自定义字段仅存在于目标视频帧中的情况。具体地，从视频tag中读取自定义字段，例如是“activitylottery”，若观众侧设备存储有合法字段“activitylottery”，则与读取出的数据相匹配，进而识别出目标视频帧中的自定义字段。
第二种实施方式：适用于自定义字段仅存在于目标音频帧中的情况。具体地，从音频tag中读取自定义字段，如果读取出的自定义字段与观众侧设备存储有合法字段相匹配，则识别出目标音频帧中的自定义字段。
第三种实施方式：适用于自定义字段存在于目标音频帧和目标视频帧中的情况。具体地，从视频tag中读取部分自定义字段，以及从音频tag中读取另一部分自定义字段，将两部分自定义字段进行整合得到完整的自定义字段，例如“activitymemberlottery”。如果完整的自定义字段与观众侧设备存储有合法字段相匹配，则识别出目标音频帧和目标视频帧中的自定义字段。
然后，根据自定义字段，确定自定义字段对应的当前互动信息。观众侧设备存储有合法字段与合法互动信息的对应关系，例如“activitymemberlottery”与“活动会员抽奖”的对应关系。则将自定义字段，例如是“activitymemberlottery”在前述合法字段与合法互动信息的对应关系中进行匹配，以得到对应的当前互动信息，即“活动会员抽奖”。
结合上述实施例，图6a是本发明实施例提供的主播侧设备与观众侧设备之间的信号流程图。主播侧设备向视频网络发送封装有当前互动信息的互动音视频文件，观众侧设备从视频网络接收互动音视频文件，并对互动音视频文件中的当前互动信息进行展示。
在一些实施例中，如图6a所示，观众侧设备响应于观众的参与互动操作，生成与参与互动操作对应的参与互动信息，并将参与互动信息发送至业务服务器，业务服务器对参与互动信息进行处理后将处理结果反馈至观众侧设备。
下面，结合图6b，以一实际应用场景，详细说明主播侧设备与观众侧设备之间的互动流程。
主播通过摄像头和麦克风告知观众，她要开启一个投票活动。此时，摄像头录制当前视频，麦克风录制当前音频。主播侧设备对当前视频和当前音频进行编码得到当前视频流和当前音频流。同时，主播在主播直播间界面上点击“投票”控件，则主播侧设备生成自定义元数据“activityvote”，
主播侧设备将自定义元数据“activityvote”存储至元数据文件中，并将元数据文件和当前音频流、当前视频流进行封装，以生成互动音视频文件，并将互动音视频文件推流至视频网络。
观众侧设备从视频网络拉流互动音视频文件，并对互动音视频文件进行分离、解码，得到当前视频、当前音频；同时，对互动音视频文件中的元数据进行识别，以得到自定义元数据“activityvote”。然后，观众侧设备播放当前视频和当前音频，同时在观众直播间界面上显示“activityvote”对应的文字“选项a；选项b”。在观众看来，从直播间的画面和主播声音中感知到投票活动的同时，在直播间界面上显示投票选项，使得观众的感受较真实，体验感较好。
接着，观众执行投票操作，例如选定“选项a”，并将“选项a”同步到业务服务器。业务服务器会接收多个观众发送的投票选项，并对投票选项进行汇总，选出投票最多的选项，例如是“选项b”反馈至观众侧设备。观众侧设备继而显示“选项b”。
实施例五
图7是本发明实施例五提供的一种互动信息处理装置的结构示意图，如图7所示，该装置包括：第一生成模块51、第二生成模块52和发送模块53。
第一生成模块51，用于响应于主播的当前互动操作，生成与当前互动操作对应的当前互动信息。
第二生成模块52，用于将当前互动信息插入当前音视频流中，以生成互动音视频文件。
发送模块53，用于将互动音视频文件发送至视频网络，以供观众侧设备通过视频网络接收互动音视频文件并展示互动音视频文件中的当前互动信息。
本实施例中，通过将与主播当前互动操作对应的当前互动信息插入当前音视频流中，以生成互动音视频文件，从而将当前互动信息与当前音视频流合二为一，生成一个互动音视频文件；然后，通过将互动音视频文件发送至视频网络，从而将互动音视频文件通过视频网络这一条通道发送至观众端设备，无需在当前互动信息上打上时间戳，也就不需要对齐时间戳，即可使互动音视频文件中的当前互动信息和当前音视频流一起传输至观众侧设备，解决了现有技术中当前互动信息和当前音视频流难以同步传输至观众侧设备的技术问题，实现了当前互动信息与当前音视频流的同步，提高实时性；而且，正是因为当前互动信息也通过视频网络这一条通道传输，则无需信令服务器传输当前互动信息，从而减少信令服务器开销。
在一可选实施方式中，第二生成模块52在将当前互动信息插入当前音视频流中，以生成互动音视频文件时，具体用于：根据所述当前互动信息，生成与所述当前互动信息对应的自定义元数据；将所述自定义元数据插入当前音视频流中，以生成互动音视频文件。
在一可选实施方式中，第二生成模块52在将所述自定义元数据插入当前音视频流中，以生成互动音视频文件时，具体用于：根据当前互动信息，生成与当前互动信息对应的自定义元数据；根据自定义元数据的生成时间点，确定第一音视频流，其中，自定义元数据的生成时间点位于第一音视频流的生成时间段内；在与第一音视频流对应的元数据文件中，存储自定义元数据；在确定第一音视频流生成完成后，将元数据文件和第一音视频流进行封装，以生成互动音视频文件。
在一可选实施方式中，第二生成模块52在根据所述自定义元数据的生成时间点，确定第一音视频流时，具体用于：获取主播触发所述当前互动操作时对应时间戳的视频帧；将所述视频帧所在视频流区段和对应的音频流区段，确定为第一音视频流。
在一可选实施方式中，第二生成模块52在将当前互动信息插入当前音视频流中，以生成互动音视频文件时，具体用于：根据所述当前互动信息，生成与所述当前互动信息对应的自定义字段；将所述自定义字段插入当前音视频流中，以生成互动音视频文件。
在一可选实施方式中，第二生成模块52在将所述自定义字段插入当前音视频流中，以生成互动音视频文件时，具体用于：根据当前互动信息，生成与当前互动信息对应的自定义字段；根据自定义字段的生成时间点，确定目标视频帧和/或目标音频帧，其中，自定义字段与目标视频帧和目标音频帧的生成时间点之差均在预设时长内；在目标视频帧和/或目标音频帧中添加自定义字段；在确定与目标视频帧和目标音频帧对应的第二音视频流生成完成后，对第二音视频流进行封装，以生成互动音视频文件。
本发明实施例所提供的互动信息处理装置可执行本发明任意实施例所提供的互动信息处理方法，具备执行方法相应的功能模块和有益效果。
实施例六
图8为本发明实施例六提供的一种主播侧设备的结构示意图，如图8所示，该主播侧设备包括处理器60、存储器61、输入装置62和输出装置63；主播侧设备中处理器60的数量可以是一个或多个，图8中以一个处理器60为例；主播侧设备中的处理器60、存储器61、输入装置62和输出装置63可以通过总线或其他方式连接，图8中以通过总线连接为例。
存储器61作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的互动信息处理方法对应的程序指令/模块(例如，互动信息处理装置中的第一生成模块51、第二生成模块52和发送模块53)。处理器60通过运行存储在存储器61中的软件程序、指令以及模块，从而执行主播侧设备的各种功能应用以及数据处理，即实现上述的互动信息处理方法。
存储器61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器61可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器61可进一步包括相对于处理器60远程设置的存储器，这些远程存储器可以通过网络连接至主播侧设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置62可用于接收输入的数字或字符信息，以及产生与主播侧设备的主播互动操作以及功能控制有关的键信号输入。输出装置63可包括显示屏等显示设备。
实施例七
图9是本发明实施例七提供的一种互动信息处理装置的结构示意图，该装置包括：接收模块71、识别模块72和展示模块73。
接收模块71，用于从视频网络接收互动音视频文件，其中，互动音视频文件通过主播侧设备将当前互动信息插入当前音视频流中生成，当前互动信息与主播的当前互动操作对应。
识别模块72，用于从互动音视频文件中，识别当前互动信息。
展示模块73，用于对当前互动信息进行展示。
本实施例中，通过从视频网络接收互动音视频文件，并从互动音视频文件中，识别当前互动信息，以及对当前互动信息进行展示，使得从视频网络同时获取到音视频流和当前互动信息，无需从信令服务器获取当前互动信息，减少信令服务器的开销，节省成本；同时，从互动音视频文件中同时获取到音视频流和当前互动信息，使得当前互动信息与直播内容中的互动操作保持同步，提高观众体验的真实感。
在一可选实施方式中，识别模块72在从互动音视频文件中，识别当前互动信息时，具体用于：从互动音视频文件中，识别元数据文件中的自定义元数据，其中，自定义元数据的生成时间点位于互动音视频文件中第一音视频流的生成时间段内；根据自定义元数据，确定自定义元数据对应的当前互动信息。
在一可选实施方式中，识别模块72在从互动音视频文件中，识别当前互动信息时，具体用于：从互动音视频文件的第二音视频流中，获取目标视频帧和/或目标音频帧；识别目标视频帧中的自定义字段和/或目标音频帧中的自定义字段，其中，自定义字段与目标视频帧和目标音频帧的生成时间点之差均在预设时长内；根据自定义字段，确定自定义字段对应的当前互动信息。
本发明实施例所提供的互动信息处理装置可执行本发明任意实施例所提供的互动信息处理方法，具备执行方法相应的功能模块和有益效果。
实施例八
图10是本发明实施例八提供的一种观众侧设备的结构示意图，如图10所示，该主播侧设备包括处理器80、存储器81、输入装置82和输出装置83；主播侧设备中处理器80的数量可以是一个或多个，图10中以一个处理器80为例；主播侧设备中的处理器80、存储器81、输入装置82和输出装置83可以通过总线或其他方式连接，图10中以通过总线连接为例。
存储器81作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的互动信息处理方法对应的程序指令/模块(例如，互动信息处理装置中的接收模块71、识别模块72和展示模块73)。处理器80通过运行存储在存储器81中的软件程序、指令以及模块，从而执行主播侧设备的各种功能应用以及数据处理，即实现上述的互动信息处理方法。
存储器81可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器81可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器81可进一步包括相对于处理器80远程设置的存储器，这些远程存储器可以通过网络连接至主播侧设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置82可用于接收输入的数字或字符信息，以及产生与观众操作以及功能控制有关的键信号输入。输出装置83可包括显示屏等显示设备。
实施例九
本发明实施例九还提供一种其上存储有计算机程序的计算机可读存储介质，计算机程序在由计算机处理器执行时用于执行一种互动信息处理方法，该方法包括：
响应于主播的当前互动操作，生成与当前互动操作对应的当前互动信息；
将当前互动信息插入当前音视频流中，以生成互动音视频文件；
将互动音视频文件发送至视频网络，以供观众侧设备通过视频网络接收互动音视频文件并展示互动音视频文件中的当前互动信息。
当然，本发明实施例所提供的一种其上存储有计算机程序的计算机可读存储介质，其计算机程序不限于如上的方法操作，还可以执行本发明任意实施例所提供的互动信息处理方法中的相关操作。
实施例十
本发明实施例十还提供一种其上存储有计算机程序的计算机可读存储介质，计算机程序在由计算机处理器执行时用于执行一种互动信息处理方法，该方法包括：
从视频网络接收互动音视频文件，其中，互动音视频文件通过主播侧设备将当前互动信息插入当前音视频流中生成，当前互动信息与主播的当前互动操作对应；
从互动音视频文件中，识别当前互动信息；
对当前互动信息进行展示。
当然，本发明实施例所提供的一种其上存储有计算机程序的计算机可读存储介质，其计算机程序不限于如上的方法操作，还可以执行本发明任意实施例所提供的互动信息处理方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
值得注意的是，上述互动信息处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。