一种音频播放方法及计算设备与流程

本申请涉及智能设备互动
技术领域：
，尤其涉及一种音频播放方法及计算设备。
背景技术：
：随着电视技术的不断发展，电视产品越来越受到广大用户的认可和使用。在一些场景中，许多用户在看电视节目时，为了避免影响家庭成员的休息，通常将电视调成静音状态或将电视音量调小，这在一定程度上影响到电视节目收看的体验。把移动设备作为智能电视的一个声音输出设备，电视端实时抓取当前的声音，并传送到移动设备进行实时播放。但是电视与手机连接后，可能由于网络原因及手机播放缓存不能及时清理而造成声音延时。技术实现要素：本申请实施例提供了一种音频播放方法及计算设备，用以将接收智能电视传音数据。本申请实施例提供的一种音频播放方法，应用于移动终端，包括：接收并响应于启动智能电视的遥控应用的指令，呈现能对所述智能电视进行操控的第一用户界面，该第一用户界面包括主控制区和功能选择区，其中，所述主控制区包括音量控制区、节目切换区；所述功能选择区至少包括传音选项卡。可选的，接收并响应于对所述传音选项卡的选择，呈现第二用户界面，其中，所述第二用户界面上显示当前播放声音的设备为所述音频数据发送端的提示信息，以及用于将声音播放端切换至所述移动终端的的传音切换选项栏。可选的，接收并响应于选中所述传音切换选项栏的指令，将播放声音的设备切换为所述移动设备，并呈现第三用户界面，其中，所述第三用户界面上显示有当前播放声音的设备为所述移动终端的提示信息。可选的，所述接收并响应于选中所述传音切换选项栏的指令，将播放声音的设备切换为所述移动设备，具体包括：将接收到的所述音频数据传输至所述移动终端的音频播放器。可选的，接收并响应于关闭所述传音切换选项栏的指令，向所述智能电视发送停止录音的指令。可选的，所述功能选择区，还包括用于返回遥控器主页的主页选项卡、用于调用数字键盘的键盘选项卡。可选的，接收并响应于所述传音指令，向所述智能电视发送音频数据传输指令，其中，所述音频数据传输指令用于指示所述智能电视将当前播放节目的音频数据传输至所述移动终端。可选的，接收并响应于所述传音指令，向所述智能电视发送音频数据传输指令，其中，所述音频数据传输指令还用于指示将所述智能电视的音量输出设置为0。可选的，在所述接收并响应于启动智能电视的遥控应用的指令之前，还包括：与所述智能电视建议通信连接。本申请实施例还提供一种计算设备，包括：存储器，用于存储程序指令；处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行任一项所述的方法。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例提供的一个智能电视与移动终端交互实例的第一个视图；图2为本申请实施例提供的的一个移动终端与智能电视连接状态的示意图；图3为本申请实施例提供的一种移动终端的第一用户界面示意图；图4为本申请实施例提供的一种移动终端的第二用户界面示意图；图5为本申请实施例提供的一种移动终端的第三用户界面示意图；图6为本申请实施例提供的一种音频播放方法示意图；图7为本申请实施例提供的一种音频发送方法示意图；图8为本申请实施例提供的一种延时优化总体流程示意图；图9为本申请实施例提供的一种音频播放装置示意图；图10为本申请实施例提供的一种音频发送装置示意图；图11为本申请实施例还提供的一种音频播放装置示意图；图12为本申请实施例还提供的一种音频发送装置示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请实施例提供了一种音频播放方法及计算设备，通过在音频数据接收端丢弃延时的音频数据，以减小播放缓存，从而减少播放延迟，避免了由于网络延时较大而音频数据接收端无法与音频数据发送端实时同步音频数据的现象。下面结合说明书附图对本申请各个实施例进行详细描述。需要说明的是，本申请实施例的展示顺序仅代表实施例的先后顺序，并不代表实施例所提供的技术方案的优劣。在以下描述中，阐述了大量特定细节以提供对本发明实施例的更透彻说明。然而，对于本领域技术人员显而易见的是，在实现本发明实施例而可以不用这些特定细节。本申请中使用的术语“直播电视”是指实时或与事件发生时间基本同步的电视制作广播。本申请中使用的术语“视频点播”(vod)是指允许用户选择和观看/收听点播视频或音频内容的系统和过程。vod系统可以将内容分流，从而观看实时内容或将其下载到储存介质以稍后再观看。本申请中使用的术语“确定”、“计算”和“计算机计算”及其变通说法，可互换使用，并包括任何类型的方法论、过程、数学运算或技巧。本申请实施例提供了一种智能电视与移动终端交互的应用场景。参考图1所示的智能电视100的一些实施例。智能电视100可用于娱乐、商业应用、社交互动、内容创建和/或消费，和/或，还包括用于组织和控制与智能电视100进行通信的一个或多个其他设备。因此可以理解为，智能电视可以用于增强用户互动体验，无论是在家中还是工作场所。在一些实例中，智能电视100可以通过配置来接收和理解各种用户和/或设备输入。可以使用移动终端，如智能电话、平板电脑、计算机、笔记本电脑、上网本和其他智能设备以控制智能电视100。例如，使用在智能设备上运行的应用程序控制智能电视100。在一些实例中，智能电视100可配置通过各种输入设备接收输入，包括但绝不限于视频、音频、无线电、光、触觉及其组合。例如，用户可以以会话方式和智能电视100讲话。智能电视100就像是智能设备的智能私人助手和音控导航应用程序（如苹果的siri、安卓的skyvi、robin、iris和其他应用程序）一样接收和理解语音命令。本申请实施例提供的一种移动终端的用户界面交互的操作步骤，主要包括：如图2为本申请实施例提供的的一个移动终端与智能电视连接状态的示意图。当智能电视与移动终端进行交互时，移动终端可以通过各种连接协议，发送智能电视，并与之建议通信连接，并且，该移动终端可以对所述智能电视进行遥控操作，或者安装有能对所述智能电视进行操控的应用程序。如图3-5所示，当接收并响应于启动智能电视的遥控应用的指令，移动终端可以启动遥控应用，呈现能对所述智能电视进行操控的第一用户界面，该第一用户界面包括主控制区和功能选择区，其中，所述主控制区包括音量控制区、节目切换区；所述功能选择区至少包括传音选项卡。移动终端可以通过在用户界面上操作，实现与智能电视的交互。示例性的，当用户在音量控制区输入指令，可控制智能电视端的音量输出。接收并响应于对所述传音选项卡的选择，呈现第二用户界面，其中，所述第二用户界面上显示当前播放声音的设备为所述音频数据发送端的提示信息，以及用于将声音播放端切换至所述移动终端的的传音切换选项栏。接收并响应于选中所述传音切换选项栏的指令，将播放声音的设备切换为所述移动设备，并呈现第三用户界面，其中，所述第三用户界面上显示有当前播放声音的设备为所述移动终端的提示信息。在传音切换的过程中，智能电视端将其音频播放器的音量调节为静音或者0，使得所述音频数据仍在音频播放器中播放，但是不从喇叭出输出，将所述音频数据进行采集录制，下发至移动终端。当智能电视接收到移动终端的传音指令后，将采集到的音频数据编码成脉冲编码调制(pulsecodemodulation，pcm)数据流，通过网络传输到移动设备，移动设备对电视声音进行实时播放，由于音频数据流是原始的pcm数据，因此，手机端每接收到一帧数据，不需要做任何解码处理，直接将数据送到硬件解码器中进行解码播放。在基于linux或者android系统开发的智能电视系统上，利用电视整机主处理芯片（cpu）提供的音频抓取编码功能，将电视当前屏幕的声音按照一定的采样格式（8khz采样率、16bit采样精度，双声道）进行抓取，提供pcm格式的音频流数据，无压缩的通过有线网络或者无线网络传送给智能手机，智能手机端接收到音频流数据后，直接将数据送到硬件解码器中进行解码播放。参见图6，本申请实施例提供的一种音频播放方法，包括：s101、接收音频数据发送端发送的音频数据；s102、计算与所述音频数据发送端之间传输所述音频数据的网络延时；例如，音频数据发送端为电视端。s103、当所述网络延时大于预设阈值时，丢弃所述音频数据。例如，预设阈值可以为200毫秒，当网络延时大于200毫秒时，则丢弃音频数据，不送入音频播放器进行播放（将延时较大的音频数据播放，没有意义）；当网络延时小于或等于预设阈值时，将音频数据送入音频播放器进行播放。手机在播放音频数据之前，会将上层接收到的音频数据放在一个缓存队列中，手机的系统播放器播放时从缓存队列中取数据，播放完毕后，已播放的数据会从缓存队列中被删除，如果上层应用向缓存队列中写数据过快，而播放器从缓存队列中取数据相对较慢，则这个队列中的缓存数据会越来越多。可选地，在接收音频数据发送端发送的音频数据之前，还包括：接收所述音频数据发送端发送的第一系统时间数据包，其中，所述第一系统时间数据包中包括所述音频数据发送端在传音开始时刻的第一系统时间；计算当前音频数据接收端的第二系统时间与所述第一系统时间的差值作为第一差值；根据所述第一差值，计算音频数据发送端与音频数据接收端之间传输所述音频数据的网络延时。例如，音频数据接收端为手机端，第一系统时间为电视的系统时间time1_tv，第二系统时间为手机的系统时间time1_phone，第一差值的计算公式为time1_phone-time1_tv；第一系统时间与第二系统时间可能是不相同的，一种原因是电视上的时间没有与网络同步过（例如路由器没有连接外网），而手机上的时间与网络同步过；另一种原因是电视与手机都与网络同步过时间，但同步后的电视与手机的时间不可能完全一样，会存在几毫秒到几百毫秒，甚至1秒左右的误差。可选地，所述根据所述第一差值，计算音频数据发送端与音频数据接收端之间传输所述音频数据的网络延时，具体包括：解析所述音频数据中携带的第三系统时间，其中，所述第三系统时间是所述音频数据发送端发送所述音频数据时的系统时间；获取第四系统时间，其中，所述第四系统时间是所述音频数据接收端接收到所述音频数据的系统时间；计算所述第四系统时间与所述第三系统时间的差值作为第二差值；确定所述音频数据发送端与音频数据接收端之间传输所述音频数据的网络延时为：所述第二差值与所述第一差值的差值。例如，第三系统时间为电视的系统时间time2_tv，第四系统时间为手机的系统时间time2_phone，第二差值的计算公式为time2_phone-time2_tv；则根据第一差值和第二差值，得到网络延时的计算公式为：（time2_phone-time2_tv）-（time1_phone-time1_tv）；其中，time2_phone-time2_tv表示从电视端传输音频数据到手机端时的网络延时加上电视端与手机端的系统时间差；time1_phone-time1_tv表示电视端与手机端的系统时间差（由于从电视端到手机端传输的数据量只是一个时间，没有音频数据，因此传输过程中的网络延时很小，可以忽略）；（time2_phone-time2_tv）-（time1_phone-time1_tv）表示从电视端传输音频数据到手机端时的网络延时。可选地，所述音频数据传输指令还用于指示所述音频发送端关闭设备音响。相应地，例如在电视端，参见图7，本申请实施例提供的一种音频发送方法，包括：s201、接收音频数据接收端发送的传音指令；s202、采集所述当前播放节目的音频数据，并将所述音频数据采集开始时刻的第三系统时间发送至所述音频数据接收端；s203、发送音频数据至音频数据接收端，其中，所述音频数据中携带所述音频数据发送端的第三系统时间，使得所述音频数据接收端计算所述音频数据发送端与所述音频数据接收端之间传输所述音频数据的网络延时，并根据所述网络延时判断是否播放所述音频数据。例如，电视端将pcm格式音频数据发送给手机端之前，会在pcm格式音频数据的前面加上（电视端）当前的系统时间信息。可选地，在采集音频数据发送端当前播放节目的音频数据之前，还包括：将所述音频数据发送端的第一系统时间发送给所述音频数据接收端。参见图8，为本申请实施例提供的一种延时优化总体流程图，电视端和手机端总的具体处理流程包括：电视端接收到手机的连接后，获取当前（电视端）系统时间time1_tv，并把该系统时间发送到手机端；手机端接收到该系统时间后，获取当前（手机端）系统时间time1_phone；计算手机端和电视端的系统时间差值time_systemdiff（对于不同的设备，例如手机、电视，在同一时间获取到的系统时间可能不一样），公式如下：time_systemdiff=time1_phone-time1_tv;电视端每次抓取到pcm格式音频数据后，同时获取当前的系统时间time2_tv，然后对pcm格式音频数据和系统时间time2_tv进行打包处理，打包格式如表1所示：表1音频数据包时间（长度8byte）音频数据（长度640byte）音频数据的计算方法为：假设音频采样率为8000hz，采样通道为2，位深度为16，采样间隔为20ms，则每帧音频数据大小的计算公式为：手机端接收到音频数据包后，解析出时间time2_tv，然后手机端获取本系统当前的时间time2_phone，并计算手机端和电视端的系统时间差值time_netdiff=time2_phone-time2_tv；计算真实的网络延时time_delay，公式为：time_delay=time_netdiff-time_systemdiff当网络延时time_delay大于预设阈值k时，例如k为200ms，手机端把音频数据丢弃，不送入音频播放器（播放延时较大的音频数据，没有意义）；当网络延时time_delay小于或等于预设阈值k时，手机端把音频数据送入音频播放器进行播放。以下为本申请提供的一个具体实施例，以2018年12月1日这一天为例。假设开始传输数据时，电视端的系统时间time1_tv为11点11分11秒100毫秒，手机端的系统时间time1_phone为11点11分12秒110毫秒，根据计算公式time_systemdiff=time1_phone-time1_tv得到time_systemdiff为1秒10毫秒，也就是说，手机端的系统时间比电视端的系统时间快了1秒10毫秒。经过2秒后，电视端开始向手机端发送音频数据，此时电视端的系统时间time2_tv为11点11分13秒100毫秒；手机端接收到音频数据的系统时间time2_phone为11点11分14秒210毫秒，根据计算公式time_netdiff=time2_phone-time2_tv得到time_netdiff为1秒110毫秒。根据真实的网络延时计算公式time_delay=time_netdiff-time_systemdiff得到time_delay为100毫秒。相应地，在装置侧，参见图9，本申请实施例提供的一种音频播放装置，包括：发送单元11，用于向音频数据发送端发送音频数据传输指令；接收单元12，用于接收音频数据发送端发送的音频数据；计算单元13，用于计算与所述音频数据发送端之间传输所述音频数据的网络延时；播放单元14，用于当所述网络延时大于预设阈值时，丢弃所述音频数据。在装置侧，参见图10，本申请实施例提供的一种音频发送装置，包括：接收单元21，用于接收音频数据接收端发送的传音指令；采集单元22，用于采集所述当前播放节目的音频数据，并将所述音频数据采集开始时刻的第三系统时间发送至所述音频数据接收端；发送单元23，用于发送音频数据至音频数据接收端，其中，所述音频数据中携带所述音频数据发送端的第三系统时间，使得所述音频数据接收端计算所述音频数据发送端与所述音频数据接收端之间传输所述音频数据的网络延时，并根据所述网络延时判断是否播放所述音频数据。参见图11，本申请实施例还提供的一种音频播放装置，包括：处理器600，用于读取存储器610中的程序，执行下列过程：接收音频数据发送端发送的音频数据；计算与所述音频数据发送端之间传输所述音频数据的网络延时；当所述网络延时大于预设阈值时，丢弃所述音频数据。通过该装置，接收音频数据发送端发送的音频数据；计算与所述音频数据发送端之间传输所述音频数据的网络延时；当所述网络延时大于预设阈值时，丢弃所述音频数据，从而减少音频数据接收端的播放延迟。可选地，在接收音频数据发送端发送的音频数据之前，还包括：接收所述音频数据发送端发送的第一系统时间数据包，其中，所述第一系统时间数据包中包括所述音频数据发送端在传音开始时刻的第一系统时间；计算当前音频数据接收端的第二系统时间与所述第一系统时间的差值作为第一差值；根据所述第一差值，计算音频数据发送端与音频数据接收端之间传输所述音频数据的网络延时。可选地，所述根据所述第一差值，计算音频数据发送端与音频数据接收端之间传输所述音频数据的网络延时，具体包括：解析所述音频数据中携带的第三系统时间，其中，所述第三系统时间是所述音频数据发送端发送所述音频数据时的系统时间；获取第四系统时间，其中，所述第四系统时间是所述音频数据接收端接收到所述音频数据的系统时间；计算所述第四系统时间与所述第三系统时间的差值作为第二差值；确定所述音频数据发送端与音频数据接收端之间传输所述音频数据的网络延时为：所述第二差值与所述第一差值的差值。可选地，所述音频数据传输指令还用于指示所述音频发送端关闭设备音响。参见图12，本申请实施例还提供的一种音频发送装置，包括：处理器800，用于读取存储器810中的程序，执行下列过程：接收音频数据接收端发送的传音指令；采集所述当前播放节目的音频数据，并将所述音频数据采集开始时刻的第三系统时间发送至所述音频数据接收端；发送音频数据至音频数据接收端，其中，所述音频数据中携带所述音频数据发送端的第三系统时间，使得所述音频数据接收端计算所述音频数据发送端与所述音频数据接收端之间传输所述音频数据的网络延时，并根据所述网络延时判断是否播放所述音频数据。通过该装置，接收音频数据接收端发送的传音指令；采集所述当前播放节目的音频数据，并将所述音频数据采集开始时刻的第三系统时间发送至所述音频数据接收端；发送音频数据至音频数据接收端，其中，所述音频数据中携带所述音频数据发送端的第三系统时间，使得所述音频数据接收端计算所述音频数据发送端与所述音频数据接收端之间传输所述音频数据的网络延时，并根据所述网络延时判断是否播放所述音频数据，从而减少音频数据接收端的播放延迟。可选地，在采集音频数据发送端当前播放节目的音频数据之前，还包括：将所述音频数据发送端的第一系统时间发送给所述音频数据接收端。其中，在图11和图12中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器代表的一个或多个处理器和存储器代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。本申请实施例提供了一种显示终端，该显示终端具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理（personaldigitalassistant，pda）等。该显示终端可以包括中央处理器（centerprocessingunit，cpu）、存储器、输入/输出设备等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器（liquidcrystaldisplay，lcd）、阴极射线管（cathoderaytube，crt）等。针对不同的显示终端，可选地，用户接口620和820可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。处理器负责管理总线架构和通常的处理，存储器可以存储处理器在执行操作时所使用的数据。可选地，处理器可以是cpu（中央处埋器）、asic（applicationspecificintegratedcircuit，专用集成电路）、fpga（field－programmablegatearray，现场可编程门阵列）或cpld（complexprogrammablelogicdevice，复杂可编程逻辑器件）。存储器可以包括只读存储器（rom）和随机存取存储器（ram），并向处理器提供存储器中存储的程序指令和数据。在本申请实施例中，存储器可以用于存储本申请实施例提供的任一所述方法的程序。处理器通过调用存储器存储的程序指令，处理器用于按照获得的程序指令执行本申请实施例提供的任一所述方法。本申请实施例提供了一种计算机存储介质，用于储存为上述本申请实施例提供的装置所用的计算机程序指令，其包含用于执行上述本申请实施例提供的任一方法的程序。所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器（例如软盘、硬盘、磁带、磁光盘（mo）等）、光学存储器（例如cd、dvd、bd、hvd等）、以及半导体存储器（例如rom、eprom、eeprom、非易失性存储器（nandflash）、固态硬盘（ssd））等。综上所述，本申请实施例提供的一种音频播放方法及计算设备，通过在音频数据接收端丢弃延时的音频数据，以减小播放缓存，从而减少播放延迟。本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。当前第1页12