用于在无线通信系统中显示应用数据的方法和装置与流程

本公开涉及一种用于播放在无线通信系统中的装置之间共享的内容的方法和设备。

背景技术：

无线保真(Wi-Fi)显示(WFD)标准已根据用于在满足高质量和低延迟的同时传输音频/视频(AV)数据的需求而被规定。应用了WFD标准的WFD网络是一种由Wi-Fi联盟提出的网络系统，其中，该网络系统可使Wi-Fi装置以对等方式彼此连接，而无需加入家庭网络、办公网络或热点网络。WFD网络中的WFD装置搜索关于彼此的信息(例如，能力信息)，建立WFD会话，并呈现在WFD会话期间接收到的内容。

WFD网络包括两种类型的装置(例如，信源装置和信宿装置)。信源装置将信源屏幕上存在的数据镜像到信宿装置的屏幕上。信源装置和信宿装置相互交换第一序列消息，并执行装置发现和服务发现。在装置发现和服务发现完成后，互联网协议(IP)地址被分配给信源装置和信宿装置。传输控制协议(TCP)连接在信源装置和信宿装置之间被建立，然后针对信源装置和信宿装置的实时流协议(RTSP)和实时协议(RTP)栈被激活。

信源装置和信宿装置之间的能力协商通过RTSP被执行，在能力协商期间中，信源装置和信宿装置通过M4消息交换M1。此后，信源装置和信宿装置交换WFD会话控制消息。数据会话通过RTP在信源装置和信宿装置之间被建立的。

在WFD网络中，用户数据报协议(UDP)被用于数据传输。UDP没有可靠性，使得在无线传输期间中，一些包会丢失。由于丢失的包不会被重新发送，因此数据的丢失会被用户注意到。具体地讲，与文本相关的数据(诸如字幕或图形用户界面(GUI))丢失比AV数据更容易被用户察觉。因此，对于用于在信宿装置中提高文本和GUI数据的质量的方案存在需要。

为了减少信宿装置中的文本和GUI相关数据的质量的可察觉失真，信宿装置将AV数据与所述文本和GUI相关数据进行合并，而不是信源装置将AV数据与所述文本和GUI相关数据进行合并将合并后的数据发送到信宿装置。为了在信宿装置中将诸如字幕的文本与AV数据进行合并，可使用诸如同步多媒体集成语言(SMIL)或定时文本标记语言(TTML)的技术。同样，为了在信宿装置中将GUI数据与AV数据进行合并，可使用诸如远程视图(RVU)、超文本标记语言(HTML)5或消费电子(CE)-HTML的技术。

上述信息仅作为背景信息被呈现以帮助理解本公开。至于上述信息中的任何信息是否可用作针对本公开的现有技术，尚未做出决定，也未做出断定。

技术实现要素：

技术问题

本公开的一方面在于至少解决上述问题和/或缺点，并且至少提供以下描述的优点。因此，本公开的一方面在于提供一种用于在信宿装置中将音频/视频(AV)数据与文本或图形用户界面(GUI)数据进行合并的方法和设备。

本公开的另一方面在于提供一种用于在将AV数据与文本或GUI数据进行合并时在信宿装置中进行同步的方法和设备。

解决方案

根据本公开的一方面，提供了一种用于在无线通信系统中显示应用数据的方法，所述方法包括：如果通过第一装置和第二装置之间的发现而建立了无线保真(Wi-Fi)显示(WFD)会话，则在WFD会话中由第一装置将由第一装置执行的应用数据中的音频和视频数据发送到第二装置；在不同于WFD会话的会话中，由第一装置将与发送的音频和视频数据相关的文本或图形用户界面(GUI)数据发送到第二装置；由第一装置接收针对所述应用数据的关闭命令，并将包括用于停止显示所述文本或GUI数据的设置参数的消息发送到第二装置。

根据本公开的另一方面，提供了一种用于在无线通信系统中显示应用数据方法，所述方法包括：如果通过第一装置和第二装置之间的发现而建立了无线保真(Wi-Fi)显示(WFD)会话，则在WFD会话中由第一装置从第二装置接收由第二装置执行的应用数据中的音频和视频数据；在不同于WFD会话的会话中，由第一装置从第二装置接收与接收的音频和视频数据相关的文本或图形用户界面(GUI)数据；由第一装置将接收的音频和视频数据与所述文本或GUI数据进行合并和显示；在第二装置接收到针对所述应用数据的关闭命令时，由第一装置从第二装置接收包括用于停止显示所述文本或GUI数据的设置参数的消息，并停止显示所述文本或GUI数据。

根据本公开的另一方面，提供了一种用于在无线通信系统中显示应用数据的方法，所述方法包括：由第一装置将包括由第一装置执行的应用数据中的文本数据的文件发送到第二装置；由第一装置解析所述文件以获取与所述文本数据相关的时序信息，并在无线保真(Wi-Fi)显示(WFD)会话中将所述应用数据中的音频和视频数据以及包括获取的时序信息的包数据发送到第二装置。

根据本公开的另一方面，提供了一种用于在无线通信系统中显示应用数据的方法，所述方法包括：由第一装置从第二装置接收包括由第二装置执行的应用数据中的文本数据的文件；在无线保真(Wi-Fi)显示(WFD)会话中，由第一装置从第二装置接收所述应用数据中的音频和视频数据以及包括获取的时序信息的包数据；由第一装置对所述包数据进行解码以检测所述时序信息，将检测的时序信息与从第二装置接收的文件中所包括的时序信息进行比较，并基于比较的结果来显示音频和视频数据以及与音频和视频数据对应的文本数据。

根据本公开的另一方面，提供了一种用于在无线通信系统中显示应用数据的装置，所述装置包括：发送器/接收器，被配置为如果无线保真(Wi-Fi)显示(WFD)会话是通过与另一装置的发现而建立的，则在WFD会话中将由第一装置执行的应用数据中的音频和视频数据发送到所述另一装置，在不同于WFD会话的会话中将与发送的音频和视频数据相关的文本或图形用户界面(GUI)数据发送到所述另一装置，并且接收针对所述应用数据的关闭命令并将包括用于停止显示所述文本或GUI数据的设置参数的消息发送到所述另一装置；控制器，被配置为控制发送器/接收器并与所述另一装置建立连接。

根据本公开的另一方面，提供了一种用于在无线通信系统中显示应用数据的装置，所述装置包括：发送器/接收器，被配置为如果无线保真(Wi-Fi)显示(WFD)会话是通过与另一装置的发现而建立的，则在WFD会话中从所述另一装置接收由所述另一装置执行的应用数据中的音频和视频数据，在不同于WFD会话的会话中从所述另一装置接收与接收的音频和视频数据相关的文本或图形用户界面(GUI)数据，并在所述另一装置接收到针对所述应用数据的关闭命令时从所述另一装置接收包括用于停止显示所述文本或GUI数据的设置参数的消息；控制器，被配置为将接收的音频和视频数据与所述文本或GUI数据进行合并和显示，在从所述另一装置接收到包括设置参数的消息时停止显示所述文本或GUI数据，并与所述另一装置建立连接。

根据本公开的另一方面，提供了一种用于在无线通信系统中显示应用数据的装置，所述装置包括：发送器/接收器，被配置为将包括当前执行的应用数据中的文本数据的文件发送到另一装置，解析所述文件以获取关于所述文本数据的时序信息，并在无线保真(Wi-Fi)显示(WFD)会话将所述应用数据中的音频和视频数据以及包括获取的时序信息的包数据发送到所述另一装置；控制器，被配置为控制发送器/接收器。

根据本公开的另一方面，提供了一种用于在无线通信系统中显示应用数据的装置，所述装置包括：发送器/接收器，被配置为从另一装置接收包括由所述另一装置执行的应用数据中的文本数据的文件，在无线保真(Wi-Fi)显示(WFD)会话中从所述另一装置接收所述应用数据中的音频和视频数据以及包括获取的时序信息的包数据；控制器，被配置为对所述包数据进行解码以检测时序信息，将检测的时序信息与从所述另一装置接收的文件中所包括的时序信息进行比较，基于比较的结果显示所述音频和视频数据以及与所述音频和视频数据对应的文本数据,并控制发送器/接收器。

从以下结合附图公开本公开的示例性实施例的详细描述，对于本领域技术人员而言，本公开的其它方面、优点和显著特征将变得清楚。

附图说明

从以下结合附图的描述，本公开的特定示例性实施例的以上和其它方面、特征和优点将更容易理解，其中，在附图中：

图1示意性地示出根据本公开的实施例的在WFD装置之间共享内容的系统；

图2示出根据本公开的实施例的用于信源装置和信宿装置之间的同步的一系列处理；

图3示出根据本公开的另一实施例的用于信源装置和信宿装置之间的同步的一系列处理；

图4是根据本公开的实施例的用于信源装置和信宿装置之间的同步的信源装置和信宿装置的框图；

图5和6示出根据本公开的实施例的用于信源装置和信宿装置之间的同步的示例。

贯穿附图，同样的附图标号将被理解为是指同样的元件、特征和结构。

具体实施方式

在下文中，参照附图详细描述本发明构思的特定示例性实施例。此处定义的事项(诸如详细的结构及其元件)被提供以帮助对此描述的全面理解。因此，明显的是，示例性实施例可在没有那些定义的事项的情况下被实现。此外，将在本公开中稍后描述的术语是通过考虑本发明构思中的功能来定义的，并可根据操作者或用户的意图或实践而有所不同。因此，将在整个公开的信息基础上做出术语的定义。

本公开可以以各种形式被不同地修改和实现，因此具体实施例在附图中被举例说明并在下文中被详细描述。然而，本公开不限于特定的公开形式，并且需要解释为包括在本公开的精神和技术范围内的所有修改、等同物或替代物。

当包括诸如第一和第二的序号的术语被用来描述各种组件时，这样的组件并不受限于所述术语。所述术语仅用来将一个组件和另一组件区分开的目的。例如，在不脱离本公开的范围的情况下，第二元件可被称为第一元件，以类似方式，第一元件可被重新命名为第二元件。术语“和/或”包括多个相关项的组合或所述多个相关项中的任意一个相关项。

此处使用的术语仅解释特定施例，而并不意图限制本公开。单数的表达覆盖复数的表达，除非它在上下文中以不同的方式被明确使用。应该理解的是，此处使用的术语“包含”、“包括”、“具有”意图表示这里描述的特征、数字、步骤、操作、元件、部件和它们的组合，但是不排除一个或更多个特征、数字、步骤、操作、元素、部件和它们的组合。

除非另有定义，否则在此使用的包括技术术语或科学术语的术语具有与本公开所属领域的技术人员所理解的含义相同的含义。在通用字典中定义的术语应被解释为具有与相关技术的上下文中的含义一致的含义，并且除非在此被明确定义，否则不被解释为理想或过于正式的含义。

图1示意性地示出根据本公开的实施例的用于在无线保真(Wi-Fi)显示(WFD)装置之间共享内容的系统(或WFD系统)。

参照图1，WFD系统包括信源装置110和信宿装置120。

信源装置110可以是具有相对小屏幕的便携式装置，诸如移动通信装置、智能电话、平板个人计算机(PC)、便携式多媒体播放器(PMP)、个人数字助理(PDA)等。

信源装置110与信宿装置120形成用于无线发送多媒体内容的通信信道。例如，通信通道可包括Miracast会话。更具体地说，信源装置110通过所述通信信道将多媒体内容和控制命令发送到信宿装置120。所述通信信道可以是基于传输控制协议(TCP)或用户数据报协议(UDP)的通信信道。具体地讲，根据本公开的实施例，如果在通信系统中在信源装置110和信宿装置120之间提供了WFD，则在前向信道中定义信源装置110和信宿装置120之间的流协议。

也就是说，信源装置110可在通过所述通信信道与信宿装置120连接时，实时地将多媒体内容和控制命令发送到信宿装置120。更具体地说，信源装置110将多媒体内容转换成流形式，并通过所述通信信道将转换成流形式的多媒体内容发送到信宿装置120。信源装置110通过所述通信信道将控制命令发送到信宿装置120。所述控制命令是用于控制多媒体内容的播放的命令。例如，所述控制命令可包括：音量控制、暂停、恢复、停止、倒带等。信源装置110可与音频/视频(AV)数据的发送相独立地将文本或图形用户界面(GUI)数据发送到信宿装置120。

信宿装置120可以是具有相对大屏幕的电子装置，诸如台式PC、笔记本电脑、智能电视(TV)等。信宿装置120通过所述通信信道从信源装置110接收转换成流形式的多媒体内容，并对接收的多媒体内容进行逆转换和播放。信宿装置120对从信源装置110发送的AV数据以及文本或GUI数据进行合并和显示。信宿装置120从信源装置110接收控制命令，并执行对应于所述控制命令的功能。

尽管图1示出了一个信宿装置，但本公开并不限于这个示例，当两个或更多个信宿装置存在时也可应用本公开。为方便起见，将使用存在一个信宿装置的示例进行下面的描述。

文本或GUI通常与当前正在播放的程序相关。当AV数据以及文本或GUI数据在信宿装置中被合并时，存在针对AV数据的AV会话(或Miracast会话)和针对文本或GUI数据的会话。信源装置中的操作需要在信宿装置中被反映，并且信宿装置需要将AV数据和文本/GUI数据同步。也就是说，在信源装置中的操作必须与AV会话时间同步地被显示，并且必须当针对对应程序的AV会话正在进行时被显示。在Miracast会话的有效时间期间，在信源装置中可启动和关闭多个程序，并且当程序被关闭时与该程序相关的文本/GUI必须被关闭。所述程序可在信源装置中通过用户对关闭按钮或后退按钮的输入而被关闭。因此，信源装置需要一种每当在信源装置中执行与关闭程序相关的操作时，向信宿装置通知信宿装置需要关闭所述程序的机制。

图2示出根据本公开的实施例的用于信源装置和信宿装置之间的同步的一系列处理。

参照图2，在操作201中，信源装置和信宿装置相互发现并开始Miracast会话。在操作202中，用户在信源装置中执行诸如视频播放器的程序，并输入用于播放视频的命令。在操作203中，信源装置在Miracast会话中将对应的AV内容传送到信宿装置。在操作204中，信源装置在不同于Miracast会话的会话(例如，文件传输协议(FTP))中将字幕/GUI内容传送到信宿装置。字幕/GUI内容可通过将新的媒体组件添加到针对Miracast会话的运动图像专家组(MPEG)包而被传送。在操作205中，信宿装置将字幕/GUI内容与已经接收的AV内容进行合并和显示。在Miracast会话期间，信源装置将AV内容发送到信宿装置。

当在操作207中从用户向信源装置输入了用于终止当前运行的视频的命令时，在操作208中，信源装置将包括用于停止媒体组件的新设置参数“stop_media_components”的RTSP消息发送到信宿装置。然后，在操作209中，信宿装置根据从信源装置接收的RTSP消息停止诸如当前显示的GUI/文本的媒体组件。此后，在操作210中，Miracast会话可继续进行，并且用户可在信源装置中开始另一AV应用。

文本/GUI内容可以以SMIL/TTML的形式被传送，SMIL/TTML文件仅基于SMIL/TTML中的时间同步被播放，而不考虑视频文件的时序。因此，当信宿装置显示文本时，该文本可能在不与AV内容同步的情况下被显示。这个问题的发生是因为相同的内容从一个装置被流传输到另一装置。因此，WFD网络需要使SMIL文件的播放时序与视频内容的时序同步。

因此，本公开的实施例提出了一种用于由信源装置将文本时序信息(SMIL/TTML时序信息)插入AV内容的MPEG包以发送到信宿装置的方法。所述时序信息是指示当信宿装置呈现内容时何时检测哪个SMIL/TTML的信息。

图3示出根据本公开的另一实施例的用于信源装置和信宿装置之间的同步的一系列处理。

参照图3，在操作301中，信源装置将包括文本的SMIL/TTML文件传送到信宿装置。所述SMIL/TTML文件包括关于何时显示哪个文本的时序信息。信源装置解析传送到信宿装置的SMIL/TTML文件并获取关于所述文本的时序信息。此后，作为Miracast会话操作的一部分，信源装置捕捉屏幕并对捕捉的屏幕信息进行打包。在操作302中，在打包期间，信源装置将从SMIL/TTML文件获取的时序信息合并到包。在操作303中，信源装置将包括时序信息的所述包(例如，MPEG2-TS)传送到信宿装置。信宿装置随后对所述包进行解码以检测SMIL/TTML时序信息。在操作304中，信宿装置对已接收到的SMIL/TTML文件进行解析，并将SMIL/TTML文件中所包括的时序信息与检测到的时序信息相比较，以检测对应的文本并将该文本和AV数据一起显示。在操作305中，如果用户向信源装置输入暂停命令，则信源装置将针对暂停的触发发送到信宿装置。信宿装置在操作306中响应于所述暂停将RTSP消息发送到信源装置并在操作307中暂停当前显示的文本。

图4是根据本公开的实施例用于信源装置和信宿装置之间的同步的信源装置和信宿装置的框图。

参照图4，信源装置和信宿装置可包括控制器410、发送器/接收器420和存储单元430。尽管为方便起见，图4中仅示出了一个装置，但对本领域普通技术人员显而易见的是，信源装置和信宿装置可以是分开的装置。

根据本公开的实施例，控制器410针对用于装置之间的同步的一系列操作控制发送器/接收器420以及存储单元430。与控制操作相关的总体操作与参照图2和3已描述的操作相同，因此此时不对其进行详细描述。

根据本公开的实施例，发送器/接收器420在控制器410的控制下，针对装置之间的同步在信源装置和信宿装置之间发送和接收数据、消息、信号等。存储单元430储存将被发送到对端装置的数据或从对端装置接收的数据。与储存操作相关的总体操作与参照图2和3已描述的操作相同，因此此时不对其进行详细描述。

尽管没有在图4中示出，但信源装置和信宿装置中还可包括用于接收用户命令的输入单元和用于显示内容的显示器。输入单元和显示单元可根据装置的类型而被配置为一个单元。具体地讲，包括在信源装置110中的输入单元和包括在信宿装置中的输入单元可包括多个用于接收数字或字符信息并设置和控制功能的输入键和功能键，并且可由输入装置(诸如触摸键、触摸板和触摸屏或它们的组合)中的任意一种形成。

图5和6示出根据本公开的实施例的用于信源装置和信宿装置之间的同步的示例。

图5示出智能手机作为信源装置执行导航应用并将导航执行屏幕作为内容发送到作为信宿装置的车辆中的屏幕的情况。导航程序将针对详细道路引导的文本以及用于设置道路引导状况的GUI连同地图数据一起显示在屏幕上。在这种情况下，根据图2和3中描述的本公开的实施例，通过应用用于同步的方法，显示在车辆中的屏幕上的文本和GUI数据可在没有任何丢失的情况下被显示。

图6示出智能手机作为信源装置执行视频播放程序并将内容发送到作为信宿装置的TV的屏幕上的情况。诸如电影的内容包括字幕数据以及视频和音频数据。在这种情况下，根据参照图2和3描述的本公开的实施例，通过应用用于同步的方法，字幕可无失真地被显示在TV的屏幕上，或可与视频和音频数据同步。

本公开的特定方面也可实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储其后可由计算机系统读出的数据的任意数据存储装置。计算机可读记录介质的示例包括：只读存储器(ROM)、随机存取存储器(RAM)、紧凑盘(CD)-只读存储器(ROM)、磁带、软盘、光学数据存储装置和载波(诸如通过互联网的数据传输)。计算机可读记录介质也可分布于连接网络的计算机系统，从而计算机可读代码以分布式存储和执行。此外，用于完成本公开的功能程序、代码和代码段可容易地被本公开所属领域的程序员解释。

根据本公开的实施例的设备和方法可通过硬件、软件或硬件和软件的组合来实现。这种软件可被储存(不管是否可擦除或可重新记录)在易失性或非易失性存储器(诸如ROM)、诸如RAM的存储器、内存芯片、装置或集成电路中，以及光学或磁性可记录和机器(例如，计算机)可读存储介质(诸如CD、数字通用盘(DVD)、磁盘或磁带)中。可看出，根据本公开的方法可通过包括控制器和存储器的计算机或便携式终端来实现，并且存储器是适用于存储包括用于实现本公开的实施例的指令的程序的机器可读存储介质的示例。

因此，本公开包括下述程序和用于存储这样的程序的机器(计算机)可读存储介质：该程序包括用于实现任意权利要求中所要求保护的设备或方法的代码。该程序可通过任意介质(诸如通过有线连接或无线连接传送的通信信号)被电子转移，并且本公开适当包括其等同物。

根据本公开的实施例的装置可从以有线或无线方式连接的程序提供装置接收程序并存储所述程序。该程序提供装置可包括用于存储程序(所述程序包括用于指示程序处理器执行预先设定的内容保护方法的指令)的存储器、用于内容保护所必要的信息、用与图形处理器执行有线或无线通信的通信单元、以及用于根据图形处理器的请求或自动将对应程序发送到收发器的控制器。

虽然已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员将理解的是：在不脱离本公开的精神和范围的情况下可在这里做出形式和细节上的各种改变，本公开的精神和范围由权利要求及其等同物所限定。