专利名称：多屏互动系统、智能终端及多屏互动控制方法
技术领域：
本发明涉及智能终端间的信息交换技术，特别是涉及一种多屏互动系统、智能终端及多屏互动控制方法。
背景技术：
随着科技的进步，智能终端，例如智能电视、智能手机、平板电脑等，获得了极大的发展，其显示的内容变得越来越丰富，其应用越来越多，而这些丰富的内容和应用对智能终端的交互能力提出了越来越高的要求。 目前，业界已经发展出多屏互动技术，以实现多个智能终端之间的互动。现有的多屏互动技术为单模传屏(也称“移屏”)模式，即以一个智能终端作为主机，而其他的智能终端作为从机，主机将显示的内容推送给从机显示。要实现多屏互动，需要传递的数据包括主机的音视频数据以及控制信息。目前的作法是将音视频数据与控制信息单独打包，但是采用同一个信道进行传输。通常情况下，传输音视频数据时，信道带宽至少要求达到12Mbps以上，而控制信息大概需要1Mbps。可见多屏互动技术对于网络带宽具有较高的要求，而控制信息的传输需要较小的带宽，但要求较低的网络延迟。当将音视频数据与控制信息采用同一个网络信道传输时，控制信息会与音视频数据抢带宽，尤其是当无线接入点连接多个终端时将会形成带宽瓶颈，在此种情形下将会发生控制信息的延迟现象。因此，如何能在高带宽要求下保证控制信息的及时传输就成为多屏互动技术中需要解决的问题之一。
发明内容
本发明的目的在于，克服现有技术的缺陷，提供一种新型的多屏互动系统、智能终端及多屏互动控制方法，其可减少控制信息的传输延迟，提升用户使用体验。本发明的目的及解决其技术问题是采用以下技术方案来实现的。—种多屏互动系统，包括至少两个智能终端，每个智能终端包括音视频数据收发模块，用于经由第一信道收发音视频数据；以及控制信息收发模块，用于经由不同于该第一信道的第二信道收发控制信息。作为上述多屏互动系统的进一步改进，该至少两个智能终端分别选自智能电视、智能手机和平板电脑。作为上述多屏互动系统的进一步改进，该第一信道选自局域网、无线局域网、移动互联网。作为上述多屏互动系统的进一步改进，该第二信道选自局域网、无线局域网、移动互联网、蓝牙、或红外。作为上述多屏互动系统的进一步改进，该音视频数据收发模块还用于经由该第一信道收发用户界面数据。一种智能终端，其包括音视频数据收发模块，用于经由第一信道收发音视频数据；以及控制信息收发模块，用于经由不同于该第一信道的第二信道收发控制信息。作为上述智能终端的进一步改进，该至少两个智能终端分别选自智能电视、智能手机和平板电脑。作为上述智能终端的进一步改进，该第一信道选自局域网、无线局域网、移动互联网。作为上述智能终端的进一步改进，该第二信道选自局域网、无线局域网、移动互联网、蓝牙、或红外。作为上述智能终端的进一步改进，该音视频数据收发模块还用于经由该第一信道收发用户界面数据。一种多屏互动控制方法，其包括由第一智能终端进行经由第一信道向第二智能终端发送音视频数据；以及经由第二信道与该第二智能终端之间收发控制信息；由第二智能终端进行经由该第一信道接收音视数据；以及经由该第二信道收发控制信息。作为上述多屏互控制方法的进一步改进，该第二智能终端还接收用户的输入并将该输入转换为该控制信息。作为上述多屏互控制方法的进一步改进，该第一智能终端还经由该第一信道向该第二智能终端发送用户界面数据，该第二智能终端接收该用户界面数据，根据用户的输入显示相应的用户界面，并将用户于该用户界面中的操作转换为该控制信息并发送至该第一智能终端。在上述的多屏互动系统、智能终端、及多屏互动控制方法，音视频数据是通过第一信道传输，而控制信息是通过第二信道传输，这种方式具有以下优点第一、充分利用了传输信道；第二、控制信息采用不同于音视频数据的传输信道进行传输，可以避免与音视频数据抢占带宽，降低控制信息的传输延时。上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
图I为本发明所揭示的一种多屏互动系统的示意图。图2为本发明所揭示的多屏互动系统第一实施例的示意图。图3为本发明所揭示的多屏互动系统第二实施例的示意图。图4为本发明所揭示的多屏互动系统第三实施例的示意图。 图5为本发明所揭示的一种多屏互动控制方法的流程图。
具体实施例方式为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的多屏互动系统、智能终端及多屏互动控制方法其具体实施方式
、方法、步骤、结构、特征及其功效，详细说明如下。图I为本发明所揭示的一种多屏互动系统的示意图。如图I所示，本发明的多屏互动系统100包括多个智能终端，例如第一智能终端10和第二智能终端20。
第一智能终端10包括主控制器11、控制信息采集模块12、控制信息收发模块13、控制信息解码模块14、音视频编码模块15、音视频数据收发模块16、音视频解码模块17、及显示模块18。主控制器11负责整个终端各个模块之间的协调与控制。例如，主控制器11需要完成用户界面与音视频数据的叠加融合、控制信息的选择和优先级排序等操作。另外，主控制器11还需要接收 和处理来自控制信息编解码模块14上传的、来自别的智能终端发送的控制信息，以及音视频解码模块15上传的、来自别的智能终端发送的音视频数据。控制信息采集模块12负责采集各类控制信息，如使用触屏的手势(单击、双击、滑动等)、语音输入、重力感应数据等；并将这些控制信息发送到主控制器11。主控制器11接收到控制信息采集模块12所采集的控制信息后，需要对这些信息进行预处理，主要是剔除无用的信息，并将有用的控制信息按照优先级排序。例如，触摸屏可以支持很多触控操作如滑动或者多点控制，但这些操作对于电视的Π系统来说是无效的。因此，将这些操作传递给电视机属于无效操作。控制信息收发模块13处于整个系统的最底层，直接与第二信道102连接。控制信息收发模块13接收来自控制信息编解码模块14发送的控制信息数据包，并通过第二信道102发送给第二智能终端20 ;另外，控制信息收发模块13还负责接收来自第二智能终端的20发送的控制信息数据包，并传递到控制信息解码模块14进行解码。控制信息编解码模块14接收经过主控制器11预处理后的控制信息，并将这些控制信息按照相应的通信协议进行编码、打包；另外，控制信息编解码模块14还负责对“控制信息收发模块13上传的、第二智能终端20发送过来的控制信息数据包进行解码，解码后的控制信息上传到主控制器11。音视频编码模块15接收来自主控制器11发出的音视频数据以及用户界面(UserInterface, UI)数据，并按特定的编码方法(如H. 264)进行编码、打包。音视频数据收发模块16处于整个系统的最底层，直接与第一信道101连接，主要负责将来音视频编码模块15的音视频数据包(含UI)经第一信道101发送到第二智能终端20。另外，音视频数据收发模块16还接收来自第二智能终端20发送过来的音视频数据包(含UI)，并上传到本机的音视频解码模块17进行解码。音视频解码模块17接收来自音视频数据收发模块16上传的、第二智能终端20发送过来的音视频数据包(含UI)并进行解码。解码完成后上传到本机的主控制器11。显示模块18接收来自主控制器11发出的音视频和Π信息，并显示。第二智能终端20包括主控制器21、控制信息采集模块22、控制信息收发模块23、控制信息解码模块24、音视频编码模块25、音视频数据收发模块26、音视频解码模块27、及显示模块28。第一信道101选自局域网、无线局域网、移动互联网，第二信道102选自局域网、无线局域网、移动互联网、蓝牙、或红外，且第一信道101与第二信道102不同。在具体的物理实现上，第一智能终端10的处理器(图未示)通过总线与以太网卡、无线网卡、蓝牙模块、移动网(GRPS或者3G)模块相连，而以太网卡、无线网卡、蓝牙模块、移动网模块通过网线或者无线连接与第二智能终端20相连。而在第一信道101与第二信道102的具体选择上，需要考虑以下问题。第一信道101用来传输音视频数据，带宽是第一考虑要素，而第二信道102是用来传输控制信息，在带宽足够的情形下，需要使延迟最小化，因此优选利用闲置的信道例如蓝牙、红外等。如图I所示，第二智能终端20的结构与第一智能终端10完全相同，各模块之间 对应，其功能也相同，因此对于第二智能终端20的各模块,不再进行描述。本实施例的多屏互动系统中，音视频数据是通过第一信道传输，而控制信息是通过第二信道传输，这种方式具有以下优点第一、充分利用了传输信道；第二、控制信息采用不同于音视频数据传输信道进行传输，可以降低控制信息的传输延时。 多屏互动系统第一实施例
图2为本发明第一实施例所揭示的一种多屏互动系统200的示意图。如图2所示，在本实施例中，第一智能终端10是智能电视，第二智能终端20是平板电脑，第一信道101是基于无线局域网WIFI，而第二信道是基于蓝牙。在传输音视频数据时，先建立WIFI连接，利用WIFI连接发送音视频数据。而在传输控制信号时，先建立蓝牙连接，利用蓝牙连接传输控制信息。本实施例的多屏互动系统200中，音视频数据是通过WIFI传输，而控制信息是通过蓝牙传输，这种方式具有以下优点第一、充分利用了平时基本闲置的蓝牙；第二、控制信息可以单独采用蓝牙传输，可以降低控制信息的传输延时。多屏互动系统第二实施例
图3为本发明第二实施例所揭示的一种多屏互动系统300的示意图。如图3所示，在本实施例中，第一智能终端10是智能电视，第二智能终端20是智能手机，第一信道101是基于无线局域网WIFI，而第二信道是基于红外。此外，相比于第一实施例的多屏互动系统200，第一智能终端10并未包括控制信息采集模块12，此种设计适用于单向控制的情形，如本实施例中，一般只会用智能手机去控制智能电视，而一般不会用智能电视去控制智能手机。智能电视自身的操作(例如遥控器操作)是直接经由被反应在音视频数据而同步至智能手机中了。本实施例的多屏互动系统300中，音视频数据是通过WIFI传输，而控制信息是通过红外传输，这种方式具有以下优点第一、充分利用了平时基本闲置的红外；第二、控制信息可以单独采用红外传输，可以降低控制信息的传输延时。多屏互动系统第三实施例
图4为本发明第三实施例所揭示的一种多屏互动系统400的示意图。如图4所示,在本实施例中，第一智能终端10是智能电视，第二智能终端20是台式电脑，第一信道101是基于有线局域网Ethernet，而第二信道是基于无线局域网WIFI。此外，第一信道101与第二信道102还可以互换。本实施例的多屏互动系统400中，音视频数据是通过Ethernet传输，而控制信息是通过WIFI传输，由于控制信息与音视频数据是分别利用不同信道进行传输，实际处理时可以选用延时较小的信道传输控制信息，从而可以降低控制信息的传输延时。多屏互动系统第四实施例
在以上各实施例中，第一信道101中传输的是音视频数据，然而可以理解，还可以将用户界面(User Interface, UI)数据经由第一信道101传输到第二智能终端20。在此种模式下，第二智能终端20可自行根据用户输入显示用户界面，而无须等待第一智能终端10将显示的Π融合至音视频 数据中，相应地，第一智能终端10也可直接将无Π的音视频数据传输至第二智能终端20。因此，在第二智能终端20处，用户界面的响应速度更快，用户使用体验更佳。当然这要求第二智能终端20支持Π数据的解析、显示及响应。用户在操作第二智能终端20的用户界面时，第二智能终端20的控制信息采集模块22将用户操作转换为相应的控制信息并将控制信息经由控制信息收发模块23发送至第一智能终端10。第一智能终端10在接收到控制信息后完成相应命令的执行。根据预先设定，第一智能终端10可以在后台完成命令的执行而并不再显示相应的用户界面，当然第一智能终端10也可完全重现用户界面的操作。图5为本发明所揭示的一种多屏互动控制方法的流程图。一并参阅图I与图5所示，该多屏互动控制方法包括以下步骤
步骤S101，第一智能终端10经由第一信道101将音视频数据发送至第二智能终端20。具体地，音视频编码模块15对要发送的音视频数据进行编码，由音视频数据收发模块16将编码后的音视频数据发送至第二智能终端20的音视频数据收发模块26。步骤S202，第二智能终端20经由第一信道101接收音视频数据并进行解码。具体地，第二智能终端20的音视频数据收发模块26接收音视频数据，将接收到的音视频数据发送到音视频数据解码模块27进行解码。步骤S203，第二智能终端20输出音视频数据。具体地，在控制器21的控制下，解码后的音视频数据由显示模块28以及音响模块(图未示)进行输出。步骤S204，第二智能终端20接收用户输入操作。具体地，控制信息采集模块22采集用户的输入操作。第二智能终端20例如可具有触控屏幕，用户输入操作例如可包括单击、双击、或滑动操作。控制信息采集模块22采集的用户输入操作可以传递给控制器11。步骤S205，第二智能终端20将用户操作转换为控制信息并编码。具体地，控制信息编解码模块24将控制信息以预定格式进行编码并传递给控制信息收发模块23。步骤S206，第二智能终端20经由第二信道102将音视频数据发送至第一智能终端10。具体地，控制信息收发模块23将编码后的控制信息发送于第一智能终端10的控制信息收发模块13。步骤S107，第一智能终端10接收控制信息并解码。具体地，控制信息收发模块13经由第二信道102接收控制信处收发模块23发送的控制信息，并将接收到的控制信息传递给控制信息编解码模块14进行解码。解码后的控制信息被传递给主控制器11。步骤S108，第一智能终端10响应用户操作。本发明的多屏互动控制方法中，音视频数据是通过第一信道传输，而控制信息是通过第二信道传输，这种方式具有以下优点第一、充分利用了传输信道；第二、控制信息采用不同于音视频数据的传输信道进行传输，可以降低控制信息的的传输延时。多屏互动控制方法第一实施例
本实施例中，用户通过第二智能终端20 (平板电脑，以下简称PAD)关闭第一智能终端10 (智能电视，以下简称TV)的开机音乐，其具体操作过程如下
I.I :用户点击PAD触摸屏或者在屏幕上滑动，PAD随即通过蓝牙向TV发出“激活UI”的固定命令；
I.2 TV端接收到PAD发出的“激活UI，，的命令后，即激活并显示自身UI ；1.3:TV端以固定频率(例如50Hz)实时拷贝自身屏幕(TV正在播放的内容与自身Π融合后同时显示)并经WiFi信道推送给PAD ；
1.4 :PAD端显示的是TV端经WiFi实时推送过来的内容，因此，在PAD屏幕上显示的内容与TV屏幕上显示的内容完全相同，即包含TV正在播放的音视频内容和TV的UI ；
1.5 :通常TV的UI也是由多个图标组成，选中并点击某个图标即可完成特定的功能。在PAD端触摸屏上点击TV UI的“本机设置”图标，同时PAD要将用户点击的屏幕坐标数据经蓝牙传输到TV端；
1.6:因TV端屏幕的像素点与PAD端屏幕的像素点之间有明确的映射关系，因此，TV端经过简单计算和处理，即可将用户在PAD端的点击操作转化为自身屏幕上的点击操作(“本机设置”图标被点击一次)，TV执行相应命令(进入并显示“本机设置”子菜单项内容)；1.7:TV端以固定频率(例如50Hz)实时拷贝自身屏幕并经WiFi推送给PAD，因此，在PAD端同样可以看到“本机设置”子菜单项的内容；
1.8 :用户在PAD端再次点击“本机设置”子菜单项下的“开机音乐”图标；
1.9 :重复步骤I. 5、I. 6、I. 7，直至完成关闭TV的开机音乐的操作。本实施例的多屏互动控制方法中，音视频数据是通过WIFI传输，而控制信息是通过蓝牙传输，这种方式具有以下优点第一、充分利用了平时基本闲置的蓝牙；第二、控制信息可以单独采用蓝牙传输，可以降低控制信息的传输延时。多屏互动控制方法第二实施例
本实施例中，用户通过第二智能终端20 (平板电脑，以下简称PAD)对第一智能终端10(智能电视，以下简称TV)进行换台操作，其具体操作过程如下
2.I :用户晃动PAD，PAD重力感应器感应到晃动操作，随即通过蓝牙向TV发送“换至下一台”的固定命令；
2.2 :TV端接收到PAD发出的“换至下一台”的命令后，即自动更换至当前频道加一的频
道；
2.3:TV端以固定频率(例如50Hz)实时拷贝自身屏幕(TV正在播放的内容与自身Π融合后同时显示)并经WiFi信道推送给PAD，因此PAD端显示的内容已经自动完成切换。本实施例的多屏互动控制方法中，音视频数据是通过WIFI传输，而控制信息是通过蓝牙传输，这种方式具有以下优点第一、充分利用了平时基本闲置的蓝牙；第二、控制信息单独采用蓝牙传输，可以降低控制信息的传输延时。以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
权利要求
1.一种多屏互动系统，该多屏互动系统包括至少两个智能终端，其特征在于，每个智能终端包括 音视频数据收发模块，用于经由第一信道收发音视频数据； 控制信息收发模块，用于经由不同于该第一信道的第二信道收发控制信息。
2.如权利要求I所述的多屏互动系统，其特征在于，该至少两个智能终端分别选自智能电视、电脑、智能手机和平板电脑。
3.如权利要求I所述的多屏互动系统，其特征在于，该第一信道选自局域网、无线局域网、移动互联网。
4.如权利要求I或3所述的多屏互动系统，其特征在于，该第二信道选自局域网、无线局域网、移动互联网、蓝牙、或红外。
5.如权利要求I所述的多屏互动系统，其特征在于，该音视频数据收发模块还用于经由该第一信道收发用户界面数据。
6.一种智能终端，其特征在于，其包括 音视频数据收发模块，用于经由第一信道收发音视频数据； 控制信息收发模块，用于经由不同于该第一信道的第二信道收发控制信息。
7.如权利要求6所述的智能终端，其特征在于，该至少两个智能终端分别选自智能电视、电脑、智能手机或平板电脑。
8.如权利要求6所述的智能终端，其特征在于，该第一信道选自局域网、无线局域网、移动互联网。
9.如权利要求6或8所述的智能终端，其特征在于，该第二信道选自局域网、无线局域网、移动互联网、蓝牙、或红外。
10.如权利要求6所述的智能终端，其特征在于，该音视频数据收发模块还用于经由该第一信道收发用户界面数据。
11.一种多屏互动控制方法，其包括 由第一智能终端进行 经由第一信道向第二智能终端发送音视频数据；以及 经由第二信道与该第二智能终端之间收发控制信息； 由第二智能终端进行 经由该第一信道接收音视频数据；以及 经由该第二信道收发控制信息。
12.如权利要求11所述的多屏互动控制方法，其特征在于，该第二智能终端还接收用户的输入并将该输入转换为该控制信息。
13.如权利要求11所述的多屏互动控制方法，其特征在于，该第一智能终端还经由该第一信道向该第二智能终端发送用户界面数据，该第二智能终端接收该用户界面数据，根据用户的输入显示相应的用户界面，并将用户于该用户界面中的操作转换为该控制信息并发送至该第一智能终端。
全文摘要
本发明涉及一种多屏互动系统，其包括至少两个智能终端，每个智能终端包括音视频数据收发模块，用于经由第一信道收发音视频数据；以及控制信息收发模块，用于经由不同于该第一信道的第二信道收发控制信息。上述多屏互动控制系统可以充分利用传输信道且可降低控制信息的传输延迟。此外，本发明还提供一种适于多屏互动控制技术的智能终端及一种多屏互动控制方法。
文档编号H04N21/436GK102630057SQ20121012380
公开日2012年8月8日 申请日期2012年4月25日 优先权日2012年4月25日
发明者刘小建, 李德青, 毕春光 申请人:青岛海信电器股份有限公司