一种多人同屏互动的交互系统的制作方法

本发明涉及多屏互动技术领域，尤其涉及一种多屏互动设备之间的控制及显示方法、多屏互动设备及系统。

背景技术：

随着互联网技术的不断发展，互联网电视迅速的崛起，各个终端产品已经很好的融合到互联网电视、智能屏幕中，随着这一趋势的发展，实现终端对于互联网视频和信息的内容分享和互动已经迫在眉睫。根据这一现状多屏互动技术应运而生，多屏互动所指的是，基于DLNA协议或闪联协议，通过WIFI及移动网络连接，在不同多媒体终端上，如常见基于Ios,Android,Symbian、Windows mobile等不同操作系统上的不同智能终端设备如手机，PAD，TV、大屏幕等之间，可进行多媒体(音频，视频，图片)及数据内容的传输，解析，展示，控制等一系列操作，可以在不同平台终端上同时共享展示内容，丰富用户的多媒体生活。而应用最为广泛的三屏互动是电视屏，手机屏和电脑屏之间通过三屏互动的网络协议实现视频互相推送、手机模拟遥控器控制、手机模拟鼠标控制、三屏终端的数据共享。

目前，多屏互动设备凭借其可在不同平台设备上同时共享展示内容，丰富用户的多媒体生活，已得到了广泛的使用。多屏互动设备支持的协议包括DLNA协议、IGRS协议等，其中，数字生活网络联盟(DigitalLivingNetworkAlliance，简称DLNA)是国际通用的多屏互动协议，可以在不同设备之间直接进行相互发现、推送播放和控制，该协议是当前多屏互动设备的首选，如XBOX、Windows7、IntelToolsforUPnP等很多软硬件都在应用该协议。信息设备资源共享协同服务(IntelligentGroupingandResourceSharing，简称IGRS)是国内闪联组织制定的符合中国国内使用习惯的多屏互动协议，它整合了DLNA协议制定的一些功能，同时提供远程多媒体文件分享、网站视频分享等功能。目前在国内已得到了广泛的应用。

现有技术中支持相同多屏互动协议类型的多屏互动设备之间可直接进行通信、控制，如支持DLNA协议的DLNA设备能与同类型的其他DLNA设备进行通信、控制，支持IGRS协议的IGRS设备能与同类型的其他IGRS设备进行通信、控制。然而，支持不同多屏互动协议类型的多屏互动设备之间则无法进行通信、控制，如DLNA设备与IGRS设备之间无法直接进行通信、控制，这样，使得用户在使用支持不同多屏互动协议类型的多屏互动设备时非常不便。

技术实现要素：

本发明的主要目的在于提供一种多屏互动设备之间的控制方法、多屏互动设备及系统，旨在实现不同多屏互动协议类型的多屏互动设备之间的相互控制。为此，本发明提供的技术方案如下：

一种多人同屏互动的交互系统，其特征在于，所述多屏互动系统包括：一个服务器和多个终端，服务器包括发送模块，用于向终端发送识别信息，所述识别信息中包括预设多屏互动协议的描述信息；接收模块，用于接收终端根据所述识别信息反馈的响应信息，其中，所述响应信息由所述终端根据所述识别信息中与所述终端支持类型相同的多屏互动协议的描述信息生成；控制模块，用于根据所述响应信息获取所述终端支持的多屏互动协议类型，并根据所述终端支持的多屏互动协议类型发送相应的控制指令至所述终端；终端包括：音视频数据收发模块，用于经由第一信道收发音视频数据；控制信息收发模块，用于经由不同于该第一信道的第二信道收发控制信息；终端还包括应用程序，所述应用程序与所述服务器端的服务程序之间建立连接；通过标准通信与传输协议完成服务器和多个终端间的通信与识别信息，所述识别信息中包括预设多屏互动协议的描述信息；所述服务器接收所述从终端根据所述识别信息反馈的响应信息，其中，所述响应信息由所述从终端根据所述识别信息中与所述从终端支持类型相同的多屏互动协议的描述信息生成；终端将相关控制命令发送至服务器，服务器完成对相关协议的解析并生成适合被控制终端解析的控制信令，并将控制信令发送至被控制终端，完成操作终端对被控制终端的控制。

进一步，所述服务器为数字生活网络联盟DLNA设备或信息设备资源共享协同服务IGRS设备，所述终端为IGRS设备或DLNA设备，所述第一信道可以为局域网、无线局域网、移动互联网，所述第二信道可以为局域网、无线局域网、移动互联网、蓝牙或红外。

进一步，所述识别信息包括DLNA数据包和IGRS数据包，所述DLNA数据包中包括DLNA描述模版，所述IGRS数据包中包括IGRS描述模版。

进一步，在服务器通过相应的业务处理平台和终端安装相关平台客户端软件来实现多种终端间内容的无缝切换、不同终端上同一内容的数据关联、使用者在不同终端登录账号的关联，不同终端间通信均通过服务器进行，实现终端对终端的控制；业务处理平台在此过程完成对不同终端发起的信令请求的解析、处理、并通知被控制终端完成相关操作；为实现多种终端上登录账号的统一，在服务器通过建立关联数据库表，将多种终端上的登录账号进行绑定，从而实现统一的登录认证；所述服务器由数据关联模块、用户账号关联模块构成，所述数据关联模块完成在不同应用终端上展示内容的索引文件的关联关系创建，并生成新的索引文件供能力支撑平台所使用；所述用户账号关联模块完成使用者在不同应用终端进行登录所用账号的关联关系的创建，从而实现系统自动识别不同终端上登陆的同一使用者。

本发明还提供一种多屏互动实现方法，包括以下步骤：

步骤1：服务器应用程序以广播的方式发送数据包；

步骤2：所述服务器端的所述服务程序监听数据包，并辨别其接收到的数据包是否是终端的所述应用程序所发送；

步骤3：终端登录服务器，与所述服务器端的所述服务程序之间建立连接后，在所述客户端的显示屏上显示操控界面，其中所述操控界面上具有操控按钮；

步骤:4：终端登陆成功后，服务器向各登陆成功的终端主动下发该终端所处的终端分类的终端列表，所述终端列表至少包括终端标识，终端分组，以及终端连接状态信息；

步骤5：终端获取上述终端列表，与列表中的终端进行本地直连测试，并记录每个终端的直连状态，所述直连状态包括连接正常和连接失败；

步骤6：终端根据直连状态与其他终端通信，利用所述客户端上的所述操控界面上的操控按钮而输入控制命令，并向所述服务器端发送所述控制命令，所述服务器端的所述服务程序根据所述控制命令而执行相应的操作，并将相应的画面显示在所述服务器端的显示屏上。

进一步，所述多屏互动方法进一步包括：当终端的所述应用程序关闭时，发送一个关闭命令至所述服务器端的所述服务程序；所述服务器端的所述服务程序关闭所述终端的所述应用程序与所述服务器端的所述服务程序之间的连接；在终端的所述应用程序与所述服务器端的所述服务程序之间建立连接后，所述终端定时向所述服务器端发送心跳包；所述服务器端判断是否定时收到所述终端发送来的心跳包，如未定时收到，则所述服务器端的所述服务程序关闭所述客户端的所述应用程序与所述服务器端的所述服务程序之间的连接。

本发明提出的一种多屏互动设备之间的控制方法、多屏互动设备及系统，通过服务器向终端发送预设多屏互动协议的描述信息，终端根据与其支持的多屏互动协议类型相同的描述信息生成响应信息并反馈至服务器，服务器即可根据反馈的响应信息识别出终端支持的多屏互动协议类型，并根据终端支持的多屏互动协议类型发送相应的控制指令至该终端，从而能根据不同设备的类型发送不同的控制指令，实现了不同多屏互动协议类型的多屏互动设备之间的相互控制，为用户使用支持不同多屏互动协议类型的多屏互动设备时提供了便利。

附图说明

图1是本发明多屏互动系统的连接关系图；

图2是本发明终端登陆服务器并建立通信直连的示意图示意图；

图3本发明多屏互动设备之间的控制系统一实施例的结构示意图

具体实施方式

下面结合实施例对本发明进行进一步说明。

实施例1

多屏互动设备支持的协议类型包括DLNA、IGRS等多种协议，通过对多种多屏互动协议的系统结构、处理流程进行比对分析后发现：支持相同多屏互动协议类型的多屏互动设备之间发送的控制指令相同，因此，支持相同多屏互动协议类型的多屏互动设备之间可识别各自的控制指令，使得支持相同多屏互动协议类型的多屏互动设备之间可直接进行通信、控制；而支持不同多屏互动协议类型的多屏互动设备之间发送的控制指令不同，支持不同多屏互动协议类型的多屏互动设备之间无法识别各自的控制指令，从而导致支持不同多屏互动协议类型的多屏互动设备之间无法进行通信、控制。因而，本发明中只需在支持不同多屏互动协议类型的多屏互动设备之间首先识别多屏互动设备支持的多屏互动协议类型，再根据多屏互动设备支持的不同多屏互动协议类型发送对应的控制指令，即可使得不同多屏互动协议类型的多屏互动设备之间识别各自发送的控制指令，实现不同多屏互动协议类型的多屏互动设备之间的控制。

附图1-3所示，本发明提供一种多屏互动系统，包括一个服务器1和多个终端，所述多个终端至少包括：至少一个带有显示屏幕的电脑2-1至2-n、至少一个带有显示屏幕的移动通信终端3-1至3-n、以及至少一个带有显示屏幕的电视4-1至4-n。多屏互动系统的各终端之间与服务器之间优选采用直接连接方式。优选地，所述服务器记录了媒体资源。

一种多人同屏互动的交互系统，其特征在于，所述多屏互动系统包括：一个服务器和多个终端，服务器包括发送模块，用于向终端发送识别信息，所述识别信息中包括预设多屏互动协议的描述信息；接收模块，用于接收终端根据所述识别信息反馈的响应信息，其中，所述响应信息由所述终端根据所述识别信息中与所述终端支持类型相同的多屏互动协议的描述信息生成；控制模块，用于根据所述响应信息获取所述终端支持的多屏互动协议类型，并根据所述终端支持的多屏互动协议类型发送相应的控制指令至所述终端；终端包括：音视频数据收发模块，用于经由第一信道收发音视频数据；控制信息收发模块，用于经由不同于该第一信道的第二信道收发控制信息；终端还包括应用程序，所述应用程序与所述服务器端的服务程序之间建立连接；通过标准通信与传输协议完成服务器和多个终端间的通信与识别信息，所述识别信息中包括预设多屏互动协议的描述信息；所述服务器接收所述从终端根据所述识别信息反馈的响应信息，其中，所述响应信息由所述从终端根据所述识别信息中与所述从终端支持类型相同的多屏互动协议的描述信息生成；终端将相关控制命令发送至服务器，服务器完成对相关协议的解析并生成适合被控制终端解析的控制信令，并将控制信令发送至被控制终端，完成操作终端对被控制终端的控制。

进一步，所述服务器为数字生活网络联盟DLNA设备或信息设备资源共享协同服务IGRS设备，所述终端为IGRS设备或DLNA设备，所述第一信道可以为局域网、无线局域网、移动互联网，所述第二信道可以为局域网、无线局域网、移动互联网、蓝牙或红外。

进一步，所述识别信息包括DLNA数据包和IGRS数据包，所述DLNA数据包中包括DLNA描述模版，所述IGRS数据包中包括IGRS描述模版。

进一步，在服务器通过相应的业务处理平台和终端安装相关平台客户端软件来实现多种终端间内容的无缝切换、不同终端上同一内容的数据关联、使用者在不同终端登录账号的关联，不同终端间通信均通过服务器进行，实现终端对终端的控制；业务处理平台在此过程完成对不同终端发起的信令请求的解析、处理、并通知被控制终端完成相关操作；为实现多种终端上登录账号的统一，在服务器通过建立关联数据库表，将多种终端上的登录账号进行绑定，从而实现统一的登录认证；所述服务器由数据关联模块、用户账号关联模块构成，所述数据关联模块完成在不同应用终端上展示内容的索引文件的关联关系创建，并生成新的索引文件供能力支撑平台所使用；所述用户账号关联模块完成使用者在不同应用终端进行登录所用账号的关联关系的创建，从而实现系统自动识别不同终端上登陆的同一使用者。

所述服务器首先通过简单服务发现协议(SimpleServiceDiscoveryProtocol，简称SSDP)向所述终端发送识别信息，该识别信息包括DLNA数据包和IGRS数据包这两种特定类型的组播包，其中，所述DLNA数据包符合DLNA的协议定义与要求，IGRS数据包符合IGRS的协议定义与要求。且所述DLNA数据包中包括DLNA描述模版，所述IGRS数据包中包括IGRS描述模版。所述DLNA描述模版和所述IGRS描述模版为可扩展标记语言(ExtensibleMarkupLanguage，简称XML)格式，所述DLNA描述模版中包括服务器信息及DLNA的协议描述信息；所述IGRS描述模版中包括服务器信息及IGRS的协议描述信息。其中，服务器信息可包括服务器名称、设备类型、服务类型等与服务器相关的信息。DLNA、IGRS的协议描述信息可以包括DLNA、IGRS的协议模块、标识等用于体现不同互动协议特征的描述信息。

终端接收到服务器发送的DLNA数据包和IGRS数据包这两种特定类型的组播包后，先判断当前终端自身所支持的多屏互动协议类型是DLNA协议还是IGRS协议，再尝试对DLNA数据包和IGRS数据包中的描述模版进行解析，在解析过程中，终端只能解析与已判断出的该终端自身所支持类型相同的多屏互动协议的描述模版，而无法解析与所述终端支持类型不同的多屏互动协议的描述模版，例如若终端为IGRS设备，支持的多屏互动协议类型为IGRS，则该终端接收到服务器发送的DLNA数据包和IGRS数据包后，只能解析与其支持类型相同的多屏互动协议的描述模版即IGRS描述模版，而对于DLNA数据包中的DLNA描述模版则无法解析。进一步地，终端在解析与其支持类型相同的多屏互动协议的描述模版后，获取该描述模版中多屏互动协议的描述信息及服务器信息，并根据该描述模版中与所述终端支持类型相同的多屏互动协议的描述信息生成响应信息，该响应信息中可包含所述终端支持的多屏互动协议的相关描述信息。进而根据服务器信息将生成的响应信息反馈至服务器。

服务器等待终端的响应信息，并在预设时间内判断是否接收到终端的响应信息，若是，则将反馈响应信息的终端加入到预设的设备列表中，该设备列表中存储的设备均为已与服务器建立通信连接，且可被服务器控制的终端。服务器根据终端反馈的响应信息即可获取终端支持的多屏互动协议的相关描述信息，进而获知所述终端支持的多屏互动协议类型，并根据所述终端支持的多屏互动协议类型发送相应的控制指令至所述终端，以实现DLNA设备与IGRS设备之间的相互控制。

在一实施例中，所述多屏互动设备为主设备，所述主设备、从设备为支持不同多屏互动协议类型的多屏互动设备，该多屏互动设备包括：

发送模块，用于向所述从设备发送识别信息，所述识别信息中包括预设多屏互动协议的描述信息；

本实施例中，首先由主设备向所述从设备发送包含预设多屏互动协议描述信息的识别信息，其中，预设多屏互动协议的描述信息可以是所有多屏互动协议的描述信息，这样，主设备即可对其他所有多屏互动协议类型的从设备进行控制；也可以是主设备需要控制的从设备可能包含的几种多屏互动协议的描述信息，该识别信息中的多屏互动协议描述信息可预先根据用户需要进行设定。

接收模块，用于接收所述从设备根据所述识别信息反馈的响应信息，其中，所述响应信息由所述从设备根据所述识别信息中与所述从设备支持类型相同的多屏互动协议的描述信息生成；

将包含预设多屏互动协议描述信息的识别信息发送至从设备后，从设备可将自身支持的多屏互动协议与识别信息中包含多种多屏互动协议的描述信息进行比对，识别与自身支持类型相同的多屏互动协议的描述信息，并根据与自身支持类型相同的多屏互动协议的描述信息生成响应信息，并反馈至主设备，以通过反馈的响应信息使主设备获知该从设备自身支持的多屏互动协议类型。主设备接收从设备反馈的响应信息。

控制模块，用于根据所述响应信息获取所述从设备支持的多屏互动协议类型，并根据所述从设备支持的多屏互动协议类型发送相应的控制指令至所述从设备。

由于所述响应信息是由从设备根据与其自身支持的多屏互动协议类型相同的描述信息生成的，因此，主设备根据所述响应信息即可获知所述从设备支持的多屏互动协议类型，进而根据所述从设备支持的多屏互动协议类型发送相应的控制指令至所述从设备，其中，对支持不同多屏互动协议类型的从设备，发送的控制指令均不相同，且发送的控制指令均为支持不同多屏互动协议类型的从设备能识别的指令，从而实现对支持不同多屏互动协议类型的从设备的控制。

上述系统的基础上，本发明还提供一种多屏互动实现方法，包括以下步骤：

步骤1：服务器应用程序以广播的方式发送数据包；

步骤2：所述服务器端的所述服务程序监听数据包，并辨别其接收到的数据包是否是终端的所述应用程序所发送；

步骤3：终端登录服务器，与所述服务器端的所述服务程序之间建立连接后，在所述客户端的显示屏上显示操控界面，其中所述操控界面上具有操控按钮；

步骤:4：终端登陆成功后，服务器向各登陆成功的终端主动下发该终端所处的终端分类的终端列表，所述终端列表至少包括终端标识，终端分组，以及终端连接状态信息；

步骤5：终端获取上述终端列表，与列表中的终端进行本地直连测试，并记录每个终端的直连状态，所述直连状态包括连接正常和连接失败；

步骤6：终端根据直连状态与其他终端通信，利用所述客户端上的所述操控界面上的操控按钮而输入控制命令，并向所述服务器端发送所述控制命令，所述服务器端的所述服务程序根据所述控制命令而执行相应的操作，并将相应的画面显示在所述服务器端的显示屏上。

进一步，所述步骤3进一步包括：

步骤3-1：当直连正常时，终端与其他终端通过udp协议通信，当直连失败时，执行步骤3-2：

步骤3-2：终端与其他终端通过tcp与服务器通信，并通过服务器转发通信协议。

在一个实施方式中，步骤3中所述的通信为屏幕切换通信；所述屏幕切换通信进一步包括：

步骤1)第一终端向第二终端发出屏幕内容切换的消息；

步骤2)：第二终端停止其屏幕的内容显示，根据屏幕内容切换的消息进行协议解析，根据解析后的协议数据获取第一终端发送的视频资源值；

步骤3)：第二终端向媒资服务器请求视频本终端最优的视频码率的播放地址，并打开播放器播放该地址的视频内容。

进一步，所述步骤1)中，第一终端向第二终端发出屏幕内容切换的消息的方法是：

第一终端向第二终端发送屏幕内容切换的请求，请求的内容包括：第一终端的标识，视频资源值；或者：第一终端向第二终端发出屏幕内容切换的消息的方法是：第一终端直接将其屏幕内容推送到第二终端。

所述多屏互动方法进一步包括：当终端的所述应用程序关闭时，发送一个关闭命令至所述服务器端的所述服务程序；所述服务器端的所述服务程序关闭所述终端的所述应用程序与所述服务器端的所述服务程序之间的连接；在终端的所述应用程序与所述服务器端的所述服务程序之间建立连接后，所述终端定时向所述服务器端发送心跳包；所述服务器端判断是否定时收到所述终端发送来的心跳包，如未定时收到，则所述服务器端的所述服务程序关闭所述客户端的所述应用程序与所述服务器端的所述服务程序之间的连接。

综上所述，本发明的多屏互动系统及多屏互动方法可以利用客户端的应用程序自动搜索运行服务程序的服务器端，从而在客户端的应用程序与服务器端的服务程序之间建立连接，从而发送控制命令，实现客户端与服务器端之间的互动。特别是，在本发明中，可以利用作为客户端的手持式智能设备而操控作为服务器端的大屏幕显示设备，以操控游戏，从而实现大屏幕显示设备与手持式智能设备的互动，满足家庭多人游戏多人参与的需求。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。