一种设备云环境下设备协同多屏互动系统及其方法

一种设备云环境下设备协同多屏互动系统及其方法
【专利摘要】本发明公开了一种设备云环境下设备协同多屏互动系统及其方法，该系统包括：设备云，分布有多个设备云节点，每个设备云节点包括第一设备部和第二设备部，该第一设备部为至少一智能终端，该第二设备部为至少一智能终端或大屏幕设备，该设备云用于该第一设备部和该第二设备部之间或该第二设备部内部之间的资源传输、共享，并将分散的存储资源均衡分布在整个设备云中，通过构建虚拟的存储设备来存储设备资源的分布情况，以进行设备资源的定位与查找；该智能终端自主发现该设备云上的大屏幕设备和除自身以外的智能终端，并选择性互联。由此，实现智能设备之间的无缝连接与多媒体资源的智能分享。
【专利说明】一种设备云环境下设备协同多屏互动系统及其方法
【技术领域】
[0001]本发明属于多媒体互动领域，涉及人机交互技术、设备互联技术、多屏互动技术及云计算技术，特别涉及一种设备云环境下设备协同多屏互动系统及其方法。
【背景技术】
[0002]随着人类社会的进步与计算机技术的发展，从人类进入电子时代开始到现在移动互联网的全面爆发，人类与机器的交互方式发生了翻天覆地的变化。所谓人机交互就是指人与机器(计算机)之间使用某种对话语言，以一定的交互方式，完成确定任务的人与机器之间的信息交互过程。早期的人机交互是手工作业方式，采用手工操作和依赖机器(二进制机器代码)的方法来使用十分笨拙的计算机，而且只能进行一些简单的操作。随着计算机图形学的发展，人机交互有了可视的桌面，简明易学，减少了键盘操作，使得普通用户也可以熟练使用，极大的推动了计算机的发展。为了简化键盘的使用，1964年，美国人道格?恩格尔巴特发明了鼠标，使得人机交互有了技术性的突破。图形用户界面的出现，标志着计算机进入了主机时代和个人计算机时代。 [0003]现代的计算机的交互工具基本都有鼠标、键盘和屏幕。随着计算机技术的发展，鼠标和键盘的设计已经拥有非常成熟的技术，潜力已经基本上被挖尽，而屏幕互动方面还有很大的挖掘空间。从早期的一人一机、一人一屏，到个人笔记本时代的小屏幕时代，然后随着移动互联网的爆炸式发展，智能手机、PAD等触屏式电子设备的出现，屏幕效果对用户在使用电子产品进行人机交互时获得的体验起到越来越多的作用。另外，用户对于设备交互的需求也呈现多元化发展趋势，传统的一人一机一屏已经不能满足人们对多设备同步互动的要求，而移动互联网时代的到来，更加速了人机两元端交互模式逐渐转向人机物三元端交互方式转变。但在多设备环境下，传统的人机交互方式给用户带来了诸多不便，如果资源共享、多设备协同交互等。
[0004]发明名称为“一种智能终端与智能电视机多屏互动方法”(专利号:CN201310165199.9)，该发明公开了一种智能终端与智能电视机多屏互动方法，包括以下步骤:(1)智能电视机、智能终端、服务器两两之间建立网络连接；(2)智能电视机、智能终端分别从服务器获取同一界面；(3)智能终端在其本地界面执行操作，同时将操作指令发送至智能电视机，智能电视机在其本地界面相应位置处执行同样的操作。但是，该方法需要在智能终端和智能电视机之间传递大量数据，且该专利中智能终端和智能电视资源的获取全部来自统一的服务器，智能终端和智能电视无法进行独立操作，浪费带宽，而且速度慢，界面同步性弱。
[0005]发明名称为“一种私有云多屏互动应用系统”(专利号:CN201220396905.1)，该专利公开了一种私有云多屏互动应用系统包括云服务器、单向传输网关和若干智能终端，该若干智能终端通过单向传输网关无线连接云服务器，以单向读取云服务器的数据。该多屏互动应用系统能够提高多屏互动时的安全性。该专利中智能终端从云服务器获取资源，且需要通过网关传送到终端，智能终端的资源获取依赖于云服务器，其独立性较差，一旦服务器出现问题，整个系统将面临崩溃，且频繁访问服务器也会产生资源数据传输延迟的问题
坐寸O

【发明内容】

[0006]为了解决上述问题，本发明的目的在于，提供一种新型设备协同多屏交互系统和方法，其以人机交互技术、设备互联技术、多屏互动技术及云计算为基础，通过设备互联互发现与消息智能转发，解决多设备环境中人机物三元端交互过程中界面的更新与切换，消息的转发与显示、指令的解析与执行，实现智能终端与其他设备等多设备之间的无缝连接与多媒体资源的智能分享。本发明利用通用即插即用(UPnP,Universal Plug and Play)技术进行设备互联，使用消息机制实现了智能设备之间的资源同步，借助云计算实现智能设备间的资源共享，能够在很大程度上提升用户体验。本发明提供的在设备云环境下设备协同多屏互动系统，能够在不同平台设备上实现协同互动，比如电视上的电影在手机上播放、电脑或平板上的图片在电视上显示等、智能终端之间的图片多屏显示等，一人多屏、多屏协同互动给用户带来更好的使用体验。
[0007]为实现上述目的，本发明 的设备云环境下设备协同多屏互动系统，其特征在于，该系统包括:
[0008]设备云，分布有多个设备云节点，每个设备云节点包括第一设备部和第二设备部，该第一设备部为至少一智能终端，该第二设备部为至少一智能终端或大屏幕设备，该设备云用于该第一设备部和该第二设备部之间或该第二设备部内部之间的资源传输、共享，并将分散的存储资源均衡分布在整个设备云中，通过构建虚拟的存储设备来存储设备资源的分布情况，以进行设备资源的定位与查找；
[0009]该智能终端自主发现该设备云上的大屏幕设备和除自身以外的智能终端，并选择性互联。
[0010]本发明的设备云环境下设备协同多屏互动系统，其特征在于，
[0011]该智能终端将资源列表发送给该大屏幕设备或除自身以外的智能终端，或者从该大屏幕设备或除自身以外的智能终端上获取资源列表，并在该大屏幕设备或除自身以外的智能终端上同步显示；
[0012]该大屏幕设备存储资源并建立资源列表，并对该资源列表更新、删除、添加以及协同该智能终端来同步显示资源。
[0013]本发明的设备云环境下设备协同多屏互动系统，其特征在于，该设备云包括以下模块:
[0014]设备虚拟化模块，将该智能终端或该大屏幕设备以节点的方式注册到该设备云中，并将自己的节点位置信息及资源列表和其他节点共享；
[0015]资源分布式存储模块，通过利用该智能终端或该大屏幕设备的磁盘空间，将分散的存储资源均衡分布在整个设备云中，并构建一个虚拟的存储设备来存储设备资源的分布情况，以进行设备资源的定位与查找；
[0016]资源系统调度模块，根据实际情况选择资源节点，消除单节点故障造成的资源访问失败。
[0017]本发明的设备云环境下设备协同多屏互动系统，其特征在于，该智能终端包括以下模块:
[0018]设备发现模块，用于自主发现该设备云上的该大屏幕设备和除自身以外的智能终端，并选择性互联；
[0019]设备控制模块，用于在发现该大屏幕设备和除自身以外的智能终端后，获得控制该大屏幕设备和除自身以外的智能终端的权限，启动设备互联，并根据该大屏幕设备和除自身以外的智能终端的地址的设备信息及其提供的服务描述，以设备列表的形式展现出来，该服务描述包括服务名、行为列表、服务响应参数、返回结果参数；
[0020]第一消息同步模块，用于在一次会话过程中的该智能终端与该大屏幕设备和除自身以外的智能终端交互所涉及到的数据转发和指令控制以及该资源列表的同步；
[0021]第一数据传输模块，用于查找消息的发送与接收、该智能终端控制消息的发送与接收、该智能终端与该大屏幕设备和除自身以外的智能终端同步消息的发送与接收、资源数据的发送与接收、超时检测机制；其中，超时检测机制是指在资源传输过程中资源没有同步而产生的时延检测；
[0022]第一资源管理模块，用于获取该资源列表、资源信息的增加、删除以及资源信息列表的更新、显示；
[0023]资源显示模块，用于根据资源属性情况调用该系统的相关模块来同步显示资源。
[0024]本发明的设备云环境下设备协同多屏互动系统，其特征在于，该智能终端还包括以下模块:
[0025]设备宣告模块，用于在设备云宣告其上线消息，或当收到该除自身以外的智能终端搜索消息后发送其设备消息及服务给该智能终端；
[0026]第二消息同步模块，用于在一次会话过程中该资源列表的同步、根据该除自身以外的智能终端发送来的同步消息来同步资源的显示情况；
[0027]第二资源管理模块，用于存储资源、获取资源信息列表、资源信息的增加、删除以及资源信息列表的更新，其中，每个资源都包含资源类型、资源URL、资源大小、资源属性、资源创建时间；
[0028]资源同步模块，用于将该设备云中的资源信息同步到本地，使每个该设备云节点都可以访问设备云中的资源；
[0029]第二数据传输模块，用于上线消息的宣告、对该除自身以外的智能终端控制消息的接收与反馈、该同步消息的接收与反馈、资源数据的发送与接收、超时检测机制。
[0030] 本发明的设备云环境下设备协同多屏互动系统，其特征在于，该智能终端的该自主发现并进行设备互联的步骤包括:设备主动宣告事件和设备主动查找事件；其中，该设备主动宣告事件是指该大屏幕设备和除自身以外的智能终端上线后主动宣告自己上线，让该智能终端能够发现；设备主动查找事件是指该智能终端发布查找设备消息，该大屏幕设备和除自身以外的智能终端收到该消息后将其信息返回给该智能终端。
[0031]本发明的设备云环境下设备协同多屏互动系统，其特征在于，该大屏幕设备包括以下模块:
[0032]设备宣告模块，用于在设备云宣告其上线消息，或当收到该智能终端搜索消息后发送其设备消息及服务给该智能终端；
[0033]第二消息同步模块，用于在一次会话过程中该资源列表的同步、根据该智能终端发送来的同步消息来同步资源的显示情况；
[0034]第二资源管理模块，用于存储资源、获取资源信息列表、资源信息的增加、删除以及资源信息列表的更新，其中，每个资源都包含资源类型、资源URL、资源大小、资源属性、资源创建时间；
[0035]资源同步模块，用于将该设备云中的资源信息同步到本地，使每个该设备云节点都可以访问设备云中的资源；
[0036]第二数据传输模块，用于上线消息的宣告、对该智能终端控制消息的接收与反馈、该同步消息的接收与反馈、资源数据的发送与接收、超时检测机制。
[0037]本发明的设备云环境下设备协同多屏互动系统的多屏互动的方法，其特征在于，包括:
[0038]节点间的多屏互动步骤，用于在设备云节点中本地和远程已进行了位置信息和资源信息同步的情况下，协同人机交互系统在一次会话过程中在本地智能终端和本地的除该智能终端以外的智能终端、本地智能终端和本地大屏幕设备、以及远程智能终端和远程的除该智能终端以外的智能终端、远程智能终端和远程大屏幕设备之间进行多屏互动；
[0039]单节点内的多屏互动步骤，用于协同人机交互系统在一次会话过程中本地智能终端本地的除该智能终端以外的智能终端、本地智能终端和本地大屏幕设备进行多屏互动。
[0040]本发明的设备 云环境下设备协同多屏互动系统的多屏互动的方法，其特征在于，该单节点内的多屏互动步骤包括:
[0041]步骤SI，该智能终端通过设备发现管理模块向局域网发出设备搜索命令；
[0042]步骤S2，该大屏幕设备或除该智能终端以外的智能终端收到该智能终端发送的设备邀请后宣告设备上线，返回设备及服务信息给该智能终端，该服务消息包括设备IP、端口、设备名等；或当该大屏幕设备或除该智能终端以外的智能终端上线后主动宣告其在线，该智能终端收到该大屏幕设备或除该智能终端以外的智能终端的上线消息后进行互联；
[0043]步骤S3，该智能终端获得该大屏幕设备或除该智能终端以外的智能终端的IP及端口信息后互联，向该大屏幕设备或除该智能终端以外的智能终端发送控制请求，并获取该大屏幕设备或除该智能终端以外的智能终端信息及其提供的服务；
[0044]步骤S4，该智能终端发出同步其资源的请求，请求消息主要包括请求的序列号、资源的属性等信息；
[0045]步骤S5，该大屏幕设备或除该智能终端以外的智能终端收到该智能终端的同步请求后，返回确认消息给该智能终端，同时设置并更新屏幕显示模块，其中，该屏幕显示模块根据资源的类型来显示图片或者播放视频；
[0046]步骤S6，该智能终端收到该大屏幕设备或除该智能终端以外的智能终端的确认消息后，设置并更新该屏幕显示模块，开始推送本地资源给该大屏幕设备或除该智能终端以外的智能终端，并在两端同步展示；
[0047]步骤S7，该智能终端还有同步要求，返回步骤S4;如果该智能终端结束同步，则向该大屏幕设备或除该智能终端以外的智能终端的发送关闭命令，同步结束。
[0048]本发明的设备云环境下设备协同多屏互动系统的多屏互动的方法，其特征在于，该设备云节点间的多屏互动步骤包括:
[0049]步骤S10，本地智能终端首先从设备列表中获取远程智能终端或远程大屏幕设备的地址，然后向该远程智能终端或该远程大屏幕设备发送同步请求，请求的消息包括请求序列号及其资源属性等信息；
[0050]步骤S20，该远程智能终端或该远程大屏幕设备收到该本地智能终端的同步请求后，若同意同步，就返回确认消息，否则返回拒绝消息，结束本次会话；
[0051]步骤S30，该本地智能终端收到该远程智能终端或该远程大屏幕设备的请求确认消息后，同时设置并更新屏幕显示模块，然后将资源推送到本地大屏幕设备或本地的除该本地智能终端以外的智能终端，该本地大屏幕设备或该本地的除该本地智能终端以外的智能终端将该资源转发到该远程大屏幕设备或该远程智能终端，其中，该屏幕显示模块根据资源的类型来显示图片或者播放视频等；
[0052]步骤S40，该远程大屏幕设备或该远程智能终端对该资源数据进行解析与验证，判断数据的发送者与接收者，以及数据的完整性或指令的合法性；
[0053]步骤S50，该远程大屏幕设备或该远程智能终端验证数据合法后，设置并更新屏幕显示模块状态，发送资源同步确认消息给该本地大屏幕设备或该本地的除该本地智能终端以外的智能终端，并在该屏幕显示模块中显示资源；
[0054]步骤S60，该本地智能终端收到同步确认消息后，开始在该屏幕显示模块中同步显示；
[0055]步骤S70，同步显示结束后，该本地智能终端发送一个请求下一个资源的消息或者断开连接的消息；该远程大屏幕设备或该远程智能终端收到消息后，如果是继续请求资源，则直接转步骤S10，如果是断开连接，则该远程和本地智能终端或大屏幕设备关闭资源同步显示。
[0056] 本发明的积极效果在于:本发明以人机交互技术、设备互联技术、多屏互动技术及云计算及为基础，在基于通用即插即用的多设备互联互通的前提下，增加消息协同处理机制，解决人机物三元端交互过程中界面的更新与切换，消息的转发与消息的转发与显示、指令的解析与执行，实现了移动智能设备与智能电视等多终端之间的无缝连接与多媒体资源的智能分享和互动。本发明设备端开发成本低，利用协同交互技术提升了人机多屏互动时的用户体验。
【专利附图】

【附图说明】
[0057]图1是本发明的设备协同多屏互动系统架构图；
[0058]图2是本发明的设备协同多屏互动系统中单节点内设备互联及多屏互动流程图；
[0059]图3是本发明的设备协同多屏互动系统节点间多屏互动示意图；
[0060]图4是本发明的设备协同多屏互动系统中资源同步消息流程图。
【具体实施方式】
[0061]为了使发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明的一种设备云环境下设备协同多屏互动系统及其方法进行进一步详细说明。本发明所要解决的问题在于多设备交互过程中设备间协同互动和资源共享，提升用户多屏互动的体验。本发明在以人机交互技术、设备互联技术、多屏互动技术及云计算为基础的前提下，实现智能设备之间的无缝连接与多媒体资源的智能分享和互动。[0062]首先对本发明的系统架构进行具体说明。
[0063]设备协同多屏互动系统由多个设备云节点构成，如图1所示。每个设备云节点包括多个设备，其中至少包括一智能终端，该智能终端与多个大屏幕设备或除该智能终端以外的智能终端构成局域网，该大屏幕设备可以是智能电视，也可以是具有大屏幕显示功能的屏幕显示设备。设备云主要利用虚拟化技术、分布式存储技术和资源调度技术将资源合理分布在整个设备云中，并采取合理的调度策略，用来实现设备间的资源传输、共享和同步。该智能终端可自主发现大屏幕设备或除自身以外的智能终端，并与之互联，获取设备及其提供的服务信息，然后获取该大屏幕设备或除自身以外的智能终端的资源列表，或者向大屏幕设备和除自身以外的智能终端发送资源列表，选择资源，并在设备两端同步显示。大屏幕设备和除该智能终端以外的智能终端即可以自主宣告其在线，也可收到该智能终端设备请求命令后宣告在线。该大屏幕设备和除该智能终端以外的智能终端一方面以节点的方式加入到广域网的设备云中，另一方面和该智能终端实现多屏互动效果。该大屏幕设备和除该智能终端以外的智能终端可以用来存储资源并建立资源列表，资源列表一方面来自本地存储的资源，另一方面是由设备云中的大屏幕设备和除该智能终端以外的智能终端节点将资源信息同步到该设备的资源列表中。该大屏幕设备和智能终端均可以对资源列表更新、删除、添加以及协同主设备来同步显示资源，其中主设备指的是发起多屏互动的设备。设备云节点内的交互主要包括设备互联互发现与消息控制两大模块。设备云子节点之间的交互主要是资源调度与同步。设备互联互发现用于智能设备之间独立发现、自主互连，为消息控制提供环境基础；消息控制用于数据转发及指令控制，它是设备云间数据共享，UI同步等控制机制的实现；设备云则为设备多屏协同互动创造了资源基础。 [0064]设备云是用户获取更丰富体验的关键。它维护着整个设备云中用户端资源列表，负责对资源的进行合理调度，将更丰富的内容呈现给用户。设备云将资源合理分布在整个设备云中，并采取合理的调度策略，用户不需要了解设备云中资源分配的细节，只要用户能在设备云节点上找到某个资源，就可以为其提供多设备多屏互动的要求。设备云中的服务进程实现了设备虚拟化模块、资源分布式存储模块、资源协同调度模块来协同管理资源的分配、资源的调度、资源的定位以及设备云各个节点资源信息一致性等。
[0065]该设备云包括以下模块:
[0066]设备虚拟化模块，局域网中的一个大屏幕设备或智能终端以节点的方式首先注册到虚拟工作组中，即添加到该设备云中，虚拟工作组将它所知设备云中的所有节点的IP告诉该节点，该节点将自己的信息以及资源信息同步到其他设备云节点上，使得设备云中节点能够自主发现，同时共享设备云节点中的资源，如图1所示。其中节点的信息主要包括设备本身IP、节点的名称以及该节点所包含的资源列表等；
[0067]资源分布式存储模块，通过利用设备云节点中设备的磁盘空间，将分散的存储资源均衡分布在整个设备云中，并构建一个虚拟的存储设备用来存储设备资源的分布情况，为设备资源的定位与查找创造基础；
[0068]资源系统调度模块，采用动态资源调整与分配方案，根据实际情况正确选择资源节点，消除单节点故障造成的资源访问失败情况。
[0069]该设备云中的智能终端包括设备发现模块、设备控制模块、第一消息同步模块、第一数据传输模块、第一资源管理模块、资源显示模块，下面分别对这些模块进行进一步详细说明。
[0070]设备发现模块，用于在多设备环境中主设备自助发现从设备，并选择性互联在一起。其中，该从设备是指接收主设备发送的多屏互动请求的设备，该从设备可以是大屏幕设备，也可以是除发起多屏互动的智能终端以外的另一智能终端。设备发现管理器响应的事件包括:设备主动宣告事件和设备主动查找事件。设备主动宣告事件是指从设备上线后主动宣告自己上线，让主设备能够发现；设备主动查找事件是指主设备发布查找设备消息，从设备收到该消息后返回从设备信息给主设备。
[0071]设备控制模块，用于在多设备环境中主设备作为控制节点发现从设备后，获得从设备的控制权限，启动设备互联，然后根据从设备地址的设备信息及其提供的服务描述，以设备列表的形式展现出来。服务描述一般包括服务名、行为列表、服务响应参数、返回结果
参数等。
[0072]第一消息同步模块，用于在一次会话过程主从设备交互所涉及到的数据转发和指令控制以及主从设备上资源信息列表的同步，它是智能终端与大屏幕设备或除该智能指端以外的智能终端 之间进行多屏同步互动的必备条件。
[0073]第一数据传输模块，用于主设备查找消息的发送与接收、主设备控制消息的发送与接收、主从设备同步消息的发送与接收、资源数据的发送与接收、超时检测机制等。
[0074]第一资源管理模块，用于获取资源信息列表、资源信息的增加、删除以及资源信息列表的更新、显示等。每个资源都包含资源类型、资源URL、资源大小、资源属性、资源创建时间等。
[0075]资源显示模块，用于根据资源属性情况调用系统相关模块来同步显示资源，比如图片显示模块、视频资源播放模块、音乐播放模块等。
[0076]当智能终端作为从设备时，该设备云中的智能终端还包括设备宣告模块、消息同步模块、资源管理模块、资源同步模块、数据传输模块，下面分别对这些模块进行进一步详细说明，
[0077]设备宣告模块，用于在设备云宣告其上线消息，或当收到该除自身以外的智能终端搜索消息后发送其设备消息及服务给该智能终端；
[0078]第二消息同步模块，用于在一次会话过程中该资源列表的同步、根据该除自身以外的智能终端发送来的同步消息来同步资源的显示情况；
[0079]第二资源管理模块，用于存储资源、获取资源信息列表、资源信息的增加、删除以及资源信息列表的更新，其中，每个资源都包含资源类型、资源URL、资源大小、资源属性、资源创建时间；
[0080]资源同步模块，用于将该设备云中的资源信息同步到本地，使每个该设备云节点都可以访问设备云中的资源；
[0081]第二数据传输模块，用于上线消息的宣告、对该除自身以外的智能终端控制消息的接收与反馈、该同步消息的接收与反馈、资源数据的发送与接收、超时检测机制。
[0082]在本发明的设备云环境下设备协同多屏互动系统中，该大屏幕设备包括以下模块:
[0083]设备宣告模块，用于在设备云宣告其上线消息，或当收到该智能终端搜索消息后发送其设备消息及服务给该智能终端；[0084]第二消息同步模块，用于在一次会话过程中该资源列表的同步、根据该智能终端发送来的同步消息来同步资源的显示情况；
[0085]第二资源管理模块，用于存储资源、获取资源信息列表、资源信息的增加、删除以及资源信息列表的更新，其中，每个资源都包含资源类型、资源URL、资源大小、资源属性、资源创建时间；
[0086]资源同步模块，用于将该设备云中的资源信息同步到本地，使每个该设备云节点都可以访问设备云中的资源；
[0087]第二数据传输模块，用于上线消息的宣告、对该智能终端控制消息的接收与反馈、该同步消息的接收与反馈、资源数据的发送与接收、超时检测机制。
[0088]以下对本发明的设备云环境下设备协同多屏互动系统的互动过程进行详细说明。
[0089]实施例一
[0090]在该实施方式一中，以设备Z?中单节点内部的智能终端和大屏.设备或除该智能终端以外的智能终端之间进行的多屏互动为例对本发明的设备云环境下设备协同多屏互动系统进行说明。
[0091]在本发明的设备云环境下设备协同多屏互动系统中，设备云节点中智能终端与大屏幕设备或除该智能终端以外的其他智能终端彼此能够发现对方并自主实现互联，这种互连互通的技术是在通用即插即用(UPnP)基础上通过DLNA实现。通用即插即用是微软推出的一套即插即用协 议，用于设备间的互联互通，它以TCP/IP技术为基础，可以实现在家中、办公室等局域网的两个或多个设备之间的控制和数据传输。在设备云单节点中大屏幕设备和除该智能终端以外的智能终端作为受控设备，提供通用即插即用服务及通信服务；智能终端作为通用即插即用主设备，负责发现其他设备及其提供的服务。根据通用即插即用协议的设备寻址、设备发现、设备描述、设备控制、设备事件、设备表达等机制，智能移动终端与大屏幕设备或除该智能终端以外的智能终端自主发现，简化互联细节。设备发现与互联的过程如图2所示:
[0092]步骤1，智能终端通过设备发现管理器向局域网发出设备搜索命令。
[0093]步骤2，该大屏幕设备或除该智能终端以外的智能终端收到该智能终端发出的设备请求后宣告设备上线，返回设备及服务信息给该智能终端，消息包括设备IP、端口、设备名等。这一步还有另外一种情况，当该大屏幕设备或除该智能终端以外的智能终端上线后主动宣告自己在线，该智能终端收到该大屏幕设备或除该智能终端以外的智能终端的上线消息后准备互联。
[0094]步骤3，该智能终端从获得设备信息中提取IP地址及端口，然后自主与该大屏幕设备或除该智能终端以外的智能终端进行互联。
[0095]当智能终端和其他设备互联成功后，接着执行如下步骤:
[0096]其中，该智能终端作为主控设备，该大屏幕设备或除该智能终端以外的智能终端作为受控设备；
[0097]步骤4，同步请求。智能终端想要将其本地资源和其他设备同步显示，首先找到本地另一台大屏幕设备或除该智能终端以外的智能终端，发送同步请求，请求消息包括消息的序列号以及同步的资源属性信息等；
[0098]步骤5，请求验证。该大屏幕设备或除该智能终端以外的智能终端收到智能终端同步请求，返回确认消息给该智能终端，同时设置并更新屏幕显示模块，其中，该屏幕显示模块根据资源的类型来显示图片或者播放视频等；
[0099]步骤6，同步资源。该智能终端收到确认消息后，设置并更新屏幕显示模块，开始推送本地资源到该大屏幕设备或除该智能终端以外的智能终端，并在两端同步显示；
[0100]步骤7，如果该智能终端还有同步要求，返回步骤4 ;如果该智能终端结束同步，则向该大屏幕设备或除该智能终端以外的智能终端发送关闭命令，同步结束。
[0101]实施例二
[0102]在该实施方式二中，以设备云中不同节点间的智能终端与大屏幕设备或除该智能终端以外的智能终端之间进行的多屏互动为例对本发明的设备云环境下设备协同多屏互动系统进行说明。该设备协同多屏互动系统节点间多屏互动示意图如图3所示。 [0103]协同人机交互系统在一次会话过程涉及本地智能终端、本地大屏幕设备或本地的除该本地智能终端以外的智能终端、以及远程大屏幕设备或远程智能终端之间的多屏互动。资源同步消息如图4所示。多屏互动在会话建立后进行，通过发送任务消息的方式进行动态控制，这里的消息包括数据消息与指令消息。数据消息包括资源ID、设备ID、资源名字、数据及长度、发送者、接收者、发送时间等，指令消息包括设备ID、发送者、指令名字、发送时间、是否执行等。指令消息重用了数据消息的格式，没有文件数据项及其它可选项，这样减少了消息整体的数据长度，降低网络带宽负荷，提高消息的传输速度，从而加快指令的执行效率及设备Π更新、切换的效率，增强了用户体验。
[0104]具体步骤如下:
[0105]步骤1，同步请求。本地智能终端想要将其本地资源在远程智能终端或远程大屏幕设备同步显示，首先根据设备列表获取远程智能终端或远程大屏幕设备的地址，然后发送同步请求，请求的消息包括请求序列号及其资源属性等信息；
[0106]步骤2，请求确认。远程智能终端或远程大屏幕设备收到该本地智能终端同步请求，如果同意同步，就返回确认消息，否则返回拒绝消息，结束本次会话；
[0107]步骤3，资源信息同步。该本地智能终端收到该远程智能终端或远程大屏幕设备的确认消息后，同时设置并更新屏幕显示模块状态，然后将资源推送到本地大屏幕设备或本地除该本地智能终端以外的智能终端，本地大屏幕设备或本地除该本地智能终端以外的智能终端将接收到的资源转发给该远程智能终端或远程大屏幕设备，其中，该屏幕显示模块根据资源的类型来显示图片或者播放视频等；
[0108]步骤4，消息验证。该远程智能终端或远程大屏幕设备将接收到的资源数据进行解析与验证，判断消息的发送者与接收者，以及数据的完整性和合法性。
[0109]步骤5，资源同步确认。该远程智能终端或远程大屏幕设备验证数据合法后，设置并更新屏幕显示模块，发送资源同步确认消息给该本地智能终端，并开始在屏幕显示模块中显示资源；
[0110]步骤6，资源同步显示。该本地智能终端收到同步确认消息后，开始在屏幕显示模块中同步显示。
[0111]步骤7，准备下一个资源或关闭连接。资源同步显示结束后，该本地智能终端发送一个请求下一个资源的消息或者断开连接的消息；该远程大屏幕设备或该远程智能终端收到消息后，如果是继续请求资源，则直接转步骤1，如果是断开连接，则远程和本地设备关闭资源同 步显示。
【权利要求】
1.一种设备云环境下设备协同多屏互动系统,其特征在于,该系统包括: 设备云，分布有多个设备云节点，每个设备云节点包括第一设备部和第二设备部，该第一设备部为至少一智能终端，该第二设备部为至少一智能终端或大屏幕设备，该设备云用于该第一设备部和该第二设备部之间或该第二设备部内部之间的资源传输、共享，并将分散的存储资源均衡分布在整个设备云中，通过构建虚拟的存储设备来存储设备资源的分布情况，以进行设备资源的定位与查找； 该智能终端自主发现该设备云上的大屏幕设备和除自身以外的智能终端，并选择性互联。
2.如权利要求1所述的设备云环境下设备协同多屏互动系统，其特征在于， 该智能终端将资源列表发送给该大屏幕设备或除自身以外的智能终端，或者从该大屏幕设备或除自身以外的智能终端上获取资源列表，并在该大屏幕设备或除自身以外的智能终端上同步显示； 该大屏幕设备存储资源并建立资源列表，并对该资源列表更新、删除、添加以及协同该智能终端来同步显示资源。
3.如权利要求1所述的设备云环境下设备协同多屏互动系统，其特征在于，该设备云包括以下模块: 设备虚拟化模块，将该智能终端或该大屏幕设备以节点的方式注册到该设备云中，并将自己的节点位置信息及资源列表和其他节点共享； 资源分布式存储模块，通过利用该智能终端或该大屏幕设备的磁盘空间，将分散的存储资源均衡分布在整个设备云中，并构建一个虚拟的存储设备来存储设备资源的分布情况，以进行设备资源的定位与查找； 资源系统调度模块，根据实际情况选择资源节点，消除单节点故障造成的资源访问失败。
4.如权利要求1所述的设备云环境下设备协同多屏互动系统，其特征在于，该智能终端包括以下模块: 设备发现模块，用于自主发现该设备云上的该大屏幕设备和除自身以外的智能终端，并选择性互联； 设备控制模块，用于在发现该大屏幕设备和除自身以外的智能终端后，获得控制该大屏幕设备和除自身以外的智能终端的权限，启动设备互联，并根据该大屏幕设备和除自身以外的智能终端的地址的设备信息及其提供的服务描述，以设备列表的形式展现出来，该服务描述包括服务名、行为列表、服务响应参数、返回结果参数； 第一消息同步模块，用于在一次会话过程中的该智能终端与该大屏幕设备和除自身以外的智能终端交互所涉及到的数据转发和指令控制以及该资源列表的同步； 第一数据传输模块，用于查找消息的发送与接收、该智能终端控制消息的发送与接收、该智能终端与该大屏幕设备和除自身以外的智能终端同步消息的发送与接收、资源数据的发送与接收、超时检测机制；其中，超时检测机制是指在资源传输过程中资源没有同步而产生的时延检测； 第一资源管理模块，用于获取该资源列表、资源信息的增加、删除以及资源信息列表的更新、显示；资源显示模块，用于根据资源属性情况调用该系统的相关模块来同步显示资源。
5.如权利要求1或4所述的设备云环境下设备协同多屏互动系统，其特征在于，该智能终端还包括以下模块: 设备宣告模块，用于在设备云宣告其上线消息，或当收到该除自身以外的智能终端搜索消息后发送其设备消息及服务给该智能终端； 第二消息同步模块，用于在一次会话过程中该资源列表的同步、根据该除自身以外的智能终端发送来的同步消息来同步资源的显示情况； 第二资源管理模块，用于存储资源、获取资源信息列表、资源信息的增加、删除以及资源信息列表的更新，其中，每个资源都包含资源类型、资源URL、资源大小、资源属性、资源创建时间； 资源同步模块，用于将该设备云中的资源信息同步到本地，使每个该设备云节点都可以访问设备云中的资源； 第二数据传输模块，用于上线消息的宣告、对该除自身以外的智能终端控制消息的接收与反馈、该同步消息的接收与反馈、资源数据的发送与接收、超时检测机制。
6.如权利要求1或4所述的设备云环境下设备协同多屏互动系统，其特征在于，该智能终端的该自主发现并进行设备互联的步骤包括:设备主动宣告事件和设备主动查找事件；其中，该设备主动宣告 事件是指该大屏幕设备和除自身以外的智能终端上线后主动宣告自己上线，让该智能终端能够发现；设备主动查找事件是指该智能终端发布查找设备消息，该大屏幕设备和除自身以外的智能终端收到该消息后将其信息返回给该智能终端。
7.如权利要求1所述的设备云环境下设备协同多屏互动系统，其特征在于，该大屏幕设备包括以下模块: 设备宣告模块，用于在设备云宣告其上线消息，或当收到该智能终端搜索消息后发送其设备消息及服务给该智能终端； 第二消息同步模块，用于在一次会话过程中该资源列表的同步、根据该智能终端发送来的同步消息来同步资源的显示情况； 第二资源管理模块，用于存储资源、获取资源信息列表、资源信息的增加、删除以及资源信息列表的更新，其中，每个资源都包含资源类型、资源URL、资源大小、资源属性、资源创建时间； 资源同步模块，用于将该设备云中的资源信息同步到本地，使每个该设备云节点都可以访问设备云中的资源； 第二数据传输模块，用于上线消息的宣告、对该智能终端控制消息的接收与反馈、该同步消息的接收与反馈、资源数据的发送与接收、超时检测机制。
8.—种如权利要求1-7所述的设备云环境下设备协同多屏互动系统的多屏互动的方法，其特征在于，包括: 节点间的多屏互动步骤，用于在设备云节点中本地和远程已进行了位置信息和资源信息同步的情况下，协同人机交互系统在一次会话过程中在本地智能终端和本地的除该智能终端以外的智能终端、本地智能终端和本地大屏幕设备、以及远程智能终端和远程的除该智能终端以外的智能终端、远程智能终端和远程大屏幕设备之间进行多屏互动； 单节点内的多屏互动步骤，用于协同人机交互系统在一次会话过程中本地智能终端本地的除该智能终端以外的智能终端、本地智能终端和本地大屏幕设备进行多屏互动。
9.如权利要求8所述的设备云环境下设备协同多屏互动系统的多屏互动的方法，其特征在于，该单节点内的多屏互动步骤包括: 步骤SI，该智能终端通过设备发现管理模块向局域网发出设备搜索命令； 步骤S2，该大屏幕设备或除该智能终端以外的智能终端收到该智能终端发送的设备邀请后宣告设备上线，返回设备及服务信息给该智能终端，该服务消息包括设备IP、端口、设备名等；或当该大屏幕设备或除该智能终端以外的智能终端上线后主动宣告其在线，该智能终端收到该大屏幕设备或除该智能终端以外的智能终端的上线消息后进行互联； 步骤S3，该智能终端获得该大屏幕设备或除该智能终端以外的智能终端的IP及端口信息后互联，向该大屏幕设备或除该智能终端以外的智能终端发送控制请求，并获取该大屏幕设备或除该智能终端以外的智能终端信息及其提供的服务； 步骤S4，该智能终端发出同步其资源的请求，请求消息主要包括请求的序列号、资源的属性等信息； 步骤S5，该大屏幕设备或除该智能终端以外的智能终端收到该智能终端的同步请求后，返回确认消息给该智能终端，同时设置并更新屏幕显示模块，其中，该屏幕显示模块根据资源的类型来显示图片或者播放视频； 步骤S6，该智能终端收到该大屏幕设备或除该智能终端以外的智能终端的确认消息后，设置并更新该屏幕显示模块，开始推送本地资源给该大屏幕设备或除该智能终端以外的智能终端，并在两端同步展示； 步骤S7，该智能终端还有同步要求，返回步骤S4 ;如果该智能终端结束同步，则向该大屏幕设备或除该智能终端以外的智能终端的发送关闭命令，同步结束。
10.如权利要求8所述的设备云环境下设备协同多屏互动系统的多屏互动的方法，其特征在于，该设备云节点间的多屏互动步骤包括: 步骤S10，本地智能终端首先从设备列表中获取远程智能终端或远程大屏幕设备的地址，然后向该远程智能终端或该远程大屏幕设备发送同步请求，请求的消息包括请求序列号及其资源属性等信息； 步骤S20，该远程智能终端或该远程大屏幕设备收到该本地智能终端的同步请求后，若同意同步，就返回确认消息，否则返回拒绝消息，结束本次会话； 步骤S30，该本地智能终端收到该远程智能终端或该远程大屏幕设备的请求确认消息后，同时设置并更新屏幕显示模块，然后将资源推送到本地大屏幕设备或本地的除该本地智能终端以外的智能终端，该本地大屏幕设备或该本地的除该本地智能终端以外的智能终端将该资源转发到该远程大屏幕设备或该远程智能终端，其中，该屏幕显示模块根据资源的类型来显示图片或者播放视频等； 步骤S40，该远程大屏幕设备或该远程智能终端对该资源数据进行解析与验证，判断数据的发送者与接收者，以及数据的完整性或指令的合法性； 步骤S50，该远程大屏幕设备或该远程智能终端验证数据合法后，设置并更新屏幕显示模块状态，发送资源同步确认消息给该本地大屏幕设备或该本地的除该本地智能终端以外的智能终端，并在该屏幕显示模块中显示资源； 步骤S60，该本地智能终端收到同步确认消息后，开始在该屏幕显示模块中同步显示；步骤S70，同步显示结束后，该本地智能终端发送一个请求下一个资源的消息或者断开连接的消息；该远程大屏幕设备或该远程智能终端收到消息后，如果是继续请求资源，则直接转步骤S10，如 果是断开连接，则该远程和本地智能终端或大屏幕设备关闭资源同步显/Jn ο
【文档编号】H04N21/254GK104023050SQ201410209823
【公开日】2014年9月3日 申请日期:2014年5月16日 优先权日:2014年5月16日
【发明者】朱珍民, 李达, 叶剑, 刘要华 申请人:中国科学院计算技术研究所