实现多屏互动的方法及装置的制造方法
【专利摘要】本发明涉及实现多屏互动的方法及装置。所述方法包括：接收多屏发起终端发送的窗口截图信息，所述窗口截图信息包括窗口图像、以及所述窗口图像对应的窗口位置信息和时间戳；根据窗口位置信息和时间戳将接收到的多路窗口图像绘制到缓存，得到对应的合成显示画面，所述合成显示画面中多路窗口图像以分层形式呈现；向对应的显示设备发送所述合成显示画面，以在所述显示设备端显示所述合成显示画面。本发明能够在一台显示设备上同时显示多台多屏发起终端的窗口画面，不存在由多屏发起终端的不同系统平台导致的割裂问题。
【专利说明】
实现多屏互动的方法及装置
技术领域
[0001]本发明涉及多屏互动技术领域，特别是涉及实现多屏互动的方法及装置。
【背景技术】
[0002]多屏互动指的是在不同系统平台设备上同时共享展示内容的技术。即几种设备通过专门的连接设备连接之后，可在设备之间同时进行内容(音频、视频、图片等文件)的展示、控制等操作。比如手机上的电影可以在电视上播放，平板、电脑上的图片可以在电视上展示。
[0003]现有的多屏互动系统结构如图1所示，手机、PC等多屏发起设备通过VGA(Videc)Graphics Array)方式与一个带TV功能的Android系统设备(作为连接设备)连接，所述带TV功能的Android系统设备还通过VGA方式与显示器连接。通过该带TV功能的Android系统设备，可实现将手机、PC等多屏发起设备端显示的内容在同一台显示器上显示。
[0004]基于现有多屏互动系统，其实质是在显示器上显示其他系统设备的整个屏幕画面，并且还存在以下问题:
[0005]硬件成本高，需要拥有完整功能的Android主板的连接设备；以及，显示器上显示的是其他多屏发起设备的整个屏幕画面，显示器端存在由不同系统导致的割裂问题。
【发明内容】
[0006]基于此，本发明实施例提供一种实现多屏互动的方法及装置，能够在一台显示设备上同时显示多台多屏发起终端的窗口画面，不存在由多屏发起终端的不同系统平台导致的割裂问题。
[0007]本发明一方面提供一种实现多屏互动的方法，包括:
[0008]接收多屏发起终端发送的窗口截图信息，所述窗口截图信息包括窗口图像、以及所述窗口图像对应的窗口位置信息和时间戳；
[0009]根据窗口位置信息和时间戳将接收到的多路窗口图像绘制到缓存，得到对应的合成显示画面，所述合成显示画面中多路窗口图像以分层形式呈现；
[0010]向对应的显示设备发送所述合成显示画面，以在所述显示设备端显示所述合成显示画面。
[0011 ]优选的，所述根据窗口位置信息和时间戳将接收到的多路窗口图像绘制到缓存，得到对应的合成显示画面，包括:
[0012]提取接收到的每路窗口截图信息包含的窗口图像、窗口位置信息和时间戳，根据时间戳由近到远的顺序对多路窗口图像进行排序，使其中时间戳越近的窗口图像排序越
、广.刖;
[0013]根据窗口位置信息以及排序前后依次绘制各路窗口图像到缓存，得到对应的合成显示画面，其中，排序最前的窗口图像呈现在所述合成显示画面的最顶层。
[0014]优选的，所述根据窗口位置信息以及排序前后依次绘制各路窗口图像到缓存，得到对应的合成显示画面，包括:
[0015]解码每路窗口图像，得到对应的图像数据;根据排序前后、窗口位置信息以及所述图像数据依次绘制各路窗口图像到缓存，得到对应的合成显示画面。
[0016]优选的，所述向对应的显示设备发送所述合成显示画面，包括:
[0017]将所述合成显示画面存储到预设的显示队列中，依次发送所述显示队列中的合成显示画面到对应的显示设备。
[0018]优选的，所述窗口位置信息包括:对应的多屏发起终端的屏幕分辨率，以及被截图的窗口在多屏发起终端屏幕中的位置坐标。
[0019]本发明还提供一种实现多屏互动的方法，包括:
[0020]监控多屏发起终端的活动窗口，根据窗口画面、窗口尺寸及窗口位置判断是否发生窗口切换；
[0021 ]确定发生窗口切换，对当前活动窗口进行截图，得到对应的窗口图像;并记录截图的时间信息，作为所述窗口图像对应的时间戳，获取当前活动窗口在多屏发起终端屏幕中的位置信息，作为所述窗口图像对应的窗口位置信息；
[0022]向对应的混合设备发送所述多屏发起终端的窗口截图信息，所述窗口截图信息包括窗口图像、对应的窗口位置信息以及时间戳。
[0023]优选的，所述向对应的混合设备发送所述多屏发起终端的窗口截图信息，之前包括:
[0024]对得到的窗口图像进行图像编码，所述窗口截图信息中包含编码后的窗口图像信息。
[0025]优选的，还包括:建立多屏发起终端与混合设备之间的连接，以及在连接建立之后，在所述多屏发起终端的系统中安装与所述混合设备对应的驱动程序；
[0026]所述监控多屏发起终端的活动窗口，根据活动窗口画面、窗口尺寸及窗口位置判断是否发生窗口切换，包括:
[0027]通过所述驱动程序监控多屏发起终端的活动窗口，若检测到窗口画面、窗口尺寸、窗口位置中至少一项发生变化，则判断为发生窗口切换。
[0028]优选的，所述获取当前活动窗口在多屏发起终端屏幕中的位置信息，包括:
[0029]获取多屏发起终端的屏幕分辨率，以及当前活动窗口在多屏发起终端屏幕中的位置坐标。
[0030]本发明还提供一种实现多屏互动的装置，包括:
[0031]图像接收模块，用于接收多屏发起终端发送的窗口截图信息，所述窗口截图信息包括窗口图像、以及所述窗口图像对应的窗口位置信息和时间戳；
[0032]图像混合模块，用于根据窗口位置信息和时间戳将接收到的多路窗口图像绘制到缓存，得到对应的合成显示画面，所述合成显示画面中多路窗口图像以分层形式呈现；
[0033]发送模块，用于向对应的显示设备发送所述合成显示画面，以在所述显示设备端显示所述合成显示画面。
[0034]优选的，所述图像混合模块包括:
[0035]信息提取子模块，用于提取接收到的每路窗口截图信息包含的窗口图像、窗口位置信息和时间戳；
[0036]排序子模块，用于根据时间戳由近到远的顺序对多路窗口图像进行排序，使其中时间戮越近的窗口图像排序越如;
[0037]混合子模块，用于根据窗口位置信息以及排序前后依次绘制各路窗口图像到缓存，得到对应的合成显示画面，其中，排序最前的窗口图像呈现在所述合成显示画面的最顶层。
[0038]优选的，所述混合子模块包括:
[0039]解码单元，用于解码每路窗口图像，得到对应的图像数据；
[0040]混合单元，用于根据排序前后、窗口位置信息以及所述图像数据依次绘制各路窗口图像到缓存，得到对应的合成显示画面。
[0041 ]优选的，所述发送模块包括:
[0042]存储子模块，用于将所述合成显示画面存储到预设的显示队列中；
[0043]发送子模块，用于依次发送所述显示队列中的合成显示画面到对应的显示设备。
[0044]优选的，所述窗口位置信息包括:对应的多屏发起终端的屏幕分辨率，以及被截图的窗口在多屏发起终端屏幕中的位置坐标。
[0045]本发明还提供一种实现多屏互动的装置，包括:
[0046]窗口监控模块，用于监控多屏发起终端的活动窗口，根据窗口画面、窗口尺寸及窗口位置判断是否发生窗口切换；
[0047]窗口截图模块，用于确定发生窗口切换，对当前活动窗口进行截图，得到对应的窗口图像；以及用于记录截图的时间信息，作为所述窗口图像对应的时间戳；以及用于获取当前活动窗口在多屏发起终端屏幕中的位置信息，作为所述窗口图像对应的窗口位置信息；
[0048]截图发送模块，用于向对应的混合设备发送所述多屏发起终端的窗口截图信息，所述窗口截图信息包括窗口图像、对应的窗口位置信息以及时间戳。
[0049]优选的，所述截图发送模块，还用于在向对应的混合设备发送所述多屏发起终端的窗口截图信息之前，对得到的窗口图像进行图像编码。
[0050]优选的，所述的实现多屏互动的装置还包括:连接模块，用于建立多屏发起终端与混合设备之间的连接，以及在连接建立之后，在所述多屏发起终端的系统中安装与所述混合设备对应的驱动程序；
[0051 ]所述窗口监控模块，用于通过所述驱动程序监控多屏发起终端的活动窗口，若检测到窗口画面、窗口尺寸、窗口位置中至少一项发生变化，则判断为发生窗口切换。
[0052]优选的，所述获取当前活动窗口在多屏发起终端屏幕中的位置信息，包括:
[0053]获取多屏发起终端的屏幕分辨率，以及当前活动窗口在多屏发起终端屏幕中的位置坐标。
[0054]上述技术方案，通过接收多屏发起终端发送的窗口截图信息，所述窗口截图信息包括窗口图像、以及所述窗口图像对应的窗口位置信息和时间戳;根据窗口位置信息和时间戳将接收到的多路窗口图像绘制到缓存，得到对应的合成显示画面，所述合成显示画面中多路窗口图像以分层形式呈现；向对应的显示设备发送所述合成显示画面，以在所述显示设备端显示所述合成显示画面。本发明上述实施例的方案，能够在一台显示设备上同时显示多台多屏发起终端的窗口画面，不存在由多屏发起终端的不同系统平台导致的割裂问题，提高了显示器的利用率;并且实现的硬件成本低，以及解决了将多屏发起终端的整个屏幕画面全部显示到显示设备上、导致显示设备端存在画面割裂的问题。
【附图说明】
[0055]图1为传统多屏互动系统的示意图。
[0056]图2为一实施例的本发明方案的工作环境示意图；
[0057]图3为一实施例的实现多屏互动的方法的示意性流程图；
[0058]图4为一实施例的合成显不画面的不意图；
[0059]图5为另一实施例的实现多屏互动的方法的示意性流程图；
[0060]图6为一实施例的实现多屏互动的装置的示意性结构图；
[0061 ]图7为另一实施例的实现多屏互动的装置的示意性结构图。
【具体实施方式】
[0062]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0063]图2示出了本发明一实施例的工作环境示意图，包括:至少两个多屏发起终端100，多屏发起终端指的是，在多屏互动中可控制将本端屏幕显示信息显示到其他终端屏幕上的设备，以PC为例。每个多屏发起终端100可通过USB方式与预设的混合设备200连接，混合设备指的是，可由多路窗口图像得到合成显示画面的中间设备，所述混合设备200可以有2个或更多个USB输入口供多屏发起终端连接；所述混合设备200还通过VGA或者HDMI (HighDefinit1n Multimedia Interface，高清晰度多媒体接口)等方式连接一显示设备300。各个多屏发起终端100均可通过所述混合设备200将其活动窗口画面扩屏显示到所述显示设备 300。
[0064]结合图2所示的示意图，以下对实现多屏互动的方法及装置的各实施例进行说明。
[0065]图3为一实施例的实现多屏互动的方法的示意性流程图；在该实施例中，是以该方法应用于所述混合设备为例进行说明。
[0066]如图3所示，本实施例中的实现多屏互动的方法包括步骤:
[0067]Sll，接收多屏发起终端发送的窗口截图信息，所述窗口截图信息包括窗口图像、以及所述窗口图像对应的窗口位置信息和时间戳；
[0068]本实施例中的窗口位置信息包括:对应的多屏发起终端的屏幕分辨率，以及被截图的窗口在多屏发起终端屏幕中的位置坐标。通过屏幕分辨率和屏幕中的位置坐标，可确定被截图的窗口在多屏发起终端屏幕中的位置。
[0069]S12，根据窗口位置信息和时间戳将接收到的多路窗口图像绘制到缓存，得到对应的合成显示画面，所述合成显示画面中多路窗口图像以分层形式呈现；
[0070]该步骤的实现方式可包括:提取接收到的每路窗口截图信息包含的窗口图像、窗口位置信息和时间戳，根据时间戳由近到远的顺序对多路窗口图像进行排序，使其中时间戳越近的窗口图像排序越前。本实施例中，时间戳的近远是以当前时间为参照，目的是使接收到的多路图像中时间戳与当前时间距离越近的窗口图像排序越前。然后，根据窗口位置信息以及排序前后依次绘制各路窗口图像到缓存，得到对应的合成显示画面，其中，排序最前的窗口图像呈现在所述合成显示画面的最顶层。
[0071]优选的，对接收到的两路窗口图像进行合成，得到的合成显示画面效果可参考图4所示;其中，画面I为多屏发起终端I的活动窗口画面，画面2为多屏发起终端2的活动窗口画面，且多屏发起终端2的活动窗口画面对应的窗口图像的时间戳更近。
[0072]作为一优选实施方式，为了提高传输效率，步骤Sll中接收到的窗口图像为经过编码的图像。对应的，在步骤S12中，首先需解码每路窗口图像，得到对应的图像数据。例如，可采用h264(标准写法应该是H.264，一种高度压缩数字视频编解码器标准)解码技术对每路窗口图像进行解码，得到每路窗口图像对应的YUV流数据(把彩色图像信号经分色，分别放大校正后得到RGB，再经过矩阵变换电路得到的、包含亮度信号Y和两个色差信号B — Y(即U)、R—Y(即V)的数据)。然后根据排序前后、窗口位置信息以及所述图像数据依次绘制各路窗口图像到缓存，得到对应的合成显示画面。
[0073]S13，向对应的显示设备发送所述合成显示画面，以在所述显示设备端显示所述合成显示画面。
[0074]优选的，可将得到的合成显示画面存储到混合设备预设的显示队列中，按照队列的先进先出原则依次发送所述显示队列中的合成显示画面到对应的显示设备;并且，各路窗口图像在显示设备屏幕上的位置与对应多屏发起终端屏幕中的窗口位置相对应。
[0075]基于上述实施例的实现多屏互动的方法，下面给出了两个实现多屏互动的应用场景:
[0076]场景I，用户各自都带着笔记本电脑去开会，会上需要把个人笔记本电脑上的内容显示到一个大屏显示器上。这时，可以将多台的笔记本电脑连接到混合设备上，然后将混合设备连接到上述大屏显示器上，基于此系统结构，在大屏显示器便可同时对多台的笔记本电脑的活动窗口进行显示。进一步的，当某一笔记本电脑的活动窗口发现切换时，在大屏显示器上则会将该次切换后的画面显示在最顶层，就像是在切换两个程序窗口而已，实现了在多个窗口画面之间任意切换的效果。
[0077]场景2，用户各自带着笔记本电脑去开会，会上有两份文件需要向大家对比展示，但这两份文件分别在不同用户的电脑。这时，只要将两台电脑连接到混合设备，便可在大屏显示器便同时对两台的笔记本电脑的文件进行展示;并且大屏显示器上展示的各个文件窗口的位置与其在笔记本电脑屏幕上的位置对应。
[0078]通过上述实施例的实现多屏互动的方法，使用一个外置的混合设备将多个多屏发起终端的窗口画面显示在同一显示设备上，实现成本低；同时，还可根据用户操作实现显示设备端的窗口切换。由此提高了显示器的利用率，以及解决了将多屏发起终端的整个屏幕画面全部显示到显示设备上、导致显示设备端存在画面割裂的问题。
[0079]图5为另一实施例的实现多屏互动的方法的示意性流程图；在该实施例中，是以应用于多屏发起终端为例进行说明。
[0080]如图5所示，本实施例中的实现多屏互动的方法包括步骤:
[0081]S21，监控多屏发起终端的活动窗口，根据窗口画面、窗口尺寸及窗口位置判断是否发生窗口切换；
[0082]作为一优选实施方式，本步骤之前还包括建立多屏发起终端与混合设备之间的连接的步骤;参考图2，所述连接可为USB连接。
[0083]此外，本实施例中在所述连接建立之后，在所述多屏发起终端的系统中自动安装与所述混合设备对应的驱动程序;然后通过所述驱动程序监控多屏发起终端的活动窗口，根据活动窗口画面、窗口尺寸及窗口位置判断是否发生窗口切换。优选的，本实施例中若检测到窗口画面、窗口尺寸、窗口位置中至少一项发生变化，则判断为发生窗口切换。
[0084]S22，确定发生窗口切换，对当前活动窗口进行截图，得到对应的窗口图像;并记录截图的时间信息，作为所述窗口图像对应的时间戳，获取当前活动窗口在多屏发起终端屏幕中的位置信息，作为所述窗口图像对应的窗口位置信息；
[0085]确定发生窗口切换，所述驱动程序可控制对当前活动窗口进行截图并缓存起来，记录截图的时间信息。如果活动窗口切换为其它窗口或者其尺寸、位置发送改变，所述驱动程序将再次控制进行窗口截图。
[0086]优选的，本步骤中获取当前活动窗口在多屏发起终端屏幕中的位置信息具体包括:获取多屏发起终端的屏幕分辨率，以及当前活动窗口在多屏发起终端屏幕中的位置坐标。对应的，窗口图像对应的窗口位置信息包括对应的多屏发起终端的屏幕分辨率，以及被截图的窗口在多屏发起终端屏幕中的位置坐标。
[0087]S23，向对应的混合设备发送所述多屏发起终端的窗口截图信息，所述窗口截图信息包括窗口图像、对应的窗口位置信息以及时间戳。
[0088]优选的，向对应的混合设备发送所述多屏发起终端的窗口截图信息之前，还包括对得到的窗口图像进行图像编码的步骤。对应的，所述窗口截图信息中包含编码后的窗口图像信息。例如:采用h264编码技术对活动窗口图像进行图像编码，然后再和窗口位置信息以及时间戳一起传输，以减少通讯的数据量，提高通讯速度。
[0089]需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
[0090]基于与上述实施例中的实现多屏互动的方法相同的思想，本发明还提供实现多屏互动的装置，该装置可用于执行上述实现多屏互动的方法。为了便于说明，实现多屏互动的装置实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0091]图6为本发明一实施例的实现多屏互动的装置的示意性结构图；如图6所示，本实施例的实现多屏互动的装置包括:图像接收模块310、图像混合模块320以及发送模块330，各模块详述如下:
[0092]上述图像接收模块310，用于接收多屏发起终端发送的窗口截图信息，所述窗口截图信息包括窗口图像、以及所述窗口图像对应的窗口位置信息和时间戳；
[0093]优选的，所述窗口位置信息包括:对应的多屏发起终端的屏幕分辨率，以及被截图的窗口在多屏发起终端屏幕中的位置坐标。
[0094]图像混合模块320，用于根据窗口位置信息和时间戳将接收到的多路窗口图像绘制到缓存，得到对应的合成显示画面，所述合成显示画面中多路窗口图像以分层形式呈现；
[0095]发送模块330，用于向对应的显示设备发送所述合成显示画面，以在所述显示设备端显示所述合成显示画面。
[0096]作为一优选实施方式，所述图像混合模块320包括:
[0097]信息提取子模块，用于提取接收到的每路窗口截图信息包含的窗口图像、窗口位置信息和时间戳；
[0098]排序子模块，用于根据时间戳由近到远的顺序对多路窗口图像进行排序，使其中时间戮越近的窗口图像排序越如;
[0099]以及，混合子模块，用于根据窗口位置信息以及排序前后依次绘制各路窗口图像到缓存，得到对应的合成显示画面，其中，排序最前的窗口图像呈现在所述合成显示画面的最顶层。例如:对两路窗口图像进行合成，得到的合成显示画面效果可参考图4所示;其中，画面I为多屏发起终端I的活动窗口画面，画面2为多屏发起终端2的活动窗口画面，且多屏发起终端2的活动窗口画面对应的窗口图像的时间戳更近。
[0100]进一步的，所述混合子模块可包括:
[0101]解码单元，用于解码每路窗口图像，得到对应的图像数据;例如，可采用h264(标准写法应该是H.264，一种高度压缩数字视频编解码器标准)解码技术对每路窗口图像进行解码，得到每路窗口图像对应的YUV流数据(把彩色图像信号经分色，分别放大校正后得到RGB，再经过矩阵变换电路得到的、包含亮度信号Y和两个色差信号B—Y(即U)、R—Y(即V)的数据)。
[0102]以及，混合单元，用于根据排序前后、窗口位置信息以及所述图像数据依次绘制各路窗口图像到缓存，得到对应的合成显示画面。
[0103]作为一优选实施方式，所述发送模块310包括:
[0104]存储子模块，用于将所述合成显示画面存储到预设的显示队列中；
[0105]以及，发送子模块，用于依次发送所述显示队列中的合成显示画面到对应的显示设备，以在所述显示设备端显示所述合成显示画面。
[0106]图7为另一实施例的实现多屏互动的装置的示意性结构图；如图7所示，本实施例的实现多屏互动的装置可为电脑，该装置包括:窗口监控模块410、窗口截图模块420以及截图发送模块430，各模块详述如下:
[0107]上述窗口监控模块410，用于监控多屏发起终端的活动窗口，根据窗口画面、窗口尺寸及窗口位置判断是否发生窗口切换；
[0108]上述窗口截图模块420，用于确定发生窗口切换，对当前活动窗口进行截图，得到对应的窗口图像；以及用于记录截图的时间信息，作为所述窗口图像对应的时间戳；以及用于获取当前活动窗口在多屏发起终端屏幕中的位置信息，作为所述窗口图像对应的窗口位置信息；
[0109]本实施例中，所述获取当前活动窗口在多屏发起终端屏幕中的位置信息，包括:获取多屏发起终端的屏幕分辨率，以及当前活动窗口在多屏发起终端屏幕中的位置坐标。
[0110]上述截图发送模块430，用于向对应的混合设备发送所述多屏发起终端的窗口截图信息，所述窗口截图信息包括窗口图像、对应的窗口位置信息以及时间戳。
[0111]作为一优选实施方式，所述截图发送模块430，还用于在向对应的混合设备发送所述多屏发起终端的窗口截图信息之前，对得到的窗口图像进行图像编码。例如:采用h264编码技术对活动窗口图像进行图像编码，然后再和窗口位置信息以及时间戳一起传输，以减少通讯的数据量，提高通讯速度。
[0112]作为一优选实施方式，所述实现多屏互动的装置还可包括连接模块，用于建立多屏发起终端与混合设备之间的连接，以及在连接建立之后，在所述多屏发起终端的系统中安装与所述混合设备对应的驱动程序。对应的，所述窗口监控模块310可通过所述驱动程序监控多屏发起终端的活动窗口，若检测到窗口画面、窗口尺寸、窗口位置中至少一项发生变化，则判断为发生窗口切换。
[0113]需要说明的是，上述示例的各实现多屏互动的装置的实施方式中，各模块/单元之间的信息交互、执行过程等内容，由于与本发明前述方法实施例基于同一构思，其带来的技术效果与本发明前述方法实施例相同，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
[0114]此外，上述示例的各实现多屏互动的装置的实施方式中，各功能模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的功能模块完成，即将所述实现多屏互动的装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。其中各功能模既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
[0115]本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，作为独立的产品销售或使用。所述程序在执行时，可执行如上述各方法的实施例的全部或部分步骤。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
[0116]在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
[0117]以上所述实施例仅表达了本发明的几种实施方式，不能理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
【主权项】
1.一种实现多屏互动的方法，其特征在于，包括: 接收多屏发起终端发送的窗口截图信息，所述窗口截图信息包括窗口图像、以及所述窗口图像对应的窗口位置信息和时间戳； 根据窗口位置信息和时间戳将接收到的多路窗口图像绘制到缓存，得到对应的合成显示画面，所述合成显示画面中多路窗口图像以分层形式呈现； 向对应的显示设备发送所述合成显示画面，以在所述显示设备端显示所述合成显示画面。2.如权利要求1所述的实现多屏互动的方法，其特征在于，所述根据窗口位置信息和时间戳将接收到的多路窗口图像绘制到缓存，得到对应的合成显示画面，包括: 提取接收到的每路窗口截图信息包含的窗口图像、窗口位置信息和时间戳，根据时间戳由近到远的顺序对多路窗口图像进行排序，使其中时间戳越近的窗口图像排序越前； 根据窗口位置信息以及排序前后依次绘制各路窗口图像到缓存，得到对应的合成显示画面，其中，排序最前的窗口图像呈现在所述合成显示画面的最顶层。3.如权利要求2所述的实现多屏互动的方法，其特征在于，所述根据窗口位置信息以及排序前后依次绘制各路窗口图像到缓存，得到对应的合成显示画面，包括: 解码每路窗口图像，得到对应的图像数据;根据排序前后、窗口位置信息以及所述图像数据依次绘制各路窗口图像到缓存，得到对应的合成显示画面。4.如权利要求1所述的实现多屏互动的方法，其特征在于，所述向对应的显示设备发送所述合成显示画面，包括: 将所述合成显示画面存储到预设的显示队列中，依次发送所述显示队列中的合成显示画面到对应的显示设备。5.如权利要求1所述的实现多屏互动的方法，其特征在于，所述窗口位置信息包括:对应的多屏发起终端的屏幕分辨率，以及被截图的窗口在多屏发起终端屏幕中的位置坐标。6.一种实现多屏互动的方法，其特征在于，包括: 监控多屏发起终端的活动窗口，根据窗口画面、窗口尺寸及窗口位置判断是否发生窗口切换； 确定发生窗口切换，对当前活动窗口进行截图，得到对应的窗口图像;并记录截图的时间信息，作为所述窗口图像对应的时间戳，获取当前活动窗口在多屏发起终端屏幕中的位置信息，作为所述窗口图像对应的窗口位置信息； 向对应的混合设备发送所述多屏发起终端的窗口截图信息，所述窗口截图信息包括窗口图像、对应的窗口位置信息以及时间戳。7.如权利要求6所述的实现多屏互动的方法，其特征在于，所述向对应的混合设备发送所述多屏发起终端的窗口截图信息，之前包括: 对得到的窗口图像进行图像编码，所述窗口截图信息中包含编码后的窗口图像信息。8.如权利要求6所述的实现多屏互动的方法，其特征在于，还包括:建立多屏发起终端与混合设备之间的连接，以及在连接建立之后，在所述多屏发起终端的系统中安装与所述混合设备对应的驱动程序； 所述监控多屏发起终端的活动窗口，根据活动窗口画面、窗口尺寸及窗口位置判断是否发生窗口切换，包括: 通过所述驱动程序监控多屏发起终端的活动窗口，若检测到窗口画面、窗口尺寸、窗口位置中至少一项发生变化，则判断为发生窗口切换。9.如权利要求6所述的实现多屏互动的方法，其特征在于，所述获取当前活动窗口在多屏发起终端屏幕中的位置信息，包括: 获取多屏发起终端的屏幕分辨率，以及当前活动窗口在多屏发起终端屏幕中的位置坐标。10.一种实现多屏互动的装置，其特征在于，包括: 图像接收模块，用于接收多屏发起终端发送的窗口截图信息，所述窗口截图信息包括窗口图像、以及所述窗口图像对应的窗口位置信息和时间戳； 图像混合模块，用于根据窗口位置信息和时间戳将接收到的多路窗口图像绘制到缓存，得到对应的合成显示画面，所述合成显示画面中多路窗口图像以分层形式呈现； 发送模块，用于向对应的显示设备发送所述合成显示画面，以在所述显示设备端显示所述合成显示画面。11.如权利要求10所述的实现多屏互动的装置，其特征在于，所述图像混合模块包括: 信息提取子模块，用于提取接收到的每路窗口截图信息包含的窗口图像、窗口位置信息和时间戳； 排序子模块，用于根据时间戳由近到远的顺序对多路窗口图像进行排序，使其中时间戳越近的窗口图像排序越前； 混合子模块，用于根据窗口位置信息以及排序前后依次绘制各路窗口图像到缓存，得到对应的合成显示画面，其中，排序最前的窗口图像呈现在所述合成显示画面的最顶层。12.一种实现多屏互动的装置，其特征在于，包括: 窗口监控模块，用于监控多屏发起终端的活动窗口，根据窗口画面、窗口尺寸及窗口位置判断是否发生窗口切换； 窗口截图模块，用于确定发生窗口切换，对当前活动窗口进行截图，得到对应的窗口图像；以及用于记录截图的时间信息，作为所述窗口图像对应的时间戳；以及用于获取当前活动窗口在多屏发起终端屏幕中的位置信息，作为所述窗口图像对应的窗口位置信息； 截图发送模块，用于向对应的混合设备发送所述多屏发起终端的窗口截图信息，所述窗口截图信息包括窗口图像、对应的窗口位置信息以及时间戳。13.如权利要求12所述的实现多屏互动的装置，其特征在于，还包括:连接模块，用于建立多屏发起终端与混合设备之间的连接，以及在连接建立之后，在所述多屏发起终端的系统中安装与所述混合设备对应的驱动程序； 所述窗口监控模块，用于通过所述驱动程序监控多屏发起终端的活动窗口，若检测到窗口画面、窗口尺寸、窗口位置中至少一项发生变化，则判断为发生窗口切换。
【文档编号】G06F3/14GK105892976SQ201610287193
【公开日】2016年8月24日
【申请日】2016年4月29日
【发明人】张奎
【申请人】广州视睿电子科技有限公司