计算设备的浏览器与移动终端的屏幕同步的制作方法

计算设备的浏览器与移动终端的屏幕同步的制作方法
【专利摘要】本发明公开了一种屏幕同步设备。该屏幕同步设备驻留在移动终端中，该移动终端能够通过服务器与计算设备相连。该屏幕同步设备包括：连接管理装置，适于接收来自所述计算设备的浏览器的屏幕同步请求消息，并且将所述截屏图片的web地址发送给浏览器；和图像处理装置，适于以预定周期截取屏幕并保存。其中，所述图像处理装置还适于根据屏幕同步请求中的参数设置截屏图片分辨率和/或保存格式。本发明还公开了一种驻留在计算设备的浏览器中的屏幕同步设备、移动终端执行的屏幕同步方法、计算设备的浏览器执行的屏幕方法。
【专利说明】计算设备的浏览器与移动终端的屏幕同步

【技术领域】
[0001] 本发明涉及数据通讯领域，尤其涉及移动终端与计算设备浏览器进行通信的领 域。

【背景技术】
[0002] 随着用户对于诸如智能手机、平板电脑等移动终端的使用频率正在日益提高，甚 至在很多场合超过了传统的桌面电脑（PC)和笔记本电脑。移动终端的计算性能和存储空 间也在快速增长，从而允许安装和运行大量应用以及进而产生大量数据。例如，一部智能手 机经过用户一段时间的使用，往往会存储有上千兆字节的图片、音频、视频、应用、文档、通 信录、短消息等数据。
[0003] 尽管用户可以在手机上对这些数据进行诸如浏览、复制、删除等操作，然而如果 用户位于大屏幕计算设备（如PC、笔记本电脑和智能电视）前，他可能更希望通过大屏幕 计算设备来进行这些操作。这样做的一个原因是大屏幕计算设备具有更强大的I/O设备 (如大显示屏、鼠标、全尺寸键盘），可以提高操作效率；另一个原因是与移动终端上运行的 Android、IOS操作系统和应用相比，大屏幕计算设备运行的诸如Windows、MAC OS等操作系 统和应用往往能提供更强大多样的功能。
[0004] 目前已经有一些软件提供大屏幕计算设备对移动终端的数据管理功能。典型的例 子是苹果公司的iTunes以及各种手机助手。用户在运行诸如Windows、MAC OS等操作系统 的传统电脑上安装移动终端数据管理软件，将移动终端通过诸如USB等线缆连接到大屏幕 计算设备，移动终端数据管理软件读取移动终端中的各种数据，并允许用户进行相应的管 理操作。然而，这对用户来说使用并不方便。即使有一些软件支持移动终端通过无线局域 网连接到大屏幕计算设备，但用户仍需要在大屏幕计算设备上预先安装移动终端数据管理 软件。预先安装软件不仅是繁琐和耗时的，而且在一些情况下难以实现。例如，企业内部的 计算设备可能出于安全考虑限制了软件的安装权限，或者，像智能电视这样的大屏幕计算 设备并不使用Windows、MAC OS操作系统，可能没有可用的移动终端数据管理软件。
[0005] 因此，用户希望能更用简单快捷的方式在大屏幕计算设备上管理移动终端的数 据。此外，希望能够将移动终端屏幕上显示的内容方便地在计算设备的屏幕上同步显示，以 便进行诸如幻灯片演示、照片演示等。


【发明内容】

[0006] 为此，本发明提供一种新的方案以力图解决或者至少缓解上面存在的至少一个问 题。
[0007] 根据本发明的一个方面，提供一种屏幕同步设备。该屏幕同步设备驻留在移动终 端中，该移动终端能够通过服务器与计算设备相连。该屏幕同步设备包括：连接管理装置， 适于接收来自所述计算设备的浏览器的屏幕同步请求消息，并且将所述截屏图片的web地 址发送给浏览器；和图像处理装置，适于以预定周期截取屏幕并保存。其中，所述图像处理 装置还适于根据屏幕同步请求中的参数设置截屏图片分辨率和/或保存格式。
[0008] 连接管理装置还可以适于通过所述服务器向所述计算设备的浏览器发送直连通 信邀请消息，该消息包含有移动终端的直连通信地址。屏幕同步设备还可以包括：消息处理 装置，适于判断是否接收到来自浏览器的访问请求消息；和web服务器。连接管理装置还可 以适于当接收到访问请求消息时通过服务器向浏览器发送直连通信响应消息，进入直连通 信模式，启动web服务器。
[0009] 连接管理装置还可以适于在直连通信模式下，向浏览器发送包含该截屏图片的 web地址的通知消息，该web地址指示该截屏图片在移动终端的web服务器中的web地址， 以便浏览器在直连模式下从该web地址下载该截屏图片。
[0010] 连接管理装置还可以适于当未接收到直连通信响应消息时处于非直连通信模式。 连接管理装置还可以适于在非直连通信模式下，将该截屏图片上传到服务器，以便计算设 备的浏览器从服务器下载该截屏图片。
[0011] 根据本发明的另一方面，提供一种屏幕同步方法。该方法在移动终端中执行，该移 动终端能够通过服务器与计算设备相连。该屏幕同步方法包括：接收由所述计算设备的浏 览器发出的屏幕同步请求消息；以预定周期截取屏幕图片；根据屏幕同步请求消息中的参 数设置截屏图片的分辨率和/或保存格式；以及将所述截屏图片的web地址发送给所述计 算设备，以便其下载和显示截屏图片。
[0012] 屏幕同步方法还可以包括：通过所述服务器向所述计算设备的浏览器发送直连通 信邀请消息，该消息包含有移动终端的直连通信地址；判断是否接收到来自浏览器的访问 请求消息；和如果接收到访问请求消息，则通过服务器向浏览器发送直连通信响应消息，进 入直连通信模式，启动web服务器。
[0013] 将所述截屏图片的web地址发送给所述计算设备的步骤可以包括：在直连通信模 式下，向浏览器发送包含该截屏图片的web地址的通知消息，该web地址指示该截屏图片在 移动终端的web服务器中的web地址，以便浏览器在直连模式下从该web地址下载该截屏 图片。该屏幕同步方法还可以包括：如果未接收到直连通信响应消息，则处于非直连通信模 式。将所述截屏图片的web地址发送给所述计算设备的步骤还可以包括：在非直连通信模 式下，将该截屏图片上传到服务器，以便计算设备的浏览器从服务器下载该截屏图片。
[0014] 根据本发明的另一方面，提供一种屏幕同步设备。该屏幕计算设备驻留在计算设 备的浏览器中，计算设备能够通过服务器与移动终端相连。该屏幕同步设备包括：连接管理 装置，适于响应用户输入，向所述移动终端发送屏幕同步请求消息，接收来自所述移动终端 的截屏图片的web地址，以及从web地址下载所述截屏图片；以及界面显示装置，适于在计 算设备的屏幕上显示截屏图片。
[0015] 连接管理装置还可以适于通过服务器接收来自移动终端的直连通信邀请消息，该 消息包含有移动终端的直连通信地址。连接管理装置还可以适于向该直连通信地址发送访 问请求消息，如果通过服务器接收到来自移动终端的直连通信响应消息，则进入直连通信 模式。
[0016] 连接管理装置还可以适于如果未接收到直连通信响应消息，则处于非直连通信模 式。
[0017] 根据本发明的另一方面，提供一种屏幕同步方法。所述方法在计算设备的浏览器 中执行，所述计算设备能够通过服务器与移动终端相连。该屏幕同步方法可以包括：响应 于用户输入，向所述移动终端发送屏幕同步请求消息；以及接收所述移动终端截屏图片的 web地址；从web地址下载并显示所述截屏图片。
[0018] 屏幕同步方法还可以包括：通过服务器接收来自移动终端的直连通信邀请消息， 该消息包含有移动终端的直连通信地址；向该直连通信地址发送访问请求消息；如果通过 服务器接收到来自移动终端的直连通信响应消息，则进入直连通信模式。屏幕同步方法还 可以包括如果未接收到直连通信响应消息，则处于非直连通信模式。
[0019] 根据本发明的另一方面，提供一种包括上述屏幕同步设备的移动终端。
[0020] 根据本发明的另一方面，提供一种安装有浏览器的计算设备，包括上述屏幕同步 设备。

【专利附图】

【附图说明】
[0021] 为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方 面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面 旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述 以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的 部件或元素。
[0022] 图1示出了一个移动终端100的结构框图；
[0023] 图2示出了根据本发明一个实施例的利用大屏幕计算设备的浏览器管理移动终 端文件的系统200 ;
[0024] 图3A示出了根据本发明一个实施例的利用大屏幕计算设备的浏览器管理移动终 端文件的系统200在建立连接如移动终端的界面不意图；
[0025] 图3B示出了根据本发明一个实施例的计算设备的浏览器显示二维码的界面示意 图；
[0026] 图3C示出了根据本发明一个实施例的利用大屏幕计算设备的浏览器管理移动终 端文件的系统200建立通道后计算设备的浏览器的界面示意图；
[0027] 图4示出根据本发明一个实施例的移动终端执行的屏幕同步方法400的流程图；
[0028] 图5示出根据本发明一个实施例的计算设备的浏览器执行的屏幕同步方法500的 流程图；
[0029] 图6示出根据本发明一个实施例的移动终端中的屏幕同步设备600的流程图；
[0030] 图7示出根据本发明一个实施例的计算设备的浏览器中的屏幕同步设备700的流 程图。

【具体实施方式】
[0031] 下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开 的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例 所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围 完整的传达给本领域的技术人员。
[0032] 图1是移动终端100的结构框图。移动终端100可以包括存储器接口 102、一个或 多个数据处理器、图像处理器和/或中央处理单元104,以及外围接口 106。
[0033] 存储器接口 102、一个或多个处理器104和/或外围接口 106既可以是分立元件， 也可以集成在一个或多个集成电路中。在移动终端1〇〇中，各种元件可以通过一条或多条 通信总线或信号线来耦合。传感器、设备和子系统可以耦合到外围接口 106,以便帮助实现 多种功能。
[0034] 例如，运动传感器110、光传感器112和距离传感器114可以耦合到外围接口 106， 以方便定向、照明和测距等功能。其他传感器116同样可以与外围接口 106相连，例如定位 系统（例如GPS接收机）、温度传感器、生物测定传感器或其他感测设备，由此可以帮助实施 相关的功能。
[0035] 相机子系统120和光学传感器122可以用于方便诸如记录照片和视频剪辑的相机 功能的实现，其中所述相机子系统和光学传感器例如可以是电荷耦合器件（CCD)或互补金 属氧化物半导体（CMOS)光学传感器。可以通过一个或多个无线通信子系统124来帮助实 现通信功能，其中无线通信子系统可以包括射频接收机和发射机和/或光（例如红外）接 收机和发射机。无线通信子系统124的特定设计和实施方式可以取决于移动终端100所支 持的一个或多个通信网络。例如，移动终端100可以包括被设计成支持GSM网络、GPRS网 络、EDGE网络、Wi-Fi或WiMax网络以及Bluebooth?网络的通信子系统124。
[0036] 音频子系统126可以与扬声器128以及麦克风130相耦合，以便帮助实施启用语 音的功能，例如语音识别、语音复制、数字记录和电话功能。I/O子系统140可以包括触摸 屏控制器142和/或一个或多个其他输入控制器144。触摸屏控制器142可以耦合到触摸 屏146。举例来说，该触摸屏146和触摸屏控制器142可以使用多种触摸感测技术中的任何 一种来检测与之进行的接触和移动或是暂停，其中感测技术包括但不局限于电容性、电阻 性、红外和表面声波技术。一个或多个其他输入控制器144可以稱合到其他输入/控制设 备148,例如一个或多个按钮、摇杆开关、拇指旋轮、红外端口、USB端口、和/或指示笔之类 的指点设备。所述一个或多个按钮（未显示）可以包括用于控制扬声器128和/或麦克风 130音量的向上/向下按钮。
[0037] 存储器接口 102可以与存储器150相耦合。该存储器150可以包括高速随机存取 存储器和/或非易失性存储器，例如一个或多个磁盘存储设备，一个或多个光学存储设备， 和/或闪存存储器（例如NAND，N0R)。存储器150可以存储操作系统172,例如Android、 IOS或是Windows Phone之类的操作系统。该操作系统172可以包括用于处理基本系统服 务以及执行依赖于硬件的任务的指令。存储器150还可以存储应用174。在移动设备运行 时，会从存储器150中加载操作系统172,并且由处理器104执行。应用174在运行时，也会 从存储器150中加载，并由处理器104执行。应用174运行在操作系统之上，利用操作系统 以及底层硬件提供的接口实现各种用户期望的功能，如即时通信、网页浏览、图片管理等。 应用174可以是独立于操作系统172提供的，也可以是操作系统172自带的。
[0038] 在上述各种应用174中，其中的一种应用为根据本发明的能够支持移动终端文件 管理的客户端应用，用户能够通过大屏幕计算设备上的浏览器与移动终端的客户端应用通 信并管理移动终端的文件。
[0039] 图2示出了根据本发明一个实施例的利用大屏幕计算设备的浏览器管理移动终 端文件的系统200。该系统200包括移动终端210、服务器220和计算设备230。移动终端 210上安装有支持移动终端文件管理的客户端应用212,并且存储有各种文件，如照片、音 频、视频、文档（如Word、PDF等格式的文档）。应用客户端212可以运行在诸如安卓、IOS 等操作系统上。服务器220例如可以是物理上位于一个或多个地点的远程云服务器。计算 设备230例如可以包括个人计算机（PC)、笔记本电脑、智能电视等具有相对较大屏幕的计 算设备。计算设备230上安装有浏览器232,例如IE、Chrome和Firefox浏览器。浏览器 232可以运行在诸如Windows、Mac等操作系统上。
[0040] 浏览器232首先接收用户在浏览器地址栏输入的地址，例如是域名WWW. weline. cc，其对应于服务器220的IP地址。浏览器根据该地址访问服务器220,具体操作包括例 如查询DNS获得返回的IP地址，建立TCP连接，向服务器发送HTTP request请求，这里不 再累述。在接收到来自浏览器232的访问请求后，服务器220分配第一会话标识（Session ID)和通道标识（Channel ID)。服务器220生成与通道标识对应的邀请地址（inviteurl)， 调用二维码转换服务将该地址转换为二维码图形，并且获得该二维码图形的URL地址 (qrcodeurl)。换而言之，该二维码图形所包含的内容为inviteurl。服务器220向浏览器 232返回响应消息（2000K)，该消息中含有二维码图形的URL地址qrcodeurl和第一会话标 识。其中qrcodeurl的示例格式如下：
[0041] qrcodeurl:^qrcode ? content = http://192. 168. 0. 1/invite ? id = 12d345d8z834baef83 9c0〃，
[0042] 服务器220与浏览器232之间建立长连接。浏览器232访问二维码图形的URL地 址qrcodeurl，获取二维码图形并显示，如图3B所示，该图中显示有二维码图片以等待移动 终端扫描二维码。图3A示出了根据本发明一个实施例的利用大屏幕计算设备的浏览器管 理移动终端文件的系统200在建立连接时移动终端的界面示意图，在该界面图中，对用户 的操作进行提示，以建立与服务器的连接。用户可以通过移动终端客户端应用212扫描计 算设备230的浏览器232上显示的二维码图形，从而获得二维码图形的内容，即邀请地址 inviteurl。移动终端客户端应用212访问inviteurl,服务器220向其返回通道标识，同时 返回第二会话标识。服务器通过通道标识可以确定浏览器和移动终端的关系，即移动终端 扫描的是浏览器上显示的二维码。类似于服务器220与浏览器232之间建立连接的过程， 服务器220与客户端应用212之间也建立长连接。服务器220存储有服务器与浏览器之 间长连接的第一会话标识和服务器与客户端应用之间长连接的第二会话标识，这两个会话 标识之间通过通道标识关联，这样通过通道标识来在浏览器与客户端应用之间形成一个通 道，用会话标识来区分与服务器长连接的对象是移动终端客户端应用还是浏览器。换而言 之，在服务器与浏览器之间和服务器与客户端应用之间分别建立了两个长连接，服务器定 期向浏览器和客户端应用发送心跳消息。这两个长连接通过同一个信道标识关联形成一个 通道，客户端应用发送的信令或数据通过该通道经由服务器而推送到浏览器。
[0043] 在建立通道之后，移动终端的客户端应用212将移动终端的统计信息，如移动终 端的型号、系统版本、存储空间、所存储的联系人、短消息、各类文件的数量等，通过通道发 送给浏览器232,具体地说，这些信息由客户端应用212例如通过post方式通过第二会话 连接发送给服务器220,服务器220根据通道标识找到关联的第一会话连接，并且通过第一 会话连接将信息发送给浏览器232。浏览器232显示相应的移动终端统计信息，图3C示出 了根据本发明一个实施例的利用大屏幕计算设备的浏览器管理移动终端文件的系统200 建立连接后计算设备的浏览器的界面示意图，建立包括各种文件分类的主目录，例如图片 主目录、音频主目录等，而在如果进入例如图片主目录下时，会显示多个图片缩略图等。用 户可以在大屏幕的计算设备的浏览器上查看移动终端的信息，并且使用计算设备的输入设 备（如鼠标，键盘）方便地进行各种对文件的操作，如从移动终端获取文件、浏览、删除文件 等。通过在移动终端与计算设备的浏览器之间建立经由服务器的通道，只需利用计算设备 上已有的浏览器即可实现对移动终端的管理，而不需要在计算设备上预先安装软件，不仅 节省了用户的时间，也节省了软件开发者的工作。而且，利用浏览器管理移动终端的方案尤 其适合计算设备软件的安装权限受限或者缺少可用的移动终端数据管理软件的情况。
[0044] 在计算设备的浏览器与移动终端的客户端应用通过服务器建立连接后，当服务器 通过第二会话接收到来自客户端应用的消息或数据时，服务器根据通道标识查找与第二会 话标识关联的第一会话标识，将该消息或数据通过第一会话发送到计算设备的浏览器。由 于这种传输经过服务器中转，因此称为非直连通信模式。本发明还提出了一种不经服务器 中转的数据传输模式，即直连通信模式。在直连模式下，计算设备的浏览器与移动终端的客 户端应用之间的数据传输可以通过它们之间的直接连接进行，而不需要服务器中转，从而 提高传输速度并可能节省流量和费用。以下将描述直连通信模式的建立过程。
[0045] 首先，移动终端的客户端应用通过服务器已建立的通道，即第一会话和第二会话， 向计算设备的浏览器发送包含移动终端直连通信地址的直连通信邀请消息。消息的示例格 式如下：
[0046]

【权利要求】
1. 一种屏幕同步设备，该屏幕同步设备驻留在移动终端中，该移动终端能够通过服务 器与计算设备相连，该屏幕同步设备包括： 连接管理装置，适于接收来自所述计算设备的浏览器的屏幕同步请求消息，并且将所 述截屏图片的web地址发送给浏览器；和 图像处理装置，适于以预定周期截取屏幕并保存； 其中，所述图像处理装置还适于根据屏幕同步请求中的参数设置截屏图片分辨率和/ 或保存格式。
2. 如权利要求1所述的屏幕同步设备，其中： 所述连接管理装置还适于通过所述服务器向所述计算设备的浏览器发送直连通信邀 请消息，该消息包含有移动终端的直连通信地址， 所述屏幕同步设备还包括： 消息处理装置，适于判断是否接收到来自浏览器的访问请求消息；和web服务器， 其中连接管理装置还适于当接收到访问请求消息时通过服务器向浏览器发送直连通 信响应消息，进入直连通信模式，启动web服务器。
3. 如权利要求2所述的屏幕同步设备，所述连接管理装置还适于在直连通信模式下， 向浏览器发送包含该截屏图片的web地址的通知消息，该web地址指示该截屏图片在移动 终端的web服务器中的web地址，以便浏览器在直连模式下从该web地址下载该截屏图片。
4. 如权利要求2所述的屏幕同步设备，其中连接管理装置还适于当未接收到直连通信 响应消息时处于非直连通信模式。
5. 如权利要求4所述的屏幕同步设备，所述连接管理装置还适于在非直连通信模式 下，将该截屏图片上传到服务器，以便计算设备的浏览器从服务器下载该截屏图片。
6. 如权利要求1-5所述的屏幕同步设备，其中所述预定周期的范围被设置在0. 5?2 秒之间；以及 所述截屏图片的保存格式为JPEG格式。
7. -种屏幕同步方法，所述方法在移动终端中执行，该移动终端能够通过服务器与计 算设备相连，该屏幕同步方法包括： 接收由所述计算设备的浏览器发出的屏幕同步请求消息； 以预定周期截取屏幕图片； 根据屏幕同步请求消息中的参数设置截屏图片的分辨率和/或保存格式；以及 将所述截屏图片的web地址发送给所述计算设备，以便其下载和显示截屏图片。
8. -种屏幕同步设备，所述设备驻留在计算设备的浏览器中，所述计算设备能够通过 服务器与移动终端相连，该屏幕同步设备包括： 连接管理装置，适于响应用户输入，向所述移动终端发送屏幕同步请求消息，接收来自 所述移动终端的截屏图片的web地址，以及从web地址下载所述截屏图片；以及 界面显示装置，适于在计算设备的屏幕上显示截屏图片。
9. 一种屏幕同步方法，所述方法在计算设备的浏览器中执行，所述计算设备能够通过 服务器与移动终端相连，该屏幕同步方法包括： 响应于用户输入，向所述移动终端发送屏幕同步请求消息； 接收所述移动终端截屏图片的web地址；以及 从web地址下载并显示所述截屏图片。
10. -种移动终端，包括如权利要求1-6中任一项所述的屏幕同步设备。
【文档编号】G06F17/30GK104376090SQ201410669601
【公开日】2015年2月25日 申请日期:2014年11月20日 优先权日:2014年11月20日
【发明者】姜天鹏 申请人:北京安奇智联科技有限公司