一种智能设备屏幕共享与远程控制的方法
【专利摘要】本发明属于屏幕共享应用领域，提供一种智能设备屏幕共享与远程控制的方法，该方法包括设备发现、设备的连接以及格式的协商、远程遥控等步骤。本发明方法能够实现各设备连接方式兼容，传输画面流畅，并能同时满足远程控制的要求。
【专利说明】一种智能设备屏幕共享与远程控制的方法
【技术领域】
[0001] 本发明属于屏幕共享应用领域，特别涉及一种智能设备屏幕共享与远程控制的方 法。
【背景技术】
[0002] 汽车导航使人们的出行更加方便，但是导航地图不能及时升级更新也带来了极大 的困扰，把手机、平板电脑等移动设备中的导航投射到车载系统显示那么就可以很好的解 决这个问题；车载系统的娱乐功能以及网路功能都不完善，把手机、平板电脑中的娱乐应用 投射到车载系统中，那么就可以使用车载系统体验与智能手机一样的娱乐享受；智能电视 的出现方便了人们观看视频的步骤，可以直接使用智能电视搜索感兴趣的视频，但是匹配 智能电视应用的匮乏以及电视遥控器的不人性化操作给智能电视的体验也带来了极大的 影响，把智能手机的屏幕投射到电视端显示，在手机端操作的方式可以让智能电视带来更 棒的操作体验；屏幕共享的实现会让人们的生活更加统一，更加精彩，人们可以只需要一部 智能手机，在智能电视上享受手机内的娱乐，在车载上享受手机的导航...目前已经存在 了一些屏幕共享的方案，但是大多效果达不到正常体验的需求，有的不能实现兼容其他设 备。
[0003] 目前屏幕共享技术，简单介绍以及优缺点分析如下： 1) Miracast 技术： Miracast 是 Wi-Fi Alliance 于 2012 年 9 月 19 日宣布启动的 Wi-Fi CERTIFIED Miracast ?认证项目。Miracast设备提供简化发现和设置，用户可以迅速在设备间传输 视频。Miracast建立在其他几项Wi-Fi联盟所发展的基础技术之上，包括无线传输技术 802. lln(兼容于未来其他传输规格如802. llac)、点对点连接技术的Wi-Fi Direct与 TDLS (Tunneled DirectLink Setup)、安全性方面的 WPA2 (Wi-Fi Protected Access 2) 加密、提供服务质量（QoS)及流量管理的WMM(Wi-Fi Multimedia)技术、省电相关机制的 WMM Power Save技术，以及方便用户配置网络的WPS(Wi_Fi Protected Setup)技术，支持 HDCP2. 0。
[0004] 在Miracast规格中，将设备分为两类，一类称为传送端（Source)，另一类称为接 收端（Sink)。接收端又分为主接收端（Primary Sink)及次接收端（Secondary Sink),差 别在于主接收端能支持影像或声音的数据输出；而次接收端只支持声音的数据输出，这样 的区别是由于Miracast提出配对接收端（Coupled Sink)的操作架构，使用者可选择将影 音分流至不同设备并同时呈现影音信息。
[0005] Miracast技术着力与多媒体数据的共享，没有提供设备远程操作和控制的功能。 依赖点对点连接技术，主要应用与局域网内。市面上已有的Miracast设备普遍存在卡顿， 延迟等不流畅的现象。
[0006] 2)DLNA 技术： DLNA(Digital Living Network Alliance)由索尼、英特尔、微软等发起成立、旨在解 决个人PC，消费电器，移动设备在内的无线网络和有线网络的互联互通，使得数字媒体和内 容服务的无限制的共享和增长成为可能，目前成员公司已达280多家。DLNA并不是创造技 术，而是形成一种解决的方案，一种大家可以遵守的规范。所以，其选择的各种技术和协议 都是目前所应用很广泛的技术和协议。
[0007] 支持 Ethernet (IEEE803. 3u)与 Wi-Fi (802. 11 a/b/g)，采用 UPnP 标准在各设备 之间的相互侦测。而在媒体内容的发现方面，也同样是采用UPnP机制。支持HTTP标准协 议，和 RTP(Real-time Transport Protocol)传输协议。
[0008] DLNA使用时不需要复杂的设置和驱动的安装工作，即可完成多媒体文件内容的共 享。但是它不支持点对点连接技术，不能镜像一个设备的屏幕到另外一个显示设备。
[0009] 3) AirPlay ： AirPlay是苹果公司的在iOS4. 2及OS X Mountain Lion中加入的一种播放技术，可以 将iPhone、iPod touch、iPad及Mac (需要OS X Mountain Lion)上的视频镜像传送到支 持Airplay的设备(如：音箱、Apple TV)中播放。使用Airplay需要iOS4. 2版本的设备或 Mac电脑上的iTuneslO. 1以上版本。视频镜像则需要iOS 5及OS X Mountain Lion。
[0010] AirPlay是苹果公司独家的技术。依赖wifi局域网环境，不支持点对点连接技术， 支持屏幕镜像方式共享，不支持远程设备镜像方式操作控制。
[0011] 4)ffiDi ： WiDi (Intel Wireless Display)全称为无线高清技术，它是通过WiFi信号来实现电脑 和显示设备的无线连接。必须使用在Intel的芯片平台上。同时要求使用Windows 7以上 操作系统，目前不支持移动设备，需要在电脑上安装专用的软件才能使用。
[0012] 它能够传输1080P视频，保持60ms的信号延迟，有更低的屏幕刷新功耗，全面兼容 Wi-Fi Aliancn Miracast协议，支持多任务(共享视频时，可以操作其他软件)，与APPS实时 互动等功能。
[0013] 5)WHDI ： WHDI由领先的消费电子厂商组成的一家协会，旨在为采用无线家庭数字接口（WHDI?) 技术的室内和多房间音频、视频和控制连接开发一项全面的新行业标准。新标准的目标是 保证不同厂商制造的消费电子设备能够简便直接地实现互连。
[0014] 它提供了一个高品质，无压缩的无线连接方式，使用5G频段，高达3Gbps的传送速 率传输1080p的无损视频数据，支持7. 1声道，传输距离达到30M，可穿墙，支持HDCP2. 0。但 是它只支持点对点的传输，需要硬件设备支持协议，适用范围不如wifi技术。
【发明内容】
[0015] 本发明就是针对上述现有技术中的不足之处，而提出的一种智能设备屏幕共享与 远程控制的方法，能够实现各设备连接方式兼容，传输画面流畅，并能同时满足远程控制的 要求。
[0016] 本发明的目的是通过如下技术措施来实现的。
[0017] 一种智能设备屏幕共享与远程控制的方法，该方法包括以下步骤： (一）设备发现 (1)在有路由器的条件下，有线方式或者无线方式接入局域网，确认网络连接正常，可 以通过发送广播的形式来发现和探索其他设备，在收到其他设备的发现和探索请求时，对 该请求进行回复来完成设备的发现功能。
[0018] (2)在没有路由器的条件下，可以使用wifi p2p的方式连接两台设备，通过发送广 播的方式来发现和探索其他设备，在收到其他设备的发现和探索请求时，对该请求予以回 复来完成设备的发现功能。
[0019] (二）设备的连接以及格式的协商 在设备连接后进行屏幕共享时，一端设备负责获取屏幕数据，经过一定的处理把数据 发出去，该端设备称作source端；另一端设备负责接收数据，把接收的数据经过处理进行 播放，该端设备称作sink端。
[0020] (1)在发现设备的列表中，可以选择一个设备发送连接请求，在连接请求中写明请 求对方发送数据还是请求对方接收数据，即自己作为屏幕共享中source端还是sink端。
[0021] (2)被请求设备接收到连接请求后，根据设备当前的状态回复接受连接或者拒绝 连接。
[0022] (3)发起连接请求设备收到对方拒绝连接的回复时，断开连接并提示错误。发起连 接请求设备收到对方接受连接的回复时，确认本设备以及对方设备在屏幕共享中角色，即 source端还是sink端。
[0023] (4) source端发起请求，获取sink端支持的格式。
[0024] (5) sink端收到source端获取支持格式的请求时，根据本设备的能力，回复其支 持的格式，例如视频可支持原始数据，H264编码格式数据，音频支持MP3格式数据等信息。
[0025] (6)source端接收到sink端回复的支持格式后，根据本设备的特点选择一个合适 的格式，并把选择的格式发送到sink确认。
[0026] (7) sink端在接收到source端发送的格式确认请求后，检查source端选择的格 式是否支持，如果不支持，返回不支持回复，断开连接；如果支持，返回支持回复。
[0027] (8) source端收到支持回复后，请求sink设备准备接收数据并播放。
[0028] (9) sink端设备收到上述请求后，初始化播放器，准备接收数据播放，并返回准备 结果。
[0029] (10Source端收到sink准备成功后，获取本设备屏幕数据，经过处理发送到sink 端。
[0030] (11) sink端接收到source端发来的数据后，经过处理进行播放。
[0031] (三）远程遥控 (1)在设备连接成功后，Sink端采集在屏幕共享过程中用户的操作，例如触摸屏幕等动 作，采集后经过处理及时地发送到source端。
[0032] (2) source端接收到sink端发来的操作信息，把这些操作信息模拟成设备输入， 让设备对这些操作信息做出响应。
[0033] 本发明与传统的屏幕方式相比其优点在于： 1.屏幕共享连接方式兼容，可以使用有线连接，无线连接，wifi P2P连接等方式。
[0034] 2.画面质量与传输延迟平衡设置，可以根据需求设置画面质量优先还是传输延迟 优先。
[0035] 3.远程控制，可以把点击，鼠标，键盘控制信息传到远程设备进行操控。
【专利附图】
【附图说明】
[0036] 图1是本发明的应用场景图。
[0037] 图2是本发明中两台设备进行连接时相互交换信息的流程图。
[0038] 图3为使用Gstreamer框架实现的数据传输管道结构示意图。
【具体实施方式】
[0039] 如图1所示，智能设备通过无线路由器接入同一个局域网或者两台智能设备之间 通过wifi p2p技术连接，都可以通过本发明方法实现屏幕共享以及远程控制功能。下面结 合附图及实施例对本发明作进一步的描述。
[0040] 一探索目标设备 在智能设备接入同一个局域网的前提下，通过广播的方式来实现探索设备，在广播包 中包含目标设备的功能(输入设备即作为Sink端或者输出设备即作为source端)，在当前 局域网内的满足条件设备会对该广播请求予以响应，具体过程如下： (1)为了达到探测设备的目的，需要协商好端口才能保证目标设备可以接收到探测请 求，同时为了防止某个端口被占用导致无法接收请求的情况，此处定义三个用于设备探测 使用的端口 ：7294,9168,12369。
[0041] (2)智能设备选择局域网内可见(可以被其他设备探测）时，选择一个上述广播端 口中可用的一个端口进行监听，收到数据时，通过验证其数据包头确认是否是探测请求，如 果是探测设备请求，那么获取数据包内探测设备属性(输入设备或者输出设备)，通过与本 设备属性对比确认是否对其请求予以响应，设备探测请求包格式参见表1。
[0042] (3)智能设备调用扫描设备功能(指定输出设备或者输出设备）时，首先根据探测 设备属性创建探测请求包，然后分别向三个广播端口发出该请求包。在收到响应时，首先检 查响应数据包头，确认其是否是探测响应包，如果是探测响应包，那么记录该设备的IP地 址以及端口供以后通信使用，设备探测请求/响应包格式参见表1。
【权利要求】
1. 一种智能设备屏幕共享与远程控制的方法，其特征在于该方法包括以下步骤： (一） 设备发现 (1) 在有路由器的条件下，有线方式或者无线方式接入局域网，确认网络连接正常，通 过发送广播的形式来发现和探索其他设备，在收到其他设备的发现和探索请求时，对该请 求进行回复来完成设备的发现功能； (2) 在没有路由器的条件下，可以使用wifi p2p的方式连接两台设备，通过发送广播的 方式来发现和探索其他设备，在收到其他设备的发现和探索请求时，对该请求予以回复来 完成设备的发现功能； (二） 设备的连接以及格式的协商 在设备连接后进行屏幕共享时，一端设备负责获取屏幕数据，经过一定的处理把数据 发出去，该端设备称作source端；另一端设备负责接收数据，把接收的数据经过处理进行 播放，该端设备称作sink端； (1) 在发现设备的列表中，选择一个设备发送连接请求，在连接请求中写明请求对方发 送数据还是请求对方接收数据，即自己作为屏幕共享中source端还是sink端； (2) 被请求设备接收到连接请求后，根据设备当前的状态回复接受连接或者拒绝连 接； (3) 发起连接请求设备收到对方拒绝连接的回复时，断开连接并提示错误；发起连接 请求设备收到对方接受连接的回复时，确认本设备以及对方设备在屏幕共享中角色，即 source端还是sink端； (4) source端发起请求，获取sink端支持的格式； (5) sink端收到source端获取支持格式的请求时，根据本设备的能力，回复其支持的 格式； (6) source端接收到sink端回复的支持格式后，根据本设备的特点选择一个合适的格 式，并把选择的格式发送到sink确认； (7) sink端在接收到source端发送的格式确认请求后，检查source端选择的格式是 否支持，如果不支持，返回不支持回复，断开连接；如果支持，返回支持回复； (8) source端收到支持回复后，请求sink设备准备接收数据并播放； (9) sink端设备收到上述请求后，初始化播放器，准备接收数据播放，并返回准备结 果； (10) S〇urCe端收到sink准备成功后，获取本设备屏幕数据，经过处理发送到sink端； (11) sink端接收到source端发来的数据后，经过处理进行播放； (三） 远程遥控 (1) 在设备连接成功后，sink端采集在屏幕共享过程中用户的操作，采集后经过处理发 送至丨J source端； (2) source端接收到sink端发来的操作信息，把这些操作信息模拟成设备输入，让设 备对这些操作信息做出响应。
2. 根据权利要求1所述的智能设备屏幕共享与远程控制的方法，其特征在于：在设备 连接之后，屏幕的传输支持多种格式，根据需求选择延迟优先或画面质量优先。
【文档编号】H04N21/422GK104219551SQ201410511118
【公开日】2014年12月17日 申请日期:2014年9月29日 优先权日:2014年9月29日
【发明者】刘汝帅, 徐辛 申请人:武汉诚迈科技有限公司