iOS设备的屏幕镜像投射方法、系统、装置及屏幕录像方法与流程

本发明涉及计算机处理领域，更具体地，涉及一种ios设备的屏幕镜像投射方法、系统、装置及屏幕录像方法。

背景技术：

由于ios的封闭性，ios设备并不提供公开的api获取其屏幕图像，用户无法实现对当前的ios设备的屏幕图像录制。

同时，随着用户直播录像的兴起，占有广大市场的ios设备进行用户进行直播录像的需求旺盛。

技术实现要素：

为解决上述至少一个方面的问题，本发明提出了一种有效地将ios设备的屏幕镜像投射到pc设备上，以最终能对所述屏幕镜像的数据进行有效的加工的ios设备的屏幕镜像投射方法。

同时，本发明还提供了一种ios设备的屏幕镜像投射系统及装置。

此外，本发明还提供了一种基于所述ios设备的屏幕镜像投射方法的屏幕录像方法。

为了实现本发明的目的，采取如下技术方案:

一种ios设备的屏幕镜像投射方法，包括：

基于airplay协议在预先设置好的pc设备上模拟airplayserver端；

接收与所述airplayserver端建立会话的ios设备传输过来的屏幕镜像数据；

对所述屏幕镜像数据进行实时解析，以使得解析后的屏幕镜像数据能将其对应的屏幕镜像显示到所述pc设备上的显示屏。

具体地，所述基于airplay协议在预先设置好的pc设备上模拟airplayserver端的步骤，具体包括：

获取所述airplay协议的关键参数；

根据所述关键参数在pc设备上模拟airplayserver端。

具体地，在获取所述airplay协议的关键参数的步骤之前，还包括：

对基于airpaly协议的数据传输的信息进行抓包；

分析并确定所述airpaly协议的关键参数。

具体地，在接收与所述airplayserver端建立会话的ios设备传输过来的屏幕镜像数据或音视频数据的步骤之前，还包括：

利用bonjour服务将所述airplayserver在其对应的pc设备所在的局域网进行广播。

具体地，所述接收与所述airplayserver端建立会话的ios设备传输过来的屏幕镜像数据的步骤，具体包括：

响应于所述局域网中的ios设备的连接请求；

根据所述连接请求与所述ios设备建立会话；

接收所述ios设备传输过来的屏幕镜像数据。

具体地，所述对所述屏幕镜像数据进行实时解析的步骤，具体包括：

利用已获取到的aes加密其对应的解密数据，对所述屏幕镜像数据进行解密；

对解密后的屏幕镜像数据进行解码。

具体地，所述aes加密其对应的解密数据的获取方式包括：

获取经过aes加密的音视频数据流；

通过反复逆向appletv固件，获取aes加密其所对应的解密数据。

同时，本发明还提供了一种屏幕录像方法，其包括：

获取ios设备利用上述任一技术方案所述的ios设备的屏幕镜像投射方法投射于pc设备上的屏幕镜像数据；

将所述屏幕镜像数据所对应的屏幕镜像呈现于所述pc设备的显示器上；

利用所述pc设备的录屏功能对所述屏幕镜像进行录像。

此外，本发明还提供了一种ios设备的屏幕镜像投射系统，包括：

模拟模块，用于基于airplay协议在预先设置好的pc设备上模拟airplayserver端；

接收模块，用于接收与所述airplayserver端建立会话的ios设备传输过来的屏幕镜像数据；

解析模块，用于对所述屏幕镜像数据进行实时解析，以使得解析后的屏幕镜像数据能将其对应的屏幕镜像显示到所述pc设备上的显示屏。

具体地，所述模拟模块中，具体包括：

获取单元，用于获取所述airplay协议的关键参数；

模拟单元，用于根据所述关键参数在pc设备上模拟airplayserver端。

具体地，所述模拟模块中，还包括：

抓包单元，用于对基于airpaly协议的数据传输的信息进行抓包；

确定单元，用于分析并确定所述airpaly协议的关键参数。

所述接收模块中，还包括：

广播单元，用于利用bonjour服务将所述airplayserver在其对应的pc设备所在的局域网进行广播。

具体地，所述接收模块中，具体包括：

响应单元，用于响应于所述局域网中的ios设备的连接请求；

建立单元，用于根据所述连接请求与所述ios设备建立会话；

接收单元，用于接收所述ios设备传输过来的屏幕镜像数据。

具体地，所述解析模块中，具体包括：

解密单元，用于利用已获取到的aes加密其对应的解密数据，对所述屏幕镜像数据进行解密；

解码单元，用于对解密后的屏幕镜像数据进行解码。

具体地，所述aes加密其对应的解密数据的获取方式包括：

获取经过aes加密的音视频数据流；

通过反复逆向appletv固件，获取aes加密其所对应的解密数据。

最后，本发明还提供了一种装置，其包括：

显示器，用于显示信息编辑界面，实现人机交互；

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行；

所述一个或多个应用程序被配置为用于执行上述任一技术方案所述的ios设备的屏幕镜像投射方法的步骤。

相比现有技术，本发明的方案具有以下优点：

1.本发明的技术方案中，利用airplay协议模拟了airplayserver端，利用ios设备与airplayserver端的通信会话，从而获取了ios设备上的屏幕镜像数据，进而对已加密的屏幕镜像数据解析，最终实现可将所述ios设备上的屏幕镜像数据投射在pc设备上，同时，也有利于利用pc设备上的特有功能对所述屏幕镜像数据进行处理。

2.本发明的技术方案中，获取airplay协议的关键参数，模拟了airplayserver端，有效地建立了ios设备与pc设备之间的通信的桥梁，从而实现将ios设备上的屏幕镜像数据投射到pc设备上。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明中一种ios设备的屏幕镜像投射方法的一种实施例的流程示意图；

图2示出了本发明中一种ios设备的屏幕镜像投射系统的一种实施例的结构示意图；

图3示出了本发明中一种装置的一种实施例的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1，示出了本发明中一种ios设备的屏幕镜像投射方法。

所述ios设备的屏幕镜像投射方法包括步骤s101、步骤s102、步骤s103。其中，

步骤s101.基于airplay协议在预先设置好的pc设备上模拟airplayserver端。

步骤s102.接收与所述airplayserver端建立会话的ios设备传输过来的屏幕镜像数据。

步骤s103.对所述屏幕镜像数据进行实时解析，以使得解析后的屏幕镜像数据能将其对应的屏幕镜像显示到所述pc设备上的显示屏。

所述ios设备的屏幕镜像投射方法能够有效地将ios设备上的屏幕镜像投射pc设备上，将所述屏幕镜像数据加以利用，执行各种各样的图片、音视频加工操作。

airplay协议是apple公司提出的一种基于无线技术的通讯协议。airplay协议并非独立的通讯协议，它是基于一些标准化的网络协议组成，例如multicastdns、http、rtsp和rtp。利用airplay协议，用户可以通过数据连接(如wifi)的方式，将ios设备上的包括：图片、音频、视频以及镜像等数据通过数据连接传输到支持airplay协议的设备上。同时，所述airplay协议还具有镜像功能，可以将iphone、ipad等ios设备上的画面无线传输到其特设备上。当前除了apple公司的pc产品及tv产品外，市场上的其它的pc设备大都不支持airplay协议。

为了能够实现将所述ios设备上的屏幕镜像数据投射到其它的pc设备上，以方便利用所述屏幕镜像数据实现各种图片音视频操作，需要搭建ios设备与pc设备之间会话通信的桥梁。

在本实施例中，所述ios设备与pc设备之间屏幕镜像投射的通讯是基于airplay协议的基础实现的。在pc设备上根据airplay协议模拟airplayserver端，而ios设备则作为airplayclient端与所述pc设备会话连接并进行通信。

具体地，所述步骤s101包括：

获取所述airplay协议的关键参数；

根据所述关键参数在pc设备上模拟airplayserver端。

可以理解的是，airplay协议是apple公司的私有协议，没有开源的数据，因此无法直接根据airplay协议模拟airplayserver端以建立与所述ios设备的通信。但，可间接对基于airplay协议通信过程中的具体内容进行分析，从而获取airplay协议的关键参数，并最终根据所述关键参数在pc设备上模拟airplayserver端。

为了能够有效的获取所述airplay协议的关键参数，本实施例的一种具体的方案中，在步骤s101之前，还包括：

对基于airpaly协议的数据传输的信息进行抓包；

分析并确定所述airpaly协议的关键参数。

例如，ios手机接入wifi后，会从发送端发送广播到接收端。在这个过程中，用抓包工具wireshark设置好端口的相关数据，抓包ios手机发送广播时的数据。wireshark可跟踪设置的端口，所述端口发出去或者接受到的数据包都会在wireshark上面显示出来的。只要是有数据流经过所述端口，wireshark都能收到监控的信息，包括：具体的数据传输过程和使用的协议之类的信息。因此可以分析并确定所述airpaly协议的关键参数。

具体地，步骤s102包括：

响应于所述局域网中的ios设备的连接请求；

根据所述连接请求与所述ios设备建立会话；

接收所述ios设备传输过来的屏幕镜像数据。

在pc设备上根据airplay协议的关键参数模拟好了airplayserver端，在需要将所述ios设备与pc设备建立通话时，ios设备会在当前的局域网中自动搜索并连接上所述pc设备。更准确的说，基于airplay协议，所述ios设备此时作为airplayclient端与模拟的airplayserver端建立会话。在建立会话后，所述ios设备可向airplayserver端传输数据信息，在本实施例中，所述ios设备会向所述airplayserver端传输屏幕镜像数据。

为了能准确、及时地在ios设备和pc设备之间建立会话。在本实施例的一种具体的方案中，在步骤s102之前，还包括：

利用bonjour服务将所述airplayserver在其对应的pc设备所在的局域网进行广播。

bonjour，也称为零配置联网，能自动发现ip网络上的电脑、设备和服务。bonjour使用工业标准的ip协议来允许设备自动发现彼此，而不需输入ip地址或配置dns服务器。

例如，当前的局域网中，存在ios设备a、ios设备b以及pc设备。当所述局域网处于联网状态时，利用bonjour服务将所述pc设备广播，所述ios设备a、所述ios设备b可以自动发现并连接所述pc设备。在设置好一定的参数时，若所述局域网加入了ios设备c，ios设备c在加入所述局域网后，便会与所述pc设备建立会话，方便，快捷。

值得注意的是，在建立ios设备与模拟的airplayserver端的会话后，虽然所述ios设备能够将其屏幕镜像数据传输到所述airplayserver端。但由于所述协议的视频音频流逝经过加密传输的，因此需要获取解密的key,才能有效地将本来只能显示在apple公司的pc设备或appletv的屏幕镜像，也能显示于其他pc设备上。

因此，需要执行所述步骤s103：对所述屏幕镜像数据进行实时解析，以使得解析后的屏幕镜像数据能将其对应的屏幕镜像显示到所述pc设备上的显示屏。

在本发明的步骤s103的更具体的实现过程中，其包括：

利用已获取到的aes加密其对应的解密数据，对所述屏幕镜像数据进行解密；

对解密后的屏幕镜像数据进行解码。

在airplay协议中，所述音视频流的加密方式为aes加密。因此，需要aes加密的解密数据才能有效地解析所述屏幕镜像数据，从而能实现将从ios涉笔获取的屏幕镜像进行投射pc设备的屏幕上。建立会话后，ios设备上的加密的音视频流、屏幕镜像数据通过rtp协议传输到所述airplayserver端。然后利用已获取到的所述解密数据，解密处理输出音频、视频流、屏幕镜像数据等，再将所述解密后的音频、视频流、屏幕镜像数据解码，并可获得原始音视频数据、屏幕镜像数据，最终并对所述原始音视频数据、屏幕镜像数据进行任意处理。

aes加密其对应的解密数据的获取方式包括：

获取经过aes加密的音视频数据流；

通过反复逆向appletv固件，获取aes加密其所对应的解密数据。

在本实施例中，通过获取所述airplay的关键参数，同时模拟server端和client端，并让server端与client端之间进行通讯，获取了经过aes加密的音视频数据或屏幕镜像数据等，通过反复逆向appletv固件，从而有效地推算出解密数据。利用所述解密数据能有效地将所获取的屏幕镜像数据解密，从而得到未加密的编码后的屏幕镜像数据。

综上，本发明的ios设备的屏幕镜像投射方法，利用airplay协议模拟了airplayserver端，利用ios设备与airplayserver端的通信会话，从而获取了ios设备上的屏幕镜像数据，进而对已加密的屏幕镜像数据解析，最终实现可将所述ios设备上的屏幕镜像数据投射在pc设备上，同时，也有利于利用pc设备上的特有功能对所述屏幕镜像数据进行处理。

同时，本发明还提供了一种屏幕录像方法，其包括步骤s104-s106。其中，

步骤s104.获取ios设备利用上述任一技术方案所述的ios设备的屏幕镜像投射方法投射于pc设备上的屏幕镜像数据。

步骤s105.将所述屏幕镜像数据所对应的屏幕镜像呈现于所述pc设备的显示器上；

步骤s106.利用所述pc设备的录屏功能对所述屏幕镜像进行录像。

可以理解的是，利用所述ios设备的屏幕镜像投射方法，可将同一局域网下的ios设备与pc设备建立会话，从而将ios设备的屏幕镜像数据投射到pc设备上，从而利用pc设备的录屏功能对所述屏幕镜像数据所对应的屏幕画面进行录制，或者将其推流直播，有效ios设备不能进行屏幕录像的问题.

例如，当ios设备上的玩家正在玩游戏，该玩家可将其ios设备的屏幕镜像投射其他的pc设备上，在所述pc设备上对正在进行的游戏画面进行录像，有效地解决了ios设备不能进行屏幕录像的问题。

此外，如图2所示，本发明还提供了一种基于ios设备的屏幕投射系统。

所述ios设备的屏幕镜像投射系统包括模拟模块101、接收模块102、解析模块103。其中，

模拟模块101，用于基于airplay协议在预先设置好的pc设备上模拟airplayserver端。

接收模块102，用于接收与所述airplayserver端建立会话的ios设备传输过来的屏幕镜像数据。

解析模块103，用于对所述屏幕镜像数据进行实时解析，以使得解析后的屏幕镜像数据能将其对应的屏幕镜像显示到所述pc设备上的显示屏。

所述ios设备的屏幕镜像投射系统能够有效地将ios设备上的屏幕镜像投射pc设备上，将所述屏幕镜像数据加以利用，执行各种各样的图片、音视频加工操作。

airplay协议是apple公司提出的一种基于无线技术的通讯协议。airplay协议并非独立的通讯协议，它是基于一些标准化的网络协议组成，例如multicastdns、http、rtsp和rtp。利用airplay协议，用户可以通过数据连接(如wifi)的方式，将ios设备上的包括：图片、音频、视频以及镜像等数据通过数据连接传输到支持airplay协议的设备上。同时，所述airplay协议还具有镜像功能，可以将iphone、ipad等ios设备上的画面无线传输到其特设备上。当前除了apple公司的pc产品及tv产品外，市场上的其它的pc设备大都不支持airplay协议。

为了能够实现将所述ios设备上的屏幕镜像数据投射到其它的pc设备上，以方便利用所述屏幕镜像数据实现各种图片音视频操作，需要搭建ios设备与pc设备之间会话通信的桥梁。

在本实施例中，所述ios设备与pc设备之间屏幕镜像投射的通讯是基于airplay协议的基础实现的。在pc设备上利用模拟模块101根据airplay协议模拟airplayserver端，而ios设备则作为airplayclient端与所述pc设备会话连接并进行通信。

具体地，所述模拟模块101包括：

获取单元，用于获取所述airplay协议的关键参数；

模拟单元，用于根据所述关键参数在pc设备上模拟airplayserver端。

可以理解的是，airplay协议是apple公司的私有协议，没有开源的数据，因此模拟模块101无法直接根据airplay协议模拟airplayserver端以建立与所述ios设备的通信。但，可间接对基于airplay协议通信过程中的具体内容进行分析，从而利用获取单元获取airplay协议的关键参数，并最终利用模拟单元根据所述关键参数在pc设备上模拟airplayserver端。

为了能够有效的获取所述airplay协议的关键参数，本实施例的一种具体的方案中，模拟模块101中，还包括：

抓包单元，用于对基于airpaly协议的数据传输的信息进行抓包；

确定单元，用于分析并确定所述airpaly协议的关键参数。

例如，ios手机接入wifi后，会从发送端发送广播到接收端。在这个过程中，抓包单元用抓包工具wireshark设置好端口的相关数据，抓包ios手机发送广播时的数据。wireshark可跟踪设置的端口，所述端口发出去或者接受到的数据包都会在wireshark上面显示出来的。只要是有数据流经过所述端口，wireshark都能收到监控的信息，包括：具体的数据传输过程和使用的协议之类的信息。因此确定单元可以分析并确定所述airpaly协议的关键参数。

具体地，接受模块102包括：

响应单元，用于响应于所述局域网中的ios设备的连接请求；

建立单元，用于根据所述连接请求与所述ios设备建立会话；

接收单元，用于接收所述ios设备传输过来的屏幕镜像数据。

在pc设备上模拟模块101根据airplay协议的关键参数模拟好了airplayserver端，在需要将所述ios设备与pc设备建立通话时，ios设备会在当前的局域网中自动搜索并连接上所述pc设备。更准确的说，基于airplay协议，所述ios设备此时作为airplayclient端与模拟的airplayserver端建立会话。在建立会话后，所述ios设备可向airplayserver端传输数据信息，在本实施例中，所述ios设备会向所述airplayserver端传输屏幕镜像数据。

为了能准确、及时地在ios设备和pc设备之间建立会话。在本实施例的一种具体的方案中，在接收模块中，还包括：

广播单元，用于利用bonjour服务将所述airplayserver在其对应的pc设备所在的局域网进行广播。

bonjour，也称为零配置联网，能自动发现ip网络上的电脑、设备和服务。bonjour使用工业标准的ip协议来允许设备自动发现彼此，而不需输入ip地址或配置dns服务器。

例如，当前的局域网中，存在ios设备a、ios设备b以及pc设备。当所述局域网处于联网状态时，利用bonjour服务将所述pc设备广播，所述ios设备a、所述ios设备b可以自动发现并连接所述pc设备。在设置好一定的参数时，若所述局域网加入了ios设备c，ios设备c在加入所述局域网后，便会与所述pc设备建立会话，方便，快捷。

值得注意的是，在建立ios设备与模拟的airplayserver端的会话后，虽然所述ios设备能够将其屏幕镜像数据传输到所述airplayserver端。但由于所述协议的视频音频流逝经过加密传输的，因此需要获取解密的key,才能有效地将本来只能显示在apple公司的pc设备或appletv的屏幕镜像，也能显示于其他pc设备上。

因此，需要执行所述解析模块103：对所述屏幕镜像数据进行实时解析，以使得解析后的屏幕镜像数据能将其对应的屏幕镜像显示到所述pc设备上的显示屏。

在本发明的模块103的更具体的实现过程中，其包括：

解密单元，用于利用已获取到的aes加密其对应的解密数据，对所述屏幕镜像数据进行解密；

解码单元，用于对解密后的屏幕镜像数据进行解码。

在airplay协议中，所述音视频流的加密方式为aes加密。因此，需要aes加密的解密数据才能有效地解析所述屏幕镜像数据，从而能实现将从ios涉笔获取的屏幕镜像进行投射pc设备的屏幕上。建立会话后，ios设备上的加密的音视频流、屏幕镜像数据通过rtp协议传输到所述airplayserver端。然后利用解密单元解密处理输出音频、视频流、屏幕镜像数据等，再利用所述解码单元将所述解密后的音频、视频流、屏幕镜像数据解码，并可获得原始音视频数据、屏幕镜像数据，最终并对所述原始音视频数据、屏幕镜像数据进行任意处理。

aes加密其对应的解密数据的获取方式包括：

获取经过aes加密的音视频数据流；

通过反复逆向appletv固件，获取aes加密其所对应的解密数据。

在本实施例中，通过获取所述airplay的关键参数，同时模拟server端和client端，并让server端与client端之间进行通讯，获取了经过aes加密的音视频数据或屏幕镜像数据等，通过反复逆向appletv固件，从而有效地推算出解密数据。利用所述解密数据能有效地将所获取的屏幕镜像数据解密，从而得到未加密的编码后的屏幕镜像数据。

综上，本发明的ios设备的屏幕镜像投射系统，利用airplay协议模拟了airplayserver端，利用ios设备与airplayserver端的通信会话，从而获取了ios设备上的屏幕镜像数据，进而对已加密的屏幕镜像数据解析，最终实现可将所述ios设备上的屏幕镜像数据投射在pc设备上，同时，也有利于利用pc设备上的特有功能对所述屏幕镜像数据进行处理。

最后，如图3所示，本发明还提供了一种装置，其包括：

显示器，用于显示信息编辑界面，实现人机交互；

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行；

所述一个或多个应用程序被配置为用于执行上述任一技术方案所述的ios设备的屏幕镜像投射方法的步骤。

其中，存储器10可用于存储软件程序以及模块，处理器20通过运行存储在存储器10的软件程序以及模块，从而执行所述识别系统的各种功能应用以及数据处理。存储器10可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据所述识别系统的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器10可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所述处理器20是服务器的控制中心，利用各种接口和线路连接整个所述服务器的各个部分，通过运行或执行存储在存储器10内的软件程序和/或模块，以及调用存储在存储器10内的数据，执行所述服务器的各种功能和处理数据，从而对所述服务器进行整体监控。可选的，处理器20可包括一个或多个处理单元；优选的，处理器20可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器20中。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上对本发明所提供的一种ios设备的屏幕镜像投射方法、系统、装置及屏幕录像方法进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。