用于提供屏幕镜像服务的设备和方法与流程

本发明总体上涉及一种用于提供屏幕镜像服务的设备和方法，更具体地，涉及一种用于提供当出现控制信号时能够根据在正被执行的应用中设置的操作模式来执行与控制信号相应的功能的屏幕镜像服务的设备和方法。

背景技术：

近来，关于使用便携式电子装置来使用诸如视频、游戏等的数字多媒体服务的各种问题越来越多。例如，由于便携式电子装置中设置的屏幕尺寸的限制，便携式电子装置可能不适合许多人同时检查由这些装置输出的数字多媒体数据。由于这个问题，已经存在这样一种趋势，即具有能够将数字多媒体信号输出到大的显示器(诸如tv、监视器、投影仪等)的电视(tv)输出功能(诸如屏幕镜像等)的便携式电子装置被越来越多地制造和发布。

输出经由便携式电子装置的tv输出功能接收的数字多媒体的外部装置能够根据由便携式电子装置执行的控制操作同样地执行相应的便携式电子装置的数据多媒体操作。然而，外部装置不能控制便携式电子装置。

技术实现要素：

本公开至少解决了上述问题和/或缺点，并且至少提供了下面描述的优点。本发明的一方面在于提供一种用于提供屏幕镜像服务的设备和方法，其中，所述设备方法能够进行以下操作：如果在与电子装置执行屏幕镜像的至少一个外部装置中的任意一个外部装置中产生控制信号，则当控制信号产生时，检查已在应用中设置的操作模式，并且执行与控制信号和操作模式相应的功能。

根据本发明的另一方面，提供了一种电子装置。电子装置包括：通信单元，用于连接到外部装置；以及控制单元，用于产生多个屏幕数据，将所述多个屏幕数据中的一个屏幕数据发送到所述外部装置，并且根据从所述外部装置接收的控制信号来控制正被发送到所述外部装置的屏幕数据。

根据本发明的另一方面，提供了一种电子装置。电子装置包括：通信接口；显示器；处理器，与通信接口和显示器电连接；以及存储器，与处理器电连接。存储器存储指令，所述指令在执行时使得处理器能够产生第一图像帧数据和第二图像帧数据，通过通信接口将第一图像帧数据发送到外部装置同时在显示器上显示第二图像帧数据，通过通信接口接收与由外部装置接收的输入相关的信号，响应于该信号，执行第一图像帧数据中的至少一部分的改变和与第一图像帧数据相关的操作中的至少一个，并且通过通信接口将与改变的第一图像帧数据和所述操作中的至少一个相关的信号发送到外部装置。

根据本发明的另一方面，提供了一种电子装置。电子装置包括：通信接口；显示器；处理器，与通信接口和显示器电连接；以及存储器，与处理器电连接。存储器存储指令，所述指令在执行时使得处理器能够产生第一图像帧数据和第二图像帧数据，通过通信接口将第一图像帧数据发送到第一外部装置同时在显示器上显示第二图像帧数据，以及通过通信接口将第二图像帧数据发送到第二外部装置，通过通信接口接收与从第一外部装置接收的输入相关的第一信号，响应于第一信号执行第一图像帧数据中的至少一部分的改变和与第一图像帧数据相关的操作中的至少一个，通过通信接口将与改变的第一图像帧数据和与第一图像帧数据相关的操作中的至少一个相关的第一信号发送到第一外部装置，通过通信接口接收与由第二外部装置接收的输入相关的第二信号，响应于第二信号，执行第二图像帧数据中的至少一部分的改变和与第二图像帧数据相关的操作中的至少一个，并且将与改变的第二图像帧数据和与第二图像帧数据相关的操作中的至少一个相关的第三信号显示在显示器上，同时通过通信接口将第三信号发送到第二外部装置。

根据本发明的一方面，提供了一种方法。所述方法包括：连接到外部装置；产生多个屏幕数据；将所述多个屏幕数据中的一个发送到外部装置；以及根据从外部装置接收的控制信号来控制正被发送到外部装置的屏幕数据。

根据本发明的另一方面，提供了一种方法。该方法包括：产生第一图像帧数据和第二图像帧数据；将第一图像帧数据发送到外部装置同时在显示器上显示第二图像帧数据；接收与由外部装置接收的输入相关的信号；响应于所述信号，执行第一图像帧数据中的至少一部分的改变和与第一图像帧数据相关的操作中的至少一个；以及将与改变的第一图像帧数据和所述操作中的至少一个相关的信号发送到外部装置。

根据本发明的另一方面，提供了一种方法。所述方法包括：产生第一图像帧数据和第二图像帧数据；将第一图像帧数据发送到第一外部装置同时显示第二图像帧数据并将第二图像帧数据发送到第二外部装置；接收与从第一外部装置接收的输入相关的第一信号；响应于第一信号，执行第一图像帧数据中的至少一部分的改变和与第一图像帧数据相关的操作中的至少一个；将与改变的第一图像帧数据和与第一图像帧数据相关的操作中的至少一个相关的第一信号发送到第一外部装置；接收与由第二外部装置接收的输入相关的第二信号；响应于第二信号，执行第二图像帧数据中的至少一部分的改变和与第二图像帧数据相关的操作中的至少一个；以及显示与改变的第二图像帧数据和与第二图像帧数据相关的操作中的至少一个相关的第三信号，同时将第三信号发送到产生第一图像帧数据和第二图像帧数据的第二外部装置；将第一图像帧数据发送到第一外部装置同时显示第二图像帧数据并将第二图像帧数据发送到第二外部装置；接收与从第一外部装置接收的输入相关的第一信号；响应于第一信号，执行第一图像帧数据中的至少一部分的改变和与第一图像帧数据相关的操作中的至少一个；将与改变的第一图像帧数据和与第一图像帧数据相关的操作中的至少一个相关的第一信号发送到第一外部装置；接收与由第二外部装置接收的输入相关的第二信号；响应于第二信号，执行第二图像帧数据中的至少一部分的改变和与第二图像帧数据相关的操作中的至少一个；以及显示与改变的第二图像帧数据和与第二图像帧数据相关的操作中的至少一个相关的第三信号，同时将第三信号发送到第二外部装置。

附图说明

从以下结合附图进行的详细描述中，本发明的上述和其它方面、特征和优点将变得更加清楚，其中：

图1是示出根据本发明的实施例的包括电子装置的网络环境的示图；

图2是示出根据本发明的实施例的电子装置的主要构造的框图；

图3是示出根据本发明的实施例的程序模块的框图；

图4是示出根据本发明的实施例的用于提供屏幕镜像服务的系统的示图；

图5a和图5b是用于说明根据本发明的实施例的变换在外部装置中产生的控制信号的坐标的方法的示图；

图6是示出根据本发明的实施例的提供屏幕镜像服务的电子装置的主要构造的框图；

图7是示出根据本发明的实施例的在提供屏幕镜像服务的操作中的数据流的梯形图；

图8是用于说明根据本发明的实施例的在电子装置中执行与外部装置的屏幕镜像服务的方法的流程图；

图9是根据本发明的实施例的根据在电子装置和外部装置中提供屏幕镜像服务的方法的示例屏幕的示图；

图10是示出根据本发明的另一实施例的在提供屏幕镜像服务的操作中的数据流的梯形图；

图11是示出根据本发明的另一实施例的在电子装置中执行与外部装置的屏幕镜像服务的方法的流程图；

图12和图13是示出根据本发明的另一实施例的根据在电子装置和外部装置中提供屏幕镜像服务的方法的屏幕的示例的示图。

具体实施方式

参照附图描述本公开的实施例。尽管相同或相似的组件在不同的附图中示出，但是它们可通过相同或相似的附图标号被指定。可省略本领域公知的详细描述或构造或过程以避免模糊本公开的主题。

如本文使用的术语“具有”、“可具有”、“包括”或“可包括”是指存在相应的特征(例如，数字、功能、操作或诸如组件的构成元件)，并且不排除一个或更多个附加特征的存在。

如本文使用的表述“a或b”、“a或/和b中的至少一个”或“a或/和b中的一个或更多个”可包括所列出的项目的所有可能的组合。例如，表述“a或b”、“a和b中的至少一个”或“a或b中的至少一个”包括以下全部情况(1)至少一个a、(2)至少一个b、或(3)至少一个a和至少一个b两者。

参照本公开的各种实施例，本文使用的表述“第一”、“第二”、“所述第一”或“所述第二”可以修饰各种组件，而不管组件的顺序和/或重要性如何，但不限制相应的组件。例如，尽管第一用户装置和第二用户装置都是用户装置，但是这两个装置指示不同的用户装置。例如，第一元件可被称为第二元件，并且类似地，在不脱离本发明的范围的情况下，第二元件可被称为第一元件。

这里，当元件(例如，第一元件)被称为被(可操作地或通信地)“连接”或“耦接”到另一元件(例如，第二元件)时，该元件可被直接地连接或直接地耦接到另一个元件，或者可在它们之间插入任何其他元件(例如，第三元件)。相反，当元件(例如，第一元件)被称为被“直接连接”或“直接耦接”到另一元件(第二元件)时，不存在介于第一元件和第二元件之间的中间元件(例如，第三元件)。

如本文使用的表述“配置为”可根据上下文被替换为例如“适合于”、“具有…能力”、“设计为”、“适用于”、“用于”或“能够”。术语“配置为”不一定指在硬件中“专门设计为”。可选地，在一些情况下，表述“被配置为执行特定任务的装置”可指示该装置与其他装置或组件一起“能够…”。例如，“适于(或配置为)执行a、b和c的处理器”的短语可指仅用于执行相应操作的专用处理器(例如，嵌入式处理器)、或者指能够通过执行存储在存储器装置中的一个或更多个软件程序来执行相应的操作的通用处理器(例如，中央处理单元(cpu)或应用处理器(ap))。

本文使用的术语仅描述了特定实施例，并不旨在限制其他实施例的范围。如本文使用的，单数形式也可包括复数形式，除非上下文另有明确指示。除非另有定义，否则本文使用的所有术语(包括技术和科学术语)具有与本公开所属领域的技术人员通常理解的含义相同的含义。在通常使用的字典中定义的术语可被解释为具有与相关领域中的上下文含义相同的含义，并且不被解释为具有理想或过度形式的含义，除非在本公开中明确定义。在一些情况下，本文定义的术语不应被解释为排除本公开的实施例。

根据本公开的各种实施例的电子装置可包括例如智能电话、平板个人计算机(pc)、移动电话、视频电话、电子书阅读器(e-book阅读器)、台式pc、膝上型计算机、上网本计算机、工作站、服务器、个人数字助理(pda)、便携式多媒体播放器(pmp)、运动图像专家组(mpeg)-1音频层-3(mp3)播放器、移动医疗装置、相机和可穿戴装置。可穿戴装置可包括附件类型的装置(例如手表、戒指、手镯、脚镯、项链、眼镜、隐形眼镜或头戴装置(hmd))、织物或衣服整合型(例如，电子服装)、身体安装型(例如，皮肤垫或纹身)以及生物可植入型(例如，可植入电路)中的至少一个。

根据本公开的一些实施例，电子装置可以是家用电器。家用电器可包括例如电视、数字视频盘(dvd)播放器、音频装置、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如，samsunghomesync^tm、appletv^tm或googletv^tm)、游戏机(例如，xbox^tm和playstation^tm)、电子词典、电子钥匙、摄录机和电子相框中的至少一个。

根据本公开的另一实施例，电子装置可包括各种医疗装置(例如，各种便携式医疗测量装置(血糖监测装置、心率监测装置、血压测量装置、体温测量装置等)、磁共振血管造影术(mra)、磁共振成像(mri)、计算机断层扫描(ct)机器和超声波机器)、导航装置、全球定位系统(gps)接收器、事件数据记录器(edr)、飞行数据记录器(fdr)、车辆信息娱乐装置、用于船舶的电子装置(例如，用于船舶的导航装置和陀螺罗盘)、航空电子装置、安全装置、汽车头单元、家庭或工业机器人、银行中的自动取款机(atm)、商店中的销售点(pos)或物联网装置(例如，灯泡、各种传感器、电或气流量表、喷水装置、火灾报警器、恒温器、路灯、烤面包机、运动用品、热水箱、加热器、锅炉等)。

根据本公开的一些实施例，电子装置可包括家具或建筑物/结构的部分、电子板、电子签名接收装置、投影仪和各种测量装置(例如，水表、电表、燃气表或无线电波表)中的至少一个。根据本公开的各种实施例的电子装置可以是上述各种装置中的一种或更多个的组合。根据本公开的实施例的电子装置可以是柔性装置。此外，根据本公开的实施例的电子装置不限于上述装置，并且可包括根据新技术的发展而产生的新的电子装置。

在下文中，将参照附图来描述根据本公开的各种实施例的电子装置。如本文使用的，术语“用户”可指使用电子装置的人或使用电子装置的装置(例如，人工智能电子装置)。

图1是示出根据本发明的一个示例性实施例的包括电子装置的网络环境。

参照图1，电子装置101被包括在网络环境100中。电子装置101包括总线110、处理器120、存储器130、输入/输出接口150、显示器160和通信接口170。在一些实施例中，电子装置101可省略上述元件中的一个或更多个或者还可包括其他元件。

总线110可包括例如用于使元件110至170相互连接并且在这些元件之间发送通信(例如，控制消息和/或数据)的电路。

处理器120可包括中央处理单元(cpu)、应用处理器(ap)和通信处理器cp中的一个或更多个。例如，处理器120可执行与电子装置101的至少一个其他元件的通信和/或控制有关的操作或数据处理。

存储器130可包括易失性存储器和/或非易失性存储器。例如，存储器130可存储与电子装置101的至少一个其他元件相关的指令或数据。存储器130可存储软件和/或程序140。程序140包括例如内核141、中间件143、应用编程接口(api)145和/或应用程序(应用)147。内核141、中间件143或api145中的至少一些可被称为操作系统(os)。

内核141可控制或管理用于执行由其他程序(例如，中间件143、api145或应用程序147)实现的操作或功能的系统资源(例如，总线110、处理器120或存储器130)。此外，内核141可提供这样的接口：中间件143、api145或应用程序147可通过该接口访问电子装置101的单个元件以控制或管理系统资源。

例如，中间件143可用作用于允许api145或应用程序147与内核141进行通信以交换数据的中介。

此外，中间件143可根据应用程序147的优先级顺序来处理从应用程序147接收的一个或更多个任务请求。例如，中间件143可为至少一个应用程序147分配用于使用电子装置101的系统资源(例如，总线110、处理器120、存储器130等)的优先级。例如，中间件143可根据分配给至少一个应用147的优先级通过处理一个或更多个任务请求来执行关于所述一个或更多个任务请求的调度或负载平衡。

api145是应用147控制从内核141或中间件143提供的功能的接口，并且可包括例如针对文件控制、窗口控制、图像处理或字符控制的至少一个接口或功能(例如，指令)。

例如，输入/输出接口150可用作将从用户或另一外部装置输入的指令或数据发送到电子装置101的其他元件的接口。此外，输入/输出接口150可将从电子装置101的其他元件接收的指令或数据输出到用户或另一外部装置。

显示器160可包括例如液晶显示器(lcd)、发光二极管(led)显示器、有机发光二极管(oled)显示器、微机电系统(mems)显示器或电子纸显示器。例如，显示器160可为用户呈现各种内容(例如，文本、图像、视频、图标、符号等)。显示器160可包括触摸屏，并且可接收使用电子笔或用户身体的部位(诸如手指)输入的例如触摸、手势、接近或悬停。

例如，通信接口170可设置电子装置101与外部装置(例如，第一外部电子装置102、第二外部电子装置104或服务器106)之间的通信。例如，通信接口170可通过无线通信或有线通信被连接到网络162以与外部电子装置104或服务器106进行通信。

无线通信可以采用例如长期演进(lte)、先进lte(lte-a)、码分多址(cdma)、宽带cdma(wcdma)、通用移动电信系统(umts)、wibro(无线宽带)或全球移动通信系统(gsm)中的一个或更多个作为蜂窝通信协议。此外，无线通信可包括例如短距离通信164。短距离通信164可通过使用例如wi-fi、蓝牙(bt)、近场通信(nfc)和全球导航卫星系统(gnss)中的至少一个被执行。gnss根据使用区域、带宽等可包括全球定位系统(gps)、全球导航卫星系统(glonass)、北斗导航卫星系统(下文被称为“beidou”)和欧洲全球卫星导航系统(galileo)中的至少一个。这里，术语“gps”可与术语“gnss”互换使用。有线通信可包括例如通用串行总线(usb)、高分辨率多媒体接口(hdmi)、推荐标准232(rs-232)和普通老式电话服务(pots)中的至少一种。网络162可包括通信网络(诸如计算机网络，例如，lan或wan)、因特网和电话网络的电信网络中的至少一个。

第一外部电子装置102和第二外部电子装置104中的每一个的类型可与电子装置101的类型相同或不同。服务器106可包括一个或更多个服务器的组。在电子装置101中执行的一些操作可以在另一个电子装置或多个电子装置(例如，电子装置102和104或服务器106)中执行。当电子装置101必须自动地或者响应于请求来执行一些功能或服务时，电子装置101可以向另一电子装置102或104或服务器106请求执行至少一些与功能或服务相关的功能来代替自己执行功能或服务，或者电子装置101除了自己执行功能或服务之外，还向另一个电子装置102或电子装置104或服务器106请求执行至少一些与功能或服务相关的功能。另一电子装置可执行请求的功能或另外的功能，并且可将执行的结果发送到电子装置101。电子装置101可原样处理接收的结果或另外地处理接收到的结果以提供所请求的功能或服务。为此，例如，可使用云计算、分布式计算或客户端-服务器计算技术。

图2是示出根据本发明的实施例的电子装置的框图。例如，电子装置201可包括在图1中示出的电子装置101的全部或部分。电子装置201包括例如至少一个处理器(例如，ap)210、通信模块220、用户识别模块(sim)224、存储器230、传感器模块240、输入装置250、显示器260、接口270、音频模块280、相机模块291、电源管理模块295、电池296、指示器297和电机298。

处理器210可通过驱动操作系统或应用程序来控制被连接到处理器210的多个硬件或软件组件，并且可执行各种数据和计算的处理。处理器210可通过例如片上系统(soc)来实现。根据本公开的实施例，处理器210还可包括图形处理单元(gpu)和/或图像信号处理器。处理器210可包括图2中示出的其他元件中的至少一些(例如，蜂窝模块221)。处理器210可在易失性存储器上加载从其他元件中的至少一个(例如，非易失性存储器)接收的指令或数据并且可处理加载的指令或数据，并且可将各种数据存储在非易失性存储器中。

通信模块220可具有与图1的通信接口170的配置相同或相似的配置。通信模块220可包括例如蜂窝模块221、wi-fi模块223、蓝牙(bt)模块225、gnss模块227(例如，gps模块、glonass模块、beidou模块或galileo模块)、nfc模块228和射频(rf)模块229。

蜂窝模块221可通过例如通信网络提供语音呼叫、视频呼叫、文本消息服务或因特网服务。蜂窝模块221可使用用户识别模块(例如，sim卡224)来区分并认证通信网络中的电子装置201。根据本公开的实施例，蜂窝模块221可执行由处理器提供的功能中的一个或更多个。根据本发明的实施例，蜂窝模块221还可包括通信处理器(cp)。

wi-fi模块223、bt模块225、gnss模块227和nfc模块228中的每一个可包括例如用于处理通过相关模块发送和接收的数据的处理器。根据本发明的一些实施例，蜂窝模块221、wi-fi模块223、bt模块225、gnss模块227和nfc模块228中的一些(例如，两个或更多个)可被包括在一个集成芯片(ic)或ic封装中。

rf模块229可发送/接收例如通信信号(例如，rf信号)。rf模块229可包括例如收发器、功率放大器模块(pam)、频率滤波器、低噪声放大器(lna)和天线。根据本公开的另一实施例，蜂窝模块221、wi-fi模块223、bt模块225、gnss模块227和nfc模块228中的至少一个可通过单独的rf模块来发送和接收rf信号。

sim224可包括例如sim卡和/或嵌入式sim，并且可包含唯一的识别信息(例如，集成电路卡标识符(iccid))或用户信息(例如，国际移动用户标识(imsi))。

存储器230(例如，存储器130)可包括例如内部存储器232和外部存储器234中的至少一个。嵌入式存储器232可包括例如易失性存储器(例如，动态随机存取存储器(dram)、静态ram(sram)、同步动态ram(sdram)等)和非易失性存储器(例如，一次性可编程只读存储器(otprom)、可编程rom(prom)、可擦除可编程rom(eprom)、电可擦除可编程rom(eeprom)、掩模rom、闪存rom、闪存(例如，nand闪存、nor闪存等)、硬盘驱动器、固态驱动器(ssd)等)中的至少一个。

外部存储器234还可包括例如闪存驱动器(诸如紧凑闪存(cf))、安全数字(sd)、微型安全数字(micro-sd)、迷你安全数字(mini-sd)、极限数字(xd)、记忆棒等。外部存储器234可通过各种接口被功能地和/或物理地连接到电子设备201。

传感器模块240可测量物理量或检测电子装置201的操作状态，并且可将测量的或检测到的信息转换成电信号。传感器模块240包括例如手势传感器240a、陀螺仪传感器240b、大气压力传感器240c、磁性传感器240d、加速度传感器240e、握持传感器240f、接近传感器240g、颜色传感器240h(例如，红色/绿色/蓝色(rgb)传感器)、生物传感器240i、温度/湿度传感器240j、光传感器240k和紫外线(uv)传感器240m。另外地或可选地，传感器模块240可包括例如电子鼻传感器、肌电图(emg)传感器、脑电图(eeg)传感器、心电图(ecg)传感器、红外(ir)传感器、虹膜传感器和/或指纹传感器。传感器模块240还可包括用于控制包括在其中的一个或更多个传感器的控制电路。电子设备201还可包括被配置为将传感器模块240作为处理器210的一部分进行控制或与处理器210分离地进行控制的处理器，并且可在处理器210处于睡眠状态时控制传感器模块240。

输入装置250包括例如触摸面板252、(数字)笔传感器254、按键256和超声波输入装置258。触摸面板252可采用例如电容类型、电阻类型、红外线类型和紫外线类型触摸面板中的至少一种。触摸面板252还可包括控制电路。触摸面板252还可包括向用户提供触觉反馈的触觉层。

(数字)笔传感器254可包括例如作为触摸面板的一部分或与触摸面板分离的识别薄片。按键256可包括例如物理按钮、光按键或键盘。超声波输入装置258可通过麦克风288检测由输入工具产生的超声波，并且识别与检测到的超声波相应的数据。

显示器260(例如，显示器160)包括例如面板262、全息图装置264和投影仪266。面板262可以以与图1中示出的显示器相同或相似的方式进行配置。面板262可被实现为例如柔性的、透明的或可穿戴的。面板262和触摸面板252可被集成到一个模块。全息图装置264可使用光干涉现象在空中显示立体图像。投影仪266可通过将光投射到屏幕上来显示图像。屏幕可被置于例如电子装置201的内部或外部。根据本发明的实施例，显示器260还可包括用于对面板262、全息图装置264或投影仪266进行控制的控制电路。

接口270包括例如高分辨率多媒体接口(hdmi)272、通用串行总线(usb)274、光接口276和d超小型(d-sub)278。接口270可被包括在例如图1中示出的通信接口170。另外地或可选地，接口270可包括例如移动高清链接(mhl)接口、安全数字(sd)卡/多媒体卡(mmc)接口或红外数据协会(irda)标准接口。

音频模块280可对例如声音和电信号相互转换。音频模块280的一些或全部元件可被包括在例如图1中示出的输入/输出接口145中。音频模块280可处理通过例如扬声器282、接收器284、耳机286、麦克风288等输入或输出的声音信息。

相机模块291是可拍摄静止图像和动态图像的装置。相机模块291可包括一个或更多个图像传感器(例如，前置传感器或后置传感器)、镜头、图像信号处理器(isp)或闪光灯(例如，led或氙气灯)。

电源管理模块295可管理例如电子装置201的电源。根据本发明的实施例，电源管理模块295可包括电源管理集成电路(pmic)、充电器集成电路(ic)或电池量表。pmic可采用有线和/或无线充电方法。无线充电方法的示例可包括例如磁共振法、磁感应法、电磁法等。用于无线充电的另外的电路(例如线圈环路、谐振电路、整流器等)可被进一步包括。电池量表可测量例如电池296的剩余容量以及充电期间的电压、电流或温度。电池296可包括例如可充电电池和/或太阳能电池。

指示器297可显示电子装置201或其一部分(例如，处理器210)的特定状态(例如，启动状态、消息状态、充电状态等)。电机298可将电子信号转换成机械振动，并且可产生振动、触觉效果等。电子装置201可包括用于支持移动电视(tv)的处理单元(例如，gpu)。例如，用于支持移动tv的处理单元可根据诸如数字多媒体广播(dmb)、数字视频广播(dvb)或mediaflo^tm的特定标准来处理媒体数据。

根据本公开，上述硬件的组成元件中的每一个可被配置有一个或更多个组件，并且相应的组成元件的名称可基于电子装置的类型而不同。根据本公开的各种实施例的电子装置可包括上述元件中的一个或更多个。可省略一些元件或者电子装置还可包括其他另外的元件。一些硬件组件可被组合成一个实体，其可执行与相关组件在组合之前的功能相同的功能。

图3是示出根据本发明的实施例的程序模块的框图。根据实施例，程序模块310(例如，程序140)可包括用于控制与电子装置101相关的资源的操作系统(os)和/或在操作系统中执行的各种应用147。

程序模块310包括内核320、中间件330、api360和/或应用370。程序模块310中的至少一些可被预先加载到电子设备上，或者可以从外部电子设备102或104或服务器106下载。

内核320(例如，内核141)包括例如系统资源管理器321和/或装置驱动器323。系统资源管理器321可执行系统资源的控制、分配、检索等。根据本公开的实施例，系统资源管理器321可包括进程管理器、存储器管理器、文件系统管理器等。装置驱动器323可包括例如显示器驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、usb驱动器、键盘驱动器、wi-fi驱动器、音频驱动器或进程间通信(ipc)驱动器。

中间件330可提供应用370共同所需的功能，或者通过api360向应用370提供各种功能，使得应用370能够有效地使用电子装置内有限的系统资源。中间件330(例如，中间件143)包括例如运行时库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、功率管理器345、数据库管理器346、包管理器347、连接管理器348、通知管理器349、位置管理器350、图形管理器351和安全管理器352中的至少一个。

运行时库335可包括库模块，其中，编译器使用库模块以便在应用370正被执行时通过编程语言添加新的功能。运行时库335可执行输入/输出管理、存储器管理、用于算术功能的功能等。

应用管理器341可管理例如应用370中的至少一个的生命周期。窗口管理器342可管理用于屏幕的图形用户界面(gui)资源。多媒体管理器343可确定再现各种媒体文件所需的格式，并且可通过使用适用于相关格式的编码器/解码器(编解码器)对媒体文件进行编码或解码。资源管理器344可管理应用370中的至少一个应用的资源(诸如源代码、存储器、存储空间等)。

功率管理器345可与基本输入/输出系统(bios)一起操作以管理电池或电源，并且可提供电子装置的操作所需的电源信息。数据库管理器346可产生、搜索和/或改变由应用370中的至少一个应用使用的数据库。包管理器347可管理以包文件的形式发布的应用的安装或更新。

连接管理器348可管理无线连接，例如wi-fi或蓝牙。通知管理器349可以以不打扰用户的方式显示或通知事件，诸如到达的消息、约会、接近通知等。位置管理器350可管理电子设备的位置信息。图形管理器351可管理将提供给用户的图形效果或与图形效果相关的用户界面。安全管理器352可提供系统安全、用户认证等所需的各种安全功能。根据本公开的实施例，当电子设备(例如，电子设备101)具有电话呼叫功能时，中间件330还可包括用于管理电子设备的语音呼叫功能或视频呼叫功能的电话管理器。

中间件330可包括形成上述元件的各种功能的组合的中间件模块。中间件330可提供专用于每种类型的os的模块，以便提供差异化的功能。中间件330还可动态地删除一些现有的元件，或者可添加新的元件。

api360(例如，api145)是例如api编程函数集，并且可根据os被提供有不同的配置。例如，可为每个平台提供一个api集，或者可为每个平台提供两个或更多个api集。

应用370(例如，应用程序147)包括例如一个或更多个应用，其中，所述一个或更多个应用能够提供诸如主页371、拨号器372、sms/mms373、即时消息(im)374、浏览器375、相机376、警报器377、联系人378、语音拨号器379、电子邮件380、日历381、媒体播放器382、相册383、时钟384、医疗保健(例如，测量运动量或血糖水平)或环境信息(例如，大气压力、湿度或温度信息)的功能。

根据本公开的实施例，应用370可包括支持电子设备101和外部电子设备102或104之间的信息交换的应用(以下称为“信息交换应用”)。与信息交换相关的应用可包括例如用于将特定信息发送到外部电子装置的通知转发应用或用于管理外部电子装置的装置管理应用。

例如，通知转发应用可包括将由电子设备101的其他应用(例如，sms/mms应用、电子邮件应用、医疗保健应用、环境信息应用等)产生的通知信息发送到外部电子装置102或104的功能。此外，通知转发应用可从例如外部电子装置接收通知信息，并将接收到的通知信息提供给用户。

装置管理应用可管理(例如，安装、删除或更新)例如针对与电子装置通信的外部电子装置102或104的至少一部分的功能(例如，打开/关闭外部电子装置本身(或其某些元件)或调节显示器的亮度(或分辨率))、在外部电子装置中执行的应用或从外部电子装置提供的服务(例如，电话呼叫服务或消息服务)。

应用370可包括根据外部电子装置102或104的属性而指定的应用(例如，移动医疗设备等的医疗保健应用)。应用370可包括从外部电子装置102或104或服务器106接收的应用。应用370可包括预加载的应用或从服务器下载的第三方应用。根据本公开的上述实施例的程序模块310的元件的名称可根据os的类型而改变。

根据本公开的各种实施例，程序模块310中的至少一些可以以软件、固件、硬件或它们中的两个或更多个的组合来实现。程序模块310中的至少一些可由例如处理器(例如，处理器210)来实现(例如，执行)。程序模块310中的至少一些可包括例如用于执行一个或更多个功能的模块、程序、例程、一组指令和/或处理。

本文所用的术语“模块”可指例如包括硬件、软件和固件之一或他们中的两个或更多个的组合的单元。术语“模块”可以与例如术语“单元”、“逻辑”、“逻辑块”、“组件”或“电路”互换使用。术语“模块”可指集成组件的最小单位或其一部分。术语“模块”可指用于执行一个或更多个功能的最小单元或其一部分。术语“模块”可被机械地或电子地实现。例如，“模块”可包括用于执行已知的操作的或者是以后将被开发的专用集成电路(asic)芯片、现场可编程门阵列(fpga)和可编程逻辑装置中的至少一个。

根据本公开的实施例，装置(例如，装置的模块或功能)或方法(例如，操作)中的至少部分可通过以编程模块形式存储在计算机可读存储介质的命令来实现。当被处理器120执行时，命令可使一个或更多个处理器执行与指令相应的功能。计算机可读存储介质可以是例如存储器130。

图4是示出根据本发明的实施例的用于提供屏幕镜像服务的系统的示图。

参照图4，根据本公开的实施例的用于提供屏幕镜像服务的系统400可包括电子装置500和至少一个外部装置600。

电子装置500(例如，电子装置101)和外部装置600(例如，电子装置102或电子装置104)可经由无线通信方案或有线通信方案连接。电子装置500和外部装置600可使用诸如传屏(miracast)等的通信方案。电子装置500和外部装置600可使用相同的控制信道。当使用miracast通信方案时，控制信道可以是用户输入返回信道(uibc)。电子装置500可与至少一个外部装置600连接屏幕镜像。在屏幕镜像连接过程期间，电子装置500可执行与外部装置600的协商。电子装置500可检查电子装置500中可支持的分辨率信息以及外部装置600中可支持的分辨率信息，并且确定在两个装置中能够共同支持的分辨率。电子装置500可在与外部装置600协商期间接收外部装置600的识别信息。

外部装置600可显示从电子装置500周期性地或实时地发送的屏幕数据(例如，图像帧数据)。外部装置600可将依赖于由用户产生的输入的控制信号发送到电子装置500。

如果在执行至少一个功能(例如，应用(例如，应用程序))时出现执行屏幕镜像的请求，则电子装置500可产生多个屏幕数据。用户可在应用中设置是否以第一操作模式(即呈现模式)显示屏幕镜像执行的屏幕数据，或者是否以第二操作模式(即克隆模式)显示屏幕数据。如果应用被设置为以第一操作模式显示屏幕数据，则可在电子装置500和外部装置600上显示不同的屏幕数据。如果应用被设置为以第二操作模式显示屏幕数据，则可在电子装置500和外部装置600上显示相同的屏幕数据。电子装置500可基于在屏幕镜像连接过程期间确定的分辨率将屏幕数据发送到外部装置600。

如果电子装置500被连接到一个外部装置600，则电子装置500可将多个屏幕数据中的任意一个屏幕数据发送到外部装置600，并且在电子装置500的屏幕上显示多个屏幕数据中的另一个屏幕数据。如果电子装置500被连接到多个外部装置600，则电子装置500可将多个屏幕数据分别发送到多个外部装置600，并且在电子装置500的屏幕上显示一个屏幕数据。

如果从外部装置600接收到控制信号，则电子装置500可检查发送了该控制信号的外部装置600的识别信息。电子装置500可基于外部装置600的识别信息来检查正被发送到外部装置600的屏幕数据。电子装置500可检查与正被发送的屏幕数据相应的操作模式。电子装置500可根据检查出的操作模式来控制正被发送的屏幕数据，并将屏幕数据发送到外部装置600。

如果在电子装置500被设置为在应用中以第一操作模式显示的状态下从外部装置600接收到控制信号，则电子装置500可根据控制信号控制正被发送到外部装置600的屏幕数据。例如，电子装置500可将屏幕数据自适应地发送到达到确定的分辨率的外部装置600，并以确定的分辨率自适应地显示屏幕数据。如果从外部装置600产生控制信号，则电子装置500可向提供屏幕数据的应用提供包括在控制信号中的坐标。电子装置500可向应用提供坐标以使应用本身能够执行与产生控制信号的位置相应的功能。

如果在电子装置500被设置为在应用中以第二操作模式显示的状态下从外部装置600接收到控制信号，则电子装置500可根据控制信号控制正被发送到外部装置600的屏幕数据。电子装置500可检查是否需要对包括在控制信号中的坐标进行变换。参照图5更加详细地描述了对包括在外部装置600中产生的控制信号中的坐标进行变换的操作。

图5a和图5b是示出根据本发明的实施例的对在外部装置中产生的控制信号的坐标进行变换的方法的示图。

图5a示出了具有480×720像素的分辨率并处于风景状态的电子装置500和具有1920×1080像素的分辨率的外部装置600通过屏幕镜像被连接的状态。例如，在电子装置500与外部装置600执行屏幕镜像时通过协商确定的分辨率可以是1280×720像素。如图5a所示，由于电子装置500的分辨率和外部装置600的分辨率彼此不同，所以外部装置600可对在外部装置600中产生控制信号的位置的坐标进行变换。如果在外部装置600中的“p”位置(x，y)处产生控制信号，则外部装置600可对“p”位置的坐标(x，y)进行变换。外部装置600可将“p”位置的变换后的坐标((x/1920)*1280，(y/1080)*720)发送到电子装置500。电子装置500可将从外部装置600接收的坐标变换为480×720像素，其中，480×720像素是电子装置500的分辨率。电子装置500可执行与被自适应地变换为电子装置500的分辨率的坐标相应的功能。电子装置500可显示根据功能执行而变化的第二屏幕数据并且将第二屏幕数据发送到外部装置600。

图5b示出了具有480×720像素的分辨率并且处于肖像状态的电子装置500和具有1920×1080像素的分辨率的外部装置600通过屏幕镜像被连接的状态。例如，在电子装置500与外部装置600执行屏幕镜像时通过协商确定的分辨率可以是1920×1080像素。电子装置500可产生旨在被发送到外部装置600、被自适应地变换为确定的分辨率的屏幕数据。例如，电子装置500可将与480×720相应的屏幕数据自适应地改变为1920×1080像素。由于电子装置500的分辨率的高度等于720像素，并且确定的分辨率的高度等于1080像素，因此可基于等式720像素×1.5＝1080像素来变换屏幕数据的高度，并且可基于等式480像素×1.5＝720像素来变换屏幕数据的宽度。由于变换的屏幕数据应位于确定的分辨率的中心，所以电子装置500可计算不包括变换的屏幕数据的外部电子装置600的“a”区域的宽度。电子装置500可使用等式(确定的分辨率的宽度(1920像素)-屏幕数据的变换后的宽度(720像素)/2)来计算外部装置600的“a”区域的宽度分别等于600像素。

如果在外部装置600中的“p”位置(x，y)处产生控制信号，则外部装置600可将p位置的坐标(x，y)发送到电子装置500。电子装置500可将坐标(x，y)变换为720×480像素，其中，720×480像素是电子装置500的分辨率。如果在外部装置600的“a”区域处产生控制信号，则电子装置500可确定产生控制信号的坐标不是包括在电子装置500的显示单元517中的有效坐标。根据该确定，电子装置500可不对控制信号进行处理。

电子装置500可执行与被自适应地变换为电子装置500的分辨率的坐标相应的功能。电子装置500可显示根据功能执行而变化的第二屏幕数据，并将第二屏幕数据发送到外部装置600。

电子装置500可以是包括诸如智能电话、平板电脑、智能手表等的可穿戴装置等的电子装置，并且外部装置600可以是诸如能够与电子装置500通信的智能电话、平板电脑、电视机和监视器等的电子装置。如果外部装置600不能直接与电子装置500通信，则外部装置600可与能够与电子装置500和电子装置500中的每一个执行通信的另一外部装置(例如，加密狗等)进行连接。

图6是示出根据本发明的实施例的提供屏幕镜像服务的电子装置的主要构造的框图。

参照图6，根据本发明的实施例的电子装置500包括通信单元511、输入单元513、音频处理单元515、显示单元517、存储器519和控制单元521。

通信单元511(例如，通信接口170)执行电子装置500的通信功能。通信单元511可根据各种通信方案与至少一个外部装置600进行通信。通信单元511可执行无线通信和/或有线通信。通信单元511可访问移动通信网络或数据通信网络中的至少任意一个。通信单元511可执行短距离通信。例如，外部装置600可包括电子装置、基站、服务器和人造卫星。通信方案可包括例如miracast、长期演进(lte)、宽带码分多址(wcdma)、全球移动通信系统(gsm)、无线保真(wifi)、蓝牙和近场通信(nfc)。

输入单元513(例如，输入/输出接口150)可响应于电子装置500的用户的输入而产生输入数据。输入单元513可包括至少一个输入装置。该输入单元513可包括例如键盘、圆顶开关、按钮、触摸面板和/或飞梭轮等。输入单元513可向控制单元521提供产生的输入数据。

音频处理单元515可处理音频信号。音频处理单元515包括扬声器(spk)和麦克风(mic)。音频处理单元515可通过扬声器播放从控制单元521输出的音频信号。音频处理单元515可将在麦克风中产生的音频信号转发到控制单元521。

显示单元517(例如，显示器160)可根据电子装置500的操作来显示屏幕数据。该显示单元517可包括例如液晶显示器(lcd)显示器、发光二极管(led)显示器、有机led(oled)显示器、微机电系统(mems)显示器和/或电子纸显示器。显示器517可包括多个发光元件。显示单元517可与输入单元513组合，并且得到的组合可被实现为触摸屏。

存储器519(例如，存储器130)可存储电子装置500的操作程序。存储器519可存储与电子装置500执行屏幕镜像的至少一个外部装置600的标识信息。

控制单元521(例如，处理器120)可产生多个屏幕数据，并将多个屏幕数据中的任意一个发送到外部装置600。控制单元521可根据从外部装置600接收的控制信号来控制正被发送到外部装置600的屏幕数据。

控制单元521可将多个屏幕数据分别发送到多个外部装置600，并且可从多个外部装置600中的至少一个外部装置600接收控制信号。控制单元521可检查正被发送到至少一个外部装置600的屏幕数据并根据控制信号来控制屏幕数据。为了检查和控制屏幕数据，控制单元521包括显示管理单元523和连接管理单元525。

显示管理单元523可在显示单元517上显示依赖于至少一个应用的执行的屏幕数据。

连接管理单元525可与至少一个外部装置600连接屏幕镜像。如果从输入单元513接收到用于与外部装置600连接屏幕镜像的屏幕镜像执行信号，则连接管理单元525可搜索可与电子装置500执行屏幕镜像的至少一个外部装置600。连接管理单元525可在显示单元517上显示搜索到的至少一个外部装置600的列表。如果从输入单元513接收到针对列表上的外部装置600的选择信号，则连接管理单元525可与选择的外部装置600连接屏幕镜像。

在执行与外部装置600的屏幕镜像连接时，连接管理单元525可执行与外部装置600的协商。连接管理单元525可检查关于由电子装置500支持的分辨率的信息以及关于由外部装置600支持的分辨率的信息，并且确定被两个装置共同支持的分辨率。在与外部装置600的屏幕镜像连接期间，连接管理单元525可将控制信道检查请求发送到外部装置600，以便检查外部装置600是否能够使用控制信道。如果外部装置600能够使用控制信道，则电子装置500可从外部装置600接收关于该功能的消息。控制信道是用于由外部装置600发送能够控制电子装置500的控制信号的信道。当电子装置500和外部装置600使用miracast通信方案时，控制信道可以是uibc。连接管理单元525可在与外部装置600的屏幕镜像连接时接收外部装置600的识别信息。

如果从输入单元513接收到屏幕镜像结束信号，或者如果通过控制信道从外部装置600接收到屏幕镜像结束信号，则连接管理单元525可结束正与外部装置600执行的屏幕镜像。

根据本公开的实施例，在应用执行期间，如果请求与一个外部装置600执行屏幕镜像，则显示管理单元523可产生多个屏幕数据。如果显示管理单元523被设置为在应用中以第一操作模式显示，则显示管理单元523可通过连接管理单元525将第一屏幕数据(例如，第一图像帧数据)发送到外部装置600。显示管理单元523可在显示单元517上显示第二屏幕数据(例如，第二图像帧数据)。第一屏幕数据和第二屏幕数据可以是针对不同应用的屏幕数据。或者，第一屏幕数据和第二屏幕数据可以是针对相同应用的不同屏幕数据。

如果从外部装置600接收到控制信号，则显示管理单元523可检查外部装置600的识别信息。电子装置500可基于识别信息来检查正被发送到外部装置600的屏幕数据。由于正被发送到外部装置600的屏幕数据是第一屏幕数据，所以显示管理单元523可检查屏幕数据是否已被设置为在应用中以第一操作模式显示。

显示管理单元523可根据接收到的控制信号来控制第一屏幕数据。显示管理单元523可通过连接管理单元525将被控制的第一屏幕数据发送到外部装置600。例如，通过向相应的应用提供与在外部装置600中产生的控制信号相应的坐标，显示管理单元523可执行与在应用本身中产生控制信号的位置相应的功能。

在应用执行时，如果出现与多个外部装置600执行屏幕镜像的请求，则显示管理单元523可产生多个屏幕数据。如果显示管理单元523被设置为在第一应用中以第一操作模式显示，则显示管理单元523可通过连接管理单元525将第一屏幕数据发送到第一外部装置600a。如果显示管理单元523被设置为在第二应用中以第一操作模式显示，则显示管理单元523可通过连接管理单元525将第二屏幕数据发送到第二外部装置600b。显示管理单元523可在显示单元517上显示与第一屏幕数据和第二屏幕数据不同的第三屏幕数据。

如果从第一外部装置600a接收到控制信号，则显示管理单元523可检查第一外部装置600a的识别信息。电子装置500可基于识别信息来检查正被发送到第一外部装置600a的屏幕数据。由于正被发送到第一外部装置600a的屏幕数据是第一屏幕数据，所以显示管理单元523可检查显示管理单元523是否已被设置为在第一应用中以第一操作模式显示。

显示管理单元523可根据接收到的控制信号来控制第一屏幕数据。显示管理单元523可通过连接管理单元525将被控制的第一屏幕数据发送到第一外部装置600a。

如果从第二外部装置600b接收到控制信号，则显示管理单元523可检查第二外部装置600b的识别信息。电子装置500可基于识别信息来检查正被发送到第二外部装置600b的屏幕数据。由于正被发送到第二外部装置600b的屏幕数据是第二屏幕数据，所以显示管理单元523可检查显示管理单元523是否已被设置为在第二应用中以第一操作模式显示。

显示管理单元523可根据接收到的控制信号来控制第二屏幕数据。显示管理单元523可通过连接管理单元525将被控制的第二屏幕数据发送到第二外部装置600b。

根据本发明的实施例，在应用执行时，如果出现与多个外部装置600执行屏幕镜像的请求，则显示管理单元523可产生多个屏幕数据。如果显示管理单元523被设置为在第一应用中以第一操作模式显示，则显示管理单元523可通过连接管理单元525将第一屏幕数据发送到第一外部装置600a。如果显示管理单元523被设置为在第二应用中以第二操作模式显示，则显示管理单元523可通过连接管理单元525将第二屏幕数据发送到第二外部装置600b，并且在显示单元517上显示第二屏幕数据。

如果从第二外部装置600a接收到控制信号，则显示管理单元523可检查第二外部装置600b的识别信息。电子装置500可基于识别信息来检查正被发送到第二外部装置600b的屏幕数据。由于正被发送到第二外部装置600b的屏幕数据是与显示在显示单元517上的第二屏幕数据相同的第二屏幕数据，所以显示管理单元523可检查显示管理单元523是否已被设置为在第二应用中以第二操作模式显示。

显示管理单元523可根据接收到的控制信号来控制第二屏幕数据。显示管理单元523可通过连接管理单元525将被控制的第二屏幕数据发送到第二外部装置600b。显示管理单元523可检查是否需要对包括在控制信号中的坐标进行变换。例如，当电子装置500和第二外部装置600b具有不同的分辨率时，显示管理单元523可检查是否需要对坐标进行变换。当电子装置500处于肖像状态时，显示管理单元523可检查是否需要对坐标进行变换。

根据本公开的实施例，电子装置500可包括通信单元511和控制单元521，期中，通信单元511与外部装置600连接，控制单元521用于产生多个屏幕数据、将多个屏幕数据中的一个屏幕数据发送到外部装置600、根据从外部装置600接收到的控制信号来控制正被发送到外部装置的屏幕数据。

电子装置500还可包括显示多个屏幕数据中的另一个屏幕数据的显示单元517。

多个屏幕数据是分别与由电子装置500执行的各个不同功能相应的屏幕数据。

多个屏幕数据是分别与在电子装置500中的相同功能的执行相应的屏幕数据。

多个屏幕数据包括第一屏幕数据和第二屏幕数据。

第一屏幕数据和第二屏幕数据具有不同的分辨率。

第一屏幕数据具有第一范围的图像像素坐标，并且第二屏幕数据具有第二范围的图像像素坐标，并且第二范围的图像像素坐标中的至少一部分与第一范围的图像像素坐标中的至少一部分相同。

第一屏幕数据与第一应用程序相关，第二屏幕数据与第二应用程序相关。

第一屏幕数据与第一应用程序的第一操作相关，第二屏幕数据与第一应用程序的第二操作有关。

第一屏幕数据包括通过第一应用程序提供的媒体数据，并且第二图像帧数据包括第一应用程序的用户界面。

图7是示出根据本发明的实施例的在提供屏幕镜像服务的操作中的数据流的梯形图。

参照图7，在步骤701中，如果电子装置500被设置为在特定功能(例如应用)中以第一操作模式显示屏幕数据，则电子装置500产生第一屏幕数据和第二屏幕数据。在步骤703中，电子装置500将第一屏幕数据发送到与电子装置500连接以进行屏幕镜像的外部装置600。在执行屏幕镜像连接时，电子装置500可检查在电子装置500中可支持的分辨率信息和在外部装置600中可支持的分辨率信息。电子装置500可确定在两个装置中可共同支持的分辨率。在执行屏幕镜像连接时，电子装置500可将控制信道检查请求发送到外部装置600，以便检查外部装置600是否能够使用控制信道。如果外部装置600能够使用控制信道，则电子装置500可从外部装置600接收指示该能力的消息。控制信道是由外部装置600使用的用于控制电子装置500的信道。当电子装置500和外部装置600使用miracast通信方案时，控制信道可以是uibc。电子装置500可在与外部装置600进行屏幕镜像连接时接收外部装置600的识别信息。

在步骤705中，电子装置500显示第二屏幕数据。例如，第一屏幕数据和第二屏幕数据可以是根据不同的功能执行的各自的屏幕数据。第一屏幕数据是根据在电子装置500的背景中执行的功能的屏幕数据，并且第二屏幕数据是根据在电子装置500的前景中执行的功能的屏幕数据。第一屏幕数据和第二屏幕数据根据一个功能的执行而彼此不同。第一屏幕数据可以是由第二屏幕数据控制的屏幕数据。

在步骤707中，外部装置600显示从电子装置500接收的第一屏幕数据。在步骤709中，外部装置600接收来自用户的控制信号的输入。在步骤711中，外部装置600将输入的控制信号发送到电子装置500。在步骤713中，电子装置500根据从外部装置600接收到的控制信号来控制第一屏幕数据。

在步骤715中，电子装置500将被控制的第一屏幕数据发送到外部装置600。在步骤717中，外部装置600显示接收到的第一屏幕数据。

图8是示出根据本发明的实施例的在电子装置中执行与外部装置的屏幕镜像服务的方法的流程图。

参照图8，如果在步骤801用户输入用于执行屏幕镜像的信号，则电子装置500执行下面描述的步骤803。如果在步骤801用户没有输入用于执行屏幕镜像的信号，则电子装置500等待屏幕镜像执行信号的输入。

在步骤803中，电子装置500与外部装置600连接以执行屏幕镜像。在执行屏幕镜像连接时，电子装置500可检查关于由电子装置500支持的分辨率的信息以及关于由外部装置600支持的分辨率的信息。电子装置500可确定由两个装置共同支持的分辨率。在执行屏幕镜像连接时，电子装置500可将控制信道检查请求发送到外部装置600，以便检查外部装置600是否能够使用控制信道。如果外部装置600能够使用控制信道，则电子装置500可从外部装置600接收指示该能力的消息。

在步骤805中，电子装置500产生第一屏幕数据和第二屏幕数据。在步骤807中，电子装置500将第一屏幕数据发送到外部装置600，并将第二屏幕数据显示在显示单元517上。

如果在步骤809从外部装置600接收到控制信号，则电子装置500执行步骤811，如果未接收到控制信号，则电子装置500返回到步骤807。在步骤811中，电子装置500检查已发送控制信号的外部装置600的识别信息。在步骤813中，电子装置500基于控制信号来控制正被发送到外部装置600的第一屏幕数据。例如，电子装置500可根据识别信息来确定正被发送到外部装置600的屏幕数据是第一屏幕数据。电子装置500可根据控制信号来控制正被发送到外部装置600的第一屏幕数据。

如果在步骤815接收到屏幕镜像断开信号，则电子装置500结束屏幕镜像的执行。如果在步骤815未接收到屏幕镜像断开信号，则电子装置500返回到步骤807。

根据本公开的实施例，用于在电子装置500中提供屏幕镜像服务的方法可包括与外部装置600连接，产生多个屏幕数据，将多个屏幕数据中的任意一个屏幕数据发送到外部装置600，并且根据从外部装置600接收到的控制信号来控制正被发送到外部装置的屏幕数据。

该方法还可包括显示多个屏幕数据中的另一个屏幕数据。

多个屏幕数据是分别与由电子装置500执行的不同的各个功能相应的屏幕数据。

多个屏幕数据是分别与在电子装置500中的相同功能的执行相应的不同的屏幕数据。

多个屏幕数据包括第一屏幕数据和第二屏幕数据。

第一屏幕数据和第二屏幕数据具有不同的分辨率。

第一屏幕数据具有第一范围的图像像素坐标，并且第二屏幕数据具有第二范围的图像像素坐标，并且第二范围的图像像素坐标中的至少一部分与第一范围的图像像素坐标中的至少一部分相同。

第一屏幕数据与第一应用程序相关，第二屏幕数据与第二应用程序相关。

第一屏幕数据与第一应用程序的第一操作相关，第二屏幕数据与第一应用程序的第二操作相关。

第一屏幕数据包括通过第一应用程序提供的媒体数据，并且第二屏幕数据包括第一应用程序的用户界面。

根据本公开的实施例，一种存储执行方法的程序的计算机可读存储器，所述方法包括连接到外部装置600，产生多个屏幕数据，将多个屏幕数据中的一个屏幕数据发送到外部装置600，以及根据从外部装置600接收到的控制信号来控制正被发送到外部装置的屏幕数据。

图9是根据本发明的实施例的根据在电子装置和外部装置中提供屏幕镜像服务的方法的示例屏幕的示图。

参照图9，电子装置500可产生第一屏幕数据902和第二屏幕数据901，并将第一屏幕数据902发送到外部装置600。电子装置500可显示第二屏幕数据901。

例如，当用户执行与视频观看相关的应用时，电子装置500可设置在应用中以第一操作模式显示屏幕数据。电子装置500可根据设置结果将针对视频数据观看的第一屏幕数据902发送到外部装置600。电子装置500可在显示单元517上显示针对与相册相关的应用的第二屏幕数据901。

如果从外部装置600输入控制信号，则电子装置500可执行与控制信号相应的功能。例如，当电子装置500正在将作为第一屏幕数据902的视频数据发送到外部装置600时，控制信号可被输入到外部装置600中的任意点。根据输入控制信号，电子装置500可暂停正被播放的视频数据的播放。电子装置500可将暂停的第一屏幕数据902发送到外部装置600。

图10是示出根据本发明的另一实施例的提供屏幕镜像服务的流程的梯形图。

参照图10，在步骤1001中，如果电子装置500被设置为在第一应用中以第一操作模式显示屏幕数据，并且电子装置500被进一步设置为在第二应用中以第二操作模式显示屏幕数据，则电子装置500产生第一屏幕数据和第二屏幕数据。在步骤1003中，电子装置500将第一屏幕数据发送到与电子装置500连接以进行屏幕镜像的第一外部装置600a。在步骤1005中，电子装置500将第二屏幕数据发送到与电子装置500连接以进行屏幕镜像的第二外部装置600b。在步骤1007中，电子装置500显示第二屏幕数据。

在步骤1009中，第一外部装置600a显示从电子装置500接收的第一屏幕数据。在步骤1011中，第二外部装置600b显示从电子装置500接收的第二屏幕数据。

在步骤1013中，第一外部装置600a接收来自用户的控制信号的输入。在步骤1015中，第一外部装置600a将输入的控制信号发送到电子装置500。在步骤1017中，电子装置500根据从第一外部装置600a接收的控制信号来控制第一屏幕数据。在步骤1019中，电子装置500将被控制的第一屏幕数据发送到第一外部装置600a。在步骤1021中，电子装置500将第二屏幕数据周期性地或实时地发送到第二外部装置600b。

在步骤1023中，第一外部装置600a显示被控制的第一屏幕数据。在步骤1025中，第二外部装置600b周期性地或实时地显示从电子装置500接收的第二屏幕数据。

在步骤1027中，第二外部装置600b接收来自用户的控制信号的输入。在步骤1029中，第二外部装置600b将输入的控制信号发送到电子装置500。在步骤1031中，电子装置500根据从第二外部装置600b接收到的控制信号来控制第二屏幕数据。在步骤1033中，电子装置500将被控制的第二屏幕数据发送到第二外部装置600b。在步骤1035中，电子装置500周期性地或实时地将第一屏幕数据发送到第一外部装置600a。

在步骤1037中，第二外部装置600b显示被控制的第二屏幕数据。在步骤1039中，第一外部装置600a周期性地或实时地显示从电子装置500接收到的第一屏幕数据。

图11是示出根据本发明的另一实施例的在电子装置中执行与外部装置的屏幕镜像服务的方法的流程图。

参照图11，如果在步骤1101用户输入用于执行屏幕镜像的信号，则电子装置500可执行步骤1103。如果在步骤1101用户没有输入用于执行屏幕镜像的信号，则电子装置500可等待屏幕镜像执行信号的输入。

在步骤1103中，电子装置500与多个外部装置600进行屏幕镜像连接处理。多个外部装置600包括第一外部装置600a和第二外部装置600b。在执行屏幕镜像连接处理时，电子装置500可检查关于由电子装置500支持的分辨率的信息和关于由第一外部装置600a和第二外部装置600b中的每一个支持的分辨率的信息。电子装置500可确定由电子装置和第一外部装置600a共同支持的分辨率。电子装置500还可确定由电子装置和第二外部装置600b共同支持的分辨率。在执行屏幕镜像连接处理时，电子装置500可将控制信道检查请求发送到第一外部装置600a和第二外部装置600b，以便检查第一外部装置600a和第二外部装置600b中的每一个外部装置是否能够使用控制通道。如果第一外部装置600a和第二外部装置600b能够使用控制信道，则电子装置500可从第一外部装置600a和第二外部装置600b接收关于该能力的消息。

在步骤1105中，电子装置500产生多个屏幕数据。在步骤1107中，电子装置500在显示单元517上显示多个屏幕数据中的任意一个屏幕数据。在步骤1109中，电子装置500将多个屏幕数据分别发送到第一外部装置600a和第二外部装置600b。

如果在步骤1111从外部装置600接收到控制信号，则电子装置500执行步骤1113。然而，如果在步骤1111未接收到控制信号，则电子装置500返回到步骤1109。在步骤1113中，电子装置500检查正被发送到已发送了控制信号的外部装置600(即，第一外部装置600a和/或第二外部装置600b)的屏幕数据。

在步骤1115中，电子装置500检查与正被发送到外部装置600的屏幕数据相应的操作模式是否是第一操作模式。如果在步骤1115电子装置500确定与屏幕数据相应的操作模式是第一操作模式，则电子装置500执行步骤1117。在步骤1117中，电子装置500根据控制信号来控制正被发送到外部装置600的屏幕数据。

如果在步骤1115电子装置500确定与屏幕数据相应的操作模式不是第一操作模式，则电子装置500执行步骤1119。在步骤1119中，电子装置500检查是否需要对包括在控制信号中的坐标进行变换。如果在步骤1119电子装置500确定需要对包括在控制信号中的坐标进行变换，则电子装置500执行步骤1121。在步骤1121中，电子装置500对坐标进行变换并执行步骤1117，其中，在步骤1117，电子装置500控制正被发送到外部装置600的屏幕数据与变换的坐标相应。

如果电子装置500确定不需要对包含在控制信号中的坐标进行变换，则电子装置500执行步骤1117。在步骤1117中，电子装置500控制正被发送到外部装置600的屏幕数据与坐标相应。

如果在步骤1123接收到屏幕镜像断开信号，则电子装置500结束屏幕镜像的执行。如果在步骤1123未接收到屏幕镜像断开信号，则电子装置500返回到步骤1109。

根据本公开的实施例，用于在电子装置中提供屏幕镜像服务的方法可包括：产生第一图像帧数据和第二图像帧数据，将第一图像帧数据发送到第一外部装置600a，显示第二图像帧数据同时将第二图像帧数据发送到第二外部装置600b，接收与从第一外部装置600a接收的输入相关的第一信号，响应于第一信号，执行第一图像帧数据中的至少部分的改变和/或与第一图像帧数据相关的操作，将与改变的第一图像帧数据和/或操作相关的信号发送到第一外部装置600a，接收与从第二外部装置600b接收的输入相关的第二信号，响应于第二信号，执行第二图像帧数据中的至少部分的改变和/或与第二图像帧数据相关的操作，并且在发送到第二外部装置600b时，显示与改变的第一图像帧数据和/或与第二图像帧数据相关的操作相关的信号。

图12和图13是示出根据本发明的另一实施例的根据在电子装置和外部装置中提供屏幕镜像服务的方法的屏幕的示例的示图。

参照图12，电子装置500可产生第一屏幕数据1202和第二屏幕数据1201。电子装置500可将第一屏幕数据1202发送到第一外部装置600a。电子装置500可在显示单元517上显示第二屏幕数据1201，并将第二屏幕数据1201发送到第二外部装置600b。

例如，当用户执行与视频观看相关的第一应用时，电子装置500可设置在第一应用中以第一操作模式显示屏幕数据。电子装置500可根据设置结果将关于视频数据观看的第一屏幕数据1202发送到第一外部装置600a。当用户执行与相册相关的第二应用时，电子装置500可设置在第二应用中以第二操作模式显示屏幕数据。电子装置500可根据设置结果在显示单元517上显示关于相册的第二屏幕数据1201。电子装置500可将显示在显示单元517上的第二屏幕数据1201发送到第二外部装置600b。第二外部装置600b可显示变换后的第二屏幕数据1203，其中，变换后的第二屏幕数据1203是显示在电子装置500上的第二屏幕数据1201的变换。

如果从第一外部装置600a和第二外部装置600b输入控制信号，则电子装置500可检查已发送了控制信号的第一外部装置600a和第二外部装置600b的识别信息。如果电子装置500确定从第一外部装置600a接收到控制信号，则电子装置500可基于第一外部装置600a的识别信息来检查正被发送到第一外部装置600a的屏幕数据。如果电子装置500确定正被发送到第一外部装置600a的屏幕数据是第一屏幕数据，则电子装置500可检查与第一屏幕数据相应的操作模式。由于与第一屏幕数据相应的操作模式是第一操作模式，所以电子装置500可根据接收到的控制信号来控制正被发送到第一外部装置600a的第一屏幕数据。

如果电子装置500确定从第二外部装置600b接收到控制信号，则电子装置500可基于第二外部装置600b的识别信息来检查正被发送到第二外部装置600b的屏幕数据。如果电子装置500确定正被发送到第二外部装置600b的屏幕数据是第二屏幕数据，则电子装置500可检查与第二屏幕数据相应的操作模式。由于与第二屏幕数据相应的操作模式是第二操作模式，所以电子装置500可检查包括在接收的控制信号中的坐标的变换或非变换。如果电子装置确定需要对包括在控制信号中的坐标进行变换，则电子装置500可对包括在控制信号中的坐标进行变换。电子装置500可执行与变换的坐标相应的功能。然后，电子装置500可根据执行的与变换的坐标相应的功能来控制正被发送到第二外部装置600b的第二屏幕数据。

参照图13，电子装置500可产生第一屏幕数据1302、第二屏幕数据1303和第三屏幕数据1301。电子装置500可将第一屏幕数据1302发送到第一外部装置600a，并将第二屏幕数据1303发送到第二外部装置600b。电子装置500可在显示单元517上显示第三屏幕数据1301。

例如，当用户执行与视频观看相关的第一应用时，电子装置500可设置在第一应用中以第一操作模式显示屏幕数据。电子装置500可根据设置结果将针对视频数据观看的第一屏幕数据1302发送到第一外部装置600a。当用户执行与视频观看相关的第二应用时，电子装置500可设置在第二应用中以第二操作模式显示屏幕数据。电子装置500可根据设置结果将针对视频数据观看的第二屏幕数据1303发送到第二外部装置600b。如果执行与相册相关的第三应用，则电子装置500可显示关于相册的第三屏幕数据1301。

如果从第一外部装置600a和第二外部装置600b输入控制信号，则电子装置500可检查已发送了控制信号的第一外部装置600a和第二外部装置600b的识别信息。如果电子装置500确定从第一外部装置600a接收到控制信号，则电子装置500可基于第一外部装置600a的识别信息来检查正被发送到第一外部装置600a的屏幕数据。如果电子装置500确定正被发送到第一外部装置600a的屏幕数据是第一屏幕数据，则电子装置500可检查与第一屏幕数据相应的操作模式。由于与第一屏幕数据相应的操作模式是第一操作模式，所以电子装置500可根据接收到的控制信号来控制正被发送到第一外部装置600a的第一屏幕数据。

如果从第二外部装置600b接收到控制信号，则电子装置500可基于第二外部装置600b的识别信息来检查正被发送到第二外部装置600b的屏幕数据。如果电子装置500确定正被发送到第二外部装置600b的屏幕数据是第二屏幕数据，则电子装置500可检查与第二屏幕数据相应的操作模式。由于与第二屏幕数据相应的操作模式是第一操作模式，所以电子装置500可根据接收到的控制信号来控制正被发送到第二外部装置600b的第二屏幕数据。

如上所述，如果在与电子装置执行屏幕镜像的至少一个外部装置中的任意外部装置中产生控制信号，则当控制信号产生时，根据本发明的实施例的用于提供屏幕镜像服务的装置和方法可检查在应用中设置的操作模式。电子装置可基于产生的控制信号和检查的操作模式来执行功能，并且可将与功能相应的屏幕数据发送到外部装置。通过这种方式，在执行屏幕镜像时，可通过在外部装置中产生的控制信号来控制电子装置，从而提高用户的便利性。

存储在存储器中的诸如程序指令和/或数据的信息可被存储在计算机可读记录介质中。计算机可读记录介质可包括例如硬盘、软盘、磁介质(例如，磁带)、光学介质(例如，致密盘只读存储器(cd-rom)和数字通用盘(dvd))、磁光(mo)介质(例如，软光盘)、硬件装置(例如，只读存储器(rom))、随机存取存储器(ram)等)等。程序指令不仅可包括机械语言代码(诸如由编译器制作的代码)，还可包括可由计算机使用译码器执行的高级语言代码等。上述硬件装置可被构造为用作一个或更多个软件模块以执行各种实施例的操作，反之亦然。

根据本公开的各种实施例的模块或编程模块可包括上述构成元件中的一个或更多个，或者省略上述构成元件中的一些，或者包括另外的其他构成元件。由模块、编程模块或其他构成元件执行的操作可以以顺序、并行、重复或启发式的方式来执行。一些操作可以以不同的顺序执行或可以被省略，或者可以添加其他操作。

虽然已经参照本发明的一些实施例示出和描述了本发明，但是本领域技术人员将会理解，在不脱离由所附权利要求及其等同物定义的本发明的精神和范围的情况下，可以对其做出形式和细节上的各种改变。