本公开涉及一种用于合成视图(view)的方法以及执行该方法的电子设备，该视图构成了显示器的屏幕。
背景技术：
随着无线技术的发展，电子设备便于携带并能够自由连接到有线/无线网络。例如，除了呼叫功能之外，诸如智能电话、平板个人电脑(pc)等的便携式电子设备能够支持诸如游戏、因特网连接和多媒体内容的回放的各种功能以及呼叫功能和消息发送/接收功能。
例如，为了提供各种功能，电子设备可以执行与功能对应的应用程序。
在由电子设备执行的应用程序中可以预先定义提供给显示器的图像帧。例如，可以由应用程序的开发者预先设计呈现信息和组成图像帧的至少一个视图的布局。
技术实现要素：
即使用户不期望的图像、视频、文本等(例如，广告)被包括在执行屏幕的一部分中，但是用户很难按照他/她的愿望移除图像、视频、文本或类似内容。
例如，即使电子设备通过显示镜像与外部电子设备共享执行屏幕，但是其中包括所有视图的相同执行屏幕仅被输出在电子设备和外部电子设备的显示器中，并且不输出仅包括除了一个或多个视图之外的“一些视图”的屏幕。
因此，用户基于他/她自己的偏好将包括在执行屏幕中的“一些视图”发送到外部电子设备是麻烦的。或者，用户根据他/她自己的偏好来记录或捕捉“一些视图”是很麻烦的。此外，当用户期望在外部电子设备中输出仅包括“一些视图”的屏幕时，由于仅包括“一些视图”的屏幕的图像帧需要被新呈现，因此可能会大量消耗计算资源。
本公开的各方面至少解决上述问题和/或缺点，并且至少提供下面描述的优点。因此，本公开的一个方面在于提供一种屏幕合成方法和执行该屏幕合成方法的电子设备，该方法在电子设备的框架层中以他/她自己的偏好重新构成组成图像帧的视图。
为了解决上述缺陷，提供一种包括显示器、存储器和处理器的电子设备是主要目的。处理器被配置为呈现基于至少一个应用的执行的多个视图，将多个视图存储在存储器中，以基于包括从多个视图中选择的至少一个视图的第一视图组生成第一图像帧，并且在显示器中输出第一图像帧。
根据本公开的一方面，一种电子设备包括：存储器，被配置为存储关于至少一个视图的信息；和处理器。处理器被配置为通过与处理器可操作地连接的显示器输出包括与至少一个应用的执行相关联的第一视图和第二视图的第一屏幕并且至少基于对第一视图或第二视图的选择生成要发送到外部电子设备的第二屏幕。第二个屏幕包含所选视图。
根据本公开的一方面，用于合成屏幕的电子设备的方法包括：呈现基于至少一个应用的执行的多个视图，将多个视图存储在电子设备的存储器中，生成基于第一视图组的第一图像帧，所述第一视图组包括从所述多个视图中选择的至少一个视图，并且在所述电子设备的显示器中输出所述第一图像帧。
根据本公开的一个方面，在存储由至少一个处理器执行并且可由计算机读取的指令的计算机记录介质中，该指令使计算机呈现基于至少一个应用的执行的多个视图，基于包括从多个视图中选择的至少一个视图的第一视图组来生成第一图像帧，并且在电子设备的显示器中输出第一图像帧。
根据以下结合附图公开了本公开的各种实施例的详细描述，本公开的其他方面、优点和显著特征对于本领域技术人员将变得显而易见。
在进行下面的详细描述之前，阐述在本专利文件中使用的某些词和短语的定义可能是有利的：术语“包括”和“包含”及其派生词意味着包括但不限于；术语“或”是包含性的，意思是和/或；短语“与...相关”和“与其相关联”及其派生词可以表示包括、包括在内、与...互连、包含、包含在...内、连接到或与...连接、耦合到或与...通信、与...合作、交织、并置、接近、绑定到或与...绑定、具有、具有...的属性等；并且术语“控制器”是指控制至少一个操作的任何设备、系统或其部分，这样的设备可以以硬件、固件或软件或者其至少两个的某种组合来实现。应该注意，与任何特定控制器相关的功能可以是集中式的或分布式的，无论是本地还是远程。在本专利文件中提供了对某些词语和短语的定义，本领域的普通技术人员应该理解，在许多(即使不是大多数情况下)这些定义适用于此类定义的词语和短语的以前以及将来的使用。
附图说明
为了更完整地理解本公开及其优点，现在参考以下结合附图的描述，其中相同的附图标记表示相同的部分：
图1是根据各种实施例的用于描述视图的图；
图2示出了根据本公开的各种实施例的电子设备的框图；
图3示出了根据各种实施例的电子设备就软件而言的分级框图；
图4是用于说明根据实施例的合成屏幕的方法的图。
图5是用于说明根据实施例的电子设备的操作的图。
图6a示出了根据实施例的用于合成屏幕的方法；
图6b示出了根据另一个实施例的用于合成屏幕的方法。
图7示出了根据另一个实施例的用于合成屏幕的方法。
图8示出了根据实施例的用于描述屏幕合成方法的电子设备的屏幕。
图9示出了根据实施例的用于描述通过使用用于合成屏幕的方法与多个电子设备共享屏幕的方法。
图10是用于说明根据实施例的利用合成屏幕的方法与多个电子设备共享屏幕的图。
图11示出了根据各种实施例的电子设备的框图。和
图12示出根据各种实施例的程序模块的框图。
在整个附图中，应该注意的是，相似的附图标记用于描绘相同或相似的元件、特征和结构。
具体实施方式
以下讨论的图1至图12以及用于描述本专利文件中的本公开的原理的各种实施例仅作为说明，并且不应以任何方式解释为限制本公开的范围。本领域技术人员将理解，本公开的原理可以在任何适当布置的服务和电子设备中实现。
可以参照附图描述本公开的各种实施例。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施例进行各种修改、等效和/或替代。关于附图的描述，类似的部件可以用类似的附图标记标记。
在本文公开的本公开中，这里使用的表述“具有”、“可具有”、“包括”和“包含”或“可包括”和“可包含”表示存在对应特征(例如，诸如数值、功能、操作或组件)，但不排除附加功能的存在。
在这里公开的本公开中，这里使用的表述“a或b”、“a或/和b中的至少一个”、或“a或/和b中的一个或多个”等可以包括一个或多个相关联的所列项目的任何和所有组合。例如，术语“a或b”、“a和b中的至少一个”或“a或b中的至少一个”可以指：当包括至少一个a时、当包括至少一个b时、或者包括至少一个a和至少一个b两者时。
这里使用的诸如“第一”、“第二”等的术语可以指代本公开的各种实施例的各种元件，但是不限制这些元件。例如，“第一用户设备”和“第二用户设备”指示不同的用户设备，而不管命令或优先级如何。例如，“第一用户设备”和“第二用户设备”指示不同的用户设备。例如，在不脱离本公开的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。
将理解的是，当元件(例如，第一元件)被称为“(可操作地或通信地)耦合到另一元件(例如，第二元件)”或“连接到”另一元件时，其可以直接与/耦合到或连接到另一元件或可以存在介入元件(例如，第三元件)。相反，当元件(例如，第一元件)被称为“直接耦合到”或“直接连接到”另一元件(例如，第二元件)时，应该理解的是，不存在介入元件(例如，第三元件)。
根据情况，这里使用的表述“被配置为”可以用作例如“适合”、“具有......的能力”、“设计为......”、“适应于......”、“做出”或“有能力”。术语“配置”不必须仅意味着硬件中“专门设计”。相反，表达“被配置为”的设备可能意味着该设备“能够”与另一个设备或其他组件一起操作。cpu，例如“配置为执行a、b和c的处理器”，可以表示用于执行相应操作的专用处理器(例如，嵌入式处理器)或通用处理器(例如，中央处理单元(cpu)或应用处理器)，其可以通过执行存储在存储器设备中的一个或多个软件程序来执行相应的操作。
本公开中使用的术语被用于描述本公开的特定实施例，并且不旨在限制本公开的范围。除非另有说明，单数形式的术语可以包括复数形式。这里使用的包括技术或科学术语的所有术语可以具有本领域技术人员通常理解的相同含义。将进一步理解的是，除非在这里的本公开的各种实施例中明确地如此定义，否则在词典中定义并且通常使用的术语还应当被解释为相关领域的惯例，而不是理想化或过度形式化的检测。在一些示例中，即使术语是在说明书中定义的术语，但是它们可能不被解释为排除本公开的实施例。
根据本公开的各种实施例的电子设备可以包括智能手机、平板个人计算机(pc)、移动电话、视频电话、电子书阅读器、台式pc、膝上型pc、上网本计算机、工作站、服务器、个人数字(pda)、便携式多媒体播放器(pmp)、运动图像专家组(mpeg-1或mpeg-2)音频层3(mp3)播放器、移动医疗设备、相机或可穿戴设备。根据各种实施例，可穿戴设备可以包括附件类型(例如手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜或头戴式设备(hmd)、织物或衣服-整合型(例如电子服装)、身体附着型(例如皮肤垫或纹身)或可植入型(例如可植入电路)。
根据一个实施例，电子设备可以是家用电器。家用电器可以包括例如电视(tv)、数字多功能盘(dvd)播放器、音响、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、电视盒(例如，samsunghomesynctm、appletvtm或googletvtm)、游戏控制台(例如xboxtm和playstationtm)、电子字典、电子密钥、摄像机、电子相框等。
根据另一个实施例，电子设备可以包括医疗设备(例如，各种便携式医学测量设备(例如，血糖监测设备、心跳测量设备、血压测量设备、体温测量设备等)、磁共振血管造影(mra)、磁共振成像(mri)、计算机断层扫描(ct)、扫描仪和超声设备)、导航设备、全球导航卫星系统(gnss)接收机、事件数据记录器(edr)、飞行数据记录器(fdr)、车辆信息娱乐设备、船只电子设备(例如导航系统和陀螺罗经)、航空电子设备、安全设备、车辆头部单元、工业或家庭机器人、自动柜员机(atm)、销售点(pos)或物联网(例如，灯泡、各种传感器、电气或煤气表、喷淋装置、火灾报警器、恒温器、路灯、烤面包机、锻炼设备、热水箱、加热器、锅炉等)中的至少一个。
根据一个实施例，电子设备可以包括家具或建筑物/结构的部件、电子板、电子签名接收设备、投影仪或各种测量仪器(例如水表、电表、煤气表或波浪米等)中的至少一个。根据各种实施例，电子设备可以是上述设备之一或其组合。根据实施例的电子设备可以是柔性电子设备。此外，根据本公开的实施例的电子设备可以不限于上述电子设备，并且可以包括根据技术发展的其他电子设备和新电子设备。
在下文中，将参照附图描述根据各种实施例的电子设备。这里使用的术语“用户”可以指使用电子设备的人或者可以指代使用电子设备的设备(例如，人工智能电子设备)。
图1是根据本公开的各种实施例的用于描述视图的图。
参考图1，在电子设备100的显示器中输出与至少一个应用(例如，网络浏览器等)相对应的屏幕10(或者就显示而言的图像帧)。屏幕10通过分层地合并多个视图11至14而合成。
例如，第一视图11可以响应于例如通知管理器的执行而被呈现。例如，指示基站和电子设备100之间的信号强度的图标11-1、指示蜂窝数据通信的图标11-2以及指示时间的图标11-3可以被包括在第一视图11中。
例如，第二视图12可以根据网络浏览器的执行来呈现。第二视图12可以组成网络浏览器的活动屏幕的一部分。由例如网络浏览器呈现的网页的内容可以被包括在第二视图12中。
例如，第三视图13可以根据网络浏览器的执行来呈现。第三视图13可以组成网络浏览器的活动屏幕的一部分。在第三视图13中，例如，可以包括地址栏13-1、与网络浏览器的网页转换相关联的按钮13-2等。
例如，第四视图14可以根据网络浏览器的执行来呈现。第四视图14可以组成网络浏览器的活动屏幕的一部分。在第四视图14中，例如，可以包括由网络浏览器呈现的广告图像14-1等。
由于其名称，第一至第四视图11至14基本不受限制。例如，“视图”可以用作表面或图层。另外，每个视图可以包括例如文本、图像、视频、图标、ui符号或其组合。
图2图示了根据本公开的各种实施例的电子设备的框图。
参考图2，根据各种实施例，电子设备101、102或104或服务器106可以通过网络162或局域网164彼此连接。电子设备101可以包括总线110、显示器120、存储器130、输入/输出接口150、通信电路160和处理器170。根据一个实施例，电子设备101可以不包括上述元件中的至少一个，或者可以进一步包括其他元件。
总线110可以是例如将元件110至170相互连接并且在元件之间发送通信(例如，控制消息和/或数据)的电路。
显示器120可以包括例如液晶显示器(lcd)、发光二极管(led)显示器、有机led(oled)显示器、微机电系统(mems)显示器或电子纸显示器。
显示器120可以与例如处理器170可操作地连接，并且可以基于从处理器170接收的图像帧(例如，(活动)屏幕)来显示用户的各种内容(例如，文本、图像、视频、图标、符号等)。显示器120可以包括触摸屏，并且可以例如使用电子笔或用户身体的一部分接收触摸、手势、接近或悬停。根据实施例，显示器120可以包括能够测量用户触摸上的压力强度的压力传感器(或“力传感器”)。压力传感器可以与显示器120集成在一起，或者可以用独立于显示器120的一个或多个传感器来实现。
存储器130可以包括易失性和/或非易失性存储器。例如，存储器130可以存储与电子设备101的至少一个其他元件相关联的指令或数据。根据实施例，存储器130可以存储关于至少一个视图的信息。例如，存储器130可以包括存储由处理器170呈现的多个视图的多个缓冲器。
根据各种实施例，存储器130可以存储软件和/或程序140。
程序140可以包括例如内核141、中间件143、应用程序编程接口(api)145和/或应用程序(或“应用”)147。内核141的至少一部分、中间件143或api145可以被称为“操作系统(os)”。
例如，内核141可以控制或管理用于执行其他程序(例如，中间件143、api145和应用程序147)的操作或功能的系统资源(例如，总线110、处理器170、存储器130等)。此外，内核141可以提供允许中间件143、api145或应用程序147访问电子设备101的分立组件以便控制或管理系统资源的接口。
中间件143可以执行例如中介角色，使得api145或应用程序147与内核141通信以交换数据。
此外，中间件143可以根据优先级来处理从应用程序147接收的一个或多个任务请求。例如，中间件143可以分配优先级，这使得可以将电子设备101的系统资源(例如，总线110、处理器170、存储器130等)用于应用程序147中的至少一个。例如，中间件143可以根据分配给至少一个应用程序147的优先级来处理一个或多个任务请求，这使得可以对一个或多个任务请求执行调度或负载平衡。
api145可以是例如应用程序147通过其来控制由内核141或中间件143提供的功能的接口，并且可以包括例如用于文件控制、窗口控制、图像处理、字符控制等的至少一个接口或功能(例如，指令)。
输入/输出接口150可以提供允许电子设备101与外部电子设备102可操作地连接的接口。例如，输入/输出接口150可以发送从用户或另一个外部设备输入的指令或数据到电子设备101的其他元件。此外，输入/输出接口150可以将从电子设备101的其他组件接收的指令或数据输出到用户或另一个外部设备。
通信电路160可建立电子设备101与外部设备(例如，第一外部电子设备102、第二外部电子设备104或服务器106)之间的通信。例如，通信电路160可以通过无线通信或有线通信连接到网络162以与外部设备(例如，第二外部设备104或服务器106)通信。
无线通信可以使用例如长期演进(lte)、高级lte(lte-a)、码分多址(cdma)、宽带cdma(wcdma)、通用移动电信系统(umts)、无线通信系统、无线宽带(wibro)或全球移动通信系统(gsm)作为蜂窝通信协议。此外，无线通信可以包括例如局域网164。局域网164可以包括例如无线保真(wi-fi)、蓝牙、近场通信(nfc)、磁安全传输(mst)或全球导航卫星系统(gnss)。
mst可以通过使用电磁信号基于传输数据生成脉冲，并且该脉冲可以生成磁场信号。电子设备101可以将磁场信号发送到销售点(pos)。pos可以使用mst读取器检测磁场信号，并且可以通过将检测到的磁场信号转换为电信号来恢复数据。
gnss可以包括全球定位系统(gps)、全球导航卫星系统(glonass)、北斗导航卫星系统(以下称为“北斗”)或欧洲全球卫星导航系统(伽利略)中的至少一个。在下文中，“gps”和“gnss”可以在本公开中互换使用。
有线通信可以包括例如通用串行总线(usb)、高清晰度多媒体接口(hdmi)、推荐标准232(rs-232)、普通老式电话服务(pots)以及其他通信协议中的至少一个等。网络162可以包括电信网络中的至少一个，例如计算机网络(例如lan或wan)、因特网和电话网络。
处理器170可以包括例如中央处理单元(cpu)、应用处理器(ap)、图形处理单元(gpu)或通信处理器(cp)中的一个或多个。处理器170可以执行例如与电子设备101的至少一个其他元件的控制或通信相关联的数据处理或操作。
根据一个实施例，处理器170可以呈现构成活动屏幕的多个视图，其基于至少一个应用的执行，并且可以将多个视图存储在存储器130中。例如，多个视图的每一个可以被存储在存储器130中包括的多个缓冲器中的至少一些缓冲器中。
处理器170可以基于例如从多个视图中选择的第一视图组来生成第一图像帧(屏幕)。接下来，处理器170可以在显示器120中输出所生成的第一图像帧。
根据一个实施例，第一视图组可以包括至少一个视图。例如，当第一视图组包括一个视图时，处理器170可以基于该一个视图生成第一图像帧。作为另一示例，当第一视图组包括两个或更多个视图时，处理器170可以通过合并两个或更多个视图来生成第一图像帧。第一视图组可以由处理器170执行和/或实现的合成器合并。例如，合成器可以对应于表面投递器(surfaceflinger)。
根据一个实施例，处理器170可以输出用户界面(ui)，其允许用户在显示器120中选择第一视图组(或第二视图组、第三组视图等)。用户可以通过显示器120中的ui输出来选择他/她希望的视图(例如，第一视图组)。
例如，用户可以通过使用指定手势(例如，触摸滑动，选择指定按钮等)来排除通过ui输出的多个视图中的至少一些。因此，用户可以选择他/她期望的视图(例如，第一视图组)。换句话说，可以通过使用ui在用户处排除多个视图中的至少一些(参考图8)来选择第一视图组。
根据各种实施例，除了第一视图组之外，用户可以选择第二视图组和/或第三组视图。第二视图组和/或第三组视图可以包括从多个视图中选择的至少一个视图。第二视图组的数量和/或第三组视图的数量可以与第一视图组的数量相同或不同。
根据一个实施例，处理器170可以基于用户选择的第二视图组生成第二图像帧，并且可以通过输入/输出接口150(例如，usb接口、hdmi接口等)将第二图像帧发送到外部电子设备102。
根据另一个实施例，处理器170可以基于第三组视图(其包括用户选择的至少一个视图)来生成第三图像帧，并且可以通过通信电路160将第三图像帧发送到外部电子设备104。
根据各种实施例，处理器170可以执行图6a、图6b、图7和图9中描述的各种操作。然而，在图6a、图6b、图7和图9中描述的处理器170的操作，作为例子，不限于上述说明。例如，应该理解，在本公开的另一部分中描述的“处理器”的操作是处理器170的操作。另外，应当理解，被描述为电子设备201的操作的至少一些操作是处理器170的操作。
第一和第二外部电子设备102和104中的每一个可以是类型与电子设备101的类型不同或相同的设备。根据实施例，服务器106可以包括服务器或一组两个或更多的服务器。根据各种实施例，电子设备101将执行的操作的全部或一部分可以由另一个或多个电子设备(例如，电子设备102和104以及服务器106)执行。根据实施例，当电子设备101自动执行任何功能或服务或者响应于请求执行任何功能或服务时，电子设备101可以不在内部执行功能或服务，但是另选地，可以从其他设备(例如，第一或第二外部电子设备102或104或服务器106)请求与电子设备101相关联的至少一部分功能。另一电子设备(例如，第一或第二外部电子设备102或104或服务器106)
可以执行所请求的功能或附加功能，并且可以将执行结果发送给电子设备101。电子设备101可以使用接收的结果来提供请求的功能或服务，或者可额外处理接收的结果以提供所请求的功能或服务。为此，例如，可以使用云计算、分布式计算或客户端-服务器计算。
图3示出根据实施例的就软件而言的电子设备的分级框图。
参考图3，根据实施例，电子设备可以包括应用层310、应用框架层320、库层330、内核(例如，linux内核)层340和硬件层350。例如，每个应用层310、应用框架层320、库层330和/或内核层340的元件可以通过处理器和存储器之间的交互来实现。可以理解的是，包括在层310至340中的每个元件的操作是处理器的操作。
应用层310可以包括例如至少一个应用(例如，应用#1311或应用#2312)。在图3中，仅示出了两个应用。然而，应用的数量和应用的类型不限于此。
应用框架层320可以包括例如视图系统321和i/o管理器322。例如，应用311和312可以用由视图系统321生成的一组视图来实现。应用框架层320可以与下面描述的库层330一起被包括在中间件(例如，图12的中间件1230)中。
库层330可以是第三方接入的公共层，并且可以包括图形库331、表面投递器332(合成器的示例)和窗口管理器333。例如，应用的每个视图(包括在活动屏幕中的)可以通过使用包括图形指令的图形库331来呈现。表面投递器332可合并或组合两个或更多个视图。也就是说，由应用程序呈现的视图可以通过表面投递器332合并或组合为显示器352和353的一个图像帧。可以由窗口管理器333管理(例如添加，删除，改变等)要合并的每个视图。
内核层340可以包括显示驱动器341和远程显示驱动器342。硬件层350可以包括处理器351(例如，cpu、ap、gpu等)、显示器352和外部显示器353。
图4是用于描述根据实施例的用于合成屏幕的方法的图。
参考图4，示出了由至少一个应用输出的活动410-1到410-n，由窗口管理器(例如，图3的窗口管理器333)提供的窗口管理器服务420和表面投递器430。
根据至少一个应用的执行输出的'n'个活动410-1至410-n中的每一个可以包括至少一个视图。例如，活动410-1可以包括多个视图411-1、412-1和413-1。
多个视图411-1、412-1和413-1可以由窗口管理器服务420管理。例如，窗口管理器可以添加、删除或改变包括在每个活动中的视图。另外，窗口管理器可以管理图形呈现信息和每个视图的布局。
表面投递器430可通过合并或组合由窗口管理器服务420管理的视图来生成图像帧431。例如，如果窗口管理器服务420改变呈现'b'的视图412-1的属性(例如，排除其中呈现'b'的视图)，则表面投递器430可通过合并其中呈现'a'的视图411-1与其中呈现'c'的视图413-1来生成图像帧431。
图5是用于描述根据实施例的电子设备的操作的图。
参考图5，处理器(例如，cpu511，gpu512等)可以呈现与应用的执行屏幕相关的视图，并且可以将视图存储在存储器520的缓冲器521和522中。例如，视图的图形数据可以用红绿蓝(rgb)格式来实现。根据实施例，处理器可以用多个处理器来实现，或者可以是单个处理器(例如，通用图形处理单元(gpgpu)或加速大规模并行(amp))。而且，例如，通过相机513接收的视频数据可以以yuv格式存储在存储器520的缓冲器523中。在从存储单元515读取的视频数据由解码器514解码之后，视频数据可以以yuv格式存储在存储器520的缓冲器523中。根据各种实施例，存储在存储单元515中的视频数据可以通过通信电路554从外部接收，并且所接收的视频数据可以由编码器553编码。
存储器520的缓冲器521至523可以在每个视图上临时存储图像数据(或视频数据)。每个存储的视图可以被发送到表面投递器530。
表面投递器530可以包括例如用于嵌入式显示器542的表面投递器1531和用于外部电子设备502的表面投递器2532。
例如，表面投递器1531可以从存储器520的缓冲器521至523中的至少一个读取视图(读取所选择的第一视图组)。表面投递器1531可以通过合并或组合所读取的视图来产生图像帧。图像帧可以经由例如图像校正器541(例如，伽玛校正器)被提供给嵌入式显示器542。
根据实施例，表面投递器2532还可以从存储器520的缓冲器521至523中的至少一个读取视图(读取所选择的第二视图组)。表面投递器2532可以通过合并或组合读取的视图来生成图像帧。图像帧可以通过输入/输出接口(例如，连接器驱动器551和连接器552)被提供给外部电子设备502。根据实施例，表面投递器2532可以将生成的图像帧发送给编码器553。编码器553可以基于指定的标准对图像帧进行编码，并且可以通过通信电路554将编码的图像帧发送到外部设备。
图6a示出了根据实施例的用于合成屏幕的方法。
参考图6a，根据实施例，用于合成屏幕的方法可以包括操作601至操作605。操作601至操作605可以由例如图2中示出的电子设备101执行。例如，操作601至操作605中的每个操作可以用电子设备101的处理器170执行(或运行)的指令来实现。指令可以存储在例如电子设备101的存储器130中。在下文中，可以通过使用图2的附图标记来描述操作601至操作605。
在操作601中，电子设备101的处理器170可以呈现基于至少一个应用的执行的多个视图，并且可以将多个视图存储在存储器130中。根据实施例，多个视图可以被存储在例如包括在存储器130中的多个缓冲器中。此外，多个视图可以包括例如至少文本、图像、视频、ui符号或其组合。
在操作603中，电子设备101的处理器170可以基于包括从多个视图中选择的至少一个视图的第一视图组来生成第一图像帧。例如，当第一视图组包括一个视图时，处理器170可以基于该一个视图生成第一图像帧。根据实施例，当第一视图组包括两个或更多个视图时，处理器170可以通过合并两个或更多个视图来生成第一图像帧。
第一视图组可以通过由处理器170执行和/或实现的表面投递器(合成器的示例)合并。此外，在选择(或管理)所选择的至少一个视图时，可以使用由处理器170实现的窗口管理器。
在操作605中，电子设备101的处理器170可以将在操作603中生成的第一图像帧输出到电子设备101的显示器120中。
根据各种实施例，在操作603中，处理器170可以基于正在执行的应用的设置在框架层中选择或去除第一视图组的特定视图，而无需用户干预。例如，当被配置为记录正在执行(例如，播放)的内容(例如，视频内容或游戏内容)(或以流式方式向外部发送内容)的应用程序(以下称为“记录应用程序”在实时执行时，记录应用程序可以被配置为仅记录包括内容的视图。因此，例如，即使在正在记录内容的同时在显示器中将由im应用程序生成的通知弹窗作为新视图输出，也可能不记录通知弹窗。作为另一例子，即使由os产生的系统弹窗(例如，软键盘)等被输出为新视图，系统弹窗也可能不被记录。
根据本公开的实施例，用户可以以他/她自己的偏好来重新配置在电子设备中显示的应用的执行屏幕。例如，当用户不希望看到的广告被包括在应用的执行屏幕(或图像帧)中时，用户可以取决于他/她的决定来去除其中包括广告的视图。
图6b图示了根据另一实施例的用于合成屏幕的方法。
参考图6b，根据实施例，用于合成屏幕的方法可以包括操作602到操作606。操作602到操作606可以由例如图2中示出的电子设备101执行。操作602至操作606中的每个操作可以用电子设备101的处理器170执行(或运行)的指令来实现。指令可以存储在例如计算机记录介质或存储器130中。在下文中，操作602至操作606可以通过使用图2的附图标记来描述。
在操作602中，处理器170可以通过显示器120显示包括与至少一个应用的执行相关联的第一视图和第二视图的第一屏幕。例如，第一视图可以包括对应于至少一个应用的内容，并且第二视图可以对应于与第一视图相关联的视图。
在操作604中，处理器170可至少基于对第一视图或第二视图的选择来生成包括所选视图的第二屏幕。例如，处理器170可以通过使用第一视图或第二视图中的、包括与至少一个应用对应的内容的视图来生成第二屏幕。处理器170可以例如将所生成的第二屏幕存储在存储器130中。
根据实施例，处理器170可以至少基于电子设备101的系统命令的呼叫来选择第一视图或第二视图，或者可以至少基于用户输入来选择第一视图或第二视图(例如参考图8)。
在操作606中，处理器170可以通过使用通信电路160将在操作604中生成的第二屏幕发送到外部电子设备102、104或106。
图7示出了根据另一实施例的用于合成屏幕的方法。
参考图7，根据实施例，用于合成屏幕的方法可以包括操作701至操作707。操作701至操作707可以由例如图2中示出的电子设备101执行。操作701至操作707中的每个操作可以用电子设备101的处理器170执行(或运行)的指令来实现。指令可以存储在例如计算机记录介质或电子设备101的存储器130中。在下文中，图2的附图标记可以在操作701到操作707的描述中使用。在图6a中，重复的描述可能在此不再重复。
在操作701中，电子设备101的处理器170可以呈现基于至少一个应用的执行的多个视图，并且可以将多个视图存储在存储器130中。
在操作703中，电子设备101的处理器170可以在显示器中输出用于选择多个视图中的第一视图组的ui。用户可以通过ui选择他/她期望的至少一个视图(例如，第一视图组)。根据实施例，可以通过使用ui在用户处排除多个视图中的至少一些视图(参考图8)来选择第一视图组。
在操作705中，电子设备101的处理器170可以基于第一视图组生成第一图像帧。例如，当第一视图组包括一个视图时，处理器170可以基于该一个视图生成第一图像帧。根据实施例，当第一视图组包括两个或更多个视图时，处理器170可以通过使用表面投递器(合成器的示例)合并两个或更多个视图来生成第一图像帧。此外，在选择(或管理)所选择的至少一个视图时，可以使用窗口管理器。
在操作707中，电子设备101的处理器170可以在显示器120中输出第一图像帧。
图8示出了根据实施例的用于描述屏幕合成方法的电子设备的屏幕。
参考图8，示出了显示器的屏幕801至804。屏幕可以被显示在例如图2中所示的电子设备101的显示器120中。
屏幕801可以基于例如当前正在执行的网络浏览器应用的活动。屏幕801可以对应于其中三个视图811至813(例如，图1的第二视图12、第三视图13和第四视图14)被合并并且在显示器120中输出的图像帧。
例如，像图1的第三视图13那样，可以在屏幕801的视图811中显示地址栏，与网页转换相关联的按钮等，并且可以在视图812中显示网页的内容，例如图1的第二视图12。而且，例如，可以在像图1的第四视图14那样的区域813中显示广告图像。
根据实施例，屏幕802可以基于任务管理器应用的活动。根据实施例，可以在屏幕802中显示在电子设备中在前景和背景中执行的应用程序810至830以及用于管理应用程序进程的图标81至83。
如果用户通过使用例如他/她的身体的一部分(例如，手指8)来触摸图标81，则用户可以接收存储器的使用状态和/或正在执行的应用的列表(未示出)。根据实施例，如果用户触摸图标83，则用户可以结束正在执行的所有应用程序进程。根据实施例，如果用户触摸图标82，则电子设备的屏幕802可以改变为屏幕803。
如果通过触摸选择图标82，则可以在屏幕803中输出用于选择多个视图中的第一视图组的ui。用户通过ui可以选择他/她期望的至少一个视图(例如，第一视图组)。
例如，在屏幕803中，视图可以是用于选择第一视图组的ui。可以将构成正在执行的应用程序的屏幕的视图(例如，构成网络浏览器的屏幕的视图811至813)提供给应用程序810至830中的每一个。此外，用于管理应用程序进程的图标81和83和用于管理构成应用程序的屏幕的视图的图标82可以被进一步提供给屏幕803。
例如，如果用户通过使用他/她的身体的一部分(例如，手指8)执行横向触摸滚动操作，则可以顺序地显示组成网络浏览器的屏幕的视图811到813。而且，例如，用户通过使用他/她的身体的一部分(例如，手指8)垂直地滑动某个视图，相应的某个视图可以从组成网络浏览器的屏幕的视图中排除。例如，如果用户通过使用手指8垂直滑过视图813，则包括广告图像的视图813可以从组成网络浏览器屏幕的视图中排除。因此，可以选择视图811和视图812作为组成网络浏览器的执行屏幕的第一视图组。
根据各种实施例，如果用户在触摸视图813之后触摸图标84，则视图813可以从合成网络浏览器的执行屏幕的视图中排除。因此，可以选择视图811和视图812作为合成网络浏览器的执行屏幕的第一视图组。
屏幕804由用户通过屏幕803中的ui输出来选择的第一视图组(例如，视图811和812)组成。屏幕804可以对应于在显示器上输出的图像帧，其中所选择的第一组中的视图(例如，视图811和812)被合并。
根据本公开的实施例，用户可以通过使用ui直观地重新配置在电子设备中显示的应用的执行屏幕。
图9示出了根据实施例的用于描述通过使用用于合成屏幕的方法来与多个电子设备共享屏幕的方法。
参考图9，根据实施例，用于合成屏幕的方法可以包括操作901至操作907。操作901至操作907可以由例如图2中示出的电子设备101执行。操作901至操作907中的每个操作可以用电子设备101的处理器170执行(或运行)的指令来实现。指令可以存储在例如计算机记录介质或者电子设备101的存储器130中。在下文中，图2的附图标记可以在操作901至操作907的描述中使用。在图6a和图7中，重复的描述可能在此不再重复。
在操作901中，电子设备101的处理器170可以呈现基于至少一个应用的执行的多个视图，并且可以将多个视图存储在存储器130中。
在操作903中，电子设备101的处理器170可以在显示器120中输出用于选择多个视图之中的第一视图组、第二视图组和/或第三组视图的ui。用于选择每个视图组的ui可以具有例如与图8中描述的ui相似的形式。
在操作905中，电子设备101的处理器170可基于第一视图组、第二视图组和/或第三视图组分别生成第一图像帧、第二图像帧和/或第三图像帧。
在操作907中，电子设备101的处理器170可以将所生成的第一图像帧输出到嵌入在电子设备101中的显示器120中。另外，例如，处理器170可以通过输入/输出接口150(例如，usb接口或hdmi接口)将生成的第二图像帧发送到外部电子设备(例如，tv)。此外，例如，处理器170可以通过通信电路160将所生成的第三图像帧发送到包括通信接口的外部电子设备(例如，智能手机、平板pc、台式pc、膝上型pc、智能电视)。
图10是用于描述根据实施例的通过使用用于合成屏幕的方法来与多个电子设备共享屏幕的图。
参考图10，电子设备1001和外部电子设备1002可以执行单独的广播应用。单独的广播应用程序可以对应于能够发送单独的广播者产生的视频的应用程序，而单独的广播者而不是专业制作人与基于因特网的未指定个人实时交换即时消息。
根据实施例，在电子设备1001中输出的屏幕1010可以对应于当个别单独的广播者通过使用单独的广播应用广播时的屏幕输出。通过分层地合并多个视图1011至1014来生成基于单独的广播应用的执行的屏幕1010。
例如，用于文本输入的软键盘可以被包括在视图1011中，并且与未指定的个人实时交换的即时消息可以被包括在视图1012中。另外，例如，用于控制相机的软键可以被包括在视图1013中，并且通过相机获得的广播视频内容(例如，yuv格式的视频数据)可以被包括在视图1014中。
根据实施例，电子设备1001可以执行用于共享图9中描述的屏幕的方法。例如，电子设备1001的用户(单独的广播者)可以通过使用指定的ui(参考图8)从视图1011至1014中选择他/她希望接收的第一视图组以及另一个人将要接收的第二视图组或第三组视图。
例如，如果用户(单独的广播者)选择四个视图1011至1014作为第一视图组，则可以在用户的电子设备1001中输出其中合并了四个视图1011至1014的屏幕1010。此外，如果用户(单独的广播者)选择两个视图1012和1014作为第二视图组或第三组视图，则其中两个视图1012和1014被合并的屏幕1020可以被输出在观看个人广播的另一个人的电子设备1002中。
根据各种实施例，另一个人的电子设备1002(以下称为“接收侧电子设备”)可以在输出屏幕中仅包括在从电子设备1001(以下称为“发送侧电子设备”)接收的屏幕(由多个视图组成)中的一些视图。例如，当用户选择视图1014时，接收侧电子设备1002可以在仅将用户选择的视图1014指定为其中合并视图1012和1014的屏幕1020中的输出屏幕之后在显示器中显示输出屏幕。因此，接收侧电子设备1002可以不输出视图1012。
根据实施例，接收侧电子设备1002可以自动地从发送侧电子设备1001接收的屏幕(由多个视图组成)中去除包括指定内容(例如，广告、成人内容等)的视图。
根据本公开的实施例，用户可以按照自己的偏好来重新配置共享应用的执行屏幕的外部电子设备的执行屏幕以及在他/她的电子设备中显示的应用的执行屏幕。这可能意味着用户能够删除包含不必要内容或他/她不想分享的内容的视图。
另外，根据实施例，即使应用的开发者期望应用的执行屏幕在多个电子设备中输出，也不需要配置活动屏幕，使得活动屏幕适合于多个电子设备。
此外，根据实施例，电子设备可以通过使用为将提供给嵌入的显示器的图像帧呈现的视图来生成要提供给外部电子设备的图像帧。因此，电子设备可以不重复呈现要被提供给外部电子设备的图像帧的视图。因此，可以抑制不必要的电力资源和计算资源的使用。
图11示出根据各种实施例的电子设备的框图。
参考图11，电子设备1101可以包括例如图2所示的电子设备101的全部或一部分。电子设备1101可以包括一个或多个处理器(例如，应用处理器(ap))1110、通信模块1120、订户识别模块1129、存储器1130、传感器模块1140、输入设备1150、显示器1160、接口1170、音频模块1180、相机模块1191、电源管理模块1195、电池1196、指示器1197和电机1198。
处理器1110可以驱动操作系统(os)或应用程序来控制连接到处理器1110的多个硬件或软件元件，并且可以处理和计算各种数据。例如，处理器1110可以用片上系统(soc)来实现。根据实施例，处理器1110可以进一步包括图形处理单元(gpu)和/或图像信号处理器(isp)。处理器1110可以包括图2中所示的元件的至少一部分(例如，蜂窝模块1121)。处理器1110可以加载和处理从至少一个其他元件(例如，非易失性存储器)接收的指令或数据，并且可以将各种数据存储在非易失性存储器中。
通信模块1120可以被配置为与图2的通信电路160相同或相似。通信模块1120可以包括蜂窝模块1121、wi-fi模块1122、蓝牙(bt)模块1123、gnss模块1124(例如，gps模块、格洛纳斯模块、北斗模块或伽利略模块)，近场通信(nfc)模块1125、mst模块1126和射频(rf)模块1127。
蜂窝模块1121可以通过通信网络提供语音通话，视频通话，角色服务，因特网服务等。根据实施例，蜂窝模块1121可以使用用户识别模块1129(例如，sim卡)在通信网络内执行对电子设备1101的识别和认证。根据实施例，蜂窝模块1121可以执行处理器1110提供的至少一部分功能。根据实施例，蜂窝模块1121可以包括通信处理器(cp)。
例如，wi-fi模块1122、bt模块1123、gnss模块1124、nfc模块1125或mst模块1126中的每一个可以包括处理通过相应模块交换的数据的处理器。根据实施例，蜂窝模块1121、wi-fi模块1122、bt模块1123、gnss模块1124、nfc模块1125或mst模块1126的至少一部分(例如，两个或更多个元件)可以包含在一个集成电路(ic)或ic封装内。
rf模块1127可以发送和接收例如通信信号(例如，rf信号)。例如，rf模块1127可以包括收发器、功率放大器模块(pam)、频率滤波器、低噪声放大器(lna)、天线等。根据另一个实施例，蜂窝模块1121、wi-fi模块1122、bt模块1123、gnss模块1124、nfc模块1125或mst模块1126中的至少一个可以通过独立的rf模块发送和接收rf信号。
订户标识模块1129可以包括例如包括订户标识模块的卡和/或嵌入式sim，并且可以包括唯一标识信息(例如集成电路卡标识符(iccid))或订户信息(例如，集成移动订户身份(imsi))。
存储器1130(例如，存储器130)可以包括内部存储器1132或外部存储器1134。例如，内部存储器1132可以包括易失性存储器(例如，动态随机存取存储器(dram)、静态ram(sram)或同步dram(sdram))、非易失性存储器(例如，一次性可编程只读存储器(otprom)、可编程rom(prom)、可擦除可编程rom(eprom)、电可擦除可编程rom(eeprom)、掩模rom、闪存rom、nand闪存或nor闪存)、硬盘驱动器或固态驱动器(ssd)。
外部存储器1134还可以包括诸如紧凑式闪存(cf)、安全数字(sd)、微型安全数字(micro-sd)、迷你安全数字(mini-sd)、极限数字(xd)、多媒体卡(mmc)、存储器棒等。外部存储器1134可以通过各种接口在操作上和/或物理上与电子设备1101连接。
安全模块1136可以是包括安全级别高于存储器1130的安全级别的存储空间的模块，并且可以是提供安全数据存储和受保护执行环境的电路。安全模块1136可以用单独的电路来实现，并且可以包括单独的处理器。例如，安全模块1136可以位于可移动的智能芯片或安全数字(sd)卡中，或者可以包括嵌入在电子设备1101的固定芯片中的嵌入式安全元件(ese)。此外，安全模块1136可以基于与电子设备1101的操作系统(os)不同的os来操作。例如，安全模块1136可以基于java卡开放平台(jcop)os来操作。
传感器模块1140可以测量例如物理量或者可以检测电子设备1101的操作状态。传感器模块1140可以将测量或检测到的信息转换为电信号。例如，传感器模块1140可以包括例如手势传感器1140a、陀螺仪传感器1140b、压力传感器1140c、磁传感器1140d、加速度传感器1140e、抓握传感器1140f、接近传感器1140g、颜色传感器1140h(例如，红色、绿色、蓝色(rgb)传感器)、生物传感器1140i、温度/湿度传感器1140j、照度传感器1140k或紫外(uv)传感器1140m。另外地或一般地，传感器模块1140可以进一步包括例如电子鼻传感器、肌电图传感器(emg)传感器、脑电图(eeg)传感器、心电图(ecg)传感器、红外(ir)传感器、虹膜传感器和/或指纹传感器。传感器模块1140可以进一步包括控制电路，该控制电路控制包括在其中的至少一个或多个传感器。根据一个实施例，电子设备1101可以进一步包括处理器，该处理器是处理器1110的一部分或者独立于处理器1110并且被配置为控制传感器模块1140。处理器可以在处理器1110保持睡眠状态时控制传感器模块1140。
输入设备1150可以包括例如触摸板1152、(数字)笔传感器1154、键1156或超声输入设备1158。触摸板1152可以使用电容式、电阻式、红外线和红外线超声波检测方法。而且，触摸板1152可以进一步包括控制电路。触摸板1152可以进一步包括触觉层以向用户提供触觉反应。
(数字)笔传感器1154可以是例如触摸板的一部分或者可以包括用于识别的附加片材。键1156可以包括例如物理按钮、光学键、小键盘等。超声波输入设备1158可以通过麦克风(例如麦克风1188)检测(或感测)从输入设备产生的超声波信号，并且可以检查对应于检测到的超声波信号的数据。根据实施例，触摸板1152可以包括能够测量用户触摸上的压力强度的压力传感器(或力传感器)。压力传感器可以与触摸板1152组合来实现，或者可以用独立于触摸板1152的一个或多个传感器来实现。
显示器1160(例如，显示器120)可以包括面板1162、全息设备1164或投影仪1166。面板1162可以被配置为与图2的显示器120相同或相似。例如，面板1162可以被实现为柔性的、透明的或可穿戴的。面板1162和触摸板1152可以被集成到单个模块中。全息设备1164可以通过使用光干涉现象在空间中显示立体图像。投影仪1166可以将光投影到屏幕上以显示图像。屏幕可以布置在电子设备1101的内部或外部。根据实施例，显示器1160可以进一步包括控制面板1162、全息设备1164或投影仪1166的控制电路。
接口1170可以包括例如高分辨率多媒体接口(hdmi)1172、通用串行总线(usb)1174、光学接口1176或d超小型(d-sub)1178。接口1170可以包括例如包含在图2所示的通信电路160中。另外或通常，接口1170可以包括例如移动高清链接(mhl)接口、sd卡/多媒体卡(mmc)接口或红外数据关联(irda)标准接口。
音频模块1180可以在双向上转换声音和电信号。例如，音频模块1180的至少一部分可以被包括在图2所示的输入/输出接口150中。音频模块1180可以处理例如通过扬声器1182、接收器1184、耳机1186或麦克风1188输入或输出的声音信息。
拍摄静止图像或视频的相机模块1191可以包括例如至少一个图像传感器(例如，前部传感器或后部传感器)、镜头、图像信号处理器(isp)或闪光灯(例如，led或氙灯)。
电源管理模块1195可以管理例如电子设备1101的电源。根据实施例，电源管理模块1195中可以包括电源管理集成电路(pmic)、充电器ic或电池或燃料表。pmic可以具有有线充电方法和/或无线充电方法。无线充电方法可以包括例如磁共振方法、磁感应方法或电磁方法，并且还可以包括附加电路，例如线圈环路、谐振电路或整流器等。当电池充电时，电池量表可以测量例如电池1196的剩余容量以及其电压、电流或温度。电池1196可以包括例如可充电电池或太阳能电池。
指示器1197可以显示电子设备1101或其一部分(例如，处理器1110)的特定状态，诸如引导状态、消息状态、充电状态等。电机1198可以将电信号转换成机械振动并且可以产生以下效果：振动、触觉等。尽管未示出，但电子设备1101可以包括支持移动tv的处理设备(例如，gpu)。支持移动tv的处理设备可以根据数字多媒体广播(dmb)、数字视频广播(dvb)、mediaflotm等的标准来处理媒体数据。
本公开中描述的电子设备的上述元件中的每一个可以被配置有一个或多个组件，并且元件的名称可以根据电子设备的类型而改变。根据各种实施例，电子设备可以包括上述元件中的至少一个，并且可以省略一些元件或者可以添加其他附加元件。此外，根据各种实施例的电子设备的一些元件可以彼此组合以形成一个实体，使得元件的功能可以以与组合之前相同的方式执行。
图12示出根据各种实施例的程序模块的框图。
参考图12，程序模块1210(例如，程序140)可以包括：操作系统(os)，以控制与电子设备(例如电子设备101)相关联的资源；和/或在os上驱动的各种应用程序(例如，应用程序147)。例如，os可能是androidtm、iostm、windowstm、symbiantm、tizentm或三星badaostm。
程序模块1210可以包括内核1220、中间件1230、应用程序编程接口(api)1260和/或应用程序1270。程序模块1210的至少一部分可以被预加载在电子设备上或者可以从外部电子设备(例如，电子设备102或104、服务器106等)下载。
内核1220(例如，内核141)可以包括例如系统资源管理器1221或设备驱动器1223。系统资源管理器1221可以控制、分配或检索系统资源。根据实施例，系统资源管理器1221可以包括进程管理部分、存储器管理部分、文件系统管理部分等。设备驱动器1223可以包括例如显示驱动器、相机驱动器、蓝牙驱动器、公共存储器驱动器、usb驱动器、小键盘驱动器、wi-fi驱动器、音频驱动器或者内部处理通信(ipc)驱动程序。
中间件1230可以例如提供应用1270共同需要的功能或者可以通过api1260向应用1270提供各种功能以允许应用1270有效地使用电子设备的有限系统资源。根据实施例，中间件1230(例如，中间件143)可以包括运行时间库1235、应用管理器1241、窗口管理器1242、多媒体管理器1243、资源管理器1244、电源管理器1245、数据库管理器1246、包管理器1247、连接性管理器1248、通知管理器1249、位置管理器1250、图形管理器1251或安全管理器1252或支付管理器1254。
运行时间库1235可以包括例如编译器使用的库模块，以在执行应用1270时通过编程语言添加新功能。运行时间库1235可以执行输入/输出管理、存储器管理或关于算术功能的容量。
应用管理器1241可以管理例如应用1270的至少一个应用的生命周期。窗口管理器1242可以管理在屏幕中使用的图形用户界面(gui)资源。多媒体管理器1243可以识别播放不同媒体文件所需的格式，并且可以通过使用适合于该格式的编解码器来执行媒体文件的编码或解码。资源管理器1244可以管理资源，诸如应用1270的至少一个应用的存储空间、存储器或源代码。
电源管理器1245可以例如利用基本输入/输出系统(bios)来操作以管理电池或电力，并且可以提供用于电子设备的操作的电源信息。数据库管理器1246可以生成、搜索或修改要在应用1270的至少一个应用中使用的数据库。包管理器1247可以安装或更新以包文件的形式分发的应用程序。
连接管理器1248可以管理例如诸如wi-fi或蓝牙的无线连接。通知管理器1249可以在不干扰用户的模式下显示或通知诸如到达消息，约会或接近通知的事件。位置管理器1250可以管理电子设备的位置信息。图形管理器1251可以管理提供给用户的图形效果，或管理与其相关的用户界面。安全管理器1252可以提供系统安全性、用户认证等所需的一般安全功能。根据本公开的实施例，当电子设备(例如，电子设备101)包括电话功能时，中间件1230可以进一步包括电话管理器，用于管理电子设备的语音或视频呼叫功能。
中间件1230可以包括组合上述元件的不同功能的中间件模块。中间件1230可以提供专用于每种os种类的模块以提供区分功能。另外，中间件1230可以动态地移除一部分先前存在的元件，或者可以向其添加新的元件。
api1260(例如，api145)可以是例如一组编程功能并且可以被提供有根据os可变的配置。例如，当os是androidtm或iostm时，它可以为每个平台提供一个api集。当操作系统是tizentm时，它可以为每个平台提供两个或更多的api集。
应用1270(例如，应用程序147)可以包括例如能够提供用于以下的功能的一个或多个应用：家庭1271、拨号器1272、sms/mms1273、即时消息(im)1274、浏览器1275、相机1276、闹钟1277、联系人1278、语音拨号1279、电子邮件1280、日历1281、媒体播放器1282、相册1283和时钟1284，或者用于提供医疗保健(例如，测量运动量或血糖)或环境信息(例如，大气压力、湿度或温度的信息)的功能。
根据实施例，应用程序1270可以包括用于支持电子设备(例如电子设备101)和外部电子设备(例如，电子设备102或104)之间的信息交换的应用程序(为了描述方便，在下文中被称为“信息交换应用”)。信息交换应用可以包括例如用于向外部电子设备发送特定信息的通知中继应用程序用于管理外部电子设备的设备管理应用。
例如，信息交换应用可以包括将来自其他应用(例如，用于sms/mms、电子邮件、健康护理或环境信息的应用)的通知信息发送到外部电子设备(例如，电子设备102或104)的功能。此外，信息交换应用可以例如从外部电子设备接收通知信息并将该通知信息提供给用户。
设备管理应用可以管理(例如，安装、删除或更新)与电子设备通信的外部电子设备(例如，电子设备102或104)的至少一个功能(例如，开启/关闭外部电子设备本身(或部分组件)或调整显示器的亮度(或分辨率))、在外部电子设备中运行的应用程序或者从外部电子设备提供的服务(例如，呼叫服务、消息服务等)。
根据本公开的实施例，应用1270可以包括根据外部电子设备(例如，电子设备102或104)的属性分配的应用(例如，移动医疗设备的健康护理应用等)。根据实施例，应用1270可以包括从外部电子设备(例如，服务器106或电子设备102或104)接收的应用。根据实施例，应用1270可以包括预加载的应用或可从服务器下载的第三方应用。根据该实施例的程序模块1210中的元件的标题可以根据操作系统的种类而改变。
根据各种实施例，程序模块1210的至少一部分可以通过软件、固件、硬件或其两个或更多个的组合来实现。程序模块1210的至少一部分可以例如由处理器(例如，处理器1110)来实现(例如，执行)。程序模块1210的至少一部分可以包括例如用于执行一个或多个功能的模块、程序、例程、指令集、进程等。
如上所述，根据本公开的实施例，电子设备可以包括显示器、存储器和处理器。处理器可以呈现基于至少一个应用的执行的多个视图，可以将多个视图存储在存储器中，可以基于第一视图组产生第一图像帧，该第一视图组包括从多个视图，并且可以在显示器中输出第一图像帧。
根据另一个实施例，处理器可以在显示器中输出允许用户选择第一视图组的ui。
根据另一个实施例，可以通过使用ui在用户处排除多个视图中的至少一些来选择第一视图组。
根据另一个实施例，如果第一视图组包括两个或更多个视图，则处理器可以通过合并两个或更多个视图来生成第一图像帧。
根据另一个实施例，第一视图组可以由处理器实现的合成器合并。
根据另一个实施例，合成器可以对应于表面投递器。
根据另一个实施例，电子设备还可以包括与外部电子设备可操作地连接的输入/输出接口。处理器可以基于包括从多个视图中选择的至少一个视图的第二视图组来生成第二图像帧，并且可以通过输入/输出接口将第二图像帧发送到外部电子设备。
根据另一个实施例，电子设备还可以包括被配置为建立与外部电子设备的通信的通信电路。处理器可以基于包括从多个视图中选择的至少一个视图的第三组视图来生成第三图像帧，并且可以通过通信电路将第三图像帧发送到外部电子设备。
根据另一个实施例，存储器可以包括存储多个视图的多个缓冲器。
根据另一个实施例，多个视图可以由处理器实现的窗口管理器来管理。
根据另一个实施例，多个视图可以至少包括文本、图像、视频、ui符号或其组合。
根据实施例，电子设备可以包括被配置为存储关于至少一个视图的信息的存储器和处理器。处理器被配置为通过与处理器可操作地连接的显示器输出包括与至少一个应用的执行相关联的第一视图和第二视图的第一屏幕并且至少基于对第一视图或第二视图的选择生成要发送到外部电子设备的第二屏幕。第二个屏幕可能包含选定的视图。
根据另一个实施例，第一视图可以包括对应于至少一个应用的内容，并且第二视图可以与第一视图相关。
根据另一个实施例，处理器可以被配置为将第二屏幕存储在存储器中。
根据另一个实施例，处理器可以被配置为至少基于电子设备的系统命令的呼叫来选择第一视图或第二视图。
根据另一个实施例，处理器可以被配置为至少基于用户输入来选择第一视图或第二视图。
根据另一个实施例，处理器可以被配置为通过使用包括第一视图或第二视图中的、与至少一个应用对应的内容的视图来生成第二屏幕。
根据另一个实施例，电子设备还可以包括被配置为建立与外部电子设备的通信连接的通信电路。处理器可以被配置为通过使用通信电路将第二屏幕发送到外部电子设备。
根据另一个实施例，用于合成屏幕的电子设备的方法可以包括：呈现基于至少一个应用的执行的多个视图；将多个视图存储在电子设备的存储器中；基于包括从所述多个视图中选择的至少一个视图的第一视图组生成第一图像帧，并且在所述电子设备的显示器中输出所述第一图像帧。
根据另一个实施例，该方法可以进一步包括在显示器中输出用于选择第一视图组的ui。
根据另一个实施例，可以通过ui排除多个视图中的至少一些来选择第一视图组。
根据另一实施例，生成第一图像帧可以包括：如果第一视图组包括两个或更多个视图，则通过合并两个或更多个视图来生成第一图像帧。
根据另一个实施例，该方法可以进一步包括基于包括从多个视图中选择的至少一个视图的第二视图组生成第二图像帧，并将第二图像帧发送到与电子设备连接的外部电子设备。
根据实施例，在存储由至少一个处理器执行并且可由计算机读取的指令的计算机记录介质中，所述指令可以使计算机呈现基于至少一个应用的执行的多个视图，基于包括从所述多个视图中选择的至少一个视图的第一视图组来生成第一图像帧，并且在所述电子设备的显示器中输出所述第一图像帧。
根据另一个实施例，指令还可以包括使计算机输出用于选择显示器中的第一视图组的ui的指令。
根据另一实施例，生成第一图像帧可以包括：如果第一视图组包括两个或更多个视图，则通过合并两个或更多个视图来生成第一图像帧。
根据另一个实施例，指令还可以包括使得计算机基于包括从多个视图中选择的至少一个视图的第二视图生成第二图像帧并且将第二图像帧发送到与电子设备连接的外部电子设备。
这里使用的术语“模块”可以表示例如包括硬件、软件和固件的一个或多个组合的单元。术语“模块”可以与术语“单元”、“逻辑”、“逻辑块”、“组件”和“电路”互换使用。“模块”可以是集成组件的最小单元或者可以是其一部分。“模块”可以是用于执行一个或多个功能或其一部分的最小单位。“模块”可以机械地或电子地实现。例如，“模块”可以包括用于执行一些操作的应用专用ic(asic)芯片、现场可编程门阵列(fpga)和可编程逻辑器件中的至少一个，这些操作是已知的或将被开发的。
根据本公开的各种实施例的装置的至少一部分(例如其模块或其功能)或方法的至少一部分(例如，操作)可以例如通过以程序模块的形式存储在计算机可读存储介质中的指令来实现。该指令在由处理器(例如，处理器170)执行时可以使一个或多个处理器执行对应于该指令的功能。计算机可读存储介质例如可以是存储器130。
计算机可读记录介质可以包括硬盘、磁介质、软盘、磁介质(例如，磁带)、光介质(例如，光盘只读存储器(cd-rom)和光盘数字多功能盘(dvd)、磁光介质(例如，软光盘)以及硬件设备(例如，只读存储器(rom)、随机存取存储器(ram)或闪存)。而且程序指令不仅可以包括由编译器生成的机械代码，还可以包括在计算机上使用解释器可执行的高级语言代码。上述硬件单元可以被配置为作为一个或多个软件模块进行操作以执行根据各种实施例的操作，反之亦然。
根据本公开的各种实施例的模块或程序模块可以包括以上元件中的至少一个，或者可以省略上述元件的一部分，或者可以进一步包括另外的其他元件。根据本公开的各种实施例的由模块、程序模块或其他元件执行的操作可以顺序地、并行地、重复地或以启发式方法执行。另外，一部分操作可以以不同的顺序执行或可以省略。或者，可以添加其他操作。
根据本公开的实施例，用户可以以他/她自己的偏好来重新配置显示在电子设备中的应用的执行屏幕。例如，当他/她不需要的视图被包括在应用的执行屏幕(或图像帧)中时，用户可以根据他/她的确定来移除视图。
另外，根据实施例，用户可以根据自己的偏好重新配置共享应用的执行屏幕的、外部电子设备的执行屏幕以及在他/她的电子设备中显示的应用的执行屏幕。这可能意味着用户能够删除包含他/她不希望共享的不必要内容或内容的视图。
另外，根据实施例，如果应用程序的开发者认为应用程序的执行屏幕被输出在多个电子设备中，则不需要预先配置每个活动屏幕，使得每个活动屏幕适用于多个电子设备。此外，根据实施例，电子设备可以通过使用为提供给嵌入式显示器的图像帧呈现的视图来生成要提供给外部电子设备的图像帧。因此，电子设备可以不再重复地将图像帧的视图呈现为从一开始就被提供给外部电子设备。因此，可以抑制不必要的电力资源和计算资源的使用。
此外，可以提供通过本公开直接或间接理解的各种效果。
尽管已经用示例性实施例描述了本公开，但是可以向本领域技术人员提出各种改变和修改。意图是本公开包括落入所附权利要求的范围内的这些改变和修改。