一种控制屏幕小窗口的方法及相关设备与流程

本申请涉及电子设备技术领域，尤其涉及一种控制屏幕小窗口的方法及相关设备。

背景技术：

随着移动互联网快速发展，人们在公司、在家里、在路上、出去旅游等等无时不刻的使用手机、平板、电脑与他人保持通信，而且随着网络条件日益成熟，人们可以在通信时还能够将聊天、视频或通话界面进行分屏，以便做其他的事情，例如：在聊天、视频或语音通话时，将聊天、视频或语音界面缩小为小窗口放在一个较为固定的位置悬浮在界面上，以便界面中可以显示其他内容。但是，因为一些电子设备的屏幕尺寸有限(如，手机、平板等)，分屏的小窗口放在一个固定的位置可能会遮挡大窗口中内容的显示。为了不影响内容显示，现在通常会通过用户触屏滑动、按动按键等操作改变小窗口的位置以显示被遮挡的内容。例如：在用户双方进行视频通话时，对方用户的视频小窗口显示在固定位置可能会遮挡视频大窗口中用户的人脸显示，此时，该用户可以通过触屏移动小窗口至大窗口中用户身后的背景区域以显示被遮挡的脸。

但是在上述视频通话时，假如在用户不便操作手机或者为了能够释放双手，手机可能被放在一个离人比较远的位置时，用户通过触碰手机移动视频小窗口会比较难操作。那么如何使用户更便捷的操控悬浮小窗口避开电子设备的用户界面中的特殊区域，是亟待解决的问题。

技术实现要素：

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的一种控制屏幕小窗口的方法及相关设备。

第一方面，本申请实施例提供了一种控制屏幕小窗口的方法，可包括：

确定目标遮挡信息，目标遮挡信息包括用于指示第一窗口的目标区域被第二窗口遮挡的指示信息，目标区域为第一窗口中预设特征的显示区域；

根据目标遮挡信息，确定窗口显示指令，窗口显示指令包括控制第二窗口在第一窗口上的悬浮位置、第二窗口的透明度、第二窗口的尺寸、第二窗口的形状中的一个或多个的指令；

根据窗口显示指令，控制第二窗口在第一窗口上显示。

在本申请实施例中，电子设备在确定第二窗口遮挡了第一窗口的目标区域后，根据目标遮挡信息，确定窗口显示指令，再根据该窗口显示指令，控制第二窗口的悬浮位置、透明度、尺寸或形状中的一种或多种，使得第二窗口在第一窗口上显示时不再遮挡第一窗口中的预设特征。例如：在视频通话过程中，当视频小窗口对人脸有遮挡时，确定人脸被遮挡的遮挡信息，再根据该遮挡信息，确定将视频小窗口进行移动和缩小的显示指令，最后根据该显示指令，自动将视频小窗口移动到一个最佳显示位置并缩小视频小窗口的大小，该过程中无需用户接触手机，即能达到极佳的视频通话效果。综上，本申请实施例通过智能的识别和判断，从而控制第二窗口在第一窗口(也可以为，用户界面)上的显示，无需用户再进行触屏或按键等触碰电子设备的相关操作，即可更便捷的使第二窗口在不影响用户界面中的特殊区域的显示，大大提升了用户体验。

在一种可能实现的方式中，所述目标遮挡信息还包括：所述目标区域的区域信息和所述第二窗口的当前窗口信息；所述区域信息包括所述预设特征的显示面积、所述预设特征的显示位置中的一个或多个；所述第二窗口的当前窗口信息包括所述第二窗口的当前悬浮位置信息、当前透明度信息、当前尺寸信息和当前形状信息中的一个或多个。本申请实施例中，通过实时监控所述目标区域的区域信息和所述第二窗口的当前窗口信息，可以在第一窗口遮挡第二窗口时，及时确认第一窗口的目标区域被第二窗口遮挡目标遮挡信息，提升了在判断第一窗口被第二窗口遮挡时的准确度，进而可以使第二窗口不影响用户界面中的特殊区域的情况下显示，提升了用户体验。

在一种可能实现的方式中，所述确定目标遮挡信息之前，还包括：识别所述第一窗口的所述预设特征，确定所述预设特征所在的所述目标区域的区域信息和所述第二窗口的当前窗口信息；根据所述目标区域的区域信息和所述第二窗口的当前窗口信息，判断所述目标区域是否满足被所述第二窗口遮挡的遮挡条件；若是，生成所述目标遮挡信息。本申请实施例中，在监控所述目标区域的区域信息和所述第二窗口的当前窗口信息后，需要根据监控的信息判断所述目标区域是否满足被所述第二窗口遮挡的遮挡条件，防止在无遮挡情况发生时或者遮挡情况较短暂时，第二窗口频繁的移动导致的用户体验差。

在一种可能实现的方式中，所述遮挡条件包括：若所述目标区域和所述第二窗口之间的重叠面积与所述预设特征的显示面积的比值达到预设比值阈值，则确定所述目标区域被所述第二窗口遮挡。本申请实施例中，当第二窗口遮挡目标区域的面积达到一定比例时，才会确定第一窗口的目标区域被遮挡，避免了在不影响用户体验的情况下，因小面积遮挡目标区域而移动第二窗，减少了无意义的操作。例如：在视频通话时，视频小窗口遮挡了用户的头发，在预设特征为人像的目标区域中占比仅为2％，因此，此时几乎没有影响视频通话的体验，则无需控制视频小窗口在第一窗口上的显示，以免影响用户体验。

在一种可能实现的方式中，所述遮挡条件还包括：若所述目标区域和所述第二窗口之间的重叠面积与所述预设特征的显示面积的比值达到预设比值阈值，且所述第二窗口与所述目标区域之间的重叠时长超过预设时长阈值，则确定所述目标区域被所述第二窗口遮挡。本申请实施例中，当第二窗口遮挡目标区域的面积达到一定比例且持续一段时间后，才会确定第一窗口的目标区域被遮挡，防止因目标区域的预设特征发生发生短时间变化时，确定第二窗口遮挡第一窗口后，频繁的调控第二窗口在第一窗口上显示，影响用户体验。例如：在视频时，因用户走动，频繁移动视频小窗口，可能会使用户视频体验不佳。

在一种可能实现的方式中，所述第一窗口中当前有n个预设特征，n为大于或等于1的整数；所述确定目标遮挡信息之前，还包括：识别所述第一窗口的所述n个预设特征，确定所述n个预设特征分别对应的显示优先级；其中，所述预设特征的显示优先级越高，所述预设特征对应的所述预设比值阈值越小；确定所述n个预设特征中所述显示优先级前m个预设特征所在的显示区域分别对应的m个区域信息和所述第二窗口的当前窗口信息，其中，m为小于或等于n的正整数；根据所述m个区域信息和所述第二窗口的当前窗口信息，判断所述m个预设特征所在的显示区域是否满足所述遮挡条件，若是，生成目标遮挡信息。可选的，所述预设特征的显示优先级越高，所述预设特征对应的所述预设时长阈值也越小，即，当预设特征的显示优先级越高时，该预设特征允许被第二窗口遮挡的时间越短。本申请实施例中，在第一窗口中显示有多个预设特征的情况下，可以首先确定显示优先级高的前几个预设特征的显示区域为目标区域，再判断该目标区域是否被遮挡。例如：视频通话时，识别出第一窗口中包括人脸、功能按键(如：挂断键、静音键、转换摄像头按键等)以及背景(如：花瓶、衣柜、电视机等)等预设特征，由于根据预设的显示优先级的规则，人脸和功能按键的显示优先级要比背景的显示优先级高，所以当第二窗口遮挡背景时可以认为目标区域没有被遮挡，当第二窗口遮挡人脸或功能按键时，则认为第二窗口遮挡了目标区域。即本申请实施例优先确定显示优先级高的前几个预设特征的显示区域为目标区域，可以减少因多个预设特征同时出现时，无法准确有效的确定第二窗口是否遮挡了第一窗口的情况，同时也可以更有效地识别第二窗口是否遮挡了对用户而言更“重要的”的预设特征，提升了用户体验。

在一种可能实现的方式中，所述根据所述目标遮挡信息，确定窗口显示指令，包括：根据所述目标遮挡信息和所述第二窗口的显示条件，确定所述窗口显示指令；其中，所述显示条件包括将所述第二窗口悬浮在所述第一窗口所有所述预设特征中显示优先级最低的预设特征的显示区域上；或者，所述显示条件包括将所述第二窗口悬浮在所述第一窗口除所述预设特征的显示区域外的离摄像头最近的显示区域上；或者，所述显示条件包括将所述第二窗口悬浮在所述第一窗口除所述预设特征的显示区域外的显示区域面积最大的显示区域上。本申请实施例中，根据所述目标遮挡信息和所述第二窗口的显示条件，确定所述窗口显示指令，可以使窗口显示指令更好地控制第二窗口在第一窗口上显示，更便捷高效的操控第二窗口避开电子设备的用户界面中的特殊区域，提升了用户体验。例如：第二窗口会优先避开显示优先级高的预设特征，显示在优先级较低的预设特征的显示区域；又例如：当用户界面上同时有两个可以显示的显示区域，该两个显示区域一个离摄像头的位置较近，另一个离摄像头的位置较远时，第二窗口则会避开离摄像头较远的显示区域，优先显示在摄像头较近的显示区域；又例如：当用户界面上同时有两个可以显示的显示区域，其中一个显示区域的显示面积与另一个显示区域的显示面积相比很小，第二窗口则会避开显示面积小的显示区域，优先显示在显示面积大的显示区域。

在一种可能实现的方式中，所述确定目标遮挡信息之前，还包括：识别第一手势，判断所述第一手势是否为第一预设手势集合中的一个；若确定所述第一手势为第一预设手势集合中的一个，生成所述目标遮挡信息；所述根据所述目标遮挡信息，确定窗口显示指令，包括：根据所述第一手势以及所述预设手势与预设窗口显示指令的对应关系，确定与所述第一手势对应的所述窗口显示指令，所述窗口显示指令为多个预设窗口显示指令中的一个。本申请实施例中，电子设备还可以通过摄像头或者手势识别传感器等装置识别用户手势，确定用户手势为第一预设手势集合中的一个，然后再根据该用户手势确定窗口显示指令，从而控制第二窗口在第一窗口上显示，使得用户无需接触或触碰设备屏幕，而通过隔空手势灵活的操控第二窗口，解放用户双手，提升用户体验。

在一种可能实现的方式中，所述识别第一手势包括：识别所述第一手势的手势时长信息、手势运动轨迹信息、手势形状信息中的一个或多个。本申请实施例中，因为在手势时长信息、手势运动轨迹信息、手势形状信息等中的任何一项信息不同的两个手势可认为是不同的手势，因此，为了防止错误识别用户手势而导致错误的显示控制，则可以通过识别手势的各方面不同信息来实现精确控制，避免因错误识别用户手势，而不能够按用户意愿控制第二窗口在第一窗口上显示的情况出现。

在一种可能实现的方式中，所述方法还包括：识别第二手势，判断所述第二手势是否为第二预设手势集合中的一个，所述第二预设手势集合为控制所述第一窗口中一个或多个功能按键对应的手势集合；若是，根据所述第二手势和所述第二预设手势集合中的预设手势与功能按键的对应关系，确定按键控制指令；根据所述按键控制指令，控制所述第一窗口中的目标功能按键执行对应的功能。可以理解的是，该目标功能按键为第二手势对应的功能按键。本申请实施例中，电子设备还可以通过摄像头或者手势识别传感器等装置识别用户手势，确定用户手势为第二预设手势集合中的一个，然后再根据该用户手势确定按键控制指令，从而控制第一窗口中的目标功能按键执行对应的功能，使得用户无需接触或触碰设备屏幕，而通过隔空手势灵活的操控功能按键，解放用户双手，提升用户体验。

在一种可能实现的方式中，所述识别第二手势包括：识别所述第二手势的手势时长信息、手势运动轨迹信息、手势形状信息中的一个或多个。本申请实施例中，因为在手势时长信息、手势运动轨迹信息、手势形状信息等中的任何一项信息不同的两个手势可认为是不同的手势，因此，为了防止错误识别用户手势而导致错误的控制，则可以通过识别手势的各方面不同信息来实现精确控制，避免因错误识别用户手势，而不能够按用户意愿控制第一窗口的功能按键的情况出现。

第二方面，本申请实施例提供了一种电子设备，可包括：一个或多个处理器、存储器、一个或多个按键；

所述存储器、所述显示屏、所述一个或多个按键与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器执行所述计算机指令以执行：

确定目标遮挡信息，所述目标遮挡信息包括用于指示第一窗口的目标区域被第二窗口遮挡的指示信息，所述目标区域为所述第一窗口中预设特征的显示区域；

根据所述目标遮挡信息，确定窗口显示指令，所述窗口显示指令包括控制所述第二窗口在所述第一窗口上的悬浮位置、所述第二窗口的透明度、所述第二窗口的尺寸、所述第二窗口的形状中的一个或多个的指令；

根据所述窗口显示指令，控制所述第二窗口在所述第一窗口上显示。

在一种可能实现的方式中，所述目标遮挡信息还包括：所述目标区域的区域信息和所述第二窗口的当前窗口信息；所述区域信息包括所述预设特征的显示面积、所述预设特征的显示位置中的一个或多个；所述第二窗口的当前窗口信息包括所述第二窗口的当前悬浮位置信息、当前透明度信息、当前尺寸信息和当前形状信息中的一个或多个。

在一种可能实现的方式中，所述处理器用于确定目标遮挡信息之前，所述处理器还用于：识别所述第一窗口的所述预设特征，确定所述预设特征所在的所述目标区域的区域信息和所述第二窗口的当前窗口信息；根据所述目标区域的区域信息和所述第二窗口的当前窗口信息，判断所述目标区域是否满足被所述第二窗口遮挡的遮挡条件；若是，生成所述目标遮挡信息。

在一种可能实现的方式中，所述遮挡条件包括：若所述目标区域和所述第二窗口之间的重叠面积与所述预设特征的显示面积的比值达到预设比值阈值，则确定所述目标区域被所述第二窗口遮挡。

在一种可能实现的方式中，所述遮挡条件还包括：若所述目标区域和所述第二窗口之间的重叠面积与所述预设特征的显示面积的比值达到预设比值阈值，且所述第二窗口与所述目标区域之间的重叠时长超过预设时长阈值，则确定所述目标区域被所述第二窗口遮挡。

在一种可能实现的方式中，所述第一窗口中当前有n个预设特征，n为大于或等于1的整数；所述处理器用于确定目标遮挡信息之前，所述处理器还用于：识别所述第一窗口的所述n个预设特征，确定所述n个预设特征分别对应的显示优先级；其中，所述预设特征的显示优先级越高，所述预设特征对应的所述预设比值阈值越小；确定所述n个预设特征中所述显示优先级前m个预设特征所在的显示区域分别对应的m个区域信息和所述第二窗口的当前窗口信息，其中，m为小于或等于n的正整数；根据所述m个区域信息和所述第二窗口的当前窗口信息，判断所述m个预设特征所在的显示区域是否满足所述遮挡条件，若是，生成目标遮挡信息.

在一种可能实现的方式中，所述处理器用于根据所述目标遮挡信息，确定窗口显示指令时，所述处理器具体用于：根据所述目标遮挡信息和所述第二窗口的显示条件，确定所述窗口显示指令；其中，所述显示条件包括将所述第二窗口悬浮在所述第一窗口所有所述预设特征中显示优先级最低的预设特征的显示区域上；或者，所述显示条件包括将所述第二窗口悬浮在所述第一窗口除所述预设特征的显示区域外的离摄像头最近的显示区域上；或者，所述显示条件包括将所述第二窗口悬浮在所述第一窗口除所述预设特征的显示区域外的显示区域面积最大的显示区域上。

在一种可能实现的方式中，所述处理器用于确定目标遮挡信息之前，所述处理器还用于：识别第一手势，判断所述第一手势是否为第一预设手势集合中的一个；若确定所述第一手势为第一预设手势集合中的一个，生成所述目标遮挡信息；所述处理器用于根据所述目标遮挡信息，确定窗口显示指令时，所述处理器具体用于：根据所述第一手势以及所述预设手势与预设窗口显示指令的对应关系，确定与所述第一手势对应的所述窗口显示指令，所述窗口显示指令为多个预设窗口显示指令中的一个。

在一种可能实现的方式中，所述处理器识别第一手势时，所述处理器具体用于：识别所述第一手势的手势时长信息、手势运动轨迹信息、手势形状信息中的一个或多个。

在一种可能实现的方式中，所述处理器还用于：识别第二手势，判断所述第二手势是否为第二预设手势集合中的一个，所述第二预设手势集合为控制所述第一窗口中一个或多个功能按键对应的手势集合；若是，根据所述第二手势和所述第二预设手势集合中的预设手势与功能按键的对应关系，确定按键控制指令；根据所述按键控制指令，控制所述第一窗口中的目标功能按键执行对应的功能。

在一种可能实现的方式中，所述处理器识别第二手势时，所述处理器具体用于：识别所述第一手势的手势时长信息、手势运动轨迹信息、手势形状信息中的一个或多个。

第三方面，本申请实施例提供一种计算机存储介质，包括计算机指令，当该计算机指令在电子设备上运行时，使得该电子设备执行本申请实施例第一方面或第一方面的任意一种实现方式提供的控制屏幕小窗口的方法。

第四方面，本申请实施例提供了一种计算机程序产品，当该计算机程序产品在电子设备上运行时，使得该电子设备执行本申请实施例第一方面或第一方面的任意一种实现方式提供的控制屏幕小窗口的方法。

可以理解的是，上述提供的第二方面提供的电子设备、第三方面提供的计算机存储介质，以及第四方面提供的计算机程序产品均用于执行第一方面所提供的控制屏幕小窗口的方法，因此，其所能达到的有益效果可参考第二方面所提供的拍照方法中的有益效果，此处不再赘述。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

图1a是本申请实施例提供的一种电子设备100的结构示意图。

图1b是本申请实施例提供的一种电子设备100的软件结构框图。

图2是本申请实施例提供的一种用于视频通话的用户界面。

图3是本申请实施例提供的一种识别第一手势时的用户操作示意图。

图4是本申请实施例提供的一种摄像头193检测到用户手势为第一预设手势集合中的一个时的用户界面。

图5是本申请实施例提供的一种通过识别第一手势，确定第一手势对应窗口显示指令的用户界面。

图6是本申请实施例提供的一种通过识别第一手势后，控制第二窗口在第一窗口上显示的用户界面。

图7是本申请实施例提供的一种用于一边语音通话，一边利用电子设备观看视频的用户界面。

图8是本申请实施例提供的一种在视频开始播放后用户一边语音一边观看视频的用户界面。

图9是本申请实施例提供的一种通过识别预设特征后，控制第二窗口在第一窗口上显示的用户界面。

图10是本申请实施例提供的一种在多人视频通话时的视频小窗口遮挡人脸的用户界面。

图11是本申请实施例提供的一种在多人视频通话时，控制第二窗口在第一窗口上显示的用户界面。

图12是本申请实施例提供的一种一边语音一边打游戏的用户界面。

图13是本申请实施例提供的一种通过识别多个预设特征后，控制第二窗口在第一窗口上显示的用户界面。

图14是本申请实施例提供的一种在实际生活中一边游戏一边语音通话时的语音小窗口遮挡游戏步骤控件的用户界面。

图15是本申请实施例提供的一种在实际生活中一边游戏一边语音通话时，控制第二窗口在第一窗口上显示的用户界面。

图16是本申请实施例提供的一种控制屏幕小窗口的方法的流程示意图。

图17是本申请实施例提供的一种识别第二手势的场景示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例进行描述。

本申请的说明书和权利要求书及所述附图中的术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

在本说明书中使用的术语“部件”、“模块”、“系统”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如，部件可以是但不限于，在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过图示，在计算设备上运行的应用和计算设备都可以是部件。一个或多个部件可驻留在进程和/或执行线程中，部件可位于一个计算机上和/或分布在2个或更多个计算机之间。此外，这些部件可从在上面存储有各种数据结构的各种计算机可读介质执行。部件可例如根据具有一个或多个数据分组(例如来自与本地系统、分布式系统和/或网络间的另一部件交互的二个部件的数据，例如通过信号与其它系统交互的互联网)的信号通过本地和/或远程进程来通信。

本申请的说明书和权利要求书及附图中的术语“用户界面(userinterface，ui)”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。应用程序的用户界面是通过java、可扩展标记语言(extensiblemarkuplanguage，xml)等特定计算机语言编写的源代码，界面源代码在终端设备上经过解析，渲染，最终呈现为用户可以识别的内容，比如图片、文字、按钮等控件。控件(control)也称为部件(widget)，是用户界面的基本元素，典型的控件有工具栏(toolbar)、菜单栏(menubar)、文本框(textbox)、按钮(button)、滚动条(scrollbar)、图片和文本。界面中的控件的属性和内容是通过标签或者节点来定义的，比如xml通过<textview>、<imgview>、<videoview>等节点来规定界面所包含的控件。一个节点对应界面中一个控件或属性，节点经过解析和渲染之后呈现为用户可视的内容。此外，很多应用程序，比如混合应用(hybridapplication)的界面中通常还包含有网页。网页，也称为页面，可以理解为内嵌在应用程序界面中的一个特殊的控件，网页是通过特定计算机语言编写的源代码，例如超文本标记语言(hypertextmarkuplanguage，gtml)，层叠样式表(cascadingstylesheets，css)，java脚本(javascript，js)等，网页源代码可以由浏览器或与浏览器功能类似的网页显示组件加载和显示为用户可识别的内容。网页所包含的具体内容也是通过网页源代码中的标签或者节点来定义的，比如gtml通过<p>、<img>、<video>、<canvas>来定义网页的元素和属性。

用户界面常用的表现形式是图形用户界面(graphicuserinterface，gui)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、widget等可视的界面元素。

首先，对本申请中的部分用语进行解释说明，以便于本领域技术人员理解。

(1)窗口，窗口是用户界面中最重要的部分，它是屏幕上与一个应用程序相对应的矩形区域，包括框架和客户区，是用户与产生该窗口的应用程序之间的可视界面。每当用户开始运行一个应用程序时，应用程序就创建并显示一个窗口；当用户操作窗口中的对象时，程序会作出相应反应。用户通过关闭一个窗口来终止一个程序的运行；通过选择相应的应用程序窗口来选择相应的应用程序。

(2)视频通话：一种可以实时看到通话双方图像的通信方式。包括voip视频通话和运营商视频通话两种方式。

(3)视频小窗口：一般在视频通话过程中，为了更好地看到对端图像，对端图像默认会以全屏大窗口的形式呈现，本端图像以更小的窗口悬浮在大窗口上呈现，点击小窗口可以实现大小窗口图像的切换，拖动小窗口可以实现小窗口位置的变换。本申请中的视频小窗口指的是悬浮在全屏大窗口上方的小窗口。

(4)手势识别，手势识别旨在识别人类的物理运动或“手势”，可以基于将人类运动识别为输入形式。手势识别也被分类为一种非接触式用户界面，与触摸屏设备不同，具有非接触式用户界面的设备无需触摸即可控制，该设备可以具有一个或多个传感器或摄像头，可监控用户的移动，当它检测到与命令相对应的移动时，它会以适当的输出作出响应。例如，在设备前面以特定模式挥动您的手可能会告诉它启动特定的应用程序。

(5)手势追踪传感器，是一种使用光导纤维传感器来追踪手指运动的传感器。

接下来，介绍本申请以下实施例中提供的示例性电子设备。

请参考附图1a，图1a是本申请实施例提供的一种电子设备100的结构示意图，其中，电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universalserialbus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriberidentificationmodule，sim)卡接口195等。其中传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(applicationprocessor，ap)，调制解调处理器，图形处理器(graphicsprocessingunit，gpu)，图像信号处理器(imagesignalprocessor，isp)，控制器，存储器，视频编解码器，数字信号处理器(digitalsignalprocessor，dsp)，基带处理器，和/或神经网络处理器(neural-networkprocessingunit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integratedcircuit，i2c)接口，集成电路内置音频(inter-integratedcircuitsound，i2s)接口，脉冲编码调制(pulsecodemodulation，pcm)接口，通用异步收发传输器(universalasynchronousreceiver/transmitter，uart)接口，移动产业处理器接口(mobileindustryprocessorinterface，mipi)，通用输入输出(general-purposeinput/output，gpio)接口，用户标识模块(subscriberidentitymodule，sim)接口，和/或通用串行总线(universalserialbus，usb)接口等。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(lownoiseamplifier，lna)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocalareanetworks，wlan)(如无线保真(wirelessfidelity，wi-fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(globalnavigationsatellitesystem，gnss)，调频(frequencymodulation，fm)，近距离无线通信技术(nearfieldcommunication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(globalsystemformobilecommunications，gsm)，通用分组无线服务(generalpacketradioservice，gprs)，码分多址接入(codedivisionmultipleaccess，cdma)，宽带码分多址(widebandcodedivisionmultipleaccess，wcdma)，时分码分多址(time-divisioncodedivisionmultipleaccess，td-scdma)，长期演进(longtermevolution，lte)，bt，gnss，wlan，nfc，fm，和/或ir技术等。所述gnss可以包括全球卫星定位系统(globalpositioningsystem，gps)，全球导航卫星系统(globalnavigationsatellitesystem，glonass)，北斗卫星导航系统(beidounavigationsatellitesystem，bds)，准天顶卫星系统(quasi-zenithsatellitesystem，qzss)和/或星基增强系统(satellitebasedaugmentationsystems，sbas)。

电子设备100通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquidcrystaldisplay，lcd)，有机发光二极管(organiclight-emittingdiode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganiclightemittingdiode的，amoled)，柔性发光二极管(flexlight-emittingdiode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantumdotlightemittingdiodes，qled)等。在一些实施例中，电子设备100可以包括1个或n个显示屏194，n为大于1的正整数。

电子设备100可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。

isp用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(chargecoupleddevice，ccd)或互补金属氧化物半导体(complementarymetal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，电子设备100可以包括1个或n个摄像头193，n为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(movingpictureexpertsgroup，mpeg)1，mpeg2，mpeg3，mpeg4等。

npu为神经网络(neural-network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如microsd卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universalflashstorage，ufs)等。

电子设备100可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170a，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170a收听音乐，或收听免提通话。

受话器170b，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170b靠近人耳接听语音。

麦克风170c，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170c发声，将声音信号输入到麦克风170c。电子设备100可以设置至少一个麦克风170c。在另一些实施例中，电子设备100可以设置两个麦克风170c，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170c，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130，也可以是3.5mm的开放移动电子设备平台(openmobileterminalplatform，omtp)标准接口，美国蜂窝电信工业协会(cellulartelecommunicationsindustryassociationoftheusa，ctia)标准接口。

压力传感器180a用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触控操作作用于显示屏194，电子设备100根据压力传感器180a检测所述触控操作强度。电子设备100也可以根据压力传感器180a的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触控操作强度的触控操作，可以对应不同的操作指令。例如：当有触控操作强度小于第一压力阈值的触控操作作用于短消息应用图标时，执行查看短消息的指令。当有触控操作强度大于或等于第一压力阈值的触控操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器180b可以用于确定电子设备100的运动姿态。

气压传感器180c用于测量气压。

磁传感器180d包括霍尔传感器。

加速度传感器180e可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器180f，用于测量距离。

接近光传感器180g可以包括例如发光二极管(led)和光检测器，例如光电二极管。

环境光传感器180l用于感知环境光亮度。

指纹传感器180h用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器180j用于检测温度。在一些实施例中，电子设备100利用温度传感器180j检测的温度，执行温度处理策略。

触摸传感器180k，也称“触控面板”。触摸传感器180k可以设置于显示屏194，由触摸传感器180k与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触控操作。触摸传感器可以将检测到的触控操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触控操作相关的视觉输出。在另一些实施例中，触摸传感器180k也可以设置于电子设备100的表面，与显示屏194所处的位置不同。

骨传导传感器180m可以获取振动信号。在一些实施例中，骨传导传感器180m可以获取人体声部振动骨块的振动信号。骨传导传感器180m也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180m也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180m获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180m获取的血压跳动信号解析心率信息，实现心率检测功能。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触控操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触控操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195，或从sim卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或n个sim卡接口，n为大于1的正整数。sim卡接口195可以支持nanosim卡，microsim卡，sim卡等。同一个sim卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。sim卡接口195也可以兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。电子设备100通过sim卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用esim，即：嵌入式sim卡。esim卡可以嵌在电子设备100中，不能和电子设备100分离。

电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的android系统为例，示例性说明电子设备100的软件结构。请参考附图1b，图1b是本申请实施例提供的一种电子设备100的软件结构框图。

可以理解的是，本申请实施例示意的软件结构框图并不构成对电子设备100的软件结构框图具体限定。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(androidruntime)和系统库，以及内核层。

应用程序层可以包括一系列应用程序包。

如图1b所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，wlan，蓝牙，音乐，视频，短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramminginterface，api)和编程框架。应用程序框架层包括一些预先定义的函数。

如图1b所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

androidruntime包括核心库和虚拟机。androidruntime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surfacemanager)，媒体库(medialibraries)，三维图形处理库(例如：opengles)，2d图形引擎(例如：sgl)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2d和3d图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:mpeg4，g.264，mp3，aac，amr，jpg，png等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2d图形引擎是2d绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

图1b所示的软件系统涉及到使用分享能力的应用呈现(如图库，文件管理器)，提供分享能力的即时分享模块，提供打印能力的打印服务(printservice)和打印后台服务(printspooler)，以及应用框架层提供打印框架、wlan服务、蓝牙服务，以及内核和底层提供wlan蓝牙能力和基本通信协议。

下面结合捕获拍照场景，示例性说明电子设备100软件以及硬件的工作流程。

当触摸传感器180k接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸触摸操作，该触摸操作所对应的控件为相机应用图标的控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过3d摄像模组193捕获静态图像或视频。

可以理解的是，本申请中的电子设备可以是计算机网络中处于网络最外围的设备，也可以用于信息的输入以及处理结果的输出等，也可以称为远程终端、移动设备、用户终端、移动终端、无线通信设备、具有通信功能的服务设备或用户设备(userequipment，ue)。例如，该电子设备可以是蜂窝电话、移动电话、无绳电话、智能手表、可穿戴设备(wearabledevice)、平板设备、电话软终端(如：ip软件电话模块或程序应用的电话软终端，其中的一种类型可以为基于会话启动协议-sessioninitiationprotocol，即sip开发而成的会话启动协议电话)、可通信的智能电视机、无线本地环路(wirelesslocalloop，wll)站、个人数字助手(personaldigitalassistant，pda)、具备无线通信功能的手持设备、计算设备、车载通信模块、智能电表或连接到无线调制解调器的其它处理设备等。

下面介绍本申请实施例涉及的几个应用场景以及各个应用场景下的用户界面(userinterface，ui)实施例。需要说明的是，本申请实施例中提到的用户界面可以理解为本申请中的第一窗口，本申请实施例中提到的视频小窗口、语音小窗口或悬浮小窗口等可以理解为本申请中的第二窗口。

场景一，视频通话的场景。(通过第一手势控制第二窗口)

请参考附图2，图2是本申请实施例提供的一种用于视频通话的用户界面。该用户界面可以是微信提供的视频通话界面，或者是苹果的facetime界面。不限于此，该用户界面还可以是其他应用程序提供的用于视频通话界面，其他应用程序例如可以是qq或者msn等即时通讯软件。在视频通话时视频小窗口一般默认位于右上角，其中，qq因右上角有其他功能，默认在右下角。

如图2所示，用于视频通话的用户界面20可以包括：视频显示区201、窗口切换控件202、挂断控件203、摄像头切换控件204、语音切换控件205、窗口缩小控件206、状态栏207、导航栏208及通话时长指示符209。本端用户使用的电子设备为电子设备100。其中：

视频显示区201用于显示视频联系人的电子设备(或电子设备100)的摄像头采集的图像。

窗口切换控件202用于显示电子设备100(或视频联系人的电子设备)的摄像头采集的图像，也可以用于切换视频窗口。电子设备100可以检测到作用于窗口切换控件202的触控操作(如在窗口切换控件202上的点击操作)，响应于该操作，电子设备100可以切换视频显示区201内显示的图像以及窗口切换控件202内显示的图像。

例如，若视频显示区201内显示视频联系人的电子设备的摄像头采集的图像，则窗口切换控件202内显示电子设备100的摄像头193采集的图像。当电子设备100检测到作用于窗口切换控件202的触控操作后，响应于该操作，电子设备100将视频显示区201内显示的内容切换为电子设备100的摄像头193采集的图像，同时将窗口切换控件202内显示的内容切换为视频联系人的电子设备的摄像头采集的图像。

反之，若视频显示区201内显示电子设备100的摄像头193采集的图像，则窗口切换控件202内显示视频联系人的电子设备的摄像头采集的图像。当电子设备100检测到作用于窗口切换控件202的触控操作后，响应于该操作，电子设备100将视频显示区201内显示的内容切换为视频联系人的电子设备的摄像头采集的图像，同时将窗口切换控件202内显示的内容切换为电子设备100的摄像头193采集的图像。

挂断控件203用于中断视频通话。电子设备100可以检测到作用于挂断控件203的触控操作(如在挂断控件203上的点击操作)，响应于该操作，电子设备100可以中断视频通话。

摄像头切换控件204用于切换摄像头。电子设备100可以检测到作用于摄像头切换控件204的触控操作(如在摄像头切换控件204上的点击操作)，响应于该操作，电子设备100可以切换摄像头。例如，将电子设备100的摄像头从前置摄像头切换为后置摄像头，或者将电子设备100的摄像头从后置摄像头切换为前置摄像头。

语音切换控件205用于将视频通话切换为语音通话。电子设备100可以检测到作用于语音切换控件205的触控操作(如在语音切换控件205上的点击操作)，响应于该操作，电子设备100可以将视频通话切换为语音通话，关闭摄像头193。

窗口缩小控件206用于缩小窗口。电子设备100可以检测到作用于窗口缩小控件206的触控操作(如在窗口缩小控件206上的点击操作)，响应于该操作，电子设备100可以将当前视频窗口缩小，且在缩小后的窗口内显示视频联系人的电子设备的摄像头采集的图像。

状态栏207可以包括：运营商指示符(例如运营商的名称“中国移动”)、无线高保真(wirelessfidelity，wi-fi)信号的一个或多个信号强度指示符、移动通信信号(又可称为蜂窝信号)的一个或多个信号强度指示符、时间指示符和电池状态指示符。

导航栏208可以包括：返回按键210、主界面(homescreen)按键211、呼出任务历史按键212等系统导航键。其中，主界面为电子设备100在任何一个用户界面检测到作用于主界面按键207的用户操作后显示的界面。当检测到用户点击返回按键210时，电子设备100可显示当前用户界面的上一个用户界面。当检测到用户点击主界面按键211时，电子设备100可显示主界面。当检测到用户点击呼出任务历史按键212时，电子设备100可显示用户最近打开过的任务。各导航键的命名还可以为其他，比如，210可以叫backbutton，211可以叫homebutton，212可以叫menubutton，本申请对此不做限制。导航栏208中的各导航键不限于虚拟按键，也可以实现为物理按键。在一些可能的实施例中，返回按键210、主界面(homescreen)按键211、呼出任务历史按键212等系统导航键也可被称为第二控件。

通话时长指示符209用于指示当前视频通话的时长。

在该场景下，用户在视频通话过程中，视频显示区202可能会遮挡住视频显示区201的视频图像信息(如：人脸、目标物品等)，若此时用户的双手比较湿滑或有脏污不便操作手机；或者，用户为了使电子设备100的摄像头193采集到更宽范围的图像，将手机放置在一个离人比较远的位置时，用户通过触碰手机移动视频小窗口会比较难操作，导致视频通话体验不佳。以上示例性列出的几种不便操作导致视频通话体验不佳的视频通话的场景。

基于前述视频通话场景，下面介绍电子设备100上实现的一些ui实施例。

在窗口切换控件202(即，第二窗口)遮挡视频显示区201(即，第一窗口)的目标区域时，由于用户不方便直接操控手机，因此电子设备100可以通过识别第一手势，确定目标遮挡信息；再根据确定的目标遮挡信息，确定窗口显示指令；最后根据窗口显示指令，控制窗口切换控件202在视频显示区201上显示。

下面从以下几个方面进行详细说明。

(1)如何确定目标遮挡信息。

请参考附图3，图3是本申请实施例提供的一种识别第一手势时的用户操作示意图。

如图3所示，电子设备100可以通过摄像头193检测到用户的手势操作(如用户在摄像头193前做出五指微张手势)，响应于该手势操作，电子设备100可以识别到该手势。不限于在摄像头193前仅仅做出五指微张手势，该手势操作还可以通过改变在摄像头前停留手势时长、手势运动轨迹、手势形状的不同来代表不同的手势操作等。

具体实现中，当摄像头193检测用户的手势时，不同的手势停留时长、手势运动轨迹、手势形状，例如：五指张开与五指握拳、手势的左右活动与前后活动等，可能产生不同的光学和/或声学效果，并生成对应的信号(包括该手势操作对对终端产生的加速度值等)。由不同的手势产生的信号可以通过电子设备100的传感器(例如：手势识别传感器、加速度传感器、冲击传感器、振动传感器、声传感器、位移传感器、速度传感器等)捕获，因而，电子设备100可通过捕获到的信号区分用户使用具体的手势，再判断摄像头193检测到用户手势是否为第一预设手势集合中的一个；或者，判断摄像头193检测到用户手势是否为第二预设手势集合中的一个；若确定摄像头193检测到用户手势为第一预设手势集合中的一个，则生成目标遮挡信息。此时电子设备100可以通过震动和/或用户界面标识(如：视频小窗口发亮，边界加粗或有虚影等)来指示摄像头193检测到用户手势为第一预设手势集合中的一个。其中，目标遮挡信息包括用于指示视频显示区201的目标区域被窗口切换控件202遮挡的指示信息，目标遮挡信息还包括：所述目标区域的区域信息和窗口切换控件202的当前窗口信息；所述区域信息包括所述预设特征的显示面积、所述预设特征的显示位置中的一个或多个；窗口切换控件202的当前窗口信息包括窗口切换控件202的当前悬浮位置信息、当前透明度信息、当前尺寸信息和当前形状信息中的一个或多个。请参考附图4，图4是本申请实施例提供的一种摄像头193检测到用户手势为第一预设手势集合中的一个时的用户界面。当摄像头193检测到用户手势为第一预设手势集合中的一个时，窗口切换控件202可以发光、震动或电子设备震动来表明用户手势为第一预设手势集合中的一个。

不限于上述列出的通过摄像头193识别第一手势时的用户操作，在具体实现中还可以有其他的识别用户操作的方式。例如，电子设备100还可以通过红外传感器识别用户的手势操作等。

不限于上述列出的识别第一手势的用户操作，在具体实现中还可以有其他形式的用户操作可确定目标遮挡信息，例如：语音操控等。本申请实施例对此不作限定。

(2)如何确定窗口显示指令。

请参考附图5，图5是本申请实施例提供的一种通过识别第一手势，确定第一手势对应窗口显示指令的用户界面。

如图5所示，响应于图2对应的实施例中作用于摄像头193的手势操作，电子设备100可以通过识别该第一手势的手势时长信息、手势运动轨迹信息、手势形状信息中的一个或多个，判断出摄像头193检测到的用户手势为第一预设手势集合中的一个后，再根据摄像头193检测到的用户手势以及所述预设手势与预设窗口显示指令的对应关系，确定与摄像头193检测到的用户手势对应的所述窗口显示指令。此时电子设备100可以通过当前显示的用户界面中悬浮的视频小窗口的控制实时显示窗口显示指令所包含的指令，例如，当摄像头193检测到用户手势向左滑动时，窗口显示指令中包含控制窗口切换控件202在视频显示区201上的悬浮位置的指令，即基于当前的悬浮位置向左移动与用户手势向左滑动对应比例的距离。又例如，当摄像头193检测到用户手势向离摄像头近的方向滑动时，窗口显示指令中包含控制窗口切换控件202在视频显示区201上的透明度的指令，即，该透明度的指令可以用于控制控制窗口切换控件202基于当前的透明度向变透明的方向调节与用户手势向离摄像头近的方向滑动对应比例的透明程度等。不限于上述列举的第一预设手势集合与窗口显示指令的对应关系，在具体实现中还可以有其他的对应方式，本申请实施例对此不作限定。

电子设备100通过识别第一手势，确定窗口显示指令的方式可参考前述实施例的相关描述，此处不赘述。

(2)如何控制第二窗口在第一窗口上显示。

请参考附图6，图6是本申请实施例提供的一种通过识别第一手势后，控制第二窗口在第一窗口上显示的用户界面。

如图6所示，响应于图2对应的实施例中作用于摄像头193的手势操作，电子设备100可以通过确定与摄像头193检测到用户手势对应的窗口显示指令后，根据窗口显示指令控制窗口切换控件202在视频显示区201上显示。可以理解的是，窗口显示指令包括控制窗口切换控件202在视频显示区201上的悬浮位置、窗口切换控件202的透明度、窗口切换控件202的尺寸、窗口切换控件202的形状中的一个或多个的指令，因此，电子设备100可以根据窗口显示指令，控制窗口切换控件202在视频显示区201上显示。

本申请实施例中，电子设备还可以通过摄像头或者手势识别传感器等装置识别用户手势，然后通过用户手势确定窗口显示指令后，控制窗口切换控件202在视频显示区201上显示，便捷的操控窗口切换控件202，因此，可以在用户不方便触碰操作手机时，通过隔空手势灵活的操控窗口切换控件202，提升用户体验。又因为为了防止错误识别用户手势，在手势时长信息、手势运动轨迹信息、手势形状信息等中的任何一项信息不相同时的两个手势认为不同的手势，所以可以通过识别不同手势的手势信息来避免因错误识别用户手势，不能够控制按用户意愿控制窗口切换控件202在视频显示区201上显示，或者因无法识别用户手势，不能控制窗口切换控件202的情况发生。

场景二：一边语音通话，一边利用电子设备看视频场景(识别预设特征后，自动调节第二窗口的透明度及大小)。

请参考附图7，图7是本申请实施例提供的一种用于一边语音通话，一边利用电子设备观看视频的用户界面。该用户界面可以是视频播放软件(如，爱奇艺、优酷等)提供的用户界面。

如图7所示，用户观看视频的用户界面30可以包括：退出控件301、内容显示区302、暂停控件303、上一集控件304、下一集控件305、进度条306、窗口切换控件307及通话时长指示符308。其中：

退出控件301可用于退出当前用户界面。电子设备100可以检测到作用于退出控件301的触控操作(如在退出控件301上的点击操作)，响应于该操作，电子设备100可以退出当前用户界面。

内容显示区302可用于显示视频内容。此外，内容显示区302还可调节播放亮度及播放音量。电子设备100可以检测到作用于内容显示区302左侧的触控操作(如上滑或下滑操作)，响应于该操作，电子设备100可以调节当前播放亮度(增大或减小)。电子设备100可以检测到作用于内容显示区302右侧的触控操作(如上滑或下滑操作)，响应于该操作，电子设备100可以调节当前播放音量(增大或减小)。

暂停控件303可用于暂停播放视频。电子设备100可以检测到作用于暂停控件303的触控操作(如在暂停控件303上的点击操作)，响应于该操作，电子设备100可以暂停播放视频。

上一集控件304可用于切换播放内容至上一集。电子设备100可以检测到作用于上一集控件304的触控操作(如在上一集控件304上的点击操作)，响应于该操作，电子设备100可以切换播放内容至上一集。

下一集控件305可用于切换播放内容至下一集。电子设备100可以检测到作用于下一集控件305的触控操作(如在下一集控件305上的点击操作)，响应于该操作，电子设备100可以切换播放内容至下一集。

进度条306用于显示当前视频播放进度，且可用于调整播放进度。电子设备100可以检测到作用于进度条306的触控操作(如在进度条306上的滑动操作)，响应于该操作，电子设备100可以调整当前播放进度。

窗口切换控件307在语音通话时用于显示电子设备100语音通话的图标，也可以用于切换语音窗口；或者在视频通话时用于显示电子设备100(或视频联系人的电子设备)的摄像头采集的图像，也可以用于切换视频窗口。电子设备100可以检测到作用于窗口切换控件307的触控操作(如在窗口切换控件307上的点击操作)，响应于该操作，电子设备100可以由内容显示区302内显示的图像切换至窗口切换控件302内显示的图像或电子设备100语音通话的界面。

通话时长指示符308用于指示当前语音通话的时长。

在放松时，人们经常一边看剧，一边和朋友通话讨论剧情，在该场景下，若窗口切换控件307遮挡了内容显示区302中的显示视频内容会影响用户观看视频的体验；若窗口切换控件307遮挡了内容显示区302中退出控件301、暂停控件303、上一集控件304或下一集控件305等会导致不能够随时退出当前用户界面、切换更改当前播放内容等导致视频观看不顺畅。以上示例性列出的几种遮挡均会导致视频通话不顺畅。

基于前述一边语音通话，一边利用电子设备进行视频观看的场景，下面介绍电子设备100上实现的一些ui实施例。

在该场景下识别内容显示区302(即，第一窗口)的所述预设特征，生成目标遮挡信息后电子设备100即可确定目标遮挡信息，然后电子设备100可根据目标遮挡信息和显示条件，确定窗口显示指令，最后根据窗口显示指令，控制窗口切换控件307(即，第二窗口)在识别内容显示区302上显示。可防止由于语音小窗口遮挡视频内容导致观看视频不顺畅。

下面从以下几个方面进行详细说明。

(1)如何确定目标遮挡信息。

电子设备100可以识别内容显示区302内显示视频内容的预设特征(如：人物、动物等)，确定该预设特征所在的目标区域的区域信息和窗口切换控件307的当前窗口信息；根据目标区域的区域信息和窗口切换控件307的当前窗口信息，判断目标区域是否满足被窗口切换控件307遮挡的遮挡条件；若是，生成目标遮挡信息，生成目标遮挡信息后电子设备100即可确定目标遮挡信息。其中，遮挡条件包括：若目标区域和窗口切换控件307之间的重叠面积与预设特征的显示面积的比值达到预设比值阈值，则确定目标区域被第二窗口遮挡；遮挡条件还包括：若目标区域和窗口切换控件307之间的重叠面积与预设特征的显示面积的比值达到预设比值阈值，且窗口切换控件307与目标区域之间的重叠时长超过预设时长阈值，则确定目标区域被窗口切换控件307遮挡。可以理解的，本申请实施例中电子设备100可以识别到内容显示区302内显示的被窗口切换控件307遮挡。

不限于上述列出的遮挡条件，在具体实现中还可以有其他的遮挡条件用于判断目标区域是否被窗口切换控件307遮挡，本申请实施例对此不作限定。

(2)如何确定窗口显示指令。

请参考附图8，图8是本申请实施例提供的一种在视频开始播放后用户一边语音一边观看视频的用户界面。

如图8所示，视频开始播放后，用户界面30中的内容显示区302可包括窗口切换控件307和视频内容，其他控件在视频全屏播放后逐渐消失，以防影响用户观看视频。

电子设备100可以根据上述目标遮挡信息，确定窗口显示指令。因为目标遮挡信息除用于指示第一窗口的目标区域被第二窗口遮挡的指示信息外，还包括：所述目标区域的区域信息和所述第二窗口的当前窗口信息；所述区域信息包括所述预设特征的显示面积、所述预设特征的显示位置中的一个或多个；所述第二窗口的当前窗口信息包括所述第二窗口的当前悬浮位置信息、当前透明度信息、当前尺寸信息和当前形状信息中的一个或多个。所以，电子设备100可以根据窗口切换控件307和内容显示区302之间的遮挡信息，确定用于控制窗口切换控件307在内容显示区302上显示的窗口显示指令。

可以理解的是，电子设备100还可以根据目标遮挡信息和窗口切换控件307的显示条件，确定窗口显示指令；其中，显示条件包括将窗口切换控件307悬浮在内容显示区302内显示视频内容所有预设特征中显示优先级最低的预设特征的显示区域上；或者，显示条件包括将窗口切换控件307悬浮在内容显示区302内显示视频内容除预设特征的显示区域外的离摄像头最近的显示区域上；或者，显示条件包括将窗口切换控件307悬浮在内容显示区302内显示视频内容除预设特征的显示区域外的显示区域面积最大的显示区域上。根据目标遮挡信息和窗口切换控件307的显示条件，确定窗口显示指令，可以使窗口显示指令更好地控制窗口切换控件307在内容显示区302上显示，更便捷高效的操控第二窗口避开电子设备的用户界面中的特殊区域(如：显示优先级高的预设特征、离摄像头很远的显示区域或显示区域面积很小的显示区域等)，提升了用户体验。

(3)如何控制第二窗口在第一窗口上显示。

请参考附图9，图9是本申请实施例提供的一种通过识别预设特征后，控制第二窗口在第一窗口上显示的用户界面。

如图9所示，根据目标遮挡信息和窗口切换控件307的显示条件，确定所述窗口显示指令后，根据窗口显示指令控制窗口切换控件307在内容显示区302上显示。本申请实施例可以通过改变窗口切换控件307的尺寸和透明度，实现内容显示区302内显示视频内容不被遮挡。其中，控制第二窗口在内容显示区302上显示的方式可参考前述实施例以及下述方法实施例的相关描述，此处不赘述。

本申请实施例中，监控所述目标区域的区域信息和所述窗口切换控件307的当前窗口信息后，需要根据监控的信息判断所述目标区域是否满足被所述窗口切换控件307遮挡的遮挡条件，防止在无遮挡情况发生时，窗口切换控件307频繁的移动，降低用户体验。当窗口切换控件307遮挡目标区域的面积达到一定比例时，才会确定内容显示区302的目标区域被遮挡，避免了在不影响用户体验的情况下，因小面积遮挡目标区域而移动第二窗，减少了无意义的操作。例如：在视频通话时，视频小窗口遮挡了用户的头发，在预设特征为人像的目标区域中占比仅为2％，因此，此时并没有影响视频通话的体验，不需要控制视频小窗口在内容显示区302上的显示。又例如：基于上述场景一中示例性的电子设备，请参考附图10和附图11，图10是本申请实施例提供的一种在实际生活中多人视频通话时的视频小窗口遮挡人脸的用户界面，图11是本申请实施例提供的一种在实际生活中多人视频通话时，控制第二窗口在第一窗口上显示的用户界面。在视频通话时，视频小窗口遮挡了用户的人脸，在预设特征为人像的目标区域中占比为30％，因此，需要通过窗口显示指令控制视频小窗口缩小，以使得被遮挡的人脸能够在用户界面上正常显示。

场景三：一边视频通话，一边利用电子设备打游戏的场景。(识别多预设特征后，自动调节第二窗口的悬浮位置及尺寸)

用户在视频通话时，自动识别人脸移动视频小窗口的位置

请参考附图12，图12是本申请实施例提供的一种一边语音一边打游戏的用户界面。该用户界面可以是休闲游戏软件(如开心消消乐、天天爱消除等)提供的用户界面。

如图12所示，用户观看视频的用户界面40可以包括：退出控件401、内容显示区402、暂停控件403、道具控件404、背包切换控件405、窗口切换控件406、游戏步骤控件407及导航栏408。其中：

退出控件401可用于退出当前用户界面。电子设备100可以检测到作用于退出控件401的触控操作(如在退出控件401上的点击操作)，响应于该操作，电子设备100可以退出当前用户界面，结束本局游戏。

内容显示区402可用于显示游戏内容。此外，内容显示区402还可操控游戏区域中的游戏元素控件，用于调节游戏元素的位置以达到进行游戏的目的。电子设备100可以检测到作用于内容显示区402的触控操作(如上滑、下滑、左滑或右滑等操作)，响应于该操作，电子设备100可以移动当前游戏元素的位置(如，上移、下移、左移或右移)。

暂停控件403可用于暂停本局游戏。电子设备100可以检测到作用于暂停控件403的触控操作(如在暂停控件403上的点击操作)，响应于该操作，电子设备100可以暂停游戏进程。

道具控件404可用于使用游戏道具至游戏元素。电子设备100可以检测到作用于上一集控件404的触控操作(如在上一集控件404上的点击操作)，响应于该操作，电子设备100可以切换播放内容至上一集。

背包切换控件405可用于切换背包窗口。电子设备100可以检测到作用于下一集控件404的触控操作(如在下一集控件404上的点击操作)，响应于该操作，电子设备100可以由内容显示区402内显示的图像切换至背包切换控件302内显示的背包图像。

窗口切换控件406用于显示电子设备100(或视频联系人的电子设备)的摄像头采集的图像，也可以用于切换视频窗口。电子设备100可以检测到作用于窗口切换控件406的触控操作(如在窗口切换控件406上的点击操作)，响应于该操作，电子设备100可以由内容显示区402内显示的图像切换至窗口切换控件406内显示的图像或电子设备100语音通话的界面。

游戏步骤控件407可用于计算游戏剩余步骤，电子设备100可以检测到作用于内容显示区402的触控操作(如在内容显示区402上的上滑、下滑、左滑或右滑等操作)，响应于该操作后游戏步骤控件407的游戏剩余步数就相应的减少一步。

导航栏408可以包括：返回按键409、主界面(homescreen)按键410、呼出任务历史按键411等系统导航键。其中，主界面为电子设备100在任何一个用户界面检测到作用于主界面按键410的用户操作后显示的界面。当检测到用户点击返回按键409时，电子设备100可显示当前用户界面的上一个用户界面。当检测到用户点击主界面按键410时，电子设备100可显示主界面。当检测到用户点击呼出任务历史按键411时，电子设备100可显示用户最近打开过的任务。各导航键的命名还可以为其他，比如，409可以叫backbutton，410可以叫homebutton，411可以叫menubutton，本申请对此不做限制。导航栏408中的各导航键不限于虚拟按键，也可以实现为物理按键。在一些可能的实施例中，返回按键409、主界面(homescreen)按410、呼出任务历史按键411等系统导航键也可被称为第二控件。

例如，在放松时，人们经常在朋友视频通话时，进行一些趣味小游戏，又例如：在连麦和朋友打游戏时，通话小窗口放在一个固定的位置可能会遮挡游戏中的游戏地图、操作按键等影响游戏操作，降低游戏体验感。在该场景下，若窗口切换控件406遮挡了内容显示区402中的游戏内容会影响用户的游戏体验和视频体验；若窗口切换控件406遮挡了内容显示区402中退出控件401、暂停控件403、道具控件404或背包切换控件405等会导致不能够随时退出当前游戏界面、暂停当前游戏界面、切换更改当前游戏内容至背包等导致游戏体验差。以上示例性列出的几种遮挡均会导致游戏体验不佳。

基于前述一边语音通话，一边利用电子设备进行游戏的场景，下面介绍电子设备100上实现的一些ui实施例。

在该场景下电子设备100识别内容显示区402(即，第一窗口)的多个预设特征，生成目标遮挡信息后，电子设备100确定目标遮挡信息，然后该电子设备100再根据目标遮挡信息和显示条件，确定窗口显示指令，最后根据窗口显示指令，控制窗口切换控件406(即，第二窗口)在识别内容显示区402上显示。可防止由于窗口切换控件406遮挡游戏内容导致游戏体验不佳。

下面从以下几个方面进行详细说明。

(1)如何确定目标遮挡信息。

所述内容显示区402中当前有n个预设特征，如：道具控件404、背包切换控件405、游戏步骤控件407、游戏元素等，其中，n为大于或等于1的整数；所述确定目标遮挡信息之前，还包括：识别所述内容显示区402的所述n个预设特征，确定所述n个预设特征分别对应的显示优先级；其中，所述预设特征的显示优先级越高，所述预设特征对应的所述预设比值阈值越小；确定所述n个预设特征中所述显示优先级前m个预设特征所在的显示区域分别对应的m个区域信息和所述窗口切换控件406的当前窗口信息，其中，m为小于或等于n的正整数；根据所述m个区域信息和所述窗口切换控件406的当前窗口信息，判断所述m个预设特征所在的显示区域是否满足所述遮挡条件，若是，生成目标遮挡信息。其中，电子设备100确定目标区域被窗口切换控件407遮挡的遮挡条件可参考前述实施例的相关描述，此处不赘述。还可以理解的是，预设特征的显示优先级越高，该预设特征对应的所述预设时长阈值也越小，即，当预设特征的显示优先级越高时，该预设特征允许被第二窗口遮挡的时间越短，因此对用户而言更“重要的”的预设特征，被第二窗口遮挡的时间越短。

其中，电子设备100确定所述n个预设特征中所述显示优先级前m个预设特征的方式可参考下述方法实施例的相关描述，此处不赘述。

(2)如何确定窗口显示指令。

其中，电子设备100确定窗口显示指令的方式可参考前述实施例的相关描述，此处不赘述。

(3)如何控制第二窗口在第一窗口上显示。

请参考附图13，图13是本申请实施例提供的一种通过识别多个预设特征后，控制第二窗口在第一窗口上显示的用户界面。

如图13所示，在本申请实施例中，可以根据目标遮挡信息和窗口切换控件406的显示条件，确定所述窗口显示指令后，根据窗口显示指令控制窗口切换控件406在内容显示区402上显示。其中，控制窗口切换控件406在内容显示区402上显示的方式可参考前述实施例以及下述方法实施例的相关描述，此处不赘述。例如：请参考附图14，图14是本申请实施例提供的一种在实际生活中一边游戏一边语音通话时的语音小窗口遮挡游戏步骤控件的用户界面，在语音通话时，语音小窗口遮挡了用户界面的游戏步骤控件，在预设特征为游戏步骤控件的目标区域中占比为90％，因此，需要通过窗口显示指令控制语音小窗口在用户界面上显示，以使被遮挡的游戏步骤控件能够正常显示，同时，因为游戏元素与游戏步骤控件407都为显示优先级很高的预设特征，所以控制语音小窗口在用户界面上显示时不能够遮挡游戏元素或游戏步骤控件407。请参考附图15，图15是本申请实施例提供的一种在实际生活中一边游戏一边语音通话时，控制第二窗口在第一窗口上显示的用户界面。

本申请实施例中，第一窗口中显示有多个预设特征的情况下，可以首先确定显示优先级高的前几个预设特征的显示区域为目标区域，再判断该目标区域是否被遮挡。例如：视频时，第一窗口中包括人脸、功能按键(如：挂断键、静音键、转换摄像头按键等)以及背景(如：花瓶、衣柜、电视机等)等预设特征，人脸和功能按键的显示优先级要比背景的显示优先级高，所以当第二窗口遮挡背景时可以认为目标区域没有被遮挡，当第二窗口遮挡人脸或功能按键时，则认为第二窗口遮挡了目标区域。因此，优先确定显示优先级高的前几个预设特征的显示区域为目标区域，可以减少因多个预设特征同时出现时，无法准确有效的确定第二窗口是否遮挡了第一窗口，同时也可以智能的识别第二窗口是否遮挡了显示优先级高的预设特征，提升了用户体验。

可以理解的是，在一些实施例中，无论电子设备100以什么样的方式确定窗口显示指令，电子设备100仍可通过窗口显示指令，控制第二窗口在第一窗口上显示。还可以理解的是，上述三种应用场景的只是本申请实施例中的几种示例性的实施方式，本申请实施例中的应用场景包括但不仅限于以上应用场景。

基于前述图2-图15提供的五种场景及各个场景下的ui实施例，接下来介绍本申请实施例提供一种控制屏幕小窗口的方法，该方法可应用于上述图1a中所述的电子设备中。请参见附图16，图16是本申请实施例提供的一种控制屏幕小窗口的方法的流程示意图。下面以电子设备为执行主体展开描述。该方法可以包括以下步骤s501-步骤s506。

步骤s501：识别第一窗口的预设特征，确定预设特征所在的目标区域的区域信息和第二窗口的当前窗口信息。

具体的，电子设备识别第一窗口的预设特征，确定预设特征所在的目标区域的区域信息和第二窗口的当前窗口信息，其中，所述区域信息包括所述预设特征的显示面积、所述预设特征的显示位置中的一个或多个；所述第二窗口的当前窗口信息包括所述第二窗口的当前悬浮位置信息、当前透明度信息、当前尺寸信息和当前形状信息中的一个或多个。

可选的，预设特征可以是用户设置的在第一窗口上显示的图像特征，例如：上述场景一视频通话时的人物图像；上述场景三打游戏中的功能按键、游戏元素等。所述区域信息还可以包括该预设特征的显示优先级，其中该显示优先级也可以标识预设特征重要性，显示优先级越高的预设特征就越不能被遮挡。例如：人脸的显示优先级比身体的显示优先级要高，因此，在控制第二窗口在第一窗口上显示时不能够遮挡人脸的显示区域。

步骤s502：根据目标区域的区域信息和第二窗口的当前窗口信息，判断目标区域是否满足被第二窗口遮挡的遮挡条件。

具体的，电子设备根据目标区域的区域信息和第二窗口的当前窗口信息，判断目标区域是否满足被第二窗口遮挡的遮挡条件。可以理解的是，电子设备根据监控的所述目标区域的区域信息和所述第二窗口的当前窗口信息，再判断所述目标区域是否满足被所述第二窗口遮挡的遮挡条件，防止在无遮挡时，发生第二窗口频繁移动的情况，降低用户体验。

可选的，所述遮挡条件可以包括：若所述目标区域和所述第二窗口之间的重叠面积与所述预设特征的显示面积的比值达到预设比值阈值，则确定所述目标区域被所述第二窗口遮挡。其中，预设比值阈值可以是是电子设备默认的阈值，也可以根据用户的设置，电子设备更新后的阈值。例如：在视频通话时，预设特征为人像，视频小窗口遮挡了用户的头发，在目标区域中占比仅为2％，此时并没有满足预设的遮挡条件，因此，不需要控制视频小窗口在第一窗口上的显示。又例如：在上述场景二关于多人视频通话的相关描述中，视频小窗口遮挡了用户的人脸，在预设特征为人像的目标区域中占比为30％，此时满足了预设的遮挡条件，因此，需要通过窗口显示指令控制视频小窗口在用户界面上显示以使被遮挡的人脸能够正常显示。

可选的，所述遮挡条件还可以包括：若所述目标区域和所述第二窗口之间的重叠面积与所述预设特征的显示面积的比值达到预设比值阈值，且所述第二窗口与所述目标区域之间的重叠时长超过预设时长阈值，则确定所述目标区域被所述第二窗口遮挡。其中，预设时长阈值可以是是电子设备默认的阈值，也可以根据用户的设置，电子设备更新后的阈值。当第二窗口遮挡目标区域的面积达到一定比例且持续一段时间后，才会确定第一窗口的目标区域被遮挡，防止因目标区域的预设特征发生发生短时间变化时，确定第二窗口遮挡第一窗口后，频繁的控制第二窗口在第一窗口上显示，影响用户体验。

步骤s503：若是，生成目标遮挡信息。

具体的，电子设备根据目标区域的区域信息和第二窗口的当前窗口信息，确定目标区域满足被第二窗口遮挡的遮挡条件后，电子设备则可以生成目标遮挡信息，其中，所述目标遮挡信息包括用于指示第一窗口的目标区域被第二窗口遮挡的指示信息，所述目标区域为所述第一窗口中预设特征的显示区域。

可选的，所述目标遮挡信息还可以包括：所述目标区域的区域信息和所述第二窗口的当前窗口信息；所述区域信息包括所述预设特征的显示面积、所述预设特征的显示位置中的一个或多个；所述第二窗口的当前窗口信息包括所述第二窗口的当前悬浮位置信息、当前透明度信息、当前尺寸信息和当前形状信息中的一个或多个。

可选的，所述第一窗口中当前有n个预设特征，n为大于或等于1的整数；所述确定目标遮挡信息之前，还包括：识别所述第一窗口的所述n个预设特征，确定所述n个预设特征分别对应的显示优先级；其中，所述预设特征的显示优先级越高，所述预设特征对应的所述预设比值阈值越小；确定所述n个预设特征中所述显示优先级前m个预设特征所在的显示区域分别对应的m个区域信息和所述第二窗口的当前窗口信息，其中，m为小于或等于n的正整数；根据所述m个区域信息和所述第二窗口的当前窗口信息，判断所述m个预设特征所在的显示区域是否满足所述遮挡条件，若是，生成目标遮挡信息。例如：在上述场景三的相关描述中，由于游戏元素与游戏步骤控件407都为显示优先级很高的预设特征，所以控制语音小窗口在用户界面上显示时不能够遮挡游戏元素或游戏步骤控件407。可以理解的是，所述n个预设特征中所述显示优先级前m个预设特征可以是在n个预设特征中，显示优先级的等级最高的预设特征，该预设特征有m个；所述n个预设特征中所述显示优先级前m个预设特征也可以是在n个预设特征中，显示优先级的等级位于前列的m个预设特征。可选的，所述预设特征的显示优先级越高，所述预设特征对应的所述预设时长阈值也越小，即，当预设特征的显示优先级越高时，该预设特征允许被第二窗口遮挡的时间越短。例如：在视频通话时，当前用户界面中包含的预设特征为人像和背景，假设视频小窗口同时遮挡了人像和背景的20％的显示区域，则在遮挡人像5s后，电子设备就可以判定视频小窗口遮挡目标区域；而在遮挡背景20s后，电子设备才有可能判定视频小窗口遮挡目标区域。

在一种可能实现的方式中，识别第一手势，判断所述第一手势是否为第一预设手势集合中的一个；若确定所述第一手势为第一预设手势集合中的一个，生成所述目标遮挡信息。可以理解的，若电子设备无法自动识别第一窗口的目标区域被第二窗口遮挡，或者，用户需要按照自身意愿控制第二窗口在第一窗口上显示时，电子设备可以通过摄像头、红外传感器或手势传感器等识别用户的手势，若确定该手势为第一预设手势集合中的一个时，即可生成所述目标遮挡信息。可选的，所述识别第一手势包括：识别所述第一手势的手势时长信息、手势运动轨迹信息、手势形状信息中的一个或多个。其中，若两个预设手势的所述手势时长信息、所述手势运动轨迹信息、所述手势形状信息中有任意一项信息不同，即可认为所述两个预设手势为不同的预设手势。因为在手势时长信息、手势运动轨迹信息、手势形状信息等中的任何一项信息不同时的两个手势认为不同的手势，所以为了防止错误识别用户手势，可以通过识别手势的不同信息来实现，进而避免因无法识别用户手势，不能控制第二窗口；或者避免因错误识别用户手势，不能够按用户意愿灵活自如的控制第二窗口在第一窗口上显示。例如：在上述场景一的相关描述中，可以在摄像头193检测到用户手势向离摄像头近的方向滑动时，确定该手势为第一预设手势集合中的一个后，生成目标遮挡信息。

在一种可能实现的方式中，识别第二手势，判断所述第二手势是否为第二预设手势集合中的一个，所述第二预设手势集合为控制所述第一窗口中一个或多个功能按键对应的手势集合；若是，根据所述第二手势和所述第二预设手势集合中的预设手势与功能按键的对应关系，确定按键控制指令；根据所述按键控制指令，控制所述第一窗口中的目标功能按键执行对应的功能。其中，目标功能按键是与第二手势对应的功能按键。例如：请参考附图17，图17是本申请实施例提供的一种识别第二手势的场景示意图。参考在上述场景一中视频通话场景的相关描述，若确定摄像头193检测到用户手势为第二预设手势集合中的一个，此时电子设备100可以根据所述第二手势和所述第二预设手势集合中的预设手势与功能按键的对应关系，确定按键控制指令，控制所述第一窗口中的目标功能按键执行对应的功能，例如：挂断当前视频、转化摄像头、将视频通话转成语音通话、切换视频窗口等等。可选的，因为在手势时长信息、手势运动轨迹信息、手势形状信息等中的任何一项信息不同时的两个手势认为不同的手势，所以识别第二手势可以包括：识别所述第二手势的手势时长信息、手势运动轨迹信息、手势形状信息中的一个或多个。可选的，电子设备还可以通过在用户界面上浮现光标(如：手型、箭头形或圆形光标等等)指示该用户手势为第二预设手势集合中的一个。可以理解的是，不限于上述列举的第二预设手势集合与功能按键的对应关系，在具体实现中还可以有其他的对应方式，本申请实施例对此不作限定。因此，电子设备通过摄像头或者手势识别传感器等装置识别用户手势，确定用户手势为第二预设手势集合中的一个，然后再根据该用户手势确定按键控制指令，从而控制第一窗口中的目标功能按键执行对应的功能，使得用户无需接触或触碰设备屏幕，而通过隔空手势灵活的操控功能按键，解放用户双手，提升用户体验。

步骤s504：确定目标遮挡信息。

具体的，电子设备生成的目标遮挡信息后，即可确定目标遮挡信息，可以理解的是，若电子设备确定目标遮挡信息，则标识第一窗口的目标区域被第二窗口遮挡，就可以生成目标遮挡信息。

步骤s505：根据目标遮挡信息，确定窗口显示指令。

具体的，电子设备确定目标遮挡信息后，可以根据目标遮挡信息，确定窗口显示指令，其中，所述窗口显示指令包括控制所述第二窗口在所述第一窗口上的悬浮位置、所述第二窗口的透明度、所述第二窗口的尺寸、所述第二窗口的形状中的一个或多个的指令。窗口显示指令可以通过控制第二窗口移动、可以调节第二窗口的透明度、可以调整第二窗口的尺寸和形状等，使得第二窗口不在遮挡第一窗口的目标区域，提升用户体验。可以理解的，窗口显示指令还可以包括所述第二窗口在所述第一窗口上的悬浮位置信息、所述第二窗口的透明度信息、所述第二窗口的尺寸信息、所述第二窗口的形状信息等，上述信息即可认为是通过窗口显示指令，控制第二窗口在第一窗口显示后的第二窗口的窗口信息。

可选的，根据所述目标遮挡信息和所述第二窗口的显示条件，确定所述窗口显示指令，其中，所述显示条件包括将所述第二窗口悬浮在所述第一窗口所有所述预设特征中显示优先级最低的预设特征的显示区域上，例如：不可遮挡功能按钮，图像可遮挡区域：背景>身体>头发>人脸；或者，所述显示条件包括将所述第二窗口悬浮在所述第一窗口除所述预设特征的显示区域外的离摄像头最近的显示区域上，例如：除预设特征外的显示区域中离摄像头近的位置优先，因此可以方便用户在通过摄像头传递信息时，更好的观察第二窗口的情形；又或者，所述显示条件包括将所述第二窗口悬浮在所述第一窗口除所述预设特征的显示区域外的显示区域面积最大的显示区域上，例如：第二窗口悬浮在除预设特征外的显示区域中空白区域大的位置优先。因此，在电子设备确定所述窗口显示指令时，需要考虑第二窗口的显示条件，尽量提升窗口显示指令的实用性，避免用户二次调整，提升用户体验。

可选的，根据所述第一手势以及所述预设手势与预设窗口显示指令的对应关系，确定与所述第一手势对应的所述窗口显示指令，所述窗口显示指令为多个预设窗口显示指令中的一个。可以理解的是，第一手势可以与预设窗口显示指令一一对应，例如：张开的手指的手势，左右移动时可以用于控制第二窗口移动；前后移动时可以用于调节第二窗口的透明度；握拳张开时可以调整第二窗口的尺寸；旋转手势时可以用于调整第二窗口的形状等。例如：在上述场景一的相关描述中，可以在摄像头193检测到用户手势向离摄像头近的方向滑动时，确定窗口显示指令中包含控制窗口切换控件202在视频显示区201上的透明度的指令，即，该透明度的指令可以用于控制控制窗口切换控件202基于当前的透明度向变透明的方向调节与用户手势向离摄像头近的方向滑动对应比例的透明程度等。

步骤s506：根据窗口显示指令，控制第二窗口在第一窗口上显示。

具体的，因为窗口显示指令包括控制第二窗口在第一窗口上的悬浮位置、第二窗口的透明度、第二窗口的尺寸、第二窗口的形状中的一个或多个的指令，所以电子设备可以根据窗口显示指令，通过控制第二窗口移动、可以调节第二窗口的透明度、可以调整第二窗口的尺寸和形状等，控制第二窗口在第一窗口上显示，使得被遮挡的目标区域也显示出来，提升用户体验。

在本申请实施例中，电子设备在确定第二窗口遮挡了第一窗口的目标区域后，根据目标遮挡信息，确定窗口显示指令，再根据该窗口显示指令，控制第二窗口的悬浮位置、透明度、尺寸或形状中的一种或多种，使得第二窗口在第一窗口上显示时不再遮挡第一窗口中的预设特征。例如：在视频通话过程中，当视频小窗口对人脸有遮挡时，确定人脸被遮挡的遮挡信息，再根据该遮挡信息，确定将视频小窗口进行移动和缩小的显示指令，最后根据该显示指令，自动将视频小窗口移动到一个最佳显示位置并缩小视频小窗口的大小，该过程中无需用户接触手机，即能达到极佳的视频通话效果。综上，本申请实施例通过智能的识别和判断，从而控制第二窗口在第一窗口(也可以为，用户界面)上的显示，无需用户再进行触屏或按键等触碰电子设备的相关操作，即可更便捷的使第二窗口在不影响用户界面中的特殊区域的显示，大大提升了用户体验。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可能可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以为个人计算机、服务端或者网络设备等，具体可以是计算机设备中的处理器)执行本申请各个实施例上述方法的全部或部分步骤。其中，而前述的存储介质可包括：u盘、移动硬盘、磁碟、光盘、只读存储器(read-onlymemory，缩写：rom)或者随机存取存储器(randomaccessmemory，缩写：ram)等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。