从远程电子设备的外部显示器捕获图像的电子设备和方法与流程

1.本公开总体上涉及电子设备，并且更具体地涉及具有图像捕获设备的电子设备。


背景技术：

2.诸如智能电话和平板计算机的便携式电子设备的使用已经无处不在。随着计算能力的提高，此类设备的所有者不仅可以使用它们与他人进行通信，还可以管理财务帐户，跟踪健康信息，管理日历和通讯录数据，观看电视节目和电影，与社交媒体网站进行互动，从事在线交易，并上网。
3.所有这些电子设备中的大多数都包括某种形式的成像器，其可以包括一个或多个照相机。随着这些相机质量的提高，人们越来越多地使用智能电话和平板计算机中的成像器作为其主要图像捕获设备，而放弃了诸如单镜头反光照相机的传统的独立图像捕获设备。具有使便携式电子设备的图像捕获设备甚至更优化地执行以提高捕获的图像的质量的方法和系统将是有利的。


技术实现要素：

4.根据本发明的一个方面，一种电子设备中的方法，包括：利用所述电子设备的一个或多个处理器，检测在外部电子设备的远程显示器上呈现的一个或多个图像出现在由所述电子设备的成像器捕获的第一视频流中，利用所述一个或多个处理器，响应于检测到所述一个或多个图像出现在所述第一视频流中，导致所述电子设备的通信设备建立与所述外部电子设备的电子通信；由所述一个或多个处理器利用所述通信设备向所述外部电子设备发送用于第二视频流的第一请求，所述第二视频流包括被呈现在所述外部电子设备的所述远程显示器上的所述一个或多个图像；利用所述通信设备，响应于所述第一请求，从所述外部电子设备接收所述第二视频流；以及由所述一个或多个处理器在所述电子设备的本地显示器上呈现所述第二视频流。
5.根据本发明的另一个方面，一种电子设备，包括：成像器，所述成像器捕获第一视频流中的、被呈现在外部电子设备的远程显示器上的一个或多个图像；显示器；通信设备；以及能够与所述通信设备和所述显示器一起操作的一个或多个处理器；所述一个或多个处理器导致所述通信设备向所述外部电子设备发送用于包括被呈现在所述远程显示器上的所述一个或多个图像的第二视频流的第一请求，并且响应于所述通信设备接收到所述第二视频流，将所述显示器上的第一视频流的呈现替换为所述第二视频流的另一呈现。
6.根据本发明的又一个方面，一种电子设备中的方法，包括：由一个或多个处理器从成像器捕获的第一视频流中检测由外部电子设备的远程显示器呈现的一个或多个图像；响应于所述检测，利用能够与一个或多个处理器一起操作的通信设备接收第二视频流，所述第二视频流包括被呈现在所述远程显示器上的一个或多个图像；以及由所述一个或多个处理器，在所述电子设备的本地显示器上的将所述第一视频流的呈现替换为所述第二视频流。
附图说明
7.图1示出了根据本公开的一个或多个实施例的一个或多个说明性方法步骤。
8.图2示出了根据本公开的一个或多个实施例的一个或多个其他说明性方法步骤。
9.图3示出了根据本公开的一个或多个实施例的一个说明性电子设备。
10.图4示出了根据本公开的一个或多个实施例的其他说明性方法步骤。
11.图5示出了根据本公开的一个或多个实施例的其他说明性方法步骤。
12.图6示出了根据本公开的一个或多个实施例的用于检测呈现在外部电子设备的远程显示器上的一个或多个图像出现在由一个说明性电子设备的成像器捕获的视频流中的方法步骤选项。
13.图7示出捕获在外部电子设备的远程显示器上呈现的图像的现有技术电子设备。
14.图8示出了本公开的各种实施例。
15.熟练的技术人员将理解，图中的元件是为了简单和清楚而示出的，并且不一定按比例绘制。例如，图中的一些元件的尺寸可能相对于其他元件被放大，以帮助提高对本公开的实施例的理解。
具体实施方式
16.在详细描述根据本公开的实施例之前，应当观察到，实施例主要在于与检测在外部电子设备的远程显示器上呈现的一个或多个图像并导致将包括一个或多个图像的视频流传输到电子设备以获得更好的图像质量有关的方法步骤和装置部件的组合。流程图中的任何过程描述或方框都应理解为代表模块，代码段或代码部分，其中包括一个或多个用于在过程中实现特定逻辑功能或步骤的可执行指令。包括替代的实现方式，并且将清楚的是，取决于所涉及的功能，可以按照所示出或所讨论的顺序无序地执行功能，包括基本上同时或以相反的顺序执行。因此，在适当的情况下，装置部件和方法步骤由附图中的常规符号表示，仅示出与理解本公开的实施方式有关的那些具体细节，以免模糊对于受益于本文描述的本领域普通技术人员而言显而易见的本公开的细节内容。
17.本公开的实施例没有列举旨在处理商业信息的任何普通商业方法的实现方式，也没有将已知的商业过程应用于互联网的特定技术环境。此外，本公开的实施例不使用通用计算机功能和常规网络操作来创建或改变合同关系。恰恰相反，本公开的实施例采用了以下方法：当将这些方法应用于电子设备和/或用户界面技术时，通过并改善总体用户体验来改善电子设备本身的功能，从而克服在与电子设备用户交互相关的技术领域中特别出现的问题。
18.应当理解，本文描述的本公开的实施例可以包括一个或多个常规处理器以及控制一个或多个处理器的唯一存储的程序指令，以便结合某些非处理器电路来实现如本文所述的以下功能中的一些、大多数，或所有：从成像器捕获的第一视频流中检测到在外部电子设备的远程显示器上呈现的一个或多个图像，并接收第二视频流，其中第二视频流包括在远程显示器上呈现的一个或多个图像，然后用第二视频流替换第一视频流的呈现。非处理器电路可以包括但不限于无线电接收机，无线电发射机，信号驱动器，时钟电路，电源电路和用户输入设备。这样，这些功能可以解释为用从外部电子设备接收的第二视频流执行第一视频流的替换的方法的步骤，该第一视频流为来自捕获在外部电子设备的远程显示器上呈
现的图像的成像器。第二视频流从外部电子设备被接收并且包括在远程显示器上呈现的实际图像。可替代地，一些或全部功能可以由没有存储的程序指令的状态机来实现，或者由一个或多个专用集成电路(asic)来实现，其中每个功能或某些功能的某些组合被实现为定制逻辑。当然，可以使用两种方法的组合。因此，本文已经描述了用于这些功能的方法和装置。此外，期望本领域的技术人员，在本文公开的概念和原理的指导下，在不排除通过例如可用时间，当前技术和经济考虑的启发下的可能的大量努力和许多设计选择的情况下，可以通过最少的试验容易地产生这样的软件指令和程序以及asic。
19.现在详细描述本公开的实施例。参考附图，在整个视图中，相同的数字表示相同的部分。如本文的说明书和整个权利要求书中所使用的，除非上下文另外明确指出，否则以下术语具有本文中明确关联的含义：“一个”，“一种”和“该”的含义包括复数引用，“在...中”包括“在...中”和“在...上”。诸如第一和第二，顶部和底部等的关系术语可以仅用于将一个实体或动作与另一实体或动作区分开，而不必要求或暗示这些实体或动作之间的任何实际的这种关系或顺序。
20.如本文中所使用的，即使可以在连接路径之间或沿着连接路径存在一个或多个中间或中介部件，但是当可以在这样的部件之间发送信息时，这些部件可以被“可操作地耦合”。术语“基本上”，“实质上”，“近似地”，“大约”或其任何其他版本被定义为接近于本领域的普通技术人员所理解的，并且在一个非限制性实施例中，该术语是定义在百分之十以内，在另一个实施例中在百分之五以内，在另一个实施例中在百分之一以内，在另一个实施例中在百分之0.5以内。本文中使用的术语“耦合”被定义为连接，尽管不一定是直接的并且不一定是机械的。另外，在本文中用括号括起来的附图标记表示所讨论的图以外的图中示出的部件。例如，在讨论图a的同时谈论设备10将指的是除图a以外的图中示出的元件10。
21.首先转向图7，其中示出了使用现有技术电子设备700的成像器来捕获709视频流710的人701，该视频流710包括呈现在外部电子设备704的远程显示器703上的一个或多个图像702。视频流710在现有技术电子设备700的显示器706上被呈现。
22.如图7所示，现有技术电子设备700的显示器706具有刷新率707。类似地，外部电子设备704的远程显示器703也具有刷新率708。现有技术电子设备700的显示器的刷新率707和外部电子设备704的远程显示器703的刷新率708可以相同或不同。当它们不同时，刷新率差异的可见伪像将作为视觉失真712引入到现有技术电子设备700的显示器706上。即使在现有技术电子设备700的显示器的刷新率707和外部电子设备704的远程显示器703的刷新率708是相同的情况下，因为现有技术电子设备700的显示器的刷新率707和外部电子设备704的远程显示器703的刷新率708所基于的、现有技术电子设备700和外部电子设备704内的时钟是不同步的，所以视觉失真712仍将出现在现有技术电子设备700的显示器706上。
23.有利地，本公开的实施例解决了这个问题。在一个或多个实施例中，当使用根据本公开的一个或多个实施例配置的电子设备的人将具有处于活动状态的成像器的其图像捕获设备指向外部电子设备的远程显示器并且成像器的取景器呈现在电子设备的显示器上时，电子设备的一个或多个处理器自动检测在外部电子设备的远程显示器上呈现的一个或多个图像出现在来自呈现在显示器上的成像器的视频流上。当这种情况发生时，在一个或多个实施例中，一个或多个处理器使电子设备的通信设备建立与外部电子设备的电子通信。
24.此后，在一个或多个实施例中，电子设备的一个或多个处理器使通信设备发送对另一视频流的请求，该另一视频流包括正在外部电子设备的远程显示器上呈现的一个或多个图像。在一个或多个实施例中，这使得外部电子设备响应于该请求而从外部电子设备发送第二视频流。因此，外部电子设备开始发送呈现在外部电子设备的远程显示器上的实际图像。电子设备直接接收图像，而不是依靠其成像器捕获图像。
25.在一个或多个实施例中，电子设备的一个或多个处理器然后将从外部电子设备接收的视频流而不是由成像器捕获的视频流呈现在电子设备的显示器上。实际上，对于呈现在外部电子设备的远程显示器上的实际图像，一个或多个处理器将可能包括帧速率或刷新率视觉失真的、包括在外部电子设备的远程显示器上呈现的一个或多个图像的成像器捕获的视频流“交换”为来自第二视频流的、在外部电子设备的远程显示器上呈现的实际图像。由于这些是在外部电子设备的远程显示器上呈现的实际图像，因此不会引入帧率或刷新率视觉失真。因此，该人在电子设备的本地显示器上接收到一个或多个图像的更清晰，更准确的表示。
26.也可以执行其他有利的操作。例如，在一个或多个实施例中，当一个人在电子设备的本地显示器上简单地查看从外部电子设备接收的视频流时，从外部电子设备接收的视频流可以具有第一分辨率或第一质量等级。相反，如果该人开始使用图像或视频捕获功能将来自从外部电子设备接收的视频流中的图像或视频存储在电子设备的存储器中，则电子设备的一个或多个处理器会导致外部电子设备发送另一个视频流，该视频流的图像的第二分辨率或第二质量等级高于或大于第一分辨率或第一质量等级。
27.举例说明，假设一个人使用智能电话从显示了最近得分的慢动作回放的体育场的超大屏幕捕获视频图像。如果该人只是在智能电话的显示屏上观看这些图像，则智能电话的一个或多个处理器可以导致运行超大屏幕的外部电子设备传输具有适合于智能电话的显示的第一分辨率或第一质量等级的图像的视频流。例如，第一分辨率每英寸可以具有较少数目的像素。可替代地，第一质量等级可以是每个图像从raw或未压缩格式被压缩以便每个图像具有更少的数据。
28.然而，如果该人开始将视频图像记录到智能电话的存储器中，则本公开的实施例设想该人可能想要更高质量的图像，例如，稍后时间将其在宽屏电视上播放给家中的朋友。因此，在一个或多个实施例中，当智能电话的一个或多个处理器检测到记录操作的开始时，它们使可与超大屏幕一起操作的外部电子设备发送更高分辨率的视频流。较高分辨率的视频流可以包括例如每英寸更多数目的像素。如果第一分辨率为例如1334x 750像素，则第二分辨率可能为2560x 1440像素。类似地，如果第一图像质量包括将图像压缩为mpeg-4压缩格式，则第二更高的图像质量可以包括处于raw、栅格或其他未压缩视频格式的图像，等等。
29.在其他实施例中，当从外部电子设备的远程显示器捕获图像时，根据本公开的实施例配置的电子设备的用户可以通过执行缩放操作来使图像分辨率或质量等级改变。举例说明，假设外部电子设备以raw格式存储视频。假设raw图像数据的分辨率包括每个图像1亿像素。但是，现在假设远程显示器的分辨率小于此分辨率。它可能只有1920x 1080像素分辨率。当在外部电子设备的远程显示器上呈现视频时，外部电子设备可以将raw视频压缩为每个图像具有更少像素的格式，例如，仅为外部电子设备的远程显示器所需的1920x 1080分辨率。
30.如上所述，在一个或多个实施例中，当一个人正在使用智能电话捕获并记录外部电子设备的远程显示器的图像时，智能电话的一个或多个处理器可以使外部电子设备将视频流中的raw视频传输到智能电话。然而，实施例允许用户通过执行缩放操作来减少在视频流中接收的数据量。
31.在一个或多个实施例中，如果人使用缩放操作使成像器仅捕获外部电子设备的远程显示器的一部分，则在一个或多个实施例中，智能电话的一个或多个处理器导致外部电子设备传输视频流，该视频流具有来自图像的部分数据。以示例为例，如果raw视频格式每个图像包括1亿像素，但是该人使用缩放功能使智能电话的成像器仅捕获外部电子设备的远程显示器的五分之一，则在一个或多个实施例中，智能电话的一个或多个处理器使外部电子设备仅发送与被捕获的那个部分相对应的像素。因此，外部电子设备将传输每个图像包括2000万像素而不是1亿的视频流，依此类推。下面将描述由本公开的实施例提供的其他特征和益处。受益于本公开的本领域普通技术人员还可以想到其他内容。
32.在一个或多个实施例中，当用户在成像器的取景器特征打开的情况下将电子设备的成像器指向显示器时，电子设备的一个或多个处理器自动检测以下事实：呈现在外部电子设备的远程显示器上的一个或多个图像出现在由成像器捕获的视频流中。在一个或多个实施例中，电子设备的一个或多个处理器响应于检测到由成像器捕获的视频流中出现的一个或多个图像，使通信设备与外部电子设备建立电子通信。例如，一个或多个处理器可以执行无线握手操作以建立与外部电子设备的电子通信。
33.最初，当成像器正在捕获包括在外部电子设备的远程显示器上呈现的一个或多个图像的视频流时，电子设备的一个或多个处理器将该视频流呈现在电子设备的本地显示器上。然而，在一个或多个实施例中，在与外部电子设备建立电子通信时，电子设备的一个或多个处理器发送对第二视频流的请求，该第二视频流包括呈现在显示器的远程显示器上的一个或多个图像。在一个或多个实施例中，该请求可以包括图像传输信息，诸如图像的分辨率、图像的图像质量、波特率等。在一个或多个实施例中，这些偏好可以由用户使用菜单来设置。
34.此后，在一个或多个实施例中，电子设备的通信设备响应于该请求而接收第二视频流。当发生这种情况时，一个或多个处理器开始在电子设备的本地显示器上呈现包括一个或多个图像的第二视频流，而不是第一视频流。换句话说，在一个或多个实施例中，电子设备的一个或多个处理器从“取景器”视频流切换到从外部电子设备接收的视频流。
35.在一个或多个实施例中，当用户发起记录或保存操作以使得来自从外部电子设备接收的视频流的图像被存储在外部电子设备的存储器中时，一个或多个处理器可以请求来自外部电子设备的第三视频流，该第三视频流包括分辨率更高、质量更高或优于第二视频流的其他格式的一个或多个图像。因此，如果用户开始保存来自第二视频流的图像，则在一个或多个实施例中，例如raw格式的更高的内容从外部电子设备传输到电子设备，从而保存的图像将具有更高的质量。
36.现在转向图1，其中示出了根据本公开的一个或多个实施例的一种说明性方法100。从步骤101开始，用户108将电子设备110的成像器(位于后侧)指向包括远程显示器111的外部电子设备113。在外部电子设备113的远程显示器111上正呈现一个或多个图像112。
37.在图1中一般示为电视型显示器的外部电子设备113可以是具有显示器的任何类
型的电子设备。示例包括台式计算机，膝上型计算机，平板计算机，电视，多媒体播放器，具有投影屏幕的投影系统，电话亭，具有显示器的物联网(iot)设备或其他类型的设备。因此，应当理解，如本文所使用的，具有远程显示器111的外部电子设备113可以是被配置为在显示器上呈现静止图像或视频内容的多种类型的设备中的任何一种，其中“远程显示器”是指这样的事实，即远程显示器111位于除电子设备110之外的设备上，并且更具体地，位于电子设备110之外的其他设备上，使得外部电子设备113的远程显示器111可以位于电子设备110的成像器的视场内。
38.如步骤101所示，成像器正在捕获109呈现在外部电子设备113的远程显示器111上的一个或多个图像112中的至少一个图像。一个或多个图像112可以是静态内容、静止图像、视频图像、滚动图像或其他类型的图像。在该说明性示例中，成像器正在捕获109呈现在外部电子设备113的远程显示器111上的一个或多个图像112的连续图像。当成像器处于“取景器”操作模式时被连续显示在电子设备110的本地显示器114上的这些连续图像构成视频流115。在步骤101，将成像器捕获的视频流115呈现在电子设备110的本地显示器114上。
39.如前所述，在步骤101，远程显示器111在呈现一个或多个图像112时的刷新率和本地显示器114在呈现视频流115时的刷新率可以不同，和/或远程显示器111和本地显示器114的刷新率所基于的外部电子设备113和电子设备110中的时钟可能是不同步的。因此，在步骤101，由一个或两个差异引起的一个或多个视觉伪像在视频流115中显示为视觉失真116，其可以在电子设备110的本地显示器114上看到。
40.有利地，当使用电子设备110的成像器捕获外部电子设备113的远程显示器111上呈现的一个或多个图像112时，通过自动去除该视觉失真116，本公开的实施例改善了用户108的图像捕获过程。在一个或多个实施例中，这将会发生在当电子设备110的一个或多个处理器在电子设备110的本地显示器114上，用包括呈现在外部电子设备113的远程显示器111上的实际图像的另一视频流替代由成像器捕获的视频流115时。
41.这样做的过程开始于步骤102。在一个或多个实施例中，步骤102包括电子设备110的一个或多个处理器检测呈现在外部设备113的远程显示器111上的一个或多个图像112出现在由电子设备110的成像器捕获的视频流115中。在步骤102处发生的该检测过程可以是手动的或自动的。举例说明，在一个或多个实施例中，用户108可以传递用户输入，诸如用手指触摸、拖动或滑动，从而将本地显示器114的至少一部分识别为呈现如由成像器在步骤102中在视频流115中捕获的来自外部电子设备113的远程显示器111的一个或多个图像112。在其他实施例中，电子设备110的一个或多个处理器可以自动检测呈现在外部电子设备113的远程显示器111上的一个或多个图像112出现在视频流115中，因此用户108无需采取任何动作或传递任何肯定的用户输入即可执行此操作。
42.在步骤102，电子设备110的一个或多个处理器的这种自动检测可以以多种方式发生。现在简要地转向图6，其中示出了图1的步骤102的自动检测的一些说明性方式。这些示例仅是说明性的，因为受益于本公开的许多其他示例对于本领域普通技术人员将是显而易见的。
43.在一个或多个实施例中，在601，电子设备110包括人工智能引擎，其被配置为检测在外部电子设备113的远程显示器111上呈现的一个或多个图像112出现在由电子设备110的成像器捕获的视频流115中。例如，如将在下面参考图3更详细地解释的那样，在一个或多
个实施例中，电子设备110包括配备有人工智能的显示器检测引擎，该显示器检测引擎可操作为检测视频流115或视频流115的一部分包括表示移动帧的照明数据：或可替换地，包括表示当成像器捕获外部电子设备113的远程显示器111上呈现的一个或多个图像112时发生的视觉失真的照明数据116。在一个或多个实施例中，显示器检测引擎可以包括人工神经网络或其他类似技术。
44.例如，在外部电子设备113仅占用视频流115的一部分图像的情况下，显示器检测引擎可以检测到矩形(或与外部电子设备113的形状相对应的其他形状)出现在视频流115的图像中，并且在该矩形或其他形状内部出现了移动帧和/或视觉失真116。确定后，显示器检测引擎可以通知电子设备110的一个或多个处理器正在外部电子设备113的远程显示器111上呈现的一个或多个图像112出现在电子设备110的成像器捕获视频流115中。
45.在另一实施例中，在602处，图像处理器可被配置为处理视频流115以检测在视频流115中发生的变化的帧速率，出现在视频流115中的视觉失真116，以与例如60hz的显示器刷新率相关联的预定频率出现在视频流115中的变化照明条件，以与视频流115的其他部分不相关的速率移动的视频流115的一部分内的对象中的一个或多个，其组合，或通过检测在视频流115中发生的其他现象。
46.当包括时，602的图像处理器可与电子设备110的一个或多个处理器以及电子设备110的各种图像捕获设备一起操作。在一个或多个实施例中，602的图像处理器可以用作配置有光学识别的识别模块，以使用图像识别、字符识别、可见识别、面部识别、颜色识别、形状识别等来识别对象。有利地，602的成像器处理器可用于识别外部电子设备，外部电子设备的远程显示器，在外部电子设备的远程显示器上呈现的图像，或由电子设备110的成像器捕获的静止或运动视频流内的其他现象。
47.在603处，电子设备110的一个或多个处理器可以通过可选地使用图像处理器来识别指示视频流115中的部分或全部图像数据已被呈现在外部电子设备113的远程显示器111上的视频流115中的内容或信息，来检测正在外部电子设备113的远程显示器111上呈现的一个或多个图像112在由电子设备110成像器捕获的视频流115中。例如，在外部电子设备113的远程显示器111上呈现的一个或多个图像112可以包括条形码，矩阵条形码(qr代码)或其他标记，当被电子设备110的成像器捕获时，其可以由电子设备110的一个或多个处理器和/或图像处理器识别。在一个或多个实施例中，当电子设备110的一个或多个处理器和/或图像处理器识别出条形码、qr码或其他标记时，这允许检测到在外部电子设备113的远程显示器111上呈现的一个或多个图像112在由电子设备110的成像器捕获的视频流115中出现。
48.应当注意，出现在外部电子设备113的远程显示器111上呈现的一个或多个图像112中的该标记对于用户108可能是可见的，或者可能是不可见的。例如，如果被配置为qr代码，则用户108将能够看到将内容识别为由外部电子设备113的远程显示器111呈现的该标记。然而，内容可以被配置为红外光、紫外光或使用使识别符对于用户108不可见的其他技术。当使用后一种技术时，在外部电子设备113的远程显示器111上呈现的一个或多个图像112对于用户108而言看起来像是正常图像，但是将由电子设备110的一个或多个处理器和/或图像处理器解释为从外部电子设备113的远程显示器111显示。
49.在其他实施例中，在604处，电子设备110与外部电子设备113之间的电子通信可用
于允许电子设备110的一个或多个处理器将在外部电子设备113的远程显示器111上呈现的一个或多个图像112自动检测为出现在由电子设备110的成像器捕获的视频流115中。例如，当成像器被激活时，电子设备110的位置检测器、取向检测器或其他传感器可以确定电子设备110的参考取向和方向。同时，电子设备110的通信设备可以从外部电子设备113接收识别其在电子设备110的环境内的位置的位置数据。一个或多个处理器可以使用经由电子设备110和外部电子设备113之间的电子通信获得的该信息来自动检测正呈现在外部电子设备113的远程显示器111上的一个或多个图像112出现在被电子设备110的成像器捕获的视频流115中。以其他方式经由电子设备110和外部电子设备113之间的电子通信检测正呈现在外部电子设备113的远程显示器111上的一个或多个图像112对于受益于本公开的本领域普通技术人员而言是显而易见的。
50.如上所述，关于电子设备110的一个或多个处理器如何能够自动检测呈现在外部电子设备113的远程显示器111上的一个或多个图像112出现在由电子设备110的成像器捕获的视频流115中的图6示例仅是说明性的。许多其他内容对于受益于本公开的本领域普通技术人员将是显而易见的。
51.现在回到图1，在步骤103，响应于一个或多个处理器检测到呈现在外部电子设备113的远程显示器111上的一个或多个图像112出现在视频流115中，电子设备110的一个或多个处理器导致电子设备的通信设备建立与外部电子设备113的电子通信。在一个或多个实施例中，步骤103包括电子设备110的一个或多个处理器导致通信设备发起无线握手操作以建立与外部电子设备113的通信设备的通信。受益于本公开的本领域普通技术人员将显而易见用于在电子设备110和外部电子设备113之间建立电子通信的其他技术。
52.在步骤104，响应于在步骤103建立的电子设备110的通信设备与外部电子设备113的通信设备之间的通信，在一个或多个实施例中，电子设备110的一个或多个处理器导致电子设备110的通信设备发送对来自外部电子设备113的另一视频流——即，与由电子设备110的成像器捕获的视频流115不同的第二视频流——的请求。在一个或多个实施例中，由电子设备110的通信设备在步骤104发送的请求包括对第二视频流包括呈现在外部电子设备113的远程显示器111上的一个或多个图像112的请求。
53.在一个或多个实施例中，在步骤104发送的请求可以包括的图像传输信息，诸如：将被包括在电子设备110的一个或多个处理器所期望的第二视频流中的一个或多个图像112的分辨率、将被包括在电子设备110的一个或多个处理器所期望的第二视频流中的一个或多个图像112的图像质量等级、电子设备110的一个或多个处理器所期望的第二视频流的波特率或数据传输速率、在电子设备110的一个或多个处理器所期望的第二视频流中包括的一个或多个图像112的压缩等级，类型或格式、一个或多个图像112的文件大小、或有关如何配置第二视频流的数据的其他特征。在一个或多个实施例中，用户108可以可选地使用在电子设备110的用户界面上可用的设置菜单来定义在步骤104发送的请求中包括的图像传输信息。
54.在步骤105，响应于在步骤104发送请求，电子设备110的通信设备从外部电子设备113接收第二视频流。在一个或多个实施例中，第二视频流包括正被呈现在外部电子设备113的远程显示器111上的一个或多个图像112。然后，步骤106包括电子设备110的一个或多个处理器然后在电子设备110的本地显示器114上呈现第二视频流。
55.如步骤107所示，电子设备110的通信设备从外部电子设备113接收第二视频流117。此外，电子设备110的一个或多个处理器正在电子设备110的本地显示器上呈现第二视频流117。因此，由于一个或多个图像112已经以其原始形式被包括在第二视频流117中而不是被电子设备110的成像器捕获在第一视频流115中的事实，当一个或多个图像112在步骤107在电子设备110的本地显示器114上被呈现，在步骤101处——其中，电子设备110的一个或多个处理器在步骤102检测到一个或多个图像112出现在第一视频流115中之前将第一视频流115呈现在电子设备110的本地显示器114上——呈现的视觉失真116不再存在于一个或多个图像112中。
56.之所以会发生这种情况，是因为电子设备110的一个或多个处理器在步骤101和步骤107之间经由步骤102-106已将在步骤101在电子设备110的本地显示器114上显示第一视频流115替换为在步骤107中将第二视频流117呈现在电子设备110的本地显示器114上。由于一个或多个处理器在步骤107中呈现了在第二视频流117中接收的实际一个或多个图像112，而不是在步骤101的第一视频流115中由成像器捕获的一个或多个图像112的可见表示，有利地消除了所有视觉失真116。相应地，当电子设备110的成像器正在捕获包括呈现在外部电子设备113的远程显示器111上的图像的视频流115时，图1的方法100提高了在步骤107在电子设备110的本地显示器114上呈现的图像质量。
57.从上面回顾，在一个或多个实施例中，在步骤104发送的请求可以定义第二视频流117中呈现的一个或多个图像112应包括的特征。这些包括第二视频流117所包括的一个或多个图像112的分辨率、第二视频流117所包括的一个或多个图像112的图像质量等级、第二视频流117的波特率或数据传输速率、第二视频流117中呈现的一个或多个图像112的文件大小、第二视频流117中包括的一个或多个图像112的压缩等级、类型或格式，一个或多个图像112的文件数据大小、或与第二视频流117的数据传输速率、数据大小或图像质量有关的其他特性。
58.在一个或多个实施例中，在步骤107在第二视频流117中接收的一个或多个图像112具有第一分辨率和/或第一图像质量等级中的一个或多个。本公开的实施例设想，当用户108正在观看从电子设备110的本地显示器114上的第二视频流117提取的一个或多个图像112——如果电子设备110是智能电话，则直径仅为几英寸——时，与例如如果用户108使用电子设备110的投影仪将从第二视频流117提取的一个或多个图像112投影在墙壁或其他投影表面时相比，较低的图像质量将是完全令人满意的。因此，在其中在步骤104发送的请求为第二视频流117的一个或多个图像112指定了第一图像质量等级，或者当外部电子设备113默认初始发送具有第一图像质量等级的第二视频流117时的一个或多个实施例中，步骤107包括电子设备110的通信设备接收具有指定的图像质量等级或默认图像质量等级的第二视频流117中的一个或多个图像112。相反，如果用户108开始使用图像或视频捕获特征来将来自从外部电子设备113接收的第二视频流117的图像或视频存储在电子设备110的存储器中，如下面将参考图2所述，电子设备110的一个或多个处理器可以将另一请求发送到外部电子设备113，以请求其发送第三视频流，该第三视频流具有具有高于或大于与第二视频流117相关联的第一分辨率或第一质量等级的第二分辨率或第二质量等级的图像。
59.举例说明，现在转向图2，其中示出了根据本公开的一个或多个实施例的另一种方法200。在步骤201，电子设备110的一个或多个处理器已经在电子设备110的本地显示器114
上将包括在外部电子设备113的远程显示器111上呈现的一个或多个图像112的第一视频流115替换为从外部电子设备113接收并包括一个或多个图像112的第二视频流117。因此，当一个或多个图像112被呈现在电子设备110的本地显示器114上时，不存在视觉失真116。如上所述，由于在步骤104发送到外部电子设备113的第一请求为第二视频流117的一个或多个图像112指定了第一图像质量等级，因此以第一图像质量等级传送第二视频流117中包括的一个或多个图像112。
60.第一图像质量等级可以指的是分辨率、数据文件大小、压缩等级、压缩格式或其他影响在电子设备110的本地显示器114上呈现时一个或多个图像112的视觉质量的因素。在一个或多个实施例中，由于用户108正在电子设备110的小型显示器上观看来自第二视频流117的一个或多个图像112，因此第一质量等级包括针对第二视频流117的一个或多个图像112的第一图像分辨率等级，其中该第一图像分辨率等级对应于电子设备110的本地显示器114的图像分辨率呈现能力。
61.有效地，由于在此示例中电子设备110的本地显示器114是智能电话显示器，其对角线尺寸仅为几英寸，因此通过发送具有在小型显示器上产生高质量的图像的必要的图像分辨率的第二视频流117中的一个或多个图像112就可以获得发送和接收第二视频流117的效率，而不需要发送也可以在例如对角线尺寸超过60英寸的监视器上呈现第二视频流117的一个或多个图像112的数据文件。例如，在一个或多个实施例中，第二视频流117的一个或多个图像112的第一图像质量等级可以具有每英寸较少数量的像素。备选地，在另一实施例中，第二视频流117的一个或多个图像112的第一质量等级可以是从raw或未压缩格式压缩每个图像，以便每个图像具有更少的数据。第一图像质量等级的定义的其他示例对于受益于本公开的本领域普通技术人员将是显而易见的。
62.在步骤201中，用户108将用户输入208传递到电子设备110的本地显示器114，该显示器是触敏的并且用作电子设备110的主要用户界面。在此示例中，用户输入208引起记录操作，该记录操作发起将第二视频流117的一个或多个图像112中的至少一个图像记录或存储到电子设备110的存储器中。在步骤202，电子设备110的一个或多个处理器从电子设备110的本地显示器114定义的用户界面接收该用户输入，此用户输入导致将来自第二视频流117的一个或多个图像112中的至少一个图像存储到电子设备110的存储器，或者是云存储或电子设备110外部的另一个存储设备中。
63.响应于检测到被发起的“记录”操作，在一个或多个实施例中，步骤203包括电子设备110的一个或多个处理器发送用于来自外部电子设备113的包括一个或多个图像112的第三视频流的第二请求。由于已发起记录操作，因此在步骤203发送的此第二请求为第三视频流指定了第二图像质量等级，该第二图像质量等级比在步骤201在用户输入208启动记录操作之前发送的第二视频流117的第一图像质量等级高。
64.例如，如果与第二视频流117相关联的第一图像质量等级是每英寸的预定像素数目，则为第三视频流指定的第二图像质量等级可以具有每英寸较高的像素数目。如果第二视频流117的第一图像质量等级例如是1334
×
750像素的第一分辨率，则第三视频流的图像质量等级可以具有更高的分辨率，诸如类似于2560
×
1440像素。类似地，如果与第二视频流117相关联的第一图像质量等级以mpeg-4压缩格式对一个或多个图像112进行压缩，则与第三视频流相关联的第二质量等级可包括格式为raw、栅格或其他未压缩的视频格式等的一
个或多个图像112。
65.在步骤205，电子设备110的通信设备开始从外部电子设备113接收第三视频流。如步骤206所示，电子设备110的通信设备从外部电子设备113接收第三视频流209，其具有更高的第二图像质量等级。另外，由于在电子设备110上发生记录操作210的事实，电子设备110的一个或多个处理器在电子设备110的本地显示器114上呈现第三视频流209。尽管由于电子设备110的本地显示器114的图像分辨率呈现能力没有改变在步骤206对用户108的视觉分辨率实际上是相同的，但是记录在电子设备110(或云存储或其他外部存储设备)的存储器中的图像将以较高的图像质量被保存。
66.因此，当用户108在诸如步骤207的平板计算机211的具有较高图像分辨率呈现能力的设备上观看一个或多个图像112时，由于以较高的图像质量等级记录了它们，所以可以用适合于该分辨率呈现能力的分辨率来呈现它们。如步骤207所示，尽管用户108仅通过具有较小显示器的电子设备110的成像器感知一个或多个图像112，用户108认为图像的质量令人难以置信。实际上，响应于用户108仅启动成像器并将其视场指向外部电子设备113的远程显示器111，自动背景步骤就带来了真正的高清图像分辨率而没有任何视觉失真116。
67.因此，使用图2的方法200，如果用户只是在电子设备110的本地显示器114上观看来自第二视频流117的一个或多个图像112，则电子设备110的一个或多个处理器致使外部电子设备113以适合于电子设备110的本地显示器114的第一分辨率或第一质量等级发送具有包括在其中的一个或多个图像112的第二视频流117。但是，如果用户108使用电子设备110的用户界面开始将视频图像记录在电子设备110的存储器中或其他地方，则本公开的实施例考虑到用户108可能希望更高质量的图像以例如在诸如步骤207的平板计算机211的具有更高图像分辨率呈现能力的另一电子设备上观看。因此，在一个或多个实施例中，当电子设备110的一个或多个处理器在步骤202中检测到记录操作的启动时，它们致使外部电子设备113发送更高分辨率的视频流，例如具有更高图像质量等级的第三视频流209。
68.现在转向图3，其中示出了根据本公开的一个或多个实施例配置的一个说明性电子设备110的更多细节。虽然被示为铰接的电子设备，但是电子设备110可以包括不可变形且不具有铰链的单个壳体，该单个壳体也被配置为传统的“糖果棒”形状因数。在被配置为糖果棒的情况下，电子设备110的显示器114将保持暴露和可访问。相反，在被配置为具有相对于第二设备壳体302在闭合位置和轴向移位的打开位置之间绕铰链303选择性地枢转的第一设备壳体301的铰链设备时，取决于电子设备是处于关闭位置还是轴向移位的打开位置，电子设备110的显示器114可以有选择地被隐藏和露出。
69.图3的电子设备110被配置为便携式电子设备，并且出于说明目的，被配置为智能电话。然而，电子设备110也可以以其他方式配置。例如，电子设备110可以被配置为平板计算机，游戏设备，多媒体播放器等。如受益于本公开的本领域普通技术人员将容易理解的，根据本公开的一个或多个实施例还可以被配置为其他类型的电子设备。
70.图3的说明性电子设备110包括多个显示器114，325。在该实施例中，可以耦合到第一设备壳体301或第二设备壳体302中的一个的辅助显示器325被耦合到第一设备壳体301。由于该显示器325在第一设备壳体301和第二设备壳体302处于关闭位置时被暴露，因此被认为是“外部”显示器。
71.主显示器——即显示器114——也可以耦合到第一设备壳体301或第二设备壳体
302之一或两者。在此说明性实施例中，显示器114耦合到第一设备壳体301和第二设备壳体302两者并且跨越铰链303。在其他实施例中，该显示器114可以被两个显示器代替，其中一个显示器耦合到第一设备壳体301，另一个耦合到第二设备壳体302。某一种情况下，该显示器114被认为是“内部”显示器，因为当第一设备壳体301和第二设备壳体302处于关闭位置时，其被隐藏。显示器114或显示器325中的任一者或两者可以是触敏的。
72.特征可以被结合到第一设备壳体301和/或第二设备壳体302中。这样的特征的示例包括可选的照相机326——其在图1和图2的方法100，200中用作成像器，或可选的扬声器端口327。每一个被示出为放置在图3所示的电子设备110的背面，但是代替照相机321或除照相机321之外，也可以将成像器放置在正面。在该说明性实施例中，还可以沿着第二设备壳体302的后侧布置可选的用户界面部件328，其可以是按钮或触敏表面。
73.在图3中也示出了包括电子设备110的一个或多个部件的一个说明性框图示意图300。在一个或多个实施例中，框图示意图300被配置为设置在电子设备110的第一设备壳体301和/或第二设备壳体302内的印刷电路板组件。各种部件可以通过沿着一个或多个印刷电路板布置的导体或总线电耦合在一起。应当注意的是，框图示意图300包括许多可选的部件，但是包括它们是为了说明根据本公开的实施例配置的各种电子设备可以如何变化。
74.因此，应当理解，提供图3的框图示意图300仅出于说明的目的，并且用于说明根据本公开的实施例的一个电子设备110的部件。图3的框图示意图300不旨在成为电子设备110所需的各种部件的完整示意图。因此，根据本公开的实施例的其他电子设备可以包括在图3中未示出的各种其他部件，或者可以包括两个或更多个部件的组合，或者可以将特定部件划分为两个或更多个单独的部件，并且仍然在本公开的范围内。
75.图3的说明性框图示意图300包括许多不同的部件。本公开的实施例预期这样的部件的数量和布置可以根据特定应用而改变。因此，根据本公开的实施例配置的电子设备可以包括在图3中未示出的一些部件，并且可以不需要所示出的其他部件，因此可以省略。
76.示意性框图示意图300包括用户界面304。在一个或多个实施例中，用户界面304包括显示器114，显示器114可以可选地是触敏的。在一个实施例中，用户可以通过传递来自手指、手写笔或紧邻显示器114放置的其他物体的触摸输入来将用户输入传递给显示器114。对于电子设备110，由于显示器114跨越铰链303，因此将其配置为柔性的。例如，在一个实施例中，该显示器114被配置为在柔性塑料基板上制造的有机发光二极管(oled)显示器。这允许显示器114是柔性的，以便当第一设备壳体301相对于第二设备壳体302绕着铰链303枢转时变形。然而，应当注意，其他类型的显示器对于受益于本公开的本领域技术人员将是显而易见的。在其他实施例中，可以将常规刚性显示器设置在铰链303的任一侧，而不是使用柔性显示器。
77.在一个实施例中，显示器114被配置为有源矩阵有机发光二极管(amoled)显示器。然而，应当注意，其他类型的显示器，包括液晶显示器，对于受益于本公开的本领域普通技术人员将是显而易见的。
78.在一个实施例中，电子设备110包括一个或多个处理器305。在一个实施例中，一个或多个处理器305可以包括应用处理器以及可选地一个或多个辅助处理器。应用处理器或辅助处理器中的一个或这两者可以包括一个或多个处理器。应用处理器或辅助处理器中的一个或这两者可以是微处理器，一组处理部件，一个或多个asic，可编程逻辑或其他类型的
处理设备。
79.应用处理器和辅助处理器可以与框图示意图300的各个部件一起操作。每个应用处理器和辅助处理器可以被配置为处理和执行可执行的软件代码以执行框图示意图300利用其操作的电子设备110的各种功能。诸如存储器306的存储设备可以可选地存储在操作期间由一个或多个处理器305使用的可执行软件代码。
80.在该说明性实施例中，框图示意图300还包括通信设备307，该通信设备307可被配置为用于与一个或多个其他设备或网络进行有线或无线通信。网络可以包括广域网，局域网和/或个人局域网。通信设备307还可将无线技术用于通信，诸如但不限于对等或ad hoc通信，诸如homerf，蓝牙和ieee 802.11，以及其他形式的无线通信，诸如红外技术。通信设备307可以包括无线通信电路，接收机，发射机或收发机之一，以及一个或多个天线。
81.在一个实施例中，一个或多个处理器305可以负责执行利用其框图示意图300可操作的电子设备的主要功能。例如，在一个实施例中，一个或多个处理器305包括可与用户界面304一起操作以将呈现信息呈现给用户的一个或多个电路。该信息可以包括由电子设备110的一个或多个成像器308捕获的视频流和/或从外部电子设备接收的一个或多个视频流。另外，一个或多个处理器305可与音频输出设备309一起操作以将音频输出传递给用户。一个或多个处理器305使用的可执行软件代码可以被配置为可与一个或多个处理器305一起操作的一个或多个模块310。这样的模块310可以存储指令，控制算法等。
82.在一个或多个实施例中，框图示意图300包括音频输入/处理器311。在一个实施例中，音频输入/处理器311可以包括硬件、可执行代码和语音监视器可执行代码。音频输入/处理器311可以包括存储在存储器306中的基本语音模型、训练后的语音模型、或由音频输入/处理器311使用来接收和识别与通过音频输入设备捕获的音频输入一起接收的语音命令的其他模块。在一个实施例中，音频输入/处理器311可以包括语音识别引擎。不管在各种实施例中使用的具体实现方式如何，在一个或多个实施例中，音频输入/处理器311可以访问各种语音模型以识别语音命令。
83.音频输入/处理器311可作为音频捕获设备操作，以接收和捕获来自围绕电子设备110的环境312中的源——诸如人，授权用户，多个人——的音频输入。在一个实施例中，音频输入/处理器311可以包括硬件，可执行代码和语音监视器可执行代码。音频输入/处理器311可以与存储在存储器306中的一个或多个预定义的认证参考一起操作。在一个或多个实施例中，音频输入/处理器311可以接收和识别与由音频输入捕获的音频输入设备一起接收的语音命令。在一个实施例中，音频输入/处理器311可以包括语音识别引擎。不管各种实施例中采用的具体实现方式如何，音频输入/处理器311都可以访问与预定义的认证参考一起存储的各种语音模型，以识别语音命令。
84.在一个实施例中，音频输入/处理器311被配置为实现语音控制特征，该语音控制特征允许电子设备110用作可以被配置为语音助手引擎的语音助手设备。在一个或多个实施例中，语音助手引擎是使用语音识别、语音合成和自然语言处理以从源接收包括语音命令的音频输入、确定对语音命令的适当响应、然后响应于从源接收到音频输入传递以音频输出的形式的响应的数字助手。当如此配置时，用户可以使音频输入从他们的嘴发出，以使电子设备110的一个或多个处理器305执行控制操作。
85.各种传感器313可以与一个或多个处理器305一起操作。可以与各种传感器313包
括在一起的传感器的第一示例是触摸传感器。触摸传感器可以包括电容性触摸传感器，红外触摸传感器，电阻性触摸传感器或另一触敏技术。
86.传感器313的另一示例是用作位置检测器314的地理定位器。在一个实施例中，位置检测器314能够确定电子设备110的位置数据。可以通过捕获位置数据来确定位置，位置数据来自一个或多个地球轨道卫星的星座，或来自地面基站网络以确定大概位置。位置检测器314还能够通过对诸如cdma网络或gsm网络的传统蜂窝网络的地面基站进行定位或三角测量或根据诸如wi-fi网络的其他局域网中来确定位置。
87.一个或多个运动检测器可以被配置为取向检测器315，其确定电子设备110在三维空间中的取向和/或运动。通过示例说明，取向检测器315可以包括加速度计，陀螺仪或其他设备以检测电子设备110的设备取向和/或运动。使用加速度计作为示例，可以包括加速度计以检测电子设备的运动。另外，加速度计可用于感测用户的某些姿势，例如一个人用他的手进行交谈，跑步或走路。
88.取向检测器315可以通过例如检测重力方向来确定电子设备110在三维空间中的空间取向。除了或代替加速度计，还可以包括电子罗盘，以检测电子设备相对于地球磁场的空间取向。类似地，可以包括一个或多个陀螺仪以检测电子设备110的旋转取向。
89.取向检测器315也可以用作运动检测器。通过示例进行说明，可以将加速度计，陀螺仪或其他设备用作电子设备110中的运动检测器。以加速度计为例，可以包括加速度计以检测电子设备的运动。另外，加速度计可用于感测用户的某些姿势，例如一个人用他的手进行交谈，跑步或走路。
90.运动检测器还可以用于通过检测重力方向来确定电子设备在三维空间中的空间取向。除了或代替加速度计，还可以包括电子罗盘，以检测电子设备相对于地球磁场的空间取向。类似地，可以包括一个或多个陀螺仪以检测电子设备的旋转运动。
91.传感器313的另一示例是力传感器。当包括时，力传感器可以采取多种形式。例如，在一个实施例中，力传感器包括被配置为检测与电子设备的显示器或壳体的接触的电阻开关或力开关阵列。在另一个实施例中，力传感器可以是电容性的。在又一个实施例中，压电传感器也可以被配置为感测力。
92.图像处理系统316可以包括在电子设备110中，并且可以与一个或多个处理器305一起操作。图像处理系统316可以与一个或多个成像器308一起操作。一个或多个成像器可以包括传统成像器中的一个或多个，诸如相机326、深度成像器、以及可选的一个或多个接近传感器。
93.在一个实施例中，一个或多个成像器308包括二维成像器，诸如由相机326示出的二维成像器。在一个或多个实施例中，相机326包括二维红-绿-蓝(rgb)成像器。一个或多个成像器308还可以包括红外成像器，诸如用于识别在外部电子设备的远程显示器上呈现的图像的不可见指示，如以上参考图6的元件603所述。适用于包括一个或多个成像器308的其他类型的成像器对于受益于本公开的本领域普通技术人员将是显而易见的。
94.在一个或多个成像器308包括深度成像器的情况下，深度成像器可以采取多种形式。在第一实施例中，深度成像器包括以预定距离分开的一对成像器，诸如三到四个图像。这种“立体”成像器的工作方式与人眼相同，因为它从两个不同的角度捕获图像，并协调两个角度以确定距离。在另一个实施例中，深度成像器采用结构化的激光器。结构光激光器投
射出随距离扩展的微小光图案。这些图案落在表面上，然后由成像器捕获。通过确定图案的元素之间的位置和间距，可以获得三维映射。在又一个实施例中，深度成像器包括飞行时间设备。飞行时间三维传感器从光电二极管阵列发出激光或红外脉冲。这些脉冲从表面反射回来。脉冲从光电二极管阵列移至表面并返回所需的时间确定了距离，从该距离可以获取表面的三维映射。无论实施例如何，所包括的深度成像器都将第三“z维度”添加到定义由诸如照相机326之类的二维成像器捕获的二维图像的x维度和y维度。
95.在一个或多个实施例中，图像处理系统316可以与环境分析器317一起操作。环境分析器317可以被配置为处理物体的图像或深度扫描，并通过将图像或深度扫描与存储在存储器306中的一个或多个预定义的验证参考进行比较来确定物体是否符合预定标准。与环境分析器317结合使用，在一个或多个实施例中，图像处理系统316可被配置为识别下述中的一个或这两者：一个或多个成像器308的视场中的一个或多个外部电子设备和/或当一个或多个成像器308在视频流中捕获时呈现在外部电子设备的远程显示器上的一个或多个图像。有利地，结合环境分析器317运行的图像处理系统316执行的可选识别允许访问电子设备110以执行上面参考图6描述的元件602的操作。
96.可与一个或多个处理器305一起操作的其他部件318可包括诸如视频，音频和/或机械输出的输出部件。例如，输出部件可以包括视频输出部件或辅助设备，包括阴极射线管，液晶显示器，等离子显示器，白炽灯，荧光灯，前投影显示器或后投影显示器以及发光二极管指示器。输出部件的其他示例包括音频输出部件，例如一个或多个扬声器，超声换能器(如果包括)或其他警报器和/或蜂鸣器。其他部件318也可以包括机械输出部件，诸如振动或基于运动的机构。
97.其他部件318可以可选地包括气压计，该气压计可操作以感测由于电子设备110的高度变化或压力不同而引起的气压变化。在一个或多个实施例中，其他部件318还可以可选地包括检测由一个或多个成像器308捕获的视频流中的光强度，颜色，光或阴影变化的光传感器，以检测在视频流中在外部电子设备的远程显示器上呈现的一个或多个图像。
98.在一个或多个实施例中，一个或多个处理器305可以定义一个或多个处理引擎。这些处理引擎的示例包括显示器检测引擎319、缩放监视引擎320、人工智能引擎321、图像质量分析器322和情境引擎323。每个引擎可以是一个或多个处理器305的部件，可与一个或多个处理器305一起操作，由一个或多个处理器305定义，和/或集成到一个或多个处理器305中。这些引擎的其他配置，包括作为可在一个或多个处理器305上操作的软件或固件模块对于受益于本公开的本领域技术人员将是显而易见的。
99.例如，情境引擎323可与各种传感器一起操作，以检测，推断，捕获和以其他方式检测具有显示器的外部电子设备，该显示器在电子设备110的环境周围呈现一个或多个图像。在其中包括的情境引擎323的一个实施例使用采用信息、数据和事件的情境评估的可调算法来确定评估的情境和框架。这些评估可以通过重复数据分析来加以学习。替代地，用户可以使用用户界面304来输入各种参数、构造、规则和/或范例，这些参数、构造、规则和/或范例指示或以其他方式引导情境引擎323检测一个或多个成像器308何时捕获正被呈现在外部电子设备的远程显示器上的一个或多个图像，和其他情境信息。在一个或多个实施例中，情境引擎323可以包括人工神经网络或其他类似技术。
100.显示器检测引擎319可以被配置为结合电子设备110的一个或多个处理器305检测
何时一个或多个成像器308正在捕获包括呈现在外部电子设备的远程显示器上的一个或多个图像的视频流。显示器检测引擎319可以可选地与人工智能引擎321结合操作以执行以上参考图6的元件601描述的自动检测。备选地，显示器检测引擎319可以与图像处理系统316结合操作以执行以上参考图6的元件602，603描述的自动检测。
101.缩放监视引擎320可用于执行以下参考图4和图5描述的方法步骤中的一个或多个。例如，缩放监视引擎320可以用于从电子设备110的用户界面304接收用户输入，该用户输入导致仅一部分图像被一个或多个成像器308捕获和/或由通信设备307从外部电子设备接收，以被呈现在电子设备110的显示器114上。
102.另外，缩放监视引擎320可用于识别被呈现在电子设备的显示器114上的、由一个或多个成像器308捕获的和/或由通信设备307从外部电子设备接收的图像的一部分的位置和/或部分的尺寸。在其他实施例中，缩放监视引擎320可用于确定由一个或多个成像器308在视频流中捕获的、在外部电子设备的远程显示器上呈现的一个或多个图像是否至少占用显示器114的预定阈值面积，如将在下面参考图4描述的那样。
103.图像质量分析器322可以被配置成确定当一个或多个处理器305导致通信设备307请求来自外部电子设备的视频流时需要什么图像质量等级。例如，如果一个或多个成像器308仅处于取景器模式，并且其捕获的视频流仅呈现在电子设备110的显示器114上，则图像质量分析器322可以导致一个或多个处理器305经由通信设备307请求外部电子设备发送的视频流处于与当那些相同的图像被存储在电子设备110的存储器306中时相比更低的第一图像质量等级。在后一种情况下，图像质量分析器322如前所述可以导致一个或多个处理器305经由通信设备307请求由外部电子设备发送的视频流处于更高的第二图像质量等级，等等。
104.在一个或多个实施例中，显示器检测引擎319、缩放监视引擎320、人工智能引擎321、图像质量分析器322和情境引擎323中的每一个可与一个或多个处理器305一起操作。在一些实施例中，一个或多个处理器305可以控制显示器检测引擎319、缩放监视引擎320、人工智能引擎321、图像质量分析器322和情境引擎323。在其他实施例中，每个显示器检测引擎319、缩放监视引擎320、人工智能引擎321、图像质量分析器322和情境引擎323可以独立运行，将信息传递到一个或多个处理器305。显示器检测引擎319、缩放监视引擎320、人工智能引擎321、图像质量分析器322和情境引擎323均可从各种传感器313接收数据。在一个或多个实施例中，一个或多个处理器305被配置为执行显示器检测引擎319、缩放监视引擎320、人工智能引擎321、图像质量分析器322和情境引擎323的操作。
105.当执行诸如以上参考图1和图2所述的那些方法步骤的操作时，在一个或多个实施例中，一个或多个成像器308捕获第一视频流中的在外部电子设备的远程显示器上呈现的一个或多个图像。此后，根据图1的方法，一个或多个处理器305导致通信设备307向外部电子设备发送对第二视频流的第一请求，该第二视频流包括呈现在远程显示器上的一个或多个图像。在一个或多个实施例中，响应于通信设备307接收到第二视频流，一个或多个处理器305将显示器114上的第一视频流的任何呈现替换为第二视频流的另一呈现。有利地，当第二视频流被呈现在显示器114上时，消除了由于第一视频流的呈现而在显示器114上发生的任何视觉失真。
106.图像质量分析器322可以与一个或多个处理器305同时操作，以指定从外部电子设
备请求的视频流的图像质量等级。例如，在一个或多个实施例中，图像质量分析器322可以识别出适合于在显示器114上呈现的每面积的像素数量，即，与显示器114的图像分辨率呈现能力相对应的像素数量。因此，当质量分析器322是可操作的时，第二视频流的一个或多个图像将包括每面积的第一像素数目。
107.然而，在一个或多个实施例中，当一个或多个处理器305从用户界面304接收到用户输入，从而导致将来自第二视频流的至少一个图像存储在存储器306中的存储过程的启动时，响应于该用户输入，图像质量分析器322可以确定用于要存储的图像的每单位面积的更高的第二像素数目。因此，在一个或多个实施例中，一个或多个处理器305然后响应于用户输入导致通信设备307向外部电子设备发送对第三视频请求的第二请求，该第三视频流包括在远程显示器上呈现的一个或多个图像。在一个或多个实施例中，该第二请求包括对于第三视频流的一个或多个图像以包每单位面积更高的第二像素数一个或多个图像的请求。因此，第三视频流的一个或多个图像将各自包括每单位面积的第二像素数目，该第二像素数目大于每单位面积的第一像素数目。
108.缩放监视引擎320可以类似地与一个或多个处理器305同时操作。例如，当一个或多个处理器305从用户界面304接收到导致发生缩放操作的另一用户输入时，例如，当另一用户输入导致第三视频流的一个或多个图像的仅一部分被呈现在显示器114上时，缩放监视引擎320可以识别该部分在一个或多个图像中的位置和/或该部分在一个或多个图像中的大小。缩放监视引擎320然后可以将该信息中继到一个或多个处理器305。
109.在一个或多个实施例中，响应于接收到该信息，一个或多个处理器305可以使通信设备307向外部电子设备发送用于仅包括如由缩放监视引擎320识别的、呈现在外部电子设备的远程显示器上的一个或多个图像的一部分的第四视频流的第三请求。由于第四视频流仅包括第三视频流中一个或多个图像的一部分，因此一个或多个处理器305可以请求仅对应于所识别部分的较小图像文件。因此，在一个或多个实施例中，第四视频流包括每单位面积的第三像素数目，该第三像素数目大于第二视频流的每单位面积的第一像素数目，但是小于第三视频流的每单位面积像素的第二像素数目。缩放监视引擎320的该操作将在下面参考图5更详细地描述。
110.现在已经描述了各种硬件部件，将注意力转向根据本公开的一个或多个实施例的使用电子设备的附加方法。现在转到图4，其中示出了用于图3的电子设备110的另一说明性方法400。此后，将参考后续附图描述替代方法。
111.从步骤401开始，用户108再次将电子设备110的成像器——例如相机326——指向包括远程显示器111的外部电子设备113。一个或多个图像112正在被呈现在外部电子设备113的远程显示器111上。成像器正捕获视频流115中的一个或多个图像112，该一个或多个图像112正在被呈现在外部电子设备113的远程显示器111上，一个或多个处理器305在电子设备110的本地显示器114上呈现该视频流115。如步骤401所示，用户108使成像器缩小，使得视频流115仅占用电子设备110的本地显示器114的一小部分。
112.在步骤402，一个或多个处理器305可选地与显示器检测引擎319和/或人工智能引擎321中的一个或两个同时地作用，从该第一视频流115中检测在外部电子设备113的远程显示器111上呈现的一个或多个图像112存在于视频流115中。这可以在一个或多个实施例中使用以上参照图6描述的任何技术来自动完成。用于执行该自动检测的其他技术对于受
益于本公开的本领域普通技术人员将是显而易见的。
113.在判定403处，一个或多个处理器305可选地使用缩放监视引擎320，响应于检测到视频流115中出现的一个或多个图像112，确定是否在视频流115中出现的一个或多个图像112至少占用电子设备110的本地显示器114的预定面积阈值408。在一个或多个实施例中，本公开的实施例考虑到可以通过限制将请求发送到外部电子设备的实例来简化电子设备110的操作，以使视频流115交替至仅如下的情形，其中出现在视频流115中的一个或多个图像112占用本地显示器114的至少预定义面积阈值408，诸如本地显示器114的百分之五十、六十、七十、七十五或更大。例如，如果用户108正在使用成像器拍摄人物照片，而电视恰巧在背景中，则可能是如果一个或多个处理器305自动切换为仅呈现来自第二视频流的一个或多个图像112而不呈现电子设备110的成像器捕获的视场，则对用户108造成麻烦。因此，在一个或多个实施例中，判定403确保在从任何外部电子设备请求任何附加视频流之前，视频流115的一个或多个图像112占用电子设备110的本地显示器114的至少最小面积。
114.在步骤401中，出现在电子设备110的本地显示器114上的视频流115中的一个或多个图像112没有占用或超过预定义面积阈值408。因此，步骤404响应于在步骤402处显示的视频流115中存在的一个或多个图像112的检测，排除了用于来自外部电子设备的任何视频流的任何请求的任何传输。
115.但是，在步骤405，用户107已将执行缩放操作的用户输入409传递到本地显示器114，该缩放操作导致视频流115的一个或多个图像112超出预定义面积阈值408——在此示例中为电子设备110的本地显示器114的面积的至少百分之五十。其在判定403处被检测，这导致方法400移至步骤406，在此电子设备110的一个或多个处理器305使通信设备307向外部电子设备113发送用于第二视频流的请求，该第二视频流包括呈现在外部电子设备113的远程显示器111上的一个或多个图像112。在步骤407，该视频流被接收。此后，方法400可以如以上参考图1的步骤107所描述的那样执行。
116.使用图4的方法400，有利地，仅当出现在第一视频流115中的一个或多个图像112占用等于或大于至少预定义面积阈值408的电子设备110的本地显示器114的面积时，才发生包括用于来自外部电子设备113的视频流的请求的传输，该视频流包括呈现在外部电子设备113的远程显示器111上的一个或多个图像112。在一个或多个实施例中，该预定义面积阈值408可以由用户108使用电子设备110的控制设置菜单来设置。
117.缩放监视引擎320也可以以其他方式使用。例如，在其他实施例中，当从外部电子设备113的远程显示器111捕获图像时，电子设备110的用户108可以通过执行缩放操作来使图像分辨率或质量等级改变。现在转向图5，其中示出了一种这样的方法。
118.从步骤501开始，响应于电子设备110的一个或多个处理器305检测到由外部电子设备113的远程显示器111呈现的一个或多个图像112被呈现在电子设备110的显示器114上呈现的视频流中，电子设备110的一个或多个处理器305在电子设备110的本地显示器114上将第一视频流替换为从外部电子设备113接收并且包括一个或多个图像112的第二视频流117。在一个或多个实施例中，发送到外部电子设备113以导致外部电子设备113发送第二视频流117的请求为第二视频流117的一个或多个图像112规定第一图像质量等级。因此，在步骤501，第二视频流117所包括的一个或多个图像112以第一图像质量等级被传递。
119.在该说明性实施例中，与一个或多个图像112相对应的数据510以raw数据格式存
储在外部电子设备113中。因此，一个或多个图像112中的每个图像包括1亿数量级的像素。然而，当外部电子设备113在外部电子设备113的远程显示器111上渲染一个或多个图像112时，其具有较小的图像分辨率呈现能力。因此，外部电子设备113可以处理与一个或多个图像112相对应的raw数据，以将其降低到例如1920
×
1080分辨率的等级，以呈现在远程显示器111上。
120.在步骤501，当电子设备110正在接收第二视频流117时，用户108传递用户输入517，以启动将来自第二视频流117的一个或多个图像112中的至少一个图像记录或存储到电子设备110的存储器306中。在步骤502，电子设备110的一个或多个处理器305从电子设备110的用户界面304接收该用户输入517，导致来自第二视频流117的一个或多个图像112中的至少一个图像至电子设备110的存储器306(或替代地，云存储或电子设备110外部的另一存储设备)中的存储。
121.响应于检测到此“记录”操作的启动，在一个或多个实施例中，步骤503包括电子设备110的一个或多个处理器305发送用于包括一个或多个图像112的来自外部电子设备113的第三视频流的第二请求。由于已启动记录操作，因此在步骤503发送的第二请求为第三视频流指定第二图像质量等级，其为比在步骤501处由用户输入517启动记录操作之前发送的第二视频流117的第一图像质量等级更高的图像质量等级。在该示例中，第二图像质量等级包括raw数据格式。因此，在一个或多个实施例中，代替在第二视频流117中以压缩格式发送，在步骤503处发送的用于第三视频流的第二请求包括请求将第三视频流中包括的一个或多个图像112以raw数据格式发送。
122.在步骤504，电子设备110的通信设备307开始从外部电子设备113接收第三视频流。如步骤505所示，电子设备110的通信设备307正在从外部电子设备113接收第三视频流511，其具有更高的第二图像质量等级。换句话说，在步骤505，电子设备110的通信设备307正在接收具有在第三视频流511中的一个或多个图像112为raw数据格式的第三视频流511。电子设备110的一个或多个处理器305将第三视频流511呈现在电子设备110的本地显示器114上，并在步骤505将一个或多个图像112记录到电子设备110的存储器306中(或云端或外部存储设备中)。
123.在步骤505，当电子设备110正在接收第三视频流511时，用户108传递导致来自第三视频流511的一个或多个图像112的仅一部分513出现在电子设备110的本地显示器114上的另一用户输入512。在一个或多个实施例中，可选地与缩放监视引擎320同时操作的电子设备110的一个或多个处理器305在步骤506识别在外部电子设备113的远程显示器111上呈现的一个或多个图像112中的部分513的位置514和/或部分513的大小515。
124.在步骤507，电子设备110的一个或多个处理器305导致通信设备307向外部电子设备113发送对第四视频流的另一请求。由于用户108在步骤505执行的缩放操作已经导致一个或多个图像112的仅部分513在电子设备110的本地显示器114上可见，代替请求整个图像——即，一个或多个图像112中的每一个的全部1亿像素——被包括在第四视频流中，在一个或多个实施例中，步骤507的请求仅请求一个或多个图像112中的部分513被包括在第四视频流中。因此，这将导致在第四视频流中发送的数据量小于当一个或多个图像112中的每个图像的所有1亿像素都被发送时在第三视频流511中发送的数据量。换句话说，对第四视频流的该请求导致第四视频流具有与其相关联的比特率，该比特率小于与第三视频流
511相关联的比特率。
125.在步骤508，通信设备307接收第四视频流。如步骤509所示，电子设备110正在接收第四视频流516，第四视频流516仅包括一个或多个图像112的一部分513，而不是整个图像。因此，在步骤508，代替接收1亿像素图像，电子设备110仅接收一个或多个图像112的2000万像素部分，从而根据在记录第三视频流511时在步骤505执行的缩放操作，减少了从外部电子设备113向电子设备110传输的数据量。在一个或多个实施例中，第四视频流516的一个或多个图像112的部分513各自包括每单位面积的第三像素数目，其大于第二视频流117的每单位面积的第一像素数目，并且小于第三视频流511的每单位面积的第二像素数目。
126.因此，利用图5的方法500，当用户108正在使用电子设备110来捕获并记录在外部电子设备113的远程显示器111上呈现的一个或多个图像112时，电子设备110的一个或多个处理器305导致经由步骤502发送的请求，外部电子设备113在第二视频流117中将raw视频发送到电子设备110。用户108然后通过在发生记录的同时在步骤505执行缩放操作，能够减少从外部电子设备113接收的数据量。
127.在一个或多个实施例中，当用户108导致步骤505的缩放操作以导致被呈现在外部电子设备的远程显示器111上的一个或多个图像112的仅一部分被呈现在电子设备110的本地显示器114上时，电子设备110的一个或多个处理器305经由步骤507发送的请求导致外部电子设备113发送具有来自一个或多个图像112的仅一部分数据的第四视频流516。因此，在一个或多个实施例中，如果raw视频格式的每个图像包括1亿像素，但是用户已使用缩放特征以使得被呈现在外部电子设备113的远程显示器111上的一个或多个图像112的仅五分之一在电子设备110的本地显示器114上可见，则电子设备110的一个或多个处理器305经由在步骤507处发送的请求导致外部电子设备113仅发送对应于该部分513的像素。因此，外部电子设备113在步骤509发送第四视频流516，该第四视频流516每个图像包括2000万个像素而不是1亿个，依此类推。
128.现在转向图8，其中示出了本公开的各种实施例。由于这些实施例的部件已经在图8之前的图1-6中详细说明，因此图8中的实施例被示为根据37 cfr
§
1.83(a)的图8中的标记框。因此，由于先前已经图示和描述了这些项目，因此37 cfr
§
1.83(a)表示它们的重复图示对于正确理解这些实施例不再是必需的。因此，这些实施例被示为根据37 cfr
§
1.83(a)的标记框，cfr
§
1.83(a)指出，这些实施例“应在图形中以图形符号或标记表示形式(例如，标记的矩形框)被示出。”129.在801处，电子设备中的一种方法包括：利用电子设备的一个或多个处理器来检测外部电子设备的远程显示器上呈现的一个或多个图像出现在由电子设备的成像器捕获的第一视频流中。在801处，该方法包括响应于检测到一个或多个图像出现在第一视频流中，利用一个或多个处理器使电子设备的通信设备建立与外部电子设备的电子通信。
130.在801处，该方法包括：由一个或多个处理器利用通信设备向外部电子设备发送对第二视频流的第一请求，该第二视频流包括被呈现在外部电子设备的远程显示器上的一个或多个图像。在801，该方法包括响应于第一请求，利用通信设备从外部电子设备接收第二视频流。在801，该方法包括由一个或多个处理器在电子设备的本地显示器上呈现第二视频流。
131.在802处，801的方法还包括在检测到出现在第一视频流中的一个或多个图像之
前，由一个或多个处理器在电子设备的本地显示器上显示第一视频流。在802，该方法包括响应于接收到第二视频流，由一个或多个处理器在电子设备的本地显示器上将第一视频流的显示替换为第二视频流的呈现。
132.在803处，802的第一请求为第二视频流的一个或多个图像指定第一图像质量等级。在804处，803的第一图像质量等级包括第二视频流的一个或多个图像的第一图像分辨率等级。在805处，804的第一图像分辨率等级对应于电子设备的本地显示器的图像分辨率呈现能力。
133.在806处，803的方法进一步包括利用一个或多个处理器从电子设备的用户界面接收第一用户输入，该第一用户输入导致来自第二视频的一个或多个图像中的至少一个图像在电子设备的存储器中的存储。在806，该方法包括：由一个或多个处理器响应于第一用户输入，发送对包括一个或多个图像的第三视频流的第二请求。在806，第二请求为第三视频流指定第二图像质量等级，该第二图像质量等级的图像质量等级高于第一图像质量等级。在807，806的第二图像质量等级包括一个或多个图像的原始图像文件格式。
134.在808处，806的方法进一步包括：使用一个或多个处理器从电子设备的用户界面接收第二用户输入，该第二用户输入导致来自第三视频流的一个或多个图像的仅部分被呈现在电子设备的本地显示器上。在808处，该方法包括：响应于第二用户输入，由一个或多个处理器发送对包括一个或多个图像的仅部分的第四视频流的第三请求。在809处，808的第四视频流的一个或多个图像具有与其关联的比特率，该比特率小于与第三视频流关联的另一比特率。
135.在810处，808的方法还包括由一个或多个处理器识别该一个或多个图像中的该部分的位置以及一个或多个图像中的该部分的大小。在810处，第三请求包括该部分的位置和该部分的大小。
136.在811，803的方法进一步包括响应于检测到一个或多个图像出现在第一视频流中，利用一个或多个处理器确定当在电子设备的本地显示器上显示时出现在第一视频流中的一个或多个图像是否占用了电子设备的本地显示器的至少预定义面积阈值。在811，仅当出现在第一视频流中的一个或多个图像占用本地显示器的面积等于或大于至少预定面积阈值时，才发生第一请求的发送。
137.在812，电子设备包括成像器，该成像器捕获在第一视频流中在外部电子设备的远程显示器上呈现的一个或多个图像。在812处，电子设备包括显示器，通信设备以及可与该通信设备和该显示器一起操作的一个或多个处理器。
138.在812处，一个或多个处理器使通信设备向外部电子设备发送对第二视频流的第一请求，该第二视频流包括在远程显示器上呈现的一个或多个图像。在812，一个或多个处理器响应于通信设备接收到第二视频流，将显示器上的第一视频流的呈现替换为第二视频流的另一呈现。在813处，812的第二视频流的一个或多个图像各自包括每单位面积的第一像素数目。
139.在814，813的电子设备还包括可与一个或多个处理器一起操作的用户界面和存储器。在814，一个或多个处理器从用户界面接收用户输入，该用户界面将来自第二视频流的至少一个图像存储在存储器中。在814，响应于用户输入，一个或多个处理器使通信设备向外部电子设备发送用于第三视频流的第二请求，该第三视频流包括呈现在远程显示器上的
一个或多个图像。在815，814的第三视频流的一个或多个图像每个包括每单位面积的第二像素数目，其大于每单位面积的第一像素数目。
140.在816处，815的一个或多个处理器从用户界面接收另一用户输入，从而将第三视频流的一个或多个图像的仅部分呈现在显示器上。在816处，响应于另一用户输入，一个或多个处理器使通信设备向外部电子设备发送对第四视频流的第三请求，该第四视频流包括呈现在远程显示器上的一个或多个图像的仅部分。在817，816的第四视频流的一个或多个图像的部分各自包括每单位面积的第三像素数目，其大于每单位面积的第一像素数目并且小于每单位面积的第二像素数目。
141.在818处，电子设备中的方法包括由一个或多个处理器从由成像器捕获的第一视频流中检测由外部电子设备的远程显示器呈现的一个或多个图像。在818处，该方法包括响应于该检测而利用可与一个或多个处理器一起操作的通信设备接收第二视频流，该第二视频流包括呈现在远程显示器上的一个或多个图像。在818处，该方法包括由电子设备的本地显示器上的一个或多个处理器用第二视频流代替第一视频流的呈现。
142.在819处，818的方法进一步包括：响应于一个或多个处理器在用户界面处接收到导致记录第二视频流的一个或多个图像的用户输入，利用通信设备接收包括在远程显示器上呈现的一个或多个图像的第三视频流。在819，第三视频流与第二视频流相比，具有每个图像的更多像素的每单位面积分辨率。
143.在820处，819的方法进一步包括：响应于一个或多个处理器在用户界面处接收到导致使第三视频流的一个或多个图像的仅部分被呈现在本地显示器上的另一用户输入，利用通信设备接收包括在远程显示器上呈现的一个或多个图像的仅部分的第四视频流。
144.在前述说明书中，已经描述了本公开的具体实施例。然而，本领域的普通技术人员将理解，在不脱离如所附权利要求书中阐述的本公开的范围的情况下，可以进行各种修改和改变。因此，尽管已经图示和描述了本公开的优选实施例，但是很明显，本公开不限于此。对于本领域技术人员而言，在不脱离如所附权利要求所限定的本公开的精神和范围的情况下，可以进行多种修改，改变，变形，替换和等同形式。因此，说明书和附图应被认为是说明性的而不是限制性的，并且所有这样的修改旨在被包括在本公开的范围内。益处，优势，问题的解决方案，以及可能导致任何益处，优势或解决方案出现或变得更加明显的任何要素，都不应解释为任何或任何权利要求的关键，必需或必要特征或要素。