使用移动电子装置的布置的用于视觉媒体的虚拟播出屏幕的制作方法

1.本公开涉及被配置用于通过移动电子装置的布置操作以提供用于视觉媒体的虚拟播出屏幕的移动电子装置、被配置用于与提供用于视觉媒体的虚拟播出屏幕的移动电子装置的布置通信的媒体服务器、对应的方法和对应的计算机程序产品。


背景技术：

2.诸如移动电话的移动电子装置正越来越多地用于视频服务，诸如游戏应用、社交媒体应用、现场对等视频流播通信（例如，facetime等），以及娱乐应用（如netflix、youtube等）。为了促进移动性、美观性和更长的电池寿命，移动电子装置有必要对它们的显示尺寸、分辨率和处理能力有限制。已经提出了一种称为“junkyard jumbotron”的概念，用于将一组移动电子装置的显示装置变换成用于显示图像的虚拟更大的显示器。这个概念要求用户将布置的移动电子装置的照片发送到网络服务器，该网络服务器分析照片以确定显示装置的布局以及如何将图像切片并分发给移动电子装置以供集体显示。这种概念需要移动电子装置以及连接的服务器的某些联合操作能力，并且需要用户的参与，这对部署用于供视觉媒体播出使用的这个概念产生了显著的限制。


技术实现要素：

3.本文公开的一些实施例针对移动电子装置，该移动电子装置被配置用于通过移动电子装置的布置操作，以提供用于视觉媒体的虚拟播出屏幕。该移动电子装置包括无线网络接口电路、移动传感器、显示装置、处理器和存储器。无线网络接口电路被配置用于通过无线通信链路进行通信。移动传感器被配置成感测移动电子装置的移动。处理器可操作地连接显示装置、移动传感器和无线网络接口电路。存储器存储由处理器运行以执行操作的程序代码。所述操作包括：基于移动时由所述移动电子装置的移动传感器指示的跟踪移动，生成标识所述移动电子装置已经从参考位置移动到显示装置将形成所述虚拟播出屏幕的组件的播出位置的方向和距离的移动向量。这些操作将移动向量提供给媒体拆分模块，该媒体拆分模块基于移动向量确定如何将视觉媒体拆分成一组裁剪部分，以显示在移动电子装置中的指配装置上。这些操作获得已经由媒体拆分模块指配给移动电子装置的视觉媒体的裁剪部分，并且然后在显示装置上显示视觉媒体的裁剪部分。
4.这些操作的潜在优势在于，通过使用从移动传感器的输出生成的移动向量，能更自动地创建更优化配置的虚拟播出屏幕。这些操作可以独立于任何服务器来执行，诸如由移动电子装置中的主装置来执行，和/或可以由媒体服务器和移动电子装置的组合来执行。这使得对于系统的什么组件确定将提供虚拟播出屏幕的移动电子装置的布局，以及对于系统的什么组件将视觉媒体拆分成用于通过移动电子装置显示的一组裁剪部分，能够有更多的选项。
5.本文公开的一些其他实施例针对媒体服务器，该媒体服务器被配置用于与提供用于视觉媒体的虚拟播出屏幕的移动电子装置的布置进行通信。媒体服务器包括网络接口电
路、处理器和存储器。网络接口电路被配置用于与移动电子装置通信。处理器可操作地连接到网络接口电路。存储器存储由处理器运行以执行操作的程序代码。所述操作包括：从所述移动电子装置接收移动向量，其中所述移动向量中的每个标识所述移动电子装置之一已经从参考位置移动到所述移动电子装置的显示装置将形成所述虚拟播出屏幕的组件的播出位置的方向和距离。所述操作基于所述移动向量，将所述视觉媒体拆分成一组裁剪部分，以在所述移动电子装置中的指配装置上显示。所述操作还朝向所述移动电子装置中的指配装置路由视觉媒体的裁剪部分以供显示。
6.在阅读以下附图和详细描述时，根据本发明主题的实施例的其他移动电子装置、媒体服务器以及对应的方法和计算机程序产品对本领域技术人员来说将是显然的。意图是，所有这样的附加移动电子装置、媒体服务器、方法和计算机程序产品都被包括在本说明书中，在本发明主题的范围内，并受所附权利要求书的保护。此外，预期本文公开的所有实施例能被单独实现，或者以任何方式和/或组合进行组合。
附图说明
7.本公开的各方面通过示例的方式示出，并且不受附图的限制。在附图中：图1图示了根据本公开的一个实施例的一组移动电子装置的侧视图，该组移动电子装置已经被堆叠以形成相对于参考位置的初始布置；图2图示了根据本公开一些实施例的一组移动电子装置，该组移动电子装置已经被用户重新布置以提供用于视觉媒体的虚拟播出屏幕，并且这些移动电子装置生成用于将视觉媒体拆分成被分布给移动电子装置中的指配装置的一组裁剪部分的相应移动向量；图3是图示根据本公开一些实施例的由该组移动电子装置执行的操作的组合流程图和数据流图；图4是图示根据本公开一些实施例的由移动服务器和该组移动电子装置的组合执行的操作的另一个组合流程图和数据流图；图5
‑
7是根据本公开一些实施例的由移动电子装置中的主装置执行的操作的流程图；图8是根据本公开一些实施例的由媒体服务器执行的操作的流程图；图9是被配置成根据本公开的一些实施例操作的移动电子装置的组件的框图；以及图10是被配置成根据本公开的一些实施例操作的媒体服务器的组件的框图。
具体实施方式
8.现在将在下文中参考附图更全面地描述发明概念，其中示出了发明概念的实施例的示例。然而，发明概念可以用许多不同的形式实施，并且不应被解释为局限于本文阐述的实施例。相反，提供这些实施例使得本公开将是透彻且完整的，并且将向本领域技术人员传达各种本发明概念的范围。还应该指出，这些实施例不是互斥的。来自一个实施例的组件可以被默许假定为在另一实施例中存在或使用。
9.一些实施例针对移动电子装置和媒体服务器通过由移动电子装置的布置提供的虚拟播出屏幕显示视觉媒体的方法和操作。用于将视觉媒体拆分成被指配用于由该组移动
电子装置回放的一组裁剪部分的方法和操作可以由充当主装置的移动电子装置之一来执行，或者可以由媒体服务器来执行。这些方法使得对于系统如何确定移动电子装置的当前布局以提供用于视觉媒体的虚拟播出屏幕，以及哪些对软件开发者和最终用户都能降低实现虚拟播出屏幕的技术复杂性和成本，能够有更多选项。
10.视觉媒体拆分和显示操作的第一方面：现在在图1和图2的非限制性实施例的上下文中描述各种操作，图1和图2使用移动电子装置的布置提供用于视觉媒体的虚拟播出屏幕。为了简洁而非限制，“移动电子装置”也被缩写为“md”，并被称为“移动装置”和“装置”。视觉媒体可以是单个照片、多个照片、视频、图形图像、动画图形或能在显示装置上视觉显示的任何其他数据。
11.图1图示了根据本公开的一个实施例的一组移动电子装置（md）md1
‑
md5（统称为110）的侧视图，该组移动电子装置已经被堆叠以形成相对于参考位置120的初始布置。参考图1，用户已经沿着公共边对齐堆叠了md1
‑
md5。用户已经将应用下载到他们的md 110，该应用执行促进使用md 110创建虚拟播出屏幕的操作。用户触发可操作地感测的事件，并向应用指示用户现在会将md 110中的各个md从堆叠的布置移动到间隔开并被配置成提供用于播出视觉媒体的虚拟播出屏幕的布置。
12.md 110能被配置成通过许多备选方式来感测用户的触发事件。md能感测事件的一种方式是通过感测用户何时轻敲堆叠的md 110中最上面的一个，或者用户何时轻敲支撑md 110的桌子或其他结构。md能感测事件的另一种方式是通过发送听觉触发，诸如敲击声、拍手声、口语或其他用户听觉命令。md能感测事件的另一种方式是通过经由md的用户界面（诸如触摸屏界面和/或机械按钮）接收定义的用户输入。md 110中的每一个可操作以单独标识触发事件的发生，或者只有md 110之一，诸如主md，可操作以标识触发事件的发生，并且然后通过无线通信链路通知其他md 110已经感测到触发事件。
13.md在响应于确定或被通知触发事件而移动时跟踪它们的移动，并且停止跟踪它们的移动并响应于另一事件而生成移动向量。例如，应用可以向用户显示具有移动开始/停止图标的提示，该图标被选择（例如，轻敲）以发起由md 110对移动的跟踪，并且其进一步被选择以中止跟踪移动并生成移动向量，并且由应用中的一个或多个和/或由媒体服务器发起进一步的操作，以基于跟踪的移动来确定如何将视觉媒体拆分成一组裁剪部分以便在md 110中的指配md上显示，并且使裁剪部分被分布给md 110中的指配md，以便通过虚拟播出屏幕播出。备选地，md 110中的每一个可以生成移动向量，当md在被移动之后已经保持静止至少阈值时间时，该移动向量被传递到主md或媒体服务器。
14.现在在md 110从图1所示的初始堆叠布置到图2所示的虚拟播出屏幕布置的示例移动的上下文中解释进一步的示例操作。参考图1和2，用户进行输入，该输入触发事件，该事件使得最上面的md1开始使用内部移动传感器跟踪其相对于参考位置120的移动。用户将最上面的md1移动（旋转到纵向方位并平移）到期望其显示装置形成虚拟播出屏幕的组件的地方。然后，用户进行另一输入，该输入触发md1停止跟踪其移动，并生成移动向量，该移动向量标识md1已经从参考位置120移动到md1的显示装置将形成虚拟播出屏幕的组件的播出位置的方向和距离。md1可以通过无线通信链路通知md2
‑
md5触发事件的发生。备选地，md2
‑
md5可以各单独地感测触发事件，诸如在下面的非限制性示例中所描述的，其中用户然后按顺序重复与其他md2、md3、md4的操作，并且然后md5按照用户期望的那样布置md1
‑
md5，以将
它们相应的屏幕用作用于播出视觉媒体的虚拟播出屏幕的组件。
15.特别地，用户接下来通过进行输入以触发使md2开始跟踪其相对于参考位置120的移动的事件来使用现在最上面的md2重复该过程，同时用户将md2移动（旋转到横向模式并平移）到md1的左侧，其中md2的侧边与md1的底边对齐，并且然后进行另一输入以停止跟踪移动并生成移动向量。用户接下来通过进行输入以触发使md3开始跟踪其相对于参考位置120的移动的事件来使用现在最上面的md3重复该过程，同时用户移动md3以使其侧边低于并紧邻md2的下侧边和md1的底边，并旋转到横向模式，并且然后进行另一输入以停止跟踪移动并生成移动向量。用户接下来通过进行输入以触发使md4开始跟踪其相对于参考位置120的移动的事件来使用现在最上面的md4重复该过程，同时用户将md4移动到md1的右侧，其中md4的侧边与md1的底边对齐，并以横向模式旋转，并且然后进行另一输入以停止跟踪移动并生成移动向量。用户接下来通过进行触发使md5开始跟踪其相对于参考位置120的移动的事件的输入来使用剩余的md5重复该过程，同时用户将md5移动到md1和md4之下并以横向模式旋转，并且然后进行另一输入以停止跟踪移动并生成移动向量。
16.尽管图1和图2之间所示的md移动可以主要是沿着平面的旋转和平移，但是移动传感器和跟踪操作能被配置成跟踪相对于任意数量的轴的移动，诸如沿着三个正交的轴和围绕任一个或多个轴的旋转。从而，例如，用户可以重新布置md 110以提供md 110的非平面三维布置来创建虚拟播出屏幕。此外，要理解，md 110的初始布置不需要是单个堆叠，或者该布置根本不需要堆叠。例如，md 110中的一些最初可以部分重叠布置，而一些其他md 110可以与其单独间隔开。然而，当以不同于对齐堆叠的方式布置时，md 110应该操作以跟踪它们相对于公共参考位置的移动，例如，使用基于rf或基于声音的飞行时间测距和三角测量、卫星定位、蜂窝辅助定位、wifi接入点辅助定位和/或另一种定位技术来确定它们当被布置成形成虚拟播出屏幕时相对于彼此的位置。md可以被配置成给用户提供用户可以从中选择的md的布置的预定义集合，其中预定义集合中的每个布置可以在md之间具有不同的方位和/或边对齐（例如，具有对齐的左上角的堆叠、在一行中并排布置的展开、在一列中从上到下布置的展开等）。
17.图3是图示根据本公开一些实施例的由该组移动电子装置（md1、md2、md3、md4、md5）执行的操作的组合流程图和数据流图。
18.对于示例操作，假定md1作为主装置操作，如下所述。基于对md 110的一个或多个能力的比较，md1可以从md 110中选择，以作为主装置操作。例如，可以基于md1具有最大的处理能力、到媒体服务器200的最高服务链路质量和/或另一高排名能力来选择md1作为主装置。备选地或附加地，媒体服务器200可以从md 110中选择主装置，和/或用户可以选择md 110中的哪一个将作为主装置操作。
19.参考图3，md1
‑
md5中的每一个操作以运行300
‑
308虚拟屏幕应用，同时它们以堆叠配置布置，尽管这些操作不限于如上所述的以堆叠配置使用。该应用通过md1和另一个md2
‑
md5之间的无线通信执行虚拟屏幕播出协调操作310。协调操作310可以包括使md2
‑
md5中的每一个单独向md1报告它们的显示特性或者彼此共享它们的显示特性。显示特性可以包括显示器的物理尺寸、md的物理尺寸、显示器纵横比、显示器分辨率、显示器框架宽度和/或厚度、显示器色温、媒体处理能力、存储器可用性、到潜在媒体服务器的最佳通信链路质量和/或与md能如何显示视觉媒体关联的其他特性中的任何一个或多个。协调操作310能包括使
md1
‑
md5同意公共定时参考，例如无线电网络时间戳、卫星定位系统信号（例如，gps或gnss信号定时）和/或来自网络时间协议（ntp）服务器的信号，其能被用于根据下面的进一步操作同步视觉媒体的指配部分的播出。
20.md2
‑
md5可以使用任何无线通信协议单独与md1通信，尽管诸如装置到装置通信协议的低时延协议可能特别有益。无线通信协议可以例如使用lte或新空口（nr）的侧链路通信特征，或者可以使用蜂窝无线电接口用于通过无线电基站通信，无线电基站可以优选地具有相对低的通信往返时间（例如，对于nr小于3ms）。
21.md1标识触发事件的发生，如上所述，其可以对应于感测用户在md1的外壳或支撑台上轻敲的移动传感器（例如，加速度计），或者可以对应于感测定义的用户输入的触摸屏界面或物理开关，或者可以对应于音频输入，诸如经由苹果的siri特征标识的口头命令。为了降低错误标识触发事件的可能性，md1可能需要感测定义的序列，诸如不同的敲击序列。响应于感测到触发事件，md1开始经由移动传感器跟踪其移动，并且可以向md2
‑
md5传递314移动跟踪命令，以使得当用户单独将md2
‑
md5中的每一个移动到用户期望相应显示装置形成虚拟播出屏幕的组件的位置时，它们开始跟踪它们的移动。备选地，如以上针对图1和图2所述，md2
‑
md5中的每一个可以单独感测用户何时轻敲或以其他方式输入事件以触发他们的移动跟踪。
22.响应于标识312触发事件，md1可以通知316用户至少将md1移动到其对于虚拟播出屏幕的期望位置。md1当被用户移动时，经由移动传感器跟踪其移动。响应于用户录入另一输入和/或在阈值流逝时间期间没有感测到进一步的移动，md1基于移动时由移动传感器指示的跟踪移动，生成318标识md1已经从参考位置120移动到显示装置将形成虚拟播出屏幕的组件的播出位置的方向和距离的移动向量。移动向量可以指示md1从参考位置120移动到最终静止位置的沿着一个或多个轴的距离和方向。移动向量可以附加地或备选地指示md1沿着md1相对于参考位置120移动的一个或多个轴的（一个或多个）旋转。md2
‑
md5当被用户单独移动到它们相应的位置以形成虚拟播出屏幕时，类似地跟踪它们的移动，并且生成320
‑
326指示它们相对于参考位置120的位置的相应移动向量。md2
‑
md5能单独向md1报告328
‑
334它们生成的移动向量，根据该示例实施例，md1充当主装置。
23.md1向媒体拆分模块提供移动向量，媒体拆分模块基于它们相应的移动向量来确定如何将视觉媒体拆分成一组裁剪部分，以在md1
‑
md5中的指配md上显示，并且其可以基于md1
‑
md5中的每一个的单独显示特性来进一步确定。根据图3的实施例，md1执行336媒体拆分模块操作，并发起338将视觉媒体的裁剪部分路由到指配的md1
‑
md5以供显示。
24.作为主装置操作的md1使用视觉媒体的裁剪部分和虚拟播出屏幕的布置来发起视觉媒体的协调播出。用于执行协调播出的操作可以根据系统的哪个元件生成媒体服务器的裁剪部分而变化。
25.参考图2，该系统能包括媒体服务器200，该媒体服务器通过数据网络210（例如，公用互联网和/或专用网络）和无线电接入网络220与md 110中的一个或多个通信。媒体服务器200可以存储视觉媒体，以分布给md 110中的一个或多个。系统元件操作以生成视觉媒体的裁剪部分的三个场景是：1）主md1从存储在它们的本地存储器中的视觉媒体的副本或从媒体服务器200生成视觉媒体的裁剪部分，以分布给md2
‑
md5；2）md1
‑
md5中的每一个从存储在它们的本地存储器中的视觉媒体的副本或者从媒体服务器200生成它们自己的裁剪部
分；以及3）媒体服务器200从本地存储器中的副本生成视觉媒体的裁剪部分，以分布给md1
‑
md5。
26.根据第一场景，主md1生成视觉媒体的裁剪部分，md1能执行媒体拆分模块的操作以确定如何将视觉媒体拆分成一组裁剪部分以在md1
‑
md5中的指配md上显示，执行操作以将视觉媒体拆分成裁剪部分，并且然后将裁剪部分的指配部分分布给md2
‑
md5以供显示。md1可以从媒体服务器200接收视觉媒体作为文件或流，或者可以将视觉媒体预加载在本地存储器中。该分布可以通过诸如装置到装置通信协议的低时延协议来执行，尽管也可以使用诸如上面解释的其他通信协议。
27.根据第二场景，主md1能执行媒体拆分模块的操作以确定如何将视觉媒体拆分成一组裁剪部分以显示在md1
‑
md5中的指配md上，这导致生成拆分指令。md1发送拆分指令，用于它们相应在执行操作时使用，以将视觉媒体拆分成将在显示装置上本地显示的它们相应的裁剪部分。md1
‑
md5可以从媒体服务器200接收视觉媒体作为文件或流，或者可以将视觉媒体预加载在本地存储器中。备选地，md1
‑
md5中的每一个都能以协调的方式操作，以执行媒体拆分模块的操作，来确定如何将视觉媒体拆分成一组裁剪部分，以在md1
‑
md5中的指配md上显示，这能导致生成拆分指令，它们各自使用这些指令来控制视觉媒体如何被拆分成裁剪部分。
28.根据第三场景，媒体服务器200从本地存储器中的副本生成视觉媒体的裁剪部分，以分布给md1
‑
md5。媒体服务器200可以本地执行媒体拆分模块的操作以确定如何将视觉媒体拆分成该组裁剪部分，可以从md1接收拆分指令，该指令标识视觉媒体将如何被拆分用于所有md1
‑
md5，或者可以从md1
‑
md5中的每一个单独接收拆分指令，该指令标识视觉媒体将如何被拆分用于各个md。例如，md1可操作以执行336媒体拆分模块操作，以确定要生成多少裁剪部分以及裁剪部分的特征（例如，尺寸、纵横比、分辨率等），这导致生成拆分指令，并且将拆分指令提供给媒体服务器200，以执行媒体拆分操作以及随后将裁剪部分布送到指配的md1
‑
md5。媒体服务器200可以将寻址用于传输的每一个裁剪部分直接发送到md1
‑
md5中的指配md，或者可以传递寻址到md1的所有裁剪部分，以便转发到其他md2
‑
md5中的指配md。
29.关于第三场景，图4是图示由媒体服务器200和该组md 110的组合执行的第三场景的操作的组合流程图和数据流图。参考图4，md1
‑
md5中的每一个运行400虚拟屏幕应用。媒体服务器200或者直接或者经由md1与md1
‑
md5通信，以执行虚拟屏幕播出协调操作402，这可以基本上对应于图3的操作310。例如，协调操作402能包括让md1
‑
md5中的每一个向媒体服务器200报告它们的显示特性。显示特性可以包括显示器的物理尺寸、md的物理尺寸、显示器纵横比、显示器分辨率、显示器框架宽度和/或厚度、显示器色温、媒体处理能力、存储器可用性、到潜在媒体服务器的最佳通信链路质量和/或与md能如何显示视觉媒体关联的其他特性中的任何一个或多个。协调操作402能包括使md1
‑
md5同意公共定时参考，例如无线电网络时间戳、卫星定位系统信号（例如，gps或gnss信号定时）和/或来自网络时间协议（ntp）服务器的信号，其能被用于根据下面的进一步操作同步视觉媒体的指配部分的播出。
30.md1
‑
md5中的每一个当它移动到其虚拟屏幕位置时生成404移动向量，并且然后向媒体服务器200报告406其移动向量。媒体服务器200执行媒体拆分模块的操作，以确定408如何将视觉媒体拆分成该组裁剪部分。媒体服务器200生成视觉媒体的裁剪部分，并且然后将裁剪部分路由410到指配的md1
‑
md5。md1
‑
md5接收并显示它们相应的指配的视觉媒体的
裁剪部分，他能控制显示单个图片的裁剪部分或视频帧的裁剪部分的时间，使得它以跨该组md 110的定时同步发生。
31.md1
‑
md5操作以显示340
‑
348视觉媒体的它们指配的裁剪部分，使得裁剪部分的集合通过虚拟播出屏幕播出。在图2的示例中，视觉媒体已经被拆分成五个裁剪部分230a
‑
230e，它们被指配用于由md1
‑
md5中的不同md显示。例如，md2被指配成显示左上裁剪部分230a，md1被指配成显示中上裁剪部分230b，md4被指配成显示右上裁剪部分230c，md3被指配成显示左下裁剪部分230d，并且md5被指配成显示右下裁剪部分230e。如图2所示，媒体拆分模块操作能基于例如各个md 110的显示特性来调整视觉媒体的裁剪部分的物理尺寸、纵横比、分辨率和其他特性。md1以纵向模式定向，具有对虚拟播出屏幕有贡献的较窄的显示组件，并且作为响应被指配了比被指配以横向模式定向的md2
‑
md5上显示的其他裁剪部分230a和230c
‑
230e相对更窄的水平裁剪部分230b。
32.此外，要注意的是，md3和md5具有比md1、md2和md4更大的显示区域，当决定md3和md5相对md1、md2和md4的尺寸、纵横比和/或分辨率时，媒体拆分模块操作可以知道并使用这些区域。图2图示了媒体拆分模块操作已经调整了裁剪部分230d由md3显示在哪里和裁剪部分230e由md5显示在哪里，以对齐裁剪部分230d和230a的左边，并对齐裁剪部分230e和230c的右边，这留下了分别未被md3和md5使用的空白234和236，用于显示裁剪部分230d和230e的任何部分。
33.尽管在使用五个md 110的上下文中已经公开了各种操作，诸如以图1
‑
3的方式，但是本文公开的这些和其他操作不限于此，并且能与任何多个md一起使用。例如，媒体拆分模块确定如何将视觉媒体拆分成一组裁剪部分的操作能基于有多少md被用于形成虚拟播出屏幕的组件来调节。下面示出了基于其他数量的md来拆分视觉媒体的操作的一些进一步的说明性非限制性示例：1）对于两个md：a. 将视觉媒体拆分成左右屏幕裁剪组件；b. 将视觉媒体拆分成上下屏幕裁剪组件；或者c. 将视觉媒体拆分成其他“自由形式位置”裁剪组件。
34.2）对于三个md：a. 将视觉媒体拆分成左中右屏幕裁剪组件；b. 将视觉媒体拆分成上中下屏幕裁剪组件；或者c. 将视觉媒体拆分成其他“自由形式位置”裁剪组件。
35.3）对于四个md：a. 将视觉媒体分成四个象限的裁剪组件，例如，左上和右上屏幕裁剪组件以及左下和右下屏幕裁剪组件；或者b. 将视觉媒体拆分成其他“自由形式位置”裁剪组件。
36.一些视觉媒体拆分和显示操作的摘要：如上所述，上文已经描述的方法和操作的方面不限于特定公开的实施例，而是相反旨在适用于能受益于通过形成虚拟播出屏幕的组件的一组md来拆分数字媒体以供显示的任何系统。现在参照图5
‑
7更一般地描述这些进一步实施例的方面，图5
‑
7是由md中的主md执行的操作的流程图。
37.参考图5，md被配置用于通过md的布置操作，以提供用于视觉媒体的虚拟播出屏幕。md执行基于移动时由移动传感器指示的跟踪移动，生成500标识md已经从参考位置移动到显示装置将形成虚拟播出屏幕的组件的播出位置的方向和距离的移动向量的操作。md将移动向量提供502给媒体拆分模块，该媒体拆分模块基于移动向量确定如何将视觉媒体拆分成一组裁剪部分，以显示在md中的指配md上。md获得504已经由媒体拆分模块指配给md的视觉媒体的裁剪部分，并且在显示装置上显示506视觉媒体的裁剪部分。
38.如上面关于图3和图4所解释的，md可以执行310、402虚拟屏幕播出协调通信，包括基于与其他md共享的用于定时同步的定时信号来同步时间参考。在显示装置上显示506视觉媒体的裁剪部分的操作可包括响应于确定相对于时间参考的时间事件的发生，控制视觉媒体的裁剪部分何时被显示在显示装置上的定时。
39.如上所述，md之一能作为主md操作。参考图6，主md从md中的其他md接收600移动向量。主md执行602媒体拆分模块的操作，以基于当被布置为虚拟播出屏幕的组件时md的显示装置的相对位置，确定如何将视觉媒体拆分成一组裁剪部分以在md中的指配md上显示。主md发起604将视觉媒体拆分成一组裁剪部分，以在md中的指配md上显示。
40.主md可以标识312触发事件的发生，该触发事件指示用户准备将md中的各个md从与参考位置关联的彼此堆叠的布置移动到与参考位置间隔开并且被配置成提供用于播出视觉媒体的虚拟播出屏幕的布置。主md响应于触发事件的发生的标识，经由无线网络接口电路向其他md传递314命令，当移动到相对于参考位置间隔开的布置时，该命令发起由其他md生成相应的移动向量，并且发起由md生成移动向量。备选地，md中的每一个可以单独标识触发事件的发生。标识触发事件的发生的操作可以包括标识瞬时振动的发生，该瞬时振动是用户在主md的一部分上的物理轻敲或者经由主md的用户输入接口从用户接收定义的输入的特性。
41.基于由每一个md提供的媒体处理能力的比较，可以选择主md作为主装置来执行媒体拆分模块的操作。
42.媒体拆分模块确定336如何将视觉媒体拆分成一组裁剪部分的操作可以包括基于md中的指配md的媒体处理能力，确定缩放比率以应用于缩放视觉媒体的裁剪部分中的相应部分，以在md中的指配md上显示。媒体处理能力可包括以下至少一项：显示器尺寸、显示器分辨率、显示器边框尺寸、显示器色温、显示器亮度、处理器速度、存储器容量以及用于接收所述视觉媒体的裁剪部分的通信服务质量。
43.主md可以根据移动向量来确定何时满足指示md之一已经移动至少阈值距离的条件。响应于确定满足该条件，主md可以发起重复执行媒体拆分模块的操作以基于移动向量确定如何将视觉媒体拆分成一组裁剪部分以在md中的指配md上显示。
44.主md可以确定何时满足指示其他md之一不再可用于操作以显示虚拟播出屏幕的组件的条件。主md可以通过从可用md列表中移除其他md之一来响应条件变得满足。而且，响应于确定该条件已经变得满足，主md可以发起重复执行媒体拆分模块的操作以基于移动向量确定如何将视觉媒体拆分成一组裁剪部分以可用md列表中的指配md上显示。
45.如上所述，主md可操作以将视觉媒体拆分成一组裁剪部分，并将裁剪部分路由到md中的指配md。参考图7中所示的关联操作，主md可以将视觉媒体拆分700成一组裁剪部分，以在md中的指配md上显示。主md能通过无线网络接口电路路由（702）指配给md中的其他md
的视觉媒体的裁剪组件，以便朝向md中的其他md传递以供显示。
46.当主md根据图7操作时，主md可以执行310、402虚拟屏幕播出协调通信，其包括从md中的其他md接收显示特性，并从本地存储器或联网装置获得主md的显示特性。执行502将视觉媒体拆分成一组裁剪部分以在md中的指配md上显示的操作可包括主md基于md的显示特性和移动向量的组合来确定将从视觉媒体拆分多少裁剪部分以及哪些裁剪部分被指配给md中的哪些md。
47.当媒体拆分模块操作由媒体服务器执行时，主md可操作以经由无线网络接口电路将移动向量传递到媒体服务器，使得媒体服务器能执行媒体拆分模块的操作。主md还能经由无线网络接口电路从媒体服务器接收视觉媒体的裁剪部分。
48.图8是根据本公开的一些实施例由媒体服务器执行的操作的流程图，以执行用于将视觉媒体拆分成裁剪部分的操作，然后其将裁剪部分路由到md。参考图8，媒体服务器执行操作以从md接收800移动向量。移动向量中的每个标识md之一已经从参考位置移动到md的显示装置将形成虚拟播出屏幕的组件的播出位置的方向和距离；所述操作基于移动向量，将视觉媒体拆分802成一组裁剪部分，以在md中的指配md上显示。所述操作然后朝向md中的指配md路由视觉媒体的裁剪部分以供显示。
49.在一些进一步的实施例中，拆分操作802可包括基于md中的指配md的媒体处理能力，确定缩放比率以应用于缩放视觉媒体的裁剪部分中的相应部分，以在md中的指配md上显示。媒体处理能力可包括以下至少一项：显示器尺寸、显示器分辨率、显示器边框尺寸、显示器色温、显示器亮度、处理器速度、存储器容量、用于从所述媒体服务器接收所述视觉媒体的裁剪部分的通信服务质量。
50.视觉媒体拆分操作的委托：根据一些其他方面，主md可以基于一个或多个定义的规则将执行媒体拆分模块操作的责任委托给md中的另一个md。例如，主md可以将那些操作委托给另一个md，该另一个md具有比主md和其他md更好地满足定义的规则的一个或多个媒体处理能力，诸如通过具有更快的处理速度、更大的存储容量、用于接收视觉媒体的更好的通信服务质量等中的一项或多项。
51.指导用户布置md用于虚拟播出屏幕：根据一些其他方面，虚拟屏幕应用可以向用户提供针对如何更优化地布置md以创建虚拟播出屏幕的指导。例如，应用可以使用md的显示特性来计算用于md应该如何布置的最优布置或一组推荐布置。在一个实施例中，该应用基于以下任一项或多项来确定最优布置和/或推荐布置：md显示器的物理尺寸、md物理尺寸、md显示器纵横比、md显示器分辨率和/或md显示器框架宽度和/或厚度。例如，该布置可以被计算成在用户重新定位md期间需要最短的距离和/或最少的旋转量，以作为虚拟播出屏幕的组件被布置成最优或推荐布置。该应用可以由一个或多个其他md来确定md中的一个或多个的重叠量，诸如通过使较小的电话与平板电脑显示器的一部分或多个部分重叠。该应用可以显示指令或其他视觉标记和/或向用户提供针对如何重新布置md以创建虚拟播出屏幕的听觉指导。
52.适应于作为虚拟播出屏幕一部分的md的移动或丢失：根据一些其他方面，响应于确定md中的一个或多个已经被重新定位和/或响应于确定md中的一个或多个不再可用于这种用途，虚拟屏幕应用可以触发用于将视觉媒体拆分
成裁剪部分的操作的重复。
53.媒体服务器可以响应于确定md中的至少一个已经被移动，重新确定如何将视觉媒体拆分成一组裁剪部分。在一个实施例中，媒体服务器的操作包括根据移动向量确定何时满足指示md之一已经移动了至少阈值距离的条件。响应于确定条件被满足，媒体服务器重复执行操作802，将视觉媒体拆分成一组裁剪部分，以在md中的指配md上显示。
54.备选地或附加地，媒体服务器可以响应于确定md之一不再可用，重新确定如何将视觉媒体拆分成一组裁剪部分。在一个实施例中，媒体服务器的操作包括确定何时满足指示md之一不再可用于操作以显示虚拟播出屏幕的组件的条件。这些操作从可用的md列表中删除md之一。响应于确定条件被满足，媒体服务器重复执行操作802，将视觉媒体拆分成一组裁剪部分，以在可用md列表中的md中的指配md上显示。
55.在md上显示的多媒体基于它们的深度进行调整：根据一些其他方面，如上所述，移动传感器和跟踪操作能被配置成跟踪相对于任意数量的轴的移动，诸如沿着三个正交的轴和围绕任一个或多个轴的旋转。从而，例如，用户可以重新布置md 110以提供md 110的非平面三维布置来创建虚拟播出屏幕。媒体拆分模块的操作可以根据移动向量将深度计算为md的显示装置的主要平面表面之间的垂直距离，并且可以在生成裁剪组件时执行响应操作，诸如基于它们相应的深度缩放被指配给各种md的缩放比（例如，放大率）、物理尺寸、像素分辨率或纵横比裁剪部分中的任一项或多项。例如，在一个实施例中，操作可以基于它进一步远离距用户更近的md的主要平面表面的距离，成比例地增加在md上显示的缩放图像。
56.将一个md上的用户改变传播到其他md：根据一些其他方面，md可以被配置成允许用户调整md之一上的视觉媒体的裁剪组件的缩放倍率，并且响应地使其他md调整它们单独显示的视觉媒体的相应裁剪组件的缩放倍率。例如，在一个实施例中，用户可以使用向外挤压手势来放大显示在md之一上的裁剪组件，以使该md和其他md同时出现并成比例地放大它们相应显示的裁剪组件。用户可以类似地使用向内挤压手势来缩小显示在md之一上的裁剪组件，以使该md和其他md同时出现并成比例地缩小它们相应显示的裁剪组件。
57.云实现上面描述的由md和/或媒体服务器执行的一些或所有操作可以备选地由作为云计算资源的一部分的另一个节点来执行。例如，那些操作可以作为靠近边缘的网络功能来执行，诸如在电信网络运营商的云服务器或云资源中，例如在cloudran或核心网络中，和/或可以由媒体提供商（例如itunes服务提供商）的云服务器或云资源来执行。
58.示例移动电子装置和媒体服务器图9是根据本公开的一些其他实施例配置的移动电子装置（md）的组件的框图。移动电子装置可包括无线网络接口电路920、移动电路930、麦克风940、音频输出接口950（例如，扬声器、耳机插孔、用于连接到无线耳机的无线收发器）、显示装置960、用户输入接口970（例如，键盘或触敏显示器）、至少一个处理器电路900（处理器）和至少一个存储电路910（存储器）。处理器900被连接以与其他组件通信。存储器910存储虚拟屏幕应用912，并且可以进一步存储由处理器900运行以执行本文公开的操作的媒体拆分模块914。处理器900可包括一个或多个数据处理电路，诸如通用和/或专用处理器（例如，微处理器和/或数字信号
处理器），其可以跨一个或多个数据网络并置或分布。处理器900被配置成运行存储器910（在下文被描述为计算机可读介质）中的计算机程序指令，以针对移动电子装置执行本文公开的一个或多个实施例的一些或所有操作和方法。
59.在一个实施例中，移动传感器930包括多轴加速度计，该多轴加速度计输出指示沿着正交轴感测到的加速度的数据。生成（例如图3中的318
‑
326和图5中的500）移动向量的操作可包括对由多轴加速度计输出的数据中包含的值进行积分，以确定移动电子装置从参考位置移动到显示装置将形成所述虚拟播出屏幕的组件的地方的距离和方向。
60.在另一个实施例中，移动传感器930包括输出视频的摄像机。生成（例如图3中的318
‑
326和图5中的500）移动向量的操作跟踪视频中可标识的至少一个对象的移动，以确定移动电子装置从参考位置移动到显示装置将形成虚拟播出屏幕的组件的地方的距离和方向。
61.图10是根据本公开的至少一些实施例操作的媒体服务器200的组件的框图。媒体服务器200可包括网络接口电路1030、至少一个处理器电路1000（处理器）和至少一个存储器电路1010（存储器）。网络接口电路1030被配置成经由可包括无线和有线网络的网络与移动电子装置通信。媒体储存库1020可以是媒体服务器200的一部分，或者可以通过网络接口电路1030与媒体服务器200通信联网。媒体服务器200可进一步包括显示装置1040和用户输入接口1050。存储器1010存储由处理器1000运行以执行操作的程序代码。存储器1010包括虚拟屏幕应用1012，该应用对从媒体储存库1020和/或视觉媒体的组件到形成虚拟播放屏幕的md的视觉媒体进行操作，并且可以包括媒体拆分模块1014。处理器1000可包括一个或多个数据处理电路，诸如通用和/或专用处理器（例如，微处理器和/或数字信号处理器），其可以跨一个或多个数据网络并置或分布。处理器1000被配置成执行存储器1010（在下文中被描述为计算机可读介质）中的程序代码，以针对地图路线服务器执行本文公开的一个或多个实施例的一些或所有操作和方法。
62.进一步的定义和实施例：在本发明概念的各种实施例的以上描述中，要理解到，本文使用的术语仅用于描述特定实施例的目的，并不意图限制本发明概念。除非另有定义，否则本文使用的所有术语（包括技术术语和科技术语）都具有与本发明概念所属领域的普通技术人员通常理解的相同的意思。将进一步理解到，诸如在通常使用的字典中定义的那些术语，应被解释为具有与本说明书和相关领域的上下文中它们的意思一致的意思，并且将不以理想化或过度正式的意义进行解释，除非本文明确地如此定义了。
63.当一个元件被称为与另一个元件“连接”、“耦合”、“响应”或其变体时，它能被直接连接到、耦合到或响应于另一个元件，或者可以存在中间元件。相反，当一个元件被称为与另一个元件“直接连接”、“直接耦合”、“直接响应”或它们的变体时，则不存在中间元件。相似的数字通篇指的是相似的元件。更进一步，本文所使用的“耦合”、“连接”、“响应”（或它们的变体）可以包括无线耦合、连接或响应。本文所使用的单数形式“一个”和“该”意图也包含复数形式，除非上下文以其它方式明确指示。为了简洁和/或清晰起见，众所周知的功能或构造可能未进行详细描述。术语“和/或”包括其中一个或多个关联的列出项目的任何和所有组合。
64.将理解，尽管本文可以使用术语第一、第二、第三等来描述各种元件/操作，但这些
元件/操作不应受这些术语的限制。这些术语仅被用于区分一个元件/操作与另一个元件/操作。从而，一些实施例中的第一元件/操作在其它实施例中可能被称为第二元件/操作，并不脱离本发明概念的教导。在整个说明书中，相同的附图标记或相同的参考标志符表示相同或类似的元件。
65.本文所使用的术语“包括”、“包含”、“具有”或它们的变体是开放式的，并且包含一个或多个所述的特征、整数、元件、步骤、组件或功能，但不排除存在或添加一个或多个其它特征、整数、元件、步骤、组件、功能或它们的组合。更进一步，本文所使用的常见缩写“e.g.”（其从拉丁短语“exempli gratia”导出）可用于介绍或规定之前提到的项目的一个或多个通用示例，并且不意图限制这种项目。常见缩写“i.e.”（其从拉丁短语“id est”导出）可以用于规定来自更一般陈述的特定项目。
66.本文参考计算机实现的方法、设备（系统和/或装置）和/或计算机程序产品的框图和/或流程图图示描述了示例实施例。要理解，框图和/或流程图图示的框以及框图和/或流程图图示中的框组合能通过由一个或多个计算机电路执行的计算机程序指令实现。这些计算机程序指令可以被提供给通用计算机电路、专用计算机电路的处理器电路和/或其它可编程数据处理电路以产生机器，使得经由计算机的处理器和/或其它可编程数据处理设备执行的指令变换和控制晶体管、存储在存储位置的值和此类电路内的其它硬件组件，以实现在框图和/或一个或多个流程图框中规定的功能/动作，并且由此创建用于实现在框图和/或（一个或多个）流程图框中规定的部件（功能性）和/或结构。
67.这些计算机程序指令也可以被存储在能指导计算机或其他可编程数据处理设备以特定方式运作的有形计算机可读介质中，使得存储在计算机可读介质中的指令产生包括实现框图和/或一个或多个流程图框中规定的功能/动作的指令的制品。因而，本发明概念的实施例可以体现在硬件和/或软件（包括固件、常驻软件、微代码等）中，软件在处理器（诸如数字信号处理器）上运行，它们可以被统称为“电路”、“模块”或其变体。
68.还应指出，在一些替换实现中，框中指出的功能/动作可以不按流程图中指出的顺序发生。例如，接连显示的两个框实际上可以基本上同时执行，或者这些框有时可以按相反的次序执行，取决于所涉及的功能性/动作。而且，流程图和/或框图的给定框的功能性可以被分成多个框，和/或流程图和/或框图的两个或更多框的功能性可以至少部分集成。最后，在不脱离发明概念的范围的情况下，可以在图示的框之间添加/插入其它框，和/或可以省略框/操作。而且，尽管一些图解在通信路径上包括示出通信的主要方向的箭头，但是应当理解，通信可以在与所描绘的箭头相反的方向上发生。
69.在基本不脱离本发明概念的原理的情况下，能对实施例进行许多变化和修改。所有这样的变化和修改都旨在被包括在本发明概念的范围内。因而，以上公开的主题被认为是说明性的，而不是限制性的，并且所附的实施例示例旨在覆盖所有这样的修改、增强和其他实施例，这些都落入本发明概念的精神和范围内。从而，在法律允许的最大程度上，本发明概念的范围将由包括以下实施例及其等效方案的实施例的本公开的最广泛的可准许的解释来确定，并且不应受到前述详细描述的约束或限制。