通用镜像接收器的制作方法

相关申请的交叉引用

本申请书根据美国专利法第119条e款，提出2014年10月23日申请的美国的临时申请no.62/067,845优先权，其全部内容并入本文。

本发明涉及从无线镜像，无线镜像经由多种类型的镜像协议从多种类型的设备平台(操作系统)，到能从设备接收镜像流的单一接收器实现。

背景技术：

当前镜像技术的局限性在于异构操作系统平台(例如，android^tm,mic)无法将内容镜像到单内容接收器。移动计算设备可以使用air协议将内容镜像到诸如appletv的设备，其可以连接到一个屏幕如一个电视机。同样，其他设备平台(例如android，windows)目前可以利用chromecast，googlecast^tm，dnla，mirrorop和airtame等技术来实现相关平台的镜像。

众所周知，人们通常需要从他们的计算设备来呈现内容。内容呈现的典型示例是一个用户将其计算机/笔记本电脑连接到会议室，教室或具有外部显示器的任何类型的场所的投影仪上。用户需要在外部显示器上显示其他设备的屏幕内容，或者通常可视化其设备的屏幕内容。外部显示器可以是投影仪，电视机或可连接到笔记本电脑/计算机的任何设备。这种情况需要笔记本电脑/计算机与电缆物理连接。在其他情况下，接收器或“接收设备”可以内置在/嵌入在tv或投影仪中，或者在加密狗运行的接收器软件中。当许多人出现时，从一个用户切换到另一个用户需要将电缆从一台笔记本电脑/计算机断开连接，并连接到需要呈现内容的人的笔记本电脑/计算机。这种呈现方法被认为是次优的，原因如下：断开和连接是物理操作，设备的声音不能投射到外部显示器上。一般来说，这些问题通过被称为屏幕镜像的技术来解决。

镜像是一组无线技术的总称，可帮助您将发送设备或计算机上看到和听到的内容投射到接收设备的显示器和扬声器。

apple通过其协议实现了镜像解决方案(http://en.wikipedia.org/wiki/airplay#airplay_mirroring)。apple的(版本4s)和移动设备(均运行ios操作系统)都具有airplay发送设备的功能，并且apple的数字媒体扩展器是一个功能强大的接收器。appletv是一种硬件解决方案，而其他接收器(如airserver)可以作为软件解决方案做相同的事情。airplay为了运行要求发送和接收设备连接到同一个无线网络。

使用microsoftwindows或googleandroid操作系统的其他供应商正在使用不同的解决方案，如miracast(http://en.wikipedia.org/wiki/miracast)或chromecast(https://en.wikipedia.org/wiki/chromecast)。为了镜像这些供应商的设备，需要一个可以使用miracast或chromecast功能的发送设备，例如android移动计算设备(如手机或平板电脑)或windows设备(如手机，平板电脑，笔记本电脑或台式机)和一个具有miracast/chromecast功能的接收器。这样的接收器可以是miracast/chromecast加密狗(插入电视机的hdmi端口的小型设备)或具有内置miracast接收器的电视机。miracast不要求为了运行，发送设备和接收器应连接到同一个无线网络。使用miracast，可以直接从发送设备镜像到接收设备。

appletv和典型的miracast接收设备每次只允许一个设备发送到接收器。没有允许airplay发送设备和miracast发送设备同时连接到同一个接收器的解决方案。这是因为没有接收器能够同时从多个异构平台接收镜像。这需要用户决定是否仅使用airplay接收器镜像appleios设备，或仅使用miracast接收器来镜像miracast发送设备。这样做的缺点是，如果选择使用基于airplay的接收器，那么具有miracast功能的发送设备的用户将被排除在镜像之外，反之亦然。

需要一种允许单一内容接收器从多个异构平台接收镜像流的设备。虽然许多行业允许他们的员工“带自己的设备”(byod)工作，但是缺乏能够处理异构镜像流的接收器意味着并不是所有的设备都能被平等有效地使用。

技术实现要素：

本发明是一种基于软件的解决方案，其接收多个同步的设备连接，并具有将数据流镜像到外部显示器的能力。本发明提供了镜像多个异构平台技术的能力，从而能够同时从这些平台接收镜像内容，包括同时连接许多设备的能力。异构计算设备的用户/所有者将能够同时(协同和比较)镜像内容(参与)，从而消除当前对异构计算设备的用户的限制。例如，在教室情况下，无论选择哪种计算设备和操作系统，所有用户都可以将内容镜像到投影机。本发明使得用户真正将自己的设备或选择的设备带入共享会话，并且解除了要求特定设备平台参与的限制。由于设备平台制造商的所有目标都是以这样的方式制造他们的平台，即排除了这一领域的竞争对手，本发明通过从平台制造商提供的各种技术，提供了在单个接收器中接受异构平台同时镜像内容的能力，消除了这些限制。

在第一实施例中，本发明涉及用于异构平台的接收器，包括第一协议处理器和第二协议处理器，第一协议处理器视频解码器，第二协议处理器视频解码器，多路分配器，音频渲染器，视频渲染器和视频布局管理器。视频布局管理器由图像定位模块，缩放模块和图像增强模块组成。本实施例包括连接各部件的连接装置。

在另一个实施方案中，本发明涉及一种方法，用于组合由平台制造商提供的“传输数据”/“网络包”至来自异构平台和协议的单一接收器接受镜像数据。该方法包括如前述实施例中所提供的准备本发明接收器的顺序步骤。在准备接收器之后，该方法继续通过接收器接收来自异构平台的至少两个视频信号和至少两个音频信号。从至少两个异构平台接收的视频信号与其相关联的音频信号同步。该方法通过同步发送同步的视频信号和音频信号到可用的输出设备(即视频渲染器和音频渲染器)来确定。

在另一个实施例中，本发明涉及计算机可读介质存储软件将，其将由平台制造商提供的“传输数据”/“网络包”组合到从异构平台接受的单一接收器中。该软件包括从异构平台接收至少两个视频信号并从异构平台接收至少两个音频信号的可执行代码，以及在接收器中同步来自异构平台的至少两个视频信号和音频信号的可执行代码。可执行代码将来自接收器中异构平台的至少两个视频信号的同步信号引导到视频渲染器(例如显卡)。此后，可执行代码将来自至少两个音频信号的同步信号同时分配给声音渲染器(例如声卡)。

附图说明

图1是本发明从第一和第二协议信号接收输入的一示例图；

图2示出了接收器经由多个协议接收信号的接收器，并将它们组合成由接收器的音频和视频渲染器呈现的单个视频和音频流；以及

图3示出了接收器的同时多视频处理。

具体实施方式

为了方便起见，本文中使用某些术语，并不作为对本发明的限制。术语包括具体提及的词，衍生词和近似关键词。本文讨论的实施例并不旨在是穷尽性的或将本发明限制为所公开的精确形式。选择和描述这些实施例以最好地解释本发明的原理及其应用和实际应用，并且使本领域技术人员能够最佳地利用本发明。

参考图1，在第一实施例中，本发明涉及对于输入信号和显示来说明本发明的装置。如图所示，接收器10提供了两个信号的变换，作为示例的目的，一个来自airplay设备，一个来自miracast设备，用于在接收“镜像平台”的任何输出设备上呈现。然而，本领域技术人员将理解，接收器10可以处理大于2的数量的多个信号。

参考图2和图3，在第一实施例中，本发明涉及一个包括第一协议处理器12a和第二协议处理器12b的异构平台的接收器10；分别如本实施例“airplayprotocolhandler”和“miracastprotocolhandler”所示。额外的异构平台需要额外的协议处理程序。因为每个协议可能显着不同，所以需要每个新协议的单独的协议处理程序，例如，如何传输音频和视频。一些协议使用相同的传输机制(如在在miracast的情况下)传送使它“加入”或“多路复用，”而其他(如airplay)则使用独立的音频和视频传输机制。协议处理器12a和12b包括唯一的软件代码，其识别正在发送的协议，并且选择适当的会话模式，类似于一个人听到一种语言并且切换到该语言以便进行交谈。该代码通过协议与远程设备支持“对话”。本领域技术人员将理解，协议(airplay和miracast)是“口头语言；”每个协议是一种“口语”。很像一种语言是一个人的“口语”本地语言；一个人可以学习其他语言(非本地语言)，因此可以说多种语言。“口语”是一种本地和非本地语言的协议；例如airplay来自apple^tm，miracast来自wi-fialliance^tm。

在本发明中，该软件具有以下能力：1)识别每个输入信号的语言(协议)，以及2)(基于该协议)调整以提供必要的顺序步骤，从多个发送协议中支持所得到的“镜像”。本发明的核心是镜像来自多个发送者的信号。然而，本领域技术人员将认识到无法阻止设备将其输出引导到多个接收者。根据本文档中的信息的范围，本发明的概念包括对多个接收者的镜像。

第一协议处理器12a向第一协议处理器视频解码器14a发射视频流，并将音频流发送到音频解码器15a，音频解码器连接到第一协议处理器12a的输出，“音频+时间同步”。因此，音频和视频已经分离并具有相关联的时间同步信息。然后由运行本发明的计算装置的内部时钟使用时间同步，这确保了当视频和音频渲染器(例如，在屏幕上显示或在扬声器中播放)处理时，视频和音频被正确同步。如图所示，如果包括附加协议的所有其他音频，两个音频流都通过音频渲染器。

第二协议处理器12b将多路复用的信号发射到多路分配器18。复用的信号包含潜在的多个流，通常是音频流和视频流。“多路分配器”是将输入信号分离成单独的数据流的模块。多路分配器选择几个模拟或数字输入信号中的一个，并将所选择的输入信号转发到单个线路中。每个数据“包，”作为多路复用信号中的复用音频或视频帧，将具有一个标识符，用于指定其属于哪些流。图中示出了一个“音频解码器”模块15b，其连接到标示为“音频+时间同步”的多路分配器18“输出”。如图所示，airplay和miracast的路径是不同的，因为每个协议可以通过单个传输机制(例如miracast)，或者使用单独的音频和视频传输机制(例如airplay)传输音频和视频。在单个传输机制的情况下，需要多路分配器将音频和视频分离成两个流。

多路分配器18将视频流发送到第二协议处理器视频解码器14b，并将音频流发送到音频解码器15b，然后将其发送到音频渲染器16。第一协议处理器视频解码器14a和第二协议处理器视频解码器14b中的每个都向视频布局管理器20提交数据流。

如图3所示，视频布局管理器20接收两个信号(每个信号包含视频帧)，但仅发射一个信号。作为一个单元，视频布局管理器20集成多个组件，包括图像定位模块112，其从第一协议处理器视频解码器14a接收视频流，并从第二协议处理器视频解码器14b接收视频流。缩放模块114和图像增强模块116从图像定位模块112接收单个发射的数据流。

本发明的接收器识别“观看设备”的显示区域，例如电视或显示器等，可用于显示组合的(单流)最终图像。图像定位模块112布置输入视频信号的布局，使得它们有效地使用可用空间(输出视频信号的水平和垂直分辨率)。在两个设备的情况下，在宽高比为16：9的普通显示器上，一个视频信号将呈现在左侧，另一个在右侧。如果第三个设备连接，每个设备将被显示在同一行上，或者可能会添加一个新行，其中两个信号显示在第一行(一个到左边，另一个在右边)，并第三个信号显示在第二行中。软件的算法将输入信号视为具有平方分辨率(使用较大的宽度或高度)，以便允许设备在屏幕上自由旋转，而不会导致其他设备显示区域在最终输出中移动。

如图3所示，从图像定位模块112到缩放模块114的单个发射流具有“位置优化的全分辨率图像帧，”并且此后发射到图像增强模块116。总的来说，如图3所示，图像定位模块112，缩放模块114和图像增强模块116总体上被称为“视频布局管理器”。当一个新的连接通过向协议处理器12a，12b发送信号并将它传输而建立时，协议处理器12a，12b通知图像定位模块112新的视频流的分辨率。协议处理器12a，12b也在设备断开时通知图像定位模块112。这些连接和中断事件会导致新的布局，以便将输入视频流定位在最终显示中。

再次参考图2，来自视频显示管理器20的单个发射流被引导到视频渲染器22。

如所讨论的，本领域技术人员将认识到，本实施例示出了两个输入连接，但是可以包括多个输入连接，允许接收器充当无限数量设备的数据流的通道。

现在将在附加实施例中描述本发明，其中相同的附图标记旨在说明相似的特征。

如图2所示，在另一个实施例中，本发明涉及一种方法，用于将由平台制造商提供的“传输数据”/“网络包”组合成从异构平台接受的单一接收器。该方法包括准备前一实施例的接收器的连序步骤。在准备接收器之后，该方法通过接收器从异构平台接收至少两个视频信号并且从异构平台接收至少两个音频信号而继续。来自异构平台的至少两个视频信号与其在接收器中的音频信号同步，其中所述同步信号接收器中的异构平台中的至少两个视频信号和音频信号从引导到视频渲染器和声音渲染器。该方法通过将同步的视频信号和音频信号同时分配给可用的渲染器(例如，显示器，连接的投影仪，扬声器和耳机)来确定。

在另一个实施例中，本发明涉及计算机可读介质存储软件，将由平台制造商提供的“传输数据”/“网络包”组合成从异构平台接受的单一接收器。该软件包括可执行代码，可执行代码由接收器从异构平台接收至少两个视频信号并从异构平台接收至少两个音频信号。可执行代码使来自接收器中异构平台的视频信号和音频信号同步，并将来自接收器中异构平台的至少两个视频信号的同步信号引导到视频渲染器(例如显卡)。可执行代码将来自至少两个音频信号的同步信号同时分配给声音渲染器(例如声卡)。

示例

如本文所讨论的，并如图1、图2和图3的非限制性示例中所示，接收器10提供两个信号的转换，一个来自airplay，一个来自miracast，用于在任何设备上呈现以接收“镜像平台”。在接收器10内，该方法具有由软件代码引导的多个步骤，软件代码在诸如pc，mac的计算机设备，computingstick或能够执行计算机代码以执行该转换的任何平台的计算设备上执行。本发明提供一种接收器，其能够从独立于其类型的任何类型的设备上接收镜像。因此，如图1、图2和图3所示，本发明允许具有miracast功能的发送设备和具有airplay功能的发送设备，同时镜像到外部显示器。接收器的用户不限于从任何特定类型的设备进行镜像，因此用户可以将他们的个人设备带到会议，学校或需要内容的任何情况。本发明的视频输出信号针对在软件设置中选择的“显示器”。通常，这是物理设备，例如连接到运行软件的计算机的显示器或投影仪。音频信号被引导到在软件设置中选择的“输出”设备。通常，这是声卡上的扬声器输出。

本发明提供了与多种类型的设备交互的能力。更具体地说，具有ios设备的用户，具有android设备的用户，以及具有windows设备的用户可以同时使用本发明将其内容镜像到外部显示器；其在商业上名为airserveruniversal^tm。

提供有益情况的本发明的另一个例子是教室设置。老师具有一个设备，通过镜像与学生共享信息。学生有自己的设备，并且可以通过镜像同时分享他们的屏幕(例如，可能包含学校作业的解决方案)。没有airserveruniversal^tm，他们都需要决定使用一种类型的设备来实现这一点。借助airserveruniversal^tm，学生可以选择自己的设备(ios，windows，android设备)，对于谁可以镜像到外部显示器上没有任何限制。

另外一个例子可以涉及到医疗保健领域，其中两个保健专业人员对于一个患者交换意见，如具有两种不同类型装置的x射线，现在可以在大屏幕上并排比较。此外，本领域技术人员将理解，本发明将允许“叠加”多种类型的图像的能力，例如，x射线，用于比较目的。更具体地，本发明将允许多个图像被“重叠，”以便根据大小或时间来观察恶化的进展，例如，肿瘤大小的进展或细胞数量的增加。

本发明的另一个应用是游戏领域，其中计算机游戏的两个或更多个玩家可以同时从他们的设备投射他们的游戏会话，以便比较或娱乐观众。

另一个例子可以在软件开发领域找到，其中两个或多个软件开发者/设计人员进行交互以参与用户交互的参考设计，并确保设计工作正常，或者通过在另一个平台上将相同软件的实现旁边的一个设备的参考设计进行镜像来设计。这是在使用本发明的软件质量保证测试中进行的。

本领域技术人员将理解，在不脱离其广泛的发明构思的情况下，可以对上述实施例进行改变。因此，应当理解，本发明不限于所公开的特定实施例，而是旨在覆盖由所附权利要求限定的本发明的精神和范围内的修改。