在图形云上处理多媒体内容的方法和装置制造方法
【专利摘要】一种方法和系统在图形云上处理多媒体内容。所述方法包括：确定多媒体实例；确定与多媒体实例相关联的负载平衡；从多个图形卡选择用于处理多媒体实例的图形卡，激活与图形卡相关联的多个端口，以向多个多媒体设备绘制多媒体流，并向用户发送所述多媒体流。所述系统包括多媒体设备；通信接口，用于建立通信；存储器，存储指令；以及处理器，响应于所述指令：确定多媒体实例；确定负载平衡；选择图形卡；激活多个端口；以及向多媒体设备发送多媒体流。
【专利说明】在图形云上处理多媒体内容的方法和装置
【技术领域】
[0001]本公开涉及在图形云上处理多媒体内容的领域。
【背景技术】
[0002]由于可以向多个多媒体设备同时绘制(render)多媒体内容,处理图形云上的多媒体内容变得越来越重要。多媒体内容的示例包括但不限于:游戏、图片集、动画和视频流。多媒体设备的示例包括但不限于:互联网协议电视(IPTV)、移动电话、平板PC、个人数字助理(PDA)和智能电话。
[0003]通常，图形卡用于处理多媒体内容。多媒体设备的用户可以购买用于处理多媒体内容的图形卡。多种图形卡是可用的，使得用户可以基于用于处理多媒体内容的一个或多个因素购买图形卡。在一个示例中，游戏制造商将推荐使得可以在多媒体设备上运行该游戏的图形卡。例如，基于诸如运行该游戏所需能力等因素来设计图形卡。因此，用户购买用于运行游戏的图形卡。一旦购买图形卡，用户可以访问用于存储和处理多媒体内容的图形云。图形云包括用于处理多媒体内容的多种硬件和软件单元。然而，这种硬件和软件单元是图形卡专用的。因此，用户必须使用特定图形卡以便使用用于处理多媒体内容的对应硬件和软件单元。此外，如果用户希望改变多媒体内容，则用户需要购买用于处理该多媒体内容的其它图形卡。此外，一些多媒体设备包括用于处理多媒体内容的内置图形卡，且因此无法使得用户基于需要动态地改变图形卡。
[0004]由于前述，需要一种产生混合图形云的方法和系统，支持用于处理多个内容的多个图形卡。
【发明内容】
[0005]为了解决上述不足，这里描述的本公开实施例提供一种用于在图形云上处理多媒体内容的方法和系统。
[0006]一种在图形云上处理多媒体内容的方法的示例，所述方法包括:向图形虚拟化服务器发送用于发起多媒体实例的图形调用；从图形虚拟化服务器接收与该多媒体实例的多媒体流；由图形虚拟化服务器确定与该多媒体实例相关联的负载平衡；选择用于处理与多媒体流相关联的多媒体实例的图形卡和，激活与图形卡相关联的多个端口，以向至少一个多媒体设备绘制多媒体流。
[0007]—种无线电单元的装置的示例，配置为向图形虚拟化服务器发送用于发起多媒体实例的图形调用；从图形虚拟化服务器接收与该多媒体实例相关联的多媒体流；图形虚拟化服务器确定与多媒体实例相关联的负载平衡；选择用于处理与多媒体流相关联的多媒体实例的图形卡，激活与图形卡相关联的多个端口，以向至少一个多媒体设备绘制多媒体流。
[0008]一种在图形云上处理多媒体内容的方法的示例包括确定多媒体实例。由用户发起所述多媒体实例，以接收多媒体流。所述方法害包括确定与多媒体实例相关联的负载平衡。此外，所述方法包括从多个图形卡选择用于处理所述多媒体实例的图形卡。基于多个因素来执行所述选择。此外，所述方法包括激活与图形卡相关联的多个端口，以向多个多媒体设备绘制多媒体流。此外，所述方法包括向多个多媒体设备发送多媒体流。
[0009]一种用于处理图形云上的多媒体内容的系统的示例包括多媒体设备。所述系统还包括用于建立通信的通信接口。所述设备还包括存储指令的存储器。所述设备还包括处理器，响应于所述指令，确定多媒体实例；从多个图形卡选择用于处理多媒体实例的图形卡；激活与图形卡相关联的多个端口，以向多个多媒体设备绘制多媒体流；以及向多个多媒体设备发送多媒体流。
[0010]在进行本发明的详细描述之前，有利地提出贯穿本专利文献使用的特定词语或短语的定义:术语“包括”及其派生词意味着没有限制的包括；术语“或”是开放性的，意味着和/或；短语“与...相关联”和“与其相关联”及其派生词可以意味着包括，包括在内、与...互连、包含、包含在内、连接至...或与...相连、I禹合至...或与...相I禹合，与...可通信、交织、并置、接近、绑定至...或与...相绑定、具有...的属性等；以及术语“控制器”意味着控制至少一个操作的任何设备、系统或其部件，这样的设备可以以硬件、固件或软件或者其中至少两个的某种组合来实现。应当注意，与特定控制器相关联的功能可以是集中式或分布式的，不管在本地还是远程。贯穿本专利文献提供针对特定词语或短语的定义，本领域技术人员应当理解，在许多情况下(不然的话在多数情况下)这样的定义应用于如此定义的词语和短语的现有以及未来使用。
【专利附图】
【附图说明】
[0011]为了更全面理解本公开及其优势，现参考结合附图的以下描述，其中相同附图标记表示相同部件，附图中:
[0012]图1示出了可以实现本公开多个实施例的环境的框图；
[0013]图2示出了根据本公开多个实施例的用于在图形云上处理多媒体内容的图形虚拟化服务器的框图；
[0014]图3示出了根据本公开实施例的在图形云上处理多媒体内容的方法的流程图；
[0015]图4示出了根据本发明示例实施例的多媒体设备的具体结构的框图；
[0016]图5是示出了根据本公开示例实施例的多媒体设备的示例的透视图。
[0017]贯穿附图，相同附图标记将表示相同部件、组件和结构。
【具体实施方式】
[0018]以下讨论的图1到3和用于描述本专利文档的公开的原理的各种实施例仅是说明性的而绝不应理解为限制本公开的范围。本领域技术人员可以理解，可以以任何适当布置的系统或设备来实现本公开的原理。
[0019]应注意，在附图中通过传统符号表示了方法步骤和系统组件，附图仅示出了与理解本公开相关的特定细节。此外，可以不公开本领域普通技术人员可容易领会的细节。在本公开中，例如第一和第二等的关联术语可以用于区分一个实体与另一实体，而未必隐含这种实体之间的任何真实关系或顺序。
[0020]这里所述本公开实施例提供了一种用于在图形云上处理多媒体内容的方法和系统。[0021]环境100包括多种多媒体设备，例如，多媒体设备I 105a、多媒体设备2 105b和多媒体设备3 105c。系统100还包括通过图形云110连接到多媒体设备的图形虚拟化服务器115。多媒体设备的示例包括但不限于:计算机、膝上型计算机、移动电话、手持设备、个人数字助理(PDA)和电信设备。可以通过例如局域网(LAN)、广域网(WAN)和无线网来访问图形云。
[0022]多媒体设备可操作于接收并向用户显示多媒体流。多媒体流的示例包括但不限于:游戏、图片集、动画和视频流。
[0023]在一个示例中，多媒体设备I 105a的用户发起多媒体实例，例如，游戏实例(gameinstance)。通过使用图形调用来发起多媒体实例。此外，将用于发起游戏示例的图形调用转发给图形虚拟化服务器115。多媒体设备I 105a中包括的操作系统(OS)配置为向图形虚拟化服务器115转发图形调用。
[0024]此外，图形虚拟化服务器115检测图形调用并还确定与该游戏实例相关联的负载平衡(load balance)。负载平衡确定用于处理该游戏实例所需的处理功率和虚拟存储器。
[0025]在确定与该游戏实例相关联的负载平衡时，从图形虚拟化服务器115上堆叠的多个图形卡选择图形卡。选择图形卡能够处理游戏实例，使得将该游戏实例绘制给多媒体设备I 105a的用户。通过多个图形卡供应商提供多个图形卡。基于多个因素来选择图形卡。
[0026]此外，在选择图形卡时，图形虚拟化服务器115激活与图形卡相关联的多个端口。此外，通过图形虚拟化服务器115设置一个或多个参数以便定义与图形示例相关联的多媒体流的显示设置。可以基于激活的端口数目将与该游戏示例相关联的多媒体流绘制给多媒体设备。
[0027]此外，在激活与图形卡相关联的端口时，将与游戏示例相关联的多媒体流发送给多媒体设备I 105a的用户。
[0028]因此，可以创建包括用于处理多媒体流的图形卡供应商的图形卡在内的图形云。通过执行选择，将适当的图形卡用于处理多媒体流。
[0029]图2示出了根据本公开多个实施例的用于在图形云上处理多媒体内容的图形虚拟化服务器115的框图。
[0030]图形虚拟化服务器115包括用于传送信息的总线205或其它通信机制；以及与总线205相耦接的处理器210，以处理信息。图形虚拟化服务器115还包括耦接到总线205的存储器215 (例如随机存取存储器(PAM)或其它动态存储设备)，以存储要由处理器210执行的信息和指令。存储器215可以用于在处理器210执行指令期间存储临时变量或其它中间信息。图形虚拟化服务器115还包括耦接到总线205的只读存储器(ROM) 220或其它静态存储设备，以存储处理器210的静态信息和指令。提供了存储单元225 (例如磁盘或光盘)并将其耦接到总线205，以存储信息，例如，与多媒体流相关联的多个帧。
[0031]图形虚拟化服务器115可以经由总线205耦接到显示器230，例如，阴极射线管(CRT)，以显示多媒体流。将包括字母数字键和其他键的输入设备235耦接到总线205，以向处理器210传送信息和命令选择。其他类型的用户输入设备是光标控制240，例如，鼠标、轨迹球、或光标方向键，用于向处理器210传送方向信息和命令选择并用于控制显不器230上的光标移动。
[0032]多个实施例涉及使用用于实现这里描述技术的图形虚拟化服务器115。在一些实施例中，响应于处理器210执行存储器215中包括的命令，图形虚拟化服务器115执行该技术。存储器215可以从其它机器可读介质(例如，存储单元225)读取这种指令。执行存储器215中包括的指令引起处理器210执行这里描述的处理步骤。
[0033]在一些实施例中，处理器210可以包括用于执行处理器210的一个或多个功能的一个或多个处理单元。处理单元是代替软件或结合软件使用的硬件电路，以便执行特定功倉泛。
[0034]这里所用术语“机器可读介质”是指参与提供引起机器执行特定功能的数据的任何介质。在使用图形虚拟化服务器115执行的实施例中，例如，在向处理器210提供指令以便执行的方面涉及多种机器可读介质。机器可读介质可以是存储介质，易失性的或非易失性的。例如，易失性介质包括动态存储器，例如存储器215。非易失性介质包括存储单元225，例如光盘或磁盘。所有这种介质可能需要是有形的以便能够使由将指令读取到机器的物理机制检测到通过介质承载的指令。
[0035]一般形式的机器可读介质包括，例如，软盘、柔性盘、硬盘、磁带或其它任何磁性介质、CD-ROM、任何其它光学介质、穿孔卡、纸带、具有孔形式的任何其它物理介质、RAM、PROM和EPROM、FLASH-EPR0M、其他存储芯片或胶卷。
[0036]在其他实施例中，机器可读介质可以是包括同轴电缆、铜线和光纤的传输介质，包括了包括总线205的线缆。传输介质也可以采用例如在无线波和红外数据通信期间产生的声波或光波的形式。机器可读介质的示例包括但不限于:下文所述的载波或图形虚拟化服务器115可以从中读取的其它任何介质。例如，指令可以初始承载在远程计算机的磁盘上。远程计算机可以将指令加载到远程计算机的动态存储器中，并通过使用调制解调器的电话线发送该指令。图形虚拟化服务器115本地的调制解调器可以接收电话线上的数据，并使用红外发送器以便将该数据转换为红外信号。红外检测器可以接收红外信号承载的数据，且适当电路可以将该数据置于总线205上。总线205将数据承载到存储器215，其中处理器210从该存储器215获取并执行指令。在处理器210执行由存储器215接收的指令之前或之后，可以将该指令可选地存储在存储单元225上。所有这种介质可能需要是有形的以便使得将指令读取到机器的物理机制能够检测到该介质承载的指令。
[0037]图形虚拟化服务器115还包括耦接到总线205的通信接口 245。通信接口 245向处理器210提供双向数据通信耦连。例如，通信接口 245可以是集成服务数据网络(ISDN)卡或调制解调器，以便向对应类型电话线提供数据通信连接。作为另一示例，通信接口 245可以是局域网络(LAN)卡，以便向可兼容的LAN提供数据通信连接。在任何这种实施中，通信接口 245发送并接收承载表示多种类型信息的数字数据流的电信号、电磁信号、或光信号。
[0038]图形虚拟化服务器115中的处理器210配置为确定多媒体实例。通过使用图形调用的用户来发起多媒体实例，以接收多媒体流。在接收到图形调用时，处理器210确定多媒体实例。
[0039]处理器210还可操作于确定与该多媒体实例相关联的负载平衡。图形虚拟化服务器115中包括的负载平衡单元250用于确定与该多媒体实例相关联的负载平衡。将由负载平衡单元250确定的负载平衡用于识别处理多媒体实例所需的处理能力和虚拟存储器。负载平衡单元250还存储与多个图形卡相关联的负载平衡。[0040]处理器210还可操作于从多个图形卡选择用于处理多媒体实例的图形卡。分配单元255用于执行基于多个因素的选择。因素的示例包括但不限于:多媒体实例的图形处理单元(GPU)使用；图形卡的最小、最大和平均GPU使用；多媒体实例的每秒帧(fps)需求、与图形卡相关联的运行时间依赖性、多媒体实例的分辨率和颜色深度、在图形卡的运行时和成本方面对处理多媒体实例的硬件和软件需求。
[0041]执行选择使得所选图形卡在处理多媒体实例、预处理多媒体实例、后处理多媒体实例和绘制多媒体实例期间实现卸载关联任务。
[0042]图形虚拟化服务器115中包括的处理器210也配置为激活与图形卡相关联的多个端口，以向多个多媒体设备绘制多媒体流。在从处理器210接收激活命令时，虚拟端口管理单元260激活与图形卡相关联的端口。
[0043]此外，虚拟端口管理单元260配置为激活用于定义与该多媒体流相关联的显示设置的一个或多个参数。参数的示例包括但不限于分辨率、颜色深度等。
[0044]此外，图形虚拟化服务器115包括提前绘制模块(advance renderer module) 265,可操作于在非分页存储器或虚拟存储器中存储多媒体流。如果多媒体流包括增加的缓存率，则可以处理该多媒体流并将其存储在非分页存储器中。此外，如果多媒体流包括降低了的缓存率，则可以处理该多媒体流并将其存储在虚拟存储器中。
[0045]执行由提前绘制模块265将多媒体流存储在非分页存储器或虚拟存储器中，以便能够以降低延迟时间高效地处理多媒体流。
[0046]此外，图形虚拟化服务器115包括媒体流服务器270，可操作于在向用户发送多媒体流之前压缩该多媒体流。媒体流服务器270使用一个或多个压缩技术来压缩媒体流。使用压缩来在传输媒体流期间获得降低的带宽。
[0047]媒体流服务器270还配置为向用户发送多媒体流。此外，媒体流服务器270可操作于在向用户显示多媒体流之前解压缩该媒体流。
[0048]结合图3详细解释了在图形云上处理多媒体内容的方法。
[0049]图3示出了根据本公开实施例的在图形云上处理多媒体内容的方法的流程图。
[0050]在步骤305开始该方法。
[0051]在步骤310确定多媒体实例。可以由用户发起多媒体实例，以接收多媒体流。可以使用图形调用来发起多媒体实例。在处理器(例如，处理器210)接收到图形调用时，确定多媒体实例。
[0052]在步骤315，确定与多媒体实例相关联的负载平衡。负载平衡指示用于处理多媒体实例所需的处理能力和虚拟存储器。负载平衡单元(例如，负载平衡单元250)用于确定负载平衡。
[0053]此外，每个图形卡与负载平衡相关联，该负载平衡指示用于处理多媒体实例的图形卡的处理能力。此外，该方法包括存储与图形云中存在的每个图形卡相关联的负载平衡。负载平衡单元用于存储与每个图形卡相关联的负载平衡。
[0054]在操作320，从多个图形卡选择用于处理多媒体实例的图形卡。在图形云上存在多个图形卡供应商的图形卡。由于图形云包括来自多个图形卡供应商的图形卡，因此将图形云称作混合图形云。基于多个因素执行对图形卡的选择。因素的示例包括但不限于:多媒体实例的GPU使用；图形卡的最小、最大和平均GPU使用；多媒体实例的fps需求、与图形卡相关联的运行时间依赖性；多媒体实例的分辨率和颜色深度；在图形卡的运行时间和成本方面处理多媒体实例的硬件和软件需求。
[0055]此外，每个多媒体实例与包括关联于处理多媒体实例所需的处理能力和虚拟存储器的信息的简档相关联。该简档使得能够选择适于处理多媒体实例的图形卡。
[0056]所选图形卡能够在处理多媒体实例、预处理多媒体实例、后处理多媒体实例和绘制多媒体实例期间卸载关联任务。
[0057]此外，所选图形卡是能够在不支持图形卡改变的多媒体设备上绘制多媒体流的图形卡。
[0058]在步骤325，激活与图形卡相关联的多个端口，以向多个多媒体设备绘制多媒体流。将由处理器(例如，处理器210)向虚拟端口管理单元(例如，虚拟端口管理单元260)提供的激活命令用于激活端口。
[0059]此外，激活用于定义与多媒体流相关联的显示设置的一个或多个参数。参数的示例包括但不限于分辨率、颜色深度等。
[0060]所述方法还包括在非分页存储器和虚拟存储器中存储多媒体流。基于与多媒体流相关联的处理速度执行该存储。此外，执行在非分页存储器或虚拟存储器中存储多媒体流，以便能够以降低的延迟时间高效地处理多媒体流。
[0061]在一个示例中，如果与多媒体流相关联的fps相对较低，则可以将多媒体流存储在虚拟存储器中。此外，如果与多媒体流相关联的fps相对较高，则可以将多媒体流存储在非分页存储器中。
[0062]此外，所述方法包括在向用户发送多媒体流之前压缩该多媒体。执行压缩以便保证在传输期间的有效带宽消耗。
[0063]在操作330，将多媒体流发送给多媒体设备。在发送时，对多媒体流进行解压缩，并还将其显示给多媒体设备的用户。
[0064]在操作335停止该方法。
[0065]有利地，本公开中所述实施例提供开发混合图形云的有效方法，所述混合云包括来自多个图形卡供应商的用于处理多媒体流的多个图形卡。此外，混合的图形云能够实时地选择图形卡，使得所选图形卡独立于硬件和软件应用地来处理多媒体流，由此无需用户明确购买用于进行处理的图形卡。此外，该方法能够选择适于处理不同多媒体流的图形卡。
[0066]在本说明书中，参考特定实施例描述了本公开及其优点。然而，本领域普通技术人员将清楚可以在不脱离所附权利要求提出的本公开范围的前提下，进行多种修改和改变。因此，将说明书和附图理解为本公开的说明性示例，而不是用于进行限制。本公开范围旨在包括所有这种可能的修改。
[0067]参考图4，根据本发明实施例的多媒体设备100可以包括控制器110、通信模块120、输入/输出模块130、存储单元150、供电单元160、触摸屏171、和触摸屏控制器172。
[0068]控制器110可以包括中央处理单元(CPU) 111、其中存储用于控制多媒体设备100的控制程序的只读存储器(ROM) 112、和存储从多媒体设备100外部输入的信号及数据或用作多媒体设备100中执行任务的存储区域的随机访问存储器(RAM) 113。CPU 11UR0M 112和RAM 113可以通过内部总线互连。控制器110可以控制通信单元120、输入/输出模块130、存储单元150、供电单元160、触摸屏171和触摸屏控制器172。控制器110可以包括单核处理器或多核处理器，例如双核、三核、或四核处理器。本领域普通技术人员可以根据终端的特性多样化地提供核的数目。
[0069]通信模块120包括蜂窝模块、无线局域网络(WLAN)模块和短距离通信模块中的至少一个。在控制器110的控制下，蜂窝模块使得多媒体设备100能够通过移动通信经由至少一个天线或一个或多个天线与外部设备相连接。蜂窝模块发送/接收无线信号，用于与蜂窝电话(未示出)、智能电话(未示出)、平板PC、或具有向电子设备100输入的电话号码的其它电子设备(未示出)进行语音呼叫、视频呼叫、文本消息(短消息收发服务:SMS)、和/或多媒体消息(多媒体服务:MMS)。
[0070]在控制器110的控制下，WLAN模块可以在安装无线AP (未示出)的地方连接到互联网。WLAN模块支持电气电子工程协会(IEEE)的WLAN标准IEEE802.1lx0 WLAN模块可以驱动W1-Fi定位系统(WPS)，用于通过使用由连接的无线AP提供的位置信息，来检查包括WLAN模块的终端的位置信息。
[0071]短距离通信模块可以在控制器110的控制下与多媒体设备100执行无线短距离通信，并可以基于短距离通信(例如，蓝牙、红外数据协会(IrDA)、WiFi直连通信、NFC通信等)来处理通信。
[0072]通信模块120也可以基于预定通信(例如，(通用串行总线)USB通信或串行通信)与通过USB通信线缆或串行通信线缆连接的其它电子设备执行数据通信。
[0073]输入/输出模块130可以包括按钮131、扬声器132和振动电机133中的至少一个。
[0074]按钮131可以在多媒体设备100壳体的正面、侧面或背面上形成，且可以包括电源/锁定按钮(未示出)、音量按钮(未示出)、菜单按钮、主页按钮、返回按钮和搜索按钮中的至少一个。
[0075]扬声器132向多媒体设备100外部输出与蜂窝模块、WLAN模块和短距离通信模块的多种信号(例如，无线信号或广播信号)相对应的声音。一个或多个扬声器132可以在在适合位置或多媒体设备100壳体的适合位置中形成。
[0076]振动电机133在控制器110的控制下,将电信号转换为机械振动。信号振动电机或多振动电机可以在多媒体设备100的壳体中形成。
[0077]扬声器132和振动电机133可以根据多媒体设备100的音量操作模式的设置状态进行操作。例如，多媒体设备100的音量操作模式可以包括铃声模式、振动模式、铃声和振动模式、以及静音模式，且可以设置为这些模式之一。控制器110基于所设音量操作模式，根据多媒体设备100执行的功能，输出用于指示操作扬声器132或振动电机133的信号。
[0078]在控制器110的控制下，存储单元150存储与操作输入/输出模块130和触摸屏171相对应的输入/输出信号或数据。存储单元150也存储用于控制多媒体设备100或控制器110的控制程序和应用。
[0079]术语“存储单元”可以包括控制器110中的存储单元150、R0M112和RAM113，或电子设备100安装的存储卡(未示出)(例如，安全数字(SD)卡、存储棒)。存储单元150可以包括非易失性存储器、易失性存储器、硬盘驱动器(HDD)或固态驱动器(SSD)。
[0080]在控制器110的控制下，供电单元160向置于多媒体设备100壳体中的一个或多个电池(未示出)供电。一个或多个电池(未示出)向多媒体设备100供电。供电单元160可以通过与多媒体设备100中包括的连接器连接的有线线缆向多媒体设备100供应从外部电力供给单兀(未不出)输入的电力。
[0081]触摸屏171基于终端的操作系统(OS)向用户显示与多种服务(例如，呼叫、数据传输、广播、图片/运动图像捕获)相对应的用户界面。触摸屏171向触摸屏控制器172发送与向用户界面输入的至少一个触摸相对应的模拟信号。触摸屏171接收通过用户身体(例如，包括拇指的手指)或触摸可能输入装置(例如，触控笔)的至少一个触摸。触摸屏171接收至少一个触摸之一的连续移动。触摸屏171向触摸屏控制器172传送与所接收触摸的连续移动相对应的模拟信号。
[0082]触摸屏171可以是例如电阻型、电容型、红外型或声波型。
[0083]触摸屏控制器172控制触摸屏171的输出值以便允许在触摸屏171上显示从控制器110提供的显示数据。触摸屏控制器172将从触摸屏171接收的模拟信号转换为数字信号(例如，X和Y坐标)，并向控制器110发送该数字信号。
[0084]上述控制器110通过使用从触摸屏171和触摸屏控制器172提供的数据来处理用户输入。也就是说，控制器Iio通过使用从触摸屏控制器172接收的数字信号来控制触摸屏171。例如，控制器110可以响应于触摸事件或悬停事件，控制选择触摸屏171上显示的快捷图标(未示出)或要执行的快捷图标(未示出)。
[0085]尽管描述了本发明实施例中描述了通过触摸屏171接收用户输入，然而本发明不限于此，且可以通过多种组件来识别和处理用户输入。例如，根据本发明实施例的媒体设备100可以包括传感器模块或摄像机模块，且使用通过传感器模块或摄像机模块输入的数据，可以处理用户输入。
[0086]例如，传感器模块可以包括用于检测多媒体设备100的状态的一个或多个传感器。例如，传感器模块170可以包括用于检测用户对多媒体设备100的接近的接近传感器、用于检测多媒体设备100周围光量的照度传感器(未示出)以及RGB传感器中的至少一个。传感器模块也可包括用于检测多媒体设备100的运动(例如，旋转多媒体设备100或对多媒体设备100施加的加速或振动)的运动传感器(未示出)。可以将传感器模块检测的信息提供给控制器110，该控制器110可以使用所检测信息处理用户输入。
[0087]此外，摄像机模块可以包括在多媒体设备100的前面或后面提供的摄像机，以便在控制器110的控制下捕获静止或运动图像。可以将由摄像机捕获的静止或运动图像提供给控制器110。控制器110可以通过使用从摄像机提供的静止或运动图像来处理用户输入。
[0088]图5是示出了根据本公开示例实施例的多媒体设备的前透视图。
[0089]参考图5，触摸屏位于多媒体设备100的正面的中心。触摸屏171可以形成为足够大以便占据多媒体设备100的正面的大部分。
[0090]显示在多媒体设备100的屏幕上的主屏幕可以包括若干页的不同主屏幕。在若干页的主屏幕中，第一主屏幕可以是如图5所示的主页屏幕。可以将用于执行频繁使用应用的快捷图标171a、171b和171c，主菜单转换键171d、时间、天气等显示在主屏幕上。主菜单转换键171d在触摸屏171上显示菜单屏幕。指示多媒体设备100的状态(电池充电状态、接收信号强度、当前时间或音量操作模式)的状态条可以在触摸屏171的上端部中形成。
[0091]根据本发明实施例的方法可以以由多个计算机装置执行的并可以记录在计算机可读介质上的程序指令的形式来实现。计算机可读介质可以单独或组合地包括程序命令、数据文件、数据结构。记录在介质中的程序命令可以专门设计或配置的，但也可以是计算机软件领域的技术人员公知或使用的。
[0092]可以以多媒体设备100的存储单元150中的程序指令的形式实现并存储根据本发明实施例的方法，且所述程序指令可以临时存储在控制器110中包括的RAM 113中，以便执行根据本发明实施例的方法。因此，基于根据本发明实施例的方法，控制器110响应于所述程序指令控制多媒体设备100中包括的硬件组件，并在存储单元150中临时或连续存储在执行根据本发明实施例的方法期间产生的数据。控制器110也可以向触摸屏控制器172提供执行根据本发明实施例的方法所需的用户界面(UI)。
[0093]如根据上述描述显而易见的，根据本发明实施例，将从第一多媒体设备捕获的图像识别的信息发送给第二多媒体设备或信息搜索服务器，由此有效提供与所捕获图像相关联的详细息。
[0094]此外，根据本发明实施例，在第一电子设备所捕获图像的至少预定部分区域中检测手指图像，由此改善识别处理的效率，并由于减少了处理，可以降低功耗和处理时间。
[0095]此外，根据本发明实施例，有可能通过可佩带设备实现用一只手的文本扫描，并在使用图像的设备控制中，可以提供方便的输入装置。
[0096]在本发明描述中显式或隐式地公开了其他效果。
[0097]尽管参考示例实施例描述了本公开，然而可以向本领域技术人员建议多种改变和修改。本公开旨在包含这种在所附权利要求范围内的改变和修改。
【权利要求】
1.一种用于在图形云上处理多媒体内容的方法，所述方法包括: 向图形虚拟化服务器发送用于发起多媒体实例的图形调用； 从图形虚拟化服务器接收与多媒体实例相关联的多媒体流； 由图形虚拟化服务器确定与所述多媒体实例相关联的负载平衡； 选择用于处理与多媒体流相关联的多媒体实例的图形卡，激活与图形卡相关联的多个端口，以向至少一个多媒体设备绘制多媒体流。
2.根据权利要求1所述的方法，其中所述图形卡包括图形云上存储的多个图形卡中的至少一个。
3.根据权利要求1所述的方法，其中所述图形虚拟化服务器包括: 存储与多个多媒体实例相关联的简档，以从多个图形卡选择用于处理多媒体实例的图形卡。
4.根据权利要求1所述的方法，其中激活包括: 激活一个或多个参数，所述参数用于定义与多媒体流相关联的显示设置。
5.根据权利要求1所述的方法，其中所述图形虚拟化服务器包括: 将多媒体流存储在非分页存储器或虚拟存储器之一，基于与多媒体流相关联的处理速度来执行所述存储。
6.根据权利要求1所述的方法，其中图形虚拟化服务器包括: 在向多媒体设备发送多媒体流之前压缩所述多媒体流。
7.一种装置，所述装置包括: 无线电单元，配置为向图形虚拟化服务器发送用于发起多媒体实例的图形调用，从图形虚拟化服务器接收与多媒体实例相关联的多媒体流； 其中，所述图形虚拟化服务器确定与多媒体实例相关联的负载平衡；选择用于处理与多媒体流相关联的多媒体实例的图形卡，激活与图形卡相关联的多个端口，以向绘制至少一个多媒体设备多媒体流。
8.根据权利要求7所述的装置，其中图形卡包括图形云上存储的多个图形卡中的至少一个。
9.根据权利要求7所述的装置，其中所述图形虚拟化服务器包括: 存储与多个多媒体实例相关联的简档，以从多个图形卡选择用于处理多媒体实例的图形卡。
10.根据权利要求7所述的装置，其中激活包括: 激活一个或多个参数，所述参数用于定义与多媒体流相关联的显示设置。
11.根据权利要求7所述的装置，其中所述图形虚拟化服务器包括: 将多媒体流存储在非分页存储器或虚拟存储器之一，基于与多媒体流相关联的处理速度来执行所述存储。
12.根据权利要求7所述的装置，其中图形虚拟化服务器包括: 在向多媒体设备发送多媒体流之前压缩所述多媒体流。
13.一种在图形云上处理多媒体数据的方法，所述方法包括: 识别多媒体实例，由用户发起所述多媒体实例，以接收多媒体流； 确定与多媒体实例相关联的负载平衡；从多个图形卡选择用于处理多媒体实例的图形卡，基于多个因素执行所述选择；激活与图形卡相关联的多个端口，以向多个多媒体设备绘制多媒体流；以及向多个多媒体设备发送所述多媒体流。
14.一种用于在图形云上处理多媒体内容的系统，所述系统包括:多媒体设备；通信接口，配置为建立通信；存储器，配置为存储指令；以及处理器，响应于所述指令:识别多媒体实例，通过用户发起所述多媒体实例，以接收多媒体流；确定与多媒体实例相关联的负载平衡； 从多个图形卡选择用于处理多媒体实例的图形卡，基于多个因素执行所述选择；激活与图形卡相关联的多个端口，以向多个多媒体设备绘制多媒体流；以及向多个多媒体设备发送所述多媒体流。
【文档编号】G06F12/08GK103970677SQ201410043313
【公开日】2014年8月6日 申请日期:2014年1月29日 优先权日:2013年2月1日
【发明者】阿马尔·西瓦斯塔瓦, 荷曼苏·西瓦斯塔瓦 申请人:三星电子株式会社