专利名称：用于共有内容可视化的多处理器实施的处理设备、系统以及方法
技术领域：
本发明涉及基于多处理器的设备的领域。本发明具体涉及在基 于多处理器的设备中的显示处理。
背景技术：
最近，诸如数字音乐播放器、数字相机、复杂的游戏应用等的多媒体应用实施到现今的便携式CE设备中，推动了对于提供计算性 能的要求，其中便携式CE设备例如尤其包括具有增强的多媒体功能 的蜂窝电话。通常的便携式CE设备基于单个处理器硬件设计，其中 通用可操作单个处理器执行应用。本领域已知将附加地专用处理模 块实施到这种基于单个处理器的设计中。这种专用处理模块通常地 适合于特殊的操作任务、提供附加的处理能力、附加的功能性和/或 附加的接口 。但是，当主处理器和一个或者多个专用处理模块必须共同接入 单个共有显示器时，已知的实施存在多个缺点。严重的缺点是通常 地需要硬件实施的重设计，其通常地根据单个处理器设计而调整方 向。重设计既费时又耗成本。另一严重缺点是关于针对在单个处理 器硬件实施上执行所开发的软件应用。通常地，已经努力大胆尝试 使现有软件应用适合于新的基于多处理器的^_件设计。硬件重i殳计 和软件调整两者与较大的经济风险相关联，即使多处理器硬件设计 代表了较好的概念而不是更强大的单个处理器核的实施，这种经济 风险也可能是不合理的。发明内容本发明提供了一种可互连的处理模块，其使得多处理器实施能
够接入用于显示共有可视内容的共有显示器。处理模块克服了传统 多处理器实施设计所经受的缺点。另外，本发明提供了一种系统、 处理设备以及用于操作该处理设备的方法。根据本发明的第一方面，提供了一种系统，使得多处理器实施 能够接入用于显示共有可视内容的共有显示器。原始处理模块设置 有输出显示接口 。原始处理模块可与至少一个软件应用模块操作， 其能够产生图像数据。该图像数据通过输出显示接口提供。图像数 据旨在被显示。包括附加处理模块，该模块至少包括输入接口和输 出接口 ，其中输入接口适合用于从原始处理才莫块的输出显示接口接收图像数据，以及输出接口适合用于输出旨在被显示的图像数据并 且可连接到显示接口。显示模块设置有显示接口，其可连接到附加 处理模块用于从其接收图像数据。附加处理模块可操作用于在输出 接口提供表示共有可视内容的图像数据。共有可视内容可从经由输 入接口获得的图像数据、源自附加处理模块的图像数据和/或其图像 数据的任何组合而获得。根据本发明的实施方式，附加处理模块包括显示控制器模块， 其可操作用于合并经由输入接口接收到的图像数据和源自附加处理 模块的图像数据。根据本发明的另一实施方式，附加处理模块包括帧緩存器和一 个或者多个附加帧緩存器，其中帧緩存器緩存经由输入接口所接收 的图像数据， 一 个或者多个附加帧緩存器专用于存储源自附加处理 模块的图像数据。根据本发明的又一实施方式，附加处理才莫块包括一个或者多个 像素管线，其中每个像素管线与各自相应的一个或者多个帧緩存器 相关联。像素管线适合用于从各自相应的帧緩存器读出像素数据， 以及像素管线可操作用于操纵每个像素的像素数据。根据本发明的又 一 实施方式，附加处理模块包括后处理模块， 其可操作用于合并由像素管线产生的像素数据。根据本发明的另一实施方式，合并包括由一个或者多个像素管
线所递送的可视内容的叠加，从而导致将显示共有图l象可视化。根据本发明的又一实施方式，系统包括多个附加处理模块。附 加处理模块中之一可经由其输入接口连接到原始处理模块的显示接 口 。附加处理模块中的另一个可经由其输出接口连接到显示^f莫块的 显示接口 。剩余的附加处理模块插入原始处理模块和显示模块之间。 剩余的附加处理模块可经由它们的输入接口和它们的输出接口串行地连接o根据本发明的附加实施方式，原始处理模块和/或附加处理模块是片上系统(SoC)。根据本发明的又一附加实施方式，附加处理模块专用于图像处 理任务。根据本发明的第二方面，提供了 一种可连接在原始处理模块和显示模块之间的处理模块，用于使得多处理器实施能够接入用于显示共有可视内容的共有显示器。处理模块至少包括输入接口和输出 接口 ，其中输入接口适合用于从原始处理模块的输出显示接口接收图像数据，输出接口适合用于输出旨在被显示的图像数据并且可连 接到显示接口 。处理模块可操作用于在输出接口提供表示共有可视 内容的图像数据。共有可视内容可从经由输入接口所接收的图像数 据、源自附加处理模块的图像数据和/或其图像数据的任何组合而获X曰付。应该注意到，处理模块对应于上文所述的针对根据本发明的实 施方式的任何系统的附加处理模块。根据本发明的实施方式，处理模块可经由其输入接口和其输出 接口串行地连接到其他(附加)处理模块。根据本发明的第三方面，提供了一种处理设备，使得多处理器 实施能够接入用于显示共有可视内容的共有显示器。原始处理模块 设置有输出显示接口 。原始处理模块可与至少一个软件应用模块操 作，其能够产生图像数据，该图像数据通过输出显示接口提供。图 像数据旨在被显示。附加处理模块包括在处理设备中。附加处理模
块至少包括输入接口和输出接口 ，其中输入接口适合用于从原始处 理模块的输出显示接口接收图像数据，输出接口适合用于输出旨在 被显示的图像数据。输出接口可连接到显示接口 。处理设备还包括 显示模块，其设置有显示接口，该显示接口可连接到附加处理模块。 附加处理模块可操作用于在输出接口提供表示共有可视内容的图像 数据。共有可视内容可从经由输入接口所接收的图像数据、源自附 加处理模块的图像数据和/或其图像数据的任何组合而获得。将在下文详细描述根据本发明的处理设备的附加处理模块的其 他实施方式。
根据本发明的第四方面，提供了 一种使得多处理器实施能够接 入用于显示共有可视内容的共有显示器的方法。图像数据经由处理 模块的输入接口接收。并行地，图像数据由处理模块提供。合并该 接收的图像数据和提供的图像数据从而获得共有可视内容。共有可 视内容从接收的图像数据、提供的图像数据和/或它们的任何组合而 获得。经由输出接口提供表示共有可视内容的合并的图像数据。合 并的图像数据旨在通过显示模块来被显示。可以从下文的详细描述中获得根据本发明的实施方式的方法的 其他功能。根据本发明的一个实施方式，接收的图像数据至少暂时在帧緩 存器中緩存，并且通过像素管线从中读出接收的、缓存的图像数据。 通过像素管线并且根据经由输入接口所接收的控制数据而操纵接收 的、读出的图像数据。根据本发明的另 一 实施方式，提供的图像数据至少暂时在处理 模块的一个或者多个帧緩存器中緩存。通过处理模块的一个或多个 像素管线读出提供的、緩存的图像数据。通过像素管线并且根据由 处理模块所提供的控制数据来操纵提供的、读出的图像数据。根据本发明的又一实施方式，涉及接收的图像数据的操作(即 对读出和操纵经由输入接口所接收的图像数据进行緩存)和涉及提 供的图像数据的操作(即对读出和操纵由处理模块所提供的图像数
据进行緩存)基本上可同时操作或者在时间平移中操作。根据本发明的又 一 实施方式，从像素管线获得用于合并的图像 数据。合并尤其包括判定，必须至少部分地读出哪些像素管线以便 产生单独可视内容的共有可视内容，其通过像素管线基于由此处理 的图像数据而提供。
通过结合附图参考下文详细描述，本发明的各种实施方式的前述和其他方面将显而易见，在附图中图1示意性地示出了用于基于蜂窝终端设备示意性地包括的便携式CE设备的示例性框图；图2a示意性地示出了连接到显示器的片上系统(SoC)的框图； 图2b示意性地示出了基于用于连接两个片上系统(SoC)到共有显示器的框图的第一当前技术实施；图2c示意性地示出了基于用于连接两个片上系统(SoC)到共有显示器的框图的另外两个当前技术实施；图3a示意性地示出了本发明的第一实施方式的基础框图；图3b示意性地示出了根据本发明的实施方式的智能显示模块的框图；图4示意性地示出了根据本发明的一个实施方式的片上系统 (SoC)实施的框图，其使得多个片上系统(SoC)能够连接到共有 显示器；图5示意性地示出了流程图，其示出了根据本发明的方法的操 作步骤。
具体实施方式
在下文对各种实施方式的描述中，参考附图，其中附图形成描 述的一部分，并且通过说明在附图中示出了本发明在其中实施的各 种实施方式。可以理解到，在不偏离本发明的范围的前提下，可以 使用其他实施方式以及进行结构和功能的修改。相同的参考标号贯 穿附图和描述用于表示相同或者相似部分。图1示出了根据本发明一个实施方式的典型移动设备。示于图1 中的移动设备10能够用于蜂窝数据和语音通信。应该理解到，本发 明不限于该特殊实施方式，其通过说明表示多种实施方式中的一个实施方式。移动设备10包括(主)微处理器或者微控制器100以及与控制移动设备的操作的微处理器相关联的组件。这些组件包括连接至显示模块135的显示控制器130、非易失性存储器140、例如随 机存取存储器(RAM)的易失性存储器150、连接至麦克风161的 音频输入/输出(1/0)接口 160、扬声器162和/或耳^L 163、连才妄至 小键盘175或者键盘的小键盘控制器170、任何辅助输入/输出(I/O) 接口 200以及短程通信接口 180。这种设备通常包括在190处概括地 示出的其他设备子系统。移动设备10可以在语音网络上通信和/或可以类似地在数据网 络上通信，例如以例如数字蜂窝网络的形式，特别是GSM(全球移 动通信系统)或者UMTS (通用移动通信系统)的诸如任何公共陆 地移动网(PLMN)。通常地，语音通信和/或数据通信经由空中接 口操作，即与其他组件(参见上文)合作的蜂窝通信接口子系统到 作为蜂窝网络的基础架构的无线接入网(RAN )的 一部分的基站(BS ) 或者节点B (未示出)。如参考图1图示地描述的蜂窝通信接口子 系统包括蜂窝通信接口 110、数字信号处理器(DSP) 120、接收器 (RX) 121、发送器(TX) 122以及一个或者多个本地振荡器(LO) 123，并且实现与一个或者多个7>共陆地移动网(PLMN)进行通信。 数字信号处理器(DSP) 120发送通信信号124到发送器(TX) 122 并且从接收器(RX) 121接收通信信号125。除了对通信信号进行 处理以外，数字信号处理器120还对接收器提供控制信号126和对 发送器提供控制信号127。例如，除了分别对要发送的信号和接收的 信号调制和解调制，对接收器(RX) 121和发送器(TX) 122中的 通信信号所施加的增益电平可以通过在数字信号处理器(DSP) 120
中实施的自动增益控制算法来适当地控制。在数字信号处理器(DSP)120中还可以实施其他收发器控制算法，以便于提供更复杂的收发器 122的控制。在移动设备IO通过以单个频率或者频率密集组而发生的PLMN 进行通信的情况下，单个本地振荡器(LO)128可以结合发送器(TX) 122和接收器(RX) 121使用。可选地，如果不同的频率用于语音/ 数据通信或者发送与接收，则多个本地振荡器128可以用于产生多 个相应的频率。尽管图1中示出了天线129或者分布式天线系统(未 示出)，但是移动设备1可以使用单个天线结构用于信号接收以及 发送。包括语音和数据信息两者的信息，经由数据链路在蜂窝接口 110和数字信号处理器(DSP) 120之间进行通信。详细的蜂窝接口 110的设计，诸如频带、组件选择、功率电平等，将依赖于旨在其中 操作移动设备100的无线网络。在可以包括在蜂窝网络中注册所需要的用户识别模块(SIM )210 的任何需要的网络注册或者激活程序已经完成后，移动设备10然后 可以在无线网络上发送和接收包括语音和数据信号两者的通信信 号。通过天线129从无线网络所接收的信号被路由到接收器121,其 提供诸如信号放大、降频变换、滤波、信道选择以及模数转换的操 作。所接收的信号的模数转换允许使用数字信号处理器(DSP) 120 而执行更复杂的通信功能，诸如数字解调和解码。在类似的方式中， 例如通过数字信号处理器(DSP) 120处理待发送到网络的信号，包 括调制和编码，并且然后将该信号提供给发送器122用于数模转换、 升频变换、滤波、放大以及经由天线129到无线网络的发送。微处理器/微控制器(pC) 110管理移动设备10的功能，该微处 理器/微控制器还可以被指定为设备平台微处理器。处理器110所使 用的操作系统软件149优选地存储在持久性存储中，诸如非易失性 存储器140,该非易失性存储器可以实施为例如闪存、电池支持的 RAM、任何其他非易失性存储技术、或者它们的任何结合。除了控 制低级功能以及移动设备10的(图形)基础用户界面功能的操作系
统149,非易失性存储器140还包括多个高级软件应用程序或者模 块，诸如语音通信软件应用142、数据通信软件应用141、组织者模 块(未示出)、或者任何其他类型的软件模块(未示出)。这些模 块由处理器100执行并且在移动设备用户和移动设备IO之间提供高 级接口。该接口通常地包括通过由显示控制器130所控制的显示模 块135所提供的图形组件和通过经由小键盘控制器170连接到处理 器100的小键盘175所提供的输入/输出组件、辅助输入/输出(I/O) 接口 200和/或短程(SR)通信接口 180。辅助(I/O)接口 200尤其 包括USB (通用串行总线)接口、串行接口、 MMC(多媒体卡)接 口和相关接口技术/标准，以及任何其他标准的或者专用的数据通信 总线技术，而短程通信射频(RF)低功率接口尤其包括WLAN (无 线局域网)和/或蓝牙通信技术或者IrDA (红外数据协会)接口 。应 该尤其理解到，在此所指的RF低功率接口技术包括任何IEEE 801.xx 标准技术，对其的描述可从电气和电子工程师学会获得。而且，辅 助I/O接口 200以及短程通信接口 180分别可以表示支持一个或者多 个输入/输出接口技术和通信接口技术的 一个或者多个接口 。操作系统、特殊设备软件应用或者模块、或者其一部分可以暂 时加载到易失性存储150中，诸如随机存取存储器(通常基于DRAM (直接随机存取存储器)技术而实施以便较快操作)。而且，在永 久地将接收的通信信号写入位于非易失性存储器140中的文件系统、 或者任何优选地经由辅助I/O接口可拆卸地连接的用于存4诸数据的 海量存储之前，接收的通信信号还可以暂时存储到易失性存储器 150。应该理解到，上文所描述的组件表示在此以蜂窝电话形式实施 的传统移动设备10的典型组件。本发明不限于这些特殊组件，并且 所描述的它们的实施仅用于说明和完整性的目的。移动设备10的示例性软件应用模块是提供PDA功能性的个人 信息管理器应用，PDA功能性通常包括联系管理器、日历、任务管 理器等。这种个人信息管理器由处理器100执行，可以接入移动设 备10的组件，并且可以与其他软件应用模块发生交互作用。例如，与语音通信软件应用的交互作用允许用于管理电话呼叫、语音邮件等，以及与数据通信软件应用的交互作用使得实现管理SMS (智能 消息服务)、MMS (多媒体消息服务)、电子邮件通信以及其他数 据传送。非易失性存储器140优选地提供文件系统以便促进数据项 在设备上的永久性存储，该数据项包括日历条目、联系等。例如经 由蜂窝接口、短程通信接口、或者辅助1/0接口与网络进行数据通信 的能力使得实现经由这些网络的上传、下载、同步。应用模块141至149表示配置为用于由处理器100执行的设备 功能或者软件应用。在大多数已知的移动设备中，单个处理器管理 和控制移动设备的全部操作以及所有设备功能和软件应用。这种概 念可应用于现今的移动设备。尤其是增强型多媒体功能性的实施包 括例如复制视频流应用、操纵数字图像、以及由集成的或者可拆卸 连接的数字相机功能性所捕获的视频序列，而且具有复杂的图形的 游戏应用推动了对计算能力的需求。处理计算能力的需求的 一种方 法是通过实施强大并且通用的处理器核来解决提高计算能力的问 题，这在过去已经研究过。用于提供计算能力的另一种方法是实施 两个或者更多独立处理器核，其在本领域中是已知方法。多个独立 处理器核的优势可以立即被本领域技术人员所理解。而设计了 一种 通用处理器用于在没有专门化不同任务的预选的前提下执行多个不 同的任务，多处理器布置可以包括一个或者多个通用处理器和一个 或者多个专用处理器，该专用处理器适合用于处理预定任务组。但 是，在一个设备中的多个处理器的实施，尤其是在诸如移动设备10 的移动设备中，通常需要完整并且复杂的组件重设计。在下文中，本发明将提供 一 种允许附加处理器核简单集成到现有处理设备实施中的概念，使得实现省略昂贵的完全和成熟的重设 计。本发明的概念将参考片上系统(SoC)设计而进行描述。片上系 统(SoC)是将处理设备的至少多个(或者全部)组件集成到单个高 度集成的芯片中的概念。这种片上系统可以包括全部在一个芯片上 的数字、模拟、混合的信号、以及常用射频功能。通常的处理设备
包括多个执行不同任务的集成电路。这些集成电路可以尤其包括微处理器、存储器、通用异步收发器(UART)、串行/并行端口、直 接存储器存取(DMA)控制器等。通用异步收发器(UART)在并 行数据位和串行数据位之间转换。最近半导体技术中的改进使得超 大规模集成电路(VLSI)实现复杂性的极大增加，使得可以在单个 芯片中集成系统的多个组件。参考图1，图中的一个或者多个组件， 例如控制器130和160、存储器组件150和140以及接口 200、 180 和110中一个或多个，可以与单芯片中的处理器100集成在一起， 其最后形成片上系统(SoC)。参考图2a至图2c,挑选在一个设备中具有(原始)SoC的现有 设计中实施附加SoC的传统方法作为中心主题。图2a示意性地示出 了开始点，其中原始片上系统(SoC) 320经由显示接口 305连接到 显示器300。该实施通过附加片上系统(SoC)而扩展。可应用两个 主要方法。第一方法提供用于由除了连接到原始(主要)显示器的 原始SoC以外的附加SoC控制和使用的附加显示器。优势地，该方 法仅需要对现有硬件设计较小的修改以便实现连接到其自己的附加 显示器的附加SoC的实施。然而，在设备设计中不一定期望附加(次 要)显示器并且附加(次要)显示器的使用可能需要一个或者多个 软件应用、用户接口以及操作系统的适配。第二种方法提供用于通 过原始SoC和附加SoC两者显示数据的共有显示器。参考图2b和 图2c,示意性地示出了两种SoC和共有显示器的两种典型已知的解 决方案。在图2b中，将复用器(MuX) 310插入在具有显示接口 305的 显示器300和原始SoC 320以及附加SoC 330之间，每个SoC经由 其自己的显示接口 305连接到复用器(MuX)310。操作复用器(MuX) 310以便分别控制具有显示接口 305的显示器300与SoC中之一之 间的切换，SoC即具有显示接口 305的原始SoC 320和具有显示接-口 305的附加SoC 330。如图2b中所示的复用器解决方案含有严重 缺陷。尤其是，叠加由两个SoC所并行提供的显示数据以便获得包 含两个SoC所贡献的显示数据的显示内容，如果可行、至少也是困难的。随机读访问由另一 SoC所提供的显示数据如果可行、至少也是困难的。必须实施控制总线仲裁的控制实体。本领域技术人员将理解，这种控制实体必须部分地在两个SoC中实施，并且要求两个 SoC之间的交互作用以便在每一 时刻做出关于显示所有权的判决。在图2c中，原始SoC 320和附加SoC 330经由数据接口 315相 互连接，其中原始SoC 320或者附加SoC 330通过显示接口 305连 接到显示器300。参考图2c中所示的第一选择，显示器300经由相 应的显示接口 305连接到附加SoC 330。附加SoC 330经由数据接口 315与原始SoC 320连接，其中数据接口 325适合用于交换显示数据。 参考图2c中所示出的第二选择，显示器300经由相应的显示接口 305 连接到原始SoC 320。原始SoC 330经由数据接口 315与附加SoC 330 连接，其中数据接口 325适合用于交换显示数据。如参考图2c所示 的级联解决方案也存在多个严重缺陷。只要需要显示接入时，即经 由显示接口 305将显示数据写入到显示器和/或从显示器读取显示数 据时，都需要对提供将显示器与其相应的显示接口 305连接的显示 接口 305的SoC通电。设计并且实施用于在原始SoC 320和附加SoC 330之间共享显示数据的附加数据接口 315。在设计和实施这种数据 接口 315期间，必须考虑特定要求，尤其包括解决显示数据交换(例 如当考虑用通常的帧速率视频回放时)所要求的带宽问题的高数据 吞吐量。在图3a中示意性地示出了作为本发明基础的原则发明思想。本 发明概念允许克服上文针对传统实施所详细描述的缺陷。将在下文 详细描述本发明概念，其具有超过上文所述当前技术解决方案的多 个优势。本发明概念保持了原始用户接口的常用外观和感觉，该原 始用户接口解决了移动CE设备基本为达到商业成功的可用性要求。 将对附加SoC与现有硬件设计的集成所做的努力限制到最小。而且， 本发明概念将附加地实现功率减小机制和显示叠加功能性。将在下 文详细描述这些以及其他优势并且被本领域的技术人员基于该描述 所理解。参考图3a,提出了一种SoC的堆叠布置，SoC即原始SoC 320 和附加SoC 330。与传统实施相对比，SoC通过显示4妄口 315相互连 接。从原始SoC 320的角度上看，附加SoC 330对原始SoC 320提 供与对显示器300提供的相同的显示接口 305。基本发明概念允许附 加计算性能和附加功能的提供，例如关于附加整数和/或浮点计算性 能、附加接口和专用硬件加速等。可以假设基本发明概念基于要满 足的设计限制。例如设计限制可以包括固定的原始SoC设计，其 意味着应该在不修改原始SoC 320的设计的前提下实施附加SoC 330;仅略微调整针对在原始SoC 320上执行所开发的软件应用模块， 这意味着应该尽可能地保持不改变提供用于原始SoC 320的软件应 用才莫块；同时显示接入，其意味着原始SoC 320和附加SoC 330两 者能够并行地接入显示器用于显示数据；以及功率节省，其意味着 附加SoC 330应该提供一个或者多个断电或者功率减小模式。关于 同时显示接入，存在多种使用情况，可以获得这种同时显示接入的 优势，尤其是成像应用，例如图像显示、图像和视频操纵、图像和 视频序列再现等。附加SoC 330的断电或者功率减小模式应该使得 在不要求附加SoC 330的功能性的情况下，至少操作在功率减小状 态或者断电模式下的附加SoC 330的组件的选择，用于移动设备的 整个功率减小(功率节省)。现在返回参考图3a,其示意性地示出了本发明的发明基本概念， 本领域的4支术人员将理解到可以确定多个优势。附加SoC 330经由 显示接口 305被提供了原始SoC 320的图像数据。结果，任何源自 原始SoC 320的显示数据的读和/或写存取可以通过附加SoC 330来 注册。附加SoC 320追踪和存取由原始SoC 320所提供的图像数据 (包括对来源于原始SoC 320或者终止于原始SoC 320的图像数据 的修改)的能力允许例如合并由原始SoC 320所提供的显示数据与 由附加SoC 330所提供的显示数据。显示数据的合并将被称为显示 数据的叠加。在不要求附加SoC 330的功能性的情况下，在其中实 施的旁路功能或者并行地对其实施的旁路功能允许至少旁路附加SoC 330的组件的选4奪。附加SoC 330的旁路的组件可以切换到任^f可 功率减小状态，包括减小的功率消耗(例如必须保持寄存器状态的 情况下)，甚至包括断电。附加SoC 330的组件的一个或多个选择 可以与所谓的功率岛相关联，该功率岛通过用于功率状态控制的功率控制器来控制。由于附加SoC 330对原始SoC 320看起来像是显 示器的事实，对针对在原始SoC 320上执行所开发的软件应用模块 所进行的适配可以减小到总共最小。尽管基于原始SoC 320和附加SoC 330示出并且描述了本发明基 本概念，本领域的技术人员将理解到本发明不限于包括两个相互连 接的SoC的该特殊实施方式。堆叠布置还可应用于更多SoC的集成。 其意味着可以布置任何数量的附加SoC 330插入在原始SoC 320和 显示器300之间。通过两个显示接口 305区分这些辅助SoC 330，其 中一个用于至少从原始SoC 320接收图像数据，以及另一个用于至 少发送图像数据到显示器300。图像数据可以通过任何数量的插入在 它们之间的附加SoC馈送。将在下文描述更具体的附加SoC 330的实施，其实现根据本发 明的实施方式的前文所述的功能。当参考在图3b中示意性地所示的 所谓的智能显示结构时，本领域技术人员将理解下文中附加SoC330 的实施方式。提出了一种智能显示模块400,可经由显示接口 305 与SoC连接，在此是与原始SoC 320连接，用于接收用于SoC的数 字显示数据并且用于对SoC提供数字显示数据。智能显示模块400 包括(硬件)输入接口 410，其适合用于操作作为显示接口 305并且 与原始SoC 320的显示接口 305互操作。显示接口 305允许图像数 据和控制数据两者分别从(原始)SoC到智能显示模块400和其输 入接口 410的传送。对帧緩存器420提供由输入接口 410所接收的 图像数据415,而对像素管线430提供所接收的控制数据435。帧緩 存器420通常地实施作为易失性随机存取存储器(RAM)并且被分 配用于存储要在显示器上显示的 一个帧的图像数据，优选地采用有
组织的显示像素方式。图像数据通常地包括用于显示器上每个像素 (可以显示的点)的色值。可以在不同操作模式中操作帧緩存器，其中操作模式包括关屏，即写入帧緩存器的图像数据不显现在显 示器的可见屏幕上；以及开屏，即帧緩存器直接与显示器耦合并且 其图像数据可见。原则上，帧緩存器作为经由输入接口 410接收的 图像数据的緩冲存储器。还可以经由输入接口 410存取(通过原始 SoC 320 )图像数据用于读取。通过像素管线430读出在帧緩存器420 中緩存的图像数据，即有组织的像素图像数据425，如果要求的话， 像素管线可以操纵对应于显示器的像素的图像值。利用像素管线可 操作的操纵操作包括例如颜色查找、伽玛修正、翻转、旋转等。像 素管线430的操作通过经由输入接口 410接收并由此被提供的控制 数据435来控制。最后，对显示器440提供显示数据用于对用户进 行显示。帧緩存器和像素管线的特殊实施在本发明范围之外。应该 理解到，本发明不限于帧緩存器和像素管线的任何特殊实施。其任 何实施方式仅是示例性的并且为了完整而示出。现在参考图4，其示出了根据本发明的实施方式的附加SoC 330。 图4示出了实现本发明的发明概念所要求的组件的示意性组件框图。 本领域的技术人员将理解到，附加SoC 330进一步包括对于片上系 统典型的组件，诸如微处理器、存储器、通用异步收发器(UART)、 串行/并行端口、直接存储器存取(DMA)控制器等。本领域已知片 上系统的设计。通常考虑待由SoC操作的处理任务而执行SoC的设 计，这使得设计彼此不同。根据图3a中所示的基本发明概念，图4的示图示出了原始SoC 320经由显示接口 305连接到附加SoC 330,接着附加SoC 330经由 显示接口 305连接到显示模块400，显示模块400优选地为参考图 3b上文所描述的智能显示模块。除了典型的组件之外，附加SoC330 还包括输入接口 410、帧緩存器420以及^f象素管线430。输入接口 410 适合用于操作作为显示接口 305并且可与原始SoC 320的显示接口 305互操作。显示接口 305允许图像数据和控制数据两者分别从原始 SoC 320到附加SoC 330和其输入接口 410的发送。对帧緩存器420 提供由输入接口 410接收的图像数据415,而对像素管线430提供所 接收的控制数据435。通过像素管线430读出在帧緩存器420中緩存 的图像数据，即有组织的像素图像数据425,如果需要的话，像素管 线可以操纵对应于显示器的像素的图像值。利用像素管线可操作的 操纵操作包括例如颜色查找、伽马修正、翻转、旋转等。像素管线 430的操作通过经由输入接口 410接收的并由此被提供的控制数据 435来控制。在帧緩存器420中緩存的图像数据还可以经由输入接口 410存取(例如通过原始SoC 320或者经由一个或者多个插入的附加 SoC直接或者间接连接的任何其他附加SoC 330 )用于被读出。帧緩 存器420和像素管线430提供用于接收、緩存以及处理经由作为显 示接口 305的输入接口 410接收的图像数据，并行于帧緩存器420 和像素管线430,附加SoC 330包括一个或者多个附加帧缓存器421 以及一个或者多个附加像素管线431。包括附加帧緩存器421和附加 像素管线431用于接收、缓存以及处理源自附加SoC 330的图像数 据416。通过附加像素管线431读出在附加帧緩存器421中緩存的图 像数据，即有组织的像素图像数据426，如果需要的话，附加像素管 线431可以操纵对应于显示器的像素的图像值。附加像素管线431 的操作通过由附加SoC 330提供的并由此被提供的控制数据436来 控制。附加帧緩存器421和附加像素管线431的功能和操作类似于 参考帧緩存器420和像素管线430上文所描述的功能和操作。控制 数据435还影响附加像素管线431上的控制。叠加和后处理模块450 最后管理必须读出哪个像素管线用于构成待显示的最终图像。其意 味着叠加和后处理模块可以产生源自像素管线430、附加像素管线 431之一、或者其任何组合的待显示的图像。考虑像素管线430和 431的任何组合的叠加和后处理模块使得实现叠加图像，该叠加图像 由像素管线430和一个或者多个附加像素管线431提供的图像数据 的一部分而产生，该部分对整个组成的图像起作用。由模块450操 作的叠加和后处理管理产生的图像数据经由作为显示接口 305的输
出接口 460来提供。附加SoC 330的输出显示接口 460可以连接到 包括类似实施的另一附加SoC 330的输入接口，或者如图4中所示 的实施方式中所描述的连接到具有显示接口 305的显示模块400。附 加SoC 330的像素管线包括像素管线430和像素管线431，附加SoC 330的像素管线以及叠加和后处理模块450优选地布置在附加SoC 330的显示控制器模块350中。对包括像素管线430和431以及叠加 和后处理模块450的显示控制器模块350提供以下输入来源于帧 緩存器420并且终止于像素管线430的像素数据425的输入；来源 于附加帧緩存器421并且终止于相应附加像素管线431的像素数据 426的输入；来源于输入接口 410的控制数据435的输入；以及由附 加SoC 330提供的控制数据436的输入。另外，可以提供例如在图4 中示例性示出的旁路模块500的旁路以便沿着经过附加SoC 330的 旁路路由图像数据，使得即使在完全不操作附加SoC 330的情况下， 可以将图像数据通过原始SoC 320提供给显示模块400。如上文所述，提出的发明概念提供了超过当前技术的实施的多 个优势。该优势尤其涉及显示叠加、显示数据存取、功率岛以及集 成努力。通过逻辑地布置在附加SoC 330之前的原始SoC或者任何 附加SoC (即直接或者间接连接到输入接口 410)传递到所述附加 SoC 330的可视内容可以使用作为由所述附加SoC 330呈现的可视内 容内的叠加，反之亦然。附加SoC 330 (所述)已经存耳又由其输入4妄 口 410接收的所有显示数据，即来自逻辑地布置在所述附加SoC330 之前的原始SoC或者任何附加SoC。在原始SoC 320需要接入显示 器时，可以使整个附加SoC 330断电并且经由旁路500路由图像数 据，或者可以^吏除了显示控制框之外的整个附加SoC 330断电，该 显示控制框至少包括输入接口 410、帧緩存器420、像素管线430以 及输出接口 460。后一种可能不需要任何旁路500。从外部附加SoC 的角度上看，根据本发明的实施方式的附加SoC 330的设计的行为 类似于例如上文所述的显示模块400的显示模块。不需要针对在原 始SoC 330上执行所开发的软件应用模块做任何针对新结构的适配，
该新结构包括以串行或者堆叠方式布置的根据本发明的实施方式的一个或者多个附加SoC 330。串行布置意味着附加SoC的输出接口 (例如接口 460 )可连接到下一附加SoC的输入接口(例如接口 410)。参考图5，其示出了包括实施参考图4在上文详细描述的附加 SoC 330的基本操作序列的操作序列。附加SoC 330的操作开始并且操作一个或者多个基本上并行或 者时间平移的可操作序列。操作组S100至S130涉及对源自原始SoC 320的图像数据的处理。首先，经由输入接口 410接收图像数据。接 着，在与输入接口 410相关联的帧緩存器420中对接收的图像数据 进行緩存。然后，通过像素管线430读出图像数据，该像素管线430 还与输入接口 410以及帧緩存器420相关联。至少通过经由输入接 口接收并为了控制目的提供给像素管线430的控制数据435对像素 管线430的处理进行控制。基本上并行或者时间平移地操作操作组 S200至S230,其涉及处理由附加SoC 330提供的图像数据。首先， 由附加SoC 330提供图像数据，并且接着在附加帧緩存器421中对 由附加SoC 330提供的图像数据进行緩存。然后(类似于处理经由 输入接口 410接收的图像数据)，通过像素管线431读出图像数据， 也是针对由附加SoC 330提供的图像数据。至少通过也是由附加SoC 330提供并为了控制目的提供给像素管线431的控制数据436来控制 像素管线431的处理。针对在附加SoC 330中实施并且用于通过附 加SoC 330的内容可视化的每个附加帧緩存器421和附加像素管线 431,可以执行类似于操作S200至S230的附加操作组S300至S330。 如上文所述，帧緩存器是定向的显示像素数据存储，其优选地存储 每个显示像素的可预定表示和最大上域的像素值。帧緩存器的大小 可以对应于显示器的像素大小或者可以扩展显示器的像素大小。如 果需要和/或期望，则像素操纵使得实现每个像素的可控制操纵，包 括颜色查找、伽马修正、翻转、旋转、按比例缩放、修剪等。然后在操作S400中合并用于可视化的每个像素管线的内容可视 化，其中通过叠加和后处理模块450操作叠加和后处理管理。叠加
和后处理管理使得实现判决逻辑，其中必须至少部分地读出像素管线(430 、 431 )以便基于由此处理的图像数据产生对由像素管线(430 、 431 )提供的单独可视化内容的最终共有可视化。最后，在操作S410 对输出接口 (460)提供表示最终共有内容可视化的合并的图像数据 以及可以将其提供到显示模块400用于再现。操作序列完成。本领域的技术人员将理解到，只要经由输入接 口 410接收新图像数据和/或由附加SoC 330将新图像数据提供到附 加帧緩存器431时，可以至少部分地重复操作序列。个特征和方面进行了示出和详细描述。本领域的技术人员将理解到，限制。
权利要求
1. 一种用于使得多处理器实施实现接入用于显示共有可视内容的共有显示器的系统，该系统包括-原始处理模块(320 ),其设置有输出显示接口 ( 305 )，其 中所述原始处理模块(320 )可与至少一个软件应用模块(410至419) 操作从而产生由所述输出显示接口 ( 305 )提供的图像数据，所述图 像数据旨在用于显示(400 );-附加处理模块(330 )，其至少包括输入接口 (410)和输出 接口 ( 460 ),其中所述输入接口 (410)适合用于乂人所述原始处理 模块(320 )的所述输出显示接口 ( 305 )接收图像数据，所述输出 接口 (460 )适合用于输出旨在用于显示的图像数据并且可连接到显 示接口 ( 305 );以及-显示模块(400)，其设置有可连接到所述附加处理模块(330) 的显示接口 ( 305 ),其中所述附加处理模块(3 3 0 )可操作用于在所述输出接口 ( 460 ) 提供表示所述共有可视内容的图像数据；其中所述共有可视内容可 从经由所述输入接口 (410)接收的图像数据、以及起源于所述附加 处理模块(330 )的图像数据和/或其图像数据的任何组合获得。
2. 根据权利要求1所述的系统，其中所述附加处理模块(330 ) 包括显示控制器模块(350),其可操作用于合并经由所述输入接口(410)接收的图像数据和源自所述附加处理模块(330 )的图像数 据。
3. 根据权利要求1或者2所述的系统，其中所述附加处理模块 (330)包括帧緩存器(420)和一个或者多个附加帧緩存器(421 )，其中所述帧緩存器(420)緩存经由所述输入接口 (410)接收的图 像数据，所述附加帧緩存器(421)被判决用于存储源自所述附加处 理模块(330)的图像数据。
4. 根据权利要求3所述的系统，其中所述附加处理模块(330) 包括一个或者多个像素管线(430、 431),每个像素管线(430、 431) 与各自对应的一个或者多个帧缓存器(420、 421)相关联，其中所 述像素管线(430、 431)适合用于从所述帧緩存器(420、 421)读 出像素数据并且可操作用于操纵每个像素的像素数据。
5. 根据权利要求4所述的系统，其中所述附加处理模块(330) 包括后处理模块(450 )，所述后处理模块(450)可操作用于合并 由所述像素管线(430、 431)所产生的所述像素数据。
6. 根据权利要求2或者4所述的系统，其中所述合并包括由所 述像素管线中一个或多个所传递的可^L内容的叠加从而导致显示共 有图像表示。
7. 根据前述权利要求中任一项所述的系统，包括多个附加处理 模块(330 )，其中所述附加处理模块(330 )中之一可经由其输入接口 (410) 连接到所述原始处理模块(320 )的显示接口 ( 305 ),其中所述附 加处理模块(330 )中的另一个可经由其输出接口 ( 460 )连接到所 述显示模块(400 )的显示接口 ( 305 )，其中剩余的附加处理模块 (330)插入在所述原始处理模块(320)和所述显示模块(400)之 间并且可经由所述输入接口 (410)和所述输出接口 ( 460)串行地 连接。
8. 根据前述权利要求中任一项所述的系统，其中所述原始处理 模块(320 )和/或所述附加处理模块(330 )是片上系统(SoC)。
9. 根据前述权利要求中任一项所述的系统，其中所述附加处理 模块(330 )专用于图像处理任务。
10. —种处理模块(330)，其可连接在原始处理模块(320)和 显示模块(400 )之间，用于使得多处理器实施实现接入用于显示共 有可视内容的共有显示器，所述处理模块(330 )包括-至少一个输入接口 (410)，其适合用于从所述原始处理模块 (320)的输出显示接口 ( 305 )接收图像数据；以及-输出接口 ( 460),其适合用于输出旨在被显示的图像数据并且可连接到显示接口 ( 305 )，其中所述处理模块(330)可操作用于在所述输出接口 (460)提 供表示共有可视内容的图像数据；其中所述共有可内容可从经由 所述输入接口 ( 410 )接收的图像数据和源自所述处理模块本身(330 ) 的图像数据和/或其图像数据的任何组合获得。
11. 根据权利要求10所述的处理模块，其包括-显示控制器模块(350),其可操作用于合并经由所述输入接 口 (410)接收的和源自所述附加处理模块(330)的图像数据。
12. 根据权利要求IO或者11所述的处理模块，其包括-帧緩存器(420),其适合用于緩存经由所述输入接口 (410) 接收的所述图像数据；以及——个或者多个附加帧緩存器(421)，其适合用于緩存源自所 述附加处理模块(330 )的图像数据。
13. 根据权利要求12所述的处理模块，其包括- 一个或者多个像素管线(430、 431),每个像素管线(430、 431)均与各自对应的一个或者多个帧緩存器(420、 421)相关联，其中所述像素管线(430、 431 )适合用于从所述帧緩存器(420、 421 )读出像素数据并且可操作用于操纵每个像素的像素数据。
14. 根据权利要求13所述的处理模块，其包括-后处理模块(450),其可操作用于合并由所述像素管线(430、 431)产生的所述像素数据。
15. 根据权利要求11或14中任一项所述的处理模块，其中所述 显示控制器模块(350 )适合用于叠加由所述像素管线中一个或多个 传递的可视内容从而导致显示共有图像表示。
16. 根据前述权利要求中任一项所述的处理模块，其中所述处理 模块(330 )可经由其输入接口 (410)和其输出接口 (460)串行地 连接到其他处理模块(330 )。
17. 根据前述权利要求中任一项所述的处理模块，其中所述处理 模块(330 )和/或所述原始处理模块(320 )是片上系统(SoC)。
18. 根据前述权利要求中任一项所述的处理模块，其中所述处理 模块(330 )专用于图像处理任务。
19. 一种处理设备，其使得多处理器实施实现接入用于显示共有 可视内容的共有显示器，所述处理设备包括-原始处理模块(320),其设置有输出显示接口 ( 305 )，其 中所述原始处理模块(320 )可与至少一个软件应用模块(410至419) 操作从而产生由所述输出显示接口 ( 305 )提供的图像数据，所述图 像数据旨在用于显示(400);-附加处理模块(330 )，其至少包括输入接口 (410)和输出 接口 ( 460)，其中所述输入接口 (410)适合用于从所述原始处理 模块(320 )的所述输出显示接口 ( 305 )接收图像数据，所述输出 接口 ( 460)适合用于输出旨在被显示的图像数据并且可连接到显示 接口 ( 305 );以及-显示模块(400)，其设置有可连接到所述附加处理模块(330 ) 的显示接口 ( 305 ),其中所述附加处理模块(330 )可操作用于在所述输出接口 ( 460 ) 提供表示所述共有可视内容的图像数据；其中所述共有可视内容可 从经由所述输入接口 (410)接收的图像数据以及源自所述附加处理 模块(330 )的图像数据和/或其图像数据的任何组合获得。
20. 根据权利要求19所述的处理模块，其中所述附加处理模块 (330 )是根据权利要求10至19中任一项所述的处理;漠块。
21. —种使得多处理器实施实现接入用于显示共有可视内容的 共有显示器的方法，该方法包括-经由处理模块(320 )的输入接口 (410)接收图像数据； -通过处理模块(330 )提供图像数据；-合并所述接收的图像数据和所述提供的图像数据以便获得共 有可视内容，其中所述共有可视内容可从所述接收的图像数据、所 述提供的图像数据和/或它们的任何组合获得；以及-经由输出接口 ( 450)提供表示所述共有可视内容的合并的图 像数据，其中所述合并的图像数据旨在通过显示模块(400)显示。
22. 根据权利要求21所述的方法，包括-在帧緩存器(420)中緩存所述接收的图像数据；-通过像素管线(430)从所述帧緩存器(420)读出所述接收的图像数据；以及-通过所述像素管线(430 )以及根据经由所述输入接口 (410)接收的控制数据(435 )而操纵所述接收的图像数据。
23. 根据权利要求21或者22所述的方法，包括-在一个或者多个帧緩存器(421 )中緩存所述提供的图像数据； -通过一个或者多个像素管线(431 )从所述一个或者多个帧緩存器(421)读出所述提供的图像数据；以及-通过所述像素管线(431)并且根据由所述处理模块(330 )提供的控制数据(435 )而操纵所述提供的图像数据。
24. 根据权利要求22或者23所述的方法，其中涉及所述接收的 图像数据的操作和涉及所述提供的图像数据的操作可基本上同时或 者在时间平移中操作。
25. 根据权利要求21至23中任一项所述的方法，包括-获得来自像素管线(430、 431)的图像数据用于合并，其中 所述合并包括判决必须至少部分地读出哪些像素管线(430、 431) 以便产生单独可视内容的所述共有可视内容，该单独可视内容由所 述像素管线(430、 431)基于由此处理的图像数据来提供。
全文摘要
提供了一种处理模块，其可连接在原始处理模块和显示模块之间，用于实现多处理器实施，该实施能够接入用于显示共有可视内容的共有显示器。处理模块至少包括输入接口，其适合用于从原始处理模块的输出显示接口接收图像数据；以及输出接口，其适合用于输出旨在用于被显示的图像数据并且可连接到显示接口。处理模块可操作用于在输出接口提供表示共有可视内容的图像数据。共有可视内容可以从经由输入接口接收到的图像数据、源自附加处理模块的图像数据和/或其图像数据的任何组合而获得。
文档编号G06F3/14GK101147120SQ200580049219
公开日2008年3月19日 申请日期2005年3月22日 优先权日2005年3月22日
发明者J·柯尼希, K·孔策, V·许茨 申请人:诺基亚公司