具有图像转换机制的显示系统及其操作的方法

专利名称：具有图像转换机制的显示系统及其操作的方法
技术领域：
本发明总体上涉及ー种显示系统，更具体地，涉及ー种用于图像转换的系统。
背景技术：
现代的消费级和エ业级电子设备，特别是诸如图形显示系统、电视、投影仪、蜂窝电话、便携式数字助理的装置以及组合装置正提供更高等级的功能以支持包括三维显示服务的现代生活。现有技术的研究和发展可选择无数的不同方向。·
由于随着三维显示装置的发展用户变得更有能力，新的和旧的范例都开始用这种新的装置空间。存在很多利用这种新的显示装置机会的技术方案。一种现有的方式是在消费级电子设备、エ业级电子设备和移动电子设备(诸如，视频投影仪、电视、监视器、游戏系统或个人数字助理(PDA))上显示三维图像。基于三维显示的服务允许用户创建、传递、存储和/或消费信息，从而使用户在“真实世界”中进行创建、传递、存储和消费。一种这样的基于三维显示的服务的使用在于有效地在显示器上呈现三维图像。三维显示系统已经被引入投影仪、电视、笔记本、手持装置和其它便携式产品。如今，这些系统通过显示可用的相关信息(诸如，图表、地图或视频)来帮助用户。三维图像的显不提供宝贵的相关彳目息。然而，三维形式的显示信息已经成为消费者重要的关注点。显示与真实世界不相关的三维图像降低了使用三维显示系统的好处。例如，具有深度视差的图像上的物体会造成用户的不适。因此，仍然需要ー种具有图像转换机制的三维显示系统来显示三维图像。考虑到不断増加的商业竞争压力，随着消费需求日益增长和市场中有意思的产品差异的机会逐渐縮小，找到这些问题的答案越来越重要。另外，減少成本、提高效率和性能以及应对竞争压力的需要使得更加紧迫地需要找到这些问题的答案。长期以来找寻这些问题的解决方案，但是现有发展没有教导或建议任何解决方案，因此，本领域技术人员长时间都没有找到对于这些问题的解决方案。

发明内容
本发明提供了一种显示系统的操作的方法，包括接收具有当前输入像素的当前输入图像；基于当前输入像素的特性的差异识别具有输入对象像素的输入对象；基于深度候选的加权平均，从当前输入图像的图像深度映射计算输入对象像素的对象像素深度；用图像深度映射和用于在装置上显示的对象像素深度，从当前输入图像产生具有感知深度的处理的图像。本发明提供了一种显示系统，包括通信单元，接收具有当前输入像素的当前输入图像；对象检测模块，与通信单元连接，基于当前输入像素的特性的差异识别具有输入对象像素的输入对象；对象深度模块，与对象检测模块连接，基于深度候选的加权平均，从当前输入图像的图像深度映射计算输入对象像素的对象像素深度；图像转换模块，与对象深度模块连接，用图像深度映射和用于在装置上显示的对象像素深度，从当前输入图像产生具有感知深度的处理的图像。本发明的某些实施例具有除上面提到的步骤或元件之外的其它步骤或元件，或具有用于替代上面提到的步骤或元件的其它步骤或元件。通过阅读以下参照附图的详细描述，这些步骤或元件对于本领域的技术人员来说将是清楚的。



图I是本发明实施例中的具有图像转换机制的显示系统。图2是图I的第一装置的显示接口的示例。图3是显示系统的示例性框图。图4是显示系统的控制流程。图5是对象检测模块的示图。图6是对象调整模块的示图。图7是当前输入图像的图像深度映射的示例性部分。图8是对象深度模块的示图。图9是局部深度模块的示图。图10是当前输入图像的示例。图11是行总和模块的示例。图12是二进制转换模块的示例。图13是最大过滤模块的示例。图14是行平均深度模块的示例。图15是行深度分组模块的示例。图16是组最大模块的示例。图17是均匀深度模块的示例。图18是本发明另一实施例中的显示系统的操作的方法的流程图。
具体实施例方式足够详细地描述以下实施例以使得本领域的技术人员能够制造和使用本发明。应理解，基于本公开，其它实施例将会是明显的，并且在不脱离本发明的范围的情况下可进行系统、处理或机制的改变。在以下描述中，给出了多种特定细节以提供对本发明的彻底的理解。然而，很明显的是，可在没有这些特定细节的情况下实施本发明。为了避免模糊本发明，没有详细公开某些已知电路、系统配置和处理步骤。显示系统的实施例的附图是半图表性而不是成比例的，具体地，某些尺寸是为了显示的清楚并在附图中被夸大地显示。类似地，虽然为了便于描述，附图中的示图通常显示类似的朝向，但是附图中的描绘大部分来说是任意的。通常，本发明可按照任意朝向被操作。实施例被编号为第一实施例、第二实施例等是为了描述方便，而不是旨在具有任何其它重要性或为本发明设置限制。本领域的技术人员将理解，表现图像信息的格式对于本发明的某些实施例来说并不重要。例如，在某些实施例中，以(X，Y)的格式呈现图像信息，其中，X和Y是定义图像中的像素的位置的两个坐标。在一可选实施例中，用像素的颜色的相关信息以(X，Y，Z)的格式呈现三维图像信息。在本发明的另一实施例中，三维图像信息还包括强度元素或亮度元素。这里提到的术语“图像”可包括二维图像、三维图像、视频帧、计算机文件表示、来自相机的图像或它们的组合。例如，图像可以是机器可读数字文件、实体相片、数字相片、运动图像帧、视频帧、X射线图像、扫描图像或它们的组合。另外作为示例，硬件可以是电路、处理器、计算机、集成电路、集成电路核心、压力传感器、惯性传感器、微电子机械系统(MEMS)、 无源装置或它们的组合。这里提到的术语“模块”可包括软件、硬件或它们的组合。例如，软件可以是机器码、固件、嵌入式代码和应用程序软件。另外作为示例，硬件可以是电路、处理器、计算机、集成电路、集成电路核心、压力传感器、惯性传感器、微电子机械系统(MEMS)、无源装置或它们的组合。现在参照图I，显示了本发明的实施例中的具有图像转换机制的显示系统100。显示系统100包括第一装置102 (诸如客户机或服务器)，第一装置102与第二装置106 (诸如客户机或服务器)连接。第一装置102可用通信路径104(诸如无线或有线网络)与第二装置106通信。例如，第一装置102可以是各种显示装置中的任意显示装置，诸如，蜂窝电话、个人数字助理、笔记本电脑、液晶显示器(LCD)系统或其它多功能显示器或娱乐装置。第一装置102可直接或间接地与通信路径104连接以与第二装置106通信，或者可以是孤立的装置。为了说明的目的，将显示系统100描述为第一装置102是显示装置，但是应理解，第一装置102可以是不同类型的装置。例如，第一装置102还可以是用于呈现图像或多媒体呈现的装置。多媒体呈现可以是包括声音、流图像的序列或视频传播或它们的组合的呈现。作为示例，第一装置102可以是高清晰电视、三维电视、计算机监视器、个人数字助理、蜂窝电话或多媒体集(multi-media set)。第二装置106可以是各种集中或分散的计算装置或视频传输装置中的任意装置。例如，第二装置106可以是多媒体计算机、膝上型计算机、桌面计算机、视频游戏机、网格计算资源、虚拟化计算机资源、云计算资源、路由器、交换机、对等分散式计算装置、媒体播放装置、数字视频盘(DVD)播放器、具有三维功能的DVD播放器、记录装置(诸如相机或视频相机)，或者它们的组合。在另一示例中，第二装置106可以是用于接收广播或实时流信号的信号接收机，诸如，电视接收机、有线盒、卫星碟形接收机或具有网络功能的装置，诸如TiVo(TM)或 SIingbox (TM)。第二装置106可以集中在单个房间、分散在不同的房间、分散在不同的地理位置、嵌入电信网络。第二装置106可具有用干与通信路径104连接以与第一装置102通信的装置。为了说明的目的，将显示系统100描述为第二装置106是计算装置，但是应理解第ニ装置106可以是不同类型的装置。另外为了说明的目的，将显示系统100显示为第二装置106和第一装置102作为通信路径104的端点，但是应理解，显示系统100可具有第一装置102、第二装置106和通信路径104之间的不同分区。例如，第一装置102、第二装置106或它们的组合也可用作通信路径104的一部分。通信路径104可以是各种网络。例如，通信路径104可包括无线通信、有线通信、光通信、超声波通信或它们的组合。卫星通信、蜂窝通信、蓝牙、红外数据组织(IrDA)标准、无线保真(WiFi)和全球互通微波存取(WiMAX)是可被包括在通信路径104中的无线通信的示例。以太网、数字用户线路(DSL)、光纤入户(FTTH)和普通老式电话业务(POTS)是可被包括在通信路径104中的有线通信的示例。 此外，通信路径104可跨越多个网络拓扑和距离。例如，通信路径104可包括直接连接、个人局域网(PAN)、局域网(LAN)、城域网(MAN)、广域网(WAN)或它们的组合。现在參照图2，其中显示了图I的第一装置102的显示接ロ 210的示例。显示接ロ210是用于呈现图像或多媒体呈现的实体装置。例如，显示接ロ可以是屏幕，包括液晶显示(LCD)面板、等离子屏幕或投影屏幕。显示接ロ 210可显示处理的图像212。处理的图像212被定义为这样的图像具有多个像素，被处理为具有当被呈现在显示接ロ 210上时的感知深度211。感知深度211被定义为当从ー距离观看显示接ロ 210时，对象看起来将相对于图像中的其它对象或背景更近或更远。例如，在原点位于图像的左下角的三维笛卡尔坐标系统中，X轴213被定义为宽度度量的參照，y轴215被定义为深度度量的參照，z轴217被定义为高度度量的參照。具有大的y坐标值的对象可具有比具有较小的y坐标值的对象更大的感知深度211的值。具有较大感知深度211的值的对象将看起来比具有较小的感知深度211的值的对象更近。作为进一歩的示例，用户可通过注意到处理的图像212中的对象出现在显示接ロ210的平面之外或之前来观察或注意到感知深度211。类似地，用户可通过注意到处理的图像212中的对象出现在显示接ロ 210的平面里面和更深的后面来感知深度。例如，处理的图像212可使得像素模糊作为表现距离的ー种方式。还可减少亮度和顔色的强度以提供感知深度211。在另ー示例中，可通过线间距(line spacing)来表示感知深度211。处理的图像212的具有窄间距的线的部分表示较低的感知深度211的值，而具有宽间距的线的对象可表示较高的感知深度211的值。作为ー特定示例，处理的图像212的具有窄间距的线的顶部可具有较低的感知深度211的值，并且看起来比处理的图像212的底部更远，处理的图像212的底部具有宽间距的线，与更高的感知深度211的值对应。处理的图像212可包括处理的对象214。处理的对象214被定义为具有均匀的感知深度211且保持相对固定位置的对象。具有均匀的感知深度211的对象被定义为对象的所有部分都具有相同的感知深度211的值。具有相对固定位置的对象被定义为从图像的流或序列中的一幅图像到下一幅图像中沿着X轴213或z轴217具有较小移动或没有移动的对象。相对于处理的图像212中接近于处理的对象214的部分，处理的对象214可具有较大的感知深度211的值。例如,这意味着处理的对象214可看起来悬浮或盘旋在处理的图像212之上。处理的对象214的示例可包括可出现在处理的图像212中的相对固定位置的字幕的文本的串或组、体育事件中的计分板、或者动画或非动画的标志(诸如表示电视台的标志)、或者滚动横幅或文本字段(诸如用于广告或新闻更新的滚动文本)。作为另一示例，为了向处理的对象214提供感知深度211，处理的对象214的区域内的像素的模糊和软化可提供纹理，并暗示与处理的图像212中任意的处理的对象214之间的分离。现在参照图3，其中显示了显示系统100的示例性框图。显示系统100可包括第一装置102、通信路径104和第二装置106。第一装置102可通过通信路径104上的第一装置传输308将信息发送到第二装置106。第二装置106可通过通信路径104上的第二装置传输310将信息发送到第一装置102。 为了说明的目的，将显示系统100显示为第一装置102作为客户机装置，但是应理解，显示系统100可将第一装置102作为不同类型的装置。例如，第一装置102可以是具有显示接口的服务器。另外，为了说明的目的，将显示系统100显示为第二装置106作为服务器，但是应理解，显示系统100可将第二装置作为不同类型的装置。例如，第二装置106可以是客户机
>J-U装直。为了使本发明的该实施例的描述简明，第一装置102将被描述为客户机装置，第二装置106将被描述为服务器装置。本发明不限于这样的装置类型的选择。这样的选择是本发明的一个不例。第一装置102可包括第一控制单元312、第一存储单元314、第一通信单元316和第一用户接口 318。第一控制单元312可包括第一控制接口 322。第一控制单元312可执行第一软件326以提供显示系统100的智能。可按照多种不同的方式实现第一控制单元312。例如，第一控制单元312可以是处理器、专用集成电路(ASIC)、嵌入式处理器、微处理器、软件控制逻辑、硬件有限状态机(FSM)、数字信号处理器(DSP)或者它们的组合。第一控制接口 322可用于第一控制单元312和第一装置102中的其它功能单元之间的通信。第一控制接口 322还可用于第一装置102的外部的通信。第一控制接口 322可从其它功能单元或从外部源接收信息，或者可将信息发送到其它功能单元或发送到外部目的地。外部源和外部目的地指的是第一装置102外部的源和目的地。第一控制接口 322可被实现为不同的方式，并且可根据哪些功能单元或外部单元与第一控制接口 322接口连接而包括不同的实现方式。例如，可用压力传感器、惯性传感器、微电子机械系统(MEMS)、光电路、波导、无线电路、有线电路或它们的组合来实现第一控制接口 322。第一存储单元314可存储第一软件326。第一存储单元314还可存储相关信息，诸如表示输入图像的数据、表示先前呈现的图像的数据、声音文件或它们的组合。
第一存储单元314可以是易失性存储器、非易失性存储器、内部存储器、外部存储器或者它们的组合。例如，第一存储单元314可以是非易失性存储器，诸如非易失性随机存取存储器(NVRAM)、闪存、硬盘存储，或者是易失性存储，诸如静态随机存取存储器(SRAM)。第一存储单元314可包括第一存储接ロ 324。第一存储接ロ 324可用干与第一装置102中的其它功能单元进行通信。第一存储接ロ 324还可用于第一装置外部的通信。第一存储接ロ 324可从其它功能単元或从外部源接收信息，或者可将信息发送到其它功能単元或发送到外部目的地。外部源和外部目的地指的是第一装置102外部的源和目的地。第一存储接ロ 324可根据哪些功能単元或外部単元与第一存储单元314接ロ连接而包括不同的实现方式。可用与第一控制接ロ 322的实现方式类似的技术和エ艺来实现第一存储接ロ 324。第一通信单元316可使第一装置102能够进行外部通信。例如，第一通信单元316·可允许第一装置102与图I的第二装置106进行通信，与附属物(诸如外围装置或台式计算机)进行通信以及与通信路径104进行通信。第一通信単元316还可用作通信集线器，允许第一装置102用作通信路径104的一部分，而不限于作为通信路径104的端点或终端单元。第一通信単元316可包括用干与通信路径104交互的有源部件和无源部件(诸如微电子装置和天线)。第一通信单元316可包括第一通信接ロ 328。第一通信接ロ 328可用于第一通信单元316和第一装置102中的其它功能单元之间的通信。第一通信接ロ 328可从其它功能単元接收信息，或者可将信息发送到其它功能単元。第一通信接ロ 328可根据哪些功能単元与第一通信単元316接ロ连接而包括不同的实现方式。可用与第一控制接ロ 322的实现方式类似的技术和エ艺来实现第一通信接ロ328。第一用户接ロ 318允许用户(未示出)与第一装置102接ロ连接并与第一装置102交互。第一用户接ロ 318可包括输入装置和输出装置。第一用户接ロ 318的输入装置的示例可包括键板、触摸板、软键、键盘、麦克风、用于接收远程信号的红外传感器或它们的任意组合以用于提供数据和通信输入。第一用户接ロ 318可包括第一显示接ロ 330。第一显示接ロ 330可包括显示器、投影仪、视频屏幕、扬声器或者它们的任意組合。第一控制单元312可操作第一用户接ロ 318以显示由显示系统100产生的信息。第一控制单元312还可运行用于显示系统100的其它功能的第一软件326。第一控制单元312还可运行第一软件326以通过第一通信単元316与通信路径104交互。第二装置106可被优化用于与第一装置102 —起实现多装置实施例中的本发明。与第一装置102相比，第二装置106可提供额外或更高的性能处理能力。第二装置106可包括第二控制单元334、第二通信单元336和第二用户接ロ 338。第二用户接ロ 338允许用户(未示出)与第二装置106接ロ连接并与第二装置106交互。第二用户接ロ 338可包括输入装置和输出装置。第二用户接ロ 338的输入装置的示例可包括键板、触摸板、软键、键盘、麦克风或它们的任意组合以用于提供数据和通信输入。第二用户接ロ 338的输出装置的示例可包括第二显示接ロ 340。第二显示接ロ 340可包括显示器、投影仪、视频屏幕、扬声器或者它们的任意组合。第二控制单元334可运行第二软件342以提供显示系统100的第二装置106的智能。第二软件342可与第一软件326结合地运行。与第一控制单元312相比，第二控制单元334可提供额外的性能。第二控制单元334可操作第二用户接口 338显示信息。第二控制单元334还可运行用于显示系统100的其它功能(包括操作第二通信单元336通过通信路径104与第一装置102通信)的第二软件342。可按照多种不同的方式实现第二控制单元334。例如，第二控制单元334可以是处理器、嵌入式处理器、微处理器、硬件控制逻辑、硬件有限状态机(FSM)、数字信号处理器(DSP)或者它们的组合。第二控制单元334可包括第二控制器接口 344。第二控制器接口 344可用于第二控制单元334和第二装置106中的其它功能单元之间的通信。第二控制器接口 344还可用 于第二装置106的外部通信。第二控制器接口 344可从其它功能单元或从外部源接收信息，或者可将信息发送到其它功能单元或发送到外部目的地。外部源和外部目的地指的是第二装置106外部的源和目的地。第二控制器接口 344可被实现为不同的方式，并且可根据哪些功能单元或外部单元与第二控制器接口 344接口连接而包括不同的实现方式。例如，可用压力传感器、惯性传感器、微电子机械系统(MEMS)、光电路、波导、无线电路、有线电路或它们的组合来实现第二控制器接口 344。第二存储单元346可存储第二软件342。第二存储单元346还可存储诸如表示输入图像的数据、表示先前呈现的图像的数据、声音文件或它们的组合。可将第二存储单元346的大小制定为提供额外的存储容量以补充第一存储单元314。为了说明的目的，第二存储单元326被显示为单个元件，但是应理解，第二存储单元326可以是多个存储元件的分布。另外，为了说明的目的，显示系统100被显示为第二存储单元346作为单个分层的存储系统，但是应理解，显示系统100可具有不同配置的第二存储单元346。例如，可用不同的存储技术来形成第二存储单元346，所述不同的存储接收形成包括不同级的缓存、主存储器、转动式媒介或离线存储的存储器分层系统。第二存储单元346可以是易失性存储器、非易失性存储器、内部存储器、外部存储器或者它们的组合。例如，第二存储单元346可以是非易失性存储器，诸如非易失性随机存取存储器(NVRAM)、闪存、硬盘存储，或者是易失性存储，诸如静态随机存取存储器(SRAM)。第二存储单元346可包括第二存储接口 348。第二存储接口 348可用于第二装置106中的其它功能单元之间的通信。第二存储接口 348还可用于第二装置106的外部通信。第二存储接口 348可从其它功能单元或从外部源接收信息，或者可将信息发送到其它功能单元或发送到外部目的地。外部源和外部目的地指的是第二装置106外部的源和目的地。第二存储接口 348可根据哪些功能单元或外部单元与第二存储单元346接口连接而包括不同的实现方式。可用与第二控制器接口 344的实现方式类似的技术和工艺来实现第二存储接口 348。
第二通信单元336可使第二装置106能够进行外部通信。例如，第二通信单元336可允许第二装置106通过通信路径104与第一装置102通信。第二通信単元336还可用作通信集线器，允许第二装置106用作通信路径104的一部分，而不限于作为通信路径104的端点或终端单元。第二通信単元336可包括用干与通信路径104交互的有源部件和无源部件(诸如微电子装置和天线)。第二通信单元336可包括第二通信接ロ 350。第二通信接ロ 350可用于第二通信单元336和第二装置106中的其它功能单元之间的通信。第二通信接ロ 350可从其它功能単元接收信息，或者可将信息发送到其它功能単元。第二通信接ロ 350可根据哪些功能単元与第二通信単元336接ロ连接而包括不同的实现方式。可用与第二控制器接ロ 344的实现方式类似的技术和エ艺来实现第二通信接Π 350。
第一通信単元316可与通信路径104连接以在第一装置传输308中将信息发送到第二装置106。第二装置106可从通信路径104的第一装置传输308在第二通信単元336中接收信息。第二通信単元336可与通信路径104连接以在第二装置传输310中将信息发送到第一装置102。第一装置102可通过通信路径104的第二装置传输310在第一通信単元316中接收信息。可通过第一控制单元312、第二控制单元334或它们的组合来操作显示系统 100。为了说明的目的，第二装置106被显示为具有第二用户接ロ 338、第二存储单元346、第二控制单元334和第二通信単元336的分区，但是应理解，第二装置106可具有不同的分区。例如，第二软件342可被不同地分区，从而使其某些功能或所有功能可以存在于第ニ控制单元334和第二通信単元336中。另外，第二装置106可包括为了清楚而在图3中没有显示的其它功能単元。第一装置102中的功能単元可单独且独立于其它功能単元工作。第一装置102可单独且独立于第二装置106和通信路径104工作。第二装置106中的功能单元可单独且独立于其它功能单元工作。第二装置106可单独且独立于第一装置102和通信路径104工作。为了说明的目的，通过第一装置102和第二装置106的操作来描述显示系统100。应理解，第一装置102和第二装置106可操作显示系统100的任意模块和功能。现在參照图4，其中显示了显示系统100的控制流程。显示系统100可包括图像序列402。图像序列402被定义为在装置上显示的一系列图像。例如，图像序列402可包括在第一时间段显示的第一图像、在第二时间段显示的第二图像、在第三时间段显示的第三图像等。第一时间段、第二时间段和第三时间段被定义为不同的时间或时隙，并且彼此不同。图像序列402可被处理以被显示在第一装置102上。图像序列402可包括先前输入图像404、当前输入图像406和后续输入图像408。当前输入图像406被定义为图像序列402中正被处理以显示的图像。先前输入图像404被定义为刚好在当前输入图像406之前被处理以显示的图像。后续输入图像408被定义为刚好在当前输入图像406之后被处理以显示的图像。为了说明的目的，显示系统100被显示为具有图像序列402，图像序列402具有先前输入图像404、当前输入图像406和后续输入图像408，但是应理解，图像序列402可包括不同数量的图像。例如，图像序列402可包括一个或多个在先前输入图像404之前的图像、一个或多个在后续输入图像408之后的图像或者它们的组合。作为另一示例，图像序列402可仅包括先前输入图像404之前的图像或仅包括后续输入图像408之后的图像。先前输入图像404、当前输入图像406和后续输入图像408可分别具有先前输入像素410、当前输入像素412和后续输入像素414。先前输入图像410、当前输入图像412和后续输入像素414被定义为用于分别产生先前输入图像404、当前输入图像406和后续输入图像408的各个像素。显示系统100可包括图像深度映射416。图像深度映射416被定义为表示图像中的每个像素的深度信息的映射。图像深度映射416可以是当前输入图像412的每个像素的图像像素深度418的映射。图像像素深度418被定义为图像的感知距离或感知深度211的度量。例如，如果当前输入像素412中的第一像素的图像像素深度418大于当前输入像素412的第二像素的图像像素深度，则当前输入像素412的第一像素可看起来比当前输入像 素412的第二像素更近。显示系统100可包括像素运动模块420。像素运动模块420用于跨图像序列地追踪像素并计算该像素的时间运动。时间运动被定义为在图像序列或一系列图像中特定像素从一幅图像到下一幅图像的位置或定位的改变。像素运动模块420可接收图像序列402。像素运动模块420可以是可选的。像素运动模块420可计算运动矢量422。运动矢量422被定义为描述像素的时间运动的信息。运动矢量422可以是当前输入像素412的时间运动的度量。例如，可将运动矢量422度量为沿图2的X轴213和图2的z轴217的改变，或可将运动矢量422度量为描述时间运动的幅度和方向的矢量。运动矢量422的计算可以是可选的。作为另一示例，像素运动模块420可通过识别先前输入图像中的先前输入像素410中对应的像素、后续输入图像中的后续输入像素414中的对应像素或者它们的组合,来追踪图像序列402中的当前输入像素412。像素运动模块420可通过各种不同方法来计算针对当前输入像素412的运动矢量422。例如，像素运动模块420可使用块匹配算法、相位相关方法、递归算法。作为另一示例，像素运动模块420可通过各种方法(诸如均方差(MSE)、绝对差求和(SAD)或者平均绝对差(MAD))检验像素运动。显示系统100可包括对象检测模块424。对象检测模块424用于检测图像中的对象并用于检测具有局部的时间运动426的对象。局部的时间运动426被定义为在图像的有限或特定的区域或部分内发生的运动。将在下面更详细地讨论这些功能中的每一个。对象检测模块424可接收图像序列402。可选地，对象检测模块424可接收运动矢量422。对象检测模块424可识别输入对象像素428。输入对象像素428被定义为表示图像中的对象或出现在一系列图像中的对象的像素。输入对象像素428可表示当前输入图像406、先前输入图像404、后续输入图像408或它们的组合中的输入对象430。输入对象430被定义为在图像的流或序列中保持相对固定的位置的对象。具有相对固定的位置的对象的意思是在图像的流或序列中沿着X轴213或z轴217具有少量移动或没有移动的对象。例如，输入对象430可包括以下项字幕的文本的串或组、体育事件中的计分板、或者动画或非动画的标志(诸如表示电视台的标志)、或者滚动横幅或文本字段(诸如用于广告或新闻更新的滚动文本)，这些项在当前输入图像406、先前输入图像404、后续输入图像408或它们的组合中可出现在相对固定的位置。输入对象430可以是通过图像的流或序列中的多个连续图像出现的对象。显示系统100可包括对象调整模块432。对象调整模块432用于减少或消除对于作为整体的当前输入图像406和当前输入图像406的局部部分中的输入对象像素428的误检测。以下将更详细地讨论每个功能。对象调整模块432可以是可选的。显示系统100可包括对象深度模块434。对象深度模块434用于计算深度权重并用深度权重计算图像中的对象的深度。以下将更详细地讨论这些功能中的每个功能。对象深度模块434可产生对象像素深度436。对象像素深度436被定义为输入对象像素428的感知距离或感知深度211的度量。显示系统100可包括图像转换模块438。图像转换模块438用于产生具有感知深·度211的图像。图像转换模块438可通过将图像深度映射416应用于要显示在第一装置102上的当前输入图像406来从当前输入图像406产生处理的图像212。图像转换模块438可将图像像素深度418应用于当前输入像素412以产生当前处理的像素442。当前处理的像素442被定义为被处理为具有感知深度211的像素。可从当前处理的像素412产生处理的图像212。图像转换模块438可将对象像素深度436应用于输入对象像素428以产生处理的对象像素444。处理的对象像素444被定义为表示图像中具有感知深度211的对象。可从处理的对象像素444产生处理的对象214。显示系统100可包括图像显示模块440。图像显示模块用于将图像显示在装置上。图像显示模块440可将处理的图像212显示在第一装置102上。显示系统100可被实现在图I的第一装置102、第二装置106上，或者被划分在第一装置102和第二装置106之间。例如，第二装置106可通过作为图3的第二装置传输310的图3的通信路径104，发送具有当前输入图像406、先前输入图像404、后续输入图像408或它们的组合的图像序列402。第一装置102可用图3的第一通信単元316接收图像序列402。图3的第一通信接ロ 328可将图像流发送到图3的第一存储单元314、图3的第一控制单元312或它们的组合。图3的第一软件326或第一控制单元312可运行像素运动模块420、对象检测模块424、对象调整模块432、对象深度模块434、图像转换模块438和图像显示模块440。第一控制接ロ 322或第一存储接ロ 324可将处理的图像212发送到图3的第一显示接ロ 330。第一显示接ロ 330可接收并显示处理的图像212。显示系统100描述作为示例的模块功能或顺序。模块可被不同地划分。例如，第ニ软件342可包括像素运动模块420或对象调整模块432。每个模块可单独且独立于其它模块进行操作。此外，在一个模块中产生的数据可被另ー模块使用，而不用模块彼此直接连接。例如，对象深度模块434可接收图像序列402。现在參照图5，其中显示了对象检测模块424的示图。对象检测模块424可用对象识别模块502从当前输入像素412识别输入对象像素428。对象识别模块502用于基于像素特性的差异来识别表示图像中的对象的像素。对象识别模块502可基于像素特性的差异从当前输入像素412识别输入对象像素428。像素特性被定义为特定像素的属性或特性。例如，像素特性可包括运动矢量422、当前输入像素412的颜色、当前输入像素412的亮度或当前输入像素412的任意其它属性或特性。对象识别模块502可基于当前输入像素412的像素特性的差异的组合来识别输入对象像素。例如，对象检测模块424可基于当前输入像素412的邻近像素之间或当前输入像素412的组之间的运动矢量422、颜色或亮度的差来识别输入对象像素428，或者类似地通过当前输入图像406中的边缘检测来识别输入对象像素428。作为一特定示例，当当前输入像素412的运动矢量422相比于当前输入像素412的邻近像素的运动矢量422较低时，对象检测模块424可将当前输入像素412中的一个识别为输入对象像素428。在另一特定示例中，当在当前输入像素412的邻近像素之间或者在当前输入像素412的邻近片段之间检测到强的或锐利的边缘时，对象检测模块424可将当 前输入像素412中的一个识别为输入对象像素428。对象检测模块424可包括对象运动模块504。对象运动模块504用于识别具有局部时间运动426的像素。例如，对象运动模块504可检查基于颜色、亮度、边缘检测或其它属性被识别为输入对象像素428的输入对象像素428的运动矢量422。如果输入对象像素428的运动矢量422具有以下特征较小、恒定、没有方向、在多幅图像中局限于相同的有限空间，或者运动矢量422具有以上特征的组合，则对象运动模块504可确定输入对象像素428具有局部时间运动426。具有局部时间运动426的输入对象430的示例可包括诸如滚动文本、动画标志或符号、或滚动广告的对象。显示系统100可被实现在图I的第一装置102上，实现在图I的第二装置106上，或者被划分在第一装置102和第二装置106之间。例如，图3的第二存储单元346可存储对象识别模块502，第一控制单元312可运行对象识别模块502。显示系统100描述作为示例的模块功能或顺序。模块可被不同地划分。例如，第一控制单元312可包括对象识别模块502，第一存储单元314可具有对象运动模块504。每个模块可单独且独立于其它模块进行操作。此外，在一个模块中产生的数据可被另一模块使用，而不用彼此直接连接。例如，对象运动模块504可接收图像序列402。现在参照图6，其中显示了对象调整模块432的示图。对象调整模块432可用图像调整模块604和局部调整模块606防止输入对象像素428的误检测。误检测被定义为对区域中的像素的不适当或不正确的检测或识别。例如，当当前输入图像406所呈现的场景中运动很小或没有运动(诸如，静止场景或静止拍摄)时，输入对象像素428的误检测可能发生。图像调整模块604用于基于整体像素运动和表示图像所呈现的场景的信息来防止对表示作为整体的图像中的对象的像素的误检测。例如，图像调整模块604可确定当前输入图像406中是否存在足够的运动，从而通过将图像运动平均608与图像运动门限610相比较来精确地识别图像中的输入对象像素428。图像运动平均608被定义为图像中的整体像素运动的度量。例如，图像调整模块604可通过对当前输入图像406中的当前输入像素412中的每个像素的运动矢量422的幅度求平均，来计算图像运动平均608。作为另ー示例，高的图像运动平均608的值可意味着当前输入图像406表示了具有高运动程度的场景，诸如电影中的动作片断或体育场景。相反，低的图像运动平均608的值可意味着当前输入图像406具有低运动程度，诸如新闻广播或采访场景。图像运动门限610被定义这样的门限，其用于确定图像何时具有足够的整体像素运动以精确地识别表示对象的像素。例如，图像运动门限610可以是代表具有少量运动或没有运动的静止场景的预定的值或百分比。图像调整模块604可确定当前输入图像406是否具有足够的运动,从而在图像运动平均608在图像运动门限610之上时精确地识别输入对象像素428。例如，如果图像调整模块604确定图像运动平均608在图像运动门限610之上，则显示系统100可使用对象深度模块434来计算输入对象像素428的对象像素深度436。相反，如果图像运动平均608在图像运动门限610之下，则显示系统100可跳过对象像素深度436的计算，并使用图像像素深度418。 图像调整模块604可包括场景调整模块612。场景调整模块612用于检验表示图像中具有少量运动或没有运动的对象的像素。场景调整模块612可基于场景信息614检验当前输入图像406中的输入对象像素428。场景信息614被定义为描述当前输入图像406所呈现的场景的类型的信息。场景信息614可描述当前输入图像406所呈现的任何类型的场景。例如，场景信息614可以是家庭购物网络的场景、体育广播的场景或新闻广播的场景。场景调整模块612可针对具有场景信息614中的特定场景信息的当前输入图像406检验输入对象像素428。例如，如果场景信息614是具有低于图像运动门限610的图像运动平均608的场景，但是是与输入对象430共同关联的场景，则场景调整模块612可将当前输入像素412检验为输入对象像素428。作为示例，与输入对象430共同关联的场景信息614可包括共同包括字幕、标志或包含文本或信息的方框的场景，诸如家庭购物场景或新闻电视广播场景。局部调整模块606用于防止对表示具有较小运动或没有运动的图像的局部部分中的对象的像素的误检测。例如，局部调整模块606可防止对表示缩放场景616中的对象的像素的误检測。缩放场景616被定义为图像部分的聚焦或散焦的场景。局部调整模块606可用局部运动模块618识别当前输入图像406的局部部分。局部运动模块618用于识别具有相机缩放的图像部分。例如，局部调整模块606可通过使用当前输入像素412的运动矢量422识别被高运动的区域所包围的少量运动或没有运动的局部区域，来检测缩放，其中，所述运动矢量422具有从中心部分或具有少量像素运动或没有像素运动的区域向外辐射的方向。当局部运动模块618检测到缩放场景618时，局部调整模块606可阻止针对当前输入图像406的具有少量像素运动或没有像素运动的部分中的输入对象像素428计算对象像素深度436。显示系统100可被实现在图I的第一装置102上，被实现在图I的第二装置106上，或者被划分在第一装置102和第二装置106之间。例如，图3的第二存储单元346可存储场景信息614，第一控制单元312可运行场景调整模块612。显示系统100描述作为示例的模块功能或顺序。模块可被不同地划分。例如，第一控制单元312可包括图像调整模块604，第一存储单元314可具有局部调整模块606。每个模块可单独且独立于其它模块进行操作。此外，在一个模块中产生的数据可被另一模块使用，而不用彼此直接连接。例如，局部调整模块606可接收图像序列402。现在参照图7，其中显示了当前输入图像406的图像深度映射416的示例性部分。图像深度映射416的部分被表示为7x9的像素块。图像深度映射416可包括当前输入像素412、输入对象像素428和图像像素深度418。当前输入像素412被描绘为实线方块。输入对象像素428被描绘为虚线方块。图像像素深度418由当前输入像素412和输入对象像素428中的每个里面的数字表示。下划线的数字表示输入对象像素428的图像像素深度418。沿着图像深度映射416的顶部的数字是列号，沿着图像深度映射416的左侧的数字是行号。
作为示例，当前输入像素412和输入对象像素428中较高的图像像素深度418的值可表示更大的图2的感知深度322的值。作为特定示例，第I行中具有较大的图像像素深度418的值的当前输入像素412和输入对象像素428将看起来比第7行中具有低的图像像素深度418的值的当前输入像素412和输入对象像素428更近。现在参照图8，其中显示了对象深度模块434的示图。对象深度模块434可包括深度权重模块802。深度权重模块802用于计算权重因子，权重因子用于计算表示图像中的对象的像素的深度。深度权重模块802可计算深度权重804。深度权重804被定义为基于深度候选806以及各种像素属性和特性的值。可基于深度候选806计算深度权重804，其中，深度候选806可包括图像像素深度418、固定深度808、图像最大深度810、时间最大深度812、行平均深度814、行最大深度816和局部深度818。可针对当前输入图像406中的输入对象像素428中的每个像素计算深度权重804。固定深度808被定义为不基于图像的位置改变的深度值。例如，对象像素深度436为固定深度808的输入对象430将具有相同的感知深度211的值(不管当前输入图像406中的位置)，或具有当前输入图像406中与输入对象430邻近的部分的相同的感知深度211的值。固定深度808可以是针对图像序列预定义的恒定值，可从图像序列中的一幅图像到另一副图像变化，或者可通过迭代或递归方法针对图像序列被启发式地确定。作为特定示例，固定深度808可以基于默认设置，诸如对于8比特深度值的值128。图像最大深度810被定义为基于图像中的像素的最大深度的深度的度量。图像最大深度810可被计算为具有当前输入图像406中的图像像素深度418的最高值的当前输入像素412的百分比。例如，对象像素深度436为图像最大深度810的输入对象430将具有这样的感知深度211 :所述感知深度211是小于当前输入图像406的具有最大的感知深度211的值的部分的百分比。作为特定示例，图像最大深度810可以是当前输入图像406中具有最高的图像像素深度418的值的当前输入像素412的图像像素深度418的95%。图像最大深度810的示例可由图7示出。在图7中，图像最大深度810可以是9. 5，这是出现在第I行、第5-7列的图像像素深度418的最高值的95%。时间最大深度812被定义为跨多个连续图像的最大像素深度的平均值。例如,可通过对先前输入图像404、当前输入图像406和后续输入图像408的图像最大深度810求平均来计算时间最大深度812。时间最大深度812可以是图像序列402的图像最大深度810的平均的95%。行平均深度814被定义为图像中的ー个或多个像素行的平均深度。深度权重模块802可用行平均深度模块820计算行平均深度814。行平均深度模块820可针对当前输入像素412的当前行822计算行平均深度814。当前行822被定义为当前输入像素412中由行平均深度模块820求平均的行。当前行822可具有行宽度824，行宽度824被定义为跨当前输入图像406的宽度的当前输入像素412的总数。可将行平均深度814计算为包括当前输入像素412中在当前输入像素412的当前行822之上和之下的垂直邻近行的数量的平均。可通过组因子826确定在行平均深度814的计算中所包括的行的数量，组因子824被定义为在行平均深度814的计算中所包括的垂直邻近行的数量。组因子826可以是恒定值，或者可基干与当前行822邻近的行中的输入对象像素428的检测而变化。
行平均深度模块820可根据等式(I)计算行平均深度814，等式(I)如下所示
_凡メ::ェ獅)等式⑴在等式I中，Dka是行平均深度814，W是行宽度824，j是当前行822，i是当前行822中的第i像素，K是组因子826，Dip (ii，jj)是当前行822 j和沿行宽度824的位置i处的图像像素深度418。作为示例，对象像素深度436为行平均深度814的输入对象430将具有这样的感知深度211，所述感知深度211是当前输入像素412中用于计算行平均深度814的行的感知深度211的平均。行平均深度模块820的示例可由图7示出。深度权重模块802可针对具有输入对象像素428的单个行来计算行平均深度814。例如，第二行可具有8. 7的行平均深度814，第三行可具有7. 2的行平均深度814，第五行可具有3. 6的行平均深度814，第六行可具有2. 5的行平均深度814。类似地，深度权重模块802可针对具有输入对象像素428的邻近行计算行平均深度。例如，第二行和第三行可具有8的行平均深度814，第五行和第六行可具有3. I的行平均深度814。行最大深度816被定义为当前输入像素412中具有输入对象像素428的行或具有输入对象像素428的垂直邻近行的组中的图像像素深度418的最大值。深度权重模块802可针对当前输入像素412和输入对象像素428中的每ー个检查图像像素深度418，并可将行最大深度816确定为针对给定行的图像像素深度418的最大值。类似地，针对每行都具有输入对象像素428的多个垂直邻近行，深度权重模块802可针对当前输入像素412和输入对象像素428中的每ー个检查图像像素深度418，并可将行最大深度816确定为图像像素深度418的最大值。行最大深度816的示例可由图7示出。深度权重模块802可针对具有输入对象像素428的单个行来计算行最大深度816。例如，第二行可具有9的行最大深度816，第三行可具有8的行最大深度816，第五行可具有4的行最大深度816，第六行可具有3的行最大深度816。类似地，深度权重模块802可针对具有输入对象像素428的邻近行计算行最大深度。例如，第二行和第三行可具有9的行最大深度816，第五行和第六行可具有4的行最大深度816。局部深度818被定义为像素行的组中的最大像素深度。深度权重模块802可用局部深度模块828计算局部深度818。将在下面更详细地讨论局部深度模块828的功能。深度权重模块802可将深度权重804计算为深度候选806的加权平均，其中，所述深度候选804包括固定深度808、图像最大深度810、时间最大深度812、行平均深度814和局部深度818。优选地，对于深度权重804，50%到75%可基于图像像素深度418，0%到7%可基于行平均深度814，9%到25%可基于图像最大深度810或时间最大深度812，9%到25%可基于局部深度818。对象深度模块434可以可选地包括权重调整模块830。权重调整模块830用于基于对象像素位置832、对象像素属性834或它们的组合来调整用于计算像素深度的因子的
权重。 对象像素位置832被定义为当前输入图像406中的输入对象像素428的位置。例如，对象像素位置832可以是当前输入图像406中的特定坐标或图像的一般区域，诸如当前输入图像406的底部、中心或角落。作为另一示例，对象像素位置832可以与输入对象430所共有的区域相关联，诸如，在当前输入图像406的底部中央或左上角。对象像素属性834被定义为与输入对象430共同相关联的属性，诸如特定颜色或亮度等级。例如，与表示字幕文本的输入对象430相关联的对象像素属性834是颜色(诸如白色或亮黄色)或相对于当前输入图像406的邻近部分的高亮度。作为另一示例，对象像素属性834可以是诸如计分板周围的滑雪板(boarder)的特征。权重调整模块830可基于对象像素位置832和对象像素属性834调整深度权重804以增加或减少输入对象像素428的感知深度211。例如，如果权重调整模块830检测到对象像素位置832和对象像素属性为共同地与输入对象430相关联，则权重调整模块830可调整深度权重804，以通过增加感知深度211来进一步将输入对象430与当前输入图像406相区分。作为特定示例，权重调整模块830可通过将深度权重804调整为50%的图像像素深度418、0%的行平均深度814、25%的图像最大深度810和25%的局部深度818，来将输入对象430与当前输入图像406相区分。在另一示例中，如果权重调整模块830检测到对象像素位置832和对象像素属性834为没有共同地与输入对象430相关联，则权重调整模块830可调整深度权重804以减少感知深度211或使输入对象430与当前输入图像406混合。作为特定示例，与输入对象430没有共同关联的对象像素位置832可以是当前输入图像406的中心。在另一特定示例中，权重调整模块830可通过将深度权重调整为75%的图像像素深度418、7%的行平均深度814、9%的图像最大深度810和9%的局部深度818，来使输入对象430与当前输入图像406混合。作为另一示例，权重调整模块830可针对具有局部时间运动426的输入对象像素428调整深度权重804。作为特定示例，深度权重804可被调整为使图像像素深度418的权重最小化并使图像最大深度810的权重最大化。在另一特定不例中，深度权重804可以是0 %的图像像素深度418、75 %的图像最大深度810和25 %的局部深度818。对象深度模块434可通过将对应于输入对象像素428的图像像素深度418与输入对象像素428的深度权重804相乘，来计算对象像素深度436。
已经发现本发明提供了具有減少的处理的对象214和处理的图像212之间的深度视差的显示系统100。从深度候选806的加权平均计算出的深度权重804可用于计算对象像素深度436，并应用于输入对象430以产生具有与处理的图像212減少的深度视差的处理的对象214。通过显示处理的图像212的实体转换导致实体世界的移动，诸如，当玩游戏或观看3d图像时，人们响应于处理的图像212移动。第一显示接ロ 330可通过操作第一装置102上的像素显示处理的图像，因此导致实体世界的移动。显示系统100可被实现在图I的第一装置102上，被实现在图I的第二装置106上，或者被划分在第一装置102和第二装置106之间。例如，图3的第二存储单元346可存储对象像素位置832，第一控制单元312可运行权重调整模块830。显示系统100描述作为示例的模块功能或顺序。模块可被不同地划分。例如，第一控制单元312可包括深度权重模块802、局部深度模块828和行平均深度模块820，第一存储单元314可具有权重调整模块830。每个模块可单独且独立于其它模块进行操作。·此外，在一个模块中产生的数据可被另ー模块使用，而不用彼此直接连接。例如，权重调整模块830可接收图像像素深度418。现在參照图9，其中是局部深度模块828的示图。局部深度模块828可用行求和模块902、ニ进制转换模块904、最大过滤模块906、行深度分组模块908、组最大模块910和均匀深度模块912计算局部深度818。行求和模块902用于针对图像中的每个像素行计算表示对象的像素的数量。行求和模块902可计算对象行总和914。对象行总和914被定义为在当前输入像素412的给定行中的输入对象像素428的总数量。例如，如果输入对象像素428的行具有五个输入对象像素428，则行求和模块902可计算出对象行总和914为五。行求和模块902可针对当前输入图像406中的当前输入像素412的每一行计算对象行总和914。ニ进制转换模块904用于将表示针对像素的给定行的像素计数的值转换为ニ进制值。ニ进制转换模块904可基于ニ进制门限，针对当前输入图像406中的当前输入像素412的每一行将对象行总和914转换为ニ进制行值916。ニ进制行值916被定义为行是否包含表示对象的像素的ニ进制度量。ニ进制门限917被定义为用于确定行中是否有足够的表示对象的像素的门限。可基于当前输入像素412的行中的输入对象像素428的总数的百分比来确定ニ进制门限917。例如，可将ニ进制门限917确定为当前输入像素412的行中的输入对象像素428的总数的4%。作为特定示例，如果当前输入像素412的行具有值为480的对象行总和914，则可将ニ进制门限917计算为19，接近于480的4%。ニ进制转换模块904可通过将对象行总和914与ニ进制门限917相比较来计算ニ进制行值916。例如，当当前输入像素412的行的对象行总和914大于ニ进制门限917吋，ニ进制转换模块904可将该特定行的ニ进制行值916设置为一。相反，当当前输入像素412的行的对象行总和914小于ニ进制门限917吋，则ニ进制转换模块904可将该特定行的ニ进制行值916设置为零。最大过滤模块906用于过滤出ニ进制值为零的像素行。最大过滤模块906可基于ニ进制行值916产生ニ进制行组918。ニ进制行组918被定义为当前输入像素412中二进制值916为一的垂直邻近行的组。最大过滤模块906可通过过滤出当前输入像素412中二进制行值916为零的行来产生二进制组918，所述二进制行值916为零的行位于当前输入像素中二进制行值916为一的紧密间隔的行之间。作为示例，最大过滤模块906可确定是否满足两个条件。第一，当前输入像素412中二进制行值916为零的一系列垂直邻近行位于当前输入像素412中二进制行值916为一的一系列垂直邻近行之间。第二，二进制行值916为一的垂直邻近行的数量应该大于二进制行值916为零的垂直邻近行的数量。局部深度模块828可使用行平均深度模块820来针对当前输入图像406中的当前输入像素412的每一行计算单个行深度920。单个行深度920被定义为当前输入图像406的一行中的所有当前输入像素412的图像像素深度418的平均值。局部深度模块828可根据以上的等式(I)计算单行深度820，其中组因子K是零。
局部深度模块828可用行深度分组模块908基于单个行深度920和二进制行值916识别行深度组922。行深度组922被定义为一系列的连续的邻近像素行。连续的邻近像素行是没有中间间隔的多个行。例如，图像中的像素的第一行、第二行和第三行可以是连续邻近行。相反，由于第二行和第四行在该系列的行中形成了间隔，因此第一行、第三行、第五行不是连续邻近行。行深度分组模块908可通过将单个行深度920乘以当前输入像素412的每行的二进制值916来识别行深度组922。在相乘之后，行深度分组模块908可将当前输入像素412中具有非零值的连续邻近行分组。例如，当在将单个行深度920乘以每行的二进制行值916之后，当前输入像素412的两行或更多行具有非零值时，行深度分组模块908可识别行深度组 922。局部深度模块828可用组最大模块910确定行深度组922的组最大深度924。组最大模块910可通过使组最大深度924等于行深度组922中的单个行深度920的最大值来确定行深度组922的组最大深度924。局部深度818可以是当前输入像素412中垂直分组的行的组最大深度924。局部深度模块828可用均匀深度模块912确定局部深度818。均匀深度模块912用于将均匀深度值指定给组中的所有像素行。均匀深度模块912可将行深度组922的每一行中的所有当前输入像素412的局部深度818指定为组最大深度924。作为示例，局部深度818可以是当前输入像素412的垂直分组行的组最大深度924。均匀深度模块912可针对当前输入图像406中的每个行深度组922指定局部深度818。显示系统100可被实现在图I的第一装置102上，被实现在图I的第二装置106上，或者被划分在第一装置102和第二装置106之间。例如，图3的第二控制单元334可运行行求和模块902，第一控制单元312可运行二进制转换模块904。显示系统100描述作为示例的模块功能或顺序。模块可被不同地划分。例如，第一控制单元312可包括行求和模块902、二进制转换模块904、最大过滤模块906，第一存储单元314可具有行深度分组模块908、组最大模块910和均匀深度模块912。每个模块可单独且独立于其它模块进行操作。此外，在一个模块中产生的数据可被另一模块使用，而不用彼此直接连接。例如，组最大模块910可接收图像像素深度418。现在參照图10，其中显示了当前输入图像406的示例。当前输入图像406包括具有输入对象像素428的行，如虚线内的区域所示。白色区域表示当前输入像素412。作为示例，输入对象像素428可表示当前输入图像406中的字幕或其它文本。现在參照图11，其中显示了行求和模块902的示例。行求和模块902可计算对象行总和914，对象行总和914是图10的当前输入像素412的每一行中的图10的输入对象像素428的总数，如图表1102的虚线内的区域所示。图表1102的x轴对应于图10的当前输入图像406的行。图表1102的y轴是输入对象像素428的数量的參照。现在參照图12，其中显示了ニ进制转换模块904的示例。ニ进制转换模块904可将图11的对象行总和914转换为图10的当前输入像素412的每一行的ニ进制行值916，如图表1202的虚线内的区域所示。图表1202的X轴对应于图10的当前输入像素406的行。图表1202的y轴是ニ进制行值916的參考。
作为示例，图表1202沿着图表1202的左边部分描绘了第一组1204，第一组1204包括ニ进制行值916为ー的四行和ニ进制行值916为零的三行。第一组1204中二进制行值916为零的行对应于当前输入像素412中二进制行值916为ー的紧密间隔的行。类似地，作为另ー示例，图表1202沿着图表1202的右边部分描绘了第二组1206，第二组1206包括ニ进制行值916为ー的两行和ニ进制行值916为零的一行。现在參照图13，其中显示了最大过滤模块906的示例。最大过滤模块906可产生ニ进制行组918，如图表1302的虚线内的区域所示。最大过滤模块960可过滤出当前输入像素412中二进制行值916为零的行以产生ニ进制行组918 (如图13所示)，所述ニ进制行值916为零的行位于当前输入像素中二进制行值916为ー的紧密间隔的行之间。图表1302的X轴对应于图10的当前输入图像406中的行。图表1302的y轴是ニ进制行值916的參考。作为示例，图表1302沿着图表1302的左边部分描绘了ニ进制行组918的第一组1304。类似地，作为另ー示例，图表1302沿着图表1302的右边部分描绘了ニ进制行组918的第二组1306。现在參照图14，其中显示了行平均深度模块820的示例。行平均深度模块820可针对图10的当前输入图像406中的图10的当前输入像素412的每一行计算单个行深度920，如图表1402所示。图表1402上的曲线1404表示当前输入图像406中的当前输入像素412的每一行的单个行深度920。图表1402的x轴对应于当前输入图像406中的行。图表1402的y轴是单个行深度920的參考。现在參照图15，其中显示了行深度分组模块908的示例。行深度分组模块908可通过针对图10的当前输入像素412的每一行将图14的单个行深度920乘以图13的ニ进制行值916，来产生行深度组922，如图表1502所示。图表1502的x轴对应于当前输入图像406中的行。图表1502的y轴是单个行深度920的參考。在相乘之后，行深度分组模块908可将当前输入像素412中具有非零值的连续邻近行分组，以产生行深度组922。作为示例，图表1502沿着图表1502的左边部分描绘了行深度组922的第一组1504。类似地，作为另ー示例，图表1502沿着图表1502的右边部分描绘了行深度组922的第二组1506。
现在参照图16，其中显示了组最大模块910的示例。组最大模块910可通过使组最大深度924等于行深度组922中的图14的单个行深度920的最大值，来确定行深度组922的组最大深度924，如图表1602所示。图表1602的x轴对应于图10的当前输入图像406中的行。图表1602的y轴是单个行深度920的参考。作为示例，图表1602沿着图表1602的左边部分描绘了具有组最大深度924的第一值1608的行深度组922的第一组1604。类似地，作为另一示例，图表1602沿着图表1602的右边部分描绘了具有组最大深度924的第二值1610的行深度组922的第二组1606。现在参照图17，其中显示了均匀深度模块912的示例。均匀深度模块912可针对图16的行深度组922的每一行中的图10的所有当前输入像素412将局部度818指定为组最大深度924，如图表1702的虚线内的区域所示。图表1702的x轴对应于图10的当前输入图像406中的行。图表1702的y轴是局部深度818的参考。作为示例，图表1702沿着图表1702的左边部分描绘了当前输入像素412中具有 局部深度818的第一值1708的行的第一组1704。类似地，作为另一示例，图表1702沿着图表1702的右边部分描绘了当前输入像素412中具有局部深度818的第二值1710的行的第二组 1706。现在参照图18，其中显示了在本发明的另一实施例中的显示系统的操作的方法1800的流程图。方法1800包括在方框1802，接收具有当前输入像素的当前输入图像；在方框1804，基于当前输入像素的特性差异识别具有输入对象像素的输入对象；在方框1806，基于深度候选的加权平均，从当前输入图像的图像深度映射计算输入对象像素的对象像素深度；在方框1808，用图像深度映射和用于在装置上显示的对象像素深度，从当前输入图像产生具有感知深度的处理的图像。得到的方法、处理、设备、装置、产品和/或系统是简单直接、成本高效、不复杂、高度通用、准确、敏感和有效的，并且可通过调整已知部件被实现用于完备、有效和经济的制造、应用和使用。本发明的另外的重要方面在于其可贵地支持和服务于降低成本、简化系统和提高性能的历史趋势。本发明的这些和其它有价值的方面因此将技术状态至少发展到新的水平。虽然已经结合特定最佳模式描述了本发明，但是应理解，根据前面的描述，多种选择、修改和变化对于本领域的技术人员将是明显的。因此，旨在包含落入包括的权利要求的范围内的所有这样的选择、修改和变化。在此和前面阐述或在附图中显示的所有内容应被理解为是说明性而非限制性。
权利要求
1.一种显示系统的操作的方法，包括 接收具有当前输入像素的当前输入图像； 基于当前输入像素的特性差异识别具有输入对象像素的输入对象； 基于深度候选的加权平均，从当前输入图像的图像深度映射计算输入对象像素的对象像素深度； 使用图像深度映射和用于在装置上显示的对象像素深度，从当前输入图像产生具有感知深度的处理的图像。
2.如权利要求I所述的方法，其中，识别输入对象的步骤包括识别具有局部时间运动的输入对象。
3.如权利要求I所述的方法，其中，计算对象像素深度的步骤包括基于输入对象像素的对象像素位置调整深度候选的加权平均。
4.如权利要求I所述的方法，其中，计算对象像素深度的步骤包括基于输入对象像素的对象像素属性调整深度候选的加权平均。
5.如权利要求I所述的方法，还包括使用场景信息检验输入对象像素。
6.—种显示系统的操作的方法，包括 接收具有当前输入像素的当前输入图像； 基于当前输入像素的特性差异识别具有输入对象像素的输入对象； 基于图像最大深度、行平均深度、局部深度和图像像素深度的加权平均，从当前输入图像的图像深度映射计算输入对象像素的对象像素深度； 使用图像深度映射和用于在装置上显示的对象像素深度，从当前输入图像产生处理的图像。
7.如权利要求6所述的方法，其中，计算对象像素深度的步骤包括基于时间最大深度计算对象像素深度。
8.如权利要求6所述的方法，其中，基于行平均深度计算对象像素深度的步骤包括使用当前行的平均和当前输入像素的垂直邻近行计算行平均深度。
9.如权利要求6所述的方法，其中，基于局部深度计算对象像素深度的步骤包括将局部深度指定为当前输入像素的垂直分组的行的组最大深度。
10.如权利要求6所述的方法，其中，产生处理的图像的步骤包括将对象像素深度应用于输入对象像素，以产生具有感知深度的处理的对象。
11.一种显不系统,包括 通信単元，接收具有当前输入像素的当前输入图像； 对象检测模块，与通信单元连接，基于当前输入像素的特性差异识别具有输入对象像素的输入对象； 对象深度模块，与对象检测模块连接，基于深度候选的加权平均，从当前输入图像的图像深度映射计算输入对象像素的对象像素深度； 图像转换模块，与对象深度模块连接，使用图像深度映射和用于在装置上显示的对象像素深度，从当前输入图像产生具有感知深度的处理的图像。
12.如权利要求11所述的系统，还包括对象运动模块，与对象检测模块连接，识别具有局部时间运动的输入对象。
13.如权利要求11所述的系统，还包括权重调整模块，与对象深度模块连接，基于输入对象像素的对象像素位置调整深度候选的加权平均。
14.如权利要求11所述的系统，还包括权重调整模块，与对象深度模块连接，基于输入对象像素的对象像素属性调整深度候选的加权平均。
15.如权利要求11所述的系统，还包括场景调整模块，与对象检测模块连接，使用场景イM息检验输入对象像素。
全文摘要
一种具有图像转换机制的显示系统及其操作的方法，所述显示系统的操作的方法包括接收具有当前输入像素的当前输入图像；基于当前输入像素的特性差异识别具有输入对象像素的输入对象；基于深度候选的加权平均，从当前输入图像的图像深度映射计算输入对象像素的对象像素深度；使用图像深度映射和用于在装置上显示的对象像素深度，从当前输入图像产生具有感知深度的处理的图像。
文档编号H04N13/04GK102833571SQ201210199668
公开日2012年12月19日 申请日期2012年6月14日 优先权日2011年6月14日
发明者金伦敬, 周治, 金永铎 申请人:三星电子株式会社