专利名称：图像处理装置、图像处理方法和程序的制作方法
技术领域：
本发明涉及具有用于转换位深度(即，位数)的色调(palette)(即，灰 度)转换功能的图像处理装置、图像处理方法和程序。
背景技术：
例如，考虑具有N位像素值的图像。如果这种图像要由显示具有M位 像素值(其中M小于N)的图像的显示装置显示，则首先将N位图像转换为 M位图像。换句话说，进行色调转换以转换图像的色调。
一种用于将图像从N位色调转换到M位色调的方法涉及通过丢弃最低 有效位，然后将结果量化为M位像素值来简单地将N位像素值截取为M位。
在这种量化色调转换中，例如256级(tone)色调(=28)可以使用8位表 示，而仅仅16级色调(=24)可以使用4位表示。为此，如果通过丢弃8位灰度 级图像的最低有效位并且使用4个最高有效位量化结果来进行色调转换，则 在级改变的位置将出现条紋。
存在色调转换方法来避免这种条紋的出现，并且在转换后图像中创建表 示转换前色调级的假象(illusion)。误差扩散方法是上面的一种示例。通过这 种误差扩散方法，例如可以转换256级图像的色调以获得对人眼看起来表示 256级的16级图像，而实际仅使用16级。
换句话说，如果简单丟弃最低有效位，则显示图像中的量化误差变得明 显，这使得难以保持画面质量。结果，还存在误差扩散方法，其考虑人类视 觉的特性并且执行AS调制以将这种量化误差调制到图像的上界(upper range)内。在误差扩散中，量化误差典型地使用二维(2D)滤波器滤波。这 种2D滤波器包括Jarvis、 Judice和Ninke滤波器、以及Floyd-Steinberg滤波 器(例如参见Hitoshi Kiya， "Yoku wakaru dijitaru gazou shori" (Digital image processing made easy),第6版，CQ出版，2000年1月，196-213页)
发明内容
同时，还可构思进行IDAS调制而不是2D。
然而，在具有色调转换功能的图像处理装置中，如果对输入源使用ID 色调转换，则可能产生大的、视觉上显而易见的噪声。此外，与色调转换正 交(orthogonal)的颜色分量的变化也可能被注意到。这是因为在正交于ID 色调转换的方向上产生类似于普通抖动的效果。结果，典型误差扩散技术非 有意地应用于垂直分量。
此外，在一些视频重放系统中，原始源可能以特定画面尺寸输出。如果 误差扩散技术应用到这种系统，则误差扩散将应用到在视频系统中内部处理 的信号。
在此情况下的问题是，因为处理了不同于原始信号的信号，所以即使在 误差扩散的应用不适合给定源的情况下也应用了误差扩散。结果，整体图像 表示几乎不改进，并且替代地，可能导致作为抖动的缺点之一的降低的S/N比。
因此，希望提供一种图像处理装置、图像处理方法和程序，能够避免误 差扩散的不适当应用，并且#4居源的特性适应性地应用色调转换功能。
根据本发明的第一实施例的图像处理装置包括处理子系统，配置来对 于原始视频源执行各种处理；色调转换器，配置来转换色调位深度，其具有 用于在转换后的图像中创建表示转换前的色调级的假象的可修改的色调转换 功能；以及控制器，配置来至少根据原始源信息和系统范围的(system-wide) 设置信息开启所述色调转换器、关闭所述色调转换器、或修改所述色调转换 器的色调转换功能。
根据本发明的第二实施例的图像处理方法包括以下步骤对于原始视频 源执行各种处理；至少根据原始源信息和系统范围的设置信息开启色调转换 器、关闭所述色调转换器、或修改所述色调转换器的色调转换功能；当已经 关闭所述色调转换器时，停止色调转换功能的表示；并且当已经开启所述色 调转换器时，转换经历各种处理的图像信号的色调位深度，以便在转换后的 图像中创建表示转换前的色调级的假象。
根据本发明的第三实施例的程序使得计算机执行包括以下步骤的图像处 理对于原始视频源执行各种处理；至少根据原始源信息和系统范围的设置 信息开启色调转换器、关闭所述色调转换器、或修改所述色调转换器的色调 转换功能；当已经关闭所述色调转换器时，停止色调转换功能的表示；并且当已经开启所述色调转换器时，转换经历各种处理的图像信号的色调位深度， 以便在转换后的图像中创建表示转换前的色调级的假象。
根据本发明的实施例，避免误差扩散的不适当应用，并且根据源的特性 适应性地应用色调转换功能。
图1是图示根据本发明实施例的、具有1DSBM功能的视频系统图像处 理装置的示例性基本配置的框图2是图示根据本发明实施例的、构成SBM处理器的主要部分的色调 转换器的示例性配置的框图3图示图2中示出的抖动加法器的示例性配置;
图4图示要经历色调转换的像素的序列；
图5图示在HDMI规范1.3中获得的信息；
图6是用于说明在本发明的实施例中、用于根据来自各个块的信息切换 HPF的滤波器系数的处理的流程图； 图7图示源视频信息的示例；以及
图8是图示已经应用根据本发明的实施例的图像处理装置的记录和重放 装置的示例性配置的框图。
具体实施例方式
以下，将结合附图描述本发明的实施例。将以以下顺序进行描述
1. 第一实施例(图像处理装置的示例性基本配置)
2. 第二实施例(对其应用了图像处理装置的记录和重放装置的示例性配 置)
<1.第一实施例>
图1是图示根据本发明实施例的、具有1DSBM功能的视频系统图像处 理装置的示例性基本配置的框图。
根据本实施例的视频信号图像处理装置100实现1D超级位映射(SBM)
功能。这里，SBM指这样的技术，当将多位信号处理结果量化为各位时，通 过在与人类视觉特性协调的上界内添加噪声实现信号传输而没有多位分量的 损失。本实施例的图像处理装置100配置来根据源的特性进行SBM。换句话说， 在本实施例中，没有简单地将1D SBM应用于输入视频信号。替代地，基于 原始源信息和关于最终输出的信息适应性地控制SBM。例如，通过根据源切 换高通滤波器(随后要描述的HPF)的系数，可以控制SBM的激活或停用。
图1中示出的图像处理装置100包括AV解码器llO、画面质量调节器 120、 1/P块130、特征分析块140、 SBM处理器150、源特性信息存储体160 以及用作控制器的CPU 170。在本实施例中，AV解码器llO、画面质量调节 器120、 1/P块130和特征分析块140共同形成处理子系统。
AV解码器110根据预定压缩编码格式解码输入音频和视频的压缩数据 (即，AV解码器IIO解压缩压缩的数据)。换句话说，AV解码器110将原始 源转换为视频信号。
画面质量调节器120具有用于调节由AV解码器IIO解码的视频信号的 画面质量的功能。
I/P (隔行扫描/逐行扫描)块130进行IP转换，并且将结果输出到特征 分析块140和SBM处理器150。
特征分析块140获取视频信号的特征点信息。例如，特征分析块140可 以全部以每个像素为基础获取平坦(flat)部分、灰噪声部分、蚊状(mosquito) 部分和细节部分。此外，特征分析块140还可以获取关于特定像素的其他信 息，包括黑色部分、边缘强度信息、平坦部分信息和色度级信息。
在通过CPU 170的控制下，SBM处理器150可以通过根据源切换高通滤 波器(随后要描述的HPF)的系数，停用SBM或修改SBM如何进行。
图2是图示根据本实施例的、构成SBM处理器的主要部分的色调转换 器的示例性配置的框图。
色调转换器200具有色调转换功能，用于取例如已经通过噪声降低处理 扩展到14位图像的8位图像的视频信号，并且将该视频信号的色调转换为可 以由给定显示设备处理和显示的位深度(如8位、10位或12位)。
色调转换器200包括抖动加法器210和IDAS调制器220。
抖动加法器210通过将随机噪声加到形成那些目标像素的像素值IN(x,y) 使目标像素抖动，然后将结果输出到1DAS调制器220。
ID AS调制器220对于来自抖动加法器210的抖动 目标像素执行ID △Z调制，并且将由得到的像素值OUT(x,y)构成的图像输出为色调转换器200图3图示图2中示出的抖动加法器210的示例性配置。
如图3所示，抖动加法器210包括算术单元211、高通滤波器(HPF)212、 随机噪声输出单元213和系数设置单元214。
算术单元211以光栅扫描顺序提供有目标像素的像素值IN(x,y)，如图4 所示。算术单元211还提供有来自HPF212的输出。算术单元211将HPF212 的输出加到目标像素值IN(x，y)，然后将得到的和值提供到ID AZ调制器220 作为抖动的像素值F(x,y)。
基于由系数设置单元214设置的滤波器系数，HPF 212滤波由随机噪声 输出单元213输出的随机噪声，然后将得到的随机噪声的高范围分量提供到 算术单元2H。
随机噪声输出单元213根据例如高斯分布生成随机噪声，并且将结果输 出到HPF212。
主要地，系数设置单元214通过确定滤波器系数HPF-CE1、 HPF-CE2或 HPF-CE3配置HPF 212。基于人类视觉的空间频率特性以及显示设备的分辨 率，确定这些滤波器系数。在本实施例中，系数设置单元214根据来自CPU 170 的控制指令从滤波器系数HPF-CE1、 HPF-CE2和HPF-CE3中选择一个。
因此如上所述，在抖动加法器210中，系数设置单元214才艮据来自CPU 170的指令从滤波器系数HPF-CE1 、HPF-CE2和HPF-CE3选择HPF 212的滤 波器系数。随后，HPF 212执行算术计算，如取由系数设置单元214设置的 滤波器系数和由随机噪声输出单元213输出的随机噪声之间的乘积的和。通 过这样做，HPF 212滤波由随机噪声输出单元213输出的随机噪声。
结果，HPF 212将随机噪声的高范围分量提供到算术单元211 。
算术单元211将目标像素的14位像素值IN(x，y)和来自HPF 212的随机 噪声的高范围分量加到一起。这导致例如在位长上等于目标像素的位长的14 位和值，或导致更大位长的和值。算术单元211然后将得到的和值输出到1D 调制器220作为抖动的像素值F(x,y)。
除了控制装置的整体操作外，CPU 170不简单地将ID SBM应用到输入 视频信号，而是替代地，基于原始源信息和关于最终输出的信息适应性地控 制SBM。例如，CPU 170可以通过根据源切换高通滤波器(随后要描述的 HPF)的系数，停用SBM或修改SBM如何进行。CPU 170根据各种信息进行SBM处理器150的开启/关闭控制。CPU 170 还根据来自电视(TV)的信息进行自动切换控制，以便切换SBM位长。根 据来自AV解码器110、画面质量调节器120、 I/P块130和特征分析块140 的信息，CPU 170切换在SBM处理器150中提供的色调转换器200的抖动加 法器210中的HPF 212的滤波器系数。
为了以下原因，在本实施例中适应性地控制SBM。
如果简单地将id sbm应用到输入视频信号，则与sbm方向正交的噪 声分量可能变得明显。为此，使用图像分析的结果控制id sbm，使得正交 噪声不容易明显。
此外，在一些视频重放系统中，原始源可能以特定画面尺寸输出。如果 将误差扩散技术应用于这种系统，则误差扩散将被应用于在视频系统中内部 处理的信号。
在此情况下的问题是，因为处理不同于原始信号的信号，所以即使在误 差扩散的应用不合适给定源的情况下也应用该误差扩散。结果，整体图像表 示几乎不改进，并且替代地，可能导致作为抖动的缺点之一的降低的S/N比。
因为由视频信号重放系统以更改的状态如此输出原始源，所以在此控制 SBM,使得将来自应用到原始源的多个处理的结果用来修改SBM设置，并 且进一步增加SBM的效果。
现在将描述由图1中示出的图像处理装置100的CPU 170^l行的控制的 具体示例。
CPU 170根据指示正使用数字输出还是模拟输出的使用信息切换SBM 开启或关闭。替代地，CPU 170可以根据数字或模拟分类，从HPF-CEl、 HPF-CE2和HPF-CE3中为HPF 212选择滤波器系数。
例如，在通过HDMI的数字输出的情况下，CPU 170可以使用HDMI监 视器信息(如在图5中示出的HDMI规范1.3中获得的HDMI监视器信息) 来自动切换SBM位长。例如，可以控制14位值变为12位、10位或8位值。
CPU 170根据来自AV解码器110、画面质量调节器120、 1/P块130和 特征分析块140的信息，切换在SBM处理器150中提供的色调转换器200的抖动加法器210中的HPF212的滤波器系数。CPU 170还开启或关闭SBM。 图6是用于说明用于在本实施例中根据来自各个块的信息切换HPF的滤 波器系数的处理的流程图。 (步骤ST1 )
在步骤ST1中，^r查原始源的编解码器类型。编解码器类型可以是例如 MPEG2、 MPEG4 - AVC或VC _ 1 。 (步骤ST2 )
在步骤ST2中，检查输入和输出尺寸的组合。下面给出示例性输入尺寸。 输入1920x1080/24p、 1920xl080/60i、 1440xl080/60i、 1280x720/60p、 720x480/60p、 720x480/60i等。 下面给出示例性输出尺寸。
输出1920xl080/60p、 1920xl080/24p、 1920xl080/60i、 1280x720/60p、 720x480/60p、 720x480/60i。 (步骤ST3 )
在步骤ST3中，检查画面质量调节功能。例如，可以检查如噪声降低(NR) 的功能开启还是关闭。 (步骤ST4 )
在步骤ST4中，检查在图像输出前是否执行I/P转换。例如，可以检查 是否将60i转换为60p。 (步骤ST5 )
在步骤ST5中，检查来自特征分析块140的特征信息。关于目标像素的 信息可以包括例如黑色部分、边缘强度信息、平坦部分信息和色度级信息。 (步骤ST6 )
在步骤ST6中，将从每个块获得的分数得到的信息用作用于关闭SBM 处理器150的基础，或替代地，用于将HPF 212的滤波器系数改变为滤波器 系数HPF-CE1 、 HPF-CE2或HPF-CE3的基础。
图7图示源视频信息的示例。源视频信息按类别包括如编解码器类型、 原始源分辨率、主输出分辨率、外部定标器(scaler )、特殊场景信息和HDMI 输出信息。
前面如此描述了关于本发明的第 一 实施例的SBM功能的配置和功能。 下文中，将描述已经应用了图1中示出的图像处理装置的记录和重放装置的配置和功能，作为本发明的第二实施例。 <2.第二实施例>
图8是图示已经应用根据本发明的实施例的图像处理装置的记录和重放 装置的示例性配置的框图。
根据本实施例的记录和重放装置10配置为这样的装置，其能够将外部提 供的视频内容记录到记录介质(如硬盘驱动器(HDD)或光盘)上，此外重 放已经记录到这种记录介质上的视频内容。记录和重放装置IO可以配置为多 功能设备，其操作为使用光盘作为记录介质的光盘记录器、以及使用硬盘作 为记录介质的HDD记录器。
视频内容(这里也可以简称为"内容")可以是例如从广播台接收的电视 广播节目、外部输入的视频节目或从如DVD或BD (蓝光盘TM )的介质读取 的视频节目的内容。
这里，电视广播包括经由波段(airwave)(例如如地面数字或模拟广播、 BS (广播卫星)广播和CS (通信卫星)广播)广播的节目内容。此外，电视 广播还包括经由网络(如有线电视广播、IPTV (因特网协议TV)和VOD (视 频点播))传递的节目内容。
现在将概述根据本实施例的记录和重放装置10的特性。 当记录或重放视频内容时，根据本实施例的记录和重放装置10分析视频 内容的整体视频，并且预先获取表示内容的特性部分的特征点信息。然后， 当另一次重放该视频内容时，记录和重放装置IO应用特征点信息来调节重放 一见频的画面质量。
换句话说，例如当记录节目内容时，根据本实施例的记录和重放装置10 分析该节目的内容，并且记录表示该节目的视频的特征的信息(即，特征点 信息)。当随后重播节目内容时，记录和重放装置10使用特征点信息来动态
地控制用于该节目内容的输出画面质量调节功能，从而改进输出视频的画面
质f 。
更具体地，当记录如电视广播节目或电影的视频内容时，记录和重放装
置10分析视频内容的整体视频。记录和重放装置10然后检测 目内容中的 特征，如场景改变、淡入淡出(fade)、交叉衰落(cross-fade )、字符出现的 场景和具有大钟摆(ticker)或字幕的场景。这些特征记录为特征点信息。随后，当在视频内容的重放期间控制输出画面质量调节功能时，记录和 重放装置10应用特征点信息作为相对于用于画面质量调节的普通控制参数 的反馈，从而根据视频的特征动态地控制输出画面质量调节。
此时，用户还能够通过轮转(toggling)解锁的配置设置选择特征点信息 将影响画面质量调节多少。
下文中，将详细描述用于在根据本实施例的记录和重放装置10中实现上 述的配置。
现在将结合图8描述根据本实施例的记录和重放装置IO的硬件配置。 图8是图示根据本实施例的记录和重放装置10的配置的框图。在图8
中，"A，，指示音频信号，而"V"指示视频信号。
如图8所示，记录和重放装置10包括模拟调谐器11、 A/D转换器12、
模拟输入端口 13、 DV (数字视频)输入端口 14、 DV解码器15和数字调谐
器16。
记录和重放装置10还包括i丄INK端口 17、 USB端口 18、通信单元19、 AV编码器20、流处理器30、 AV解码器40、定标器42和音频处理器44。
记录和重放装置10还包括HDD52、光盘驱动器54、特征点提取块60、 输出画面质量调节块70、图形处理器80、显示处理器82和D/A转换器84。
记录和重放装置10还包括ROM (只读存储器)92、 RAM (随机存取存 储器)94、用户接口 96和CPU (中央处理单元)170。
在图8中示出的记录和重放装置10中，AV解码器40、输出画面质量调 节块70、图形处理器80、显示处理器82和CPU170的视频处理子系统具有 类似于图1中示出的图像处理装置的那些部件的功能。
可能形成具有等同于特征分析块140和SBM处理器150的功能块的显 示处理器82。也可能将特征分析块140的功能并入特征点提取块60而不是 显示处理器82。
已经结合图1到6详细描述了 SBM处理和其控制，因此这里省略其进 一步描述。
下文中，将描述记录和重放装置IO的各个组件的配置和功能。 模拟调谐器ll调谐到由用于模拟广播的天线1接收的波段中希望的频 道，解调用于该频道的电磁波，并且生成节目内容接收机信号(即，音频/视频模拟信号)。此外，模拟调谐器11对于接收机信号执行预定的视频信号处理，例如如中频放大、颜色信号分离、色差信号生成和同步信号提取。然后模拟调谐器11输出得到的视频信号。
A/D转换器12获取从模拟调谐器11或模拟输入端口 13输入的音频和视
频模拟信号，以预定的采样频率将获取的模拟信号转换为数字信号，并且将
结果输出到AV编码器20。
模拟输入端口 13获取从外部设备2输入的音频和视频模拟信号。类似地，DV输入端口 14获取从外部设备3 (如DV兼容的数字摄像机)
输入的音频和视频DV信号。
DV解码器15解码这种DV信号，并且将结果输出到AV编码器20。数字调谐器16调谐到由用于卫星或地面数字广播的天线4接收的波段中
希望的频道，然后在该频道上将节目内容的音频和视频数字数据(即，比特
流)输出到流处理器30。
其他外部输入端口 (如i丄INK端口 17和USB端口 18 )可以连接到外
部设备5和6,如HDV (高清晰度视频)兼容的数字摄像机。经由i丄INK端
口 17将来自外部设备5由IEEE 1394传送的音频和视频HDV信号(即，流)
输入流处理器30。
通信单元19经由IP网络(如以太网7)与外部装置(未示出)交换各种数据。例如，通信单元19可以接收经由以太网7传送的IPTV节目内容的音频和视频信号，然后将这种信号输出到流处理器30。
AV编码器20是通过作为压缩和编码音频和视频信号的编码单元的示例配置的硬件。AV编码器20获取从如A/D转换器12、 DV解码器15、以及随后描述的定标器42和音频处理器44的组件输入的音频和视频信号，并且使用预定的编解码器类型编码信号。
AV编码器20是与HD (高清晰度)和SD (标准清晰度)视频兼容的高性能编码器，因此除了 SD分辨率以外能够以HD分辨率编码视频信号。
此外，AV编码器20还与立体声和多声道音频兼容，因此除了两声道音频信号以外能够编码多声道音频信号。
AV编码器20编码要以对应于由CPU 170确定的记录才莫式的比特率记录的内容的音频和视频信号。AV编码器20将以此方式编码的音频/视频信号的压缩数据(即，比特流)输出到流处理器30。当将数据记录到记录介质或从记录介质回放数据时，流处理器30以预定
方式处理要记录或回放的数据(即，流)。例如，当记录数据时，流处理器
30复用并加密由AV编码器20编码的压缩数据，然后在执行緩冲控制的同时将结果记录到记录单元50中的记录介质。(记录单元50包括HDD52和光盘驱动器54。)相反，当重放数据时，流处理器30从记录单元50中的记录介质读取压缩数据，解密并解复用读取的数据，然后将结果输出到AV解码器40。
AV解码器40是通过作为解码压缩的音频和视频信号的解码单元的示例配置的硬件。AV解码器40获取从流处理器30输入的音频和视频信号的压缩数据，并且使用预定的编解码器类型解码(即，解压缩压缩的数据)。
由上面的视频的AV编码器20和AV解码器40使用的编解码器类型包括例如MPEG-2、 H.264AVC (高级视频编码)和VC1。对于音频，编解码器类型可以包括例如杜比AC3、 MPEG-2 AAC (高级音频编码)和LPCM(线性脉冲编码调制)。
此外，如上所述，以多种阵列的格式的音频A见频信号可以从外部源输入记录和重放装置10。取决于视频质量，这种视频信号的格式(即，画面尺寸)可以包括例如480i、 480p、 720p、 1080i和1080p。
例如，1080i指以30 fJDs的帧速率传输的、具有隔行扫描格式的(总共1125条中的)1080条可视水平扫描线的视频信号。1080i信号的分辨率是1920x1080或1440x1080像素。
另一方面，720p指以60fi)s的帧速率传输的、具有逐行扫描格式的(总共750条中的)720条可视水平扫描线的视频信号。720p信号的分辨率是1280x720或960x720像素。
在上面给出的视频信号格式中，480i和480p由于它们小数目的扫描线和低分辨率而分类在SD视频类别(下文中称为SD类别)中。
相反，720p、 1080i和1080p由于它们大lt目的扫描线和高分辨率而分类在HD视频类别(下文中称为HD类别)中。
同时，音频信号格式(即，声道的数目)可以例如包括1CH、 2CH、 5.1CH、 7.1 CH、 4CH、 5CH和6CH。
例如，5.1 CH指从6个扬声器输出的多声道音频信号位于相对于听众的正前、右前、左前、右后和左后的5个扬声器，以及用于产生低频效果(LFE)的第6个亚低音扬声器(subwoofer )。
在上面给出的音频信号格式中，1 CH (单声道)和2CH (立体声)由于它们相对小数目的声道和低声音质量而分类在立体声音频类别(下文中称为立体声类别)中。
相反，5.1 CH、 6.1 CH、 7.1 CH、 4 CH和5 CH由于它们相对大数目的声道和高声音质量而分类在多声道音频类别(下文中称为多声道类别)中。
记录和重放装置10还包括用于将以上述格式之一输入的各种音频/视频信号转换为与特定记录介质兼容的预定记录格式的格式转换器。格式转换器
包括定标器42 (视频格式转换器)和音频处理器44 (音频格式转换器)。
基于来自CPU 170的指今，定标器42将从AV解码器40输入的视频信号的格式转换为预定记录格式。(换句话说，定标器42调节画面尺寸。)例如，如果以属于HD类别的格式(如，720p或1080p)输入视频信号，则定标器42可以将该视频信号转换为与记录介质兼容的预定记录格式1080i。在转换画面尺寸后，定标器42将得到的视频信号输出到AV编码器20。
以此方式，定标器42不但包括用于在HD和SD分辨率之间转换画面尺寸的典型定标器功能，而且包括用于在属于相同的视频格式类别的多种格式之间转换画面尺寸的功能。这里，这种画面尺寸转换功能包括例如在HD类别中将视频从720p转换到1080i。
基于来自CPU170的指令，音频处理器44将从AV解码器W输入的音频信号的格式转换为预定记录格式。(换句话说，音频处理器44修改声道的数目。)例如，如果以属于多声道类别(如7.1CH、 4CH或5CH)的才各式输入音频信号，则音频处理器44可以将音频信号转换为预定的多声道记录格式5.1 CH,所述5.1 CH与记录和重放装置IO兼容。在修改声道的数目后，音频处理器44将得到的音频信号输出到AV编码器20。
以此方式，音频处理器44不但包括用于在不同类别的音频格式之间转换声道数目的功能，而且还包括用于在属于相同音频格式类别的多种格式之间转换声道数目的功能。这里，这种声道数目转换功能包括例如在多声道类别中将音频从5 CH转换为5.1 CH。
记录和重放装置10还包括记录单元50，其将如内容的音频和视频数据的信息记录到记录介质。根据本实施例的记录和重放装置10中的记录单元50可以包括例如硬盘驱动器(HDD) 52和光盘驱动器54。HDD 52从用作记录介质的硬盘读取各种信息，并且将各种信息写入所述硬盘。例如，HDD52可以将从流处理器30输入的音频/视频信号流记录到硬盘。此外，HDD52可以读取记录到硬盘上的数据，并且将读取的数据输出到流处理器30。
类似地，光盘驱动器54从用作记录介质的光盘读取各种信息，并且将各种信息写入所述光盘。例如，用户可以将具有记录在其上的视频内容的销售的可移除记录介质(如DVD或BD)插入光盘驱动器54。通过这样做，光盘驱动器54能够从可移除记录介质读取和重放;规频内容。
以此方式，记录和重放装置10中的记录单元50具有2个主要组件HDD52和光盘驱动器54。通过这些组件，可以将记录在HDD52上的内容记录到光盘驱动器54上，反之亦然。
任意记录介质可用作上述记录介质。例如，可以使用如硬盘的磁盘，以及如下一代DVD (如蓝光盘)和DVD - R、 DVD - RW或DVD - RAM盘的光介质。
替代地，其他任意记录介质可以用作上述记录介质，如^f兹光或类似光盘，以及如闪存的各种半导体存储器。
此外，记录介质可以是记录和重放装置10中固定的记录介质，或可以加载到记录和重放装置10中并从记录和重放装置IO上载的可移除记录介质。
使用例如具有用于分析视频信号并提取关于内容视频中的特征点的信息的功能的硬件配置特征点提取块60。当将外部获取的内容记录到记录单元50中的记录介质上时，或当重放记录到记录介质上的内容时，特征点提取块60根据来自CPU 170的指令分析内容的视频信号。然后特征点提取块60从视频信号提取表示内容视频中的特征点的信息，并且将得到的信息输出到CPU170。
输出画面质量调节块70配置为例如具有用于调节输出画面质量的功能的硬件。当重放记录在记录单元50中的记录介质上的内容时，输出画面质量调节块70根据来自CPU 170的指令调节重放内容的输出画面质量。此时，CPU 170基于特定内容，使用与重放内容有关的特征点信息动态地控制输出画面质量调节块70的操作。
当重放数据时，图形处理器80生成信息，如指示记录和重放装置10的配置设置或操作条件的字幕或显示数据。然后图形处理器80将这种显示数据和字幕覆盖到从输出画面质量调节块70输出的重放视频。
显示处理器82处理由图形处理器80生成的合成视频，例如根据输出格式调节画面尺寸。显示处理器82还包括之前描述的sbm功能。
在通过cpu 170的控制下，显示处理器82不简单将1d sbm应用到输入视频信号。替代地，基于原始源信息和关于最终输出的信息适应性地控制sbm。例如，显示处理器82通过根据源切换高通滤波器(hpf)的系数，可以停用sbm或修改如何进行sbm。
d/a转换器84取从显示处理器82输入的数字视频信号和从av解码器40输入的数字音频信号，将信号转换为模拟信号，并且将结果输出到监视器8和一个或多个扬声器9。
cpu 170用作计算处理装置和控制装置，并且控制记录和重放装置10中的各个组件。cpu 170根据rom 92中存储的或从记录单元50加载到ram94中的程序，使用ram94执行各种处理。rom92存储如由cpu 170使用的程序和计算参数的信息，并且还用作用于减少通过cpu 170对记录单元50的访问的緩冲器。ram 94暂时存储由cpu 170执行的程序、以及在这种程
序的执行期间改变的参数或其他信息。此外，cpu no还用作其他组件，如
特性信息获取器、分析器、控制例程生成器和画面质量调节控制器。
用户接口 96用作输入单元，从而用户输入关于记录和重放装置10的各种指令。用户接口 96可以包括可操作键(如按钮、开关和操纵杆)或其他可操作部件(如触摸面板或遥控器)。用户接口 96还包括响应于对于上面的可操作部件执行的输入操作生成输入信号、然后将生成的输入信号输出到cpu170的输入控制电路。通过操作用户接口 96，记录和重放装置io的用户能够输入各种数据并且将用于处理操作的指令发布到记录和重放装置10。
在接收对于用户接口 96进行的用户输入时，cpu 170基于用户输入，例如控制内容的记录或重放，或配置安排的广播节目的记录。
现在将描述由如图8所示配置的记录和重放装置10执行的记录操作。例如当已经安排用于记录的记录节目内容时，或当直接响应于用户指令记录节目内容时，执行这种记录操作。此外，当记录外部输入的内容时，或当在hdd52和光盘驱动器54之间复制内容时，也可以执行这种记录操作。
首先，将描述用于将外部输入的模拟信号编码并且记录在记录介质上的情况的序列。例如，在使用天线1接收模拟电视广播时，通过A/D转换器12将从模拟调谐器11输出的模拟视频信号和模拟音频信号数字化。随后，通过AV编码器20编码数字音频和视频信号，并且转换为比特流。此外，数字音频和视频信号通过流处理器30复用并加密，然后在緩冲控制下的同时记录到HDD52或光盘驱动器54中的记录介质上。
上面如此描述了以从模拟调谐器11输出的模拟信号的形式记录输入信号的示例。然而，也可以给出如下的其他的记录示例。
(1)可能记录经由模拟输入端口 13从外部设备2获取的外部模拟输入信号。
(2 )可能使用DV解码器15来经由DV输入端口 14解码和获取来自DV兼容的数字摄像机或类似的外部设备3的DV信号。对于上面的两种情况的任一，序列是相似的。
现在将描述用于下面情况的序列，其中，在被解码后，外部输入数字信号(即，比特流)重新编码为与特定记录介质兼容的数字记录格式，然后记录到该'特定记录介质。
例如，在使用天线4接收数字电视广播时，通过流处理器30将从数字调谐器16输出的比特流解扰码并解复用为音频信号和视频信号，然后输入到AV解码器40。随后，通过AV解码器40解码数字视频信号和数字音频信号。
通过定标器42适当地将解码的数字视频信号调节大小到预定的画面尺寸，然后输入AV编码器20。同时，通过音频处理器44适当地将解码的数字音频信号转换为预定数目的声道，然后输入AV编码器20。
随后，类似于上述模拟信号，通过AV编码器20将转换的数字音频/视频信号编码(即，重新编码)。然后转换的数字音频/视频信号通过流处理器30复用和加密，并且在緩冲控制下的同时记录到HDD 52或光盘驱动器54中的记录介质上。
以此方式，当要记录的输入信号是压缩的数字信号(即，流)时，当适当时重新编码该信号。换句话说，压缩的数字信号首先通过AV解码器40解码为流数据，通过定标器42和音频处理器44转换为不同的格式，通过AV编码器20重新编码为与特定记录介质兼容的预定记录格式，然后记录在该记录介质上。还应该理解，在输入数字信号原始处于与该记录介质兼容的预定格式的情况下，可以省略重新编码。上面如此描述了记录从数字调谐器16输出的数字广播的音频/视频信号的示例。然而，也可以如下给出其他的记录示例。
(1) 可能记录经由i丄INK端口 17从HDV摄像机或类似外部设备5获取的HDV信号(即，流)。
(2) 可能记录经由以太网7和通信单元19接收的IPTV输入流。
(3 )可能读取已经直接记录到HDD 52或其他记录介质上的外部流。这里，直接记录指将例如从经由USB端口 18连接的外部设备6获取的输入流或接收的数字广播的HD视频流记录到HDD 52上。
(4 )还可能将从光盘驱动器54中的光盘读取的流记录到HDD 52上。对于所有上面的情况，序列是相似的。
此外，当将像上述的各种外部提供的内容记录到根据本实施例的记录和重放装置10的记录单元50中的记录介质时，也处理要记录的内容，以便提取特征点信息并且创建控制例程。
更具体地，当记录内容时，从流处理器30将要记录的内容的视频信号输入特征点提取块60。通过特征点提取块60和CPU 170分析#见频信号，并且提取表示要记录的内容的整体视频的特征的特征点信息。
基于特征点信息，生成用于当在随后的重放期间调节内容的画面质量时控制输出画面质量调节块70的控制例程。例如，将控制例程存储在记录单元50的HDD 52中。
以此方式，当相对于根据本实施例的记录和重放装置10中的记录单元50记录内容时，根据关于内容视频的特征点信息，为每组内容创建和记录控制例程。
现在将描述由如图8所示配置的记录和重放装置IO执行的重放操作。当重放在过去或在追逐(chase)播放期间记录的内容时执行这种重放操作，其中当剩余的内容仍在记录的过程中的同时从开始起重放内容。
首先，通过记录单元50的HDD 52或光盘驱动器54，从其上记录内容的记录介质读取要重放的内容的数据(即，视频、音频和字幕或其他数据)。通过流处理器30将如此读取的比特流解密和解复用为音频流和视频流。
接下来，通过AV解码器40分别解码视频流和音频流(即，压缩的数据)。然后将解码的视频流(即，重放视频信号)输入到输出画面质量调节块70,并且为了画面质量调节进行处理。此时，CPU 170基于特征点信息，遵循之前为当前内容创建的控制例程，控制输出画面质量调节块70。通过这样做，在要重放的内容的视频中的适当位置执行适当的画面质量调节。
息添加到调节的视频流。此外，通过显示处理器82调节各参数(如视频流的画面尺寸)，以便匹配输出格式。然后将得到的视频流数字输出，或替代地，输入D/A转换器84。
此外，视频处理器82不简单地将1D SBM应用于输入视频信号。替代地，由CPU 170基于原始源信息和关于最终输出的信息适应性地控制SBM。例如，显示处理器82可以通过根据源切换高通滤波器(HPF)的系数，停用SBM或f，改SBM如<可进4亍。
同时，从AV解码器40输出的音频流适当地经历预定的音频处理，然后输入D/A转换器84。
结果，通过D/A转换器84将表示音频和视频流的数字信号分别转换为模拟信号，然后输出到外部设备，如监视器8和一个或多个扬声器9。监视器8显示重放内容的视频，而一个或多个扬声器9输出重放内容的音频。
根据本实施例的记录和重放装置IO还可以执行处理，以便即使当重放如上所述的这种内容时，也提取和分析关于要重放的内容的特征点信息。
例如，如当通过可移除记录介质(如零售的DVD或BD )将内容提供到记录和重放装置10时，对于记录到可移除记录介质上的内容不进行如特征点信息的提取的处理。
因此，在此情况下，当重放内容时(例如，当首次重放内容时)，执行特征点信息的提取和处理，并且创建用于调节内容的画面质量的控制例程。
更具体地，当重放内容时，从流处理器30将从记录单元50读取的要重放的内容的视频信号输入特征点提取块60。然后执行与记录内容时执行的处理类似的处理，其中基于来自视频信号的分析的结果提取要重放的内容的特征点信息，基于该特征点信息创建控制例程，然后将控制例程记录到记录单元50中的记录介质。通过这样做，在随后的内容的重放期间基于控制例程最佳地调节要重放的内容的画面质量。
如之前所述，根据本实施例的图像处理装置100配置来根据源的特性进行SBM。换句话说，在本实施例中，不简单地将1DSBM应用于输入视频信号，替代地，基于原始源信息和关于最终输出的信息适应性地控制1DSBM。
例如，通过根据源切换高通滤波器(HPF)的系数，可以停用SBM或可以修 改SBM。
结果，根据本发明的实施例，避免误差扩散的不适当应用，并且根据源 的特性适应性地应用色调转换功能。换句话说，变得可能适应性地利用SBM 的优点。
还可能将上述方法形成为对应于之前描述的序列并且配置用于由CPU 或类似计算机执行的程序。此外，这种程序可以提供在记录介质上，如半导 体存储器、磁盘、光盘或软盘，其中程序可以由已经在其中设置记录介质的 计算机来访问和执行。
本申请包含涉及于2008年9月26日向日本专利局提交的日本优先权专 利申请JP 2008-249276中公开的主题内容，在此通过引用并入其全部内容。
本领域的技术人员应该理解，取决于设计要求和其他因素，可以出现各 种修改、组合、子组合和替换，只要他们在权利要求或其等同物的范围内。
权利要求
1.一种图像处理装置，包括处理子系统，配置来对于原始视频源执行各种处理；色调转换器，配置来转换色调位深度，其具有用于在转换后的图像中创建表示转换前的色调级的假象的可修改的色调转换功能；以及控制器，配置来至少根据原始源信息和系统范围的设置信息开启所述色调转换器、关闭所述色调转换器、或修改所述色调转换器的色调转换功能。
2. 如权利要求1所述的图像处理装置，其中所述色调转换器包括滤波器，配置来根据设置的滤波器系数滤波已经产 生的随机噪声，以及
3. 如权利要求1或2所述的图像处理装置，其中 所述控制器根据来自电视的信息控制所述色调转换器中的位长的自动切换。
4. 如权利要求3所述的图像处理装置，其中所述控制器使用在数字输出期间从监视器信息获得的信息，控制所述色 调转换器中的位长的自动切换。
5. 如权利要求1到3的任一所述的图像处理装置，其中 所述控制器根据来自处理子系统的各种信息，开启所述色调转换器，关闭所述色调转换器，或切换所述色调转换器的色调转换功能中的滤波器系数。
6. 如权利要求5所述的图像处理装置，其中所述控制器根据指示正使用数字输出还是模拟输出的使用信息，开启或 关闭所述色调转换器。
7. 如权利要求5或6所述的图像处理装置，其中 所述控制器根据数字或模拟分类修改所述滤波器系数。
8. 如权利要求1到7的任一所述的图像处理装置，其中所述色调转换器 包括抖动加法器，配置来通过将随机噪声添加到形成目标图像的像素值，将 抖动应用到所述目标图像，以及ai:调制器，配置来将一维as调制应用到来自所述抖动加法器的抖动的目标图像，并且输出由得到的像素值构成的图像。
9. 如权利要求1到8的任一所述的图像处理装置，其中 所述处理子系统包括解码器，配置来将原始源转换为视频信号， 画面质量调节器，配置来调节解码的视频信号的画面质量， I/P单元，配置来将画面质量调节器的输出从隔行扫描I转换为逐 行扫描P格式，并且将结果提供到所述色调转换器，以及特征分析器，配置来获取关于从I/P单元输出的视频信号的特征点息,并且其中所述控制器配置来根据来自所述解码器、画面质量调节器、1/P单元和特 征分析器的信息，开启所述色调转换器，关闭所述色调转换器，或修改所述 色调转换器的色调转换功能。
10. —种图像处理方法，包括以下步骤 对于原始^L频源-执行各种处理；至少根据原始源信息和系统范围的设置信息，开启色调转换器、关闭所述色调转换器、或修改所述色调转换器的色调转换功能；当已经关闭所述色调转换器时，停止色调转换功能的表示；以及当已经开启所述色调转换器时，转换经历各种处理的图像信号的色调位深度，以便在转换后的图像中创建表示转换前的色调级的假象。
11. 一种使得计算机执行包括以下步骤的图像处理的程序 对于原始视频源执行各种处理；至少根据原始源信息和系统范围的设置信息，开启色调转换器、关闭所述色调转换器、或修改所述色调转换器的色调转换功能；当已经关闭所述色调转换器时，停止色调转换功能的表示；以及当已经开启所述色调转换器时，转换经历各种处理的图像信号的色调位深度，以便在转换后的图像中创建表示转换前的色调级的假象。
全文摘要
一种图像处理装置避免误差扩散的不适当应用，并且根据源的特性适应性地应用色调转换功能。处理子系统对于原始视频源执行各种处理。色调转换器转换色调位深度，其具有用于在转换后的图像中创建表示转换前的色调级的假象的可修改的色调转换功能。控制器至少根据原始源信息和系统范围的设置信息开启所述色调转换器、关闭所述色调转换器、或修改所述色调转换器的色调转换功能。本发明还涉及图像处理方法和程序。
文档编号H04N5/00GK101686307SQ20091017852
公开日2010年3月31日 申请日期2009年9月27日 优先权日2008年9月26日
发明者太田正志, 广田洋一, 池田洁, 滨田敏道, 长沼宏昌, 高桥巨成 申请人:索尼株式会社