专利名称：图像信号处理设备和方法、图像显示设备、方法和系统的制作方法
技术领域：
本发明涉及图像信号处理设备、图像信号处理方法、图像显示设备、图像显示方 法、程序和图像显示系统，并且涉及优选地例如在显示对象的立体图像(stereoscopic image)时使用的图像信号处理设备、图像信号处理方法、图像显示设备、图像显示方法、程 序和图像显示系统。
背景技术：
在相关技术中，存在将可以立体地观看的图像显示在电视接收机等所采用的平面 显示设备上的技术。这种技术可以利用观看显示设备的人的左右眼的不同。具体地，例如， 用于左眼的图像和用于右眼的图像被显示在同一平面显示设备上，并且通过偏振滤光镜进 行观看，以便对于左眼仅看到用于左眼的图像并且对于右眼仅看到用于右眼的图像，由此， 实现了立体观看。
另一方面，已提出了许多整圆周(entire circumference)立体图像显示设备，其 可以利用从设置在环绕对象的圆周上的不同视点(viewpoint)成像得到的(或者是在通过 计算机图形来从整个圆周观看对象的状态的假设下所生成的)不同视点处的多个图像(下 面称为“视点图像”)来显示跨越该对象的整个圆周的立体图像(参考JP-A-2004-177709 或者 JP-A-2005-114771)。
整圆周立体图像显示设备具有圆柱体形状的其显示单元，并且显示从任意方向观 看圆柱体形状的侧表面的用户可立体地看见的图像。发明内容
现在，在被提供给如由电视接收机代表的相关技术中的平面显示装置的NTSC(国 家电视系统委员会)信号中，平面显示装置的显示是通过包括诸如图像数据之间的同步信 号之类的控制信号并且发送该数据来进行控制的。
另一方面，还需要将整圆周视点图像和用于控制整圆周立体图像显示设备的显示 的控制数据输入到上述整圆周立体图像显示设备。然而，在当前的状况下，尚未建立用于将 整圆周视点图像和控制数据输入到整圆周立体图像显示设备的标准方法。
因此，希望能够利用具有一般的多功能性(versatility)的方法来将对象的整圆 周视点图像和控制数据输入到整圆周立体图像显示设备。
根据本发明的第一实施例，提供了一种图像信号处理设备，该图像信号处理设备 将包括多个视点图像的整圆周视点图像提供给显示从整个圆周看到的对象的立体图像的 图像显示设备，多个视点图像分别与设置在环绕对象的圆周上的多个视点相对应，该图像 信号处理设备包括缓冲装置，用于缓冲所输入的整圆周视点图像；生成装置，用于将经缓 冲的整圆周视点图像排列在任意视频标准的帧上，以生成任意视频标准的帧；以及替换装 置，用于利用用于控制图像显示设备的控制数据来替换所生成的帧上的预定位置中的像素 的像素值，并且将控制数据作为任意视频标准的视频信号输出。
替换装置可以利用控制数据来替换所生成的帧上的预定位置中的像素的像素值 的最下位比特。
替换装置可以利用控制数据来替换所生成的帧上的预定位置中的像素的全部像素值。
替换装置可以利用控制数据来替换所生成的帧上的多个预定位置中的像素的像 素值，由此，对控制数据进行复用并重新编码。
控制数据可以包含用于指示图像显示设备是否将所输入的视频信号输出给另一 显示装置的信息。
根据本发明的第一实施例，还提供了一种图像信号处理设备的图像信号处理方 法，该图像信号处理设备将包括多个视点图像的整圆周视点图像提供给显示从整个圆周看 到的对象的立体图像的图像显示设备，多个视点图像分别与设置在环绕对象的圆周上的多 个视点相对应，该图像信号处理方法包括以下步骤由图像信号处理设备进行的缓冲所输 入的整圆周视点图像的缓冲步骤；将经缓冲的整圆周视点图像排列在任意视频标准的帧上 以生成任意视频标准的帧的生成步骤；以及利用用于控制图像显示设备的控制数据来替换 所生成的帧上的预定位置中的像素的像素值，并且将控制数据作为任意视频标准的视频信 号输出的替换步骤。
根据本发明的第一实施例，还提供了一种图像信号处理设备的控制程序，该图像 信号处理设备将包括多个视点图像的整圆周视点图像提供给显示从整个圆周看到的对象 的立体图像的图像显示设备，多个视点图像分别与设置在环绕对象的圆周上的多个视点相 对应，并且该程序允许图像信号处理设备的计算机执行包括以下步骤的处理缓冲所输入 的整圆周视点图像的缓冲步骤；将经缓冲的整圆周视点图像排列在任意视频标准的帧上以 生成任意视频标准的帧的生成步骤；以及利用用于控制图像显示设备的控制数据来替换所 生成的帧上的预定位置中的像素的像素值，并且将控制数据作为任意视频标准的视频信号 输出的替换步骤。
在本发明的第一实施例中，所输入的整圆周视点图像被缓冲，经缓冲的整圆周视 点图像被排列在任意视频标准的帧上并且任意视频标准的帧被生成，并且所生成的帧上的 预定位置中的像素的像素值被用于控制图像显示设备的并且作为任意视频标准的视频信 号被输出的控制数据所替换。
根据本发明的第二实施例，提供了一种基于从图像信号处理设备输入的视频信号 来显示从整个圆周看到的对象的立体图像的图像显示设备，该图像信号处理设备包括用 于缓冲包括分别与设置在围绕对象的圆周上的多个视点相对应的多个视点图像的整圆周 视点图像的缓冲装置，用于将经缓冲的整圆周视点图像排列在任意视频标准的帧上以生成 任意视频标准的帧的生成装置，以及用于利用用于控制图像显示设备的控制数据来替换所 生成的帧上的预定位置中的像素的像素值，并且将控制数据作为任意视频标准的视频信号 输出的替换装置，该图像显示设备包括提取装置，用于从视频信号中提取控制数据；以及 显示控制装置，用于从视频信号读出整圆周视点图像并且根据提取出的控制数据来允许显 示装置显示所读出的整圆周视点图像。
本发明第二实施例的图像显示设备还包括输出装置，用于响应于包含在控制数 据中的指示是否将所输入的视频信号输出给另一显示装置的信息，来将所输入的视频信号输出给另一显示装置。
根据本发明的第二实施例，还提供了一种图像显示设备的图像显示方法，该图像 显示设备基于从图像信号处理设备输入的视频信号来显示从整个圆周看到的对象的立体 图像，该图像信号处理设备包括用于缓冲包括分别与设置在围绕对象的圆周上的多个视 点相对应的多个视点图像的整圆周视点图像的缓冲装置，用于将经缓冲的整圆周视点图像 排列在任意视频标准的帧上以生成任意视频标准的帧的生成装置，以及用于利用用于控制 图像显示设备的控制数据来替换所生成的帧上的预定位置中的像素的像素值，并且将控制 数据作为任意视频标准的视频信号输出的替换装置，该图像显示方法包括以下步骤由图 像显示设备进行的从视频信号中提取控制数据的提取步骤；以及从视频信号读出整圆周视 点图像并且根据提取出的控制数据来允许显示装置显示所读出的整圆周视点图像的显示 控制步骤。
根据本发明的第二实施例，还提供了一种图像显示设备的控制程序，该图像显示 设备基于从图像信号处理设备输入的视频信号来显示从整个圆周看到的对象的立体图像， 该图像信号处理设备包括用于缓冲包括分别与设置在围绕对象的圆周上的多个视点相对 应的多个视点图像的整圆周视点图像的缓冲装置，用于将经缓冲的整圆周视点图像排列在 任意视频标准的帧上以生成任意视频标准的帧的生成装置，以及用于利用用于控制图像显 示设备的控制数据来替换所生成的帧上的预定位置中的像素的像素值，并且将控制数据作 为任意视频标准的视频信号输出的替换装置，该程序允许图像显示设备的计算机执行包括 以下步骤的处理从视频信号中提取控制数据的提取步骤；以及从视频信号读出整圆周视 点图像并且根据提取出的控制数据来允许显示装置显示所读出的整圆周视点图像的显示 控制步骤。
在本发明的第二实施例中，控制数据被从视频信号中提取出来，整圆周视点图像 被从视频信号中读出，并且所读出的整圆周视点图像根据提取出的控制数据而被显示在显 示装置上。
根据本发明的第三实施例，提供了一种图像显示系统，包括图像显示设备，其显 示从整个圆周看到的对象的立体图像；以及图像信号处理设备，其将包括多个视点图像的 整圆周视点图像提供给图像显示设备，多个视点图像分别与设置在环绕对象的圆周上的多 个视点相对应，其中，图像信号处理设备包括缓冲装置，用于缓冲所输入的整圆周视点图 像；生成装置，用于将经缓冲的整圆周视点图像排列在任意视频标准的帧上，以生成任意视 频标准的帧；以及替换装置，用于利用用于控制图像显示设备的控制数据来替换所生成的 帧上的预定位置中的像素的像素值，并且将控制数据作为任意视频标准的视频信号输出， 并且其中，图像显示设备包括提取装置，用于从自图像信号处理设备输入的视频信号中提 取控制数据；以及显示控制装置，用于从视频信号读出整圆周视点图像并且根据提取出的 控制数据来允许显示装置显示所读出的整圆周视点图像。
在本发明的第三实施例中，通过图像信号处理设备，所输入的整圆周视点图像被 缓冲，经缓冲的整圆周视点图像被排列在任意视频标准的帧上并且该任意视频标准的帧被 生成，并且所生成帧上的预定位置中的像素的像素值被用于控制图像显示设备的并且作为 任意视频标准的视频信号被输出的控制数据所替换。然后，通过图像显示设备，控制数据被 从视频信号中提取出来，整圆周视点图像被从视频信号中读出，并且所读出的整圆周视点图像根据提取出的控制数据而被显示在显示装置上。
根据本发明第一实施例，对象的整圆周视点图像以及控制数据可以作为任意视频 标准的视频信号被输入给图像显示设备。
根据本发明第二实施例，包含对象的整圆周视点图像和控制数据的任意视频标准 的视频信号可被获取，并且该对象可被显示为从整个圆周看的立体图像。
根据本发明第三实施例，对象的整圆周视点图像以及控制数据可以作为任意视频 标准的视频信号被输入给图像显示设备，并且该对象可以在图像显示设备中被显示为从整 个圆周看的立体图像。
图1是示出应用了本发明实施例的三维图像显示系统的配置示例的框图。
图2是用于说明360个整圆周视点图像的情况的示图。
图3示出了将360个视点图像存储在两个DVI帧中的示例。
图4A至4C示出了信息比特的位置。
图5示出了被四重地(quadruply)记录在信息比特中的控制数据的示例。
图6是示出图1中的图像信号处理设备的配置示例的框图。
图7是用于说明由图像信号处理设备进行的控制数据嵌入处理的流程图。
图8是示出图1中的整圆周立体图像显示设备的配置示例的框图。
图9是示出计算机的配置示例的框图。
具体实施方式
下面，将参考附图详细说明用于实现本发明的最佳模式(在下面的描述中称为实 施例)。
[三维图像显示系统的配置示例]
图1示出了应用了本发明实施例的三维图像显示系统的配置示例。三维图像显示 系统10包括图像信号处理设备20、整圆周立体图像显示设备30和平面显示装置40。
图像信号处理设备20将从外面输入的整圆周视点图像排列到可被输入一般的平 面显示装置40 (液晶监视器、电视接收机等)的、具有一般的多功能性的视频标准的帧上， 并且将它们输出给整圆周立体图像显示设备30。下面，作为具有一般的多功能性的视频标 准，将对DVI (数字视觉接口)标准进行说明，然而，具有一般的多功能性的视频标准不限于 DVI标准。
整圆周立体图像显示设备30包括显示单元55 (图8)，显示单元55在被设置有多 个狭缝(slit)32的圆柱体部分31中。整圆周立体图像显示设备30从自图像信号处理设 备20输入的DVI标准的视频信号(下面称为“DVI信号”)的各个帧(下面称为“DVI帧”) 中提取控制数据，并且提取整圆周视点图像，并且根据提取出的控制数据按照预定顺序将 整圆周视点图像显示在显示单元阳上。同时，圆柱体部分31被旋转地驱动。从任意方向 观看圆柱体部分31的侧表面的用户经由狭缝32瞥见显示单元55的图像，由此，用户能够 通过视觉识别出跨越对象的整个圆周的立体图像。
此外，整圆周立体图像显示设备30根据提取出的控制数据将从图像信号处理设备20输入的DVI信号中继给平面显示装置40。
注意，作为整圆周立体图像显示设备30，可以应用在共有日本专利申请 No. 2008-317522中提出的整圆周立体图像显示设备。
平面显示装置40显示经由整圆周立体图像显示设备30从图像信号处理设备20 输入的DVI信号的图像。
在图像信号处理设备20中，存储了视点图像的DVI标准的帧可以利用预定编码方 法(MPEG2方法等)来被编码并被输出，并且在整圆周立体图像显示设备30和平面显示装 置40中，它们可以被译码并被显示。
[整圆周立体图像的说明]
图2示出了这样的情况，其中，通过将环绕对象的圆周均等地划分为360个部份来 提供360个视点并且通过从各个视点同时对对象成像来获得视点图像。视点图像也可以不 通过实际地对对象成像来生成，而是通过假设利用计算机图形等来从各个视点观看对象时 的状态来生成视点图像。
在该图的情况中，获得了 360个视点图像。这里，假设以预定位置(例如，对象的 前面)为基准，从该处看到的视点图像为A000，并且接下来，以Γ的视点间隔获得的视点 图像为 Α001、Α002. · . Α3590
在对象的整圆周中设置的视点的数目，换言之，视点图像的数目不限于360个，而 可以是更小数目或更大数目。数目越大，就可以越平滑地显示对象的立体图像。
[将视点图像存储在DVI帧中的排列示例]
图3示出了将整圆周视点图像Α000至Α359存储在两个DVI帧中的示例。在该示 例的情况中，整圆周视点图像Α000至Α359中的偶数编号的图像被存储到偶数帧中，并且奇 数编号的图像被存储到奇数帧中，并且此外，与各个帧中的相同位置相邻的视点图像被存 储。即，180个视点图像被排列在一个DVI帧中，当DVI帧的图像大小为1920 X 1080个像素 时，需要将各个视点图像的图像大小设置为96X120个像素。
注意，用于存储整圆周视点图像的DVI帧的数目不限于两个。例如，整圆周视点图 像Α000至Α359可以均等地被划分为三份并被存储在三个DVI帧中，或者均等地被划分为 四份并被存储在四个DVI帧中。
[信息比特的位置]
图4Α至4C示出了用于将针对整圆周立体图像显示设备30的控制数据嵌入在视 点图像中的位置，即信息比特的位置。
在如图4Α所示的被排列在一个DVI帧中的180个视点图像中的每个视点图像中， 最上面的一排(=96个像素)被用作如图4Β所示的用于存储控制数据的信息行anfo line)。每个视点图像中的信息行的位置不限于最上面一排。
此外，如图4C所示，在信息行的各个像素的像素值中，R、G、B各自的值的最下位 (lowermost)的一个比特被用作信息比特(Info bit)。即，针对信息行上的每个像素，可以 确保三个比特的信息比特。
因此，对于排列有180个视点图像的一个DVI帧，可以确保51840个比特的信息比 特(=1S0 χ 96 (像素)χ 3 (比特))。以这种方式，利用像素值中的R、G、B的各自值的一 个比特作为信息比特，可以使图像质量的恶化最小化。
注意，如图4A所示，一个DVI帧被划分为四个块(块A至D)，并且相同控制数据被 复用并被记录在各个块的信息比特中，即，控制数据四重地被记录。在此情况中，1四60个比 特(=51840/4)的控制数据可被存储。以这种方式，通过复用并记录控制数据，可以解决 控制数据中出现的错误(丢失、比特反转等)。
对控制数据的复用记录不限于四重，而是还可以采用三重或更多重来解决错误。 在同一 DVI帧内不在空间方向上复用控制数据，而是，可以利用其中排列有在不同时间处 成像的视点图像的、时间上在前和在后的DVI帧来在时序方向上复用数据。
此外，例如，在像素的像素值中的R、G、B的各个值为8比特的情况中，对于未在信 息行中的像素，8比特056级)被用作R、G、B值，并且对于在信息行中的像素，最下位一个 比特被控制数据替换，并且R、G、B的值不是7比特(1 级)，而是最下位一个比特被看作 零并且作为8比特056级)的值来进行处理。
[控制数据的示例]
图5示出了四重地被记录在一个DVI帧中的控制数据的示例。如上所述，在控制 数据被四重地记录在设置在一个DVI帧中的51840个比特的信息比特中的情况中，可以记 录1四60个比特的控制数据。
例如，在12960个比特中，在第一个比特(第一比特)中，记录了指示DVI帧是偶 数帧还是奇数帧的帧ID。例如，在偶数帧的情况中，帧ID被设为“0”，并且在奇数帧的情况 中，帧ID被设为“1”。
在第二个比特(第二比特)中，记录了指示第三比特和后续比特是否被用于存储 控制数据的扩展标志(extension flag)。例如，如果它们不被使用，则扩展标志被设为“0”， 并且如果它们被使用，则扩展标志被设为“ 1 ”。
在第三个比特(第三比特)中，记录了监视器标志，该监视器标志指示DVI帧是被 显示在二维监视器(图1中的平面显示装置40等)上还是显示在三维监视器(图1中的 整圆周立体图像显示设备30等)上。例如，在帧被显示在二维监视器上的情况中，监视器 标志被设为“0”，并且在帧被显示在三维监视器上的情况中，监视器标志被设为“ 1 ”。
监视器标志例如可被增加为两个比特以取四种类型的值，并且在帧仅被显示在二 维监视器上的情况中，监视器标志被设为“01 ”，在帧仅被显示在三维监视器上的情况中，监 视器标志被设为“10”，并且在帧被显示在二维监视器和三维监视器两者上的情况中，监视 器标志被设为“11”。
在第四比特及后续比特(第四比特至12960比特)中，在记录在第二个比特中的 扩展标志为“0”的情况中，S卩，在扩展比特未被使用的情况中，像素原本具有的像素值的最 下位比特的值被记录。在记录在第二个比特中的扩展标志为“1”的情况中，即，在扩展比特 被使用的情况中，第四比特及后续比特(第四比特至12960比特)被确保作为用于记录控 制数据的保留区域(保留)。
[图像信号处理设备20的配置示例]
接下来，将说明形成三维图像显示系统10中的图像信号处理设备20的详细配置 示例。
图6是示出图像信号处理设备20的详细配置示例的框图。图像信号处理设备20 包括视点图像缓冲器21、大小调整单元22、帧生成单元23和控制数据嵌入单元24。
视点图像缓冲器21缓冲从外面输入的整圆周视点图像，并且根据来自帧生成单 元23的输出控制信号来按照预定顺序将经缓冲的视点图像输出给大小调整单元22。
大小调整单元22响应于要被排列在一个DVI帧中的视点图像的数目来调整从视 点图像缓冲器21输入的视点图像的大小(放大或缩小)，并且将它们输出给帧生成单元 23。在此情况中，排列了整圆周视点图像A000至A359中的180个视点图像，并且当DVI帧 具有1290X1080个像素时，各个视点图像的大小被调整为96X120个像素。
帧生成单元23如图2所示那样来排列从大小调整单元22输入的经过大小调整的 视点图像，以生成DVI帧，并且将它们输出给控制数据嵌入单元M。
控制数据嵌入单元M将控制数据存储在从帧生成单元23输入的各个DVI帧的信 息比特(各个视点图像的最上面排中所提供的信息行中的像素的像素值的最下位的比特) 中，并且将它们输出给下游的整圆周立体图像显示设备30。
[图像信号处理设备2O的操作]
接下来，将说明图像信号处理设备20的操作。
当整圆周视点图像被从外面输入图像信号处理设备20时，它们被缓冲在视点图 像缓冲器21中。当帧生成单元23将输出控制信号输出给视点图像缓冲器21时，视点图像 缓冲器21根据其以预定顺序将经缓冲的视点图像输出给大小调整单元22。
大小调整单元22调整从视点图像缓冲器21输入的视点图像的大小并且将其输出 给帧生成单元23。帧生成单元23通过将从大小调整单元22输入的经过大小调制的视点图 像的偶数编号的图像排列在偶数帧中并且将奇数编号的图像排列在奇数帧来生成DVI帧， 并且将它们输出给控制数据嵌入单元对。
控制数据嵌入单元M将控制数据存储在从帧生成单元23输入的各个DVI帧的信 息比特中，并且将它们输出给下游的整圆周立体图像显示设备30。
这里，将详细描述由控制数据嵌入单元M进行的控制数据嵌入处理。图7是用于 说明由控制数据嵌入单元M进行的控制数据嵌入处理的流程图。
下面描述的控制数据嵌入处理是在如下假设下的控制数据嵌入单元M具有在 其内部的GPU(图形处理单元)并且使用Direct X。
在步骤Si，控制数据嵌入单元M将从帧生成单元23输入的DVI帧描画在设置在 其自身内的后台缓冲器(back buffer)中。在步骤S2，控制数据嵌入单元M将描画在后台 缓冲器中的DVI帧拷贝到纹理(texture)中。
在步骤S3，控制数据嵌入单元M使用着色程序(shader program)来覆写拷贝在 后台缓冲器中的纹理中的DVI巾贞，同时将信息行中的各个像素的信息比特(R、G、B的各自值 中的像素值的最下位的比特)的值降为“0”。
在步骤S4，在清零(熄灭(black out)) 了纹理之后，控制数据嵌入单元M将作为 可控制数据的预定值覆写在纹理上的DVI帧的信息比特中。例如，在DVI帧是偶数帧的情 况中，“0”作为帧ID被覆写在信息比特的第一个比特中。另一方面，在DVI帧是奇数帧的 情况中，“ 1，，作为帧ID被覆写在信息比特的第一个比特中。
在步骤S5，控制数据嵌入单元M仅对后台缓冲器上的DVI帧(具有在步骤S3处 被降为“0”的信息比特)中的纹理上的DVI帧的信息行进行阿尔法合成(alpha-blend)。 这里，后台缓冲器上的DVI帧与纹理上的DVI帧的信息行的混合比率两者被设为100%。这是控制数据嵌入处理的结尾。
根据上述控制数据嵌入处理，其中控制数据被嵌入信息比特中的DVI帧被描画在 控制数据嵌入单元M中的后台缓冲器中，并且通过将它们输出作为DVI信号，视点图像和 控制数据可被提供给下游，同时视点图像的通信质量的恶化被最小化。
在上述控制数据嵌入处理中，未设置条件分支，并且这符合不善于进行包括条件 分支的处理的GPU的特性，因此，在其内部具有GPU的控制数据嵌入单元M可以实时地执 行控制数据嵌入处理。
[控制数据的其它嵌入方法]
现在，如上述控制数据嵌入处理的情况，在一些情况中，仅重写信息行中的像素的 像素值的最下位比特的处理可能是困难的。
在此情况中，对于DVI帧的每个块，仅一个像素的全部像素值可以用于存储控制 数据的帧ID。具体地，例如，在偶数帧的情况中，左上角的每块中的一个像素的像素值(R， G，B)可被设为(0，0，0)，并且在奇数帧的情况中可被设为(1，0，0)。在此情况中，在DVI帧 中，仅四个像素被固定为暗点(black point) ((0,0,0)或(1，0，0))，并且当像素被显示时， 可以利用相邻像素来内插像素值并显示。帧ID以外的控制数据可以以相同方式来存储。
注意，当四个像素被固定为作为控制数据的帧ID的暗点时，如果DVI帧利用MPEG2 方法等被压缩编码，则在译码之后暗点不被残留，即，控制数据的帧ID可以不被发送给下 游。
因此，在DVI帧被压缩编码的情况中，针对DVI帧的每块，包括数个像素的预定区 域被设置，并且该预定区域中的所有像素的像素值可被用于存储控制数据的帧ID。
具体地，例如，预定区域被设置在每块的左上角，仅在偶数帧的情况中，其中的像 素的像素值(R，G，B)可被改变为亮点(bright point)(例如，最大值(255，255，255))，并 且在奇数帧的情况中，它们可以不变。以这种方式，仅在DVI帧是偶数帧的情况中DVI帧上 的四个预定区域是亮点，并且当这些区域的像素被显示时，可以利用相邻像素的相同区域 的像素来内插像素值并显示。
当作为控制数据的帧ID的预定区域是亮点时，即使在DVI帧通过MPEG2方法等被 压缩编码的情况中，尽管在译码之后亮点变模糊或者衰减，但是亮点可被残留。因此，即使 在包含作为控制数据的帧ID的DVI帧被压缩编码并被提供给下游时，也可在下游处读出作 为控制数据的帧ID。
作为将控制数据嵌入DVI帧中的另一方法，例如可以利用电子水印来将控制数据 嵌入在排列有视点图像的DVI帧中。
上述控制数据嵌入处理和其它方法中的任一者包括将控制数据嵌入在视点图像 的像素值中，并且可被应用于DVI信号以外的具有多功能性的视频信号。
[整圆周立体图像显示设备30的配置示例和操作]
接下来，图8示出了 DVI信号被从图像信号处理设备20输入给其的整圆周立体图 像显示设备30的配置示例。
整圆周立体图像显示设备30包括开关51、控制数据提取单元52、开关控制单元 53、显示控制单元54、显示单元55和DVI信号输出单元56。
开关51根据来自开关控制单元53的控制将从上游的图像信号处理设备20的DVI信号输出给显示控制单元讨或者DVI信号输出单元56。
控制数据提取单元52从自上游的图像信号处理设备20输入的DVI信号中提取控 制数据，并且根据需要对控制数据执行纠错。然后，控制数据提取单元52将提取出的控制 数据的监视器标志输出给开关控制单元53。此外，控制数据提取单元52将提取出的控制数 据的帧ID和扩展标志输出给显示控制单元M。
开关控制单元53根据从控制数据提取单元52输入的作为控制数据的监视器标志 来控制开关51的切换。即，在监视器标志为“0”的情况中，该单元允许开关51将输出切换 给DVI信号输出单元56，并且在监视器标志为“ 1，，的情况中，该单元允许开关51将输出切 换给显示控制单元M。
显示控制单元M从经由开关51输入的DVI信号的DVI帧中提取视点图像。此外， 显示控制单元M在参考从控制数据提取单元52输入的作为控制数据的帧ID和扩展标志 的同时，允许显示单元阳显示提取出的视点图像。
DVI信号输出单元56将经由开关51输入的DVI信号输出给下游的平面显示装置 40。
在整圆周立体图像显示设备30中，来自上游的图像信号处理设备20的DVI信号 被输入给开关51和控制数据提取单元52。在控制数据提取单元52中，控制数据的监视器 标志从DVI信号被提取并且被输出给开关控制单元53。开关控制单元53基于监视器标志 将开关51的输出目的地切换至显示单元55或DVI信号输出单元56。因此，根据包含在DVI 信号中的控制数据，与DVI信号相对应的图像的显示目的地可被切换至显示单元55或DVI 信号输出单元56。
现在，上面描述的图像信号处理设备20和整圆周立体图像显示设备30的处理序 列可以通过硬件或软件来执行。在通过软件来执行处理序列的情况中，形成软件的程序被 从程序记录介质安装到包括在专用硬件中的计算机中，或者安装到可以利用所安装的各种 程序执行各种功能的通用个人计算机中。
图9是示出利用程序来执行上述处理序列的计算机的硬件配置示例的框图。
在计算机100中，CPU(中央处理单元)101、R0M(只读存储器)102、RAM(随机存取 存储器)103通过总线104彼此连接。
输入/输出接口 105也连接到总线104。包括键盘、鼠标、麦克风等的输入单元 106，包括显示装置、扬声器等的输出单元107，包括硬盘、非易失性存储器等的存储单元 108，包括网络接口等的通信单元109以及驱动包括磁盘、光盘、磁光盘和半导体盘在内的 可移除介质111的驱动器110被连接到输入/输出接口 105。
在具有上述配置的计算机中，CPU 101经由输入/输出接口 105和总线104将例 如存储在存储单元108中的程序载入RAM 103中并执行，由此来执行上述的处理序列。
由计算机执行的程序可以是按照沿着说明书中所说明的顺序的时间序列来执行 处理的程序，或者可以是并行地或者在进行调用时等的所需要定时处执行处理的程序。
此外，程序可由单个计算机来处理或者可以由多个计算机以分布式方式来处理。 此外，程序可被传送给远处的计算机。
此外，在本说明书中，系统是指包括多个设备的整体系统。
本发明的实施例不限于上面描述的实施例，并且可以在不脱离本发明的范围的情况下进行各种改变。
本申请包含与2009年10月5日向日本专利局提交的日本优先专利申请JP 2009-231674中公开的内容有关的主题，该申请的全部内容通过引用被结合于此。
权利要求
1.一种图像信号处理设备，该图像信号处理设备将包括多个视点图像的整圆周视点图 像提供给显示从整个圆周看到的对象的立体图像的图像显示设备，所述多个视点图像分别 与设置在环绕所述对象的圆周上的多个视点相对应，所述图像信号处理设备包括缓冲装置，用于缓冲所输入的整圆周视点图像；生成装置，用于将经缓冲的整圆周视点图像排列在任意视频标准的帧上，以生成所述 任意视频标准的帧；以及替换装置，用于利用用于控制所述图像显示设备的控制数据来替换所生成的帧上的预 定位置中的像素的像素值，并且将所述控制数据作为所述任意视频标准的视频信号输出。
2.根据权利要求1所述的图像信号处理设备，其中，所述替换装置利用所述控制数据 来替换所生成的帧上的预定位置中的像素的像素值的最下位比特。
3.根据权利要求1所述的图像信号处理设备，其中，所述替换装置利用所述控制数据 来替换所生成的帧上的预定位置中的像素的全部像素值。
4.根据权利要求2或3所述的图像信号处理设备，其中，所述替换装置利用所述控制数 据来替换所生成的帧上的多个预定位置中的像素的像素值，由此，对所述控制数据进行复 用并重新编码。
5.根据权利要求1至4中任一项所述的图像信号处理设备，其中，所述控制数据包含用 于指示所述图像显示设备是否将所输入的视频信号输出给另一显示装置的信息。
6.一种图像信号处理设备的图像信号处理方法，该图像信号处理设备将包括多个视点 图像的整圆周视点图像提供给显示从整个圆周看到的对象的立体图像的图像显示设备，所 述多个视点图像分别与设置在环绕所述对象的圆周上的多个视点相对应，该图像信号处理 方法包括以下步骤由所述图像信号处理设备进行的缓冲所输入的整圆周视点图像的缓冲步骤；将经缓冲的整圆周视点图像排列在任意视频标准的帧上以生成所述任意视频标准的 帧的生成步骤；以及利用用于控制所述图像显示设备的控制数据来替换所生成的帧上的预定位置中的像 素的像素值，并且将所述控制数据作为所述任意视频标准的视频信号输出的替换步骤。
7.一种图像信号处理设备的控制程序，该图像信号处理设备将包括多个视点图像的整 圆周视点图像提供给显示从整个圆周看到的对象的立体图像的图像显示设备，所述多个视 点图像分别与设置在环绕所述对象的圆周上的多个视点相对应，该程序允许所述图像信号 处理设备的计算机执行包括以下步骤的处理缓冲所输入的整圆周视点图像的缓冲步骤；将经缓冲的整圆周视点图像排列在任意视频标准的帧上以生成所述任意视频标准的 帧的生成步骤；以及利用用于控制所述图像显示设备的控制数据来替换所生成的帧上的预定位置中的像 素的像素值，并且将所述控制数据作为所述任意视频标准的视频信号输出的替换步骤。
8.一种基于从图像信号处理设备输入的视频信号来显示从整个圆周看到的对象的立 体图像的图像显示设备，该图像信号处理设备包括用于缓冲包括分别与设置在围绕所述 对象的圆周上的多个视点相对应的多个视点图像的整圆周视点图像的缓冲装置，用于将经缓冲的整圆周视点图像排列在任意视频标准的帧上以生成所述任意视频标准的帧的生成 装置，以及用于利用用于控制所述图像显示设备的控制数据来替换所生成的帧上的预定位 置中的像素的像素值，并且将所述控制数据作为所述任意视频标准的视频信号输出的替换 装置，所述图像显示设备包括提取装置，用于从所述视频信号中提取所述控制数据；以及显示控制装置，用于从所述视频信号读出所述整圆周视点图像并且根据提取出的控制 数据来允许显示装置显示所读出的整圆周视点图像。
9.根据权利要求8所述的图像显示设备，还包括输出装置，用于响应于包含在所述控 制数据中的指示是否将所输入的视频信号输出给另一显示装置的信息，来将所输入的视频 信号输出给所述另一显示装置。
10.一种图像显示设备的图像显示方法，该图像显示设备基于从图像信号处理设备输 入的视频信号来显示从整个圆周看到的对象的立体图像，该图像信号处理设备包括用于 缓冲包括分别与设置在围绕所述对象的圆周上的多个视点相对应的多个视点图像的整圆 周视点图像的缓冲装置，用于将经缓冲的整圆周视点图像排列在任意视频标准的帧上以生 成所述任意视频标准的帧的生成装置，以及用于利用用于控制所述图像显示设备的控制数 据来替换所生成的帧上的预定位置中的像素的像素值，并且将所述控制数据作为所述任意 视频标准的视频信号输出的替换装置，该图像显示方法包括以下步骤由所述图像显示设备进行的从所述视频信号中提取所述控制数据的提取步骤；以及从所述视频信号读出所述整圆周视点图像并且根据提取出的控制数据来允许显示装 置显示所读出的整圆周视点图像的显示控制步骤。
11.一种图像显示设备的控制程序，该图像显示设备基于从图像信号处理设备输入的 视频信号来显示从整个圆周看到的对象的立体图像，该图像信号处理设备包括用于缓冲 包括分别与设置在围绕所述对象的圆周上的多个视点相对应的多个视点图像的整圆周视 点图像的缓冲装置，用于将经缓冲的整圆周视点图像排列在任意视频标准的帧上以生成所 述任意视频标准的帧的生成装置，以及用于利用用于控制所述图像显示设备的控制数据来 替换所生成的帧上的预定位置中的像素的像素值，并且将所述控制数据作为所述任意视频 标准的视频信号输出的替换装置，该程序允许所述图像显示设备的计算机执行包括以下步 骤的处理从所述视频信号中提取所述控制数据的提取步骤；以及从所述视频信号读出所述整圆周视点图像并且根据提取出的控制数据来允许显示装 置显示所读出的整圆周视点图像的显示控制步骤。
12.—种图像显示系统，包括图像显示设备，其显示从整个圆周看到的对象的立体图像；以及图像信号处理设备，其将包括多个视点图像的整圆周视点图像提供给所述图像显示设 备，所述多个视点图像分别与设置在环绕所述对象的圆周上的多个视点相对应，其中，所述图像信号处理设备包括缓冲装置，用于缓冲所输入的整圆周视点图像，生成装置，用于将经缓冲的整圆周视点图像排列在任意视频标准的帧上，以生成所述任意视频标准的帧，以及替换装置，用于利用用于控制所述图像显示设备的控制数据来替换所生成的帧上的预 定位置中的像素的像素值，并且将所述控制数据作为所述任意视频标准的视频信号输出， 并且其中，所述图像显示设备包括提取装置，用于从自所述图像信号处理设备输入的所述视频信号中提取所述控制数 据，以及显示控制装置，用于从所述视频信号读出所述整圆周视点图像并且根据提取出的控制 数据来允许显示装置显示所读出的整圆周视点图像。
13.一种图像信号处理设备，其将包括对象的多个视点图像的整圆周视点图像提供给 图像显示设备，该图像信号处理设备包括缓冲装置，用于缓冲所输入的整圆周视点图像；生成装置，用于将经缓冲的整圆周视点图像排列在任意视频标准的帧上，以生成所述 任意视频标准的帧；以及替换装置，用于利用用于控制所述图像显示设备的控制数据来替换所生成的帧上的预 定位置中的像素的像素值。
14.一种图像信号处理设备，其将对象的图像提供给图像显示设备，其中，所述图像信号处理设备利用用于控制所述图像显示设备的控制数据来替换所述 图像上的预定位置中的像素的像素值。
15.一种图像显示系统，包括图像显示设备，显示整个圆周上的图像；以及图像信号处理设备，其将对象的图像提供给所述图像显示设备，其中，所述图像信号处理设备利用用于控制所述图像显示设备的控制数据来替换所述 图像上的预定位置中的像素的像素值。
16.一种图像信号处理设备，该图像信号处理设备将包括多个视点图像的整圆周视点 图像提供给显示从整个圆周看到的对象的立体图像的图像显示设备，所述多个视点图像分 别与设置在环绕所述对象的圆周上的多个视点相对应，所述图像信号处理设备包括缓冲单元，被配置为缓冲所输入的整圆周视点图像；生成单元，被配置为将经缓冲的整圆周视点图像排列在任意视频标准的帧上，以生成 所述任意视频标准的帧；以及替换单元，被配置为利用用于控制所述图像显示设备的控制数据来替换所生成的帧上 的预定位置中的像素的像素值，并且将所述控制数据作为所述任意视频标准的视频信号输出ο
17.一种基于从图像信号处理设备输入的视频信号来显示从整个圆周看到的对象的立 体图像的图像显示设备，该图像信号处理设备包括被配置来缓冲包括分别与设置在围绕 所述对象的圆周上的多个视点相对应的多个视点图像的整圆周视点图像的缓冲单元，被配 置来将经缓冲的整圆周视点图像排列在任意视频标准的帧上以生成所述任意视频标准的 帧的生成单元，以及被配置来利用用于控制所述图像显示设备的控制数据来替换所生成的 帧上的预定位置中的像素的像素值，并且将所述控制数据作为所述任意视频标准的视频信号输出的替换单元，该图像显示设备包括提取单元，被配置为从所述视频信号中提取所述控制数据；以及 显示控制单元，被配置为从所述视频信号读出所述整圆周视点图像并且根据提取出的 控制数据来允许显示装置显示所读出的整圆周视点图像。
18.一种图像显示系统，包括图像显示设备，其显示从整个圆周看到的对象的立体图像；以及 图像信号处理设备，其将包括多个视点图像的整圆周视点图像提供给所述图像显示设 备，所述多个视点图像分别与设置在环绕所述对象的圆周上的多个视点相对应， 其中，所述图像信号处理设备包括 缓冲单元，被配置为缓冲所输入的整圆周视点图像，生成单元，被配置为将经缓冲的整圆周视点图像排列在任意视频标准的帧上，以生成 所述任意视频标准的帧，以及替换单元，被配置为利用用于控制所述图像显示设备的控制数据来替换所生成的帧上 的预定位置中的像素的像素值，并且将所述控制数据作为所述任意视频标准的视频信号输 出，并且其中，所述图像显示设备包括提取单元，被配置为从自所述图像信号处理设备输入的所述视频信号中提取所述控制 数据，以及显示控制单元，被配置为从所述视频信号读出所述整圆周视点图像并且根据提取出的 控制数据来允许显示装置显示所读出的整圆周视点图像。
19.一种图像信号处理设备，其将包括对象的多个视点图像的整圆周视点图像提供给 图像显示设备，该图像显示处理设备包括缓冲单元，被配置为缓冲所输入的整圆周视点图像；生成单元，被配置为将经缓冲的整圆周视点图像排列在任意视频标准的帧上，以生成 所述任意视频标准的帧；以及替换单元，被配置为利用用于控制所述图像显示设备的控制数据来替换所生成的帧上 的预定位置中的像素的像素值。
全文摘要
本发明公开了图像信号处理设备和方法、图像显示设备、方法和系统。该图像信号处理设备将包括多个视点图像的整圆周视点图像提供给显示从整个圆周看到的对象的立体图像的图像显示设备，所述多个视点图像分别与设置在环绕对象的圆周上的多个视点相对应，该图像信号处理设备包括缓冲装置，用于缓冲所输入的整圆周视点图像；生成装置，用于将经缓冲的整圆周视点图像排列在任意视频标准的帧上，以生成任意视频标准的帧；以及替换装置，用于利用用于控制图像显示设备的控制数据来替换所生成的帧上的预定位置中的像素的像素值，并且将控制数据作为任意视频标准的视频信号输出。
文档编号H04N7/26GK102036088SQ20101029960
公开日2011年4月27日 申请日期2010年9月28日 优先权日2009年10月5日
发明者井藤功久, 安永裕明, 石川博隆 申请人:索尼公司