图像发送装置和方法以及图像再现装置和方法

专利名称：图像发送装置和方法以及图像再现装置和方法
技术领域：
一个或多个示例实施例涉及一种图像发送装置和方法以及一种图像再现装置和方法，更具体地说，涉及一种用于通过处理与多个视图对应的彩色图像和深度图像来提供三维(3D)图像的装置和方法。
背景技术：
相比于二维(2D)图像，三维(3D)图像可通过使用空间深度向用户提供真实效果。3D图像处理系统可表示使用相比于立体图像具有更多量视图的图像来提供3D图像服务的技术。3D图像处理系统可以按照预定格式转换并存储使用N个多视图相机获得的彩色图像、使用深度值预测或深度相机获得的深度图像以及用于多视图再现的附加信息。根据用户意图或显·示装置的类型，可对3D图像进行压缩和发送，并将3D图像再现为2D图像、立体图像或多视图方案下的多视像。因此，3D图像的图像再现装置可根据显示装置再现发送的彩色图像、深度图像以及各种方案下的附加信息。基本上，图像再现装置可在没有限制的情况下在N个发送的视图中选择期望视图的2D图像，并通过传统2D显示装置显示选择的2D图像。此外，图像再现装置可使用各种类型的3D显示装置来显示2D图像。图像再现装置可使用可表现比N个发送的视图少的M个视图的3D显示装置来再现多个视图的3D图像。图像再现装置可识别观看者的位置，并再现与观看者的位置对应的视图的3D图像。因此，期望在确保图像再现装置与传统显示装置保持兼容的同时，存在与彩色图像和深度图像相关的消息格式以再现3D图像的各种格式。

发明内容
通过提供一种图像发送装置来实现以上和/或其它方面，所述图像发送装置包括:图像转换器，根据三维(3D)图像格式转换与多个视图对应的彩色图像和深度图像；t匕特流发送器，将包括与3D图像格式相关联的附加信息、转换的彩色图像和转换的深度图像的比特流发送到图像再现装置。图像发送装置还可包括:图像编码器，根据视图间预测方案对彩色图像和深度图像进行编码。附加信息可包括下述信息中的至少一个:关于3D图像格式的图像模式的信息、基于与卫星视图对应的彩色图像的附加信息和基于深度图像的附加信息。基于与卫星视图对应的彩色图像的附加信息可包括下述信息中的至少一个:指示卫星视图的彩色图像是否包括在比特流中的指示信息、指示包括在比特流中的卫星视图的彩色图像的分辨率是否与基本分辨率不同的指示信息、指示包括在比特流中的卫星视图的彩色图像的分辨率与基本分辨率的比例的比例信息、指示用于包括在比特流中的卫星视图的彩色图像的视图间预测方案的分辨率转换方案的转换信息。基于深度图像的附加信息可包括以下信息中的至少一个:指示包括在比特流中的深度图像的产生方案的图像特征信息、指示包括在比特流中的深度图像的分辨率是否与基本分辨率不同的指示信息、指示包括在比特流中的深度图像的分辨率与基本分辨率的比例的比例信息、指示用于视图间预测方案的包括在比特流中的深度图像的分辨率转换方案的转换信息、当包括在比特流中的深度图像的分辨率与基本分辨率不同时指示分辨率不同的原因的原因信息。可通过提供一种图像再现装置来实现以上和/或其它方面，所述图像再现装置包括:比特流接收器，从图像发送装置接收比特流，所述比特流包括根据3D图像格式转换的多个视图的彩色图像和深度图像以及与3D图像格式相关联的附加信息；图像产生器，通过根据附加信息处理彩色图像和深度图像产生将在显示装置中再现的输出图像。图像再现装置还可包括:图像解码器，根据视图间预测方案对包括在比特流中的彩色图像和深度图像进行解码。
图像再现装置还可包括:图像后处理单元，对深度图像执行后处理以增强彩色图像和/或深度图像的图像质量。通过提供一种图像再现装置来实现以上和/或其它方面，所述图像再现装置包括:附加信息提取器，从比特流中提取与3D图像格式相关联的附加信息；图像产生器，通过根据附加信息处理多个视图的彩色图像和深度图像产生输出图像；图像显示单元，显示产生的输出图像。图像再现装置还可包括:图像解码器，根据视图间预测方案对包括在比特流中的彩色图像和深度图像进行解码。图像再现装置还可包括:图像后处理单元，执行后处理以增强彩色图像和/或深度图像的图像质量。通过提供一种发送图像的方法来实现以上和/或其它方面，所述方法包括:根据三维(3D)图像格式转换与多个视图对应的彩色图像和深度图像；将包括与3D图像格式相关联的附加信息、转换后的彩色图像和转换后的深度图像的比特流发送到图像再现装置。所述方法还可包括根据视图间预测方案对彩色图像和深度图像进行编码。通过提供一种再现图像的方法来实现以上和/或其它方面，所述方法包括:从图像发送装置接收比特流，所述比特流包括根据三维(3D)图像格式转换的多个视图的彩色图像和深度图像以及与3D图像格式相关联的附加信息；通过根据附加信息处理彩色图像和深度图像来产生将在显示装置中再现的输出图像。所述方法还可包括根据视图间预测方案对包括在比特流中的彩色图像和深度图像进行解码。所述方法还可包括对深度图像执行后处理以增强彩色图像和/或深度图像的图
像质量。通过提供一种再现图像的方法来实现以上和/或其它方面，所述方法包括:从比特流中提取与3D图像格式相关联的附加信息；通过根据附加信息处理多个视图的彩色图像和深度图像产生输出图像；显示产生的输出图像。
所述方法还可包括根据视图间预测方案对包括在比特流中的彩色图像和深度图像进行解码。所述方法还可包括对深度图像执行后处理以增强彩色图像和/或深度图像的图
像质量。通过提供一种记录介质来实现以上和/或其它方面，在所述记录介质上记录有可由图像再现装置读取的图像程序，其中，图像程序可包括根据3D图像格式转换的与多个视图对应的彩色图像和深度图像以及与3D图像格式相关联的附加信息。根据示例实施例，当再现包括在3D图像格式中的彩色图像和深度图像时，可通过参照与3D图像格式相关联的附加信息来提供各种形式的3D图像服务，而不管显示格式。在以下的描述中将部分阐述实施例的附加方面，并且从描述中将部分地清楚，或者通过公开的实践来学习。


·从以下结合附图对实施例的描述中，这些和/或其它方面将变得更明显并且更易于理解，其中:图1示出根据示例实施例的整体系统配置；图2示出图1的图像发送装置的详细配置；图3示出图1的图像再现装置的详细配置；图4示出图1的另一图像再现装置的详细配置；图5示出根据示例实施例的用于多视图3D图像的图像格式；图6示出根据示例实施例的用于多视图3D图像的另一图像格式；图7示出根据示例实施例的用于多视图3D图像的另一图像格式；图8示出根据示例实施例的用于多视图3D图像的另一图像格式；图9示出根据示例实施例的用于多视图3D图像的另一图像格式；图10示出根据示例实施例的用于多视图3D图像的另一图像格式；图11示出根据示例实施例的附加信息的语法；图12示出根据示例实施例的基于视图间预测方案的编码/解码操作；图13示出根据示例实施例的对彩色图像进行后处理的操作；图14示出根据示例实施例的对深度图像进行后处理的操作；图15示出根据示例实施例的基于图像特征信息对深度图像进行解码的操作；图16示出根据示例实施例的基于图像特征信息对深度图像进行后处理的操作；图17示出根据示例实施例的发送图像的方法；图18示出根据示例实施例的再现图像的方法；图19示出根据示例实施例的再现图像的另一方法。
具体实施例方式将对实施例进行详细参照，实施例的示例在附图中示出，在附图中，相同标号始终表示相同元件。以下通过参照附图描述实施例来解释本公开。图1示出根据示例实施例的整体系统配置。
参照图1，图像发送装置101可将比特流发送到图像再现装置102。这里，为了向用户提供多视图三维(3D)图像，比特流可包括根据3D图像格式转换的彩色图像和深度图像以及与3D图像格式相关联的附加信息。在这种情况下，彩色图像和深度图像可与多个视图对应。具体地说，彩色图像和深度图像可与基本视图、立体视图和卫星视图中的至少一个对应。图像再现装置102可被配置为向用户提供二维(2D)图像或3D图像。例如，图像再现装置102可被用于在家中使用的电视(TV)、个人计算机(PC)、家用媒体装置、电话等以及在影院中使用的3D数字投影仪等。图像再现装置102可被设置为有线终端(诸如TV、PC、数字多用盘(DVD)播放器、全球定位系统(GPS)导航单元等)的形式或无线终端的形式(诸如笔记本计算机、功能电话、平板PC、智能电话、个人数字助理(PDA)等)。尽管在以上将根据示例实施例的图像再现装置102的形式描述为各种形式，但是形式可不被限制于此。另夕卜，图像再现装置102可通过兼容显示器向用户提供2D图像、立体3D图像和多视图3D图像。图12示出图1的图像发送装置的详细配置。参照图12，图像发送·装置201可包括例如图像转换器202、图像编码器203和比特流发送器204。图像转换器202可根据3D图像格式转换与多个视图对应的彩色图像和深度图像。在这种情况下，彩色图像和深度图像可与基本视图、立体视图和卫星视图中的至少一个对应。将参照图5至图10进一步描述3D图像格式。图像编码器203可对根据3D图像格式转换的彩色图像和深度图像进行编码。作为示例，图像编码器203可根据视图间预测方案对彩色图像和深度图像进行编码。将参照图12进一步描述视图间预测方案。比特流发送器204可将比特流发送到图像再现装置，所述比特流包括与3D图像格式相关联的附加信息以及根据3D图像格式转换的彩色图像和深度图像。例如，比特流可包括关于3D图像格式的图像模式的信息、基于与卫星视图对应的彩色图像的附加信息、基于深度图像的附加信息。在这种情况下，基于与卫星视图对应的彩色图像的附加信息可包括下述信息中的至少一个:指示卫星视图的彩色图像是否包括在比特流中的指示信息、指示包括在比特流中的卫星视图的彩色图像的分辨率是否与基本分辨率不同的指示信息、指示包括在比特流中的卫星视图的彩色图像的分辨率与基本分辨率的比例的比例信息、指示用于包括在比特流中的卫星视图的彩色图像的视图间预测方案的分辨率转换方案的转换信息。基于深度图像的附加信息可包括以下信息中的至少一个:指示包括在比特流中的深度图像的产生方案的图像特征信息、指示包括在比特流中的深度图像的分辨率是否与基本分辨率不同的指示信息、指示包括在比特流中的深度图像的分辨率与基本分辨率的比例的比例信息、指示用于视图间预测方案的包括在比特流中的深度图像的分辨率转换方案的转换信息、当包括在比特流中的深度图像的分辨率与基本分辨率不同时指示分辨率不同的原因的原因信息。将参照图11进一步描述包括在比特流中的附加信息。图3示出图1的图像再现装置的详细配置。
参照图3，图像再现装置301可包括例如比特流接收器302、图像解码器303、图像后处理单元304和图像产生器305。图3的图像再现装置301可表示被设置为与显示图像的显示装置分离的形式的装置。比特流接收器302可接收由图像发送器发送的比特流。例如，比特流可包括根据3D图像格式转换的多个视图的彩色图像和深度图像以及与3D图像格式相关联的附加信息。这里，附加信息可与参照图2描述的附加信息等同。图像解码器303可对包括在比特流中的彩色图像和深度图像进行解码。在这种情况下，图像解码器303可根据视图间预测方案对彩色图像和深度图像进行解码。图像后处理单元304可对解码的彩色图像和深度图像进行后处理，从而增强图像质量。例如，图像后处理单元304可使用彩色图像或深度图像或彩色图像和深度图像两者进行后处理。图像后处理单元304可基于深度图像的图像特征信息对深度图像进行后处理。图像产生器305可通过根据附加信息对彩色图像和深度图像进行处理来产生将在显示装置中显示或再现的输出图像。也就是说，图像产生器305可基于可被表现在显示装置中的图像来处理根据2D图像格式和3D图像格式转换的彩色图像和深度图像。然后，图像产生器305可通过处理彩色图像和深度图像产生诸如立体3D图像或多视图3D图像的输出图像。
图4示出图1的另一图像再现装置的详细配置。参照图4，图像再现装置401可包括例如附加信息提取器402、图像解码器403、图像后处理单元404、图像产生器405、图像显示单元406。图4的图像再现装置401可表示被设置为包括显示图像的显示装置的形式的装置。附加信息提取器402可从比特流中提取与3D图像格式相关联的附加信息。这里，附加信息可以与参照图2描述的附加信息等同。图像解码器403可根据视图间预测方案对包括在比特流中的彩色信息和深度信息进行解码。图像后处理单元404可执行后处理以增强彩色图像或深度图像的质量。图像产生器405可通过根据附加信息处理多个视图的彩色图像和深度图像来产生输出图像。图像显示单元406可显示输出图像。图像显示单元406可显示2D图像、立体3D图像或多视图3D图像。图5示出根据示例实施例的用于多视图3D图像的图像格式。参照图5，图像格式可包括与基本视图对应的彩色图像Cl 501和深度图像Dl504，以及与立体视图对应的彩色图像C2 502、彩色图像C3 503、深度图像D2 505和深度图像 D3 506。在这种情况下，如图5中所示，深度图像Dl 504、深度图像D2 505、深度图像D3506的分辨率可以与和彩色图像Cl 501的分辨率对应的基本分辨率不同，其中，彩色图像Cl 501与基本视图对应。与立体视图对应的彩色图像C2 502和彩色图像C3 503两者可以具有基本分辨率。具体地说，深度图像Dl 504、深度图像D2 505、深度图像D3 506中的每个图像的宽度和高度可被表现为具有基本分辨率的彩色图像Cl 501的宽度和高度的一部分。也就是说，宽度和高度可以分别具有值1/N和值1/M。这里，值N和值M表示自然数。例如，值N和值M可对应于2或4，深度图像Dl 504、深度图像D2 505、深度图像D3 506的分辨率可与基本分辨率的1/2、1/4、1/8、1/16等对应。图6示出根据示例实施例的多视图3D图像的另一图像格式。参照图6，图像格式可包括与基本视图对应的彩色图像Cl 601和深度图像Dl604，以及与立体视图对应的彩色图像C2 602、彩色图像C3 603、深度图像D2 605和深度图像 D3 606。在这种情况下，如图6中所示，与立体视图对应的彩色图像C2 602、彩色图像C3603、深度图像D2 605和深度图像D3 606的分辨率可以与和彩色图像Cl 501的分辨率对应的基本分辨率不同，其中，彩色图像Cl 501与基本视图对应。深度图像Dl 604的分辨率
可以等于基本分辨率。具体地说，彩色图像C2 602、彩色图像C3 603、深度图像D2 605和深度图像D3606中的每个图像的宽度和高度可以被表现为具有基本分辨率的彩色图像Cl 601的宽度和高度的一部分。也就是说，宽度和高度可以分别具有值1/N和值1/M。这里，值N和值M表示自然数。例如，值N和值M可对应于2或4，彩色图像C2 602、彩色图像C3 603、深度图像D2 605和深度图像D3 606的分辨率可与基本分辨率的1/2、1/4、1/8、1/16等对应。图7示出根据示例实施例的用于多视图3D图像的另一图像格式。参照图7，图像格式可包括与基本视图对应的彩色图像Cl 701和深度图像Dl704，以及与立体视图对应的彩色图像C2 702、彩色图像C3 703、深度图像D2 705和深度图像 D3 706。 在这种情况下，如图7中所示，深度图像Dl 704、与立体视图对应的彩色图像C2702、彩色图像C3 703、深度图像D2 705和深度图像D3 706的分辨率可以与和彩色图像Cl701的分辨率对应的基本分辨率不同，其中，彩色图像Cl 701与基本视图对应。具体地说，彩色图像C2 702、彩色图像C3 703、深度图像Dl 704、深度图像D2 705和深度图像D3 706中的每个图像的宽度和高度可被表现为具有基本分辨率的彩色图像Cl701的宽度和高度的一部分。也就是说，宽度和高度可分别具有值1/N和1/M。这里，值N和值M表示自然数。例如，值N和值M可对应于2或4，彩色图像C2 702、彩色图像C3 703、深度图像Dl 704、深度图像D2 705和深度图像D3 706的分辨率可与基本分辨率的1/2、1/4、1/8、1/16等对应。图8示出根据示例实施例的用于多视图3D图像的另一图像格式。参照图8，图像格式可包括与基本视图对应的彩色图像Cl 801和深度图像Dl805、与立体视图对应的彩色图像C2 802和深度图像D2 806、与卫星视图对应的彩色图像C3 803、彩色图像C4 804、深度图像D3 807、深度图像D4 808。在这种情况下，如图8中所示，深度图像Dl 805、深度图像D2 806、深度图像D3807、深度图像D4 808的分辨率可以与和彩色图像Cl 801的分辨率对应的基本分辨率不同，其中，彩色图像Cl 801与基本视图对应。也就是说，深度图像Dl 805、深度图像D2 806、深度图像D3 807、深度图像D4 808的分辨率可以低于基本分辨率。具体地说，深度图像Dl 805、深度图像D2 806、深度图像D3 807、深度图像D4 808中的每个图像的宽度和高度可被表现为具有基本分辨率的彩色图像Cl 801的宽度和高度的一部分。也就是说，宽度和高度可分别具有值1/N和1/M。这里，值N和值M表示自然数。例如，值N和值M可对应于2或4，深度图像Dl 805、深度图像D2 806、深度图像D3 807、深度图像D4 808的分辨率可与基本分辨率的1/2、1/4、1/8、1/16等对应。图9示出根据示例实施例的用于多视图3D图像的另一图像格式。参照图9，图像格式可包括与基本视图对应的彩色图像Cl 901和深度图像Dl905、与立体视图对应的彩色图像C2 902和深度图像D2 906、与卫星视图对应的彩色图像C3 903、彩色图像C4 904、深度图像D3 907和深度图像D4 908。在这种情况下，如图9中所示，深度图像D3 907和深度图像D4 908的分辨率可与和彩色图像Cl 901的分辨率对应的基本分辨率不同，其中，彩色图像Cl 901与基本视图对应。也就是说，深度图像D3 907、深度图像D4 908的分辨率可以低于基本分辨率。具体地说，深度图像D3 907和深度图像D4 908中的每个图像的宽度和高度可被表现为具有基本·分辨率的彩色·图像Cl 901的宽度和高度的一部分。也就是说，宽度和高度可分别具有值1/N和值1/M。这里，值N和值M表示自然数。例如，值N和值M可对应于2或4，深度图像D3 907和深度图像D4 908的分辨率可与基本分辨率的1/2、1/4、1/8、1/16等对应。图10示出根据示例实施例的用于多视图3D图像的另一图像格式。参照图10，图像格式可包括与基本视图对应的彩色图像Cl 1001和深度图像Dl1005、与立体视图对应的彩色图像C2 1002和深度图像D2 1006、与卫星视图对应的彩色图像C3 1003、彩色图像C4 1004、深度图像D3 1007和深度图像D4 1008。在这种情况下，如图10中所示，彩色图像C3 1003、彩色图像C4 1004、深度图像Dl
1005、深度图像D21006、深度图像D3 1007、深度图像D4 1008的分辨率可与和彩色图像Cl1001的分辨率对应的基本分辨率不同，其中，彩色图像Cl 1001与基本视图对应。也就是说，彩色图像C3 1003、彩色图像C4 1004、深度图像Dl 1005、深度图像D2 1006、深度图像D3 1007、深度图像D4 1008的分辨率可以低于基本分辨率。具体地说，彩色图像C3 1003、彩色图像C4 1004、深度图像Dl 1005、深度图像D2
1006、深度图像D31007、深度图像D4 1008的宽度和高度可被表现为具有基本分辨率的彩色图像Cl 1001的宽度和高度的一部分。也就是说，宽度和高度可分别具有值1/N和值1/M。这里，值N和值M表示自然数。例如，值N和值M可对应于2或4，彩色图像C3 1003、彩色图像C4 1004、深度图像Dl 1005、深度图像D2 1006、深度图像D3 1007、深度图像D4 1008的分辨率可与基本分辨率的1/2、1/4、1/8、1/16等对应。参照图6至图10，基本分辨率被假设为基本视图的彩色图像的分辨率。然而，根据系统配置，可将基本分辨率设置为基本视图的彩色图像的分辨率和立体视图的彩色图像的分辨率。图11示出根据示例实施例的附加信息的语法。参照图11，附加信息可被划分为关于3D图像格式的图像模式的信息、基于与卫星视图对应的彩色图像的附加信息、基于深度图像的附加信息。基于与卫星视图对应的彩色图像的附加信息可包括satelIite_view_f lag、satellite_color_scale_flag> satellite_color_scale_ratio 和 satellite_color_scale_method0 基于深度图像的附加信息可包括 3dv_depth_property、depth_scale_f lag、depth_scale_ratio>depth_scale_method 和 depth_capturing_flag0在下文，将进一步描述每个附加信息。(I) 3dv_format_mode这里,3dv_format_mode可表示关于图像格式的图像模式的信息。具体地说,关于图像模式的信息可指示压缩比特流是与2D图像、立体3D图像还是多视图3D图像对应。作为示例，3dv_format_mode可被用于确定用于在图像再现装置中再现图像的方案。在该示例中，当将被用于显示图像的显示器与3D显示器对应,并且3dv_format_mode与2D图像对应时，图像再现装置可参照3dv_format_mode以在2D图像模式下再现2D图像，或通过图像转换装置将2D图像转换为3D图像，并随后在3D模式下再现转换的3D图像。当将被用于显示图像的显示器与2D显示器对应,并且3dv_format_mode与多视图3D图像对应时，图像再现装置可参照3dv_format_mode以通过图像转换装置将多视图3D图像转换为2D图像，并随后在2D图像模式下再现转换的2D图像，或显示图像不可以被再现。(2) satellite_view_flag 用于多视图3D图像的图像格式可包括与用于除立体视图之外产生虚拟视图的卫星视图对应的彩色图像和深度图像。这里，satellite_view_flag可表示指示与卫星视图对应的彩色图像是否包括在图像格式中的指示信息。satellite_view_flag可被应用于以上参照图8至图10描述的图像格式。(3)satellite_color_scale_flag这里，satellite_color_scale_flag可根据 satellite_view_flag 假设与卫星视图对应的彩色图像被包括在比特流中。也就是说，satellite_color_scale_flag可表示指示包括在比特流中的卫星视图的彩色图像的分辨率是否与基本分辨率不同。satellitecolor_scale_flag可被应用于以上参照图8至图10描述的图像格式。(4)satellite_color_scale_ratio这里，satellite_color_scale_ratio可表示指示包括在比特流中的卫星视图的彩色图像的分辨率与基本分辨率的比例的比例信息。也就是说，satellite_color_scale_ratio可表示卫星视图的彩色图像的分辨率和基本分辨率之间的分辨率差。satellite_color_scale_ratio可被应用于以上参照图10描述的图像格式。(5)satellite_color_scale_method这里,satellite_color_scale_method可指示用于包括在比特流中的卫星视图的彩色图像的视图间预测方案的分辨率转换方案。视图间预测方案可被应用于与不同视图对应并且具有相同分辨率的图像。因此，当与不同视图对应的图像具有不同分辨率时，用于具有相同分辨率的分辨率转换方案可作为附加信息被发送到图像再现装置。在这种情况下，图像发送装置可参照作为1-视图的参照图像的彩色图像将卫星视图的彩色图像编码为P-视图。例如，当卫星视图的彩色图像的分辨率比与基本视图的彩色图像的分辨率对应的基本分辨率低时，用于增强卫星视图的彩色图像的分辨率的内插方案可被satellitecolor_scale_method表现。例如,诸如四分之一像素(Q_pel)或Half-pel (二分之一像素)的内插方案可用于将低分辨率图像转换为高分辨率图像。
(6)3dv_depth_property这里,3dv_depth_property可表示指示包括在比特流中的深度图像的产生方案的图像特征信息。3dv_depth_property可被应用于基本视图、立体视图或卫星示图的每个深度图像。具体地说，3dv_depth_property可表示指示如何获得深度图像的信息。例如,3dv_depth_property可指示深度图像是与诸如图形图像的合成数据、从深度图像相机直接获得的测量数据、还是从彩色图像相机获得的彩色图像推导的估计数据对应。合成数据可倾向于具有高精度的深度值以及与彩色图像的高兼容性。然而，测量数据或估计数据可具有相对低精度的深度值以及与彩色图像相对低的兼容性，因此，对象的界线在彩色图像和深度图像之间可能不匹配。因此，与测量数据或估计数据对应的深度图像可使用后处理操作以增强与彩色图像的关系的精度。3dv_depth_property可被应用于以上参照图6至图10描述的图像格式。(7) depth_scale_f lag这里,depth_scale_flag可表示指示包括在比特流中的深度图像的分辨率是否与基本分辨率不同的指示信息。depth_scale_flag可被应用于基本视图、立体视图或卫星视图的每个深度图像。这里，深度图像可与基本视图、立体视图或卫星视图对应。也就是说，当基本分辨率被设置为基本视图的彩色图像的分辨率或立体视图的彩色图像的分辨率时，基本视图的深度图像的分辨率或立体视图的深度图像的分辨率可以与基本分辨率不同。depth_scale_flag可被应用于以上参照图6至图10描述的图像格式。(8)depth_scale ratio 这里，depth_scale_ratio可表示指示包括在比特流中的卫星视图的彩色图像的分辨率与基本分辨率的比例的比例信息。depth_scale_ratio可被应用于基本视图、立体视图或卫星视图的每个深度图像。基本分辨率可被设置为基本视图的彩色图像的分辨率和立体视图的彩色图像的分辨率。d印th_scale_ratio可指示深度图像的分辨率和基本分辨率之间的分辨率差。depth_scale_ratio可被应用于以上参照图6至图10描述的图像格式。(9) depth_scale_method这里，depth_scale_method可表示指示视图间预测方案的包括在比特流中的深度图像的分辨率转换方案的转换信息。depth_scale_method可被应用于基本视图、立体视图或卫星视图的每个深度图像。例如，当与相同视图对应的彩色图像和深度图像之间的分辨率不同时，或当与不同视图对应的深度图像之间的分辨率不同时，可应用cbpth_scale_method。应用于深度图像的视图间预测方案可被应用于与不同视图对应且具有相同分辨率的深度图像。因此，当与不同视图对应的图像具有不同分辨率时，与保持相同分辨率相关的分辨率转换方案可作为附加信息被发送到图像再现装置。在这种情况下，图像发送装置可参照作为1-视图的基本视图的深度图像将卫星视图的深度图像编码为P-视图。例如，当卫星视图的深度图像的分辨率比基本视图的深度图像的分辨率低，并且基本视图的深度图像的分辨率等于与基本分辨率对应的基本视图的彩色图像的分辨率时，用于增强卫星视图的深度图像的分辨率的内插方案可被depth_scale_method表现。当卫星视图的深度图像的分辨率等于基本视图的深度图像的分辨率，并且基本视图的深度图像的分辨率比与基本分辨率对应的基本视图的彩色图像的分辨率低时，用于增强卫星视图的深度图像的分辨率的内插方案可被depth_scale_method表现。例如，诸如Q_pel或Half-pel的内插方案可用于将低分辨率图像转换为高分辨率图像。(10)depth_capturing_flag这里,depth_capturing_flag可表示包括在比特流中的深度图像的分辨率与基本分辨率不同时示指分辨率不同的原因的原因信息。也就是说，当深度图像的分辨率与图像格式中的基本分辨率不同时，depth_capturing_f lag可指示分辨率的不同是由于与捕捉的视图对应的相机之间的不同造成的，还是由于在转换图像格式的操作中深度图像的分辨率降低造成的。在图11中示出的附加信息对应于示例，并可根据系统配置而改变。例如，附加信息可包括用于每个深度图像和彩色图像的视图特征。具体地说，当多个彩色图像和深度图像被包括在图像格式中时，附加信息可包括指示多个彩色图像和深度图像是与基本视图、立体视图还是卫星视图对应的信息。图12示出根据示例实施例的基于视图间预测方案的编码/解码操作。参照图12，图像1201可表示与第一视图对应的彩色图像I (在此被称为彩色图像(1)1201)或深度图像I (在此被称为深度图像(1)1201)。图像1202可表示与第二视图对应的彩色图像2 (在此被称为彩色图像(2) 1202)或深度图像2 (在此被称为深度图像
(2)1202)。在这种情况下，第一视图可表示基本视图，第二视图可表示立体视图或卫星视图，然而本发明不限于此。在下文，将针对彩色图像(2) 1202进行描述，这样的描述可被类似地应用到深度图像(2) 1202。 图像发送装置可对第一视图的彩色图像(I) 1201进行编码。图像发送装置可使用第一视图的彩色图像(I) 1201对第一视图的深度图像(I) 1201进行编码。之后，图像发送装置可使用第一视图的彩色图像(I) 1201对第二视图的彩色图像(2) 1202执行视图间预测编码。这里，可在具有相同分辨率的图像之间执行视图间预测编码。参照图12，将执行视图间预测编码的彩色图像(2) 1202的分辨率可以比彩色图像
(1)1201的分辨率低。在这种情况下，图像发送装置可对彩色图像(I) 1201进行比例缩小，从而彩色图像(I) 1201可具有与彩色图像(2) 1202相同的分辨率。彩色图像(I) 1203可表示对彩色图像(I) 1201进行比例缩小的结果。图像发送装置可基于通过对彩色图像(I) 1201进行比例缩小而获得的彩色图像(I) 1203，根据视图间预测方案对彩色图像(2) 1204进行编码。这里，彩色图像(2) 1202可以等于彩色图像(2) 1204。具体地说，图像发送装置可参照彩色图像(I) 1203产生与彩色图像(2) 1204对应的预测图像，并对与实际图像和预测图像之间的差对应的残差信号进行编码。然后，图像发送装置可将残差信号和与参考图像对应的彩色图像(1)1201通过比特流发送到图像再现装置。在这种情况下，图像发送装置可将在对彩色图像(I) 1201进行比例缩小时应用的方案设置为分辨率转换方案，并可包括附加信息，将附加信息通过比特流发送到图像再现装置。可类似于编码操作执行解码操作。图像再现装置可对包括在比特流中的彩色图像(I) 1201进行解码，并参照彩色图像(I) 1201对深度图像(I) 1201进行解码。
之后，图像再现装置可通过应用视图间预测方案对彩色图像(2) 1202进行解码。图像再现装置可接收与彩色图像(I) 1201和彩色图像(2) 1202相关联的残差信号。当彩色图像(I) 1201和彩色图像(2) 1202之间的分辨率不同时，可转换彩色图像(1)1201的分辨率从而彩色图像(1)1201的分辨率等于彩色图像(2) 1202的分辨率。在这种情况下，比特流可包括在根据视图间预测方案对彩色图像(2) 1202进行编码时应用的分辨率转换方案作为附加信息。然后，图像再现装置可通过根据与附加信息对应的分辨率转换方案对彩色图像(I) 1201进行比例缩小来输出彩色图像(1) 1203。之后，图像再现装置可参照彩色图像(I) 1203产生彩色图像(2) 1204的预测图像，并随后通过将残差信号添加到彩色图像
(2)1204的预测图像来恢复彩色图像(2) 1204。之后，图像再现装置可使用具有相同分辨率的彩色图像和深度图像来产生3D图像。因此，图像再现装置可对恢复的彩色图像(2) 1204进行比例放大以使彩色图像(2)1204具有与具有基本分辨率的彩色图像(I) 1201相同的分辨率。这里，在对深度图像进行比例放大时可应用双边或三边滤波器。图13示出根据示例实施例的对彩色图像进行后处理的操作。参照图13，彩色图像(I) 1301可与第一视图对应，彩色图像(2) 1302可与第二视图对应。彩色图像(I) 1301和彩色图像(2) 1302可表示根据视图间预测方案对图像解码的结
果O
图像再现装置可使用指示不同视图的彩色图像(I) 1301和彩色图像(2) 1302来产生多视图3D图像。为了产生多视图3D图像，指示不同视图的彩色图像(I) 1301和彩色图像(2) 1302可具有相同分辨率。在这种情况下，彩色图像(1)1301的分辨率可被假设为基本分辨率。当与彩色图像(1)1301的分辨率比较时，彩色图像(2) 1302可具有更低的分辨率。图像再现装置可通过对彩色图像(2) 1302进行比例放大来改变彩色图像(2) 1302的分辨率。为了增强图像质量，图像再现装置可参照彩色图像(I) 1303对比例放大后的彩色图像(2) 1304进行后处理。在后处理操作中可应用诸如维纳滤波器的滤波操作，并且可应用用于增强图像质量的算法。图14示出根据示例实施例的对深度图像进行后处理的操作。参照图14，深度图像(I) 1401可与第一视图对应，深度图像(2) 1402可与第二视图对应。深度图像(I) 1401和深度图像(2) 1402可表示根据视图间预测方案对图像进行解码的结果。图像再现装置可使用指示不同视图的深度图像⑴1401和深度图像⑵1402来产生多视图3D图像。为了产生多视图3D图像，指示不同视图的深度图像(1)1401和深度图像(2) 1402可具有相同分辨率。在这种情况下，深度图像(1)1401的分辨率可被假设为基本分辨率。当与深度图像(1)1401的分辨率比较时，深度图像(2) 1402可具有更低的分辨率。图像再现装置可通过对深度图像(2) 1402进行比例放大来改变深度图像(2) 1402的分辨率。为了增强图像质量，图像再现装置可参照深度图像(I) 1403对比例放大后的深度图像(2) 1404进行后处理。在后处理操作中可应用诸如维纳滤波器的滤波操作，并且可应用用于增强图像质量的算法。具体地说，可根据深度图像的图像特征信息分别应用深度图像的后处理操作，这将参照图16进行进一步的描述。图15示出根据示例实施例的基于图像特征信息对深度图像进行解码的操作。如之前的描述，图像再现装置可对深度图像进行解码。例如，图像再现装置可使用环路(in-loop)滤波器对深度图像进行解码。在这种情况下，图像再现装置可在操作1501确定深度图像的图像特征信息，并基于图像特征信息不同地应用滤波方案。这里，图像特征信息可表示深度图像的产生方案。例如，深度图像的图像特征信息可指示深度图像是与诸如图形图像的合成数据、从深度图像相机直接获得的测量数据、还是从彩色图像相机获得的彩色图像推导的估计数据对应。在操作1502，图像再现装置可根据诸如双边滤波器或维纳滤波器的滤波方案I对诸如合成数据的较为精确的深度图像进行解码。在操作1503，图像再现装置可根据不应用环路滤波器的滤波方案2对诸如测量数据或估计数据的较不精确的深度图像进行解码。图16示出根据示例实施例的基于图像特征信息对深度图像进行后处理的操作。如之前的描述，图像再现装置可对解码的深度图像进行后处理。在这种情况下，图像再现装置可在操作1601 确定深度图像的图像特征信息，并基于图像特征信息应用滤波方案。这里，图像特征信息可表示深度图像的产生方案。例如，深度图像的图像特征信息可指示深度图像是与诸如图形图像的合成数据、从深度图像相机直接获得的测量数据、还是从彩色图像相机获得的彩色图像推导的估计数据对应。在操作1602，图像再现装置可根据诸如用于使对象的边界清楚的最大滤波器的滤波方案I对诸如合成数据的较为精确的深度图像进行后处理。在操作1603，图像再现装置可根据滤波方案2对诸如测量数据或估计数据的较不精确的深度图像进行后处理，其中，滤波方案2参照关于彩色图像的信息校正或去除深度图像的不精确的部分。图17示出根据示例实施例的发送图像的方法。在操作1701，图像发送装置可根据3D图像格式转换与多个视图对应的彩色图像和深度图像。这里，彩色图像和深度图像可与基本视图、立体视图和卫星视图中的至少一个视图对应。在操作1702，图像发送装置可对彩色图像和深度图像进行编码。例如，图像发送装置可根据视图间预测方案对彩色图像和深度图像进行编码。在操作1703，图像发送装置可将比特流发送到图像再现装置，其中，所述比特流包括与3D图像格式相关联的附加信息、根据3D图像格式转换的彩色图像和深度图像。例如，比特流可包括关于3D图像格式的图像模式的信息、基于与卫星视图对应的彩色图像的附加信息、基于深度图像的附加信息中的至少一个。具体地说，基于与卫星视图对应的彩色图像的附加信息包括下述信息中的至少一个:指示卫星视图的彩色图像是否包括在比特流中的指示信息、指示包括在比特流中的卫星视图的彩色图像的分辨率是否与基本分辨率不同的指示信息、指示包括在比特流中的卫星视图的彩色图像的分辨率与基本分辨率的比例的比例信息、指示用于包括在比特流中的卫星视图的彩色图像的视图间预测方案的分辨率转换方案的转换信息。基于深度图像的附加信息可包括以下信息中的至少一个:指示包括在比特流中的深度图像的产生方案的图像特征信息、指示包括在比特流中的深度图像的分辨率是否与基本分辨率不同的指示信息、指示包括在比特流中的深度图像的分辨率与基本分辨率的比例的比例信息、指示用于视图间预测方案的包括在比特流中的深度图像的分辨率转换方案的转换信息、当包括在比特流中的深度图像的分辨率与基本分辨率不同时指示分辨率不同的原因的原因信息。图18示出根据示例实施例的再现图像的方法。在操作1801，图像再现装置可从图像发送装置接收比特流，所述比特流包括根据3D图像格式转换的多个视图的彩色图像和深度图像以及与3D图像格式相关的附加信息。可参照图17用于在此省略的附加信息的描述。在操作1802，图像再现装置可根据视图间预测方案对包括在比特流中的彩色图像和深度图像进行解码。在操作1803，图像再现装置可对深度图像执行后处理以增强彩色图像或深度图像的图像质量。 在操作1804，图像再现装置可通过根据附加信息处理彩色图像和深度图像来产生将在显示装置中再现的输出图像。图19示出根据示例实施例的再现图像的另一方法。在操作1901，图像再现装置可从比特流中提取与3D图像格式相关联的附加信息。可参照图6至图10用于在此省略的3D图像格式的描述，并且可参照图11用于在此省略的附加信息的描述。在操作1902，图像再现装置可根据视图间预测方案对包括在比特流中的彩色图像和深度图像进行解码。在操作1903，图像再现装置可执行用于增强解码后的彩色图像或深度图像的图像质量的后处理。在操作1904，图像再现装置可通过根据附加信息对多个视图的彩色图像和深度图像进行处理来产生输出图像。在操作1905，图像再现装置可显示输出图像。根据上述实施例的发送图像的方法和再现图像的方法可被记录在包括用于实现由计算机实施的各种操作的程序指令的非暂时性计算机可读介质中。所述介质还单独地包括程序指令、数据文件、数据结构等或包括程序指令、数据文件、数据结构等的组合。非暂时性计算机可读介质的示例包括磁性介质(诸如硬盘、软盘和磁带)；光学介质(诸如CD ROM盘和DVD);磁光介质(诸如光盘)；被专门配置为存储和执行程序指令的硬件装置(诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。程序指令的示例包括诸如由编译器产生的机器代码和包含可由计算机使用解释器执行的更高级代码的文件两者。描述的硬件装置可被配置为用作用于执行上述实施例的操作的一个或多个软件模块，反之亦然。可在通用计算机或处理器上执行方法，或可在诸如在此描述的图像发送装置、图像再现装置和成像系统的特定机器上执行方法。在此描述的软件模块的任何一个或多个可由对该单元唯一的专用处理器来执行，或者可由一个或多个模块通用的处理器来执行。尽管已经示出并描述了实施例，但是本领域的技术人员应理解，在不脱离权利要求及其等同物限定的本公开的原理和精神的情况下，可对这些实施例进行改变。
权利要求
1.一种图像发送装置，包括: 图像转换器，根据三维(3D)图像格式转换与多个视图对应的彩色图像和深度图像；比特流发送器，发送包括与3D图像格式相关联的附加信息、转换后的彩色图像和转换后的深度图像的比特流。
2.如权利要求1所述的图像发送装置，其中，彩色图像和深度图像中的每一个都与基本视图、立体视图和卫星视图中的至少一个对应。
3.如权利要求1所述的图像发送装置，其中，比特流包括关于3D图像格式的图像模式的信息、基于与卫星视图对应的彩色图像的附加信息、基于深度图像的附加信息中的至少一个。
4.如权利要求1所述的图像发送装置，其中，附加信息包括指示卫星视图的彩色图像是否包括在比特流中的指示信息。
5.如权利要求1所述的图像发送装置，其中，附加信息包括指示包括在比特流中的卫星视图的彩色图像的分辨率是否与基本分辨率不同的指示信息。
6.如权利要求1所述的图像发送装置，其中，附加信息包括指示包括在比特流中的卫星视图的彩色图像的分辨率与基本分辨率的比例的比例信息。
7.如权利要求1所述的图像发送装置，其中，附加信息包括指示用于包括在比特流中的卫星视图的彩色图像的视图间预测方案的分辨率转换方案的转换信息。
8.如权利要求1所述的图像发送装置，其中，附加信息包括指示包括在比特流中的深度图像的产生方案的图像特征信息。
9.如权利要求1所述的图像发送装置，其中，附加信息包括指示包括在比特流中的深度图像的分辨率是否与 基本分辨率不同的指示信息。
10.如权利要求1所述的图像发送装置，其中，附加信息包括指示包括在比特流中的深度图像的分辨率与基本分辨率的比例的比例信息。
11.如权利要求1所述的图像发送装置，其中，附加信息包括指示用于视图间预测方案的包括在比特流中的深度图像的分辨率转换方案的转换信息。
12.如权利要求1所述的图像发送装置，其中，附加信息包括当包括在比特流中的深度图像的分辨率与基本分辨率不同时指示分辨率不同的原因的原因信息。
13.如权利要求1所述的图像发送装置，还包括: 图像编码器，根据视图间预测方案对彩色图像和深度图像进行编码， 其中，比特流发送器发送包括根据视图间预测方案编码的彩色图像和深度图像的比特流。
14.如权利要求1所述的图像发送装置，其中，比特流发送器将比特流发送到图像再现>j-U ρ α装直。
15.一种图像再现装置，包括: 比特流接收器，接收比特流，所述比特流包括根据三维(3D)图像格式转换的多个视图的彩色图像和深度图像以及与3D图像格式相关联的附加信息； 图像产生器，通过根据附加信息处理彩色图像和深度图像产生将在显示装置中再现的输出图像。
16.如权利要求15所述的图像再现装置，其中，彩色图像和深度图像与基本视图、立体视图和卫星视图中的至少一个对应。
17.如权利要求15所述的图像再现装置，其中，比特流包括关于3D图像格式的图像模式的信息、基于与卫星视图对应的彩色图像的附加信息、基于深度图像的附加信息中的至少一个。
18.如权利要求17所述的图像再现装置，其中，基于与卫星视图对应的彩色图像的附加信息包括下述信息中的至少一个:指示卫星视图的彩色图像是否包括在比特流中的指示信息、指示包括在比特流中的卫星视图的彩色图像的分辨率是否与基本分辨率不同的指示信息、指示包括在比特流中的卫星视图的彩色图像的分辨率与基本分辨率的比例的比例信息、指示用于包括在比特流中的卫星视图的彩色图像的视图间预测方案的分辨率转换方案的转换信息。
19.如权利要求17所述的图像再现装置，其中，基于深度图像的附加信息包括以下信息中的至少一个:指示包括在比特流中的深度图像的产生方案的图像特征信息、指示包括在比特流中的深度图像的分辨率是否与基本分辨率不同的指示信息、指示包括在比特流中的深度图像的分辨率与基本分辨率的比例的比例信息、指示用于视图间预测方案的包括在比特流中的深度图像的分辨率转换方案的转换信息、当包括在比特流中的深度图像的分辨率与基本分辨率不同时指示分辨率不同的原因的原因信息。
20.如权利要求17所述的图像再现装置，还包括: 图像解码器，根据视图间预测方案对包括在比特流中的彩色图像和深度图像进行解码。
21.如权利要求17所述的图像再现装置，还包括: 图像后处理单元，对深度图像执行后处理以增强彩色图像和/或深度图像的图像质 量。
22.如权利要求15所述的图像再现装置，其中，比特流接收器从图像发送装置接收比特流。
23.一种发送图像的方法，所述方法包括: 根据三维(3D)图像格式转换与多个视图对应的彩色图像和深度图像； 发送包括与3D图像格式相关联的附加信息、转换后的彩色图像和转换后的深度图像的比特流。
24.如权利要求23所述的方法，其中，在所述发送比特流的步骤中，比特流被发送到图像再现装置。
25.—种再现图像的方法，所述方法包括: 接收比特流，所述比特流包括根据三维(3D)图像格式转换的多个视图的彩色图像和深度图像以及与3D图像格式相关联的附加信息； 通过根据附加信息处理彩色图像和深度图像来产生将在显示装置中再现的输出图像。
26.如权利要求25所述的方法，其中，在所述接收比特流的步骤中，从图像发送装置接收比特流。
27.一种成像系统，包括: 图像发送装置，根据三维(3D)图像格式发送包括彩色图像和深度图像的比特流，所述彩色图像和深度图像中的每一个都与多个图像视图对应；图像再现装置，接收由图像发送装置发送的比特流， 其中，发送的比特流还包括与3D图像格式的图像模式相关联的附加信息，所述3D图像格式的图像模式包括所述多个图像视图中的至少一个，其中，图像再现装置通过根据附加信息处理彩色图像和深度图像来产生并输出将在显示装置中显示或再现的输出图像。
28.—种图像系统,包括: 图像发送装置，根据三维(3D)图像格式发送包括彩色图像和深度图像的比特流，所述彩色图像和深度图像中的每一个都与多个图像视图对应； 图像再现装置，接收由图像发送装置发送的比特流， 其中，发送的比特流还包括与3D图像格式的图像模式相关联的附加信息， 其中，图像再现装置通过根据附加信息处理彩色图像和深度图像来产生并输出将在显示装置中显示或再现的输出图像。
29.如权利要求28所述的成像系统，其中，3D图像格式的图像模式包括基本视图、立体视图和卫星视图中的 至少一个。
全文摘要
提供了一种图像发送装置和方法以及图像再现装置和方法。图像发送装置和图像再现装置可通过使用关于三维(3D)图像格式的图像模式的信息、基于与卫星视图对应的彩色图像的附加信息或基于深度图像的信息处理彩色图像和深度图像来向用户提供多视图3D图像。
文档编号H04N21/2343GK103227935SQ201310034820
公开日2013年7月31日 申请日期2013年1月29日 优先权日2012年1月31日
发明者李硕, 魏浩千, 李承信, 李在濬 申请人:三星电子株式会社