利用传输格式的图像处理装置及其控制方法
【专利摘要】本发明公开了一种图像处理装置和控制方法。一种控制图像处理装置的方法，所述图像处理装置处理视频信号，所述视频信号包括辅助图像以及在显示装置中交替显示的第一图像和第二图像，所述方法包括：根据从图像处理装置向显示装置传输视频信号的传输格式，调节辅助图像；将调节后的辅助图像添加到第一图像和第二图像中的至少一个；将添加有辅助图像的第一图像和第二图像转换成传输图像，其中在所述传输图像中，根据传输格式来编辑第一图像和第二图像；以及对传输图像进行传输。
【专利说明】利用传输格式的图像处理装置及其控制方法
【技术领域】
[0001]根据示例实施例的装置和方法涉及图像处理装置和控制方法。更具体地，示例实施例涉及能够根据传输格式改善图像可见度(Visibility)的图像处理装置及其控制方法。
【背景技术】
[0002]近年来,在各种领域迅速引入了三维(3D)服务。这种3D服务起始于analglyph方法，该方法不需要单独的硬件支持并且在早期阶段使用相对廉价的红青(red-cyan)眼镜。通过制造商的积极尝试，这演进成为各种3D信号传输方法,如，并排(side-by-side)方法、上下(top-bottom)方法、棋盘(checker board)方法等等。
[0003]随着近年来传输3D视频信号的各种方法的快速演进，支持传输3D视频信号的各种标准的显示装置并存于家庭中。因此，为例优化所显示的3D图像的质量，需要根据分布于家庭中的各种3D显示装置所支持的不同格式的输入视频信号来合适地控制图像。
【发明内容】
[0004]一个或多个示例实施例可以提供一种能够根据传输格式来改善图像可见度的图像处理装置及其控制方法。
[0005]根据示例实施例的一方面，一种控制图像处理装置的方法，所述图像处理装置处理视频信号，所述视频信号包括辅助图像以及在显示装置中交替显示的第一图像和第二图像，所述方法包括:根据从图像处理装置向显示装置传输视频信号的传输格式，调节辅助图像；将调节后的辅助图像添加到第一图像和第二图像中的至少一个；将添加有辅助图像的第一图像和第二图像转换成传输图像，其中在所述传输图像中，根据传输转换格式来编辑第一图像和第二图像；以及传输组成的传输图像。
[0006]传输格式可以包括并排格式或上下格式。
[0007]辅助图像可以以包括图像中包含的图标、字母和字幕(subtitle)中的至少一个。
[0008]根据传输格式来调节辅助图像可以包括:放大辅助图像。
[0009]根据传输格式来调节辅助图像可以包括:根据传输格式来改变字母的字体。
[0010]根据传输格式来调节辅助图像可以包括:根据传输格式来改变字幕的内容。
[0011]该方法还可以包括:从显示装置接收与显示装置可支持的传输格式有关的信息；以及基于显示装置所支持的传输格式和图像处理装置所支持的传输格式的组合，存储所有可支持的传输格式。
[0012]该方法还可以包括:用户从所有可支持的传输格式中选择一种传输格式；以及存储所选的传输格式。
[0013]响应于传输格式为并排格式，根据传输格式来调节辅助图像可以包括:最大程度地抑制辅助图像中高频分量在水平方向上的丢失。
[0014]响应于传输格式为上下格式，根据传输格式来调节辅助图像包括最大程度地抑制辅助图像中高频分量在垂直方向上的丢失。
[0015]根据示例实施例的一方面，一种图像处理装置，所述图像处理装置处理视频信号，所述视频信号包括辅助图像以及在显示装置中交替显示的第一图像和第二图像，所述图像处理装置包括:图像处理器，配置为处理视频信号；以及控制器，配置为根据从图像处理装置向显示装置传输视频信号的传输格式来调节辅助图像，所述控制器被配置为将调节后的辅助图像添加到第一图像和第二图像中的至少一个，并且被配置为将添加有辅助图像的第一图像和第二图像转换成传输图像，在所述传输图像中，根据传输格式来编辑第一图像和第二图像；以及通信器，配置为传输组成的传输图像。
[0016]传输格式可以包括并排格式或上下格式。
[0017]辅助图像可以包括图像中包含的图标、字母和字幕中的至少一个。
[0018]控制器可以控制图像处理器放大辅助图像。
[0019]控制器可以控制图像处理器根据传输格式来改变字母的字体。
[0020]控制器可以控制图像处理器根据传输格式来改变字幕的内容。
[0021]图像处理装置还可以包括:信息接收器，配置为从显示装置接收与显示装置可支持的传输格式有关的信息；以及存储装置，配置为基于显示装置所支持的传输格式和图像处理装置所支持的传输格式的组合来存储所有可支持的传输格式。
[0022]图像处理装置还可以包括:用户输入，用户通过所述用户输入从所有可支持的传输格式中选择一种传输格式，其中控制器被配置为控制存储装置存储所选的传输格式。
[0023]响应于传输格式为并排格式，控制器最大程度地抑制辅助图像的高频分量在水平方向上的丢失。
[0024]响应于传输格式为上下格式，控制器最大程度地抑制辅助图像的高频分量在垂直方向上的丢失。
[0025]示例实施例的一方面可以提供一种图像处理装置，配置为处理视频信号，所述视频信号包括辅助图像以及在显示装置中交替显示的第一图像和第二图像，所述图像处理装置包括:控制器，配置为根据传输格式来调节辅助图像并将调节后的辅助图像添加到第一图像和第二图像中的至少一个，并且配置为将第一图像、第二图像以及调节后的辅助图像转换成传输图像。所述图像处理装置还可以包括:图像处理器，配置为处理视频信号。
[0026]传输格式可以包括并排格式或上下格式。控制器可以被配置为根据传输控制格式来控制图像处理器，以放大辅助图像、改变字母的字体或改变字幕的内容。
[0027]示例图像处理装置还可以提供:信息接收器，从显示装置接收与显示装置可支持的传输格式有关的信息；以及存储装置，配置为基于显示装置所支持的传输格式和图像处理装置所支持的传输格式的组合来存储所有可支持的传输格式。
[0028]图像处理装置还可以提供:用户输入，用户通过所述用户输入从所有可支持的传输格式中选择一种传输格式，其中控制器控制存储装置存储所选的传输格式。
[0029]响应于传输格式为并排格式，控制器最大程度地抑制辅助图像的高频分量在水平方向上的丢失。
[0030]响应于传输格式为上下格式，控制器最大程度地抑制辅助图像的高频分量在垂直方向上的丢失。
[0031]图像处理装置还可以包括:通信器，配置为将传输图像传送至显示器。【专利附图】
【附图说明】
[0032]结合附图，根据示例实施例的以下详细描述，上述和/或其他方面将更清楚并且更易于理解，附图中:
[0033]图1示出了并排方法和上下方法，作为从图像处理装置向显示装置传输视频信号的传输格式的不例；
[0034]图2示出了辅助图像的可见度根据从图像处理装置向显示装置传输视频信号的传输格式而劣化的示例；
[0035]图3是根据示例实施例的图像处理装置的框图；
[0036]图4是根据另一示例实施例的图像处理装置的框图；
[0037]图5是说明了根据示例实施例的图像处理装置的控制方法的流程图；
[0038]图6是说明了图5中调节辅助图像的详细操作的流程图的示例；以及
[0039]图7是说明了图5中调节辅助图像的详细操作的流程图的另一示例。
【具体实施方式】
[0040]以下将参考附图详细描述示例实施例。
[0041]本公开在于防止图像的可见度由于信息丢失而劣化，其中当在从图像处理装置向显示装置传输视频信号时改变格式时，发生信息丢失。对于3D图像、双视图等可能出现这种格式改变。
[0042]下文中，将描述3D图像的格式变化作为代表性示例，但并不局限于此。
[0043]3D图像的效果采用分别向左眼和右眼传输不同图像的方法，因此基本上加倍地需要信号传输带宽。否则，如果使用一个传输带宽来传输3D视频信号，那么图像信息的量就必须要减半。
[0044]在引入高清晰度多媒体接口(HDMI) 1.4的全高清(HD)帧打包格式之前，传输3D视频信号的方法不得不需要这样使用已有的传输带宽。因此，通过将原始视频信号的信息量减半来传输3D视频信号。
[0045]图1示出了并排方法和上下方法作为从图像处理装置向显示装置传输视频信号的传输格式的示例。
[0046]如图1所示，根据不同的视频信号传输方法(例如，基于并排方法的格式转换和基于上下方法的格式转换)来处理由具有两个镜头的3D摄像机拍摄的三维(3D)图像。并排格式转换和上下格式转换中的每一种都将原始图像的分辨率减半，因此可以在与二维(2D)图像的传输带宽相同的传输带宽中传输3D视频信号。并排格式转换方法沿着水平方向对原始图像数据进行空间压缩，上下格式转换方法沿着垂直方向对原始图像数据进行空间压缩，从而将每一种方法的传输容量减半。
[0047]由于在传输视频信号时不可避免地发生的信息丢失，存在与图像质量的劣化相关的各种问题。具体地，在转换并排3D图像和上下3D图像的格式时，屏幕上显示的字母或其他数据的可见度取决于转换格式。
[0048]图2示出了辅助图像的可见度根据从图像处理装置向显示装置传输视频信号的传输格式而劣化的示例。[0049]如图2所示，词“Uf暑”在进行上下格式转换和恢复时丢失了垂直轴的高频分量，因此字母“暑”严重损坏。另一方面，在进行并排转换和恢复时，水平轴的高频分量丢失，因此“W3”中右侧的辅音“y”和元音“P靠在一起，从而破坏了字母“_p的可见度。
[0050]为了即使是如上所述信息丢失也能实现最优的图像质量，根据示例实施例的图像处理如下。
[0051]图3是示出了根据示例实施例的图像处理装置的框图。
[0052]如图3所示，图像处理装置I包括:图像处理器2，处理视频信号，所述视频信号包含辅助图像和在显示装置上交替显示的第一图像和第二图像；控制器3，根据从图像处理装置I向显示装置10传输视频信号的传输格式来调节辅助图像，将调节后的辅助图像添加到第一图像和第二图像中的至少一个，并控制图像处理器2将添加有调节后的辅助图像的第一图像和第二图像转换成传输图像，在传输图像中第一图像和第二图像根据传输格式而相结合；以及通信器4，对传输图像进行传输。
[0053]以下将通过示例来描述3D图像的传输格式。
[0054]3D视频信号可以包括:为了实现3D效果而交替显示的左眼图像和右眼图像；以及辅助图像。在这种情况下，左眼图像和右眼图像分别对应于第一图像和第二图像。响应于使用上下转换格式通过已有传输带宽向显示装置传输视频信号，将原始视频信号垂直压缩，从而存在于垂直轴上的高频分量丢失。另一方面，如果使用并排转换格式，则将原始视频信号垂直压缩，从而存在于水平轴上的高频分量丢失。本文中，高频分量对应于诸如辅助图像中包含的特定图标、字母以及字幕等数据。
[0055]本文中，从图像处理装置单独提供辅助图像。辅助图像由左眼图像和右眼图像中的至少一个构成，并且被传输至显示装置。辅助图像可以包括菜单中包含的图表或字母以及字幕等数据。
[0056]在利用至少一个左眼图像和右眼图像构成辅助图像之前，根据传输格式，图像处理器2可以将辅助图像放大，改变辅助图像中包含的字母的字体，或者改变字幕的内容。
[0057]图像处理器2操作用于:响应于传输格式为并排，最大程度地抑制水平方向上辅助图像中的高频分量丢失；以及响应于传输格式为上下，最大程度地抑制垂直方向上辅助图像中的高频分量丢失。
[0058]例如，响应于传输格式为并排并且辅助图像包含字母，图像处理器2可以操作用于在表示字母的各种字体当中选择性地使用使字母受水平方向上高频分量丢失的影响最小的字体。除了选择最优字体以外，图像处理器2还可以操作用于使字母为黑体、倾斜等等。此外，可以预先向左和向右扩展字母。同样，响应于传输格式为上下并且辅助图像包含字母，图像处理器2可以操作用于在表示字母的各种字体当中选择性地使用以下字体:该字体的字母受垂直方向上高频分量丢失的影响最小。除了选择最优字母之外，图像处理器2还可以操作用于使字母为黑体、倾斜等等。此外，可以预先向上和向下扩展字母。
[0059]因此，即使在针对3D传输或针对双视图传输转换格式时传输图像的分辨率减半，也保持了字母的可见度。
[0060]此外，例如，响应于传输格式为上下并且辅助图像包含字幕，图像处理器2可以操作用于选择受垂直方向上高频分量丢失的影响最小的字幕。响应于用两行显示字幕并且两行之间的空间由于上下传输格式而变窄，可以通过放大辅助图像使行之间的空间变宽，或者可以选择用一行显示的字幕。可以通过提取两行显示的字幕的内容来获得一行显示的字幕。因此，即使在针对传输而转换格式时垂直方向上传输图像的分辨率减半，也保持了字幕的可见度。
[0061]此外，响应于辅助图像包含与高频分量相对应的图标或者具有特定形状的信息，图像处理器2在辅助图像跟左眼图像和右眼图像中的至少一个组成传输图像之前，进行处理并防止图标或具有特定形状的信息的可见度劣化。
[0062]同时，前述改善可见度的操作可以同样应用于针对双视图的格式转换。此外，可以通过软件程序来实现图像处理器2的改善可见度的操作。
[0063]可以由图像处理装置或广播站从各种传输格式之中选择用于提供3D图像效果的传输格式。这种传输格式必须被显示装置10所支持，以显示视频信号。因此，图像处理装置2可以通过通信单元4接收与显示装置10可支持的传输格式有关的信息，并且可以存储转换格式。
[0064]图4是根据另一示例实施例的图像处理装置的框图。
[0065]如图4所示，图像处理装置I还可以包括存储装置5和用户输入6。图像处理装置I通过通信器4从显示装置10接收与传输格式有关的信息，并将信息存储在存储装置5中。
[0066]相应地，图像处理装置I可以将显示装置10支持的传输格式(该传输格式的信息被存储在存储装置5中)与图像处理装置I支持的传输格式相比较，并且可以从可支持的传输格式中选择被优化为防止辅助图像的可见度变差的传输格式。
[0067]同时，用户可以从图像处理装置I和显示装置10均支持的传输格式之中选择期望的传输模式。在这种情况下，图像处理装置I通过用户输入6接收用户的输入。因此，用户可以从各种传输格式之中选择示出了辅助图像的最佳可见度的传输格式。
[0068]图5是说明了根据示例实施例的图像处理装置的控制方法的流程图。
[0069]在操作S10，对包含辅助图像以及在显示装置上交替显示的第一图像和第二图像的视频信号进行处理的图像处理装置I的图像处理器2首先在控制器3的控制下调节与用于从图像处理装置向显示装置传输视频信号的视频格式相对应的辅助图像。
[0070]这种调节是在由左眼图像和右眼图像中的至少一个构成辅助图像之前执行的，响应于传输格式为并排而最大程度地抑制了水平方向上辅助图像中高频分量的丢失，或者响应于传输格式为上下而最大程度地抑制了垂直方向上辅助图像中高频分量的丢失。
[0071]例如，调节可以包括以下操作:根据传输格式来放大辅助图像，改变辅助图像中包含的字母的字体，改变字幕的内容，等等。
[0072]因此，即使在针对传输而转换格式时水平方向上传输图像的分辨率减半，也保持了字幕的可见度。
[0073]响应于从图像处理装置向显示装置传输视频信号的传输格式为并排或上下，以下将通过示例更详细描述调节辅助图像的操作S10。
[0074]图6是说明了图5中调节辅助图像的详细操作的流程图的示例。
[0075]在调节辅助图像之前，图像处理装置I的控制器3确定视频信号是否出了第一图像和第二图像之外还包括辅助图像(Sll)。
[0076]响应于视频信号包括辅助图像，控制器3确定传输格式(S13)。响应于确定传输格式为上下，控制器3调节辅助图像，使得最大程度地抑制垂直方向上辅助图像的高频分量(S15)。例如，在将辅助图像转换成传输图像之前，响应于辅助图像包含字母，控制器3控制图像处理器2从表示该字母的各种字体当中选择使字母受垂直方向上高频分量丢失的影响最小的字体，使字母为黑体、倾斜等等，或者向上和向下扩展字母。另一方面，响应于确定传输格式为并排，控制器3调节辅助图像，使得最大程度地抑制水平方向上辅助图像的高频分量(S17)。例如，在将辅助图像转换成传输图像之前，响应于辅助图像包含字母，控制器3控制图像处理器2从表示该字母的各种字体当中选择使字母受水平方向上高频分量丢失的影响最小的字体，使字母为黑体、倾斜等等，或者向左和向右扩展字母。
[0077]因此，即使在针对3D传输或双视图传输而转换格式时传输图像的分辨率减半，也保持了字幕的可见度。
[0078]同时，响应于从图像处理装置向显示装置传输视频信号的传输格式为除了并排和上下以外的其他格式，如下执行调节辅助图像的操作S10。
[0079]图7是示出了图5中调节辅助图像的详细操作的流程图的另一示例。
[0080]在调节辅助图像之前，图像处理装置I的控制器3确定视频信号是否除了第一图像和第二图像之外还包括辅助图像(S51)。
[0081]响应于视频信号包括辅助图像，控制器3确定传输格式是否为上下(S52)。响应于确定传输格式为上下，控制器3调节辅助图像，使得最大程度地抑制垂直方向上辅助图像的高频分量(S53)。例如，在将辅助图像转换成传输图像之前，响应于辅助图像包含字母，控制器3控制图像处理器2从表示该字母的各种字体当中选择使字母受垂直方向上高频分量丢失的影响最小的字体，使字母为黑体、倾斜等等，或者向上和向下扩展字母。另一方面，响应于确定传输格式不是上下，控制器3确定传输格式是否为并排(S54)。响应于确定传输格式为并排，控制器3调节辅助图像，使得最大程度地抑制水平方向上辅助图像的高频分量(S55)。例如，在将辅助图像转换成传输图像之前，响应于辅助图像包含字母，控制器3控制图像处理器2从表示该字母的各种字体当中选择使字母受水平方向上高频分量丢失的影响最小的字体，使字母为黑体、倾斜等等，或者向左和向右扩展字母。响应于确定传输格式不是并排，控制器3调节辅助图像，使得最大程度地抑制辅助图像的高频分量(S56)。
[0082]因此，即使在针对3D传输或双视图传输而转换格式时传输图像的分辨率减半，也保持了字幕的可见度。
[0083]参考图5，响应于如上所述完成调节，图像处理器2将在控制器3的控制下调节的辅助图像添加到第一图像和第二图像中的至少一个(S20);将添加有调节后辅助图像的第一图像和第二图像转换成传输图像(S30)，其中在所述传输图像中，根据传输格式来编辑(compose)第一图像和第二图像；并将传输图像传输至显示装置10(S40)。
[0084]如上所述，提供了一种能够根据传输格式来改善图像可见度的图像处理装置及其控制方法。
[0085]尽管示出并描述了一些示例实施例，然而本领域技术人员将认识到，在不脱离本发明的原理的前提下可以对这些示例实施例做出修改，本发明的范围由附权利要求及其等价物来限定。
【权利要求】
1.一种控制图像处理装置的方法，所述图像处理装置处理视频信号，所述视频信号包括辅助图像以及配置为在显示装置上交替显示的第一图像和第二图像，所述方法包括: 根据从图像处理装置向显示装置传输视频信号的传输格式，调节辅助图像； 将调节后的辅助图像添加到第一图像和第二图像中的至少一个； 将添加有辅助图像的第一图像和第二图像转换成传输图像，其中在所述传输图像中，根据传输格式来编辑第一图像和第二图像。
2.根据权利要求1所述的方法，其中， 传输格式包括并排格式或上下格式，并且 响应于传输格式为并排格式或上下格式，根据传输格式来调节辅助图像包括最大程度地抑制辅助图像的高频分量在水平方向上或垂直方向上的丢失。
3.根据权利要求1所述的方法，其中， 辅助图像包括图像中包含的图标、字母和字幕中的至少一个；并且根据传输格式来调节辅助图像包括根据传输格式来改变字母的字体和字幕的内容中的至少一个。
4.根据权利要求1所述的方法，其中，根据传输格式来调节辅助图像包括:放大辅助图像。
5.根据权利要求1所述的方法，还包括: 从显示装置接收与显示装置可支持的传输格式有关的信息；以及基于显示装置所支持的传输格式和图像处理装置所支持的传输格式的组合，存储所有可支持的传输格式。
6.根据权利要求5所述的方法，还包括: 由用户从所有可支持的传输格式中选择传输格式之一；以及 存储所选的传输格式。
7.一种图像处理装置，配置为处理视频信号，所述视频信号包括辅助图像以及在显示装置中交替显示的第一图像和第二图像，所述图像处理装置包括: 控制器，配置为根据传输转换格式来调节辅助图像并将调节后的辅助图像添加到第一图像和第二图像中的至少一个，并且配置为将第一图像、第二图像以及调节后的辅助图像转换成传输图像。
8.根据权利要求7所述的图像处理装置，还包括:图像处理器，配置为处理视频信号。
9.根据权利要求7所述的图像处理装置，其中，传输转换格式包括并排格式或上下格式。
10.根据权利要求8所述的图像处理装置，其中，控制器被配置为根据传输控制格式来控制图像处理器，以放大辅助图像、改变字母的字体或改变字幕的内容。
11.根据权利要求7所述的图像处理装置，还包括: 信息接收器，从显示装置接收与显示装置可支持的传输转换格式有关的信息；以及存储装置，配置为基于显示装置所支持的传输转换格式和图像处理装置所支持的传输转换格式的组合来存储所有可支持的传输转换格式。
12.根据权利要求11所述的图像处理装置，还包括:用户输入，用户通过所述用户输入从所有可支持的传输转换格式中选择一种传输转换格式，其中控制器控制存储装置存储所选的传输转换格式。
13.根据权利要求9所述的图像处理装置，其中，响应于传输转换格式为并排格式，控制器最大程度地抑制辅助图像的高频分量在水平方向上的丢失。
14.根据权利要求9所述的图像处理装置，其中，响应于传输转换格式为上下格式，控制器最大程度地抑制辅助图像的高频分量在垂直方向上的丢失。
15.根据权利要求7所述的图像处理装置，还包括:通信器，配置为将传输图像传送至显示器。
【文档编号】H04N19/16GK103841399SQ201310582456
【公开日】2014年6月4日 申请日期:2013年11月19日 优先权日:2012年11月20日
【发明者】朴凤吉 申请人:三星电子株式会社