显示控制设备及其控制方法和计算机可读存储介质与流程

[0001]
本发明涉及显示控制设备及其控制方法和计算机可读存储介质。更具体地，本发明涉及用于显示使用变形镜头(anamorphic lens)拍摄的图像的技术。


背景技术：

[0002]
在图像拍摄期间使用变形镜头来获取水平压缩图像。然后使用变形镜头拍摄的图像被后处理以水平伸长，由此可以获取到具有与原始外观更接近的外观的被摄体的图像。根据日本特开2018-37859中所讨论的技术，切出压缩图像的一部分，并且在垂直方向和水平方向以不同倍率对切出图像进行缩放。然而，当在改变记录帧频时使用该技术的情况下可能产生问题。
[0003]
在如日本特开2018-37859中所讨论地那样对使用变形镜头拍摄的图像的一部分进行缩放的情况下，用于输入拍摄图像的时间可能与用于写入图像以供显示的时间不同。


技术实现要素：

[0004]
鉴于上述问题，本发明旨在提供即使在使用变形镜头的运动图像拍摄期间记录帧频增加的情况下也能够显示拍摄图像的显示控制设备。
[0005]
根据本发明的一个方面，提供了一种显示控制设备，包括：获取单元，其被配置为获取表示在水平方向和垂直方向上以不同倍率形成的被摄体图像的第一图像数据；显示控制单元，其被配置为进行第一调整大小和第二调整大小，其中，所述第一调整大小包括应用第一处理以通过切出所述第一图像数据的一部分来获得第二图像数据、然后根据所述第二图像数据来生成具有预定纵横比的显示图像，以及其中，所述第二调整大小包括在不应用所述第一处理的情况下对所述第一图像数据进行调整大小；以及控制单元，其被配置为控制所述显示控制单元，以在运动图像记录设置满足预定条件的情况下进行所述第一调整大小、并且在所述运动图像记录设置不满足所述预定条件的情况下进行所述第二调整大小。
[0006]
根据本发明的另一方面，提供了一种显示控制设备的控制方法，所述控制方法包括：获取表示在水平方向和垂直方向上以不同倍率形成的被摄体图像的第一图像数据；对所述第一图像数据进行调整大小，其中，所述调整大小能够进行第一调整大小和第二调整大小，其中，所述第一调整大小包括应用第一处理以通过切出所述第一图像数据的一部分来获得第二图像数据、然后根据所述第二图像数据来生成具有预定纵横比的显示图像，以及其中，所述第二调整大小包括在不应用所述第一处理的情况下对所述第一图像数据进行调整大小；以及控制所述调整大小，以在运动图像记录设置满足预定条件的情况下进行所述第一调整大小、并且在所述运动图像记录设置不满足所述预定条件的情况下进行所述第二调整大小。
[0007]
根据本发明的其它方面，提供了一种计算机可读存储介质，其存储用于使计算机用作根据本发明的显示控制设备的各单元的程序。
[0008]
根据以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
[0009]
图1a和1b是示出根据本示例性实施例的摄像机的结构的图。
[0010]
图2是示出根据本示例性实施例的第一去挤压(desqueeze)处理中的图像数据流的图。
[0011]
图3是示出根据本示例性实施例的第一去挤压处理中的显示控制的图。
[0012]
图4是示出根据本示例性实施例的第二去挤压处理中的图像数据过程的图。
[0013]
图5是示出根据本示例性实施例的第二去挤压处理中的显示控制的图。
[0014]
图6是示出根据本示例性实施例的显示处理的流程图。
[0015]
图7a至7d是示出根据本示例性实施例的显示示例的图。
[0016]
图8a至8c是示出根据本示例性实施例的在输出格式是4k分辨率、60帧/秒(fps)的情况下的显示的图。
[0017]
图9a至9d是示出根据本示例性实施例的帧显示的图。
具体实施方式
[0018]
以下将参考附图来说明本发明的例示性实施例。
[0019]
图1a示出作为本发明的显示控制设备的示例的摄像机100的外观的示例。
[0020]
摄像机100包括前面的镜头单元101、侧面的用户操作单元109(以下称为操作单元109)和上面的面板107。面板107可从摄像机100的主体拆卸。外部输出单元115具有不可从摄像机100拆卸的、用于连接至显示单元的端子。外部输出单元115例如是高清多媒体接口或串行数字接口(sdi)。操作单元109是具有跷跷板状握持变焦109a(变焦按键)以及用于接收来自用户的各种操作的各种开关和按钮的操作构件。操作单元109设置有用于接通和断开电源的电源开关、用于显示菜单画面的菜单按钮以及用于改变操作模式的模式改变开关。模式改变开关使摄像机100的操作模式在静止图像记录模式、运动图像拍摄模式和再现模式之间改变。
[0021]
图1b是示出根据本示例性实施例的摄像机100的框图。镜头单元101包括用于聚光的固定透镜组、变倍透镜组、光圈、以及具有校正由于变倍透镜组的移动而移动的成像位置的功能和进行焦点调节的功能的校正透镜组。镜头单元101在(后述的)图像传感器102(传感器)的成像面上形成被摄体图像。镜头单元101是包括在可附接至镜头附接单元的可更换镜头中的组件。所附接的可更换镜头不必包括上述的透镜组。变形镜头(具有2倍压缩比)可以附接至镜头附接单元。该变形镜头使图像传感器102上所形成的被摄体图像在水平方向上光学地缩小(挤压)1/2。变形镜头(具有1.3倍压缩比)可以附接至镜头附接单元。该变形镜头使被摄体图像在水平方向上光学地缩小(挤压)1/1.3。更具体地，被摄体图像以相对于垂直方向的水平压缩状态光学地形成。
[0022]
在使用变形镜头拍摄圆形的被摄体时，拍摄的被摄体图像在水平方向上被光学地压缩(挤压)。因此，被摄体图像在图像传感器102上以纵长的椭圆形形成并被拍摄。虽然在没有任何处理的情况下显示被摄体图像时、被摄体以纵长的椭圆形显示，但是通过在显示前进行的去挤压处理，被摄体图像恢复为圆形。以下将集中于在摄像机100上附接了具有2倍压缩比的变形镜头的情况下的去挤压显示来说明本示例性实施例。在附接了具有其它倍率的变形镜头的情况下，切出范围和去挤压倍率可能改变。由于变形镜头的畸变在图像的
中央和两端之间有很大的不同，因此在使用变形镜头获取的图像数据仅水平伸长的情况下，图像中可能发生畸变。因此，切出具有较少畸变的中央区域或者在左侧和右侧区域显示黑带(带状显示)，以显示用户容易看到的图像。
[0023]
图像传感器102将光转换为电荷以生成摄像信号。所生成的摄像信号被输出至图像处理单元103。图像传感器102是诸如电荷耦合器件(ccd)图像传感器或互补金属氧化物半导体(cmos)图像传感器等的摄像元件。摄像面上的所有像素各自包括一对光敏元件的图像传感器(即，所谓的双像素型)也是适用的。在这种类型的图像传感器中，各像素能够使用该对光敏元件对由微透镜形成的一对光学图像进行光电转换。
[0024]
图像处理单元103将从图像传感器102输入的摄像信号转换为raw数据(raw图像)。然后，图像处理单元103对raw数据进行诸如插值处理和图像质量调整处理等的raw显像处理以生成与raw数据相对应的yuv格式图像数据，并将该图像数据存储在随机存取存储器(ram)111中。
[0025]
显示调整大小电路104对ram 111中所存储的yuv格式图像数据进行调整大小处理和(后述的)去挤压处理以生成显示图像数据，并将显示图像数据存储在ram 111中。
[0026]
记录调整大小电路105对ram 111中所存储的yuv格式图像数据进行调整大小处理以生成记录图像数据，并将记录图像数据存储在ram 111中。
[0027]
总线116是用于使得摄像机100的各块能够彼此交换数据的数据总线。摄像机100的各块经由总线116来彼此交换数据。
[0028]
屏幕显示(osd)生成电路106将诸如各种设置菜单、标题和时间等的osd数据存储在ram 111中。所存储的osd数据与ram 111中所存储的显示图像数据合成。合成数据在作为显示单元的面板107上显示，并经由外部输出单元115而被输出至外部。
[0029]
面板107是诸如液晶面板和有机电致发光(el)面板等的显示面板。面板107对显示图像数据和osd数据进行显示。
[0030]
系统控制单元108控制整个摄像机100。
[0031]
用户使用操作单元109来输入操作。操作单元109设置有用于从主要进行图像拍摄的照相机模式、主要再现图像的再现模式和断开电源的电源断开模式中选择模式的开关。握持变焦109a是用于改变拍摄图像的显示倍率的变焦按键。
[0032]
只读存储器(rom)110是存储由系统控制单元108执行的程序的非易失性记录介质。rom 110例如包括闪速rom。可选地，可以将记录介质113中所存储的程序数据加载到ram 111中以用作rom。rom 110中的区域部分地用于备份以维持系统状态。
[0033]
ram 111是被系统控制单元108用作工作区域的易失性存储器。ram 111还被图像处理单元103以及压缩和解压缩电路114用作工作区域。
[0034]
介质控制单元112根据诸如文件分配表(fat)文件系统等的计算机兼容格式将由压缩和解压缩电路114生成并输出至ram 111的运动图像数据记录在记录介质113中。记录介质113可从摄像机100拆卸，并且除了摄像机100外还可附接至个人计算机(pc)。
[0035]
压缩和解压缩电路114对ram 111中所存储的图像数据进行运动图像专家组(mpeg)压缩(编码)以生成运动图像数据，并将运动图像数据输出至ram 111。
[0036]
外部输出单元115是诸如hdmi和sdi等的外部输出单元。例如，外部输出单元115将由图像处理单元103输出至ram 111的显示图像数据输出至外部的显示单元115a。例如，外
部输出单元115可以使用4k60p和2k60p信号来输出显示图像数据。
[0037]
以下将参考图2和3来说明根据本示例性实施例的第一去挤压处理。
[0038]
图2示出从摄像机100的图像拍摄到图像显示或记录的图像数据流程图。将在镜头单元101是(垂直方向相对于水平方向的)压缩比为1:2的变形镜头的前提下进行说明。
[0039]
摄像机100拍摄被摄体200的图像。被摄体200的拍摄图像作为由镜头单元101以1:2的纵横比压缩的图像201而形成在图像传感器102上。将从形成的图像光电转换来的摄像信号输入图像处理单元103，并作为yuv格式的图像数据202存储在ram 111中。针对ram 111中所存储的yuv格式的图像数据202，由显示调整大小电路104进行(后述的)第一去挤压处理，并将所得数据作为显示图像数据203存储在ram 111中。存储的显示图像数据203经由外部输出单元115例如使用hdmi端子而输出至外部，然后显示为图像204。
[0040]
将yuv格式的图像数据202作为已被记录调整大小电路105调整大小为记录大小的记录图像数据205输入至压缩和解压缩电路114。记录图像数据205由压缩和解压缩电路114进行压缩，并作为运动图像数据206经由介质控制单元112记录在记录介质113中。
[0041]
图3示出显示调整大小电路104所进行的第一去挤压处理。
[0042]
图3的左侧示出要输入至显示调整大小电路104的(由显示调整大小电路104获取的)yuv格式的图像数据202的示例。
[0043]
将在yuv格式的图像数据202具有宽度w和高度h的前提下进行说明。显示调整大小电路104切出宽度为图像数据202的从左侧起的1/4至3/4的范围并且高度为h的切出范围302，并在垂直方向和水平方向以不同倍率进行缩放处理。通过水平倍率(宽度的缩放比率)为垂直倍率(高度的缩放比率)的两倍的缩放处理，所得的显示图像与在没有缩放处理的状态下显示原始图像201的情况的显示图像相比水平伸长两倍。被镜头单元101水平压缩的被摄体图像与被摄体的实际外观相比水平伸长两倍，因此，被摄体图像恢复为被摄体的原始外观。以这种方式使水平缩放比率为垂直缩放比率的两倍的去挤压处理被称为第一去挤压处理(第一调整大小)。在第一去挤压处理中生成的图像数据与图3的右侧所示的显示图像数据203相同。通过第一去挤压处理，使用输入到显示调整大小电路104的yuv格式的图像数据202的宽度的一半来生成显示图像数据203。这是因为，根据本示例性实施例，镜头单元101的水平压缩倍率为2倍。然而，对于其它倍率，切出范围302的大小不限于此。对yuv格式的图像数据202进行水平扫描，并按行输入到显示调整大小电路104。当在输入时间段t中将宽度w的一行输入至显示调整大小电路104时，在输入时间段1/2*t中输入切出范围302。因此，用于写入显示图像数据203的一行的时间需要为1/2*t或更小。
[0044]
当用于生成显示图像数据的时间比输入时间长时，可能出现以下问题：从摄像定时到显示定时的时间段延长，不显示每帧的拍摄图像，并且输出不完整的显示图像数据。因此，需要在时间段1/2*t内生成显示图像数据203的一行。由于显示调整大小电路104的性能受限，因此当可用于生成显示图像数据的时间(即，时间段1/2*t)缩短时，显示图像数据203的生成可能不能及时完成。
[0045]
时间段t取决于摄像机100的帧频。更具体地，可用于调整大小处理的时间随着帧频的增加而减少，因此，显示处理可能不能及时完成。
[0046]
以下将参考图4来说明第二去挤压处理。从摄像机100进行图像拍摄到输入至显示调整大小电路104的图像数据流程图与图2中所示的图像数据流程图相同，因此将省略其重
复说明。
[0047]
对于ram 111中所存储的yuv格式的图像数据202，显示调整大小电路104进行(后述的)第二去挤压处理或第二调整大小，并且所得的图像数据作为显示图像数据401存储在ram 111中。所存储的显示图像数据401具有布置在上部和下部的黑带，并经由诸如hdmi等的外部输出单元115输出至外部，由此显示图像402。
[0048]
与图2所示的流程图相同，将yuv格式的图像数据202作为已被记录调整大小电路105调整大小为记录大小的记录图像数据205输入至压缩和解压缩电路114。然后，记录图像数据205由压缩和解压缩电路114进行压缩，并作为运动图像数据206经由介质控制单元112记录在记录介质113中。
[0049]
以下将参考图5来说明第二去挤压处理。图5是示出由显示调整大小电路104进行的第二去挤压处理的图。
[0050]
图5的左侧示出被输入到显示调整大小电路104的yuv格式的图像数据202的示例。与图3相同，将在yuv格式的图像数据202具有宽度w和高度h的前提下进行说明。显示调整大小电路104对yuv格式的图像数据202的宽度为w且高度为h的范围进行去挤压处理。在该处理中，在垂直方向和水平方向以不同倍率进行缩放。与图3和4中所示的第一去挤压处理不同，在第二去挤压处理中，垂直缩放比率是水平缩放比率的一半。通过垂直倍率(高度的缩放比率)为水平倍率(宽度的缩放比率)的一半的缩放，所得的显示图像与在没有缩放处理的状态下显示原始图像201的情况的显示图像相比被垂直压缩。因此，被镜头单元101水平压缩的被摄体图像与被摄体的实际外观相比被垂直压缩了一半。作为结果，被摄体图像恢复为被摄体的原始外观。用于通过在没有水平切出输入图像的情况下(在没有水平切出yuv格式的图像数据的情况下)垂直压缩输入图像来使水平压缩的被摄体图像成为被摄体的原始外观的上述方法被称为第二去挤压处理。通过该处理生成的图像数据是图5的右侧所示的显示图像数据401。由于yuv格式的图像数据202和显示图像数据401没有被水平切出，因此将一行输入到显示调整大小电路104的输入时间段t变为可用于用以写入显示图像数据401的一行的时间。在时间段t内输入1920个像素的行的示例情况下，以及在进行第一去挤压处理的情况下，由于图像数据的一半被切出，因此需要在时间段1/2*t内写入1920个像素的显示数据。另一方面，通过第二去挤压处理，在输入时间段t内输入1920个像素的一行的情况下，时间段t变为可用于写入显示数据。
[0051]
然而，第二去挤压处理之后的显示图像的大小小于第一去挤压处理之后的显示图像的大小。因此，对于需要大的图像显示的用户而言，第一去挤压处理与第二去挤压处理相比具有更高的图像可视性。
[0052]
显示图像数据401没有按原样显示。如图4所示，显示图像数据401的上部和下部被提供了黑带(边黑处理)，即显示图像402。
[0053]
以下将参考图6来说明根据本示例性实施例的显示处理。当构成摄像机100的系统控制单元108执行ram 111中所存储的程序时，实现图6所示的流程图中的各处理。在步骤s601中，系统控制单元108控制图像传感器102，以经由镜头单元101对图像传感器102上所形成的被摄体200的图像进行光电转换来生成摄像信号以拍摄图像，并将摄像信号输入到图像处理单元103。在该处理中，作为经由镜头单元101获取到的被摄体图像的图像201与被摄体的实际外观相比被水平压缩。
[0054]
在步骤s602中，系统控制单元108控制图像处理单元103以执行图像处理，包括将摄像信号转换为raw数据(raw图像)。然后，图像处理单元103对raw数据进行诸如插值处理和图像质量调整处理等的raw显像处理以生成与raw数据相对应的yuv格式的图像数据202，并将图像数据202存储在ram 111中。图7a示出由摄像机100拍摄图像的被摄体200以及yuv格式的图像数据202。通过镜头单元101，被摄体200的图像被拍摄为水平压缩图像数据。
[0055]
在步骤s603中，系统控制单元108判断摄像机100的去挤压显示是开启还是关闭。如果去挤压显示开启，则进行去挤压处理(第一去挤压处理或第二去挤压处理)。另一方面，如果去挤压显示关闭，则不进行去挤压处理。用户可以通过基于面板107上所显示的菜单信息对操作单元109进行操作，来将去挤压显示设置为开启或关闭。在系统控制单元108判断为去挤压显示开启的情况下(步骤s603中为“是”)，处理进入步骤s604。另一方面，在系统控制单元108判断为去挤压显示关闭的情况下(步骤s603中为“否”)，处理进入步骤s612。
[0056]
在步骤s604中，系统控制单元108判断摄像机100是否处于摄像设置可变帧频模式。可变帧频模式是用户可以通过使用操作单元109来改变摄像机100的摄像帧频的拍摄模式。例如，在用户设置120fps的情况下，摄像机100以120fps拍摄运动图像。在用户设置30fps的情况下，摄像机100以30fps拍摄运动图像。可变帧频模式还使得用户能够改变再现图像时的再现速度。以这种方式，可变帧频模式使得用户能够以缓慢模式记录运动图像并且间歇性地记录诸如自然观察等的时间序列变化(快速记录)(这两种记录模式统称为缓慢&快速运动)。在系统控制单元108判断为摄像机100处于可变帧频模式的情况下(步骤s604中为“是”)，处理进入步骤s605。另一方面，在系统控制单元108判断为摄像机100未处于可变帧频模式的情况下(步骤s604中为“否”)，处理进入步骤s608。在可变帧频模式下，帧频设置的增加可能导致按高于特定帧频的帧频未能及时完成上述的第一去挤压处理。
[0057]
在步骤s605中，系统控制单元108判断在摄像机100的可变帧频模式设置中、去挤压显示是开启还是关闭。用户可以通过基于面板107上所显示的菜单信息对操作单元109进行操作，来在可变帧频模式设置中将去挤压显示设置为开启或关闭。在系统控制单元108判断为在可变帧频模式设置中、去挤压显示开启的情况下(步骤s605中为“是”)，处理进入步骤s606。另一方面，在系统控制单元108判断为去挤压显示关闭的情况下(步骤s605中为“否”)，处理进入步骤s607。虽然系统控制单元108在步骤s605中判断记录设置是否是可变帧频模式，但处理不限于此。在满足预定条件(例如，运动图像的记录帧频或运动图像的分辨率大于或等于预定值)的情况下，系统控制单元108可以在步骤s605中判断为“是”。
[0058]
在步骤s606和s613中，系统控制单元108进行用于图7b所示的显示的处理。
[0059]
在步骤s606中，系统控制单元108进行第二去挤压处理以生成显示图像数据401。可以包括生成垂直缩小的图像数据。
[0060]
在步骤s613中，系统控制单元108控制显示调整大小电路104以对步骤s606中所生成的显示图像数据401进行边黑处理从而生成图像402，并显示图像402。进行边黑处理，以将视角调整到通过第一去挤压处理处理后的显示图像数据203。在用户设置为以宽银幕的纵横比显示图像的情况下，在第一去挤压处理中进行切出以获得宽银幕的纵横比，并显示图像。更具体地，作为调整大小的结果，进行切出以获得宽银幕的纵横比。另一方面，在第二去挤压处理中，显示图像数据401包括第一去挤压处理中显示的范围之外的区域。显示图像数据401的纵横比也与通过第一去挤压处理获得的显示图像数据203的纵横比不同。因此，
在步骤s613中，系统控制单元108进行用于将边黑带布置到显示图像数据401的右侧和左侧的显示处理，使得显示单元115a能够以用户所设置的纵横比、即宽银幕的纵横比来显示图像。在步骤s613中，系统控制单元108开启表示已经进行了垂直缩小处理和边黑处理的缩小去挤压标志。在可变帧频模式中帧频低的情况下，即使在进行了第一去挤压处理时，也可以及时完成显示处理。因此，系统控制单元108可以在帧频大于阈值的情况下进行第二去挤压处理，并且在帧频小于阈值的情况下进行第一去挤压。然而，在第一去挤压处理的显示和第二去挤压处理的显示由于用户在同一拍摄模式下进行的帧频模式的变化而改变的情况下，图像可视性将在同一拍摄模式下变化。因此，在可变帧频模式下，无论帧频设置的设置如何，系统控制单元108都在设置了去挤压显示时进行第二去挤压处理。这使得能够在不会频繁地改变针对用户的检查所显示的图像的大小的情况下稳定地进行图像显示。虽然以上集中于宽银幕的纵横比的使用说明了本示例性实施例，但纵横比不限于此，并且可以是诸如4:3和16:9等的其它值。
[0061]
在步骤s607中，系统控制单元108控制显示调整大小电路104，以基于yuv格式的图像数据202针对全视角来生成显示图像数据。如图7c所示，该调整大小处理在不转换纵横比的情况下生成显示图像数据704。
[0062]
以下将说明步骤s608至s610中的处理，该处理是针对高图像分辨率的显示处理，而不是在可变帧频模式下的处理。
[0063]
在步骤s608中，系统控制单元108判断外部输出单元115是否输出具有4k图像分辨率和60p(fps)显示帧频的图像数据。在外部输出单元115输出具有4k图像分辨率和60-p显示帧频的图像数据的情况下(步骤s608中为“是”)，处理进入步骤s609。另一方面，在外部输出单元115没有输出具有4k图像分辨率和60-p显示帧频的图像数据的情况下(步骤s608中为“否”)，处理进入步骤s611。外部输出单元115的输出设置可以由用户设置，或者可以基于显示单元115a的显示性能强制设置。作为步骤s608中的判断的基准的图像分辨率和显示帧频是基于摄像机100的性能，并且根据本示例性实施例各自不限于4k和60p。例如，图像分辨率可以是8k或16k，并且显示帧频可以是120p。(后述的)下转换(down-conversion)不限于2k图像分辨率和60-p显示帧频。
[0064]
在步骤s609中，系统控制单元108控制外部输出单元115以将输出格式改变为2k图像分辨率和60-fps显示帧频(例如，“2k60p”)。
[0065]
在步骤s610中，系统控制单元108控制显示调整大小电路104以对yuv格式的图像数据202进行垂直缩小，并切出图像数据202的中央部分以生成显示图像数据。以下将参考图8a至8c来说明步骤s610中的显示图像数据的生成。
[0066]
图8a示出被输入到显示调整大小电路104的yuv格式的图像数据202。系统控制单元108使用显示调整大小电路104将yuv格式的图像数据202垂直压缩一半。图8b示出作为已对yuv格式的图像数据202进行的垂直压缩的结果的显示图像数据802。如图8b所示，当yuv格式的图像数据202的大小为宽度3840
×
高度2160时，显示图像数据802的大小为宽度3840
×
高度1080。如图8c所示，系统控制单元108进一步切出显示图像数据802的中央部分以生成显示图像数据803。显示图像数据803的大小为宽度1920
×
高度1080。更具体地，系统控制单元108将图8a所示的具有4k图像分辨率的图像数据下转换为具有2k图像分辨率的图像数据。
[0067]
在步骤s611中，系统控制单元108进行第一去挤压处理。能够通过剪切和缩放而生成图像数据来执行该处理。更具体地，在用户设置了去挤压显示的设置的情况下，系统控制单元108以可变帧频模式进行第二去挤压处理，并以除可变帧频模式之外的其它模式进行第一去挤压处理。图7d示出步骤s611中要生成的显示图像数据203。
[0068]
在步骤s612中，与步骤s607相同，系统控制单元108控制显示调整大小电路104，以基于yuv格式的图像数据202针对全视角来生成显示图像数据。
[0069]
在步骤s614中，系统控制单元108判断摄像机100的帧显示是开启还是关闭。以下将参考图9a至9d来说明帧显示(围绕显示)。帧显示是指用于在拍摄图像周围沿着显示单元115a(或面板107)的四边清晰地显示诸如记录时间、剩余电量和国际标准化组织(iso)速度等的摄像信息的设置。图9a至9d示出帧显示的示例。参考图9a，图像901表示帧显示关闭的情况的图像，以及图像902表示帧显示开启的情况的图像。参考与图像901相比具有较小的显示图像大小的图像902，在图像周围的(沿着显示单元115a的四边的)带状区域中显示信息。这防止图像和信息以叠加的方式显示。虽然在图像902中设置黑色带状区域并且在黑色背景上显示白色文字，但帧的显示格式不限于此。可以在白色或灰色背景上显示黑色文字。
[0070]
为了在显示单元115a上显示图像901，系统控制单元108将ram 111中所存储的osd数据与显示图像数据进行合成，并将合成图像输出至外部输出单元115。为了显示图像902，系统控制单元108将ram 111中所存储的osd数据与为了帧显示而缩小的显示图像数据进行合成，并将osd数据布置在显示图像数据的周围。用户可以通过菜单操作来将帧显示改变开启或关闭。在帧显示开启的情况下(步骤s614中为“是”)，处理进入步骤s615。另一方面，在帧显示关闭的情况下(步骤s614中为“否”)，处理进入步骤s617。在步骤s615中，系统控制单元108判断是否应用了步骤s606和s613，即去挤压标志是否开启。在系统控制单元108判断为步骤s606和s613中的处理完成的情况下(步骤s615中为“是”)，处理跳过步骤s616并进入步骤s617。另一方面，在系统控制单元108判断为步骤s606和s613中的处理未完成的情况下(步骤s615中为“否”)，处理进入步骤s616。
[0071]
在步骤s616中，系统控制单元108控制外部输出单元115以缩小ram 111中所存储的显示图像数据，从而布置带状区域。更具体地，在步骤s616中，系统控制单元108进行用于缩小显示图像数据以显示图像902的处理。由于无论去挤压显示是开启还是关闭都要进行步骤s616，因此缩小的图像包括进行了去挤压处理的显示图像数据203和704。
[0072]
在系统控制单元108判断为去挤压标志开启的情况下(s615中为“是”)，系统控制单元108即使在帧显示开启(帧显示设置开启)时也显示图9b所示的图像903而不会使显示图像数据401缩小。更具体地，在去挤压标志开启的情况下，无论帧显示是开启还是关闭，都显示图像903。
[0073]
通过即使在帧显示开启时也不缩小图像，显示图像数据不会被缩小必要以上，因此可以确保图像可视性。
[0074]
在记录分辨率和摄像帧频其中任一满足预定条件的情况下，系统控制单元108可以在步骤s615中判断为“是”，并且可以不缩小图像。在记录分辨率大的情况下，当基于yuv格式的图像数据202生成显示图像数据时，由于各行上有大量数据，因此可能无法完成显示数据的写入。因此，即使在帧频不大的情况下，系统控制单元108也对yuv格式的图像数据202进行缩放处理(下转换)以在垂直方向和水平方向这两者上缩小大小，然后显示图像数
据202。更具体地，即使在8k图像分辨率和30-p帧频而不是4k分辨率和60-p帧频的情况下，也可能需要下转换。在记录分辨率为8k或更高的情况下，需要进行下转换以恒定地按时显示实时取景图像。在这种情况下，即使在帧显示关闭时，由于在显示图像周围布置了黑带区域，因此系统控制单元108也不会缩小用于帧显示的图像。
[0075]
同样，在帧频大于或等于预定帧频的情况下，即使在短时间内生成显示图像数据并且记录分辨率低时，也可能无法在预定时间内完成一行数据的写入。因此，在这种情况下，系统控制单元108对yuv格式的图像数据202进行缩放(下转换)以在垂直方向和水平方向这两者上缩小大小，并显示图像数据202。在下转换后显示图像的情况下，在该图像周围布置了用于显示信息的区域。因此，无论帧显示是开启还是关闭，都布置用于显示信息的黑带区域。因此，即使在帧显示关闭的情况下，由于已经布置了用于在显示图像周围显示信息(使得信息不会叠加在图像上)的区域，因此系统控制单元108也不会缩小图像。虽然用于显示信息的上述区域是黑带，但区域不限于此，并且可以是白色或其它颜色的带。
[0076]
在步骤s617中，系统控制单元108控制外部输出单元115，以将osd数据(信息)叠加在ram 111中所存储的显示图像数据上，并将所得的图像数据输出至外部，从而在显示单元115a上进行图像显示。
[0077]
以下将参考图9c和9d来说明使用放大功能(magn)的情况下的显示示例。图9c所示的图像904和905表示在去挤压显示开启并且进行用于对焦确认的放大功能的情况下的显示示例。
[0078]
当根据本示例性实施例的放大功能有效时，即使在可变帧频模式下，图像904也如图9c所示显示在整个画面上。因此，在帧显示开启的情况下，系统控制单元108显示缩小的图像905。
[0079]
虽然在本示例性实施例中系统控制单元108在步骤s613中进行了边黑处理，但没有必要一定需要进行边黑处理。在这种情况下，显示图9d所示的图像906。在该显示中，在显示单元115a的上边和下边的区域中不显示图像，并且在右边和左边叠加信息的一部分。因此，在帧显示开启的情况下，系统控制单元108以图像907与图像906相比缩小的状态显示图像907。在仅在上边和下边显示信息的情况下，系统控制单元108无需缩小图像。与图像904和905的说明相同，在显示图像数据和osd数据重叠的情况下，与帧显示关闭的情况相比，系统控制单元108在帧显示开启的情况下进一步缩小显示图像数据。
[0080]
根据上述的示例性实施例，即使在用户通过使用变形镜头以可变帧频拍摄运动图像的情况下，系统控制单元108也可以在运动图像的记录期间显示去挤压图像。在帧显示在可变帧频模式下开启的情况下，由于图像未被缩小，因此系统控制单元108可以在不降低图像可视性的情况下进行帧显示。另一方面，在正常的图像拍摄中(而不是在可变帧频模式下)，系统控制单元108缩小图像以设置用于显示信息的区域。在正常的图像拍摄中，由于图像是根据画面大小显示的，因此即使在图像缩小一定程度的情况下，图像可视性也不会显著降低。因此，实现了图像可视性和信息显示可视性这两者。
[0081]
被描述为要由系统控制单元108进行的上述各种控制可以由一个硬件组件进行，并且整个设备可以由分担处理的多个硬件组件控制。
[0082]
虽然基于优选示例性实施例具体描述了本发明，但本发明不限于这些具体示例性实施例。未脱离本发明的精神和范围的各种实施例也包括在本发明中。上述的各示例性实
施例将被视为本发明的示例性实施例。这些示例性实施例也可以适当地组合。
[0083]
以上集中于本发明适用于摄像机100的情况说明了示例性实施例。然而，本发明不限于这些示例性实施例，而是可适用于能够进行显示控制的显示控制设备。更具体地，本发明可适用于便携式电话终端、便携式图像查看器、具有取景器的打印机设备、数字相框、音乐播放器、游戏机和电子书阅读器。
[0084]
其它实施例
[0085]
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
[0086]
根据本发明，即使在使用变形镜头的运动图像拍摄期间、记录帧频增加的情况下，也可以显示拍摄图像。
[0087]
虽然已经参考示例性实施例说明了本发明，但应当理解，本发明不限于所公开的典型实施例。以下权利要求书的范围应被给予最广泛的理解，以包含所有这样的修改以及等同结构和功能。