显示控制装置和显示设备的制作方法

本发明涉及使得所捕获的图像被显示的显示控制装置和显示设备。

背景技术：

在所谓的无反射镜SLR数码相机中，主体的图像可以通过所谓的实时取景操作确认，在此操作中，根据通过在图像传感器(诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器)中成像而获得的图像信号的图像以实时的方式在设置于机壳背面的液晶板或附接在机壳上部的电子取景器(下文称为EVF)上显示。

但是，在这种实时取景中，从在图像传感器中对主体进行成像到在取景器上显示之间发生显著延迟。因此，难以使相机追随运动的主体。进一步地，当基于所显示的主体图像指示静态图像的成像时，所显示的主体图像与实际被捕获的静态图像的图像之间产生定时差。具体而言，对于快速运动的主体而言，难以捕获目标静态图像。

因此，已知一种用于缩短从在图像传感器中捕获图像信号到在取景器上显示的延迟的技术(例如，PTL 1)。

引用列表

专利文献

PTL 1：JP-A-2011-244170

技术实现要素：

技术问题

在PTL 1描述的技术中，图像信号的水平扫描周期例如通过图像信号的水平扫描周期的前沿(front porch)时间的扩展来调整，并且当以帧为单位查看时，缩短了在图像传感器中成像到在EVF上显示的延迟。在此类操作中，由于水平同步信号的定时改变，EVF等的驱动电路中需要用于追随水平同步信号的定时变化以执行显示控制的配置。因此，电路配置变得复杂。进一步地，当诸如液晶板之类的显示单元的大小改变时，根据大小使用专用EVF控制器，这造成大量浪费。

本发明鉴于上述情况而做出，本发明的一个目标是使用简单电路配置实现从成像元件的成像到显示的短延迟时间，以及在显示单元的大小改变时实现灵活处理。

问题的解决方案

根据本发明的一方面，提供一种用于基于与水平同步信号同步的图像信号和指示所述图像信号有效或无效的控制信号来控制显示单元上显示的图像的显示控制装置，所述装置包括：接收单元，其接收包括一个帧的有效行数的指令；计数器，其对所述图像信号变得有效的行数计数；输入单元，其基于所述控制信号输入有效图像信号；输出单元，其将所输入的有效图像信号输出到所述显示单元；以及处理单元，其将所述计数器的计数值与所述有效行数相比较，并且基于比较结果开始用于为下一帧做准备的处理。

根据此方面，所述计数器对所述接收单元所接收的图像信号当中的有效图像信号的行数计数，并且所述处理单元根据所述计数值与所述有效行数之间的比较结果检测帧内的有效图像信号的结束。在包括无效图像信号的图像信号中，垂直扫描周期内的图像信号的行数改变。因此，因为即使在图像信号的行数简单被计数时，也无法检测到有效图像信号的接收结束，所以比较有效图像信号的行数与有效行数并且检测有效图像信号的接收结束。因而可以开始用于为下一帧做准备的处理。进一步地，所述处理单元可以将所述计数器的计数值与所述有效行数相比较，并且基于比较结果开始用于为下一帧做准备的处理。例如，可以基于比较结果而检测帧内的有效图像信号的输入结束，然后可以开始用于为下一帧做准备的处理。

备选地，当计数值小于有效行数时，如果有效图像信号的接收结束，从而可以开始用于为下一帧做准备的处理，则可以执行用于为下一帧做准备的处理。更具体地说，当作为有效行数与计数值之间的比较结果的差(有效行数-计数水平)小于预定数值时，可以开始用于为下一帧做准备的处理。

进一步地，当对成像元件所捕获的成像信号执行图像处理以产生图像信号时，从成像信号产生到在显示单元上显示图像的延迟时间成为问题。当包括无效图像信号时，图像信号的产生定时逐渐接近成像信号，即使成像信号与图像信号异步地工作也是如此，从而实现具有最小延迟时间的同步。

进一步地，由于有效行数作为指令被发送，因此，即使显示单元的大小改变，也可以执行灵活处理，并且提升装置的多功能性。

进一步地，所述处理单元可以重设计数器，可以在计数器的计数值与有效行数匹配时重设计数器，或者可以在计数器的计数值与有效行数匹配并且然后垂直同步信号变得有效时重设计数器。

进一步地，所述处理单元可以在计数器的计数值与有效行数匹配之后并且直至下一帧开始(下一垂直同步信号变得有效)之前开始用于为下一帧做准备的处理，并且不一定在计数器的计数值与有效行数匹配时开始此处理。

在上述根据此方面的显示控制装置中，所述图像信号可以包括指示将在所述显示单元上显示的图像的有效图像信号以及不在所述显示单元上显示的无效图像信号，当所述图像信号变为所述有效图像信号时，所述控制信号可以变得活动，以及当所述图像信号变为所述无效图像信号时，所述控制信号可以变得不活动，以及所述水平同步信号可以具有恒定周期。

根据此方面，与所述水平同步信号相同步的无效图像信号可被插入所述图像信号，并且能够调整垂直扫描周期。进一步地，由于能够基于控制信号做出有关所述图像信号是有效图像信号还是无效图像信号的判定，因此能够在所述显示单元上显示图像信号当中的有效图像信号。

在上述根据此方面的显示控制装置中，优选地，所述图像信号在水平扫描周期的一部分期间变得有效，并且所述计数器对所述控制信号计数，然后输出指示所述图像信号变得有效的行数的计数值。由于所述控制信号在水平扫描周期的一部分期间变得有效，因此可以通过对所述控制信号计数来对所述图像信号变得有效的行数计数。

在上述根据此方面的显示控制装置中，可以对所述控制信号变得有效的行的水平同步信号计数，并且可以输出指示所述图像信号变得有效的行数的计数值。

在上述根据此方面的显示控制装置中，所述指令可以包括垂直前沿周期期间的行数，并且所述处理单元可以在所述计数器的计数值与所述有效行数匹配之后并且直到在所述垂直前沿周期期间所接收的行数经过之前开始用于下一帧的处理。因此，可以在考虑垂直前沿周期内的行数的情况下开始用于下一帧的准备。

在上述根据此方面的显示控制装置中，接收所述指令的所述接收单元包括小电压差分串行接口，并且所述图像信号经由所述小电压差分串行接口被提供给所述输入单元。因此，可以使用同一接口执行指令传输和图像信号传输，并且简化整个装置的配置。

在上述根据此方面的显示控制装置中，优选地发送所述指令以替代在所述控制信号变得不活动的周期期间的预定周期内的所述图像信号的所述无效图像信号，并且所述装置进一步包括分离单元，其将所述指令与在所述预定周期内接收的所述无效图像信号相分离。控制信号变得不活动的周期是图像信号无效的周期。由于在此类周期内的预定时间期间发送所述指令，因此可以以时分的方式多路传输所述有效图像信号和所述指令并且传送最终信号。这样可精简传输系统并且简化配置。

在上述根据此方面的显示控制装置中，可以通过对成像元件所捕获的成像信号执行图像处理获得所述图像信号，并且所述显示单元的帧率可以高于所述成像信号的帧率。因此，即使图像处理所需的时间改变，从而使得无效图像信号和有效图像信号混合在一起并被提供给所述显示控制装置，也可以依次缩短从获得成像信号到在显示单元上显示图像的延迟时间，并且将所述显示单元上的显示与所述图像信号相同步。

接下来，根据本发明的另一方面，提供一种显示设备，其包括根据本发明的显示控制装置；以及显示图像的显示单元。

附图说明

图1是示出一实施例的成像显示设备的一个配置实例的框图；

图2是示出图像处理与进度信息之间的关系的一个实例的概念图；

图3是示出当输出有效图像数据Dgb时，在一个水平扫描周期期间被从图像输出电路提供给EVF控制器的信号的一个实例的定时图；

图4是示出当未输出有效图像数据时，在一个水平扫描周期期间被从图像输出电路提供给EVF控制器的信号的一个实例的定时图；

图5是示出构成成像显示设备的EVF控制的更详细配置实例的框图；

图6是示出在寄存器中设定的值的一个实例的图；

图7是示出图像传感器的光接收单元的一个配置实例的概念图；

图8是示出图像传感器的光接收单元的像素排列的一个实例的概念图；

图9是示出液晶板的显示区域与垂直方向和水平方向上的驱动定时之间的关系的一个实例的概念图；

图10是示出在图像输出电路中输出图像信号的处理的一个实例的流程图；

图11是示出由于在图像输出电路中插入伪数据导致的显示图像的垂直扫描周期变化的一个实例的定时图；

图12是示出垂直扫描周期内的显示图像的图像数据的每一行的图像处理的一个实例以及图像数据的输出处理的定时图；

图13是示出EVF控制器中的EVF的驱动操作的一个实例的流程图；

图14是概念性地示出从成像单元的成像信号的输出到EVF的驱动的操作的一个实例的概念图；

图15是示出根据一个变形例的构成成像显示设备的EVF控制器的一个配置实例的框图；

图16是示出LVDS信号中的显示图像的一个像素的图像信号(图像数据)的一个实例的图；

图17是示出LVDS信号中的显示图像的一个像素的图像信号(图像数据)的另一实例的图。

具体实施方式

下面将详细地描述本发明的成像装置的优选实施例。进一步地，这些实施例是示意性的，因此，本发明的内容不应被限制性地理解。进而，下面将在每个实施例中描述其中例如作为电光设备实例的液晶板被用作显示单元的显示元件的情况。

第一实施例

<成像显示设备的配置>

图1是示出该实施例的成像显示设备1的配置的框图。

该成像显示设备1包括：成像单元10，其与第一水平同步信号SHsync同步地输出通过对主体进行成像而获得的成像数据Ds[成像信号]；图像处理电路20，其对成像数据Ds执行图像处理以产生图像数据Dga；图像输出电路30，其与第二水平同步信号DHsync同步地从图像处理电路20中读取图像数据Dga，并输出图像数据Dgb(D00到D23)[图像信号]；EVF控制器40，其根据图像数据Dgb控制EVF 50的操作；EVF 50，其具有诸如液晶板之类的显示元件；操作输入单元60，其例如输入更改设定并执行拍摄的指令；以及控制单元70，其控制成像显示设备1的整体操作。在此，EVF控制器40和EVF 50用作显示图像的显示设备。

该成像显示设备1是所谓的无反射镜数码相机，其中能够执行所谓的实时取景操作，在此操作中，通过成像单元10的成像获得的图像实时在EVF 50上显示，并且还可以执行拍摄操作，该拍摄操作读取图像传感器12的所有像素的成像数据Ds，执行诸如滤波处理之类的处理，并且将数据存储在存储器29中以实现静态图像存储。

然后，成像单元10包括：成像光学系统11，其形成主体的图像；图像传感器12，其按照行顺序扫描来自以矩阵形式布置的光接收元件的信号，并且根据主体图像输出成像数据Ds；以及定时发生器(TG)13，其将各种定时信号输出到图像传感器12。定时发生器13产生第一垂直同步信号SVsync、第一水平同步信号SHsync，以及第一点时钟SCLK，并且将信号输出到图像传感器12。进一步地，第一垂直同步信号SVsync、第一水平同步信号SHsync，以及第一点时钟SCLK可被输出到图像处理电路20。

图像处理电路20包括：行缓冲器21，其临时存储成像数据Ds；图像内插处理单元22，其对存储在行缓冲器21中的成像数据Ds执行内插处理；颜色再现处理单元23，其对内插的成像数据Ds执行颜色再现处理；滤波处理单元24，其对经受颜色再现处理的成像数据Ds执行滤波处理；伽玛处理(gamma processing)单元25，其对经受滤波处理的成像数据Ds执行伽玛处理；行缓冲器26，其临时存储经受伽玛处理的成像数据Ds；尺寸调整处理单元27，其对存储在行缓冲器中的成像数据Ds执行调整大小的尺寸调整处理；以及VRAM/行缓冲器28，其将经受尺寸调整处理的成像数据Ds临时保存为显示图像数据Dga。

当一行的图像数据Dga的处理完成，并且图像数据能够被输出时，该VRAM/行缓冲器28在针对显示图像的一行的写入结束时，输出写入完成信号，但是为了方便起见，该信号被用作进度信息P。在该实例中，输出指示“图像数据能够被输出”的高电平脉冲作为进度信息P。由于该脉冲在每次完成一行的处理时被输出，因此从帧的起点(下面将描述的第二垂直同步信号DVsync的下降沿)开始对脉冲数进行计数，这样能够识别图像数据Dga能够被输出的行。

如果所有行的图像处理时间恒定，则一行的图像数据Dg的处理在恒定周期内完成，这样便不需要进度信息P。但是在执行调整大小的尺寸调整处理、滤波处理等中，根据算法(处理方法)，产生显示图像的图像数据Dga所需的处理时间在显示图像的各行之间可能不同。因此，在本实施例中，产生进度信息P，以使得后续阶段的图像输出电路30能够检测到图像处理电路20变得能够输出一行的图像数据Dga。

图2示出第一行到第六行的图像处理与进度信息P之间的关系的一个实例。在图2中，阴影部分指示一行的图像处理所需的时间。在该实例中，产生第一到第三行以及第五行的图像数据Dga所需的图像处理时间为Ta，产生第四行和第六行的图像数据Dga所需的图像处理时间为Tb。进一步地，图像处理时间Tb长于图像处理时间Ta。当在此方式中，每行的图像处理所需的时间都不同时，进度信息P的脉冲间隔根据图像处理时间而变化。

在该实例中，在第一到第六行的图像处理结束的时点t1到t6处产生相应脉冲p1到p6。在此，脉冲p1和脉冲p2之间的间隔以及脉冲p2和脉冲p3之间的间隔相同。但是，第四行的图像处理所需的时间Tb长于图像处理时间Ta。因此，在时点t4处产生的脉冲p4和脉冲p3之间的间隔长于脉冲p2和脉冲p3之间的间隔。

后续阶段的图像输出电路30能够通过参考该进度信息P检测到特定行的图像数据Dga的输出准备完成。另外，当存在来自图像输出电路30的读取请求时，VRAM/行缓冲器28将一行的图像数据Dga输出到数据输出电路30。

图1所示的图像输出电路30包括：数据输出控制单元31，其控制图像数据Dgb(D00到D23)到EVF控制器40的输出；串行接口(I/F)33，其例如发送EVF控制器40的寄存器43a的设定参数；定时发生器35，其产生各种定时信号；以及指令发送单元36，其经由串行I/F 33将指令发送到EVF控制器40。该定时发生器35产生第二垂直同步信号DVsync、第二水平同步信号DHsync、第二点时钟DCLK和数据使能信号DE[控制信号]。在此，第二点时钟DCLK不与上述第一点时钟SCLK同步。因此，能够在不使用同步所需的PLL电路或分频电路的情况下配置定时发生器35。

数据使能信号DE是在有效图像数据Dgb(D00到D23)被输出的周期期间变得活动(在该实例中，处于高电平)，以及在其它周期内变得不活动(在该实例中，处于低电平)的信号。

当满足下面的条件时，定时发生器35使第n行的数据使能信号DE变得活动。

首先，必须完成从图像传感器12读取产生第n行所需的成像数据Ds。当执行尺寸调整处理中的行数转换时，例如，如果EVF 50的第n行与图像传感器12的第m行对应，则必须将第m行的成像数据Ds从图像传感器12读到图像处理电路20(第一条件)。

第二，必须完成在EVF 50上显示的第n行的图像数据Dga的产生(第二条件)。

第三，必须在第n行完成显示定时的准备。具体而言，一个周期必须成为水平显示活动周期(水平有效图像周期)HDISP，在该周期内，图像数据Dgb在1个水平扫描周期1H期间变得有效(参见图3)(第三条件)。

必须满足第一条件以便完成第n行的图像数据Dga的产生(其是第二条件)。另外，能够基于进度信息P来识别是否满足第二条件。但即使进度信息P针对第n行变得活动，这也只是必要条件，并且数据使能信号DE不会仅因为该条件而变得活动。也就是说，定时发生器35在监视进度信息P的同时判定是否能够输出紧接着当前正被输出的第(n-1)行显示的第n行，控制数据输出控制单元31从VRAM/行缓冲器28读取第n行的图像数据Dga，发出第二水平同步信号DHsync，并导致数据使能信号DE变得活动以将第n行的图像数据Dga输出到EVF控制器40。

图3是示出其中数据使能信号DE变得活动的1个水平扫描周期1H期间的数据使能信号DE与图像数据Dgb之间的关系的定时图。如图3所示，1个水平扫描周期1H包括其中第二水平扫描信号DHsync变得活动(处于低电平)的水平同步周期HS、水平后沿(back porch)周期HBP、水平显示活动周期HDISP、以及水平前沿周期HFP。水平显示活动周期HDISP是用于输出有效图像数据Dgb的周期，数据使能信号DE在水平显示活动周期HDISP期间变得活动，并且有效图像数据Dgb被从数据输出控制单元31输出到EVF控制器40。同时，数据使能信号DE在除水平显示活动周期HDISP之外的水平同步周期HS、水平后沿周期HBP和水平前沿周期HFP期间变得不活动(处于低电平)，并且在这些周期期间输出无效图像数据Dgb。EVF控制器40在其中数据使能信号DE变得活动的周期期间取回图像数据Dgb，在其中数据使能信号DE变得不活动的周期期间不取回图像数据Dgb。

在此，提前确定水平同步周期HS、水平后沿周期HBP和水平前沿周期HFP期间的第二点时钟DCLK的数量。显示定时准备的完成(上述第三条件)表示1个水平扫描周期1H开始，以及水平后沿周期HBP结束的时点tx到来。

进一步地，数据使能信号DE的上升定时和下降定时与第二点时钟DCLK的下降沿同步。因此，当EVF控制器40在第二点时钟DCLK的上升定时锁存图像数据Dgb时，能够保持时间余量。

图4是示出当数据使能信号DE变得不活动时，1个水平扫描周期1H期间的数据使能信号DE与图像数据Dgb之间的关系的定时图。如图4所示，由于数据使能信号DE变得始终不活动，因此，图像数据Dgb的所有片段变得无效。在这种情况下，EVF控制器40不取回对应行的图像数据Dgb。

返回参考图1，EVF控制器40将各种定时信号和图像数据Dgc提供给EVF 50。EVF 50包括：液晶板51，在该液晶板中，像素被设置在其中扫描行和数据行以矩阵形式交叉的位置中；扫描行选择单元52，其选择液晶板51的扫描行；数据行驱动单元53，其驱动数据行；以及目镜光学系统55，其放大液晶板51的图像以使图像可被观察到。

图5是示出EVF控制器40和EVF 50的详细配置的框图。如图5所示，EVF控制器40包括：数据输入单元41，其输入来自数据输出控制单元31的图像数据Dgb；计数器42，其对数据使能信号DE在垂直显示活动周期VDISP(参见图11)期间变得活动的行数(水平扫描周期)进行计数；定时发生单元43，其产生EVF 50的驱动定时；数据输出单元44，其将图像数据输出到EVF 50；以及串行接口45，其例如执行接收来自串行I/F 33的指令。在此，输出图3所示的有效图像数据Dgb的行(水平扫描周期)被称为有效行，在垂直显示活动周期VDISP期间输出图4所示的无效图像数据Dgb的行被称为无效行。进一步地，一个帧的有效行数与图9所示的显示区域中的垂直像素数量相匹配。当第二垂直同步信号DVsync被提供给计数器42的重设端并且变得活动时，重设计数器42的计数值VC。进一步地，计数器42对数据使能信号DE的上升沿进行计数。备选地，数据使能信号DE可被提供给计数器42的使能端，并且通过反转第二水平同步信号HDsync而获得的信号可被延迟水平后沿周期HBP并且被提供给计数器42的时钟端。在这种情况下，计数器42对数据使能信号DE变得活动的行的第二水平同步信号HDsync进行计数。

定时发生单元43包括寄存器43a，寄存器43a的值例如根据经由串行I/F 45接收的来自图像输出电路30的指令进行设定。具体而言，串行I/F 33和串行I/F 45根据诸如内置集成电路(I2C)或串行外设接口(SPI)之类的协议执行通信。串行I/F 33将包含设定参数的指令发送到数据输出单元44。数据输出单元44根据所接收的设定参数设定寄存器43a的值。

如图6所示，在寄存器43a中设定的设定参数(设定项)例如包括：液晶板51的1个水平同步周期(图9中的第二水平同步信号DHsync的间隔1H)、水平后沿周期(图9中的HBP)、水平像素的数(与图9中的HDISP对应的显示区域的水平方向上的像素数)、水平前沿周期(图9中的HFP)、1个垂直同步周期(图9中的垂直同步信号DVsync的间隔1V)、垂直后沿周期(图9中的VBP)、垂直像素数(与图9中的VDISP对应的显示区域的行数)，以及垂直前沿周期(图9中的VFP)。在此，垂直像素数与有效行数(即，对图像的显示有贡献的行数)匹配。

因此，由于可以通过图像输出电路30设定基于EVF 50的规格的定时，因此即使EVF 50(诸如具有不同大小或帧率的液晶板51)的规格发生变化，也不必更改EVF控制器40。这样可以提升系统的多功能性。

进一步地，更具体地说，液晶板51能够包括显示元件，诸如具有1024*768像素显示区域(总行数N＝768)的液晶(LCD)板，例如如图9所示。进一步地，图5概念性地示出液晶板51的显示区域与信号(诸如用于液晶板51的控制的第二垂直同步信号DVsync、第二水平同步信号DHsync、数据使能信号DE、以及点时钟信号DCLK)之间的关系。该液晶板51能够在短于图像传感器12的帧周期的周期内显示一个帧。具体而言，该液晶板51例如能够以大约160Hz的帧率(1/帧周期)(最大速率)，根据图像数据Dgc显示图像。

这样，在成像显示设备1中，由于能够在EVF 50上显示的一个帧的周期短于成像单元10的一个帧的周期，因此，即使以EVF 50的定时执行用于显示的图像数据Dga的输出，也未及时执行从成像单元10输出成像数据Ds以及图像处理电路20中的图像处理。因而，在该成像显示设备1中，在实时取景模式下，来自图像输出电路30的图像数据Dgb的输出定时根据来自图像处理电路20的图像数据Dga的输出被调整，从而使得EVF50的显示追随来自成像单元10的成像数据Ds的输出定时，将在下文对此进行描述。

进一步地，当根据来自图像传感器12的成像数据Ds(例如，用于1760*704像素)的图像在液晶板51(例如，用于除拍摄条件等的显示区域[荧幕内容显示(OSD)区域]之外的1024*682像素)上显示时，例如必须使用上述尺寸调整处理单元27，根据像素数的差异执行大小调整。根据用于该尺寸调整处理的算法(处理方法)，产生显示图像的图像数据所需的处理时间在显示图像的各行之间可能不同。

进一步地，当执行透镜失真校正处理或滤波处理时，根据处理类型，产生显示图像数据所需的处理时间在各行之间可能不同。因此，图像处理电路20中的图像处理所需的时间在显示图像的各行之间可能不同。也就是说，所产生的显示图像的图像数据Dg变得能够被输出的定时在各行之间可能不同。因此，当显示图像的图像数据在固定定时(此时，预期在显示图像的图像数据变得能够被输出的定时的最大变化量处具有安全因数)被输出时，从图像传感器12的成像到在液晶板51单元上显示的延迟时间增大。

因此，在该成像显示设备1中，来自图像输出电路30的显示图像的图像数据的输出定时以EVF 50的水平扫描周期(水平同步信号的周期)为单位进行调整，从而响应于显示图像的图像数据变得能够从图像处理电路20被输出的定时，保持其中从图像传感器12的成像到在液晶板51上显示的延迟被最小化的状态。

<操作>

接下来，将描述上述成像显示设备1的操作。成像显示设备1至少在拍摄模式和实时取景模式下执行操作。当用户操作所述操作输入单元60以指示捕获静态图像时，模式转换到拍摄模式。在拍摄模式下，图像处理电路20读取图像传感器12的所有像素的成像数据Ds，执行诸如滤波处理之类的处理，并且将最终数据存储在存储器29中以实现静态图像存储。另一方面，当用户操作所述操作输入单元60以选择实时取景模式时，成像显示设备1执行实时取景操作，在此操作中，如上所述，通过图像传感器12的成像获得的成像数据Ds以实时的方式在液晶板51上显示。

在实时取景模式下，图像处理电路20执行诸如根据与液晶板51的像素数的差转换像素数之类的处理，以便产生显示图像的图像数据Dg，并且将图像数据Dga记录在VRAM/行缓冲器28中。当显示图像的一行的写入结束时，VRAM/行缓冲器28中输出写入完成信号，但是为了方便起见，使用该信号作为进度信息P。定时发生器35根据进度信息P产生定时信号，诸如第二垂直同步信号DVsync、第二水平同步信号DHsync、以及数据使能信号DE。数据输出控制单元31根据定时发生器35产生的定时信号，逐行读取在VRAM/行缓冲器28中记录的显示图像的图像数据Dga，以将图像数据Dga提供给EVF控制器40。EVF控制器40根据从数据输出控制单元31提供的图像数据Dgb驱动液晶板51并且显示图像。

图10是示出与实时取景模式相关的图像处理电路30和控制单元70的操作的流程图。当用户操作所述操作输入单元60以选择实时取景模式时，执行初始设定处理(S1)。在初始设定处理中，控制单元70控制图像传感器12以输出与实时取景显示对应的成像数据Ds。因此，通过最适合于实时取景模式的抽样读取操作(从图像传感器12读取)执行实时取景输出。进一步地，在初始设定处理中，图像处理电路30的指令发送单元36经由串行I/F 33将设定参数发送到EVF控制器40。因此，设定参数在EVF控制器40的寄存器43a中被设定。在初始设定处理中，执行针对实时取景操作的EVF控制器40的设定和针对EVF 50的实时取景显示的一系列准备，并且完成针对从图像传感器12取回的实时取景图像的显示的一系列准备。进一步地，当在供电的初始状态下选定实时取景模式时，可以执行供电之后的初始设定处理。

然后，图像输出电路30的数据输出控制单元31使得图像数据Dgb在垂直前沿周期VFP、垂直同步周期VS和垂直后沿周期VBP中无效。具体而言，图像数据Dgb变为“0”，从数据输出控制单元31输出伪数据(S2)。进一步地，定时发生器35在垂直前沿周期VFP、垂直同步周期VS和垂直后沿周期VBP期间输出第二水平同步信号DHsync，并且使得第二垂直同步信号DVsync在垂直同步周期VS期间变得活动(S2)。

然后，当第二垂直同步信号DVsync变得活动时，数据输出控制单元31重设内部计数器(n)(S3)，并且一直等待，直到下一第二水平同步信号DHsync变得活动的定时到来(S4)。当下一第二水平同步信号DHsync变得活动的定时到来时，定时发生器35判定有效图像数据Dgb是否能够被从数据输出控制单元31输出到EVF控制器40(S5)。具体而言，做出有关是否满足上述第一和第二条件的判定。也就是说，当接下来被输出的图像数据Dgb与第n行对应时，做出有关是否完成从图像传感器12读取产生第n行所需的成像数据Ds(第一条件)的判定，然后将第n行的图像数据Dga记录在VRAM/行缓冲器28中(第二条件)。

在步骤S5，当显示图像的图像数据Dgb的第n行能够被输出时，定时发生器35例如使得数据使能信号DE在其中输出有效图像数据Dgb的水平显示活动周期HDISP期间变得活动(处于高电平)，如图3所示(S6)。进一步地，数据输出控制单元31与点时钟DCLK同步地从VRAM/行缓冲器28读取一行的显示图像的图像数据Dga，将图像数据Dgb提供给EVF控制器40的数据输入单元41(S7)，然后使得数据使能信号DE在一行的有效图像数据Dgb的输出结束之后变得不活动(处于低电平)(S8)。

然后，定时发生器35基于上述计数器(n)的值确认显示图像的一个帧中的所有行(N个行)的图像数据Dgb的输出是否结束(S11)，并且在输出结束时返回到上述步骤S2以开始下一帧的显示图像的图像数据Dgb的处理。当处理结束时，定时发生器35增大计数器(n)的值(S12)，并等待下一第二水平同步信号DHsync的定时(S4)。

另一方面，当显示图像的图像数据Dgb的第n行在步骤S5能够被输出时，定时发生器35例如使得数据使能信号DE保持不活动(处于低电平)(S9)，使得数据输出控制单元31将一行的图像数据Dgb(无效数据(伪数据))提供给EVF控制器40的数据输入单元41(S10)，并且等待下一第二水平同步信号DHsync的定时(S4)，如图4所示。

图11所示的一个帧的第二垂直同步信号DVsync、第二水平同步信号DHsync和数据使能信号DE例如通过执行这样的处理而获得。图11(A)是这样的情况：其中显示图像的一个帧中的所有行的图像数据Dgb能够与EVF 50的第二水平同步信号DHsync同步地被输出，并且针对一个帧中的所有行满足上述步骤S5的判定条件。在这种情况下，在垂直显示活动周期VDISP的整个水平扫描周期内，图像输出电路30输出有效图像数据Dgb，因此，不插入伪DHsync周期。同时，图11(B)示出这样的情况：其中对于一个帧中的某些行不满足上述步骤S5的判定条件。在这种情况下，图像输出电路30在垂直显示活动周期VDISP的一部分中的水平扫描周期内输出无效图像数据Dgb(伪数据)。也就是说，当在步骤S5判定无法输出有效图像数据Dgb时，数据使能信号DE变得在该行中不活动。在下文中，将垂直显示活动周期VDISP内输出无效图像数据Dgb(伪数据)的水平扫描周期称为伪DHsync周期。

在图11(B)所示的实例中，由于有效图像数据Dgb被判定为无法在周期Tc和Td内输出，因此数据使能信号DE变得不活动。这些周期与伪DHsync周期对应。相应地，与图11(A)相比，一个帧的垂直显示活动周期VDISP长出插入伪DHsync的周期。这样，一个帧的垂直显示活动周期VDISP的长度以水平扫描周期为单位进行调整。另外，被调整到能够输出数据的定时的有效图像数据Dgb能够被从图像输出电路30提供给EVF控制器40。通过根据经受定时调整的显示数据的图像数据Dgb驱动EVF 50，能够与来自图像传感器12的成像数据Ds的定时同步地执行(通过以水平扫描周期为单位的精确度执行同步)显示。进一步地，如上所述，可以最小化伪DHsync周期的插入，并且最小化从图像传感器12输出成像数据Ds到在液晶板51上显示的延迟(相位差)。

图12是示出其中从图像输出电路30输出到EVF控制器40的显示图像的图像数据Dgb通过上述定时调整与来自图像传感器12的成像数据Ds保持同步的处理。图12示出这样的情况：其中图像传感器12的成像数据Ds的帧率为120FPS[帧/秒](帧周期为8.33mS)，并且能够在EVF 50上显示的图像数据Dgb的帧率为160FPS(帧周期为6.25mS)。

进一步地，图12所示的数据使能信号DE'通过在1个垂直扫描周期内粗略地捕获数据使能信号DE而获得。也就是说，严格地讲，通过填充数据使能信号DE'所示的部分并非始终处于高电平，但是在1个水平扫描周期1H中的水平显示活动周期HDISP期间变为高电平，如图11所示。

如图12所示，从图像传感器12输出的成像数据Ds[1]在时点t10处结束，而图像数据Dgb[1]在时点t11处结束。在这种情况下，成像数据Ds[1]与图像数据Dgb[1]之间的延迟时间增量T1(相位差)相对长。在此，长延迟时间增量T1意味着从图像处理电路20中的图像处理的结束到图像输出电路30中的显示图像的图像数据Dgb的输出的开始有足够长的时间。当在此方式中有足够时间时，不插入伪DHsync周期。

在该实例中，由于EVF显示周期(6.25ms)短于传感器输出周期(8.33ms)，因此，从时点t20(此时，下一帧的成像数据Ds[2]的输出结束)到时点t21(此时，与来自图像输出电路30的帧对应的显示图像的图像数据Dgb[2]的输出结束)的延迟时间增量T2短于增量T1。因此，当输出定时的调整进行时，延迟时间被缩短。但是，在延迟时间被缩短到某种程度的步骤中，图像处理电路20中的显示图像的图像数据Dgb不会及时产生。因此，在图像输出电路30中，产生无法与第二水平同步信号DHsync同步地输出的显示图像的图像数据Dgb的行，并且插入伪DHsync周期(例如，图12中的图像数据Dgb[3])。因此，插入最少伪DHsync周期，直至行变得能够被输出，帧的垂直显示活动周期VDISP被延长，并且输出定时的调整继续进行。最终，延迟时间收敛到恒定延迟时间增量Tmin(该增量是最小延迟(最小相位差))并且保持稳定，来自图像输出电路30的图像数据的输出定时与来自图像传感器12的成像信号的输出定时同步(例如，在图12中的图像数据Dgb[3]之后)。

在这种同步状态下，输出定时的调整通过插入伪DHsync周期来执行，因此，延迟时间增量Tmin可能在定时发生器35产生的第二水平同步信号DHsync的周期内变化。但是如上所述，做出有关输出是否可以与显示图像的图像数据Dgb的每一行的第二水平同步信号DHsync同步的判定(图10所示的步骤S5)，并且伪DHsync周期的插入是直至可以输出行的图像数据Dgb的最小周期。因此，在同步状态下，例如根据图像处理电路20中的图像处理的情况执行对最小延迟时间增量Tmin的调整。也就是说，在该成像显示设备1中，从来自图像传感器12的成像数据Ds的输出到在液晶板21上显示的延迟(相位差)被最小化。因此，在该成像显示设备1中，可以以最小化的延迟时间执行与来自图像传感器12的成像数据Ds的输出定时同步的EVF 50的显示。

然后，将描述与EVF控制器40的实时取景模式相关的操作。EVF控制器40执行的实时取景模式中的处理内容在图13中示出。首先，在开始实时取景模式中的操作之前，EVF控制器40判定是否接收到经由串行I/F45从图像输出电路30提供的指令(例如，包括寄存器的变量名称和值的设定参数)(S21)，当接收到该指令时，根据来自图像输出电路30的指令设定寄存器43a的值(S22)。

然后，定时发生单元43判定从图像输出电路30提供的第二垂直同步信号DVsync是否变得活动(S23)，如果第二垂直同步信号DVsync变得活动，则定时发生单元43重设计数器42的计数值(S24)。然后，数据输入单元41判定第二水平同步信号DHsync是否活动(S25)，当第二水平同步信号DHsync活动时，数据输入单元41判定从数据输出控制单元31提供的数据使能信号DE是否活动(S26)。

如果数据使能信号DE活动，则数据输入单元41从数据输出控制单元31取回一行的显示图像的图像数据Dgb(S27)。在这种情况下，计数器42递增计数值VC(S28)。进一步地，定时发生单元43使得扫描行选择单元52选择与计数值VC对应的行(扫描行)，并且使得数据输出单元44将数据输入单元41取回的一行的图像数据提供给数据行驱动单元53。数据行驱动单元53经由数据行将所提供的图像数据写入定时发生单元43选择的扫描行的像素。因此，在液晶板51上显示选定行的图像。

然后，定时发生单元43判定计数器42的计数值VC是否达到RV(在寄存器43a中设定的“垂直像素数(有效行数)”)(S29)。当计数值VC等于有效行数RV时，一个帧中所有行的图像数据Dgb的接收结束，因此，数据输入单元41执行修改后的帧处理(S30)，然后返回到步骤S23以等待下一帧的第二垂直同步信号DVsync。另一方面，当计数值VC不等于有效行数RV时，一个帧中所有行的图像数据Dgb的接收未结束，因此，数据输入单元41返回到步骤S25以等待第二水平同步信号DHsync变得活动。也就是说，定时发生单元43用作处理单元，该处理单元将计数器42的计数值VC与有效行数相比较，基于比较结果检测帧中的有效图像数据Dgb的输入结束，也就是说，当计数值VC与有效行数匹配时，接着开始用于为下一帧做准备的处理。

进一步地，在上述步骤S26，当数据使能信号DE不活动时，来自数据输出控制单元31的图像数据Dgb为伪数据(无效数据)，因此，不取回图像数据Dgb，并且处理返回到步骤S25以等待第二水平同步信号DHsync变得活动。

在上述操作中，EVF控制器40能够基于数据使能信号DE活动的周期期间的显示图像的图像数据Dgb(在从图像输出电路30提供的图像数据Dgb当中)来控制液晶板51上的显示。

顺便提一下，执行图13的步骤S30中的修改后的帧处理以准备显示下一帧的图像。具体而言，例如，以下处理被包括在修改后的帧处理中：即，删除包括在EVF控制器40的数据输入单元41和数据输出单元44中的缓冲器内存储的数据，或者使得提供的图像数据Dgb无效，直至能够开始下一帧的有效图像数据Dgb的提供(直至下一帧的垂直后沿周期VBP结束)。

此类修改后的帧处理在垂直显示活动周期VDISP结束(其中有效行号的图像数据Dgb的提供结束)时开始(垂直前沿周期VFP的开始)。当上述伪DHsync周期未包括在垂直显示活动周期VDISP内时，垂直前沿周期VFP开始的定时可以很容易地在对垂直显示活动周期VDISP内的第二水平同步信号DHsync进行计数时被识别。

但是，在该成像显示设备1中，由于存在其中伪DHsync周期被插入垂直显示活动周期VDISP的情况，因此，数据使能信号DE不活动的行也被包括在垂直显示活动周期VDISP内的第二水平同步信号DHsync中。因而，在成像显示设备1中，EVF控制器40将计数值VC(有效行的计数值)(通过对数据使能信号DE变得活动的行进行计数而获得的值)和来自图像输出电路30的指令中设定的有效行数相比较。当计数值VC与有效行数相匹配时，帧中的有效行号的图像数据Dgb的提供结束。因此，在检测到计数值VC与有效行数匹配之后导致开始修改后的帧处理。

进一步地，在考虑垂直前沿周期VFP的情况下，可以在计数器42的计数值VC与有效行数匹配之后并且在下一帧开始(第二垂直同步信号DVsync变为下一有效信号)之前执行修改后的帧处理，并且修改后的帧处理可以不必在计数器42的计数值与有效行数匹配之后立即开始。也就是说，作为设定参数，垂直前沿周期VFP的行数(水平同步周期数)作为指令从图像输出电路30发送到EVF控制器40，并且修改后的帧处理可以在计数值VC与有效行数匹配之后并且直至经过垂直前沿周期VFP的行数之前开始。

进一步地，上述计数器42的重设可能不在步骤S24的定时处执行，而是可以在该修改后的帧处理中执行。

图14是示意性地示出针对操作状态不同的帧的直到输出来自上述图像传感器12的成像数据Ds、输出来自图像输出电路30的显示图像的图像数据Dgb，以及在EVF 50上显示的定时的概念图，并且与上述图12对应。由于延迟时间增量T1对于从图像传感器12输出的成像数据Ds[1]而言相对长，因此存在足够的时间用于图像输出电路30中的处理。因此，在不插入伪DHsync周期的情况下产生图像数据Dgb[1]。下一帧的延迟时间增量T2短于延迟时间增量T1是因为EVF 50的帧率短于图像传感器12的帧率。在下一帧中，延迟时间进一步被缩短，并变为最小延迟时间增量Tmin，但是图像处理电路20中的处理未及时执行，并且插入伪DHsync周期。结果，图像数据Dg[3]包括无效数据，并且有效数据变得断断续续。根据来自上述图像处理电路20的进度信息P，来自图像输出电路30的显示图像的图像数据Dgb的输出可能以水平扫描周期(第二水平同步信号DHsync的间隔)为单位变得断断续续。在这种情况下，EVF 50上的显示也以水平扫描周期为单位断断续续。也就是说，EVF 50的一个帧中的每一行的驱动定时以水平扫描周期(水平同步信号的间隔)为单位变化，但是人类无法识别此变化，因为此变化远小于一个帧的显示周期(垂直扫描周期)。

<效果>

如上所述，在该成像显示设备1中，图像输出电路30根据来自图像处理电路20的进度信息P判定显示图像的图像数据Dgb的一行是否能够与第二水平同步信号DHsync同步地被输出，当能够输出该行时，与第二水平同步信号DHsync同步地将一行的显示图像的图像数据Dgb输出到EVF控制器40，以及当无法输出该行时输出伪数据，从而使得输出显示图像的图像数据Dgb的定时能够以水平扫描周期为单位调整。通过执行此类定时调整，从图像输出电路30输出的显示图像的图像数据Dgb的输出定时能够与来自图像传感器12的成像数据Ds的输出定时同步(通过以水平扫描周期为单位的精确度执行同步)。

进一步地，对于上述进度信息P，高电平脉冲在执行来自图像传感器12的成像数据Ds的图像处理的定时处被输出，显示图像的图像数据Dga的一行的产生结束，并且对VRAM/行缓冲器28的写入结束。通过根据此类进度信息P调整来自图像输出电路30的显示图像的图像数据Dgb的输出定时，显示图像的图像数据Dgb能够以最小的延迟时间被输出。因此，在该成像显示设备1中，其延迟时间增加被抑制的显示图像的图像数据Dgb能够与来自图像传感器12的成像数据Ds的输出定时同步地被输出。结果，在该成像显示设备1中，液晶板51上的图像显示与来自图像传感器12的成像数据Ds的输出定时同步，并且直到在液晶板51上显示的延迟时间被最小化(以水平扫描周期为单位)。

在此，为了使液晶板51上的显示图像的显示与图像传感器12的成像数据Ds的输出定时同步，根据显示图像的图像数据Dgb变得能够被输出的定时执行液晶板51侧上的以点时钟周期为单位的水平扫描周期长度的调整，因此考虑垂直扫描周期的定时调整。当执行此类定时调整时，EVF 50侧上需要能够追随水平扫描周期变化(水平同步信号的定时变化)的电路，因此，电路的配置复杂。

另一方面，在该成像显示设备1中，由于在液晶板51侧以水平扫描周期为单位执行定时调整，因此，执行垂直扫描周期的定时调整，以恒定定时在液晶板51侧输出水平同步信号。追随此水平同步信号的电路可以以与按照恒定帧率和恒定水平同步信号间隔提供显示图像的图像数据相同的程度跟随水平同步信号。因此，在该成像显示设备1中，需要添加计数器，该计数器基于上述数据使能信号DE，对垂直扫描周期内的有效图像数据Dgb的行数进行计数，但是与其中液晶板51侧的定时以点时钟单元为单位变化的情况相比，该配置并不复杂。因此，在该成像显示设备1中，能够通过简单的电路配置实现从图像传感器12中的成像到在液晶板51上显示的延迟时间的缩短。

<变形例>

本发明不限于上述各个实施例，下面描述的各种变形例是可能的。进一步地，每个变形例可以是多个变形例的适当组合，或者可以是上述实施例的适当组合。

(1)尽管在上述描述中已经将液晶板的实例描述为液晶板51的一个实例，但是与上述实施例类似，本发明也能够应用于其中使用诸如有机发光二极管(OLED)板或等离子显示板之类的显示元件的情况。

(2)尽管在上述描述中，图像处理电路20用于在显示图像的图像数据的一行能够被输出时输出高电平脉冲作为进度信息P，但是也可以在显示图像的预定行数(块单位)能够被输出时输出高电平脉冲作为进度信息P。在这种情况下，图像输出电路30根据进度信息P，与水平同步信号同步地将预定数量的后续行(块单位)的显示图像的图像数据输出到EVF控制器40，然后等待提供高电平脉冲作为进度信息P。进一步地，当能够输出多个块单位的显示图像作为使用一行的一半的多个块单位，或者输出预定区域作为多个块单位时，可以输出高电平脉冲作为进度信息P。

(3)尽管在上述实施例中，已经将在图像信号Dgb为有效图像信号时变得活动，以及在图像信号Dgb为无效图像信号时变得不活动的使能信号DE描述为控制信号的一个实例，但是本发明不限于此。例如，可以使用在图像信号Dgb为无效图像信号时变得活动，以及在图像信号为有效图像信号时变得不活动的禁用信号。也就是说，可以使用指示图像信号Dgb是有效还是无效的控制信号。

进一步地，尽管图像处理电路20中的图像处理的处理时间在上述实施例中是可变的，但是本发明不限于此，并且处理时间可以固定。甚至在这种情况下，即使图像传感器12的输出和EVF 50的显示的延迟时间较长，也能够通过使用进度信息P从图像输出电路30输出指示图像信号有效还是无效的使能信号DE以及图像信号Dgb，来逐渐缩短延迟时间并且能够通过以水平同步周期为单位的精确度执行同步。

(4)尽管在上述描述中采用了这样的配置：比较计数器42的计数值VC与有效行数、当计数值VC与有效行数匹配时检测帧中的有效图像数据Dgb的输入结束、以及开始为下一帧做准备的处理，但是也可以采取以下配置：当计数值VC与小于有效行数的L个行匹配时(L小于有效行数并指示这样的行数：即，在这些行处，可以判定有效图像信号的接收结束，以便可以开始用于为下一帧做准备的处理)，开始为下一帧做准备的处理。也就是说，当作为有效行数与计数值之间的比较结果的差(有效行数-计数值)小于预定数时，可以开始用于为下一帧做准备的处理。

(5)尽管在上述描述中，使用并行I/F执行图像输出电路30与EVF控制器40之间的数据传输(D00到D23)，但是也可以使用低电压差(LVDS)串行I/F执行数据传输。在这种情况下，例如，分别在图像输出电路30与EVF控制器40中设置LDVS I/F 34和LDVS I/F 46，如图15所示。

LDVS I/F 34包括：7倍频PLL电路34a，其用7乘以第二点时钟DCLK；串行变换器34b，其将来自数据输出控制单元31的显示图像的图像数据(并行)变换为串行信号；以及数据传输电路34c，其发送经受串行变换的图像数据。进一步地，LDVS I/F 46包括：7倍频PLL电路46a，其用7乘以所接收的时钟；数据接收电路46b，其从数据传输电路34c接收图像数据(串行)；以及并行变换器46c，其将所接收到的显示图像的图像数据(串行)变换为并行信号，然后将该并行信号提供给数据输入单元41。

在LDVS I/F 34与LDVS I/F 46之间，例如传输垂直同步信号DVsync(VS)、水平同步信号DHsync(HS)、数据使能信号DE和图像数据Dgb(D00到D23：8位RGB颜色；R0到R7、G0到G7，以及B0到B7)，作为与时钟INCLK同步的4差分输入和输出串行信号，如图16(JEIDA方案)或图17(VESA方案)所示。进一步地，在图15中，描述图像数据LD00到LD23、数据使能信号LDE、第二水平同步信号LHsync和第二垂直同步信号LVsync以区分LDVS传输之后与传输之前的信号和数据，但是它们分别对应于图像数据D00到LD23、数据使能信号DE、第二水平同步信号DHsync和第二垂直同步信号SVsync。

即使使用此类LDVS I/F在图像输出电路30与EVF控制器40之间执行显示图像的图像数据等的传输，也能够实现与上述实施例中相同的操作和效果。

(6)在上述描述中，寄存器43a的值在串行I/F 33与串行I/F 45之间传输。本发明不限于此，在数据使能信号DE变得不活动的周期期间，可以发送包含设定参数的指令来替代在预定周期内为伪数据的无效图像数据Dgb。在图5所示的实施例中，可以设置被提供图像数据Dgb的分离单元来替代串行I/F 45，定时发生单元43可以输出用于指定预定周期的控制信号，并且分离单元可以分离指令。进一步地，在图15所示的变形例中，可以删除从并行变换器46c到寄存器43a的路径，可以在输出图像数据LD00到LD23的并行变换器46c与寄存器43a之间设置分离单元，并且定时发生单元43可以输出用于指定预定周期的控制信号，分离单元可以分离该指令。预定周期可以被分配给垂直前沿周期VFP、垂直同步周期VS和垂直后沿周期VBP中的部分或全部。

(7)尽管在上述描述中已经描述了EVF内置于成像显示设备1中的情况，但是EVF控制器40和EVF 50也可被配置为例如与数码相机的外部连接的取景器(显示设备)。在这种情况下，该装置可以是进一步包括图像输出电路30的成像装置。

(8)尽管在上述描述中已经描述了本发明被配置为成像显示设备1的情况，但是本发明不限于此，并且例如可被配置为诸如投影设备、平视显示器(HUD)或头戴式显示器(HMD)之类的电子装备(显示设备)。进一步地，本发明例如可应用于电子双目镜、电子眼镜、电子显微镜、医疗电子眼镜的取景器、车载倒车监视器或车载侧视镜的监视器，只要它们为执行实时取景并且能够缩短从成像到显示的延迟时间的显示设备即可。进一步地，在显示设备的一方面，不一定包括成像单元10。也就是说，可以将被提供成像数据Ds的图像处理电路20、图像输出电路30、EVF控制器40和EVF 50视为显示设备。

参考标号列表

1 成像显示设备

12 图像传感器

20 图像处理电路

30 图像输出电路

31 数据输出控制单元

40 EVF控制器

41 数据输入单元

42 计数器

43 定时发生单元

44 数据输出单元

50 EVF

51 液晶板

52 扫描行选择单元

53 数据行驱动单元