运动图像捕获装置以及用于运动图像的电子缩放方法
【专利摘要】提供了包括运动图像捕获装置的装置和运动图像的电子缩放方法。该运动图像捕获装置包括：剪切单元，配置为基于缩放率信息根据从图像传感器读取的图像尺寸来剪切图像信号，以及尺寸转换单元，配置为如果必要则基于所述缩放率信息对由所述剪切单元剪切的图像信号进行图像尺寸转换处理。
【专利说明】运动图像捕获装置以及用于运动图像的电子缩放方法
【技术领域】
[0001 ] 本技术涉及运动图像捕获装置以及用于运动图像的电子缩放方法。
【背景技术】
[0002]例如，静态图像的记录和运动图像的记录两者都可以配置为在例如作为成像装置的数字静态相机装置、具有相机功能等的电子设备(例如，智能手机等)中使能。
[0003]通常，上述成像装置具有在静态图像的记录(输出)和运动图像的记录(输出)中共享图像传感器的配置。在此情况下，在运动图像中，从处理能力等方面看，其输出图像尺寸通常设置为小于图像传感器的有效像素的数量(被读取图像尺寸)。例如，当图像传感器的被读取图像尺寸是大约10兆(M)像素时，所记录的运动图像的图像尺寸设置为大约2M像素(例如，参见 JP2008-294504A )。
[0004]在用于输出根据小于如上所述图像传感器的被读取图像尺寸的图像尺寸的运动图像的系统中，在图像信号处理之前的阶段以相对重的处理负担预先进行到运动图像输出尺寸的转换(减小)。
[0005]由此，在其中上述传感器的被读取图像尺寸=IOM像素，而运动图像输出图像尺寸=2M像素的示例中，处理负担可以减小为大约1/5。
[0006]另一方面，存在在成像装置中提供的电子缩放功能。如果必需的话，该电子缩放功能例如可以通过剪切部分捕获图像并且调整该已剪切图像的图像尺寸为与输出图像尺寸一致而实现。
[0007]例如，在作为现有技术的成像装置的、进行用于减小上述处理负担的图像尺寸减小处理的成像装置中，在进行减小为输出图像尺寸的处理之后进行用于电子缩放功能的剪切处理。即，在此情况下，进行减小为输出图像尺寸的处理_>对应于缩放率的剪切_>已剪切图像到输出图像尺寸的放大。
【发明内容】
[0008]当在如上所述的现有技术的成像装置中实现电子缩放处理时，可以放大已剪切图像以调整为输出图像尺寸。其结果是，输出图像的图像质量的恶化是不可避免的。
[0009]作为电子缩放功能，例如，除了如上所述的剪切图像信号的技术之外，也可以实现图像传感器的部分读取。
[0010]然而，在此情况下，因为需要设计实现图像传感器的读取电路(通过该电路，部分读取是可能的)，需要根据缩放率等切换读取电路的读取方案，所以电路配置的复杂度或电路规模增大，并且因此成本增加。
[0011]期望在运动图像上抑制由于电子缩放引起的图像质量的恶化并且使得低成本实现可能且无复杂配置。
[0012]为了解决上述问题，如下配置本技术中的用于捕获运动图像的运动图像捕获装置。[0013]S卩，根据本技术的实施例的运动图像捕获装置包括剪切单元，配置为基于缩放率信息根据从图像传感器读取的图像尺寸来剪切图像信号。
[0014]另外，运动图像捕获装置包括尺寸转换单元，配置为如果必需的话，基于缩放率信息对由剪切单元剪切的图像信号进行图像尺寸转换处理。
[0015]根据本技术的上述实施例，通过剪切捕获图像并且随后进行与必要性对应的图像尺寸转换来实现电子缩放功能。由此，因为当根据现有技术的尺寸转换之后进行剪切时的必需图像尺寸放大处理不是必需的，所以可以有效地防止图像恶化。
[0016]另外，因为当依据本技术的实施例实现电子缩放功能时图像传感器不必需进行部分读取，所以可以防止配置的复杂性以及成本的增加。
[0017]根据上述本技术的实施例，可以对运动图像抑制由于电子缩放引起的图像质量的恶化并且使得简单且低成本实现可能而无复杂配置。
【专利附图】
【附图说明】
[0018]图1是图示实施例的成像装置的内部配置的框图；
[0019]图2A和图2B是图示现有技术的成像装置中的电子缩放技术的示意图；
[0020]图3A和图3B是图示实施例的电子缩放技术的概述的示意图；
[0021]图4是图不有关到切的具体配置的不意图；
[0022]图5是图示当向存储器的写入受控时由剪切控制单元执行的具体处理的过程的流程图；
[0023]图6是图示当从存储器的读取受控时由剪切控制单元执行的具体处理的过程的流程图；
[0024]图7A到图7C是图示剪切所需的存储器容量的示意图；
[0025]图8A到图8G是图示正常同步传播的示意图；
[0026]图9A到图9H是图示同步传输的示意图；
[0027]图10是图示当在写入侧进行与存储器积累量对应的控制时采用的配置的图；
[0028]图11是图示当进行与存储器积累量对应的写入控制时执行的具体处理的过程的流程图；并且
[0029]图12是图示用作包括压缩单元和解压缩单元的变型示例的配置的示意图。【具体实施方式】
[0030]以下，本公开的优选实施例将参考附图详细描述。注意，在此说明书和附图中，具有基本相同功能和结构的结构要素用相同附图标记表示，并且省略了这些结构要素的重复说明。
[0031]以下，将描述依据本技术的实施例。
[0032]同样，将以如下顺序给出描述。
[0033]〈1、成像装置的整体配置〉
[0034]〈2、现有技术〉
[0035]〈3、实施例的电子缩放技术〉
[0036][3.1 概述][0037][3.2剪切技术的具体示例]
[0038][3.3同步传输]
[0039]〈4、变型示例>
[0040]〈1、成像装置的整体配置〉
[0041]图1是图示用作依据本技术的实施例的成像装置I的内部配置的框图。
[0042]此实施例的成像装置I配置为根据用户操作选择性执行静态图像的记录和运动图像的记录。另外，在所记录运动图像的方面，此实施例的成像装置I具有电子放大/缩小图像的电子缩放功能。
[0043]在图1中，成像装置I包括成像光学系统2、图像传感器3、读取单元4、图像信号处理单元5、编码/解码单元6、记录设备7、显示单元8、存储器单元9、控制器10和操作单元
11。另外，成像装置I包括总线12。成像光学系统2、图像信号处理单元5、编码/解码单元
6、记录设备7、显示单元8、存储器单元9和控制器10的各部分经由总线12互相连接。连接到总线12的部分可以经由总线12进行数据的传输或者命令(控制信号)的交换。
[0044]成像光学系统2在图像传感器3的成像平面上形成被摄体的光学图像。成像光学系统2具有用于调整焦距、被摄体距离、光圈等的机制，从而根据来自控制器10的指令获得恰当的图像。
[0045]图像传感器3根据光电转换将所形成的光学图像转换为电信号。具体地，图像传感器3由电荷耦合器件(CXD)传感器、互补金属氧化物半导体(CMOS)传感器等实现。
[0046]读取单元4通过读取由图像传感器3获得的电信号而获得捕获图像信号。
[0047]图像信号处理单元5对由读取单元4获得的上述捕获图像信号进行预定图像信号处理。
[0048]同样，将稍后描述图像信号处理单元5的内部配置。
[0049]编码/解码单元6配置为通过在图像信号处理单元5进行预定图像信号处理之后对捕获图像信号进行预定编码处理而获得压缩图像数据，并且对所输入的压缩图像数据进行解码处理。
[0050]具体地，基于来自控制器10的指令，编码/解码单元6例如通过在静态图像记录期间根据预定静态图像压缩编码(诸如图像专家联合小组(JPEG)格式之类)对上述捕获图像信号进行编码处理而获得压缩静态图像数据，并且，例如通过在运动图像记录期间根据预定运动图像压缩编码(诸如H.264 (MPEG-4AVC))进行编码处理获得压缩运动图像数据。
[0051]另外，在再现期间，基于来自控制器10的指令进行解码输入压缩图像数据的处理。
[0052]记录设备7包括诸如半导体存储器之类的记录介质和用于该记录介质的记录再现系统电路/机制，该半导体存储器比如是诸如闪存、磁盘、光盘或磁光盘。
[0053]在记录期间，向记录设备7供应由编码/解码单元6获得的压缩的静态图像数据和压缩的运动图像数据。记录设备7将如上所述供应的压缩的静态图像数据和压缩的运动图像数据记录在上述记录介质上。
[0054]另外，在再现期间，在上述记录介质上记录的压缩的静态图像数据和压缩的运动图像数据读取到存储器单元9并且经历编码/解码单元6的解码处理。解码的图像数据也可以显示在显示单元8上或者通过外部接口(未示出)向外部设备输出。[0055]显示单元8包括将输入图像数据转换为模拟图像信号的数模(D/A)转换电路、将模拟图像信号解码为适于后续阶段显示装置的格式的视频信号的视频编码器、以及用于显示与输入视频信号对应的图像的显示装置。
[0056]例如由液晶显示器(IXD)或有机电致发光(LE)面板实现上述显示装置，并且也具有作为取景器的功能。
[0057]控制器10包括中央处理器(CPU)和控制程序，并且控制成像装置I的各部分。上述控制程序本身例如存储在存储器单元9中，并且由上述CPU执行。
[0058]操作单元11连接到控制器10。操作单元11例如包括诸如快门、操作拨盘之类的硬件按键或诸如触摸板之类的输入设备，检测成像人(用户)的输入操作，并且向控制器10传递所检测的输入操作。控制器10根据用户的输入操作确定成像装置I的操作，并且控制每个部分进行必要的操作。
[0059]特别是，在此实施例中，操作单元11配置为使得用户的缩放操作是可能的，并且控制器10根据缩放操作计算缩放率(电子缩放的缩放率)。
[0060]在此将稍后描述的实施例中，图像信号处理单元5设置为执行实现电子缩放功能的剪切处理，并且控制器10向图像信号处理单元5供应与计算的缩放率对应的缩放率信
肩、O
[0061]具体地，在此示例中，上述缩放率信息假定为关于剪切起始像素位置的信息和关于已剪切图像的图像尺寸(像素的数量)的信息。
[0062]存储器单元9例如包括诸如动态随机存取存储器(DRAM)之类的半导体存储器，并且记录由编码/解码单元6获得的图像数据、由控制器10处理的各种数据、由图像信号处理单元5处理的图像数据等。
[0063]〈2、现有技术〉
[0064]在实施例的电子缩放技术的描述之前，将首先具体描述现有技术的电子缩放方案。
[0065]图2A和图2B是图示现有技术的成像装置中的电子缩放技术的示意图。
[0066]在图2A和图2B中，图2A图示在现有技术的成像装置中提供的图像信号处理单元5’的内部配置。
[0067]如图2A所示，现有技术的图像信号处理单元5’包括第一信号处理单元101、尺寸转换单元102、第二信号处理单元103和电子缩放/相机抖动校正单元104。
[0068]来自读取单元4的图像传感器3的被读取图像被输入到第一信号处理单元101，并且进行钳位调整处理或白平衡调整处理。
[0069]尺寸转换单元102对由第一信号处理单元101处理的图像信号进行图像尺寸转换处理。
[0070]另外，第二信号处理单元103在尺寸转换单元102的图像尺寸转换之后，对图像信号进行像素内插处理或者轮廓增强处理。
[0071]电子缩放/相机抖动校正单元104在第二信号处理单元103的处理之后对图像信号进行电子缩放处理和相机抖动校正处理。
[0072]向电子缩放/相机抖动校正单元104给出来自外部的缩放率信息，并且通过根据该缩放率信息剪切输入图像的部分来实现电子缩放功能。[0073]这里，由第一信号处理单元101执行的钳位调整处理或白平衡调整处理是计算量相对小的简单处理。
[0074]另一方面，要由第二信号处理单元103执行的像素内插处理或轮廓增强处理是计算量大且处理负担相对大的处理。当计算量大的上述处理以图像传感器3的被读取图像尺寸进行时，需要大量的信号处理能力，第二信号处理单元103的电路规模大，且功耗也增加。
[0075]因而，在现有技术中，如图2A所示，尺寸转换单元102在第二信号处理单元103的处理进行之前减小图像尺寸。具体地，尺寸转换单元102将图像尺寸减小到大约运动图像的输出图像尺寸(记录图像尺寸)。
[0076]图2B示意性地图示由尺寸转换单元102进行的图像尺寸减小处理和由图2A所示的电子缩放/相机抖动校正单元104进行的电子缩放处理(剪切/放大处理)。
[0077]如图2B所示，在图2A所示的现有技术的配置中，减小到大约输出图像尺寸的图像经历与缩放率对应的剪切。因而，进行图像调整处理以调整如上所述的已剪切图像到输出图像尺寸。同样，由电子缩放/相机抖动校正单元104进行放大处理。
[0078]在如上所述的尺寸减小之后进行与缩放率对应的剪切的现有技术中，用于调整已剪切图像为输出图像尺寸的放大处理是必需的。因此，在现有技术中，输出图像的图像质量的恶化(分辨率感受的退化)是不可避免的。
[0079]这里，作为电子缩放功能，例如，除了传感器的读取之后剪切图像信号的技术之夕卜，还可以进行图像传感器的部分读取。据此，可以最小化分辨率感受的退化。
[0080]然而，需要设计用于实现通过其部分读取是可能的图像传感器的读取电路。另外，需要根据缩放率切换读取电路的驱动方案。从这些方面看，通过图像传感器的部分读取实现电子缩放功能的技术导致电路配置的复杂度的上升以及电路规模的增大并且因此导致成本的上升。
[0081]考虑上述问题已经提出此实施例，并且期望抑制关于运动图像由于电子缩放引起的图像质量的恶化并且使得简单而低成本实现是可能的且无复杂配置。
[0082]〈3、实施例的电子缩放技术〉
[0083][3.1 概述]
[0084]图3A和图3B是图示实施例的电子缩放技术的概述的示意图。
[0085]图3A是图示图1所示的图像信号处理单元5的内部配置。
[0086]如所示，图像信号处理单元5包括第一信号处理单元15、剪切单元16、尺寸转换单元17、第二信号处理单元18和相机抖动校正单元19。
[0087]类似上述第一信号处理单元101，第一信号处理单元15关于由读取单元4获得的图像信号进行钳位调整处理或白平衡调整处理。
[0088]如上所述，上述处理具有相对小的计算量，并且甚至当在图像传感器3的被读取图像尺寸下进行处理时也可以抑制电路规模或功耗的增大。
[0089]在剪切单元16中，剪切由第一信号处理单元15处理之后的图像信号。在剪切单元16中，根据来自图1所示的控制器10的缩放率信息进行剪切。
[0090]同样，剪切单元16的内部配置将稍后再次描述。
[0091]如果必需的话，尺寸转换单元17关于由剪切单元16获得的已剪切图像信号进行图像尺寸转换处理。
[0092]这里，因为由剪切单元16获得的已剪切图像尺寸是与缩放率对应的尺寸，所以已剪切图像尺寸不必与运动图像输出图像尺寸一致。尺寸转换单元17将由剪切单元16剪切的图像的图像尺寸转换为与运动图像输出图像尺寸对应的尺寸。具体地，在此示例中，由于在后续阶段进行相机抖动校正处理的关系，进行到大约输出图像尺寸的预定图像尺寸的转换。
[0093]基于从控制器10供应的缩放率信息，尺寸转换单元17确定图像尺寸的缩小量并且进行图像尺寸转换处理。
[0094]同样，图像尺寸转换处理例如可以通过简单稀疏或图像相加、通过滤波器的分辨率转换技术等实现。
[0095]第二信号处理单元18在尺寸转换单元17的尺寸转换处理之后关于图像信号进行类似于上述第二信号处理单元103的像素内插处理或轮廓增强处理的像素内插处理或轮廓增强处理。
[0096]相机抖动校正单元19关于由第二信号处理单元103处理的图像信号进行相机抖动校正处理。该相机抖动校正处理例如可以通过剪切基于运动向量检测结果指定的预定图像区域而实现。
[0097]图3B示意性地图示剪切单元16中的剪切和尺寸转换单元17的尺寸转换。
[0098]如图3B所示，在图像传感器3的被读取图像尺寸经历与根据图3A所示的图像信号处理单元5的配置的缩放率对应的剪切之后进行到大约输出图像尺寸的图像尺寸转换。
[0099]根据如上所述的实施例的电子缩放技术，可以不需要如在其中在尺寸转换之后进行与缩放率对应的剪切的现有技术中那样对于到输出图像尺寸的最终调整而进行放大处理。由此，可以有效地抑制输出图像的分辨率感受的恶化并且抑制图像恶化。
[0100]另外，依据此实施例，与如被读取图像尺寸-> 输出图像尺寸那样以固定减小率进行图像尺寸转换的现有技术相比，图像尺寸取决于缩放率，但是可以减小图像尺寸的缩小率。即，即使在这点上，相比于现有技术，可以抑制图像质量的恶化。
[0101]另外，依据此实施例，不需要在实现电子缩放功能时进行图像传感器3的部分读取。在这点上，防止配置的复杂度的增加或者成本的增加。
[0102]依据上述的此实施例，可以抑制由于运动图像的电子缩放引起的图像质量的恶化并且使得简单且低成本的实现可能而无复杂配置。
[0103][3.2剪切技术的具体示例]
[0104]图4是图示有关剪切的具体配置的示意图。
[0105]在图4中，第一信号处理单元15和尺寸转换单元17与剪切单元16的内部配置一同图示。
[0106]如所示，在剪切单元16中提供剪切控制单元16A和存储器16B。
[0107]向剪切控制单元16A输入来自控制器10的缩放率信息。另外，从第一信号处理单元15向剪切控制单元16A输入同步信号syncl。
[0108]这里，将表示与一帧对应的处理时间的开头(开始)定时的同步信号sync传播到图像信号处理单兀5内的每一部分。
[0109]如图，将输入到第一信号处理单元15的同步信号sync设为“syncO”，将从第一信号处理单元15输出到剪切控制单元16A的同步信号sync设为“syncl”，将从剪切控制单元16A输出到尺寸转换单元17的同步信号sync设为“sync2”，并且将从尺寸转换单元17输出到图3A所示的第二信号处理单元18的同步信号sync设为“sync3”。
[0110]在此实施例中，剪切控制单元16A使得第一信号处理单元15根据缩放率信息在存储器16B中选择性地存储由第一信号处理单元15处理的图像并且使得尺寸转换单元17顺序地读取所积累的图像，从而实现图像剪切。
[0111]首先，将描述与由第一信号处理单元15向存储器16B写入图像有关的控制。
[0112]每当第一信号处理单元15输出图像数据时，剪切控制单元16A向上计数输出像素计数值Gct并且使用该输出像素计数值Gct指定当前输出像素位置(坐标)。
[0113]根据如上所述指定的输出像素位置已经达到由控制器10指示的剪切开始像素位置的状态，使得第一信号处理单元15开始随后要输出的图像数据到存储器16B的写入。
[0114]然后，在到存储器16B的图像数据的写入已经如上所述地开始之后，每次写入时就通过向上计数写入像素计数值Wct指定写入像素的数量。根据其中写入像素的数量已经与从控制器10指示的作为缩放虑信息的剪切像素的数量一致的状态，停止由第一信号处理单元15向存储器16B的写入。
[0115]由此，可以在存储器16B中仅选择性地积累与缩放率对应的范围的图像。
[0116]图5是图示当向存储器的写入受控时由剪切控制单元16A执行的具体处理的过程的流程图。
[0117]首先，剪切控制单元16A等待来自第一信号处理单元15的同步信号syncl (步骤S101)，并且根据已经检测到同步信号syncl的状态来初始化输出像素计数值Gct和写入像素计数值Wct (O重置)(步骤S102和S103)。
[0118]另外，剪切控制单元16A在初始化上述计数值之后等待来自第一信号处理单元15的像素输出(步骤S104)。然后，在当存在像素输出时向上计数输出像素计数值Gct(Gct=Gct+l)之后(步骤S105)，确定剪切开头位置是否已经达到(步骤S106)。即，确定由输出像素计数值Gct指定的当前输出位置是否已经与指示为缩放率信息的剪切开始像素位
置一致。
[0119]当在上述确定中获得指示剪切开头位置尚未达到的否定结果时，处理回到步骤S104并且再次等待来自第一信号处理单元15的像素输出。
[0120]当在上述确定中获得指示剪切开头位置已经达到的肯定结果时，剪切控制单元16A指令第一信号处理单元15向存储器16B写入(步骤S107)。
[0121]另外，剪切控制单元16A根据写入指令已经发布的状态向上计数写入像素计数值Wct (ffct=ffct+l)(步骤 S108)。
[0122]在写入像素计数值Wct已经向上计数之后，剪切控制单元16A确定写入是否已经完成(步骤S109)。具体地，确定写入像素计数值Wct是否大于或等于指示为缩放率信息的剪切像素的数量的值。
[0123]当获得指示写入像素计数值Wct不大于或等于剪切像素的指示数量且写入尚未完成的否定结果时，剪切控制单元16A等待来自第一信号处理单元15的像素输出(步骤S110)。然后，当存在像素输出时，处理回到上述步骤S107，并且指令第一信号处理单元15再次向存储器16B写入。[0124]由此，执行与剪切像素的指示数量对应的写入。
[0125]另外，当获得指示写入像素计数值Wct大于或等于剪切像素的指示数量且写入已经完成的肯定结果时，剪切控制单元16A返回上述步骤S101，并且等待再次检测到同步信号 syncI ο
[0126]接着，将描述读取侧的控制。
[0127]在此实施例中，剪切控制单元16A根据存储器16B的数据积累量控制尺寸转换单元17的读取操作。
[0128]首先，作为假设，上述情况的尺寸转换单元17设置为向如图4所示的剪切控制单元16A发布用于读取存储器16B的请求。
[0129]具体地，尺寸转换单元17根据其中开始与一帧对应的处理的指令已经由同步信号sync2发布的状态，开始剪切控制单元16A的读取请求。
[0130]剪切控制单元16A根据是否已经对于来自尺寸转换单元17的读取请求给出读取准许而控制尺寸转换单元17从存储器16B的图像数据的读取。
[0131]当已经根据来自尺寸转换单元17的读取请求发布读取准许时，剪切控制单元16A确定存在来自存储器16B的图像数据的读取，并且向上计数读取像素计数值Ret。可以根据读取像素计数值Rct指定已剪切图像中的读取位置。
[0132]这里，如上所述，剪切控制单元16A计数写入像素计数值Wct以管理存储器16B的图像数据的写入次数。
[0133]剪切控制单元16A通过计算写入像素计数值Wct和上述读取像素计数值Rct之间的差来指定在存储器16B中积累的图像数据的容量(像素的数量)，并且根据如上所述的存储器16B的图像数据的积累量来控制尺寸转换单元17的读取操作。具体地，控制尺寸转换单元17的读取操作从而当用作图像数据的积累量的“Wct-Rct”的值超出了设置的阈值th时给出上述读取准许并且当“Wct-Rct”的值未超出设置的阈值th时不给出上述读取准许。
[0134]图6是图示当执行上述读取控制时由剪切控制单元16A执行的具体处理的过程的流程图。
[0135]首先，剪切控制单元16A等待来自第一信号处理单元15的同步信号syncl (步骤S201)，并且根据已经检测到同步信号syncl的状态初始化读取像素计数值Rct (O重置)(步骤 S202)。
[0136]然后，在计数值Rct已经初始化之后，剪切控制单元16A等待来自尺寸转换单元17的读取请求(步骤S203)。
[0137]当存在来自尺寸转换单元17的读取请求时，剪切控制单元16A确定存储器16B中的积累量是否足够(步骤S204)。具体地，确定上述“Wct-Rct”值是否超出设置的阈值th。
[0138]当在上述确定中获得指示“Wct-Rct”值尚未超出设置的阈值th且积累量不足够的否定结果时，剪切控制单元16A确定写入是否已经完成(步骤S205)。即，为了确定是否已经完成由第一信号处理单元15向存储器16B写入与剪切范围对应的图像数据，确定写入像素计数值Wct是否大于或等于指示为缩放率信息的剪切像素的数量。
[0139]当在步骤S205中在确定中获得指示写入像素计数值Wct不大于或等于剪切像素的数量且写入尚未完成的否定结果时，剪切控制单元16A返回上述步骤S203，并且再次等待来自尺寸转换单元17的读取请求。[0140]另一方面，在上述步骤S204的确定中获得指示“Wct-Rct”值已经超出设置的阈值th并且积累量足够的肯定结果时或者当在上述步骤S204中的确定中积累量确定为不足够但是获得在上述步骤S205的确定中指示写入已经完成的肯定结果时，剪切控制单元16A向尺寸转换单元17发布读取准许(步骤S206)。
[0141]同样，为了清楚，如果与剪切范围对应的图像数据已经写入到存储器16B，则无论存储器16B的积累量如何都应当将全部积累的数据读取到尺寸转换单元17。因此，当如上所述在步骤S205中获得肯定结果时，无论存储器16B的积累量如何都向尺寸转换单元17发布读取准许。
[0142]剪切控制单元16A根据如上所述地已经发布读取准许的状态向上计数读取像素计数值 Rct (Rct=Rct+l)(步骤 S207)。
[0143]然后，在读取像素计数值Rct已经如上所述向上计数之后，剪切控制单元16A确定读取是否已经完成。具体地，确定读取像素计数值Rct大于或等于指示为缩放率信息的剪切像素的数量的值。
[0144]当获得指示读取像素计数值Rct不大于或等于如上所指示的剪切像素的数量的值并且读取尚未完成的否定结果时，剪切控制单元16A返回上述步骤S203，并且等待来自尺寸转换单元17的读取请求。
[0145]另一方面，当获得指示读取像素计数值Rct大于或等于如上所指示的剪切像素的数量的值并且读取已经完成的肯定结果时，剪切控制单元16A返回上述步骤S201并且再次等待同步信号sync I。
[0146]这里，将参考图7A到图7C描述剪切需要的存储器容量。
[0147]首先，作为假设，根据图像传感器3的读取速率为常数的状态，第一信号处理单元15向存储器16B写入的速率也变为常数。同样，在图中，写入速度用“R_w”表示。
[0148]另一方面，存储器16B的读取速率(图中的“R_r”)是根据缩放率的变量。S卩，读取速率与以I的缩放率的写入速率一致(没有电子缩放)。当缩放率进一步增加时，读取速率设置为低于写入速率。尽管如图所示的与一帧对应的处理时间(从时间点O到时间点Tfr)设置为用于在图像信号处理单元5内的每一部分中处理与一帧对应的图像的时间(参见稍后将描述的同步信号sync)，但是设置与缩放率对应的可变读取速率从而对于与一帧对应的处理时间也完成来自存储器16B的已剪切图像的读取。
[0149]根据此假设，在此情况的剪切中，应当设置存储器16B的容量从而写入侧的超出(overtake)不发生。
[0150]在图7A到图7C中，剪切前的图像20和该图像20中的剪切范围20A在图7A中图示。剪切范围20A根据设置的缩放率而变化。
[0151]另外，在图7A中，连同剪切前的图像20和剪切范围20A，通过在图的右边指定水平轴为时间T并且指定垂直轴为线的数量来图示对于存储器16B的写入速率R_w和读取速率R_r之间的关系。
[0152]这里，剪切前的图像20的水平尺寸(水平方向上像素的数量)设置为W并且垂直尺寸(垂直方向上像素的数量)设置为H。另外，缩放率的倒数设置为K。
[0153]据此，剪切范围20A的水平尺寸可以用K.W表示而垂直尺寸可以用K.H表示。
[0154]另外，图7B图示当缩放率小于图7A中的缩放率时(S卩，K的值大于图7A中K的值)写入速率R_w和读取速率R_r之间的关系，而图7C图示当缩放率大于图7A中的缩放率时(即，K的值小于图7A中K的值)写入速率R_w和读取速率R_r之间的关系。
[0155]在图7A到图7C中，在每个图中，剪切范围20A内全部数据到存储器16B的写入结束的时间点变为时间点Twe。另外，在此情况下，在上述读取速率R_r的可变设置下，剪切范围20A内全部数据从存储器16B的读取结束的时间点变为时间点Tfr。
[0156]如图中显而易见的，在时间点Tfr指示的“与一帧对应的处理时间”与向存储器16B写入图像20 (缩放率=1的图像)花费的时间一致。
[0157]将描述将设置以防止发生写入侧的超出的存储器16B的容量(也简称为所需存储器大小)。
[0158]在图7A到图7C的情况下，可以用图中的X表示最大所需存储器大小。具体地，最大所需存储器大小是在已经将剪切范围20A的整个图像写入存储器16B的时间点Twe时未读取数据的量。
[0159]这里，可以看到当图7A到图7C彼此比较时用作最大所需存储器大小的X的值根据缩放率而变化。具体地，基于给定缩放率，用作最大所需存储器大小的X的值在缩放率小于或大于给定缩放率时逐渐减小。换而言之，当缩放率变为给定值时(设置为标准缩放率)，所需存储器大小具有最大值。
[0160]因此，如果已知标准缩放率，则X的值被称为最大所需存储器大小(B卩，要确保以防止发生写入侧的超出的存储器16B的容量)。
[0161]具体地，在此情况下，导出最大所需存储器大小。
[0162]首先，因为读取速率R_r是根据缩放率可变的(读取完成时间与Tfr 一致)，所以写入速率R_w和读取速率R_r可以如下表示。
[0163]R_w= (H) /Tfr
[0164]R_r= (K.H) /Tfr...(I)
[0165]这里，在任意时间点t，用表达式(2)表示写入线的数量而用表达式(3)表示读取线的数量。
[0166]R_w.t...⑵
[0167]R_r.t...⑶
[0168]两者间的差在时间点t变为所需存储器大小。在此时间点t，所需存储器大小M(t)可以用表达式(4)表示。
[0169]M(t) =H/Tfr-K.Η/Tfr.t...(4)
[0170]此时，如果因为与要写入/读取的一条线对应的数据量变为K -W,所以上述表达式
(4)转换为数据量，则如表达式(5)那样重写M(t)。
[0171]M (t) =K.W.(H/Tfr-K.H/Tfr.t)...(5)
[0172]如从以上描述所理解的，M(t)的值在t=Twe时变为最大。S卩，用表达式(6)表示M(Twe)。
[0173]M(Twe) =K.(1-K).W.H.Twe/Tre...(6)
[0174]此时，参考图7A到图7C，可以根据三角形的相似原理而获得表达式(7 )。
[0175]Twe/Tre= (K.H) / (H)...(7)
[0176]根据这点，所需存储器大小和缩放率的倒数K之间的关系用以下表达式(8)表示。[0177]M(K)=K.K.(1-K).W.H...(8)
[0178]这里，根据数学的极值原理，当M(K)具有最大值/最小值时，M(K)的一阶导数可以变为O。
[0179]M(K)的一阶导用表达式(9)表不。
[0180]dM (K) = (2K-3K.K).W.H...(9)
[0181]由此，当K=O和K=2/3时，M⑷具有极值。
[0182]进一步，根据二阶导数的分析，可以看到，当K=O时极值点具有最小值(O)且当Κ=2/3时极值点具有最大值。
[0183]根据以上，当Κ=2/3时，即当缩放率=1.5时，所需存储器大小变为最大。从上述表达式(8)计算最大值为“4/27.W.H”。
[0184]如上所述，仅需要确保至少剪切之前图像20的4/27的尺寸的容量为存储器16Β的容量以防止写入侧的超出。
[0185][3.3同步传输]
[0186]这里，在此实施例中，同步传输设置为与根据剪切的电子缩放功能的实现相对应地进行。
[0187]首先，作为假设，将参考图8Α到图SG描述正常同步传播。
[0188]在图8Α到图SG中，假定以信号处理I —信号处理2 —信号处理3的次序处理图像信号。图8 A所示的同步信号SYNCO、图8C所示的同步信号SYNCl以及图8Ε所示的同步信号SYNC2是表不信号处理1、信号处理2以及信号处理3中的一巾贞的处理时间的开始定时的信号。图8G的SYNC3是代表信号处理3的后续阶段的信号处理中的一帧的处理时间的开始定时的信号。
[0189]在图8Β、图8D和图8F中，白色所示的帧I到3分别表示基于SYNCl、SYNC2和SYNC3分配给信号处理1、2和3的帧I到3的帧处理时间。
[0190]对于从信号处理I到信号处理2输出的同步信号SYNCl,图中用Dl表不的延迟分派给输入到信号处理I的同步信号SYNC0。延迟Dl变为与信号处理I的处理时间对应的延迟。
[0191]另外，对于从信号处理2到信号处理3输出的同步信号SYNC2，图中用D2表示的延迟分派给输入到信号处理2的同步信号SYNCl。延迟D2变为与信号处理2的处理时间对应的延迟。
[0192]另外，对于从信号处理3输出的同步信号SYNC3,图中用D3表不的延迟分派给输入到信号处理3的同步信号SYNC2。延迟D3变为与信号处理3的处理时间对应的延迟。
[0193]在如上所述的正常同步传播中，向下一阶段的信号处理传播一同步信号，向该同步信号分派与信号处理I到3的每一信号处理所需的处理时间对应的延迟D。
[0194]为此，与剪切单元16根据此实施例中的剪切进行电子缩放处理的状态对应地进行上述同步传输。
[0195]图9A到图9H是图示同步传输的示意图。
[0196]图9A图不输入到第一信号处理单兀15的同步信号syncO,图9C图不从第一信号处理单元15输出到剪切控制单元16A的同步信号syncl，而图9E图示从剪切控制单元16A输出到尺寸转换单元17的同步信号sync2。[0197]图9B图示基于同步信号syncO设置的第一信号处理单元15的用于每帧的处理时间，图9D图示基于同步信号syncl设置的剪切控制单元16A的用于每帧的处理时间，而图9F图示基于同步信号sync2设置的尺寸转换单元17的用于每帧的处理时间。这里，从帧I到帧4的四帧图示为在图9B、图9D和图9E中图示的每帧的处理时间。在图9D和图9F中，虚线指示的帧意味着基于同步信号sync设置的用于一帧的处理时间。
[0198]同样，为了清楚，在运动图像捕获中，请求在同步信号sync设置的一个周期内处理的完成。当请求未满足时，难以实现恒定帧速率。
[0199]首先，从同步信号syncO和同步信号syncl之间的关系的角度看，在同步信号syncl中向同步信号syncO给出与第一信号处理单元15的处理时间对应的延迟(图中的D1)。换而言之，通过向同步信号syncO分派延迟Dl获得的同步信号syncl输入到剪切控制单元16A中。
[0200]这里，考虑如下情况:其中，向其分派类似于正常同步传播的延迟的延迟的同步信号sync (即，向其分派对于剪切控制单元16A的处理时间的延迟的同步信号sync(sync2))从剪切控制单元16A输出到尺寸转换单元17。
[0201]图9G图示上述同步信号sync2’的波形,而图9F图示当已经分派同步信号sync2’时尺寸转换单元17的用于每一帧的处理时间。
[0202]当与剪切控制单元16A的处理时间对应的延迟D指定为D2时，同步信号sync2’可以指示“D1+D2”的延迟分派给如图9G所示的同步信号syncO。
[0203]这里，应当注意，当进行剪切的电子缩放处理时，要处理的数据被读取到尺寸转换单元17的定时晚于对剪切处理设置的一帧的处理时间的开头定时(图9D)。这是因为，当如上所述使用存储器16B进行剪切的电子缩放处理时，发生从来自第一信号处理单元15的剪切之前的图像的开头像素数据的输出开始的时间到剪切范围的开头的像素数据写入存储器16B的时间的时间差。
[0204]在图9H中，虚线的帧指示基于同步信号sync2’在尺寸转换单元17中设置的处理时间，而实线的帧指示其中像素数据可以从存储器16B读取并且实际处理的时间。
[0205]从它们之间的比较，当剪切控制单元16A已经向尺寸转换单元17输出向其分派与正常同步传播的延迟类似的延迟的同步信号sync2’时，处理的空闲部分在尺寸转换单元17中发生(图中的WS)。即，WS的处理时间的缺乏发生。
[0206]因而，为了恰当地确保处理时间，通过以与缩放率对应的量延迟分派给尺寸转换单元17的同步信号sync2，在剪切单元16和尺寸转换单元17之间进行同步传输。
[0207]具体地，在此情况下，在图9D和图9E之间分派以“Dz”指示的延迟。
[0208]此延迟Dz与在第一信号处理单元15中开始剪切之前的图像的开头像素数据的输出的定时和向存储器16B写入剪切范围的开头像素数据的定时之间的时间差对应。此时间差变为与指示的缩放率对应的值。因此，延迟Dz变为与缩放率对应的量的延迟。
[0209]从剪切控制单元16A向尺寸转换单元17输出已经向其分派上述延迟Dz的同步信号sync2,并且因此如图9H所示的上述空闲部分不如图9F所示地在尺寸转换单元17中发生，并且可以恰当地确保尺寸转换单元17的处理时间。
[0210]为了实现上述同步传输，在从第一信号处理单元15接收同步信号syncl之后，剪切控制单元16A在等待第一信号处理单元15向存储器16B写入剪切范围的开头像素数据之后发布同步信号sync2。
[0211]具体地，根据如下状态发布同步信号sync2:由上述输出像素计数值Gct指定的当前像素位置已经与由缩放率信息指示的剪切开始像素位置一致。
[0212]顺便提及，因为当缩放率波动时剪切范围的开头像素位置也改变，所以存在如下情况:其中，即使当剪切范围的开头像素数据偶然地写入存储器16B时，尺寸转换单元17还尚未完成前一巾贞的处理。
[0213]图9A到图9H图示了在帧3和帧4之间存在缩放率的改变点的示例。
[0214]当如在此实施例中输出以与缩放率对应的量延迟的同步信号sync2时，存在如下情况:其中，改变(erode)在缩放率改变之前帧中的处理时间，如图9A到图9H的Y所指示的。
[0215]处理时间的上述改变发生，并且因此存在如下情况:其中，即使当剪切范围的开头像素数据写入存储器16B时，在尺寸转换单元17中还尚未完成前一帧的处理。
[0216]因而，作为同步信号sync2的发布条件，可以仅设置第一信号处理单元15已经向存储器16B写入剪切范围的开头像素数据的条件，也可以设置完成尺寸转换单元17中前一帧的处理的条件。
[0217]具体地，在此情况下，剪切控制单元16A确定是否如上所述由输出像素计数值Gct指定的当前像素位置与由缩放率信息指示的剪切开始像素位置一致并且确定尺寸转换单元17是否已经完成前一帧的处理。
[0218]因而，当确定结果指示已经满足完成前一帧的处理的条件以及由输出像素计数值Gct指定的当前像素位置与由缩放率信息指示的剪切开始像素位置一致的条件时，发布同步信息sync2。
[0219]因而，可以恰当地确保尺寸转换单元17的处理时间同时防止前一帧的处理的改变。
[0220]通过进行与上述缩放率对应的同步传输，可以确保尺寸转换单元17之后的处理时间同时最小化同步延迟，并且缩放率的平滑转变是可能的。
[0221]〈4、变型示例〉
[0222]尽管以上描述了依据本技术的实施例，但是本技术不限于上述具体示例。
[0223]例如，尽管涉及从用于剪切的存储器读取/向用于剪切的存储器写入仅在读取侧进行与存储器积累量对应的控制的操作已经在以上描述，但是也可以在写入侧进行与存储器积累量对应的控制。
[0224]图10是图示当如上所述在写入侧进行与存储器积累量对应的控制时采用的配置。
[0225]相同的附图标记分派给与如上所述类似的图10中的部分，且省略其描述。
[0226]在此情况下，不像图4所示的上述配置，提供剪切单元16’取代剪切单元16。具体地，剪切单兀16’不同于上述剪切单兀16在于:提供第一信号处理单兀15’取代第一信号处理单元15并且提供剪切控制单元16A’取代剪切控制单元16A。
[0227]不像第一信号处理单元15，第一信号处理单元15’向剪切控制单元16A’发布写入请求。具体地，第一信号处理单元15’每当存在经历了其自己的处理的像素数据的输出时就向剪切控制单元16A’发布写入请求。另外，第一信号处理单元15’向存储器16B写入像素数据，对于该像素数据已经从剪切控制单元16A’发布了写入准许。
[0228]图11是图示当进行与存储器积累量对应的写入控制时剪切控制单元16A’执行的具体处理的过程的流程图。
[0229]首先，剪切控制单元16A’等待来自第一信号处理单元15’的同步信号syncl (步骤S301 )，并且根据已经输入同步信号syncl的状态初始化输出像素计数值Gct和写入像素计数值Wct (O重置)(步骤S302和S303)。
[0230]在已经初始化计数值Gct和Wct之后，剪切控制单元16A’等待来自第一信号处理单元15’的写入请求(步骤S304)。换而言之，等待来自第一信号处理单元15’的像素输出。
[0231]当存在来自第一信号处理单元15’的写入请求时，剪切控制单元16A’向上计数输出像素计数值Gct(Gct=Gct+l)(步骤S305)，并且随后确定是否已经达到剪切开头位置(步骤S305)。S卩，由输出像素计数值Gct指定的像素位置已经与由缩放率信息指示的剪切开始像素位置一致。
[0232]当获得指示尚未达到剪切开头位置的否定结果时，剪切控制单元16A’通过回到步骤S304再次等待来自第一信号处理单元15’的写入请求。
[0233]另一方面，当获得指示已经达到剪切开头位置的肯定结果时，剪切控制单元16A’确定是否存在剩余存储器容量(步骤S307)。具体地，确定由“Wct-Rct”计算的存储器16B中的数据积累量是否小于存储器16B的容量。
[0234]当在确定中获得指示“Wct-Rct”的值不小于存储器16B的容量且不存在剩余存储器容量的否定结果时，剪切控制单元16A’通过回到上述步骤S304等待来自第一信号处理单元15’的写入请求。即，当确定剩余存储器容量缺失时，即使当已经达到剪切开头位置时也禁止到存储器16B的写入。
[0235]另外，当获得指示“Wct-Rct”的值小于存储器16B的容量且存在剩余存储器容量的肯定结果时，剪切控制单元16A’向尺寸转换单元17发布写入准许(步骤S308)，并且向上计数写入像素计数值Wct (ffct=ffct+l)(步骤S309)。
[0236]在写入像素计数值Wct已经向上计数之后，剪切控制单元16A’确定写入是否已经完成(步骤S310)。即，确定写入像素计数值Wct是否大于或等于指示为缩放率信息的剪切像素的速率的值。
[0237]当获得指示写入像素计数值Wct不大于或等于指示的剪切像素的数量的值且写入尚未完成的否定结果时，剪切控制单元16A’通过回到上述步骤S304等待来自第一信号处理单元15’的写入请求。
[0238]另一方面，当获得指示写入像素计数值Wct大于或等于指示的剪切像素的数量的值且写入已经完成的肯定结果时，剪切控制单元16A’通过返回步骤S301等待再次检测到同步信号syncl。
[0239]通过进行上述写入控制可以防止存储器16B的过载。
[0240]另外，尽管以上已经描述了在剪切单元16内提供用于剪切处理使用的存储器的示例，但是在上述图1中图示的用作存储器单元9的共享存储器可以用作存储器。
[0241]尽管当存储器单元9用作用于剪切的存储器时根据电子缩放处理消耗总线12的频段，但是可以如图12所示地提供压缩写入到存储器单元9的数据的压缩单元16C和解压缩从存储器单元9读取的压缩数据的解压缩单元16D，以减小上述总线的频段的消耗以及存储器单元9的容量的消耗。
[0242]这里，如所示地在剪切单元16’’内提供压缩单元16C和解压缩单元16D。
[0243]同样，相同的附图标记分派给类似于上述的图12的各部分，并且省略其描述。
[0244]压缩单元16C根据预定数据压缩方案进行压缩来自第一信号处理单元15的写入数据的处理并且在总线12上传送压缩数据。
[0245]解压缩单元16D进行解压缩经由总线12从存储器单元9读取到尺寸转换单元17的压缩数据的处理，并且向尺寸转换单元17传送解压缩的读取数据。
[0246]即使当采用了通用压缩/解压缩技术时，可以获得至少1/2或更高的压缩率。因此，根据使用上述配置的电子缩放处理的执行可以有效地抑制总线频段以及存储器单元9的容量消耗的增加。
[0247]本领域的技术人员应当理解，只要在所附权利要求或其等同的范围之内，取决于设计要求和其他因素可以发生各种变型、组合、部分组合和变更。
[0248]另外，本技术也可以如下配置。
[0249](I) 一种运动图像捕获装置，包括:
[0250]剪切单元，配置为基于缩放率信息根据从图像传感器读取的图像尺寸剪切图像信号；以及
[0251]尺寸转换单元，配置为如果必要则基于所述缩放率信息关于由所述剪切单元剪切的图像信号进行图像尺寸转换处理。
[0252](2)根据(I)所述的运动图像捕获装置，
[0253]其中，所述剪切单元在存储器中选择性地积累由所述缩放率信息指定的剪切目标范围的图像信号，并且
[0254]其中，所述尺寸转换单元通过读取在所述存储器中积累的图像信号获得所剪切的图像信号。
[0255](3)根据(2)所述的运动图像捕获装置，其中，所述剪切单元根据所述存储器中的数据积累量控制所述尺寸转换单元的存储器读取操作。
[0256](4)根据(2)所述的运动图像捕获装置，其中，所述剪切单元以与所述缩放率信息对应的时间长度延迟代表每帧的处理开始定时的同步信号，并且向所述尺寸转换单元输出延迟的同步信号。
[0257]( 5 )根据(4 )所述的运动图像捕获装置，其中，所述剪切单元根据所述剪切目标范围的开头部分是否已经在所述存储器中积累而向所述尺寸转换单元输出所述同步信号。
[0258](6)根据(5)所述的运动图像捕获装置，其中，所述剪切单元确定所述剪切目标范围的开头部分是否已经在所述存储器中积累以及所述尺寸转换单元是否已经完成与前一帧对应的尺寸转换处理，并且当已经在两个确定中获得肯定结果时向所述尺寸转换单元输出同步信号。
[0259](7)根据(2)到(6)的任一项所述的运动图像捕获装置，包括:
[0260]压缩处理单元，配置为关于写入到所述存储器的图像信号进行压缩处理；以及
[0261]解压缩处理单元，配置为关于从所述存储器读取的图像信号进行解压缩处理。
[0262]本技术包含与公开在于2012年5月16日向日本专利局提交的日本优先专利申请JP2012-112422的主题有关的主题，其整体内容通过引用并入于此。
【权利要求】
1.一种运动图像捕获装置，包括: 剪切单元，配置为基于缩放率信息来剪切根据从图像传感器读取的图像尺寸的图像信号；以及 尺寸转换单元，配置为如果必要则基于所述缩放率信息关于由所述剪切单元剪切的图像信号进行图像尺寸转换处理。
2.根据权利要求1所述的运动图像捕获装置， 其中，所述剪切单元在存储器中选择性地积累由所述缩放率信息指定的剪切目标范围的图像信号，并且 其中，所述尺寸转换单元通过读取在所述存储器中积累的图像信号获得所剪切的图像信号。
3.根据权利要求2所述的运动图像捕获装置，其中，所述剪切单元根据所述存储器中的数据积累量来控制所述尺寸转换单元的存储器读取操作。
4.根据权利要求2所述的运动图像捕获装置，其中，所述剪切单元以与所述缩放率信息对应的时间长度延迟代表每帧的处理开始定时的同步信号，并且向所述尺寸转换单元输出延迟的同步信号。
5.根据权利要求4所述的运动图像捕获装置，其中，所述剪切单元根据所述剪切目标范围的开头部分是否已经在所述存储器中积累而向所述尺寸转换单元输出所述同步信号。
6.根据权利要求5所述的运动图像捕获装置，其中，所述剪切单元确定所述剪切目标范围的开头部分是否已经在所述存储器中积累以及所述尺寸转换单元是否已经完成与前一帧对应的尺寸转换处理，并且当已经在两个确定中获得肯定结果时向所述尺寸转换单元输出同步信号。
7.根据权利要求2所述的运动图像捕获装置，包括: 压缩处理单元，配置为关于写入到所述存储器的图像信号进行压缩处理；以及 解压缩处理单元，配置为关于从所述存储器读取的图像信号进行解压缩处理。
8.—种运动图像的电子缩放方法，包括: 基于缩放率信息来剪切根据从图像传感器读取的图像尺寸的图像信号；以及如果必要则基于所述缩放率信息关于在所述剪切步骤中剪切的图像信号进行图像尺寸转换处理。
【文档编号】H04N5/76GK103428421SQ201310168328
【公开日】2013年12月4日 申请日期:2013年5月9日 优先权日:2012年5月16日
【发明者】李志文 申请人:索尼公司