专利名称：逐行到隔行转换方法、图像处理装置、成像装置的制作方法
技术领域：
本发明涉及一种逐4亍到隔行(progressive-to-interlace )转换技术，其用于 将来自成像设备的逐行输入的信号转换为输出到显示设备的隔行输出的信号。
背景技术：
通常，在成像装置等中，从成像设备沿扫描线顺序地对图像进行逐行扫描。 当将经过逐行扫描的图像以隔行扫描的状态输出到NTSC型显示设备时，则需 要逐行到隔行转换(PI转换)。
传统地，PI转换为每一帧首先输出奇数扫描线(第一扫描线，第三扫描 线...)，随后输出偶数扫描线(第二扫描线，第四扫描线...)。例如，专利号为 3821415的日本专利揭示了一种用于执行隔行的解析度转换的装置，其通过上 述方法从逐行图像信号生成隔行图像信号。
传统的PI转换方法通过输出奇数扫描线构成第一场，随后通过输出偶数 扫描线构成第二场；因此，对于每个逐行扫描帧，需要至少能够存储一副图画 的数据的帧存储器；特别是对于高解析度的图像装置，其需要大容量存储器， 使得装置本身的成本增加。
作为解决装置成本的方法，可以设想一种系统，其按照时序为每一帧交替 地输出第一帧的奇数扫描线和下一帧的偶数扫描线，以输出逐行输入的图像数 据。对于这种方案，尽管适用于几条扫描线的数据量的线緩沖器(linebuffer) 对于系统是足够的；但是由于对于每一帧来说，要读取并丢弃一半的扫描线， 因此造成了浪费。此外，有效的亮度量减半，造成了在黑暗区域的亮度量不足。
发明内容
本发明的目的在于至少部分解决现有技术中存在的问题。根据本发明的一个方面，提供了一种逐行到隔行的转换方法，其通过按照 时序交替地输出奇数扫描线的图像数据和偶数扫描线的图像数据，将逐行输入
的图像数据转换为隔行输出的图像数据，该方法包括隔行输出步骤，包括 将对应于当前扫描线的图像数据的像素的像素值与对应于下 一扫描线的图像 数据的像素的像素值相加的步骤；以及第一输出步骤，其包括将在相加步骤所 获得的图像数据以隔行格式输出。
此外，根据本发明的另一方面，提供了一种图像处理装置，包括逐行到 隔行转换单元，其基于根据本发明的逐行到隔行转换方法，将逐行输入图像数 据转换为隔行输出图像数据。
并且，根据本发明的再一方面，提供了一种成像装置，包括 一种成像设
备，其输出逐行图像数据；以及根据本发明的图像处理装置
例如，基于传感器的自动增益控制(AGC)电路的增益量确定色彩的亮
度。根据这种方案，能够降低除了黑暗区域的图像质量。
结合附图阅读下文具体说明的本发明优选实施例，将会更好地理解本发明
的上述和其他目标、特征、优点以及技术和工业上的有效性。
图1示出了根据本发明实施例的成像装置的处理系统的总体框图； 图2A示出了用于G信号的Bayer彩色滤波器阵列的示意图； 图2B示出了用于R信号的Bayer彩色滤波器阵列的示意图； 图2C示出了用于B信号的Bayer彩色滤波器阵列的示意图； 图3示出了根据实施例的MTF校正单元的框图； 图4示出了 FIR滤波器示例的示意图； 图5示出了传统的逐行到隔行转换方法的示意图； 图6示出了根据本发明的逐行到隔行转换方法的示意图； 图7示出了根据实施例的逐行到隔行转换单元的示意图。
具体实施例方式
下面参考附图详细说明本申请的示例实施例。将采用具有广视角和较大倍 率色像差(chromatic aberration of magnification)及较大失真的光学系统为对 象拍摄图像的成像装置作为本发明的一个实施例；其构造包括图像处理系统，该系统执行对于倍率色像差和失真的校正，并执行根据本发明的逐行到隔行转 换。然而，本发明并不限于该实施例。此外，尽管将图像的色彩成分考虑为加
法三原色的红(R)、绿(G)、蓝(B),同样可以采用减法三原色的黄(Y)、 红紫(M)、蓝绿(C)。
图1示出了根据本发明实施例的成像装置的处理系统的整体框图。该成像 装置还包括在图1中省略了的操作单元、图像显示单元、光学系统、以及快门 速度控制和透镜孔径调节机构等。尽管，假设所述图像装置被用于汽车相机设 备，其还可以应用于多种用途。
如图1所示，控制单元100通过为各个单元提供必要的信号(时钟、水平 /垂直同步信号等)，从而以管线方式控制各个单元的操作。控制单元100包括 逐行到隔行(PI)转换切换信号生成单元105,其根据亮度生成切换信号以用 于控制PI转换单元190的PI转换方法的切换。
例如，在成像设备110中配置将光学图像转换为电学信号(图像信号)的 电荷耦合设备(CCD)或者互补金属氧化物半导体(CMOS)传感器，所述光 学图像是由具有广视角、较大倍率色像差和失真的光学系统(未示出)拍摄的。 成像设备100包括Bayer彩色滤波器阵列，从而基于来自控制单元100的控制 信号(时钟、水平/垂直同步信号等)顺序地逐行输出Bayer阵列RGB图像信 号。
AGC电路120将输出自成像设备100的模拟图像信号放大为预定数值。 由所需的亮度和噪声量之间的权衡，将AGC电路120的增益量确定为适当的 数值。在本实施例中，控制单元100的PI转换切换信号生成单元105从AGC 电路120的增益量确定亮度，并将切换信号发送到PI转换单元190。
模拟数字(A/D)转换器130将Bayer阵列RGB图像信号转换为数字信 号(图像数据)，并将图像数据输出到Bayer补偿单元140,所述RGB图像信 号是由AGC电路120放大后的模拟信号。图像数据是由如全部为8比特的RGB 构成的。
Bayer补偿单元140接收被转换为数字信号的Bayer阵列RGB图像数据， 通过线性插入生成图像数据的全部坐标位置，并将图像数据输出到倍率色像差 校正单元150。图2A至2C是Bayer彩色滤波器阵列的示意图，其中G。、及2 、及4、 7 6、 A和i 。是由等式(1)到(6)获得的。
G0=(G2+G4+G6+G8)/4
& =(i 3+/ 5)/2
A +/ 7)/2
i 。=(《+/ 3 +i 5 +/ 7)/4
(1)
(2)
(3)
(4)
(5)
(6)
丑
a54、 56、 ^及5。与/ 2、 i 4、 / 6、 ^及i 。的'lt况相同。
尽管实施例涉及使用Bayer彩色滤波器阵列的成像设备，同样可以通过采
效果。特別是，期望于较高的效果，相对于如RGB的三色彩类型，所述具有 四种色彩的彩色滤波器阵列的成像设备需要低延迟存储器或者4端口 RAM。
倍率色像差校正单元150接收经Bayer补偿的RGB数据，采用预定的多 项式等对RGB的每个色彩成分分别执行坐标转换(倍率色像差坐标转换)，并 将经倍率色像差校正后的RGB像素数据输出。尽管每个色彩成分的倍率色像 差均不相同，但是差别的数量较小。因此，可以将低容量及低延迟存储器或者 具有多个端口的低容量存储器(如SRAM)用于校正倍率色像差的坐标转换。
调制传递函数(MTF)校正单元160接收经倍率色像差校正后的RGB像 素数据，采用FIR滤波器对图像数据执行MTF校正处理，并将经MTF校正 后的RGB像素数据输出。
图3示出了 MTF校正单元160的框图。转换单元162基于等式(7)至(9) 将RGB图像数据转换为YCbCr图像数据。
y = 0.299/2 + 0.587(^ + 0.1145 (7)
O = 0.500i —0.419G —0.0815 (8)
C6 = -0.169i -0.332G +0.5005 (9)
FIR滤波器(5x5滤波器)164仅接收YCbCr的亮度信号Y，并执行信 号的预定的MTF校正。图4示出了 FIR滤波器的示例的示意图。通过仅对Y 信号进行滤波(执行MTF校正)可以获得色彩信号杂波的放大被抑制后的高质量图像。由于Y信号被滤波，需要在倍率色像差校正后执行MTF校正。若 在失真校正后执行MTF校正，由于坐标转换的转换距离较大，易于在失真校 正中发生算法错误，而MTF校正又会将错误放大，因此会导致对于图像质量 所不希望的效果。由于这个原因，较佳的是在倍率色像差校正之后的阶段，并 在失真校正之前的阶段行MTF校正。
逆转换单元166接收CbCr信号及经过MTF校正的Y信号，并基于等式 (10 )至(12 )将经过逆转换的RGB图像数据输出。
i = :r + I.402O (10)
G = F-0.714O-0.344C6 ( 11 )
5 = :r+i.772a (12)
控制单元100的PI转换切换信号生成单元105同样可以从在MTF才交正单 元160获得的亮度信号Y确定亮度。
失真校正单元170接收经倍率色像差校正和MTF校正的RGB像素数据； 通过预定的多项式等，执行常见于RGB的各个色彩成分的坐标变换(失真坐 标转换)；并将经失真校正的RGB像素数据输出。尽管相对于倍率色像差校正， 失真校正的坐标转换需要较大的存储容量(一副图片的最大尺寸)；由于一个 端口可以满足转换的执行，因此可以采用高延迟存储器(如DRAM)。并且可 以同时校正倍率色像差及失真。
伽马校正单元180接收输出自失真校正单元170的RGB图像数据；采用 查找表对RGB的成分执行预定的伽马校正；并将经过伽马校正的RGB图像 数据输出。
从伽马校正单元180输出的RGB图像数据是按照扫描线顺序的逐行信号。 PI转换单元190为每个RGB图像数据将输出自伽马校正单元180的逐行信号 转换为隔行信号，并将隔行信号传输到NTSC类型的显示设备(未显示)。
上文是对于图1所述的根据实施例的成像装置的整体操作的说明。在下文 中将详细说明作为本发明主要部件的PI转换单元190。
首先给出对于在本发明中所采用的逐行到隔行转换方法的说明。
图5是用于说明现有逐行到隔行转换方法的示意图。如图5中的(a)所 示，按照扫描线的顺序l、 2、 3....为每一帧读取来自成像设备110的RGB图像信号，从而执行对于图像信号的逐行读取；并最终4安照扫描线的顺序1、 2、 3…为来自伽马校正单元180的每一帧将经过伽马校正的RGB图像以类似的方 式输出。当将这种RGB数据输出到NTSC等的显示设备中时，逐行到隔行转 换是必须的。如图5中的(b)所示，现有的逐行到隔行转换方法为第一帧(在 隔行输出端的第一场)交替地输出奇数扫描线的图像数据，如l、 3、 5....;并 为第二帧交替地输出偶数扫描线的图像数据，如2、 4、 6.…；为每一帧重复以 上动作。在这种现有逐行到隔行转换方法中，在每一帧丟弃一半的扫描线，从 而导致一半亮度量的浪费，引起在黑暗区域的亮度量不足。
图6示出了根据本发明的逐行到隔行转换方法的示意图。在图6中，(a) 与图5中的(a)相同，示出了图像信号的逐行读取。如图6中的(b)所示， 根据本发明的逐行到隔行转换方法，将对应于逐行输入的第一帧的两条扫描线 l和2、 3和4、 5和6…中的各个的像素的像素值的和输出到第一帧(隔行输 出端的第一场)；并将对应于逐行输入的第二帧的两条扫描线2和3、 4和5、 6和7...中的各个的像素的像素值的和输出到第二帧(隔行输出端的第二场)； 为每一帧重复上述动作。在根据本发明的方法中，可以实现在逐行到隔行转换 中不发生亮度量的损失(亮度量2倍于图5所示的现有方法)，从而能够在黑 暗区域获得足够的亮度量。这样能够实现高感光度成像装置。
另一方面，通过根据本发明的逐行到隔行转换方法，纵向的解析度被降低 了，引起了图像质量的下降。虽然这种图像质量的下降不是非常重要，但是可 以通过在适当切换所述方法来解决这个问题，即，仅在亮度量不充足的情况下 使用根据本发明的方法(感光度优先)，而在其他情况下使用现有的方法(图 像质量优先)。例如，通过从照片的亮度或者成像设备的增益量读取亮度量的 变化，从而可以根据色彩的亮度对如图5所示的现有逐行到隔行转换方法和如 图6所示的根据本发明的逐行到隔行转换方法进行切换。
图7示出了 PI转换单元190的框图。基于水平/垂直同步信号和时钟将逐 行输入图像数据顺序地累积在线緩沖器191中。线緩冲器191可以具有至少2 线(扫描线)，从而至少积累图像数据的上2条扫描线，并将旧扫描线的图像 数据顺序丢弃。将垂直/水平同步信号用于隔行地址计算器192。隔行地址计算 器192计算线緩冲器191的读取地址，从而以隔行格式将累积在线緩冲器191中的图像数据读取，并将计算出的地址输出。特别是，隔行地址计算器192
为其他每一帧交替读取奇数线的地址和相应奇数线中的像素地址，以及偶数线
地址和相应偶数线中的像素地址；并将得到的地址作为读取地址1顺序输出。 同时，隔;f于地址计算器192读取下一线的线地址和相应线的#>素地址，并将其 作为读取地址2输出。
为特定的帧(隔行输出端的特定场)从线緩冲器191中将扫描线1、3、5.... 的图像数据作为数据1读出，并将扫描线2、 4、 6....的图像数据作为数据2 读出；并且，基于输出自隔行地址计算器192的读取地址1和读取地址2,为 下一帧将扫描线2、 4、 6.…的图像数据作为数据1读出，并将扫描线3、 5、 7.... 的图像数据作为数据2读出；为其他所有帧交替地重复上述动作。
将从线緩冲器191中读取的数据1和数据2输入到加法器193中，将与两 条扫描线相应的像素的像素数值顺序相加，并将相加的结果作为数据3输出到 选择电路194,所述数据3将作为选择电路194的第一输入。在选择电路194 的第二输入中，将从线緩冲器191中读取的数据1保持原状地输入。选择电路 194基于来自PI转换切换信号生成单元105的切换信号选择数据1或者数据3， 并输出所选择的数据。当选择了数据1时，将如图5中的(b)所示的现有隔 行格式的图像数据输出；当选择了数据3时，将如图6中的(b)所示的根据 本发明的隔行格式的图像数据输出。切换信号做出切换，从而在色彩亮度等于 或高于预定等级时选择数据l(图像质量优先)，否则选择数据3(感光度优先)。
在加法器193中进行相加的数据仅包括R信号、G信号、B信号和如Y 信号的亮度信息；对于YUV信号和YCbCr信号的情况，将YUV信号和YCbCr 信号作为两个数据的平均数值或者两个数据中任意一个的数值输出。
PI转换切换信号生成单元105根据色彩的亮度，生成用于控制在PI转换 单元190的PI转换方法的切换的切换信号。特别是，执行对PI转换方法的切 换，从而在色彩的亮度等于或者高于预定级别时运行现有的PI转换方法(选 择数据1 ),否则运行根据本发明的PI转换方法(选择数据3 )。
基于色彩的亮度在PI转换切换信号生成单元105生成切换信号的方法可 以如下文所述。下文所述的方法仅作为一个示例，也就是说可以采用任何能够 确定色彩亮度的方法。(1) 通常，在由A/D转换器130对成像设备110的输出信号进行模拟到 数字转换之前，通过AGC电路120将其放大。基于图片所需的色彩亮度和噪 声量之间的权衡，将AGC电路120的增益确定为适当的数值。然而，当色彩 的亮度降低并且增益等于或者大于预定数值时，噪声量会变为大于可容忍的范 围。通过从AGC电路120的增益确定色彩的亮度以生成切换信号，从而在增 益低于预定数值时采用现有PI转换方法，在增益等于或高于预定数值时采用 根据本发明的PI转换方法。当增益等于或者高于预定数值时，将PI转换方法 切换为根据本发明的PI转换方法，通过保持增益能够在不增加噪声的情况下 增加图片色彩的亮度。
(2) 通过调整AGC电路120的增益、成像设备的快门速度和透镜的孔 径，可以获得具有所需的色彩亮度的图像。通过从快门速度和透镜的孔径来确 定色彩的亮度，以生成切换信号；从而在现有PI转换方法与根据本发明的PI 转换方法之间进行PI转换方法的切换。
(3) 从整个图片的总体亮度计算色彩亮度；或者在某些情况下，基于在 MTF校正单元160获取的亮度信号Y,通过对图片中央的物体加权等，从而 获取亮度的总和。基于计算出的色彩的亮度生成切换信号，从而在现有PI转
(4)通过安装独立的照度传感器(illuminance sensor),基于照度传感器 的输出生成切换信号；从而在现有PI转换方法与根据本发明的PI转换方法之 间进行PI转换方法的切换。
如上文所述，根据本发明的一个方面，较少扫描线的数据量的线緩冲器足 够用于逐行到隔行转换；此外，在不会浪费每一帧中一半的扫描线的情况下， 能够有效地使用扫描线，并增加有效的亮度量。因此，可以提供黑暗区域的亮 度量减少获得改进并且成本较低的高感光度成像装置。
尽管已经结合特定实施例对本发明进行了完整清楚的描述，但是上述描述 并不构成对所附权利要求的限制，而是用于解释落入前述基本教示中的本领域 技术人员可能遇到的所有变形和可选构造。
权利要求
1. 一种逐行到隔行转换方法，通过按照时序交替地输出奇数扫描线的图像数据和偶数扫描线的图像数据，将逐行输入的图像数据转换为隔行输出的图像数据，该逐行到隔行转换方法包括隔行输出步骤，所述隔行输出步骤包括相加步骤，将与当前扫描线的图像数据相对应的像素的像素值和与下一扫描线的图像数据相对应的像素的像素值相加；以及第一输出步骤，包括将在上述相加步骤所获得的图像数据以隔行格式输出。
2. 根据权利要求1所述的逐行到隔行转换方法，其中当色彩的亮度等于或者高于预定级别时，所述隔行输出步骤进一步包括第 二输出步骤，所述第二输出步骤包括将逐行输入的图像数据的奇数扫描线和偶 数扫描线的图像数据按照隔行格式交替地输出，以及当色彩的亮度低于所述预定级别时，所述隔行输出步骤包括所述相加步骤 和所述第一输出步骤。
3. 根据权利要求1或2所述的逐行到隔行转换方法，其中所述相加步骤 包括将像素的亮度值相加。
4. 根据权利要求2或3所述的逐行到隔行转换方法，进一步包括基于 自动增益控制电路的增益量来确定色彩的亮度，所述自动增益控制电路根据色 彩的亮度放大图像数据。
5. —种图像处理装置，包括逐行到隔行转换单元，该逐行到隔行转换 单元基于根据权利要求1至4中任意一项所述的逐行到隔行转换方法将逐行输 入的图像数据转换为隔行输出的图像数据。
6. —种成像装置，包括成像设备，用于输出逐行的图像数据；以及 根据权利要求5所述的图像处理装置。
全文摘要
本发明涉及逐行到隔行变换方法、图像处理装置以及成像装置。其中，为第一帧将逐行输入的图像数据的对应于两条扫描线1和2、3和4、5和6…中的各个的像素的像素值的和以扫描线的顺序按照时序输出；并为第二帧将图像数据的对应于两条扫描线2和3、4和5、6和7…中的各个的像素的像素值的和输出；为每一帧重复上述动作。
文档编号H04N7/01GK101505368SQ20091000433
公开日2009年8月12日 申请日期2009年2月6日 优先权日2008年2月7日
发明者笠原亮介 申请人:株式会社理光