图像摄像装置的制作方法

专利名称：图像摄像装置的制作方法
技术领域：
本发明涉及装在车辆上使用的车载照相机等图像摄像装置，具体涉及以NTSC方 式输出的图像摄像装置。
背景技术：
在一般的车载照相机中，为了配合NTSC方式显示装置等，用CMOS传感器等摄像元 件，以约30fps摄影次数来拍摄。利用这种照相机拍摄比如街道上的LED信号机时会发生 以下问题。LED信号机使用经过商用全波整流后的驱动电压来驱动，虽然目视难以发现，但其 信号以微小的时间周期反复点灯消灯。为此，在某一帧拍摄中，如果摄像元件的电荷积蓄时 间与信号的消灯期间发生重复，尽管实际上红灯、绿灯、黄灯的其中之一处于点灯状态，但 该帧却仍然将其拍摄成消灯状态。而这样的帧拍摄如果连续发生，则几十张被拍摄成消灯 状态的信号机的影像将持续输出。这样的情况对于驾驶记录器来说问题尤为严重。驾驶记 录器用于记录车载照相机拍摄的影像，其广泛用于事故分析等用途。如果不能正确识别事 故或危险发生时的信号机状态，则会有碍于事故处理中的事故责任判断。针对上述问题，例如在专利文献1 (JP特开2009-181339号公报)中提出，将摄像 元件的帧频设定为与NTSC方式的帧频相差预定的偏差频率。这样，即使是在拍摄LED信号 灯时，也不会发生持续输出几十张被拍摄成消灯状态的信号机的影像，但是，这样的视频不 同于NTSC方式的帧频，无法用NTSC方式的显示装置来显示。针对该问题，虽然可用不同于NTSC方式的帧频(偏离帧频)来将从摄像元件读取 的图像数据保存到帧存储器中，并用NTSC方式的帧频从该呈存储器中读取且输出到显示 装置。但是，这种解决方法会带来以下问题。一般采用逐行方式从摄像元件中读取图像数据。而NTSC方式的显示装置则通常 采用隔行方式来显示图像。出于该原因，上述方法需要用逐行方式来将从摄像元件读取的 图像数据写入帧存储器，而后以隔行方式从帧存储器中读取该图像数据。在这种情况下，将 一个帧图像数据写入帧存储器所需要的时间不同于帧存储器读取一个帧图像数据所需要 的时间，因此即便帧存储器为双缓冲，也难以避免隔行方式特有的梳状噪音(comb noise) 的发生。所谓梳状噪音是指，来自不同帧的奇数区域构成的帧图像与偶数区域构成的帧图 像之间发生的梳齿形图像偏离。

发明内容
本发明的目的在于，提供一种摄像装置，该装置用不同于NTSC方式帧频的帧频来 读取摄像元件中的图像数据，并用逐行方式将该图像数据写入帧存储器，进而用NTSC方式 帧频以隔行方式读取帧存储器，从而使得该摄像装置能够不受点灯机如LED信号机等在点 灯期间中的闪烁周期的影响，而且可以使用NTSC方式的显示装置，进而，能够防止梳状噪 音的发生。
本发明的目的还在于，提供一种廉价的摄像装置，其中的振荡器为用于发生NTSC 方式时钟信号的振荡器，其虽然结构简单，但能够以不同于NTSC方式帧频的帧频来读取摄 像元件中的图像数据。为了达到上述目的，本发明提供以下图像摄像装置。(1)本发明的一个方面为，提供一种图像摄像装置，其中包括以下元件光学系 统，用于被摄体光像的成像；摄像元件，拍摄该光学系统的光像，并用帧频Ffs输出图像数 据，该帧频Ffs不同于NTSC方式的帧频Ffr ；帧存储器，用于存放该图像数据；以及，控制 部，将该摄像元件输出的图像数据逐行写入该帧存储器，并用NTSC方式的帧频Ffr对该帧 存储器进行隔行读取，其特征在于，该帧存储器至少被分割为三个区域，该控制部将该帧存 储器的各个区域依次在写入区域和读取区域之间转换，使各个区域轮流起到写入区域和读 取区域的作用，依次在各个区域中逐行写入一帧图像数据，并依次从各个区域中隔行读取 一帧图像数据。(2)本发明的另一个方面为，提供根据(1)所述的图像摄像装置，其特征在于，所 述控制部在结束从某一区域中读取一帧图像数据时，判断下一个读取区域中一帧图像数据 的写入是否结束，如果没有结束，则再次从先前读取的区域读取一帧图像数据。(3)本发明的另一个方面为，提供根据( 所述的图像摄像装置，其特征在于，如 果判断下一个读取区域中一帧图像数据的写入已经结束，则所述控制部判断再下一个读取 区域中一帧图像数据的写入是否结束，如果已经结束，则越过下一个读取区域，开始读取该 再下一个读取区域中的图像数据。(4)本发明的另一个方面为，提供根据(1)至(3)中任意一项所述的图像摄像装 置，其特征在于，所述控制部在从帧存储器中读取图像数据时，进行预定的图像转换处理。(5)本发明的另一个方面为，提供根据(1)至中任意一项所述的图像摄像装 置，其特征在于，所述摄像元件以一定帧周期的帧频Ffs输出图像数据。(6)本发明的另一个方面为，提供根据(1)至中任意一项所述的图像摄像装 置，其特征在于，所述摄像元件以可变帧周期的帧频Ffs输出图像数据，该可变帧周期中的 相邻帧周期为不定帧周期，且帧周期的平均为NTSC方式的帧周期。(7)本发明的另一个方面为，提供根据(1)至(6)中任意一项所述的图像摄像装 置，其特征在于，还包括一个振荡器，用于发生NTSC方式对应的时钟信号，所述控制部基于 该振荡器发生的NTSC方式对应的时钟频率，控制用NTSC方式的帧频Ffr对帧存储器进行 隔行读取，所述摄像元件输入具有该振荡器发生的NTSC方式对应的时钟频率的时钟后动 作，改变垂直方向的消隐期间乃至水平方向的消隐期间，以用不同于NTSC方式的帧频Ffr 的帧频Ffs来输出图像数据。(8)本发明的另一个方面为，提供根据(7)所述的图像摄像装置，其特征在于，所 述摄像元件具备寄存器，根据该寄存器中设定的参数值来改变垂直方向的消隐期间乃至水 平方向的消隐期间。(9)本发明的另一个方面为，提供根据(1)至(6)中任意一项所述的图像摄像装 置，其特征在于，还包括一个振荡器，用于发生NTSC方式对应的时钟信号，所述控制部基于 该振荡器发生的NTSC方式对应的时钟频率，控制用NTSC方式的帧频Ffr对帧存储器进行 隔行读取，所述摄像元件输入时钟后动作，该时钟具有与该振荡器发生的NTSC方式对应的时钟频率不同的时钟频率。(10)本发明的另一个方面为，提供根据(9)所述的图像摄像装置，其特征在于，所 述摄像元件通过该摄像元件内部的PLL即锁相环，对具有与所述NTSC方式对应的时钟频率 不同的时钟频率的时钟进行转换，将其时钟频率转换成为该时钟频率的η倍，并用转换后 的频率输出图像数据。(11)本发明的另一个方面为，提供根据(10)所述的图像摄像装置，其特征在于， 将所述时钟以及转换后的时钟设为，其时钟频率为NTSC方式对应的时钟频率的公倍数以 及公约数以外的频率。(12)本发明的另一个方面为，提供根据(11)所述的图像摄像装置，其特征在于， 所述摄像元件通过改变垂直方向的消隐期间将乃至水平方向的消隐期间，来用帧频Ffs输 出图像数据，该帧频Ffs不同于NTSC方式的帧频Ffr。(13)本发明的另一个方面为，提供根据(6)至(12)中任意一项所述的图像摄像装 置，其特征在于，还包括用于控制整个装置的CPU，该CPU设定所述摄像元件内部的寄存器 的参数值。(14)本发明的另一个方面为，提供根据(1)至(13)中任意一项所述的图像摄像装 置，其特征在于，所述摄像元件将帧频Ffr的垂直同步信号与图像数据一起输出，所述控制 部基于该摄像元件的垂直同步信号，来控制帧存储器的读取时刻。为了不受点灯机如LED信号机等在点灯期间中的闪烁周期的影响，并且能够使用 NTSC方式的显示装置，本发明的图像摄像装置用不同于NTSC方式帧频的帧频来读取摄像 元件中的图像数据，并用逐行方式将该图像数据写入帧存储器，进而用NTSC方式帧频以隔 行方式读取帧存储器，其中，将帧存储器至少分割为三个区域，并将各个区域在写入区域和 读取区域之间转换，使各个区域轮流起到写入区域和读取区域的作用，当某个区域的读取 结束时，需要确认下一个读取区域是否结束写入之后，才进行读取区域的转换，从而防止了 隔行方式特有的梳状噪音的发生。而且，本发明的图像摄像装置中的振荡器为对应于NTSC方式的时钟信号发生用 的振荡器，摄像元件基于该振荡器发生的具有NTSC方式对应的时钟频率的时钟而动作，改 变垂直方向的消隐期间乃至水平方向的消隐期间，用不同于NTSC方式帧频的帧频来输出 图像，从而提供廉价的图像摄像装置。关于本发明的图像摄像装置所具有的除了上述以外的效果，将在下面的实施方式 中说明。


图1是本发明的图像摄像装置的实施方式之一的整体结构的示意图。图2是显示现有技术中的摄像元件输出的输出信号与从帧存储器读取的信号之 间关系的图，其中，图2A为从摄像元件逐行读取的输出信号，图2B为从帧存储器隔行读取 的读取信号。图3是显示本发明实施方式中从摄像元件输出的输出信号和从帧存储器读取的 读取信号之间关系的图，其中，图3A为从摄像元件逐行读取的输出信号，图:3B为从帧存储 器隔行读取的读取信号。
图4是图1中的控制部的详细结构示意图。图5是图4中的坐标计算部的处理示意图，其中，图5A表示两个像素在转换前后 坐标上的位置关系，图5B表示帧存储器中输入图像和输出图像之间的对应像素在转换前 后的位置关系。图6A至图6E是表示以周期Ttl闪烁的照明光与摄像元件的曝光时刻的图(其一)。图7是以周期Ttl闪烁的照明光以及利用滚动快门的摄像元件的曝光时刻所拍摄 的信号机拍摄状态的示意图。图8A至图8E是表示以周期Ttl闪烁的照明光与摄像元件的曝光时刻的图(其二)。图9A至图9E显示在现有的双缓冲的情况下的写入和读取之间的转变以及输出图 像的状态的示意图(写入时间=读取时间)。图10是显示双缓冲情况下的写入以及读取的时刻图表(写入时间>读取时间)。图IlA至图IlF显示双缓冲情况下的写入和读取之间的转变以及输出图像的状态 的示意图(写入时间>读取时间)。图12是显示双缓冲情况下的写入以及读取的时刻图表(写入时间<读取时间)。图13A至图13C显示双缓冲情况下的写入和读取之间的转变以及输出图像的状态 的示意图(写入时间<读取时间)。图14是一例发生梳状噪音的输出图像的图意图。图15A和图15B显示将本发明设为三重缓冲时读取图像数据的处理流程图。图16是三重缓冲时的写入以及读取的时刻图表。图17A至图17G是三重缓冲情况下的写入和读取之间的转变以及输出图像的状态 的示意图(写入时间>读取时间)。图18是三重缓冲时的写入以及读取的时刻图表(写入时间<读取时间)。图19A至图19E是三重缓冲情况下的写入和读取之间的转变以及输出图像的状态 的示意图(写入时间<读取时间)。图20是显示图4中的地址制作部的实装例的图。图21是图20中的状态机的动作示意图，其中，图21A显示写入时的移动，图21B 显示读取时的移动。图22是用于说明图20中的地址计算部动作的真值表。图23是本发明图像摄像装置的另一实施方式的整体结构的示意图。标记说明101 光学系统102 摄像系统103 处理部104 NTSC 编码器105 帧存储器106 控制部107 振荡器108 CPU109 PLL
201帧存储器读取开始触发制作部202输出用垂直水平信号制作部203地址制作部204坐标计算部
具体实施例方式以下参考附图详细说明本发明的实施方式。图1是本发明的图像摄像装置的实施方式之一，即实施方式1的整体结构示意图。 该图像摄像装置包括光学系统101、摄像元件102、处理部103、NTSC编码器104、以及用于 控制整体动作的CPU108等。处理部103内部具有帧存储器105、控制部106、振荡器107。 NTSC编码器104连接NTSC方式显示装置、以及图像记录器等装置，但在图1中省略显示。 振荡器107为发生对应于NTSC方式时钟信号用的水晶元件，具体的时钟频率为13. 5MHz。 该振荡器107的时钟(CK)不但用于该处理部10内部的控制部106，而且用于NTSC编码器 104，进而还用于摄像元件102。摄像元件102输入时钟，该时钟具有振荡器107发生的NTSC方式对应的时钟频率 (13. 5MHz)，以与NTSC方式帧频Ffr (约为30FPS)相差预定偏离频率的偏离帧频Ffs，比如 27FPS，逐行读取通过光学系统101拍摄的图像数据，并将其送往处理部103。具体为，摄像 元件具备寄存器(传感器寄存器)，根据CPU108对该寄存器设定的参数值，来改变垂直方向 的消隐期间乃至水平方向的消隐期间，使得图像数据的帧频变为Ffs，如变成27FPs。摄像 元件102将该帧频Ffs的垂直同步信号Sv与图像数据一起送往处理部103。图像数据从摄像元件102输出后，被以该帧频Ffs如27FPS逐行写入处理部103 中的帧存储器105。而后，在控制部106的控制下，以NTSC方式帧频FfsJ々 30FPS，依次进 行隔行读取该被写入帧存储器105的图像数据。控制部106在对帧存储器105指定读取地 址的同时，还根据来自摄像元件102的垂直同步信号Sv，控制帧存储器105的读取时刻，并 接受振荡器107发生的具有NTSC方式对应的时钟频率(13. 5MHz)的时钟，以NTSC方式帧 频Ffs的时刻从帧存储器105逐行读取。关于控制部106的结构将在以下叙述。用NTSC编码器104对从帧存储器105读取的图像数据实行数字和模拟之间的转 换处理，将其转换成NTSC方式的视频信号，并送往未图示显示装置或记录器。如图1所示的结构，通过用与NTSC方式帧频Ffr相差预定的偏离频率的偏离帧频 Ffs来取得摄像元件102中的图像数据，而后将该图像数据逐行写入帧存储器，进而通过用 NTSC方式的帧频Ffr对该帧存储器进行隔行读取，从而实现不受LED信号机等点灯机在点 灯期间中发生的闪烁周期的影响、并能够使用NTSC方式显示装置等的图像摄像装置。关于 用于对付梳状噪音发生的对策将在以下叙述。摄像元件102从设于处理部103内部振荡器107输入具有NTSC方式对应的时钟 频率的时钟(CK)，使得从该摄像元件102输出的图像数据的帧频Ffs不同于NTSC方式帧频 Ffr,因而，不再需要其他的用于该帧频Ffs的振荡器，能够提供廉价的摄像装置。图2显示现有技术中的摄像元件输出的输出信号与从帧存储器读取的信号之间 的关系，其中，图2A为从摄像元件逐行读取的输出信号，图2B为从帧存储器隔行读取的读 取信号。该图表示在现有技术中，为了配合NTSC方式，摄像元件的输出信号和帧存储器的读取信号在垂直方向上的消隐期间相同。为此，若要将摄像元件输出的图像数据变成具有 帧频Ffs，而该帧频Ffs不同于NTSC方式帧频Ffr，则需要用于从摄像元件读取图像数据的 振荡器，该振荡器不同于从帧存储器读取图像数据的NTSC方式对应的时钟信号发生用的 振荡器(13. 5MKz)，为时钟频率不同的振荡器(如12. 2MHz)。对此，本发明的实施方式不需 要这样的振荡器。图3显示本发明实施方式中从摄像元件输出的输出信号和从帧存储器读取的读 取信号之间的关系，其中，图3A为从摄像元件逐行读取的输出信号，图:3B为从帧存储器隔 行读取的读取信号。在此，从帧存储器读取的读取信号与图2B相同。另一方面，从摄像元件 输出的输出信号在垂直方向的消隐期间发生改变。也就是说，本实施方式即使采用同一个 来自NTSC方式对应的时钟信号发生用的振荡器的时钟(13. 5MHz)，也能够从摄像元件102 读取图像数据并从帧存储器105读取图像数据，此时，从摄像元件读取图像数据在垂直方 向上的消隐期间发生改变，使得该摄像元件102的输出图像数据变成为具有不同于NTSC方 式帧频Ffr的帧频Ffs。如上所述，摄像元件102具有寄存器(传感器寄存器)，根据CPU108 对该寄存器设定的参数值来改变垂直方向的消隐期间。虽然图3将Ffs设为Ffs < FfrJi 此，也可通过改变传感器寄存器的参数值，将Ffs设为Ffs > Ffr。进而，还可用CPU108依 次改变每一帧传感器寄存器的参数值，从而如下所述，使得相邻的帧周期变得不一定，但若 取其平均，则能够用NTSC方式的帧频Ffr来驱动摄像元件。另外，图3是改变了从摄像元件102读取图像数据的垂直方向上的消隐期间，此 外，还可改变水平方向的消隐期间，或改变垂直方向和水平方向双方的消隐期间，使得该摄 像元件102的输出图像数据变成为具有帧频Ffs，该帧频Ffs不同于NTSC方式的帧频Ffr。下面说明控制部106的构成动作。图4是显示控制部106详细结构的示意图。控 制部106包括帧存储器读取开始触发制作部201、输出用垂直水平同步信号制作部202、地 址制作部203。另外，地址制作部203中还可包括用于歪斜补偿或视点转换等的坐标计算部 204。帧存储器读取开始触发制作部201在收到摄像元件102发送的垂直同步信号 Sv后，在摄像装置电源接通后如下开始动作。设定对摄像元件102逐行读取。放弃摄像 元件接通电源后收到的第一个Sv，用第二个Sv来使得帧存储器读取开始触发(Tr)有效 (assert)0这样，便不会在帧存储器105中没有图像数据存在时从其中读取图像数据。输出用垂直水平同步信号制作部202用振荡器107发生的对应NTSC方式的时钟 频率(13. 5MHz)制作垂直同步信号以及水平同步信号，将帧存储器105读取的NTSC方式图 像数据变成帧频Ffr (约为30FPS)。地址制作部203根据振荡器107发生的时钟(CK)以及输出用垂直水平同步信 号制作部202生成的垂直同步信号和水平同步信号，依此指定帧存储器的读取地址，按照 NTSC方式的帧频Ffr (约为30FPQ来逐个读取写入到该帧存储器中的图像数据。在此，地址制作部203不仅是依次指定帧存储器105的读取地址，其中还可以包含 坐标计算部204，用于按照某一种坐标转换规则来做指定，关于坐标转换规则例如有歪斜补 偿、俯视转换、中间转换、边缘转换、三面镜转换等等。图5显示坐标计算部204的处理示意图。其为一例对来自摄像元件的图像数据(输入图像)进行90°转动变形后的输出图像。图5A表示转换前后的两个像素在坐标位 置上的位置关系，图5B表示帧存储器105中输入图像和输出图像之间的对应像素在转换前 后的位置关系。在读取帧存储器105中的图像数据时，为了将输入图像中坐标为(xl，yl)的像素 的图像数据读作为输出图像中坐标为(XI，Yl)的像素，需要在坐标计算部204中计算读取 地址。根据该读取地址，读取帧存储器105中对应地址上图像数据，对输入图像进行90°转 动变形，获得输出图像。同样还可以进行鱼眼照相机图像的变形，并补偿鱼眼图像造成的图像歪斜，或者， 按照基于视点转换的图像变形，将图像转换成俯视图像，以将图像显示为便于驾驶员观察 的图像。关于坐标计算部204的结构，存在各种处理算法，在此不一一详细说明。下面详细说明通过用一与NTSC方式的帧频Ffs相差预定偏差帧频的帧频Ffr，以 下称为偏差帧频，来读取摄像元件102中的图像数据，以改善类似LED信号机等点灯机在点 灯期间中的闪烁周期的影响。图6A至图6E以及图7显示以不同于NTSC方式的一定周期作为帧的取样周期进 行取样时的状况。此时，摄像元件102内的传感寄存器器的参数值为一定。在图6A至图6E中，图6A表示以周期Ttl闪烁的照明光，如60Hz的信号机的光量 变化。该图中，凸部部分为处于最明亮状态(明)，而谷部位暗状态(灭)。并设消灯时间
为t0o图6B至图6E表示用全域快门进行逐行读取的曝光时刻。图中ti为曝光时间。图 6B为以30FPS来驱动摄像元件，图6C为以30FPS以外的情况。在图6B的情况下，因基本上 与NTSC方式的帧频FfH29. 97Hz)同步，因此，一旦曝光进入暗的照明光时刻，便会持续数 秒拍摄暗的照明光。而在图6C的情况下，因不与NTSC方式的帧频Ffr同步，因此，即使曝 光进入暗的照明光时刻，也比较容易脱离，避免持续数秒拍摄暗的照明光。使用滚动快门时的情况相同。图6D和图6E表示用滚动快门逐行读取摄像元件的 曝光时刻。图中ti为曝光时间。滚动快门与全域快门不同，每行独立曝光。图6D和图6E
表示按第一行、第二行、第三行......曝光时间逐渐向长时间方向移动。图6D为在以30FPS
来驱动摄像元件的情况下，图6E为在以30FPS以外的情况下，对于在图中的阴影部分中曝 光的行，当闪烁的照明光移动到该行中时，被拍摄成暗的状态。在图6C的情况下，因基本上 与NTSC方式的帧频FfH29. 97Hz)同步，因此，一旦曝光进入暗的照明光时刻，便会持续数 秒拍摄暗的照明光。而在图6E的情况下，因不与NTSC方式的帧频Ffr同步，因此，即使曝 光进入暗的照明光时刻，也比较容易脱离，避免持续数秒拍摄暗的照明光。图7显示以周期Ttl闪烁的照明光以及使用滚动快门进行逐行读取的摄像元件的 曝光时刻所拍摄的信号机拍摄状态。图7左侧因曝光进入照明光的暗的时刻，因此为拍摄 到信号进的颜色，但在右侧，曝光离开照明光的暗的时刻，因此可拍摄到信号机的颜色，如 拍到绿色。接着，在图8A至图8E中显示相邻帧的取样周期不稳定而且该取样周期平均后与 NTSC方式(1秒钟30帧)相对应的情况。此时，每个帧的摄像元件102中的传感寄存器的 参数值各不相同。图8A与图6A相同，表示以周期Ttl闪烁的照明光，如60Hz的信号机的光量变化。该图中，凸部部分为处于最明亮状态(明)，而谷部位暗状态(灭)。并设消灯时间为、。图8B和图8C表示用全域快门进行逐行读取的曝光时刻。图8B是在以一定取样 周期(Tf)为来驱动摄像元件的情况，图8C是在以不一定的设取样周期(Tf’、Tf”等)来驱 动摄像元件的情况。在图8B的情况下，如果曝光进入照明光的暗的时刻，则暗的照明光的 拍摄将持续数秒。对此，在图8C的情况下，即使曝光进入照明光的暗的时刻，也较容易脱离 该暗的时刻，避免持续数秒拍摄暗的照明光。而且，如果将相邻帧的取样周期设为不一定的 取样周期，并且使得该取样周期平均后成为每秒钟输出30帧，则还能够对应NTSC方式。使用滚动快门时的情况相同。图8D和图8E表示用滚动快门逐行读取摄像元件的 曝光时刻。滚动快门与全域快门不同，每行独立曝光。与上述图6D和图6E相同，图8D和
图8E也表示按第一行、第二行、第三行......曝光时间逐渐向长时间方向移动。对于在图
中的阴影部分中曝光的行，当闪烁的照明光移动到该行中时，被拍摄成暗的状态。图8D是 在以一定取样周期(Tf)为来驱动摄像元件的情况，图8E是在以不一定的设取样周期(Tf’、 Tf”等)来驱动摄像元件的情况。在图8D的情况下，如果曝光进入照明光的暗的时刻，则 暗的照明光的拍摄将持续数秒。对此，在图8E的情况下，即使曝光进入照明光的暗的时刻， 也较容易脱离该暗的时刻，避免持续数秒拍摄暗的照明光。而且，如果将相邻帧的取样周期 设为不一定的取样周期，并且使得该取样周期平均后成为每秒钟输出30帧，则还能够对应 NTSC方式。进而，当用不同于NTSC方式帧频Ffr的帧频Ffs来逐行读取摄像元件102的图像 数据时，可直接将该图像数据写入帧存储器105，并用NTSC方式的帧频来隔行读取帧存储 器105中的图像数据。这样便能够直接利用NTSC方式的显示装置或图像记录器。但是，由 于将一帧图像数据写入帧存储器105的写入时间不同于从该帧存储器105中读取一帧图像 的读取时间，因此，会发生隔行方式特有的梳状噪音。以下对此作详细说明。首先说明用NTSC方式帧频Ffr对帧存储器进行逐行写入、并同样地用NTSC方式 帧频Ffr对帧存储器105进行隔行读取时的情况。此时，如果将帧存储器105分割为至少 两个区域(双缓冲)，如区域A和区域B，并将各个区域在写入区域和读取区域之间转换，使 各个区域依次起到写入区域的作用和读取区域的作用，这样，便不会发生梳状噪音。图9A至图9E表示在上述情况下区域A和区域B在写入和读取之间的转变以及输 出图像(接受方面)的状态。在此，写入为以30帧/秒逐行写入，读取为以60帧/秒隔行 读取。接受方面以30帧/秒接受。图中相同图案表示从摄像元件输出的图像为同一个帧 的图像。在以后的各图中也相同。在图9A至图9E的情况下，将一帧图像数据写入帧存储器105中的一个区域的时 间与从另一个区域中读取一帧(奇数区域+偶数区域)图像数据的时间相同。为此，一旦 如图9A所示，使得开始写入和开始读取的时刻一致，则结束写入和结束读取便能够保持一 致。为此，可在结束写入的时刻转换写入区域和读取区域。例如，结束了区域A的写入后， 如图9D所示，开始区域B的写入以及区域A的读取。这样，如图9C和图9E所示，能够始终 输出同一个帧的奇数区域和偶数区域所构成的帧，不发生梳状噪音。下面说明用不同于NTSC方式帧频Ffr的帧频Ffs来对帧存储器105进行逐行写 入，并用NTSC方式帧频Ffr来对帧存储器105进行隔行读取时的情况。此时，即使将帧存 储器105作为双缓冲也会发生梳状噪音。
首先说明，当Ffs < Ffr时，也就是一帧图像数据的写入时间大于一帧图像数据的 读取时间的情况。图10显示对此时的双缓冲(区域A和区域B)进行写入以及读取的时刻图表。首 先瞩目于图10中的虚线，即区域A的读取结束时刻。在结束了区域A的读取后，即将开始 写入区域和读取区域的转换，进行区域B的读取以及区域A的写入。然而，此刻区域B的写 入还没有结束。出于该原因，区域A再次开始隔行读取，直到区域B的写入结束时，才开始 写入区域及读取区域的转换，进行区域B的读取以及区域A的写入。在这种情况下，会在输 出图像中出现不同帧的奇数区域行和偶数区域行混合的梳状噪音。若上述读取区域和写入 区域的关系相反，也会发生相同情况。图IlA至图IlF显示在上述Ffs < Ffr情况下，即在一帧图像数据的写入时间大于 一帧图像数据的读取时间的双缓冲(区域A和区域B)中，区域A和区域B在写入和读取之 间的转变以及输出图像(接受方面)的状态。图IlA至图IlF中，读取为对应NTSC方式， 并以30帧/秒隔行读取，而写入为以27帧/秒逐行写入。接受方面以30帧/秒接受。首先瞩目于图IlA所示的在同时开始区域A的逐行写入和区域B的隔行读取、并 如图IlC所示的结束区域B的读取的时刻。此时，区域A中正在进行写入。为此，区域B再 次开始隔行读取，直到区域A的写入结束时刻，才如图IlD所示，转换写入区域和读取区域， 对区域B进行写入并对区域A进行读取。此时，在区域A中继续进行图IlD状态以后的隔 行读取(图11E)。其结果，在读取一帧图像数据时刻的输出图像如图IlF所示，即发生梳状 噪音。接着说明，当Ffs > Ffr时，也就是一帧图像数据的写入时间小于一帧图像数据的 读取时间的情况。图12显示对此时的双缓冲(区域A和区域B)进行写入以及读取的时刻图表。首 先瞩目于图12中的虚线，即区域B的写入结束时刻。在结束了区域B的写入后，即将开始 写入区域和读取区域的转换，进行区域A的写入以及区域B的读取。然而，此刻区域A中正 在进行读取。在这种情况下进行写入区域和读取区域的转换，则与上述Ffs < Ffr时相同， 会在输出图像中出现不同帧的奇数区域行和偶数区域行混合的梳状噪音。若上述读取区域 和写入区域的关系相反，也会发生相同情况。图13显示在上述Ffs > Ffr情况下，即在一帧图像数据的写入时间小于一帧图像 数据的读取时间的双缓冲(区域A和区域B)中，区域A和区域B在写入和读取之间的转变 以及输出图像(接受方面)的状态。图13中，读取为对应NTSC方式，并以30帧/秒(奇 数区域行和偶数区域行分别为60帧/秒)隔行读取，而写入为以33帧/秒逐行写入。接 受方面以30帧/秒接受。首先瞩目于图13A所示的在同时开始区域A的逐行写入和区域B的隔行读取、且 如图1 所示的结束区域A的写入的时刻。此时，区域B中正在进行读取。详细地说，奇 数区域的读取已经结束，正在进行偶数区域的读取。但是，区域A的写入已经结束，因此转 换写入区域和读取区域，进行区域B的写入和区域A的读取。此时，在区域A中继续进行图 13B状态以后的隔行读取。其结果，在读取一帧图像数据时刻的输出图像如图13C所示，即 发生梳状噪音。图14A和图14B显示一例输出图像。其中，图14A显示了用NTSC方式帧频Ffr来驱动摄像元件、将该摄像元件的输出图像逐行写入帧存储器、并同样地用NTSC方式帧频 Ffr隔行读取该帧存储器时的图像，该图像中未出现梳状噪音。对此，图14B显示了用不同 于NTSC方式帧频的帧频Ffs (Ffs < Ffr)来驱动摄像元件，并将该摄像元件的输出图像逐 行写入帧存储器，并用NTSC方式帧频Ffr对帧存储器进行隔行读取时的图像，该图像中的 一部分出现了梳状噪音。对此，本发明能够防止上述问题，即防止在用不同于NTSC方式帧频Ffr的帧频Ffs 来从摄像元件读取图像数据并逐行写入帧存储器、进而以NTSC方式帧频Ffr隔行读取帧存 储器时、发生隔行方式特有的梳状噪音。以下详细叙述本发明的机制及结构。本发明将帧存储器105至少分割为三个区域即区域A、区域B、区域C (三重缓冲)， 并将各个区域依次在写入区域和读取区域之间转换，使各个区域轮流起到写入区域的作用 和读取区域的作用。在此，写入区域从区域A —区域C —区域B —区域A......反复移动，读取区
域从区域B (状态1)—区域A (状态幻一区域C (状态幻一区域B (状态1)......反
复移动。但是，例如在从状态1向状态2移动时，如果区域A的写入还没有结束，则再次读 取区域B中的所有数据。另外，在从状态1向状态2移动时，如果区域A的写入结束，进而 区域C的写入也结束，则越过状态2而移动到状态3。从状态2向状态3或从状态3向状态 1移动时的与此情况相同。图15A和15B(以下称为图1 显示将本发明的帧存储器105设为三重缓冲时，从 帧存储器105读取图像数据时的处理流程图。以下对状态1进行说明，状态2和状态3情 况相同。首先，开始从区域B隔行读取(以下相同)数据(Si)，当结束该区域B中所有数据 的读取时(S2)，确认区域A中的数据逐行写入是否结束(S3)。在此，如果区域A的数据写 入没有结束，则再次读取区域B的所有数据(S1、S2)后，在此进入S3。在S3中，如果确认区域A中的数据写入结束，则接着确认区域C的数据写入是否 结束(S4)。而后，如果区域C中的数据写入没有结束，则移动到状态2，开始从区域A读取 数据(S5)，而如果区域C的数据写入已经结束，则越过状态2移动到状态3，开始从区域读 取数据(S9)。这样，帧存储器至少为三重缓冲(区域A、区域B、区域C)，当从某个区域读取(或 再读取)所有数据，并结束了该读取时，确认下一个读取区域的写入是否结束后，再进行读 取区域的转换，这样便能够防止梳状噪音的发生。而且，当结束从某个区域的读取时，进一 步确认再下一个读取区域的写入是否结束，如果写入结束，则对该区域转换读取区域，以提 供最新的图像数据。此外，帧存储器至少需要设为三重缓冲，当然可以具有四重以上的存储 区域。对于写入时间和读取时间之间的大小关系，无论其为写入时间 >读取时间，还是 写入时间<读取时间，图15的处理流程都能够应对。以下对各种情况分别进行详细叙述。首先说明写入时间(写入周期)>读取时间(读取周期)的情况。该情况即为用 小于NTSC方式帧频Ffr的帧频Ffs (Ffs < Ffr)来从摄像元件102读取图像数据，并逐行 写入帧存储器105，进而用NTSC方式帧频Ffr对帧存储器105进行读取的情况。图16显示对此时的三重缓冲(区域A、区域B、区域C)进行写入以及读取的时刻图表。在图16中Sv为摄像元件102的垂直同步信号。写入结束信号在某个区域写入结束 时有效(assert)，并在开始从该区域读取时无效(negate)。在此瞩目于图16的时刻a。时刻a为状态1中结束从区域B读取数据的时刻(图 15的S2)。按照图15的处理流程，确认区域A的数据写入是否结束(图15的S3)，根据写 入结束信号为无效(negate)，可判断区域A的写入还没有结束。此时，再次开始读取区域 B(图 15 的 Si)。接着，瞩目于图16的时刻b。时刻b时第二此结束区域B的读取的时刻(图15的 S2)。按照图15的处理流程，在确认是否结束区域A的数据写入时(图15的S3)，根据写入 结束信号为有效(assert)，可判断区域A的写入已经结束。此时，根据图15的处理流程，进 一步确认区域C的写入是否结束(图15的S4)，因区域C正在写入，因此，开始从区域A读 取(图15的S5)。这样，虽然因两次读取写入区域B的数据，而对若干个帧一次输出了相同图像，但 是，通过等待下一个读取区域的写入结束后转换读取区域，从而即便是在帧存储器的一帧 写入时间大于一帧读取时间的情况下，也能够输出同一帧中以奇偶帧图像构成的帧，防止 了梳状噪音的发生。图17A至图17G显示上述写入时间(写入周期)>读取时间(读取周期)时三重 缓冲(区域A、区域B、区域C)在写入和读取之间的转变以及输出图像(接受方面)的状态。 在此，仍然以对应NTSC方式且30帧/秒的隔行读取(奇数区域行和偶数区域行分别为60 帧/秒)、以及以27帧/秒的逐行写入为例。接受方面以30帧/秒接受。首先瞩目图17E。图17E为从图17A到图17D，经过多次从状态1 —状态2—状态 3的反复后返回状态1的情况。图17E表示结束了从区域B读取奇数区域以及偶数区域的 所有数据(一帧)时的状态。此时，区域A还出于写入之中。对此，如图17F所示，再次开 始区域B的读取。而后，当区域B的读取(再次读取)结束，并且此时区域A的写入也已结 束，而区域C的写入没有结束时，开始读取区域A，移动到图17G所表示的状态2。如图17E和图17G所示，在写入时间 >读取时间的情况下，通过对若干个帧一次输 出相同帧，防止了梳状噪音的发生。接着说明写入时间(写入周期)<读取时间(读取周期)的情况。该情况即为用 大于NTSC方式帧频Ffr的帧频Ffs (Ffs > Ffr)来从摄像元件102读取图像数据，并逐行 写入帧存储器105，进而用NTSC方式帧频Ffr对帧存储器105进行读取的情况。图18显示对此时的三重缓冲(区域A、区域B、区域C)进行写入以及读取的时刻 图表。在图18中Sv为摄像元件102的垂直同步信号。写入结束信号在某个区域写入结束 时有效(assert)，并在开始从该区域读取时无效(negate)。在此瞩目于图18的时刻a。时刻a为状态1中结束从区域B读取数据的时刻(图 15的S2)。按照图15的处理流程，确认区域A的数据写入是否结束(图15的S3)，得知区 域A的写入已经结束。在通常情况下，读取区域被转换到区域A(转移到状态2)，并按照图 15的处理流程，进一步确认区域C的写入是否结束(S4)。但在图18中，由于区域C的写入 在时刻b之前的时刻a已经结束。此时，读取区域可越过区域A而转移到区域C (移动到状 态3)，开始区域C的读取(图15的S5)。这样，在写入时间 < 读取时间的情况下，虽然对若干个帧一次输出相同的图像数据，但能够防止梳状噪音的发生。而且还能够吸收读取图像数据的帧频Ffs和对应于NTSC 方式的帧频Ffr之间的差分。进而因区域C中保存了比区域A中的更加新的图像数据，因 而越过区域A并选择区域C，能够提供最新的图像数据。图19A至图19E显示在上述写入时间(写入周期)<读取时间(读取周期)时三 重缓冲(区域A、区域B、区域C)在写入以及读取之间的移动以及输出图像的状态。在此显 示的例也用对应NTSC方式且30帧/秒来隔行读取，并以33帧/秒来逐行写入。首先瞩目图19D。图19D为从图19A到图19C经过多次从状态1 —状态2 —状态 3的反复后返回状态1的情况。图19D表示结束了从区域B读取了奇数区域以及偶数区域 的所有数据(一帧)时的状态。此时如图19C所示，区域A写入结束，而且如图19D所示，区 域C的写入也已结束。因此，越过区域A，开始从区域C读取(移动到状态3)。图19E表示 此时的状态。图19E表示结束了从区域B读取奇数区域以及偶数区域的所有数据(一帧) 时的状态，还表示结束对区域B的写入的状态。如图19D以及图19E所示，在写入时间<读取时间的情况下，通过对若干个帧一次 输出相同帧，防止了梳状噪音的发生。图15的处理流程由图1的控制部106内部的地址制作部203实现。图20显示地 址制作部203的详细实装例。地址制作部203中包括状态机1100、地址计算部1101、以及 RAM/IF1102。地址计算部1101还兼有图4中的坐标计算部204。图中，Sv是随从来自摄像 元件102的帧频Ffs的垂直同步信号。Vv是随从NTSC方式帧频Ffr的垂直同步信号。用 输出用垂直水平同步信号制作部202(图4)制作Vv。RAM/1F1102 收到 Sv 后，依次指定写入地址 o_calram_a，并输出 o_calram_xwe = 00。而当收到Vv时，则依次指定写入地址o_calram_a，并输出o_calram_xwe = 01。o_ calram_xwe是write enable信号(作为负理论)。状态机1100的动作即移动如图21A和图21B所示。图21A是写入时的移动图，图 21B是读取时的移动图。图21B中的实线表示下一个读取区域已经结束写入(以下称为写 入结束信号1)，虚线表示再下一个读取区域已经结束写入(以下称为写入信号2)。发生Sv后写入移动到下一个状态。此外还在下一个地址中写入数据。例如，当处 于状态B (写入到区域B)时，发生Sv后状态B便移动到状态A (写入到区域A)。输出的o_ write为00 — 01。除了 Sv的发生以外，如果处于状态B，则将数据写入区域B的下一个地 址。在发生Vv后，如果写入结束信号有效，则读取(READ)移动到下一个状态。此外， 读取下一个地址的数据。所有数据的读取结束后，返回区域目前区域中的最初的地址，并依 次读取。例如，在状态B8(读取区域B)时，发生Vv时写入结束信号1有效，而写入结束信 号2无效，则移动到状态A(读取状态A)。输出的0_read为00 —01。除了发生Vv以外， 或者在发生Vv是写入结束信号无效，例如，若处于状态B，则读取区域B的下一个地址中的 数据。当结束了区域B中所有数据的读取后，例如，返回区域B最初的地址，一次读取。而 例如，在状态B时，当发生Vv时写入结束信号1有效，且写入结束信号2也有效，则移动到 状态C (读取区域C)。输出的o_read为00 — 10。地址计算部1101按照图22所示的真值表动作。从状态机1102接受i_write和 i_read，从RAM/IF1102接收i_addr和i_xwe。i_write表示在哪个区域写入，i_read表示在哪个区域读取，i.addr表示存储器地址，i_xwe为对存储器指定写入或读取。如图22所 示，通过用i_write和i_read指定的区域，安排i_addr，并指定帧存储器105的地址。图23显示另一例涉及本发明的图像摄像装置的实施方式(实施方式2)的整体结 构的示意图。本图像摄像装置包括光学系101、摄像元件102、处理部103、NTSC编码器104、 以及用于控制整体动作的CPU108等。处理部103内部具有帧存储器105、控制部106、振荡 器107、以及PLL (锁相环)109。NTSC编码器104与NTSC方式的显示装置或图像记录器相 连接，但在图23中省略显示。在此，振荡器107位用于发生对应于NTSC方式时钟信号的水 晶元件。PLL109直接输出接受到的NTSC方式对应的时钟频率CK(13. 5MHz)，同时，制作不 同于NTSC方式对应的时钟频率(13.5MHz)的时钟频率CK'。PLL109为内藏于控制部中的 芯片中的内藏PLL，因此，不需要增加元件，并不需要考虑价格或基板的设置面积，便能够实 现图23的结构。来自PLL109的NTSC方式对应的时钟频率CK(13. 5MHz)不但被提供到该处理部 103内的控制部106，而且还同时被提供到NTSC编码器104。不同于NTSC方式对应的时钟 频率的时钟频率(CK')被提供到摄像元件102。由于在EMC(电磁兼容)中时钟频率越小 其效果越高，为此，优选时钟频率CK'小于时钟频率CK，例如设CK' = 12.65625MHz。摄像元件102中，从PLL109输入不同于NTSC方式对应的时钟频率的时钟频率 CK'，并通过该摄像元件102内部的PLL(未图示)转换为η倍频率。以下，将转换后的频 率作为传感器输出时钟频率。例如，在η = 2时，传感器输出时钟频率为25.3125MHz。一 般的NTSC传感器输出时钟频率为27MHz，本结构的传感器输出时钟频率为25. 3125MHz，通 过比较这两个频率可知，本结构的传感器输出时钟频率较低，因此对EMC对策更为有效。另 外，将传感器输出时钟频率设为一般NTSC传感器输出时钟频率的公约数或公倍数以外的 频率，也对EMC对策有效。摄像元件102用与NTSC方式帧频Ffr相差预定偏离频率的偏离 帧频Ffs，比如27FPS，通过光学系101逐行读取拍摄的图像数据，并将其送往处理部103。与实施方式1相同，摄像元件具备寄存器(传感器寄存器)，根据CPU108对该寄存 器设定的参数值，来改变垂直方向的消隐期间乃至水平方向的消隐期间，使得图像数据的 帧频变为Ffs，如变成27FPS。摄像元件102将该帧频Ffs的垂直同步信号Sv与图像数据 一起送往处理部103。处理部103的动作与实施方式1相同，在此不重复说明。
权利要求
1.一种图像摄像装置，其中包括以下元件 光学系统，用于被摄体光像的成像；摄像元件，拍摄该光学系统的光像，并用帧频Ffs输出图像数据，该帧频Ffs不同于 NTSC方式的帧频Ffr ；帧存储器，用于存放该图像数据；以及，控制部，将该摄像元件输出的图像数据逐行写入该帧存储器，并用NTSC方式的帧频 Ffr对该帧存储器进行隔行读取，其特征在于，该帧存储器至少被分割为三个区域，该控制部将该帧存储器的各个区域 依次在写入区域和读取区域之间转换，使各个区域轮流起到写入区域和读取区域的作用， 依次在各个区域中逐行写入一帧图像数据，并依次从各个区域中隔行读取一帧图像数据。
2.根据权利要求1所述的图像摄像装置，其特征在于，所述控制部在结束从某一区域 中读取一帧图像数据时，判断下一个读取区域中一帧图像数据的写入是否结束，如果没有 结束，则再次从先前读取的区域读取一帧图像数据。
3.根据权利要求2所述的图像摄像装置，其特征在于，如果判断下一个读取区域中一 帧图像数据的写入已经结束，则所述控制部判断再下一个读取区域中一帧图像数据的写入 是否结束，如果已经结束，则越过下一个读取区域，开始读取该再下一个读取区域中的图像 数据。
4.根据权利要求1至3中任意一项所述的图像摄像装置，其特征在于，所述控制部在从 帧存储器中读取图像数据时，进行预定的图像转换处理。
5.根据权利要求1至4中任意一项所述的图像摄像装置，其特征在于，所述摄像元件以 一定帧周期的帧频Ffs输出图像数据。
6.根据权利要求1至4中任意一项所述的图像摄像装置，其特征在于，所述摄像元件以 可变帧周期的帧频Ffs输出图像数据，该可变帧周期中的相邻帧周期为不定帧周期，且帧 周期的平均为NTSC方式的帧周期。
7.根据权利要求1至6中任意一项所述的图像摄像装置，其特征在于， 还包括一个振荡器，用于发生NTSC方式对应的时钟信号，所述控制部基于该振荡器发生的NTSC方式对应的时钟频率，控制用NTSC方式的帧频 Ffr对帧存储器进行隔行读取，所述摄像元件输入具有该振荡器发生的NTSC方式对应的时钟频率的时钟后动作，改 变垂直方向的消隐期间乃至水平方向的消隐期间，以用不同于NTSC方式的帧频Ffr的帧频 Ffs来输出图像数据。
8.根据权利要求7所述的图像摄像装置，其特征在于，所述摄像元件具备寄存器，根据 该寄存器中设定的参数值来改变垂直方向的消隐期间乃至水平方向的消隐期间。
9.根据权利要求1至6中任意一项所述的图像摄像装置，其特征在于， 还包括一个振荡器，用于发生NTSC方式对应的时钟信号，所述控制部基于该振荡器发生的NTSC方式对应的时钟频率，控制用NTSC方式的帧频 Ffr对帧存储器进行隔行读取，所述摄像元件输入时钟后动作，该时钟具有与该振荡器发生的NTSC方式对应的时钟 频率不同的时钟频率。
10.根据权利要求9所述的图像摄像装置，其特征在于，所述摄像元件通过该摄像元件 内部的PLL即锁相环，对具有与所述NTSC方式对应的时钟频率不同的时钟频率的时钟进行 转换，将其时钟频率转换成为该时钟频率的η倍，并用转换后的频率输出图像数据。
11.根据权利要求10所述的图像摄像装置，其特征在于，将所述时钟以及转换后的时 钟设为，其时钟频率为NTSC方式对应的时钟频率的公倍数以及公约数以外的频率。
12.根据权利要求11所述的图像摄像装置，其特征在于，所述摄像元件通过改变垂直 方向的消隐期间将乃至水平方向的消隐期间，来用帧频Ffs输出图像数据，该帧频Ffs不同 于NTSC方式的帧频Ffr。
13.根据权利要求6至12中任意一项所述的图像摄像装置，其特征在于，还包括用于控 制整个装置的CPU，该CPU设定所述摄像元件内部的寄存器的参数值。
14.根据权利要求1至13中任意一项所述的图像摄像装置，其特征在于，所述摄像元件 将帧频Ffr的垂直同步信号与图像数据一起输出，所述控制部基于该摄像元件的垂直同步 信号，来控制帧存储器的读取时刻。
全文摘要
本发明涉及图像摄像装置，其目的在于提供一种能够在以不同于NTSC方式的帧频来读取摄像元件中的图像数据、且逐行写入帧存储器、进而隔行读取摄像时，防止发生隔行方式特有的梳状噪音的图像摄像装置，并提供装设NTSC方式对应的振荡器的廉价摄像装置。该装置中的帧存储器(105)至少被分割为三个区域，控制部(10)将帧存储器的各个区域依次在写入区域和读取区域之间转换，当结束某一区域的读取时，判断下一个读取区域中的写入是否结束，而后转换读取区域。摄像元件(101)按照NTSC方式对应的振荡器(107)的时钟动作，并通过改变垂直方向的消隐期间乃至水平方向的消隐期间，来用不同于NTSC方式的帧频输出图像数据。
文档编号H04N5/232GK102082901SQ20101057189
公开日2011年6月1日 申请日期2010年11月30日 优先权日2009年12月1日
发明者石垣智子, 笠原亮介 申请人:株式会社理光