专利名称：视频信号处理装置及其方法、以及车载摄像机系统的制作方法
技术领域：
本发明涉及一种用于合成多个相互异步的隔行扫描视频信号、并生成输出视频信号的视频信号处理装置及其方法，并且涉及一种采用该视频信号处理装置的车载摄像机系统，该车载摄像机系统是安装在车辆等上的系统，用于使用多个摄像机沿不同方向对车辆周围的区域进行拍摄，并向车辆的驾驶者显示图像。
背景技术：
车载图像显示用摄像机系统是在车辆向前和向后移动的情况下，例如当将车停入车库时以及当将车停靠在路边时，或者在车辆驶入视野差的交叉口或T形交叉口的情况下，向驾驶者呈现辅助视觉信息的驾驶支持系统。在该系统中，车辆的后方区域、左前方区域、以及右前方区域的图像由多个连接至摄像机控制器的摄像机进行拍摄，并作为后方和死角视图显示给驾驶者。
在这种车载图像显示用摄像机系统中，需要在一个屏幕上布置多个拍摄到的图像，或者由摄像机控制器将图像相互接合，以便向驾驶者同时显示由摄像机沿不同方向拍摄到的车辆周围区域的多个图像。
作为用于同步由多个摄像机拍摄的图像的技术，日本特开1999-317908号公报公开了一种摄像机系统，在该摄像机系统中，多个摄像机的摄像机控制器创建同步信号并将其发送到摄像机，每个摄像机根据该同步信号将视频信号发送到摄像机控制器。由于根据相同的同步信号将视频信号从多个摄像机发送到摄像机控制器，因而防止了当切换时出现的图像失真。通过使用相同的方法对多个视频信号执行转换处理等，可以由车载图像显示用摄像机系统的摄像机控制器生成用于一个屏幕的视频信号。
但是，上述系统在摄像机控制器中需要用于生成同步信号的单元，并且还需要提供用于向每个摄像机提供同步信号的信号线。因此，产生了使装置的结构复杂化的问题。
有一种不使用同步信号来同步由多个摄像机拍摄的视频信号的技术，在该技术中，来自每个摄像机的视频信号被临时存储在摄像机控制器的缓冲器中。
在该方法中，用于从多个摄像机接收视频信号的摄像机控制器对每个所连接的摄像机配备有输入缓冲器的3个面(存储部分)，每个面具有相当于一帧(例如，如果是VGA系统的视频信号，则相当于640×480像素)的存储容量。摄像机控制器将3个面中的任一个设置为用于存储从摄像机发送的视频信号的输入面；将另一个面设置为临时存储用于同步的视频信号的等待面；将剩下的一个面设置为输出用于执行图像转换处理的视频信号的输出面。然后，使每个面的功能依次轮换。
因为摄像机在根据其各自的内部时钟的定时将视频信号发送到摄像机控制器，因此，从多个该摄像机发送的视频信号的帧周期的开始定时不同步，并且不同步的方式是不可再现的。
如果将一帧视频信号从摄像机输入到用于每个摄像机的每个输入缓冲器的输入面，则摄像机控制器将该输入面设置为等待面。然后，当将每一帧视频信号输入到对应于全部摄像机的输入缓冲器时，将对应于全部摄像机的输入缓冲器的等待面设置为输出面。
之后，摄像机控制器同时读出存储在每个输入缓冲器的输出面中的视频信号。换句话说，同时读出从各摄像机输入的多个视频信号。然后，摄像机控制器执行用于在监视器等上显示图像的图像转换处理。摄像机控制器中的CPU根据存储在模式存储器中的输入缓冲器读出地址，逐帧读出存储在输入缓冲器的输出面中的视频信号。然后，在执行地址变换处理之后，创建用于监视器显示的视频信号，该视频信号被存储在输出缓冲器中。
注意，在存储用于转换处理的地址的模式存储器中，地址空间的大小等于向驾驶者呈现地址变换后的图像的监视器的分辨率(例如，VGA为(640×480像素)大小)。
因此，能吸收从多个摄像机输入的视频信号的异步，因而能使其同步。
发明内容
但是，根据上述技术，逐帧处理从各摄像机输入的视频信号，由于在每个视频信号之间进行同步处理，因而会发生最大相当于约2帧(66.6ms)的延迟。而且，在将从全部摄像机传送的图像存储在输入缓冲器的输出面中之后，执行地址变换处理，并最终生成向驾驶者显示的图像。因此，出现相当于一帧(33.3ms)的进一步延迟。因此，发生从视频信号存储在输入缓冲器的输入面中开始到视频信号存储在输出缓冲器中为止最多相当于3帧(100ms)的延迟。
例如，当物体相对于具有车载图像显示用摄像机系统的车辆以每小时36km的速度移动时，整个延迟时间使得所显示的障碍物与该障碍物的实际位置相距约1米。当车载图像显示用摄像机系统用在停车或停靠在路边的低速区域时，若干延迟是可以接受的。但是，如果车载图像显示用摄像机系统用在中高速区域，例如当驶入视野差的交叉口或T形交叉口时、当车辆相互经过时、或者当并入其它车流时，产生障碍物的实际位置与其所显示的位置之间的差异增大的问题。
而且，当障碍物的实际位置与其所显示的位置之间的差异增大时，可能给驾驶者这样的感觉当主车辆开始移动时，“尽管车辆实际上在移动，但监视器上的图像停止”；或者当主车辆停止时，“尽管车辆实际上停止，但监视器上的图像在移动”。换句话说，车辆的实际运动与监视器上的图像的运动之间的不一致可能带给驾驶者奇怪的感觉或不适的感觉。
而且，通过该方法，由于在根据每个摄像机的内部时钟的每个定时拍摄的图像以异步被吸收的方式同时显示在监视器上，因而在同时显示的图像之间引起最多一帧(33.3ms)的时间差。在摄像机的图像并排接合并显示在监视器上时，该时间差会引起所拍摄的物体在接合处附近模糊或不清晰。因此，驾驶者可能难以识别物体的位置。此外，当车辆周围的运动物体在监视器上的图像的接合处运动时，可能引起这样的现象该物体从监视器上消失，或者该物体看上去是多个物体。
在该方式中，在显示图像过程中的延迟和在一个监视器中显示的图像之间的时间差是重要的问题。这些问题不局限于车载图像显示用摄像机系统的情况，还包括将由多个摄像机拍摄的图像布置并显示在一个屏幕上的情况。
而且，通过使用缓冲该输入视频信号以确保同步的方法，产生如下问题随着连接到摄像机控制器的摄像机数量的增加，输入缓冲器的存储容量也增加，并且装置的尺寸变得更大。
本发明是鉴于这些问题而做出的，其目的在于提供一种视频信号处理装置及其方法，该视频信号处理装置位于将由多个摄像机拍摄的异步图像排列在一帧图像中的系统中，能缩短到图像被显示时为止的延迟时间、以及每个摄像机的图像之间的时间差，还能减小存储容量。
此外，本发明的另一方面在于提供一种车载摄像机系统，该车载摄像机系统能缩短到图像被显示时为止的延迟时间、以及每个摄像机的图像之间的时间差，并能将关于车辆周围情况的信息呈现给驾驶者。
本发明的一个方面是一种视频信号处理装置，包括多个拍摄装置，用于输出相互异步的隔行扫描视频信号；输入缓冲器，用于逐场临时存储从各拍摄装置输出的视频信号；以及输出图像生成装置，用于从存储在输入缓冲器中的视频信号逐场生成输出对象图像的视频信号，其中，当作为输出对象图像的成分的全部最新视频信号存储在输入缓冲器中时，生成输出对象图像的每个视频信号。
现在参考附图来说明本发明，其中图1A～1B是用于说明根据本发明第一实施例的车载图像显示用摄像机系统的概要的视图。图1A是当从上面俯视处于视野差的T形交叉口中的主车辆和其它车辆时的视图，图1B是示出在图1A所示的情况下，通过设置在车载图像显示用摄像机系统上的监视器向驾驶者呈现的图像的例子的视图。
图2A～2B是用于说明根据本发明的实施例的车载图像显示用摄像机系统的概要的第二视图。图2A是用于说明拍摄主车辆的后方区域的视图，图2B是示出在图2A所示的情况下，通过设置在车载图像显示用摄像机系统上的监视器向驾驶者呈现的图像的例子的视图。
图3是示出根据本发明的实施例的车载图像显示用摄像机系统的结构的视图。
图4是示出图3所示的车载图像显示用摄像机系统的摄像机控制器的模式存储器的存储映像的例子的视图。
图5是示意性示出在图3所示的车载图像显示用摄像机系统的摄像机控制器中进行地址变换处理时的数据流的视图。
图6是示出本发明第一实施例的车载图像显示用摄像机系统的输入和输出数据的时序图的视图。
图7是示出传统车载图像显示用摄像机系统的输入和输出数据的时序图的视图。
图8是示出本发明第二实施例的车载图像显示用摄像机系统的输入和输出数据的时序图的视图。
图9是逐场执行传统的地址变换处理时的概念图。
图10是用于说明本发明第二实施例的车载图像显示用摄像机系统中的处理的视图。
图11是示出本发明第二实施例的车载图像显示用摄像机系统中的处理的流程的流程图。
图12是在本发明第二实施例的车载图像显示用摄像机系统中逐场执行地址变换处理时的概念图。
图13是示出本发明第三实施例的车载图像显示用摄像机系统中的处理的流程的流程图。
图14是在本发明第三实施例的车载图像显示用摄像机系统中逐场执行地址变换处理时的概念图。
图15是示出本发明第四实施例的车载图像显示用摄像机系统中的处理的流程的流程图。
具体实施例方式
以下将参考附图来说明本发明的实施例，其中，相同的部分由相同的附图标记来表示。
第一实施例参考图1A～图7来给出本发明第一实施例的说明。
首先，给出本实施例的车载图像显示用摄像机系统的概要的说明。
图1A～1B说明该实施例的车载图像显示用摄像机系统的概要。图1A示意性示出视野差的T形交叉口中的车辆位置，图1B示出在图1A所示的情况下，通过设置在主车辆的车载图像显示用摄像机系统上的监视器向驾驶者呈现的图像的例子。
图1A示出主车辆201，从主车辆201的左方沿直线驶来的第一其它车辆202a，从主车辆201的右方沿直线驶来的第二其它车辆202b，由设置在主车辆201的左前方的摄像机(以后称为左摄像机)拍摄的第一拍摄范围203a，以及由设置在主车辆201的右前方的摄像机(以后称为右摄像机)拍摄的第二拍摄范围203b。
此外，图1B示出监视器207的屏幕。在监视器207的屏幕上显示由左摄像机拍摄的主车辆201的左侧图像204a、由右摄像机拍摄的主车辆201的右侧图像204b、用于在监视器上分隔左侧图像和右侧图像的分隔线图像205(分帧线(masking line)图像)。左侧图像204a包括第一其它车辆202a的图像206a，右侧图像204b包括第二其它车辆202b的图像206b。
当如图1A所示主车辆201驶入视野差的T形交叉口时，本实施例的车载图像显示用摄像机系统对主车辆201左前方的第一拍摄范围203a和主车辆201右前方的第二拍摄范围203b内的区域进行拍摄。然后，如图1B所示，将所获得的左侧和右侧图像204a和204b作为死角视图布置在一个屏幕上，并显示在监视器207上。
这使得驾驶者能识别相对于主车辆201从左方沿直线驶来的其它车辆202a和从右方沿直线驶来的其它车辆202b。因此，能引起驾驶者的注意。
而且，图2A～2B是用于说明该实施例的车载图像显示用摄像机系统的概要的第二视图。特别地，它们示出由多个摄像机拍摄的、以保持图像连续的方式并排布置、接合并显示的图像。图2A说明拍摄主车辆的后方区域。图2B示出在图2A所示的情况下，通过设置在主车辆的车载图像显示用摄像机系统上的监视器向驾驶者呈现的图像的例子。
车载图像显示用摄像机系统分别使用摄像机302a和302b来拍摄主车辆301左后方的区域303a和主车辆301右后方的区域303b。所获得的左后方图像305a和右后方图像305b以保持图像连续的方式进行接合和布置，并且作为后视图显示在监视器304上。因此，能使主车辆301的驾驶者检查后方并使其注意。
通过该方式，车载图像显示用摄像机系统能在监视器上以保持图像连续的方式布置多个摄像机图像。
接下来，将给出这种车载图像显示用摄像机系统的结构和操作的说明。
注意，为了使说明简洁，这里以两个摄像机连接到摄像机控制器的车载图像显示用摄像机系统为例给出结构和操作的说明，即，有两个向CPU提供视频信号的视频信号供给源。
此外，由摄像机拍摄的图像数据的分辨率和呈现给驾驶者的监视器的分辨率被设置为视频图形阵列(VGA，640像素高×480像素宽)的大小。
图3是示出该实施例的车载图像显示用摄像机系统100的结构的视图。该车载图像显示用摄像机系统100包括两个NTSC摄像机110a和110b、摄像机控制器120、以及显示监视器180。此外，摄像机控制器120包括数据总线130、CPU 140、输入缓冲器150a和150b、模式存储器160、输出缓冲器170。
NTSC摄像机110a和110b是拍摄装置，每个用来拍摄车辆周围的预定区域，并根据NTS C系统生成图像数据。NTSC摄像机110a和110b以33.3ms为间隔将相当于一帧的图像数据发送到摄像机控制器120。由于NTSC系统采用隔行扫描方法，因此NTSC摄像机110a和110b以16.7ms为间隔重复交替生成奇数场和偶数场的图像数据，并将其发送到摄像机控制器120。
两个NTSC摄像机110a和110b中的每个具有内部时钟，根据该内部时钟按独立的定时生成每个场的图像数据，从而将图像数据输出到摄像机控制器120。因此，在NTSC摄像机110a生成并输出的图像数据和在NTSC110b生成并输出的图像数据是场周期(或帧周期)相互偏离的异步信号。而且，该异步(相互偏离的方式和偏离时间)是不可再现的。
注意，这些NTSC摄像机110a和110b对应于用于拍摄图1A中的主车辆201的左前方和右前方区域的左摄像机和右摄像机，或者对应于用于拍摄图2A中的主车辆后方区域的摄像机302a和302b。
摄像机控制器120对由NTSC摄像机110a和110b拍摄的每个图像进行图像转换处理，使显示监视器180显示该图像。
摄像机控制器120具有如下结构，在该结构中，数据总线130连接到CPU 140；连接至NTSC摄像机110a的输入缓冲器150a；连接至NTSC摄像机110b的输入缓冲器150b；模式存储器160；以及连接到显示监视器180的输出缓冲器170。
向两个NTSC摄像机110a和110b分别提供输入缓冲器150a和150b，该输入缓冲器150a和150b逐场存储从相应的NTSC摄像机110a和110b输入的视频信号。
输入缓冲器150a和150b中的每个具有存储空间，用作具有3个面(每个面具有相当于VGA系统中的一个场(640像素×240像素)的存储空间)的场存储器。该3个面依次设置为输入面，其作为用于存储从摄像机发送的视频信号的存储目标；等待面，用于临时存储视频信号以使该视频信号与从其它摄像机发送的视频信号同步；以及输出面，用于输出所存储的视频信号，以在与其它摄像机同步之后开始执行图像转换处理。
CPU 140控制摄像机控制器120中的地址变换处理。这里，CPU140监视从NTSC摄像机110a和110b发送的图像数据是奇数场还是偶数场的数据，然后决定使用哪个图像数据进行地址变换处理。对该场图像数据是奇数还是偶数的判断(是奇数场还是偶数场的判断)由未示出的、位于输入缓冲器150的前级的、每个摄像机所具有的NTSC解码器来进行。注意，NTSC解码器具有用于使垂直和水平同步信号与从摄像机发送的图像数据分离的同步分离电路。因此，通过将同步信号捕获到摄像机控制器120中，能使用同步信号作为摄像机控制器120的触发信号。
输出缓冲器170是临时存储要显示在显示监视器180上的图像数据的存储器，包括输出缓冲器输入面，用于在转换数据的同时，存储通过数据总线130依次输入的图像数据；以及输出缓冲器输出面，显示监视器180从该输出缓冲器输出面逐场读出转换后的视频信号。为输出缓冲器170提供两个面减少了呈现给驾驶者的图像中的闪烁。
模式存储器160是存储地址值数据的存储器，该地址值数据用来由CPU 140对逐场存储在输入缓冲器150a和150b中的视频信号执行地址变换处理。模式存储器160存储输入缓冲器150a或150b的存储地址与输出缓冲器170的存储地址之间的对应关系。模式存储器160包括一定数量的与呈现给驾驶者的屏幕上的图像布局相对应的面。
在该实施例中，当如图1B的监视器207和图2B的监视器304所示并排排列并显示两个图像时，模式存储器160存储输入缓冲器150和输出缓冲器170之间的地址对应关系。
图4是示出存储在模式存储器160中的存储映像的例子的视图。
在图4中，模式存储器160包括奇数场的输出缓冲器写地址区161；奇数场的输入缓冲器读地址区162；奇数场的摄像机编号区163；偶数场的输出缓冲器写地址区164；偶数场的输入缓冲器读地址区165；以及偶数场的摄像机编号区166。
为了逐场执行读地址变换处理，在呈现给驾驶者的布局的条件下，本发明当对奇数场的视频信号执行读地址变换处理时，使用奇数场的模式存储器；当对偶数场的视频信号执行读地址变换处理时，使用偶数场的模式存储器。每个模式存储器具有相当于640×240像素的地址空间。
注意，当从输出缓冲器的第0个像素(0×0(“0×”表示十六进制记数法)到第640×240-1个像素(0×257FF)(即，0×0到0×257FF)的每个地址值依次存储在输出缓冲器写地址区161和164中时，可以删除输出缓冲器写地址区161和164。
摄像机控制器120的CPU 140通过从摄像机发送的图像数据来判断场图像数据是奇数还是偶数，从而根据该判断结果来切换所使用的模式存储器区域。
图5是示意性示出地址变换处理中的数据流的视图。
在图5中，在判断出从多个摄像机接收到的图像数据是奇数还是偶数场数据、决定用于地址变换的场数据、并且在输入缓冲器中进行了同步之后，CPU 140根据呈现给驾驶者的布局，从模式存储器160中读出读地址和写地址(步骤S1)。
然后，CPU 140读出存储在输入缓冲器150a或150b的读地址中的像素信号(步骤S2)，将该像素信号写入到输出缓冲器170的写地址中(步骤S3)。
通过该实施例的车载图像显示用摄像机系统，从由多个NTSC摄像机110a和110b依次输入的多个视频信号中逐场生成输出视频信号，并使用上述模式存储器160对该输出视频信号执行处理。该处理称为地址变换处理。
注意，尽管已给出了由CPU控制的该地址变换处理的说明，但该处理可由配置有LSI、FPGA、DSP等的专用信号处理电路来执行。
图6示出当在上述处理中逐场执行地址变换处理时输入和输出定时的图。
如图6所示，从时刻t1开始，假设从摄像机#1发送的图像数据(第一奇数场数据ODD1a)开始输入到输入缓冲器150a的输入面；以及从自时刻t1延迟的时刻t2开始，从摄像机#2发送的图像数据(第一奇数场数据ODD2a)开始输入到输入缓冲器150b的输入面。在这种情况下，从t1到t2的延迟至多相当于两个场(33.3ms)。
当逐场执行地址变换处理且在监视器上显示输出数据时，使用摄像机#1的奇数场数据ODD1a和摄像机#2的奇数场数据ODD2a的图像数据来创建输出监视器中的奇数场数据DATAOa。因此，摄像机控制器在完成了对两个图像数据的接收的时刻t3开始地址变换处理，并在时刻t4完成将转换后的数据作为输出数据存储在输出缓冲器中。
同样地，使用摄像机#1的偶数场数据EVEN1b和摄像机#2的偶数场数据EVEN2b的图像数据来创建输出监视器中的偶数场数据DATAEb。因此，摄像机控制器在完成了对两个图像数据的接收的时刻t4开始地址变换处理，并在时刻t6完成将转换后的数据作为输出数据存储在输出缓冲器中。
因此，使用车载图像显示用摄像机系统100，从开始输入摄像机#1的输入数据的时刻t1到将输出数据输出并显示在监视器等上的时刻t4的整个延迟时间约为66.7ms。
图7示出当逐帧执行地址变换处理时的输入和输出定时的图以进行对比。
在图7中，从两个NTSC摄像机(摄像机#1和#2)发送图像数据时的定时t1和t2与图6中的完全相同。注意，在图7中，所输入的视频信号不是基于逐场示出的，而是基于逐帧示出的。
如图7所示，假设从时刻t1开始，开始在输入缓冲器的输入面接收从摄像机#1发送的图像数据(DATA1a)；以及从自时刻t1延迟的时刻t2开始，开始在输入缓冲器的输入面接收从摄像机#2发送的图像数据(DATA2a)。而且，假设t3是完成将分别相当于一帧的摄像机#1和#2的输入数据存储在输入缓冲器的输出面时的时刻。在这种情况下，输入所需的延迟时间大约为两帧(66.6ms)。然后，在相关时刻t3，从输入缓冲器的输出面读出每个输入数据，开始转换处理。实际上完成了将转换后的数据作为输出数据存储在输出缓冲器中的时刻是时刻t4。因此，从开始输入摄像机#1的输入数据的时刻t1到将输出数据输出并显示在监视器等上的时刻t4的整个延迟时间约为100ms。
如上所述，与逐帧开始地址变换处理的情况相比，根据第一实施例的车载图像显示用摄像机系统100能缩短摄像机控制器的输入和输出延迟时间，以及在监视器上呈现多个摄像机图像的定时的时间差。因此，能降低由于输入和输出延迟时间长而产生的车辆的实际运动与监视器上的图像之间的不一致的程度，避免带给驾驶者不适的感觉。
此外，能减小由于上述时间差而造成的识别相对运动的物体的难度。
特别地，如上面参考图6所述，在输入缓冲器中进行同步所需的时间至多会造成相当于3个场的延迟。而且，可以使摄像机控制器中的整个延迟时间至多为相当于4个场的66.7ms。因此，与逐帧执行地址变换处理时的延迟时间(100ms)相比，可以将整个延迟时间缩短至三分之二。
而且，根据车载图像显示用摄像机系统100，由于逐场开始地址变换处理，因而与逐帧进行地址变换处理的情况相比，能减少输入缓冲器的容量。尽管在逐帧执行处理的情况下，输入缓冲器具有相当于3帧דn”个摄像机的地址空间，但摄像机控制器能使用具有相当于3场(1.5帧)דn”个摄像机的地址空间的输入缓冲器来实现地址变换处理，并能将缓冲器容量减小至一半。
而且，通过使用该车载图像显示用摄像机系统100，由于交替将奇数和偶数场的图像数据写入输出缓冲器的输入面，因而能防止奇数和偶数场被替换，并能减少在监视器上呈现给驾驶者的图像的闪烁。
注意，车载图像显示用摄像机系统100在摄像机控制器120中使用改进的地址变换处理的控制方法，该方法不会使其它装置的结构等更大或更复杂。
第二实施例参考图8～14来给出本发明第二实施例的说明。
使用上述第一实施例的车载图像显示用摄像机系统100可以缩短从拍摄到显示的最大延迟时间。但是，如图6所示，同步显示的摄像机#1和#2的图像之间拍摄定时之差，即每个摄像机图像的时间差最大约为33.3ms，这相当于时刻t1与时刻t2之间的差。在逐帧执行地址变换处理的方法中，每个摄像机图像的时间差也最大约为33.3ms，如图7所示。关于这一点，第一实施例的车载图像显示用摄像机系统100没有改进。
将给出作为本发明第二实施例的车载图像显示用摄像机系统的说明，该车载图像显示用摄像机系统甚至能缩短多个摄像机的图像之间的时间差。
注意，第二实施例的车载图像显示用摄像机系统100b的结构等(参见图3)与上述参考图1A和1B～图3的第一实施例的车载图像显示用摄像机系统100的相同。因此，关于第二实施例的车载图像显示用摄像机系统，以下将省略其结构等的说明，并且在说明与第一实施例相同的部分时，使用与第一实施例相同的附图标记。
在第二实施例的车载图像显示用摄像机系统100b中，如图8所示，使用摄像机#1的偶数场数据EVEN1b和摄像机#2的奇数场数据ODD2a的图像数据来创建奇数场数据DATAOa。而且，使用摄像机#1的奇数场数据ODD1c和摄像机#2的偶数场数据EVEN2b的图像数据来创建输出监视器中的偶数场数据DATAEb。
在这种情况下，也以与上述第一实施例相同的方式进行地址变换处理。换句话说，为了创建输出监视器中的奇数场数据DATAOa，通过使用模式存储器160中的三个区，即奇数场的输出缓冲器写地址区161、奇数场的摄像机编号区163、以及奇数场的输入缓冲器读地址区162中的数据(地址值)，对摄像机#1的偶数场数据EVEN1b和摄像机#2的奇数场数据ODD2a的图像数据进行地址变换。此外，为了创建输出监视器中的偶数场数据DATAEb，通过使用模式存储器160中的三个区，即偶数场的输出缓冲器写地址区164、偶数场的摄像机编号区166、以及偶数场的输入缓冲器读地址区165中的数据(地址值)，对摄像机#1的奇数场数据ODD1c和摄像机#2的偶数场数据EVEN2b的图像数据进行地址变换处理。
关于该情况，图9示出通过使用与第一实施例相同的地址变换表来进行地址变换的情况的概念图。图9是用于将摄像机#1和#2的图像数据分别分配给监视器的左半部分和右半部分的布局。
注意，在图9中，假设每个摄像机正在拍摄的图像数据是相同的，并且沿摄像机图像和监视器输出的垂直方向的像素数为8，以便简化下面的说明。
在这种情况下，如图9所示，可以根据使用摄像机的奇数场创建输出监视器的奇数场、使用摄像机的偶数场创建输出监视器的偶数场的摄像机#2的图像来再现摄像机#2的原始图像，即监视器右半部分的输出(依次排列原始图像的1～8行)。但是，仍不能根据使用摄像机的偶数场创建输出监视器的奇数场、使用摄像机的奇数场创建输出监视器的偶数场的摄像机#1的图像来再现摄像机#1的原始图像，即监视器左半部分的输出(不依次排列原始图像的1～8行)。
通过参考图10，给出本实施例的车载图像显示用摄像机系统100b中的地址变换处理的说明，其用于对监视器左半部分的输出也解决这种问题并显示正确的图像。
图10是用于说明第二实施例的车载图像显示用摄像机系统100b中的地址变换处理的概念图。
第二实施例的车载图像显示用摄像机系统100b的CPU 140以分别从NTSC摄像机110a和110b传送的场视频信号中在时间上最接近的场图像数据作为地址变换处理的对象。
这时，摄像机控制器120的CPU 140判断从NTSC摄像机110a和110b输入的每个场图像数据是奇数场数据还是偶数场数据，然后根据与输出对象场的关系来切换地址变换处理。
具体地，首先，当写入奇数场的输出缓冲器时(当生成奇数场的输出图像数据时)，如果关于摄像机#1和#2在时间上最接近的场图像数据的类型是奇数场数据，则与上述相同，在这种情况下通过使用模式存储器160的奇数场的模式存储器数据来进行地址变换处理。因此，创建奇数场的输出数据。
在这种情况下，当写入偶数场的输出缓冲器时(当生成偶数场的输出图像数据时)，关于摄像机#1和#2在时间上最接近的场图像数据的类型是偶数场数据。因此，同样在这种情况下，与上述相同，这次通过使用模式存储器160的偶数场的模式存储器数据来进行地址变换处理。因此，创建偶数场的输出数据。
另一方面，当写入奇数场的输出缓冲器时(当生成奇数场的输出图像数据时)，如果关于摄像机#1在时间上最接近的场数据是偶数场数据，并且关于摄像机#2是奇数场数据(如图10所示的情况)，则摄像机控制器120进行以下处理。注意，在图10中，使用摄像机#1的偶数场数据EVEN1b和摄像机#2的奇数场数据ODD2a的图像数据来创建输出监视器中的奇数场数据DATAOa。使用摄像机#1的奇数场数据ODD1c和摄像机#2的偶数场数据EVEN2b的图像数据来创建输出监视器中的偶数场数据DATAEb。
当创建输出监视器中的奇数场数据DATAOa时，CPU 140通过使用奇数场的模式存储器来对摄像机#1的偶数场数据EVEN1b和摄像机#2的奇数场数据ODD2a的图像数据进行地址变换处理，然后将输出数据存储在输出缓冲器中。
接下来，当通过使用摄像机#1的奇数场数据ODD1c和摄像机#2的偶数场数据EVEN2b的图像数据来创建输出监视器中的偶数场数据DATAEb时，CPU 140使用摄像机#1的奇数场数据(ODD1c)中的第二行(整个图像中的第3行)中的行数据L3及其以下的数据。换句话说，如图10所示，以这样的方式排列全体奇数场数据，以使奇数场数据ODD1c中的第二行中的数据L3排列在输出数据的奇数场中的第一行的下面，作为输出数据的偶数场中的第一行(整个图像中的第二行)的数据。
因此，摄像机#1的奇数场数据ODD1c中的第二行中的行数据L3被排列在之前作为输出数据的第一行存储的、摄像机#1的偶数场数据EVEN1b中的第一行中的行数据L2的下面。因此，使每行的相对位置关系正确。
通过该方式，在本实施例的车载图像显示用摄像机系统中，当输出输出数据的偶数场数据(通过地址变换生成数据)时，如果摄像机输入场数据是奇数场数据，则进行地址变换，从下一行开始读出。
图11是示出摄像机控制器的地址变换处理的流程图。
CPU 140以多个在时间上最接近的摄像机输入数据作为地址变换的对象。此外，监视这些场图像数据是原始摄像机图像的奇数场还是偶数场数据(步骤S21)。
在同步来自每个摄像机的场数据之后，无论在步骤S21的监视结果如何，CPU 140均通过使用奇数场的模式存储器来对输出监视器的奇数场数据进行地址变换处理(步骤S22)。
在创建输出监视器中的奇数场数据并与下一场数据同步之后，CPU 140判断输出数据的偶数场数据与摄像机输入场数据的奇数/偶数场数据(奇数或偶数)是否匹配(步骤S23)。
当匹配时，CPU 140通过按原样使用偶数场数据的模式存储器来执行地址变换处理，然后创建输出监视器中的偶数场数据(步骤S24)。
当不匹配时，CPU 140通过读出偶数场数据的输入缓冲器读地址的下一行，仅对输出数据的偶数场数据与摄像机输入场数据的奇数/偶数场数据不匹配的摄像机输入场数据进行地址变换处理。此外，通过按原样使用所存储的偶数场的模式存储器，对场数据的奇数或偶数相匹配的摄像机输入场数据进行地址变换处理(步骤S25)。
注意，作为读出输入缓冲器读地址的下一行的方法，考虑例如如下方法当CPU 140读取模式存储器160的偶数场的输入缓冲器读地址区165时，将所读取的地址值加上一行的地址。
图12是示出使用这种方法进行地址变换处理的结果的例子的视图。
为了创建输出监视器中的奇数场数据DATAOa，通过使用奇数场的模式存储器，对摄像机#1的偶数场数据EVEN1b和摄像机#2的奇数场数据ODD2a的图像数据执行地址变换处理。此外，为了创建输出监视器中的偶数场数据DATAEb，通过使用偶数场的模式存储器，对摄像机#1的奇数场数据ODD1c和摄像机#2的偶数场数据EVEN2b的图像数据执行地址变换处理。
这时，如图所示，可以通过根据如下内容执行上述处理来正确地再现原始图像通过使用摄像机的奇数场创建输出监视器的奇数场、通过使用摄像机的偶数场创建输出监视器的偶数场的摄像机#2的图像，即监视器右半部分的输出；以及通过使用摄像机的偶数场创建输出监视器的奇数场、通过使用摄像机的奇数场创建输出监视器的偶数场的摄像机#1的图像，即监视器左半部分的输出。换句话说，依次排列原始图像的1～8行。
注意，尽管缺少监视器左半部分的输出的偶数场数据的最后一行，但例如VGA输出在垂直方向上的像素数大，因而该行对人的视觉没有影响。
通过该方式，根据第二实施例的车载图像显示用摄像机系统100b，如图8中的输入和输出时序图所示，开始接收来自摄像机#1的偶数场数据EVEN1b的图像数据的时刻t5与开始接收来自摄像机#2的奇数场数据ODD2a的图像数据的时刻t2之间的差，即每个摄像机图像的时间差，被缩短为至多一个场的量，即缩短到至多相当于一个场的16.7ms。
而且，可以使由于在输入缓冲器中进行同步而导致的延迟至多为两个场(33.3ms)(t5到t3)。此外，可以将从开始输入摄像机#1的输入数据的时刻t5到将输出数据输出并显示在监视器等上的时刻t4之间的整个延迟时间缩短为至多三个场的量(50.0ms)。
因此，与逐帧开始地址变换处理的情况相比，可以显著缩短摄像机控制器的输入和输出延迟时间、以及在将多个摄像机图像呈现在监视器上时的时间差。因此，能抑制车辆的实际运动与监视器上的图像之间由于输入和输出延迟时间长而导致的不一致，避免给驾驶者带来不适的感觉。而且，能减小由于上述时间差而造成的识别相对运动的物体的难度。
此外，由于在车载图像显示用摄像机系统100b中也是逐场开始地址变换处理，因此，与第一实施例的车载图像显示用摄像机系统100相同，与逐帧开始地址变换处理的情况相比，能减少输入缓冲器的容量。当逐帧执行处理时，需要具有3帧דn”个摄像机的地址空间的输入缓冲器。另一方面，通过使用摄像机控制器，能使用具有3场(1.5帧)דn”个摄像机的地址空间的输入缓冲器进行地址变换处理，因而能将缓冲器容量降低至一半。
注意，本发明的实现不依赖于所连接的摄像机的数量。
注意，作为执行地址变换处理的定时和在监视器上呈现输出数据的定时，可以在摄像机控制器中将包括在从摄像机传送的视频信号中的垂直同步信号用作触发信号，或者可以使用内部生成的触发信号。
第三实施例参考图13和14给出本发明第三实施例的说明。
第三实施例的车载图像显示用摄像机系统是对第二实施例的车载图像显示用摄像机系统的地址变换处理的方法进行修改。
图13是示出第三实施例中的摄像机控制器的地址变换处理的流程图。
CPU 140以多个在时间上最接近的摄像机输入数据作为地址变换的对象。此外，监视这些场图像数据是原始摄像机图像的奇数场还是偶数场数据(步骤S31)。
在输入场数据同步之后，CPU 140判断输出数据的奇数场数据与摄像机输入场数据的奇数和偶数场数据是否匹配(步骤S32)。
当匹配时，CPU 140通过按原样使用奇数场的模式存储器来执行地址变换处理，从而创建输出监视器中的奇数场(步骤S33)。
当不匹配时，CPU 140在读取奇数场的输入缓冲器读地址的上一行的同时，仅对输出数据的奇数场数据与摄像机输入场数据的奇数/偶数场数据不匹配的摄像机输入场数据进行地址变换处理。但是，以将监视器输出奇数场数据的第一行设置为空(不执行地址变换处理)的方式执行该处理。另一方面，通过按原样使用所存储的奇数场的模式存储器，对上述匹配的摄像机输入场数据执行地址变换处理(步骤S34)。
注意，作为读取输入缓冲器读地址的上一行的方法，考虑例如如下方法当CPU 140读取模式存储器160的偶数场的输出缓冲器写地址区164时，从所读取的地址值中减去一行的量的地址。
在创建输出监视器中的奇数场数据并且同步下一场数据之后，无论在步骤S31中的监视结果如何，CPU 140均通过使用偶数场的模式存储器来对输出监视器的偶数场数据执行地址变换处理(步骤S35)。
图14是示出通过使用这种方法来执行地址变换处理的结果的例子的视图。
为了创建输出监视器中的奇数场数据DATAOa，通过使用奇数场的模式存储器，对摄像机#1的偶数场数据EVEN1b和摄像机#2的奇数场数据ODD2a的图像数据执行地址变换处理。此外，为了创建输出监视器中的偶数场数据DATAEb，通过使用偶数场的模式存储器，对摄像机#1的奇数场数据ODD1c和摄像机#2的偶数场数据EVEN2b的图像数据执行地址变换处理。
这时，如图所示，可以通过根据如下内容执行上述处理来正确地再现原始图像通过使用摄像机的奇数场创建输出监视器的奇数场、通过使用摄像机的偶数场创建输出监视器的偶数场的摄像机#2的图像，即监视器右半部分的输出；以及通过使用摄像机的偶数场创建输出监视器的奇数场、通过使用摄像机的奇数场创建输出监视器的偶数场的摄像机#1的图像，即监视器左半部分的输出。换句话说，依次排列原始图像的1～8行。
注意，尽管缺少监视器左半部分的输出的奇数场数据的第一行，但例如VGA输出在垂直方向上的像素数大，因而与前述情况相同，该行对人的视觉没有影响。
通过这种方法，即使当执行地址变换时，也能将每个摄像机图像的时间差缩短为至多一个场的量，换句话说，缩短为16.7ms。此外，与第二实施例相同，能将显示图像的延迟缩短为至多三个场的量(50.0ms)。
而且，由于逐场执行地址变换处理，因而与逐帧执行处理的情况相比，能将输入缓冲器的容量减少至一半。
第四实施例参考图15给出本发明第四实施例的说明。
上述第二和第三实施例的车载图像显示用摄像机系统通过对通常的地址变换处理进行改变来处理以下情况在创建监视器输出的偶数场数据时，至少一个作为地址变换对象的摄像机输入场数据是奇数场数据的情况；或者在创建监视器输出的奇数场数据时，至少一个作为地址变换对象的摄像机输入场数据是偶数场数据的情况。但是，例如，当所连接的摄像机的数量是4个，并且在创建监视器输出的奇数场数据时，作为地址变换对象的4个摄像机输入场数据中的3个是偶数场数据时(反之亦然)，在CPU中执行的输入缓冲器读地址的读取处理变重。因此，可能增加CPU的负担。因此，在本实施例中，给出根据不具有再现性的摄像机输入场数据的奇数/偶数场数据来改变要创建的监视器输出的奇数/偶数场数据的处理的说明。
图15是示出本实施例中的摄像机控制器的地址变换处理的流程图。
CPU 140以多个在时间上最接近的摄像机输入数据作为地址变换的对象。而且，监视这些场图像数据是原始图像的奇数还是偶数场数据(步骤S41)。
根据在多个对象摄像机输入场数据的奇数或偶数场数据中，场数据的奇数/偶数中较多的一个，CPU 140创建监视器输出的奇数或偶数场数据。例如，当所连接的摄像机的数量为4时，如果在作为地址变换对象的摄像机输入场数据中有3个奇数场数据，则开始创建监视器输出奇数场数据。此外，如果有3个偶数场数据，则开始创建监视器输出偶数场数据。顺便提一句，当奇数场数据和偶数场数据两者的数量相等例如为2个时，开始创建监视器输出奇数场数据(步骤S42)。
关于下面的处理，执行与图11中的步骤S22～S25相同的处理，或者执行与图13中的步骤S32～S35相同的处理。
根据以上说明，能在减轻CPU的处理负担的同时获得与第二和第三实施例相同的效果。
而且，只要具有该结构，由于特别是降低了存储在模式存储器160中的对应关系的操作量，因而可降低CPU的负担。
这里说明的优选实施例是示意性而非限制性的，在不脱离本发明的精神或必要特征的情况下，可以以其它方式来实行或实施本发明。
例如，在上述每个实施例的车载图像显示用摄像机系统中，用于将存储在输出缓冲器的输出面中的、已转换过的场图像数据输出到显示监视器的同步信号可以由包括未示出的内部频率源的时钟电路来产生，或者由使用包括在要输入的场图像数据中的垂直同步信号的电路来产生。在任何情况下，均能通过使用任意输出触发器检测地址变换处理的完成来在任意定时将输出数据呈现给驾驶者。
而且，本发明可以具有这样的结构，即，从以下两种情况中选择输出到显示监视器180的定时从内部频率源生成的情况，以及从垂直同步信号生成的情况。通过这种结构，能使向驾驶者呈现场图像数据的定时根据地址变换处理所需的时间而变化。此外，当由于垂直同步信号中含有噪声而不能进行准确的检测时，如果使用内部频率源，可以获得具有高可靠性的同步。而且，当使用垂直同步信号时，可以不使用内部时钟电路。
此外，这时，如果配置为以相同的定时判断转换处理定时和输出定时，则可以对定时电路进行集成。因此，可以缩小电路尺寸，简化地址变换处理。可以将这种结构用于根据本发明的车载图像显示用摄像机系统。而且，摄像系统不局限于NTSC，还可以是PAL。
这里包括由权利要求书表示的本发明的范围，以及在权利要求书的含义内的全部变化。
权利要求
1.一种视频信号处理装置，包括多个拍摄装置，用于输出相互异步的隔行扫描视频信号；输入缓冲器，用于逐场临时存储从各拍摄装置输出的视频信号；以及输出图像生成装置，用于从存储在输入缓冲器中的视频信号逐场生成输出对象图像的视频信号，其中，当构成输出对象图像的全部最新视频信号存储在输入缓冲器中时，生成输出对象图像的每个视频信号。
2.根据权利要求1所述的视频信号处理装置，其特征在于，每个拍摄装置具有输入缓冲器，每个输入缓冲器包括三个存储部分，每个存储部分存储一场的视频信号，以及其中，该三个存储部分依次设置为第一存储部分，用于首先存储从对应的拍摄装置输出的输入视频信号；第二存储部分，该第二存储部分中的视频信号在已存储状态下进行等待；以及第三存储部分，输出图像生成装置从该第三存储部分读出视频信号。
3.根据权利要求1所述的视频信号处理装置，其特征在于，还包括输出缓冲器，用于逐场存储所生成的输出对象图像的视频信号；以及地址表，用于存储输出缓冲器中的存储地址与输入缓冲器中的存储地址之间的对应关系，其中输出图像生成装置通过基于该地址表将存储在输入缓冲器中的视频信号传送到输出缓冲器中的预定部分，来生成输出对象图像的视频信号。
4.根据权利要求1所述的视频信号处理装置，其特征在于，输出图像生成装置根据存储在输入缓冲器中的最新视频信号是奇数场视频信号还是偶数场视频信号，来改变生成输出对象图像的视频信号的方式。
5.根据权利要求4所述的视频信号处理装置，其特征在于，当从存储在输入缓冲器中的偶数场的视频信号生成输出对象图像的奇数场的视频信号时，输出图像生成装置将存储在输入缓冲器的偶数场图像的视频信号向上移场的一行，以生成输出对象图像的视频信号。
6.根据权利要求4所述的视频信号处理装置，其特征在于，当从存储在输入缓冲器中的奇数场的视频信号生成输出对象图像的奇数场的视频信号时，输出图像生成装置将存储在输入缓冲器的奇数场图像的视频信号向下移场的一行，以生成输出对象图像的视频信号。
7.根据权利要求1所述的视频信号处理装置，其特征在于，该输出图像生成装置判断每个存储在输入缓冲器中的最新视频信号是奇数场还是偶数场的视频信号；当在输入缓冲器中的最新视频信号中，奇数场的视频信号的数量大于偶数场的视频信号的数量时，生成输出对象图像的奇数场的视频信号；以及当在输入缓冲器中的最新视频信号中，偶数场的视频信号的数量大于奇数场的视频信号的数量时，生成输出对象图像的偶数场的视频信号。
8.一种视频信号处理方法，包括将从多个拍摄装置输出的相互异步的隔行扫描视频信号逐场临时存储到输入缓冲器中；以及从存储在输入缓冲器中的视频信号逐场生成输出对象图像的视频信号，当作为输出对象图像的成分的全部最新视频信号存储在输入缓冲器中时，生成输出对象图像的每个视频信号。
9.一种车载摄像机系统，包括多个拍摄装置，用于拍摄车辆周围的区域并输出相互异步的隔行扫描视频信号；输入缓冲器，用于逐场临时存储从各拍摄装置输出的视频信号；输出图像生成装置，用于从存储在输入缓冲器中的视频信号逐场生成输出对象图像的视频信号，其中，当作为输出对象图像的成分的全部最新视频信号存储在输入缓冲器中时，生成输出对象图像的每个视频信号；输出缓冲器，用于逐场存储所生成的输出对象图像的视频信号；以及显示装置，用于将存储在输出缓冲器中的视频信号显示给车辆的驾驶者。
全文摘要
一种视频信号处理装置及其方法、以及车载摄像机系统。该视频信号处理装置包括多个拍摄装置，用于输出相互异步的隔行扫描视频信号；输入缓冲器，用于逐场临时存储从各拍摄装置输出的视频信号；以及输出图像生成装置，用于从存储在输入缓冲器中的视频信号逐场生成输出对象图像的视频信号，其中，当作为输出对象图像的成分的全部最新视频信号存储在输入缓冲器中时，生成输出对象图像的每个视频信号。
文档编号H04N7/18GK1794792SQ20051013262
公开日2006年6月28日 申请日期2005年12月23日 优先权日2004年12月24日
发明者铃木政康, 赤塚健 申请人:日产自动车株式会社