专利名称：图像处理装置的制作方法
技术区域本发明涉及图像处理装置，更确切地来说，涉及对安装在车辆上的多个摄像装置采集到的图像进行处理的图像处理装置。
背景技术：
作为上述图像处理装置的一种，有多功能车载摄像系统。多功能车载摄像系统，大致具备第1～第8摄像装置、图像处理部和第1～第3显示装置。
第1～第8的摄像装置分别安装在车辆周围。更具体地说，第1摄像装置对车辆前方区域进行摄像。第2摄像装置，对车辆的左斜前方区域进行摄像。第3摄像装置对车辆右斜前方区域进行摄像。第4摄像装置对实质上与位于车辆左侧的车门后视镜所反射的区域相同的区域进行摄像。第5摄像装置对实质上与位于车辆右侧的车门后视镜所反射的区域相同的区域进行摄像。第6摄像装置对车辆左斜后方区域进行摄像。第7摄像装置对车辆右斜后方区域进行摄像。第8摄像装置对车辆后方区域进行摄像。
图像处理部对在上述第1～第8的摄像装置中由预定的装置摄下的图像(下面称作摄影图像)进行合成，制作第1～第3显示装置中的任意装置所显示的图像。作为显示图像，制作上视点图像、全景图像、全周图像、结合图像、视角限定图像等5种图像。
上视点图像是把车辆周围区域从上向往下看时的图像。此外，全景图像是把多个摄影图像进行接合时的超广角图像。全周图像是把来自所有摄像装置的摄影图像依次接合而制作的、能够连续显示车辆周围状况的图像。结合图像是把显示不连续区域的状况的多个图像接合的图像。而且，多个摄影图像的边界，显示成司机能够清楚地辨认。视角限定图像用第4及第5摄像装置摄下的摄影图像制作，是具有和车门后视镜同等程度视角的图像。
第1～第3的显示装置，以根据车辆驾驶状况的适当时间，显示上述5种图像。
通过上述这种处理，多功能车载摄像系统，可以辅助车辆的安全驾驶。而且，上述多功能车载摄像系统，已经被欧洲特许厅公开，公开号为EP1077161A2。
下面，说明上述多功能车载摄像系统中所存在的问题。上述5种图像，全部都显示车辆周围的状况。因此，多功能车载摄像系统，不能把车辆室内的状况提供给司机。其结果，就有这样的问题，即，例如，司机不能容易掌握同乘者尤其是坐在后座的同乘者是否坐在正确的座位上、或者是否系着安全带。
发明内容
为此，本发明的目的是提供还可以提供车内状况的图像处理装置。
为了达到上述目的，本发明的一方面是图像处理装置，具备第1及第2缓冲器，存储显示车辆周围状况的第1图像、及显示车辆室内状况的第2图像；处理器，根据第1及第2缓冲器中所存储的第1图像及第2图像，制作表示车辆周围及室内两方的状况的驾驶辅助图像。
图1是表示组装涉及本发明一实施例的图像处理装置AIP的驾驶辅助装置ADA的整体结构的方框图；图2是表示各摄像装置1～5的视角θv及视野FV1～FV6的模式图；图3是设置了图1驾驶辅助装置ADA的车辆V的立体图；图4是表示图1所示摄像装置1～5的设置例子的模式图；图5是表示图1所示摄像装置1及2拍摄的摄影图像IC1及IC2的模式图；图6是表示图1所示摄像装置3及4拍摄的摄影图像IC3及IC4的模式图；图7是表示图1所示摄像装置5拍摄的摄影图像IC5及图1处理器8制作的驾驶辅助图像IDA的模式图；
图8是表示图1所示作业区域9的详细结构的模式图；图9是表示制作图7b所示驾驶辅助图像IDA所必须的假想摄像机CV位置的模式图；图10是用于说明图1处理器8所进行的图像处理的模式图；图11是表示映射表102的一结构例的模式图；图12是表示图1处理器8的处理步骤的流程图；图13是表示图12步骤S3的详细处理步骤的流程图；图14是用其他例子表示图1所示处理器8所制作的驾驶辅助图像IDA的模式图；图15是表示有关图1驾驶辅助图像ADA变形例的驾驶辅助装置ADA1结构的方框图；图16是表示图15处理器8的处理步骤的流程图；图17是组装图1图像处理装置AIP时的车辆用图像记录装置AREC整体结构的方框图；图18是表示图17处理器8的处理步骤的流程图；图19是表示图17处理器8的中断处理步骤的流程图。
具体实施例方式
图1是表示组装本发明一实施例的图像处理装置AIP时的驾驶辅助装置ADA的整体结构的方框图。图1中，驾驶辅助装置ADA设在车辆V(参照图3)上，具备5台摄像装置1～5、图像处理装置AIP和显示装置6。而且，图1中，为便于说明，省略了摄像装置2～4的图示。
下面，参照图2～图4，详细说明摄像装置1～5。图2是表示各摄像装置1～5的视角θv及视野FV1～FV6的模式图。图2中，各摄像装置1～5，最好具有140°左右的视角θv。而且，视角θv是考虑摄像装置1～5的实用性及成本来进行选择，即使是140°之外也可以。而且，摄像装置1～5的视角θv可以相互不同，但在本实施例中为便于说明，假设所有的视角θv实质上相同。并且，在后面的说明中，在摄像装置1～5的视角θv的范围内，称作视野FV1～FV6。
此外，图3是静止在路面SR上的车辆V的立体图，是用于说明在后说明所需的3维空间坐标系的图。并且，为便于说明，假设路面SR是水平面。图3中，3维空间坐标系由X轴、Y轴、Z轴组成。X轴由铅直面PV和路面SR的交线构成。铅直面PV是与车辆V的纵中心面PLM正交、且与车辆V的后端接触的平面。Y轴由纵中心面PLM和铅直面PV的交线构成。Z轴由纵中心面PLM和路面SR的交线构成。
而且，图4是表示上述摄像装置1～5的设置例的模式图。而且，图4中，为便于说明，描绘了上述车辆V的顶面(在上一段图示)及侧面(在下段图示)。如图4所示，摄像装置1最好是设置在车辆V的右后角附近。更具体地说，将摄像装置1设置成摄像装置1的镜头11的顶点位于上述3维空间坐标系中的坐标值(X1，Y1，0)的位置。摄像装置1的光轴AP1从上述镜头11的顶点位置朝向车辆V后方右侧的区域，与路面SR相交。更具体地说，光轴AP1以角度α1与Y-Z平面相交，而且以角度β1与X-Z平面相交。在上述位置，如图1所示，摄像装置1摄下车辆V的后方右侧区域并制作图像(下面称作摄影图像)IC1，发送到图像处理装置AIP。
这里，图5(a)是上述摄影图像IC1的模式图。图5(a)中，摄影图像IC1由预定个数的像素PC1构成。各像素PC1的位置，由具有UC轴及VC轴的第1视平面坐标系中的坐标值(UC，VC)来确定。而且，为便于说明，在图5(a)中的摄影图像IC1，代表性地只图示1个像素PC1。
下面，说明角度α1的最佳值。为了辅助车辆V的驾驶，摄像装置1被要求摄下司机的盲角区域。如果角度α1接近0°，则摄像装置1就不能摄下成为上述盲角区域的车辆V的后端正下方区域。反过来，如果角度α1接近90°，则摄像装置1就不能摄下成为上述盲角区域的车辆V的右侧后方区域。考虑上述问题以及周围摄像装置2和4的摄像区域之后，将角度α1设定为适当的值。例如，视角θv如上所述为140°左右时，α1最好设定为20°左右。
下面，说明角度β1的最佳值。如上所述，摄像装置1被要求摄下司机的盲角区域。如果角度β1接近0°，则摄像装置1就只能摄下离车辆V具有一定距离的区域。也就是说，摄像装置1不能摄下车辆V的后端正下方区域。而且，一般来说，司机是避开挡住车辆V前进道路的障碍物而驾驶的，因此，障碍物位于离车辆V具有一定距离的位置。因此，当角度β1接近90°时，摄像装置1就只能摄下极为靠近车辆V的区域。也就是说，这种情况下，摄像装置1很难摄下障碍物。考虑上述问题以及周围摄像装置2及4的摄像区域，将角度β1设定为适当的值。在视角θv如上所述为140°左右时，β1最好设定为30°～70°程度。
而且，如图4所示，摄像装置2最好设置在车辆V的右侧车门后视镜上。更具体地说，摄像装置2设置成摄像装置2的镜头21的顶点位于3维空间坐标中的坐标值(X2，Y2，Z1)的位置。摄像装置2的光轴AP2从上述镜头21的顶点位置朝向车辆V右侧后方的区域，与Z-X平面(也就是路面SR)相交。更具体地说，光轴AP2以角度α2与Y-Z平面相交，而且以角度β2与X-Z平面相交。在此，角度α2及β2是在考虑摄像装置2的设置位置等的情况下进行设定，角度α2例如设定为30°～45°。而且，例如将角度β2设定为20°～70°程度。在如上的位置，摄像装置2对车辆V的右侧后方区域进行摄像，制作如图5(b)所示的图像(下面称作摄影图像)IC2，发送到图像处理装置AIP。在此，在下面的说明中，将构成摄影图像IC2的像素称作像素PC2。各像素PC2和像素PC1的情况一样，由第1视平面坐标系的坐标值(UC，VC)来确定。
而且，根据图4可知，摄像装置3设置在以Y-Z平面为基准并与摄像装置2形成面对称的位置。摄像装置4设置在以Y-Z平面为基准并与摄像装置1形成面对称的位置。在这样的位置，摄像装置3摄下车辆V左侧后方的区域，制作图6(a)所示的图像(下面称作摄影图像)IC3，摄像装置4摄下车辆V后方右侧的区域，制作图6(b)所示的图像(下面称作摄影图像)IC4。这些摄影图像IC3及IC4也发送到图像处理装置AIP。
又，如图4所示，摄像装置5设在车辆V的室内，更具体地说，设在室内镜(车内后视镜)上。更具体地说，摄像装置5设置成摄像装置5的镜头51的顶点在上述3维空间坐标系中，位于坐标值(0，Y3，Z2)的位置。摄像装置5的光轴AP5从上述镜头51的顶点位置朝向车辆V后部座席方向，与Z-X平面相交。更具体地说，光轴AP5和Y-Z平面平行，并且和X-Z平面以角度β5相交。在此，角度β5设置成适当的值，以使摄像装置5可摄下车辆V的室内整体。如上所述，在摄像装置5的视角θv为140°左右时，角度β5最好设定为20°～70°程度。在这样的位置，摄像装置5对车辆V的室内整体进行摄影，制作如图7(a)所示的图像(下面称作摄影图像)IC5，发送到图像处理装置AIP。
图像处理装置AIP，如图1所示，具备处理器8、作业区域9和程序存储器10。处理器8，根据存储在程序存储器10中的计算机程序(下面简单称作程序)101动作。其结果，处理器8使用上述摄影图像IC1～IC5，制作驾驶辅助图像IDA。
典型的作业区域9由随机存取存储器构成，由处理器8在制作驾驶辅助图像IDA时使用。如图8所示，作业区域9由摄影图像用缓冲器91～95以及驾驶辅助图像用缓冲器96构成。缓冲器91分配给摄像装置1，存储摄像装置1的摄影图像IC1(参照图5(a))。也就是说，缓冲器91构成为对应于在第1视平面坐标系的每一个坐标值(UC，VC)，可存储构成摄影图像IC1的各像素PC1值。同样，缓冲器92～95，分配给摄像装置2～5，存储摄影图像IC2～IC5。而且，对上述缓冲器91～95分配互不重复的标识号码ID，以可唯一地确定所述各缓冲器。本实施例中，假设对缓冲器91～95分配作为标识号码ID的#1～#5。而且，由于缓冲器91～95分配给了摄像装置1～5，因此，作为标识号码ID的#1～#5也可以唯一地确定摄像装置1～5。
此外，驾驶辅助图像IDA，如图7(b)所示，由假想摄像机CV(参照图9)显示车辆V的室内及室外的双方的状况。假想摄像机CV的位置，只要是车辆V的室内，则任意位置都可以，在本实施例中选择在车辆V的室内镜附近。而且，使假想摄像机CV的位置靠近室内镜附近，是因为假设车辆V的司机习惯于看映射到室内镜的图像，可以假设司机容易接受驾驶辅助图像IDA。更具体地说，假想摄像机CV放置在和摄像装置5实质上相同的位置上。而且，假想摄像机CV的光轴AV与3维空间坐标系中的Y-Z平面平行，并且和X-Z平面以角度β5相交。
此外，如果单纯地只是使假想摄像机CV的位置和朝向与摄像装置5相同，则驾驶辅助图像IDA就会和摄影图像IC5相同。也就是说，在驾驶辅助图像IDA中，车辆V的周围状况被以门为代表的车辆V的结构遮挡而被遮掩，不能充分达到本申请设定的目的。为此，通过后述的混合处理，在驾驶辅助图像IDA中，可将车辆V的大部分半透明地描绘，由此，如图7(b)所示，驾驶辅助图像IDA中可把车辆V的外部状况提供给司机。而且，在下面的说明中，在驾驶辅助图像IDA中，把经过混合处理半透明地描绘的区域定义为混合区域RMX(左下斜线区域)，不是这样的区域定义为非混合区域RNB(右下斜线区域)。混合区域RMX是描绘车辆V的外部及室内两方情况的区域，非混合区域RNB是只描绘车辆V的室内情况的区域。这样，形成非混合区域RNB是因为摄像装置1～5配置成上述情况，不能完全摄下车辆V的整个周围。例如，不能摄下车辆V底板正下方。而且，由于已经决定摄像装置1～5的位置，所以预定了混合区域RMX及非混合区域RNB在驾驶辅助图像IDA中占有哪些范围。
而且，在图7(b)中，驾驶辅助图像IDA由第2视平面坐标系的坐标值(UDA，VDA)确定的(NU×NV)个像素PDA构成。在此，NU及NV的双方是自然数。而且，为了方便起见，假设驾驶辅助图像IDA是UDA轴方向上排列NU个像素PDA，并在VDA轴方向上排列NV个像素PDA的长方形。
图8所示的缓冲器96是在由处理器8制作上述驾驶辅助图像IDA时使用，其构成为可以存储上述(NU×NV)个像素PDA的值。
而且，图1中，典型的程序存储器10是由只读存储器构成，至少包含上述程序101和映射表102。程序101中，至少记录处理器8所执行的图像处理步骤。对于该处理步骤，参照图12及图13，在后进行详细说明。
下面，说明映射表102。处理器8，如后所述，在图像处理中，从摄影图像IC1～IC5选择几个像素PC1～PC5，使用所选择的像素PC1～PC5制作驾驶辅助图像IDA。在进行该选择·制作时，参照映射表102。例如，处理器8，根据映射表102，如图10所示，根据摄影图像IC5的像素PC51的值，决定上述非混合区域RNB中的某像素PC51的值。同样，通过以预定的比率混合摄影图像IC2中的像素PC21的值以及摄影图像IC5中的像素PC52的值，决定上述混合区域RMX中的其他像素PDA2的值。而且，下面说明中，把比率RBR称作混合比RBR。上述之外的像素PDA的值，也以同样的方式决定。
这里需要注意的是，如上所述，驾驶辅助图像IDA显示出从假想摄像机CV(参照图9)看时的车辆V的室内及车辆V外部的情况，摄影图像IC1～IC4显示出从摄像装置1～4看车辆V的周围时的情况。因此，根据摄影图像IC1～IC4制作驾驶辅助图像IDA时，需要进行视点变更处理，而图像处理装置AIP中应用了国际公开WO00/07373号公报所公开的技术。其结果，处理器8参照映射表102，从像素PC1～PC5中选择几个，同时进行视点变更处理。
为了可以决定各像素PDA值，映射表102上记录着使用哪个像素PC1～PC5的值来决定。这里，图1是表示映射表102的一构成例的模式图。图11中，映射表102由(NU×NV)个单位记录UR构成。单位记录UR的每一个分别被分配到互不重复的唯一一个像素PDA，每一记录包括记录种类TUR、第2视平面坐标系的坐标值(UDA，VDA)、至少1组标识号码ID及第1视平面坐标系的坐标值(UDA，VDA)和混合比RBR。
记录种类TUR，包括自身的单位记录UR的种类，典型的是用“1”及“2”任一方号码表示。本实施例中，为便于说明，“1”表示不需要上述混合的情况，“2”表示需要上述混合的情况。因此，对属于上述非混合区域RNB的像素PDA分配的单位记录UR中，在记录种类TUR的栏记录“1”。而且，属于非混合区域RMX的单位记录UR中，在记录种类TUR的栏记录“2”。
坐标值(UDA，VDA)表示包括自身的单位记录UR分配给哪个像素PDA。
关于标识号码ID及坐标值(UC，VC)，如上所述。这里需要注意的是，像素PDA的值是利用由相同单位记录UR的标识号码ID及坐标值(UDA，VDA)的组合来唯一确定的、像素PC1～PC5的任意1个或者2个值来决定的(参照图9)这一点。其他需要注意的是，在相同单位记录UR的记录种类TUR是“1”的情况下，标识号码ID及坐标值(UC，VC)的组合数是1个，在其为“2”时，标识号码ID及坐标值(UC，VC)的组合数是2个。
而且，混合比RBR是用于决定包括该值的单位记录UR中所记录的像素PDA的值的参数。在本实施例中，作为理想例子，混合比RBR仅仅记录在记录种类TUR为“2”的单位记录UR中，更具体地说，只分配到标识号码ID及坐标值(UDA，VDA)的组的一方。在此，当将被分配的混合比RBR设为α(1＜α＜0)时，标识号码ID和坐标值(UDA，VDA)的的组的另一方混合比RBR成为(1-α)。
显示装置6显示由图像处理装置AIP制作的驾驶辅助图像IDA。
下面，参照图12的流程图，说明图像处理装置AIP的动作。驾驶辅助装置ADA启动之后，处理器8开始运行程序存储器10内的程序101。然后，处理器8以预定的时间(例如每30ms)，最好是制作1个摄像指示C1C，发送到所有各摄像装置1～5(步骤S1)。本实施例中，摄像指示C1C是针对所有摄像装置1～5指示摄像的指令。各摄像装置1～5，响应所接收的摄像指示C1C，制作上述摄影图像IC1～IC5，发送到作业区域9。其结果，缓冲器91～95中存储摄影图像IC1～IC5(步骤S2)。
而且，本实施例中，各摄像装置1～5响应摄像指示C1C，制作摄影图像IC1～IC5，分别把他们存储到缓冲器91～95。但是，不限定于此，各摄像装置1～5，以预定的时间自发或者主动地制作摄影图像IC1～IC5，并将其存储到缓冲器91～95中也可以。
然后，处理器8根据程序存储器10的映射表102进行图像处理。也就是说，处理器8使用存储在缓冲器91～95中的摄影图像IC1～IC5，在缓冲器95上制作驾驶辅助图像IDA(步骤S3)。
在此，图13是表示步骤3的详细处理步骤的流程图。图13中，处理器8从映射表102中，选择1个未选择的单位记录UR，并从已选择的记录中取出记录种类TUR(步骤S21)。之后，处理器8判断这次取出的记录是否是“1”(步骤S22)。
在记录种类TUR为“1”的情况下，如上所述，不需要混合，这次选择的单位记录UR中记录有1组标识号码ID及坐标值(UC，VC)。当在步骤S22中判断为记录种类TUR为“1”的情况下，处理器8从这次的单位记录UR读出标识号码ID及坐标值(UC，VC)(步骤S23)。然后，处理器8访问从缓冲器91～95中的由这次读出的标识号码ID确定的缓冲器，而且，从这次访问的对象(缓冲器91～95的任一个)中，读取出由这次读出的坐标值(UC，VC)确定的像素P(像素PC1～PC5的任一个)值(步骤S24)。然后，处理器8从这次的单位记录UR中，读出坐标值(UDA，VDA)(步骤S25)。然后，处理器8把在像素PC1～PC5中这次取出的值，作为由记录在这次选择的单位记录UR中的坐标值(UDA，VDA)确定的像素PDA的值。也就是说，处理器8在缓冲器96中，在存储由坐标值(UDA，VDA)确定的像素PDA值的区域，原样保存在步骤S23取出的像素PC1～PC5中的任一个(步骤S26)。
另外，在步骤S22中，如果这次的记录种类TUR被判断为“2”的情况下，从这次的单位记录UR中，读出标识号码ID、坐标值(UC，VC)、以及与这些同组的混合比RBR(步骤S27)。然后，处理器8从缓冲器91～95中，访问由这次读出的标识号码ID确定的对象，并且，从这次访问的对象(缓冲器91～95中的任一个)，取出由这次读出的坐标值(UC，VC)确定的像素P(PC1～PC5中的任一个)值(步骤S28)。之后，处理器8对这次取出的像素PC1～PC5中的任一个，乘上这次读出的混合比RBR，在作业区域9中保持其乘法运算值MP×R(步骤S29)。然后，处理器8判断这次选择的单位记录UR中是否留有未选择的组合(标识号码ID及坐标值(UC，VC))(步骤S210)。如果有未选择的组合，处理器8则读出它以及混合比RBR(步骤S211)，执行步骤S28。对此，如果没有未选择的组合，处理器8则执行步骤S212。
处理器8在步骤S210判断为没有未选择的组合的时刻，作业区域9中保存多个乘法运算值MP×R。处理器8计算多个乘法运算值MP×R的总和VSUM(步骤S212)，从这次的单位记录UR，读出坐标值(UDA，VDA)(步骤S213)。处理器8把在步骤S212计算的总和VSUM，作为由在步骤S213读出的坐标值(UDA，VDA)确定的像素PDA的值。也就是说，处理器8在缓冲器96中，在存储由坐标值(UDA，VDA)确定的像素PDA值的区域，保存这次计算的总和VSUM(步骤S214))。
上述步骤S26或者S214一结束，处理器8判断是否还剩有未选择的单位记录UR(步骤S215)，如果有未选择的记录，则执行步骤S21，决定构成驾驶辅助图像IDA的各像素PDA的值。也就是说，处理器8直到选择结束所有的单位记录UR，执行步骤S215为止的步骤。其结果，缓冲器96中完成1帧驾驶辅助图像IDA，处理器8从步骤S2退出。
然后，处理器8把缓冲器96上制作的驾驶辅助图像IDA发送给显示装置6(步骤S4)。显示装置6显示所接收的驾驶辅助图像IDA。图像处理装置AIP中，反复执行上述步骤S1到S4为止的一系列处理。而且，司机通过观察上述驾驶辅助图像IDA，可以确认车辆V的室内情况及车辆V的室外情况的两边情况。更具体地说，司机可以掌握在车辆V的周围中自身盲角区域的情况，同时可以确认其他乘员是否以安全的姿势坐在座席上。由此，可以提供图像处理装置AIP，用来制作可辅助比以往更为安全的驾驶的驾驶辅助图像IDA。
而且，上述实施例中，作为理想实施例，驾驶辅助图像IDA显示从假想摄像机CV看到的车辆V的外部及内部的情况。由此，例如，即使在车辆V的外部存在有障碍物，司机也可以直观地确认该障碍物相对于车辆V的位置。但是，在图7b所示之外，例如图14a所示，图像处理装置AIP也可以制作分别描绘车辆V的内部及外部情况的驾驶辅助图像IDA。
又，上述实施例中作为理想实施例，摄像装置1～5设置成如图4所示，但不限于此，也可以安装在其他位置。而且，摄像装置的台数也不限于5台，超过5台也可以，或者不足5台也可以。
下面，图15是表示有关图1的驾驶辅助图像ADA变形例的驾驶辅助装置ADA1结构的方框图。图15中，若把驾驶辅助装置ADA1和驾驶辅助图像ADA进行比较，则不同点是驾驶辅助装置ADA1还具备几个座席传感器11及/或者几个装束传感器12。除此之外，两个驾驶辅助装置ADA及ADA1之间不存在结构方面的不同点，因此，图15中，在相当于图1的组成部分，标以相同的标记，省略其说明。
座席传感器11安装在车辆V的各座席上，响应来自处理器8的指示，检测安装自体的座席(下面称作对象座席)上是否有乘员就位，把用于通知检测结果的通知信号DST发送给处理器8。
装束传感器12在每个上述对象座席用安全带上分别安装1个，响应来自处理器8的指示，检测安装自体的安全带是否系着，把用于通知检测结果的通知信号DSB发送给处理器8。
下面，参照图16的流程图，说明图15的处理器8的动作。若将图16与图12进行比较，则图16中在还包括步骤S5～S8，这是不同点。除此之外，两流程图之间没有不同点，所以，在图16中，相当于图12的步骤部分，标以相同的步骤标记，省略其说明。
图16中，在结束步骤S3之后，处理器8从各座席传感器11接收通知信号DST(步骤S5)。还有，处理器8从各装束传感器12接收通知信号DSB(步骤S6)。
接着，处理器8使用所接收的通知信号DST及DSB，判断乘员是否坐着，有没有没有系着安全带的座席(下面称作警告对象座席)(步骤S7)。更具体地讲，处理器8根据各通知信号DST所示的检测结果，确定当前乘员坐着的座席(下面称作使用座席)。而且，处理器8根据各通知信号DSB所示的检测结果，确定当前没有系着安全带的座席(下面称作非系带座席)。处理器8判断是否有是使用座席且是非系带座席的警告对象座席。然后，如果判断为没有这种警告对象座席，处理器8就不必执行步骤S8，直接执行步骤S4。
对此，处理器8在步骤S7中，如果判断有1个以上的警告对象座席，则将显示类似人脸形状的标记图像DMK，重叠在驾驶辅助图像IDA中预定的位置上(步骤S8)，其结果，制作出如图14b所示的驾驶辅助图像IDA。而且，标记图像DMK的重叠位置，意味着在驾驶辅助图像IDA中假设有坐在警告对象座席上的乘员脸的位置。这种预定位置，由于摄像装置1～5固定在车辆V上，因此，可以预先导出。上述步骤S8一结束，处理器8就执行步骤S4。
如上述，在本变形例中，在驾驶辅助图像IDA上重叠有标记图像DMK，因此，司机可以简单地目视确认没有系安全带的乘员。
下面，图17是组装由上述图像处理装置AIP的车辆用图像记录装置AREC整体结构的方框图。图17中，若将图像记录装置AREC和上述驾驶辅助装置ADA进行比较，则不同的点是图像记录装置AREC还具备外部存储器13、计时器14、发信装置15、定位器16、冲击传感器17。除此之外，两者之间在结构上没有不同点，因此，图17中，对于相当于图1结构的对象，标以相同的标记，省略其说明。
外部存储装置13是非易挥发性存储装置，把从图像处理装置AIP的缓冲器96发送过来的驾驶辅助图像IDA，作为表示车辆V的室内状况及周围状况两方的车辆状况图像IVS进行存储。而且，在外部存储装置13中，和车辆状况图像IVS一同存储作为日期信息Ddd的当前时刻TC，该当前时刻TC是由计时器14计时的。计时器14响应处理器8的指示，把自身计时的当前时刻TC发送到图像处理装置AIP。在本实施例中，上述的当前时刻TC还包括年月日，且如上所述与车辆状况图像IVS一同记录到外部存储装置13。典型的发信装置15由携带电话构成，响应处理器8的指示而动作，至少把在缓冲器96中制作的驾驶辅助图像IDA，作为上述车辆状况图像IVS发送到车辆V的外部。详细情况在后叙述，作为车辆状况图像IVS的发送目的地，典型的是以警察署及/或者急救中心为代表的设施。典型的定位器16由GPS(Global Positioning System全球定位系统)接收机构成，导出车辆V的当前位置DCP。而且，本实施例中，为方便起见，说明了定位器16由GPS接收机构成的，但众所周知，根据GPS接收机的当前位置DCP包含误差。为此，定位器16也可以包含自律导行传感器。上述的当前位置DCP，最好与车辆状况图像IVS一同从发信装置15发送到车辆V的外部。典型的冲击传感器17，是在辅助安全带的SRC(Supplemental Restrainit System辅助抑制系统)安全气囊系统中使用的加速传感器，检测对车辆V的冲击度。然后，冲击传感器17，在检测出的冲击度超过确定基准值时，认为车辆V卷入交通事故，把表示该情况的通知信号DTA发送到处理器8。
下面，参照图18的流程图，说明图17的处理器8的动作。若将图18与图12进行比较，则不同点是图18中包括步骤S9来代替了步骤S4。除此之外，两流程图之间没有不同点。为此，在图18中，对相当于图12步骤的部分，标以相同的参照标记，省略其说明。
在步骤S3之后，处理器8还把在缓冲器96中制作的驾驶辅助图像IDA发送到显示装置6及外部存储装置13(步骤S9)。显示装置6和上述一样，显示所接收的驾驶辅助图像IDA。而且，外部存储装置13，把所接收的驾驶辅助图像IDA作为车辆状况图像进行存储。通过以上的记录车辆状况图像IVS，将驾驶中的车辆V的周围和室内双方的状况，存储到外部存储装置13中。为此，一旦车辆V卷入交通事故时，和客机的飞行记录一样，可将外部存储器13内的车辆状况图像IVS用于这起交通事故原因调查中。而且，图像记录装置AREC中，不是把多个摄像装置1～5制作的摄影图像IC1～IC5，原样保存到外部存储装置13中，而是储存把它们集中为1个的车辆状况图像IVS。因此，可以把小容量的外部存储装置13组装到图像记录装置AREC中。由此，可以有效利用车辆V室内的狭小空间。
而且，在步骤S9中，最好是处理器8首先从计时器18接收当前时刻TC。之后，处理器8把接收当前时刻TC附加到缓冲器96上的驾驶辅助图像IDA上，发送到外部存储装置13。外部存储装置13，存储所接收的驾驶辅助图像IDA及当前时刻TC两方。由此，可以在确定车辆V卷入交通事故的发生时刻TC时起到作用。
而且，如上所述，在自身检测的冲击度超过确定的基准值时，冲击传感器17把表示车辆V卷入交通事故的情况的通知信号DTA发送给处理器8。处理器8响应所接收的通知信号DTA，执行图19所示的中断处理。图19中，处理器8从定位器16接收车辆V的当前位置DCP(步骤S31)。之后，处理器8把在这个时刻存储到缓冲器96中的车辆状况图像IVS，以及所接收的当前位置DCP两方，发送给位于车辆V外部(隔离)的急救中心及/或者警察署。在急救中心及/或者警察署，设置有车辆状况图像IVS接收站及显示装置，急救中心等的操作员，根据接收的车辆状况图像IVS及所接收的当前位置DCP两方，可以了解车辆V卷入交通事故的发生情况，而且，可以了解车辆V内的受伤人员的情况及该交通事故的发生地点。
产业上的可利用性本发明的图像处理装置可以组装在辅助车辆安全驾驶的驾驶辅助装置中。
权利要求
1.一种图像处理装置，其特征在于，备有第1及第2缓冲器，存储表示车辆周围状况的第1图像、及表示车辆室内状况的第2图像；处理器，根据上述第1及第2缓冲器中存储的第1图像及第2图像，制作表示上述车辆周围及室内两方的状况的驾驶辅助图像。
2.权利要求1所述的图像处理装置，其特征在于，上述处理器向安装在上述车辆上的显示装置发送所制作的驾驶辅助图像，上述显示装置，显示所接收的驾驶辅助图像。
3.权利要求1所述的图像处理装置，其特征在于，上述处理器制作从预定的位置观察上述车辆周围及室内两方时的驾驶辅助图像。
4.从属权利要求3所述的图像处理装置，其特征在于，上述处理器经进行混合，制作上述车辆室内的一部分被半透明地描绘的驾驶辅助图像。
5.权利要求1所述的图像处理装置，其特征在于，上述处理器从安装在上述车辆上的座席传感器及装束传感器分别接收检测结果，上述座席传感器检测在上述车辆的座席上是否坐着乘员，上述装束传感器检测上述车辆的安全带是否被系着，上述处理器根据从上述座席传感器及上述装束传感器接收的检测结果，制作重叠了表示没有系安全带的乘员的标记图像的驾驶辅助图像。
6.权利要求1所述的图像处理装置，其特征在于，上述处理器在安装在上述车辆上的非挥发性外部存储装置中，保存所制作的驾驶辅助图像。
7.根据权利要求6所述的图像处理装置，其特征在于，上述处理器还把从安装在上述车辆上的计时器接收的当前时刻，保存到上述外部存储装置中。
8.权利要求1所述的图像处理装置，其特征在于，上述处理器向安装在上述车辆上的发信装置，发送所制作的驾驶辅助图像，上述发信装置将所接收的驾驶辅助图像，发送到上述车辆的外部。
9.根据权利要求8所述的图像处理装置，其特征在于，上述处理器从安装在上述车辆上的定位器接收上述车辆的当前位置，并发送到上述发信装置，上述发信装置进一步将所接收的当前位置发送到上述车辆的外部。
10.根据权利要求8所述的图像处理装置，其特征在于，上述处理器与冲击传感器连接，上述冲击传感器检测施加到上述车辆上的冲击，把表示上述车辆是否卷入交通事故的通知信号发送到上述处理器，上述处理器在根据来自上述冲击传感器的通知信号判断到上述车辆卷入交通事故时，将所制作的驾驶辅助图像发送到上述发信装置。
11.一种图像处理方法，其特征在于，具有存储步骤，存储表示车辆周围状况的第1图像、及表示车辆室内状况的第2图像；制作步骤，根据在上述存储步骤中存储的第1图像及第2图像，制作表示上述车辆周围及室内两方的状况的驾驶辅助图像。
12.一种图像处理程序，其特征在于，具有存储步骤，存储表示车辆周围状况的第1图像、及表示车辆室内状况的第2图像；制作步骤，根据在上述存储步骤中存储的第1图像及第2图像，制作表示上述车辆周围及室内两方的状况的驾驶辅助图像。
全文摘要
图像处理装置与2种摄像装置连接。一种摄像装置拍摄车辆周围的状况，另一种摄像装置拍摄车辆室内的状况。处理器使用来自摄像装置的图像，制作反映车辆周围及室内两方状况的驾驶辅助图像。由此，可提供一种图像处理装置，该图像处理装置可制作对司机提供更多信息的驾驶辅助图像。
文档编号H04N7/18GK1568618SQ02819978
公开日2005年1月19日 申请日期2002年10月8日 优先权日2001年10月10日
发明者安井伸彦, 吉田崇, 饭阪笃, 石田明 申请人:松下电器产业株式会社