图像处理相机系统及图像处理相机控制方法

专利名称：图像处理相机系统及图像处理相机控制方法
技术领域：
本发明涉及以多个用途公用一个摄像设备的图像处理相机系统及其控制方法。
背景技术：
图像处理技术，最初适用于用于检测未知者的侵入或异常的监视系统，和用于辅助车辆的安全行驶的车载系统。如车载系统那样、室外的图像处理系统，为了通过一个摄像设备取得多个应用模块所需要的视频，需要与外界状况一致的相机控制。即使一个应用模块根据想要看的情况或所使用的时间带，也需要控制相机的朝向和曝光。例如，为了进行车线识别而搭载在汽车上的照相系统中，通过隧道的出入口、夕阳的太阳光、对向车的前灯等得到的视频的明亮度急剧变化。即使在这种情况下，照相系统，必须用设置在前方向的一台相机稳定地进行车线的识别。作为稳定地取得应用模块所必需的图像的曝光技术，存在例如在特开平8-240833；号公报或特开平9-181962号公报等中所公开的技术。
为了普及对这些系统的图像处理技术，要求图像处理装置的小空间化、低价格化。为了实现该小空间化、低价格，存在将一个摄像设备共用于多个应用模块中的技术。例如，如特开平7-46568号公报中所公开那样，是一种能够对多个应用模块高效利用一个相机的技术。具体地说，首先，在多个应用模块所期望的相机控制(曝光、视野角、相机方向)能够取得相同且共用的图像的情况下，由多个应用模块共用一个相机。此外，相机控制的上述各参数的差处于给定的范围内，在多个应用模块的图像没有中断的微小时间内切换设定并可分时控制的情况下，共用一个相机。并且，在上述各参数的差超出给定的范围的情况下，可知对该应用模块不可摄影，在该应用模块侧执行适当的处理。
在此，假设要求以某决定的周期进行图像处理的监视系统或车载系统的应用模块。例如，作为车载系统的例子，存在车线维持系统，其通过图像处理识别行驶车线并控制方向盘以使车辆不超出行驶车线。该系统中，需要在一定时间内(例如200ms以内)取得图像处理所取得的车线的识别结果并进行方向盘的控制。在之后的控制中使用图像处理结果的这种系统中，必需绝对地遵守图像处理的处理周期。在不遵守该周期的情况下，由于不能进行图像处理的控制、系统失去功能、成为误动作等的原因，因此应用模块不被认可。如上所述，作为要求高可靠性的系统，具有侵入者检测、人流/交通流计测装置、异常检测装置等的监视系统，在车载系统中，存在多个安全辅助系统、各种报警系统等。由于在这些监视系统或车载系统中使用的相机，需要识别外界，因此为了进行图像处理，即使一个应用模块相机参数也时刻都变化。从而，根据一个时期的相机参数的近似不能共用相机。例如，在上述车线维持系统中，如果某一时期相机参数偶然近似于其他应用模块，则系统工作。但是，下一瞬间，相机参数变化且相机不能共用，车线维持系统停止。在控制中使用的系统中不仅存在这种状况，而且也得不到具有可靠性的系统。

发明内容
本发明的目的在于，提供一种能够对多个应用模块高可靠性地共用一个摄像设备的图像处理相机系统。
本发明的另一个目的在于，提供一种向用户明示可执行的多个应用模块，能够使用户没有困惑地选择所执行地应用模块、使用方便地优良图像处理相机系统。
本发明在一方面的特征在于，具备取得图像的摄像设备；摄像设备控制部，其接收来自多个应用模块的图像取得要求，控制摄像设备；和选择所执行的应用模块的应用模块时序安排部，应用模块时序安排部备有根据从存储多个应用模块中的必要的图像数据数和图像数据获得频度的机构中读出的图像数据数和图像数据获得频度，选择可并行执行的多个应用模块的机构；和图像获得时序安排部，其决定可执行的多个应用模块，对一个摄像设备在时间上不重叠，而重复图像数据的获得的图像数据获得的时刻和间隔。
根据上述内容，能够由使相机参数动态地变化地多个应用模块高可靠性地共用一个摄像设备。
本发明的另一方面的特征在于，具备显示可并行执行的多个的机构；和用户用于指示该显示的可执行的应用模块的起动的操作机构。
根据上述内容，能够提供一种向用户明示能执行的多个应用模块，用户可以不困惑地选择可执行的应用模块，使用方便优良的图像处理相机系统。
本发明的其他目的和特征，通过以下实施方式的说明来明确。


图1是将本发明适用于汽车中的一实施方式的图像处理相机系统的框图及图像处理相机的硬件构成图。
图2表示汽车中的多个应用模块所必需的画质、速率(rate)、相机控制及图像处理功能的种类的图。
图3是本发明的一实施方式中的图像处理相机系统的功能框图。
图4是摄像设备控制部的功能框图。
图5是摄像设备的硬件构成图。
图6是多个应用模块的动作时序安排的一例时序图。
图7是对本发明的一实施方式中的应用模块进行时序安排的处理流程图。
图8是多个应用模块的动作时序安排的另一例时序图。
图9是使视频册的应用模块动作时的时序安排时序图。
图10是追加起动应用模块的顺序的时序安排时序图。
图11是可并行动作的应用模块的组的一例图。
图12是进行应用模块的选择或切换的导航画面的一例图。
图13是选择视频册的高画质后的图面例。
图14是表示进行应用模块的追加前后的导航画面的变化的一例的图。
图15是进行本发明的一实施方式的应用模块的追加起动的处理流程图。
图16是执行新应用模块的追加和已存应用模块的删除的画面的一例图。
图17是本发明的一实施方式的新应用模块的下载处理流程图。
图18是包括新应用模块的多个应用模块的动作流程的处理流程图。
具体实施例方式
图1是安装在本发明一实施方式的汽车中的的图像处理相机系统的框图及图像处理相机的硬件构成图。该图像处理相机系统，使用设置于汽车1的前方向或后方向的相机2、3，实现如下文所述的多个应用模块。图像处理相机2、3，通过网络4与接口机构5连接。汽车1的情况下，网络4，能够利用CAN(Control Area Network)等规范化的网络或只是由电力线显示接通/断开的连接方法等。接口机构5，是执行取得与导航系统、驾驶盘、制动装置等驾驶者之间的信息的设备，且取得与发动机控制单元、GPS、各种传感器等控制装置之间的信息的设备。接口机构5为导航系统的情况下，通过CAN等的网络4传达大量的信息。此外，在接口机构5为侧制动器的情况下，只传达必要最小量的ON/OFF信息。
采用图1(b)对图像处理相机2、3的硬件构成的一实施方式进行说明。通过摄像设备6取得的图像，介由摄像设备接口7存储在RAM8中。如后文所述的多个应用模块的程序或摄像设备6的控制程序等，被预先存储在ROM9中，根据需要通过CPU10执行。在图像处理相机2、3的内部，外部接口机构11介由网络4起到与外部的设备之间的中介作用。即这些要素7～11，构成微型计算机12，在ROM9中存储用于起动图像处理相机2、3的程序或涉及可执行的应用模块的信息。此外，在RAM8中存储执行应用模块所必需的信息。作为执行应用模块所必需的信息，存在后文所述的环境信息、从图1(a)的接口机构5得到的信息以及图像数据等。摄像设备6，由微型计算机12即CPU10所处理的程序控制，该控制信息，介由摄像设备接口7被发送。
图2是汽车中的多个应用模块、必要画质、速率、相机控制及图像处理功能的说明图。如图2所示，可举出下述例子作为应用模块例。(1)车辆周围的监控；(2)记录行驶时的状况的驾驶记录器；(3)记录行驶时的周围视频作为纪念的视频册；(4)通过相机识别行驶路线而实现的车线偏离报警；(5)对行驶中的障碍发出报警的障碍物报警；(6)插入、超越车辆报警；(7)边自动地控制灯的熄灭，边控制灯明亮强度和方向的灯自动控制功能；(8)停车或车线变更时的停车辅助、车线变更辅助机构；(9)在相撞前尽可能减轻相撞损坏程度的相撞减轻、避免功能等。
对这些多个应用模块所必需的①画质、②速率、③相机控制及④图像处理功能进行说明。
首先，对“①画质”进行说明，虽然期望越高越好，但如果分辨率高，则增加了数据量，对处理增添了负担，作为结果存在以给定的速率不能处理的情况。因此，存在适于应用模块的画质。虽然图2指定了仅视频册所使用的画质，但即使其他应用模块同样也存在适于视频册的画质。例如，车道识别所必需的画质只要能判断白线等的车道标记即可，不需要消耗时间和存储而取得必要以上的高画质的图像。
接下来，对“②速率”来说，与画质相同，存在适于各个应用模块的速率。在此，所谓速率指处理的频度，速率越高处理周期数越小，以短的时间间隔重复处理。一般来说，如果边取得高画质的视频，边执行涉及安全性的控制，则需要以短的间隔取得图像，速率变高。例如在要求相撞减轻或相撞避免等高可靠性和高速的响应性的应用模块中，需要增加图像处理的次数、改善可靠性的提高和响应性。由此，在应用模块中，如果存在一秒期间进行一次处理时，实现功能的设备，则由于也存在需要以16毫秒间隔进行的处理，为了共用摄像设备而必须考虑速率。
此外，“③相机控制”，主要分为人看到视频的应用模块和计算机处理图像的应用模块。图2中的监控、驾驶记录器、视频册功能是可视的应用模块，而灯自动控制以下的应用模块是进行识别处理的应用模块。作为相机控制的内容，监控用的控制中，只要取得人的感觉自然的图像即可，图像处理用的控制中，进行控制以使能取得图像处理部分能处理的图像。图像处理用的图像中，存在在图像暗部分的处理用中通过低速快门所取得的图像和在亮部分的处理用中通过高速快门所取得的图像等。进行这些快门控制的图像较多存在对人的眼睛，感觉过暗或过亮，而与监控用的相机控制不同的情况。此外，由于色彩控制为了检测信号而取得强调红色或黄色的图像，因此与再现自然色的监控用的相机控制不同。
最后，图2中，除了各应用模块外，还表示了必要的“④图像处理功能”。虽然作为基本的图像处理功能，存在图像压缩、颜色校正、车道识别、车辆检测等，但几个功能为多个应用模块中必需的相同的功能。如果多个应用模块中需要相同功能，则可认为该功能所必需的相机控制能够在应用模块间共有。例如，如果有车线偏离报警，则需要车道识别功能，同样如果实施需要车道识别功能的超车车辆报警和车道识别功能的共用化，则与此相伴也可在摄像设备的使用中共用化。
以下，对共用一个相机(摄像设备)，实现多个应用模块的本发明的一实施方式进行说明。
图3是表示本发明的图像处理系统的一实施方式的概要的功能框图。在此所示的大部分功能，由图1所示的微型计算机12执行。首先，具备控制取得图像的摄像设备6的摄像设备控制部13和控制应用模块的执行和停止的应用模块时序安排部14。是具备N个应用模块151～15N的系统，各个应用模块，利用作为基本的图像处理功能(A～M)16A～16M中必要的功能进行动作。此外，各个应用模块在处理中使用，应用模块时序安排部14具备在应用模块的控制中使用的环境信息17。在本实施方式中，除了称作通常相机的摄像设备6之外，将控制摄像设备6的摄像设备控制部13、执行各个应用模块A～M的部分集中在图1(a)中所示的图像处理相机2、3部中。在此，为了对实现上述的应用模块的高度处理功能所具有的相机(例如相机2、3)与取得仅图像的相机进行区别，而称作图像处理相机。
首先，对图3中所示的各个应用模块1～N中之一151，单独执行的情况进行说明。该单独执行的说明，与现有技术的特开平8-240833号公报、特开平9-181962号公报等的动作相同。应用模块151，为了从摄像设备6取得处理所必需的图像，参照周围的明度、图像处理范围、现在取得的图像的状态等的环境信息17。基于此，决定相机参数(相机朝向、光圈值、快门速度等)，摄像设备控制部13依赖于摄像设备6的控制。摄像设备控制部13中，考虑摄像设备6的曝光时刻等，设定应用模块151想要的相机参数。这里，环境信息17存在地图信息、日时(季节)、车外的照度、天气、注视范围等。
因此，在只存在单独的应用模块的情况下，仅摄像设备控制部13对摄像设备6设定应用模块想要的相机参数的功能就足够了。但是，图3中由于应用模块为多个，因此需要接收各个应用模块所要求的相机参数，控制以使摄像设备6在有限的时间间隔内能取得各个图像的功能。本实施例中，应用模块时序安排部14实现该功能。即应用模块时序安排部14，具有调整多个应用模块1～N所要求的、对摄像设备6的控制并执行的功能。
根据应用模块的种类，产生摄像设备6不能共用的情况。例如，为了想要以高画质录像视频而想要每帧取得清晰的图像的应用模块，和想要以尽可能短的时间间隔每次取得图像处理中所必需的图像以避免冲突的应用模块。使用一个摄像设备并行执行该两个应用模块时，只要两个应用模块的相机控制不完全相同，就很困难。因此，虽然限定了并行执行的应用模块，但该控制也通过应用模块时序安排部14进行。应用模块时序安排部14，根据各个应用模块所必需的图像控制信息和处理量、以及汽车1的行驶状况判断可执行的应用模块。并且，在能执行的情况下，调整图像取得时序和处理时序。通过该应用模块时序安排部14，即使使相机参数动态变化的多个应用模块也能够有效地共用一个摄像设备。还有，接口机构5，如图1说明所示，实现导航系统、驾驶盘、制动装置等驾驶者或汽车1的行驶控制系统之间的中介作用。
接下来，采用图4、图5，对摄像设备1的相机参数的控制进行说明。
图4是摄像设备控制部13的功能框图。如图所示，为了控制从摄像设备6得到的图像，需要以下的5个控制功能部。首先，存在控制入射到用于将光量转换为电信号的摄像元件中的光量的曝光控制部131；在将光量转换为电信号之后，通过电信号控制亮度的增益控制部132以及控制色彩信息的色彩控制部133。此外，还有限定数据传输的范围，高速地扫描图面的扫描范围控制部134以及视频输入控制部135。如图1(b)说明所示，各个控制，通过微型计算机12的程序处理而执行。如果还存在根据控制的对象，可实时变更的静态参数，则也存在机械地控制装置而变更的动态参数，为了在后者的情况下，取得所希望的图像，也需要时间。
图5是摄像设备6的硬件构成图。在摄像设备6的内部，通过信号处理部61，执行可变更相机参数的增益控制以及色彩控制等的静态控制。另一方面，在透镜62、光圈63以及摄像元件64等的光学系统中，具有动态地控制聚焦和快门速度的光学系控制部65。在本实施例中，即使涉及这些变更的时序安排也执行，如上所述，虽然信号处理的参数变更可瞬时进行，但光学系统瞬时不能变更的情况较多。
接下来，对时序安排的方法进行说明。如上所述，各个应用模块需要以给定的速率进行处理。例如，如果在车线偏离报警中，需要在偏离车线300[ms]以内发出报警，则车线偏离报警处理周期最长必须在300[ms]以下。如果通过以与执行中的应用模块之间的关系不能实现给定的速率的情况下，不能起动该车线偏离报警处理。因此，进行时序安排以使能够实现给定的速率，必须起动各个应用模块。以下对时序安排进行详细叙述。
图6是多个应用模块的动作时序安排的一例时序图，表示超车车辆报警和驾驶记录器的两个应用模块共用一个摄像设备，并行执行时的时序安排。视频册300，规定能够取得图像的时序，以帧F0～F5的帧号码表现各个时序。例如，在通常的摄像设备中，一个帧为33[ms]或16[ms]。在超车车辆报警301中，如图2的相机控制栏所示，采用进行高速和低速快门控制的两副图像来进行超车车辆的识别(车辆检测)处理。因此，需要取得图像1、2的两副图像并进行处理。在该图中，由于将超车车辆报警301的处理周期(1周期)作为6帧，因此如果在6帧的期间内取得两副图像，则进行各个图像处理。另一方面，驾驶记录器302记录图像的处理，但这些处理周期也为6帧，所取得的图像为1副。图3的应用模块时序安排部14，取得用于超车车辆报警301的图像1、2和计算处理1、2的处理时间。并且，由于超车车辆报警301中需要6帧，因此帧F0中获得图像1，帧F1～F2中分配处理1，帧F3中获得图像2，帧F4～F5中分配处理2。另一方面，驾驶记录器302的处理只取得图像，在通过超车车辆报警301不使用摄像设备6的帧F1中分配获得图像3。这里，在两个应用模块中，由于图像的厚的时序不同，因此可将图像1～3的相机参数设为完全不同，这些应用模块中可共用一个摄像设备6。
图7是本发明的一实施方式的应用模块的时序安排的处理流程图。采用该图对时序安排处理的周期(cycle)进行说明。上述的图6，处理周期(cycle)为帧F0～F6构成的6帧，重复该处理周期。首先，在周期地重复处理周期的最初的步骤71中，确认是否更新执行中的处理时序安排。在不进行时序安排变更的情况下，转移至步骤72的帧F0的期间的处理。在步骤72的内部，首先通过步骤721，进行在帧F0的期间内所获得的图像数据的取得命令的发行。图像数据的获得，通过通常称作DMA传输的将负荷不加载至CPU的输出方法来实现，因此CPU的处理转移至下一步骤722。步骤722中，进行在下一个到来的帧F1的期间内所获得的相机参数例如快门速度等的曝光控制的设定。相机参数的设定，作为图3的摄像设备控制部13的功能，通过图1(b)所示的微型计算机12来执行。即通过摄像设备接口7，在适于摄像设备6的时刻设定。如果结束了该处理，则转移至步骤723。步骤723中，进行在帧F0的期间所执行的软件处理。设定为完全执行在帧F0期间执行的处理后，在步骤73中，下一次执行帧F1的处理，结束这一次的处理。之后，如果帧F1的时期来临且通过定时器插入再次起动该处理，则这一次也同样执行帧F1的处理。通过这样，根据定时器插入，依次重复帧F0～F5的处理。
在步骤71中，在更新时序安排的情况下，以后的处理也与上述说明的处理内容相同，但各个处理时序根据新的时序安排按照需要被初始化。新的时序安排的适用，通过步骤71被执行。
图8是多个应用模块的动作时序安排的另一例的时序图，是对车线偏离报警310、灯自动控制311及驾驶记录器302的并行动作的说明图。车线偏离报警310，处理周期为6帧，必要的图像为两副高速/低速快门的图像，处理量为对各个图像1帧总计两帧。灯自动控制311，也为处理周期为6帧、高速/低速快门的两副图像、处理量对各个图像1帧。驾驶记录器302，也可在每个一定间隔(这里为6帧)记录一副图像。此时的应用模块执行的时序安排如图8(a)和(b)所示。该图(a)中，表示适于在车线偏离报警310中使用的高速/低速快门的图像1、2能够与由灯自动控制311所使用的图像共用的情况。此时，车辆检测和车道识别的图像处理功能的相机控制相同。由于通过车线偏离报警310和灯自动控制311可使用相同的图像，因此对图像1，执行车线偏离报警310的处理1和灯自动控制311的处理3，对图像2分别执行处理2和处理4。作为结果，通过图3的应用模块时序安排部14的功能执行图(a)所示的时序安排，能够由3个应用模块共用一个摄像设备6。
关于车线偏离报警310和灯自动控制311不能共用各副图像的情况，采用图8(b)进行说明。此时，假设由各个应用模块所使用的相机参数控制不同，不一定为相同的控制的情况。由于车线偏离报警310和灯自动控制311的图像不共用，因此灯自动控制311需要独自取得图像4、5的两副图像。进行时序安排以使通过车线偏离报警310和驾驶记录器302不使用的帧F2、F5分别取得图像4、5。此外，与取得图像的时刻一致，对在帧F0、F3中对用于自动控制311的处理3、4进行时序安排。通过这样，由这3个用于共用一个摄像设备6，同时可并行地进行动作。
图9是使视频册的应用模块动作时的时序安排时序图。在视频册的高画质模式312中，每一帧取得图像，并要求实时地压缩的处理。由于每一帧进行图像的取得，因此处理周期(cycle)为1帧，如图9(a)所示。另一方面，在视频册的低画质模式313的情况下，不需要每帧记录图像，成为慧形相差后的视频。如果假设此时的处理周期(cycle)为6帧，则成为如图(b)所示的时序安排。由图可知，在执行高画质的视频册功能的情况下，没有重新使用摄像设备6的应用模块动作的余地，驾驶记录器302等可只与视频册(高画质)312完全地共用图像的应用模块并行执行。
另一方面，在低画质的视频册功能中，重新以别的相机参数控制摄像设备6并能够取得图像，因此能够选择各种应用模块并执行。
图10是追加起动应用模块的顺序的时序安排时序图，是说明在使低画质的视频册功能313动作的状态下，追加起动等自动控制311的情况的图。在图(a)中，由于只低画质的视频册功能313动作，因此不使用摄像设备6的期间较多。这里，在追加灯自动控制311的情况下，其处理周期(cycle)最短为4帧(图像获得两次、处理两次)，因此容纳于作为视频册功能313的处理周期6帧内。此外，如果周期数为4帧以上，则能够并行执行视频册(低画质)313和灯自动控制311。在本实施例中，灯自动控制311的周期数为6帧。
在图3的应用模块时序安排部14中执行图10(b)的时序安排的结果，能够使视频册功能313和灯自动控制311的两个应用模块并执行。此时，追加的灯自动控制311的处理的开始，被控制以使与视频册的处理周期一致地开始。此外，为了在图像获得中与视频的同步信号同步地进行图像取得，处理的周期和开始时刻全部与视频的同步信号一致。
根据以上的本发明的实施方式，即使在使相机参数动态地变化的应用模块期间，也能够共用摄像设备6。
图11是可并行动作的应用模块的分组化的一例图。将可动作的应用模块预先分组，能够进行控制以使每组进行最佳的时序安排。通过将预先动作的应用模块分组化，用户省去了选择一个一个应用模块的时间，此外，由于能够进行通常最佳的时序安排，因此能够有效地使用摄像设备6。考虑各个应用模块间的基本的图像处理功能(图2)的一致程度等，根据由图6、8～10说明的可否执行图像获得和处理时序安排来决定分组。在该例中，表示按照在组1～4中，分别包括三个、两个、五个及两个应用模块的方式组化的情况。
接着，对本发明的一实施方式的用户接口进行说明。根据本发明，通过共用一个摄像设备6，能够切换多个应用模块，同时进行并行处理。在此，提供一种驾驶者在行驶中切换图像处理相机2、3的功能，同时或者可重新开始的用户接口。
图12是进行应用模块的选择或切换的导航画面的一例图。由驾驶者在导航画面19上选择应用模块，或者进行切换的情况的顺序进行说明。图12中，在图面19上显示能选择的多个应用模块，驾驶者通过接触导航画面19的应用模块显示部，能够选择执行应用模块。例如，对选择视频册的高画质的情况进行说明。还有，虽然在图12以后的画面19中，通过纸面的空间的情况生省略如图2所示的多个应用模块中的一部分，但实际上显示了所有的应用模块。
图13表示选择视频册的高画质后的画面。首先，如果选择高画质的视频册功能312，则由于处于动作中，因此在画面19上，如粗线所示，清楚地表示“视频册(高画质)”。在视频册(高画质)312处于动作中的情况下，如图9(a)说明的那样，大幅限定可并行动作的应用模块。在此，如图11的可并行动作的组4所示，监控功能303是可并行动作的功能。从而，“监控”的显示，通过显示如实线所示那样的可选择的颜色或明亮度来显示。除此之外的应用模块的显示，如虚线所示，切换为所有不可选择的状态显示。
驾驶者想要停止视频相册(高画质)312的情况下，如果接触“复位”按键部或再次接触“视频册(高画质)”显示部，则结束该应用模块，应用模块的起动或停止，直接反映在摄像设备的控制中，从摄像设备得到的图像变化。此时，产生得到的图像自身根据曝光控制等变化的情况和处理周期变化且所输出的图像的时刻变化的情况的两种类的变化。由于由多个应用模块共用一个摄像设备6，因此如果动作的应用模块变化，则需要使摄像设备的输出数据变化。
图14是进行应用模块的追加的导航图面的一例图。在视频册(低画质)动作中，比视频册(高画质)动作中的情况，可执行其他多个应用模块。如图11的可并行动作的组4所示，除了视频册(低画质)313以外，可进行灯自动控制311、超车车辆报警301、车线偏离报警310以及停车辅助304的处理。在图14(a)的导航画面19中，明示了视频册(低画质)动作中，同时除此之外表示上述的4个应用模块可起动。在此，对驾驶者追加起动灯自动控制311的情况进行说明。该情况，在图14(a)的画面中接触了“灯自动控制”的显示部。
图14(b)是追加起动灯自动控制311的画面。如图所示，“灯自动控制”的显示部切换为表示动作中的显示，同时起动该应用模块。
还有，导航画面19中，假设应用模块的选择和切换根据驾驶者的指示来决定，但也可根据驾驶者以外的信息进行应用模块的选择和切换。例如，在高速行驶中，由于不能停车，因此不选择停车辅助功能304。此时，期望由车速限定应用模块的选择范围且能不选择停车辅助功能。图14(b)中，由于处于高速行驶中，因此例示了“停车辅助”的显示部不可选择地切换的状态。此外，即使驾驶者已预先选择了停车辅助时，在设为预定高速的情况下，同样消除“停车辅助”的显示，也不选择。高速移动中，超车车辆报警301和车线偏离报警310等的应用模块可动作，只显示这些可能的应用模块，可选择。
此外，作为应用模块的切换例，行驶于市区时，动作相撞减轻等的安全功能优先，可比车线偏离报警或视频册功能更优先地动作。相反，在观光地或风光明媚的场所，可使视频册功能优先地动作，也可使其他功能停止。还有，如上所述，除了驾驶者的操作以外，根据来自制动装置、GPS、车速等各种传感器的信息，能够限制根据周围环境的变化动作的应用模块的选择，同时切换应用模块的动作自身。
如上所述，根据图3的应用模块时序安排部14，如果进行应用模块的执行、追加起动以及停止，则从导航画面根据驾驶者的意志切换动作应用模块。
在图12～图14中，虽然说明了导航画面19上的应用模块的切换顺序，但也可进行导航画面以外执行的应用模块的选择。例如，也可在驾驶盘上按下按键，选择车道维持行驶功能。此时，在驾驶者按压按键的时刻。不知道那种应用模块动作。因此，作为时序安排的方法，考虑最优先地设定车道维持行驶功能，关于不与车道行驶功能并行动作的应用模块，进行强制地结束的控制。这种结构，不仅按键，而且搭载在汽车上的各种传感器也可实现该作用。例如，与检测障碍物的距离传感器连接，在输入具有障碍物的这种信号的情况下，也可最优先起动障碍物回避的应用模块。此时，如果使之前动作的应用模块动作或者障碍物回避应用模块动作，则动作中的应用模块也可照旧。此外，如果不能并行动作，则也可中断动作中的应用模块，立即起动障碍物避免的应用模块并进行控制以使开始动作用于安全辅助的功能。这些功能通过图3的应用模块时序安排部14来实现。
图15是进行本发明的一实施方式的应用模块的追加起动的处理流程图。例如，如图10以及图14所述，在视频册(低画质)313的动作中，假设驾驶者在导航画面19中，追加起动灯自动控制311的情况。根据驾驶者，如果“灯自动控制”通过触摸屏被选择，则在步骤201中，从导航接收应用模块追加的事件，通过插入处理起动该处理。接收事件后，程序在步骤202中，取得执行中以及追加的应用模块的信息。这些信息，被存储在图3的环境信息数据库17中，是包括执行中的时序安排、当前的帧、各个应用模块处理周期、相机参数的图像取得信息。此外，还有图11中所说明的、调查能够并行执行哪种应用模块的分组信息等。在步骤203的时序安排处理中，确认所选择的灯自动控制，是否处于与动作的视频册(低画质)功能相同的组中。即使没有分组信息，也能参照应用模块信息确认可所选择的应用模块是否为可执行的应用模块。基于处理的周期数、取得图像副数、必要的图像处理功能的信息，通过如图6～图10所说明的那样的、对处理周期内的必要处理的分配判定是否可执行。进行可执行的应用模块和不可执行的应用模块之间的区分后，将这些信息反映在应用模块信息中。在可执行的情况下，采用环境信息17内的应用模块信息和时序安排信息来对时序安排进行更新。即、在要求追加起动的应用模块与动作中的应用模块之间，更新时序安排以使在时间上不重复，而从一个摄像设备重复图像数据的获得。步骤204中，以更新的新时序安排再次分析可追加的应用模块，向驾驶者通知，在具备下一应用模块追加事件后，通过步骤205结束处理。
由于该应用模块的追加起动的处理，检测事件发生并执行插入处理，因此不知道由图7所说明的流程的哪一个步骤执行插入处理。为了确保处理中的信息的匹配性，在本实施方式中，时序安排的更新由图7的步骤71执行。
如果以该实施方式的图像处理相机系统为要点，则有以下内容。首先，具备选择可并行执行的多个应用模块的步骤(202)。接着，具备时序安排步骤(203)，其决定可执行的多个应用模块对一个摄像设备在时间上不重叠，而重复图像数据的获得的图像数据获得时刻和间隔。该时序安排步骤(203)，包括决定包含采用各个应用模块中所获得的图像数据的处理的时刻的步骤。还有，在多个应用模块中，从存储必要的图像数据的个数和必要的获得频度的存储机构(17)读出这些信息的步骤。并且，包括基于读出的图像数据的副数和获得的频度，可执行的多个应用模块，决定从一个摄像设备重复图像数据的获得的图像数据获得时刻和间隔的步骤。
图16是执行新应用模块的追加和已存应用模块的删除的画面的一例。应用模块，规定处理周期(cycle)、图像处理功能、使用的图像、处理量等动作中所必需的信息，并追加到菜单中。与以往的应用模块相同，从画面选择这些信息并删除。在图16中，为了追加新的应用模块，而表示进行下载的触摸屏部191和删除已存的应用模块的触摸屏部192。
图17是对新应用模块进行下载的处理流程图。采用图16的画面进行下载时的说明。新应用模块，从网络或小型闪存等的记录介质取得。用户选择通过下载得到的新应用模块的选择的情况下，从步骤171起动该处理。在步骤172中，可下载的应用模块作为菜单向用户提示。在步骤173中，用户从菜单中选择必要的新应用模块。在该结果下，如果结束由步骤174追加的新应用模块的选择，则在步骤175中，执行可并行动作的应用模块的分析。可并行执行的应用模块的组合，如上所述，根据处理的周期数、取得图像副数以及必要的图像处理功能等进行判断。根据该结果，更新图11所示的已存的分组。在步骤176中，确认所有分组的组合后，将信息作为应用模块信息存储，由步骤177结束下载处理。
图18是包括新应用模块的动作时序安排的处理流程图。该时序安排处理，是通过图15的步骤203的时序安排所进行的处理。首先，由步骤181起动时序安排处理，在步骤182中取得执行中的应用模块及被追加的应用模块的信息。并且，由步骤183，对具有最短的处理周期的应用模块，在时序安排上进行映象(mapping)。此时，具有尽可能多的余量地进行映象以使其他地应用模块可动作。例如，也可在6帧以内完成处理，不进行由3帧进行应用模块处理的映象。在对具有最短的处理周期数的应用模块进行映象后，在步骤184中，接下来对具有短的处理周期数的应用模块进行映象。在此，在映象失败的情况下，即不能使用摄像设备6且不能取得软件处理的时间的情况下，返回到一个前的步骤183的应用模块的时序安排处理。并且，变更摄像设备6的使用时刻和软件处理的时刻，再次在步骤184的第2次执行具有短的处理周期数的应用模块的映象。在能映象的情况下，转移至步骤185，逐次在时序安排中对应用模块进行映象。在步骤186中，关于具有最长的处理周期数的应用模块，确认在时序安排上能够映象。在中途在时序安排上不能映象的应用模块出现的时刻，判断为所要求的应用模块的追加，不是可并行执行的应用模块，向用户通过该内容，并放弃追加起动。
在以上的实施方式中，具备取得图像数据的摄像设备(6)；和采用从该摄像设备得到的图像数据并设定为各个具有不同的功能的多个应用模块(151～15N)。此外，具备根据与多个应用模块对应的图像数据取得要求控制摄像设备的摄像设备控制部(13)。还有，多个应用模块以图像处理相机系统为前提，该图像处理相机系统具备由一个摄像设备获得图像数据并并行执行多个应用模块的控制部(14)。在此，具备存储多个应用模块中的必要的图像数据数和图像数据获得频度的机构(17)。此外，具备基于这些图像数据数和图像数据获得频度，选择可并行执行的多个应用模块的机构(14)。接下来，具备决定可执行的多个应用模块，对一个摄像设备在时间上不重叠，而重复图像数据的获得的图像数据获得的时刻和间隔的图像获得时序安排部(14)。该时序安排部(14)，构成为决定包括各个应用模块中所获得的图像数据的处理的时刻。
此外，具备，采用从一个摄像设备取得的图像数据并存储刻并行执行的多个应用模块的组合的应用模块分组存储机构(17)。在此，上述的选择机构，从应用模块分组存储机构，对可并行执行的应用模块分组读出数据。
还有，为了执行多个应用模块，具备控制摄像设备的多个基本图像处理功能部(16A～16M)。并且，具有最为必要的这些基本图像处理功能的一致的程度，采用从一个摄像设备得到的图像数据来决定并行执行的多个应用模块的机构。
基于上述的图像数据数和图像数据获得频度，选择可并行执行的多个应用模块的机构(14)，基于在应用模块中某应用模块属于与执行中的应用模块相同的应用模块组，选择可执行的其他应用模块。此外，关于作为必要的基本图像处理功能，作为基于与执行中的应用模块一致的程度，选择可执行的其他应用模块的帮助。还有，根据在来自执行中的应用模块的摄像设备的图像数据的获得期间的空当的时刻，从其他应用模块所必需的摄像设备可获得图像数据这一事实，选择可执行其他应用模块的应用模块。
接下来，关于人机界面，具备显示可执行的应用模块的机构(19)；用于用户指示该显示的可执行的应用模块的起动的操作机构。此外，具备，显示执行中的应用模块及可追加执行的应用模块的机构；和用于用户指示可追加执行的应用模块的起动及执行中的应用模块的停止的操作机构。并且，具备基于该操作机构的指示输入，进行应用模块的起动及停止的控制机构。
此外，具备根据周围环境的变化，切换可追加执行的应用模块的可执行应用模块选择机构；和显示由该选择机构所选择的可执行的应用模块的机构。
还有，具备要求由新应用模块的下载所引起的追加的操作机构。
根据这些特征，能够由多个应用模块高可靠性且高效地共用一个摄像设备。此外，用户能选择可执行的应用模块，能够即刻执行用户所选择的应用模块。还有，根据系统的状况选择应优先执行的应用模块并能够执行。
以上，虽然对将本发明适用于搭载在汽车中的图像处理系统的实施方式进行了详细地说明，但本发明能够适用于多种图像处理相机系统中。在通过设置多台实现某特定功能地相机而具有能共用的图像处理功能的情况下，可适用本发明，对应用模块所必需的每个功能能高可靠性地共用相机，并削减相机台数。
产业上的可利用性根据本发明，能够提供一种能够由多个应用模块高可靠性地共用一个摄像设备的图像处理相机系统。
此外，根据本发明的实施方式，能够提供一种向用户明示能执行的多个应用模块，用户可以不困惑地选择执行地应用模块地使用方便地优良图像处理相机系统。
权利要求
1.一种图像处理相机系统，具备摄像设备，其取得图像数据；多个应用模块，其使用图像数据且被设定为各自具有不同功能；摄像设备控制部，其根据与多个所述应用模块对应的图像数据取得要求，控制所述摄像设备；和控制部，其使多个应用模块获得从一个摄像设备取得的图像数据，并并行执行多个应用模块，其特征在于，具备存储多个应用模块中的必要的图像数据数和图像数据获得频度的机构；基于这些图像数据数和图像数据获得频度，选择可并行执行的多个应用模块的机构；和图像获得时序安排部，其决定可执行的多个应用模块，从一个摄像设备在时间上不重叠，而重复图像数据的获得的图像数据获得的时刻和间隔。
2.根据权利要求1所述的图像处理相机系统，其特征在于，具备时序安排部，其决定包含了采用各个应用模块中的所获得的图像数据的处理的时刻。
3.根据权利要求1所述的图像处理相机系统，其特征在于，具备应用模块分组存储机构，其存储采用来自一个摄像设备的图像数据并并行执行的多个应用模块的组合；所述选择机构，从所述应用模块分组存储机构，读出关于可并行执行的应用模块分组的数据。
4.根据权利要求1所述的图像处理相机系统，其特征在于，具备为了执行多个应用模块，基于控制所述摄像设备的多个基本图像处理功能部；和作为必要的所述基本图像处理功能的一致的程度，决定采用来自一个摄像设备的图像数据并行执行的多个应用模块的机构。
5.根据权利要求1所述的图像处理相机系统，其特征在于，具备，某应用模块在执行中，基于属于与执行中的应用模块相同的应用模块分组这一情况，选择可执行的其他应用模块的机构。
6.根据权利要求1所述的图像处理相机系统，其特征在于，具备，某应用模块在执行中，基于与执行中的应用模块的一致的程度，对于作为必要的基本图像处理功能选择可执行的其他应用模块的机构。
7.根据权利要求1所述的图像处理相机系统，其特征在于，具备某应用模块在执行中，根据在执行中的应用模块的摄像设备的图像数据的获得期间的空当的时刻，可获得来自其他应用模块必需的摄像设备的图像数据的这一情况，可选择所述其他应用模块作为可执行的模块的机构。
8.一种图像处理系统，具备多个应用模块，其采用图像数据并被设定为各自具有不同的功能；摄像设备，其取得图像数据；和摄像设备控制部，其根据与多个所述应用模块对应的图像数据取得要求，控制所述摄像设备，其特征在于，具备显示可执行的应用模块的机构；和用于用户指示该显示的可执行的应用模块的起动的操作机构。
9.根据权利要求8所述的图像处理相机系统，其特征在于，具备某应用模块在执行中，显示执行中的应用模块的机构；用于用户指示执行中的应用模块的停止的操作机构；和基于该操作机构的指示输入进行应用模块停止的控制机构。
10.根据权利要求8所述的图像处理相机系统，其特征在于，具备某应用模块在执行中，显示执行中的应用模块及可追加执行的应用模块的机构；用于用户指示可追加执行的应用模块的起动及执行中的应用模块的停止的操作机构；基于该操作机构的指示输入，进行应用模块的起动及停止的控制机构。
11.根据权利要求8所述的图像处理相机系统，其特征在于，具备可执行应用模块选择机构，其根据周围环境的变化，切换可追加执行的应用模块；和显示通过该选择机构所选择的可执行的应用模块的机构。
12.根据权利要求8所述的图像处理相机系统，其特征在于，具备要求新应用模块的追加的操作机构。
13.根据权利要求8所述的图像处理相机系统，其特征在于，具备要求由新应用模块的下载所引起的追加的操作机构。
14.一种图像处理相机控制方法，在具备摄像设备，其取得图像数据；多个应用模块，其使用来自所述摄像设备的图像数据且被设定为各自具有不同功能；摄像设备控制部，其根据与多个所述应用模块对应的图像数据取得要求，控制所述摄像设备；和控制部，其使多个应用模块获得从一个摄像设备取得的图像数据，并行执行多个应用模块的图像处理相机系统中，其特征在于，具备下述步骤选择可并行执行的多个应用模块的步骤；时序安排步骤，其决定可执行的多个应用模块，在时间上不重叠，而重复从一个摄像设备中获取图像数据的图像数据获得时刻和间隔。
15.根据权利要求14所述的图像处理相机控制方法，其特征在于，具备决定包括采用各个应用模块中的获得图像数据的处理的时刻的步骤。
16.根据权利要求14所述的图像处理相机控制方法，其特征在于，具备下述步骤从存储多个应用模块中必要的图像数据的副数和必要的获得频度的存储机构中读出这些信息的步骤；和基于所读出的图像数据的副数和获得频度，决定可执行的多个应用模块从一个摄像设备中重复图像数据的获得的图像数据获得时刻和间隔的步骤。
全文摘要
本发明的目的在于在使相机参数动态地变化地多个应用模块之间高可靠性地共用一个摄像设备。因此，具备取得图像的摄像机构(6)；摄像设备控制部(13)，其控制接收来自多个应用模块(151～15N)的图像取得要求的摄像设备；和选择所执行的应用模块的应用模块时序安排部(14)，备有存储多个应用模块(151～15N)中的必要的图像数据数和图像数据获得频度的机构(17)；和基于这些图像数据数和图像数据获得频度，选择可并行执行的多个应用模块的机构；和图像获得时序安排部(14)，其决定可执行的多个应用模块，对一个摄像设备在时间上不重叠，而重复图像数据的获得的图像数据获得的时刻和间隔。并且，向用户明示可并行执行的应用模块，同时在导航画面中显示指令这些起动的操作部。
文档编号H04N5/232GK1802856SQ0382677
公开日2006年7月12日 申请日期2003年7月11日 优先权日2003年7月11日
发明者村松彰二, 大塚裕史, 武长宽, 门司龙彦, 竹崎次郎, 古泽勋 申请人:株式会社日立制作所