专利名称：嵌入式图像处理辨识系统与方法
技术领域：
本发明为一种嵌入式图像处理系统与方法，尤其是指一种结合环境光感测器的嵌入式图像处理辨识系统与方法。
背景技术：
随着科技进展，生活富裕，机动车辆日益普及至每个家庭，交通的方便性由于车辆科技的进步而不断提升。然而随着车辆使用的频繁，使用机动车辆造成的死亡人数始终居高不下。根据内政部警政署统计，历年来台湾地区每年因交通事故而死亡的人数皆维持在三千人左右，受伤人数则在二十万人左右，如2005年台湾地区因交通事故的死、伤人数各为2，894及200，009人。平均每天有8人因交通事故死亡。分析其肇事原因，百分之九十七以上是驾驶不当所致，事故类型又以追撞案例占大宗。这些交通事故不仅造成个人及家庭的负担，耗费社会有限的医疗资源，并造成国家生产力的损失。有鉴于此，如果能以摄影机，建立一车道偏离及前车碰撞警示系统，应用先进的图像处理技术辨识出本车周围的车道及车辆并估计与其的相对距离，在驾驶者非预期性的跨越车道线或是与前车距离过近时提出警示信号，警告驾驶者作出适当处置，如减低车速等等，以避免事故的发生，也可降低交通事故发生机率。然而，在现有的技术中，此类系统只采用单纯的图像感测器，且并不强调在各种环境光源强度下以不同演算法及不同参数处理图像感测器所撷取的图像，受限于图像感测器其本身特性，并不容易有效的在任意的光源环境下有效辨识出物体。而在美国专利公告号US. Pat. No. 4，942，533号，其公开一种可以显示与检测车辆相对位置的技术。在该技术中，以车道线所形成的一消失点(vanishing point)估计摄影机仰角，而得以估计本车与前车的间距。另外，在US. Pat. No. 5，555，312号中，其也公开出车道辨识以及车辆辨识的技术。在所公开的技术中，其演算法的设计与参数调整并无针对外在环境的光源变化(如日间与夜间)而自动调整其演算逻辑及演算法参数。
发明内容
本发明提供一种结合环境光感测器的嵌入式图像处理系统及辨识演算法，利用光感测器，可正确地判断出日夜间的外在环境亮度的差别，因此，图像处理系统的演算逻辑及演算法内部参数即可针对外界光源强度的变动(如日夜间)顺利从日间切换至夜间演算法，以实现一全天候皆可运作的车辆辨识图像处理系统。在一实施例中，本发明提供一种嵌入式图像处理系统，其包括有一图像感测器， 其截取一外部环境的一图像；一光感测器，其感测关于该外部环境的一光特征值，以产生关于该光特征值的一感测信号；以及一信号处理与控制模块，其与该图像感测器以及该光感测器耦接以接收该图像以及该感测信号，该信号处理与控制模块存储有多种对应不同环境状态的图像解析演算法，该信号处理与控制模块根据该感测信号由该多种图像解析演算法中决定一图像解析演算法以对该图像进行解析，而得到关于至少一种特征物的辨识图像。
在另一实施例中，本发明提供一种嵌入式图像处理方法，其包括有下列步骤提供一嵌入式图像处理系统，其具有一图像感测器、一光感测器以及一信号处理与控制模块，该信号处理与控制模块存储有多种对应不同环境状态的图像解析演算法；以该图像感测器截取一外部环境的一图像；以该光感测器，感测关于该外部环境的一光特征值，以产生关于该光特征值的一感测信号；以及利用该信号处理与控制模块根据该感测信号而由该多种图像解析演算法中决定其中的一图像解析演算法以对该图像进行解析，而得到关于至少一种特征物的辨识图像。
图1为本发明的嵌入式图像处理辨识系统方块示意图。图2A与图2B分别为可见光频谱与路灯的频谱示意图。图3为本发明的嵌入式图像处理辨识方法流程第一实施例示意图。图4为本发明的嵌入式图像处理辨识方法第二实施例流程示意图。图5为本发明的夜间图像解析演算法实施例流程示意图。图6A为具有多个兴趣区域的单一张图像示意图。图6B与图6C分别为远兴趣区域与经过减缩取样的近兴趣区域示意图。图7为本发明的嵌入式图像处理辨识方法第三实施例流程示意图。主要元件符号说明2-嵌入式图像处理辨识系统20-图像感测器21-光感测器22-信号处理与控制模块
220-第一信号截取与解码单元221-第二信号截取与解码单元222-数字信号处理与控制单元223-存取存储器224-非易失性可编程存储器225-信号传输单元23-显示单元3-图像处理辨识方法30 33-步骤4-图像处理辨识方法40 43-步骤420 似8_步骤90-图像900-近兴趣区域901-远兴趣区域91、92_ 车辆
具体实施例方式为本领域技术人员能对本发明的特征、目的及功能有更进一步的认知与了解，下文特将本发明的装置的相关细部结构以及设计的理念原由进行说明，以使得本领域技术人员可以了解本发明的特点，详细说明陈述如下请参阅图1所示，该图为本发明的嵌入式图像处理辨识系统方块示意图。在本实施例中，该图像处理辨识系统2可以设置于一车辆上，以用以检测在该车辆周围的物体与该车辆间的相对状态。该物体，可以为可动物体或者是不可动物体，在本实施例中，其为可动物体，例如车辆。而所谓相对的状态则可以为设置有该系统2的车辆与他车间(例如 前车)的距离。该嵌入式图像处理辨识系统2包括有一图像感测器20、一光感测器21以及一信号处理与控制模块22。该图像感测器20，其截取截取一外部环境的一图像。在本实施例中，该图像感测器20为摄影机，其可以截取一连续动态图像。而该图像为该连续动态图像中的一影格(frame)的图像，亦即在某一时间点所撷取的图像。该图像感测器20的感测光元件为光电耦合元件(Charge-Coupled Device5CCD)或互补式金属氧化物半导体的光学感测元件(Complementary Metal-Oxide kmiconductor，CMOS)。该光感测器 21，其感测关于该外部环境的一光特征值，以产生关于该光特征值的一感测信号。该光特征值为关于该外部环境的光强度。该光感测器21，其可以为可见光感测器或者是不可见光感测器。该不可见光感测器可为紫外线感测器，但不以此为限制。信号处理与控制模块22，其与该图像感测器20以及该光感测器21耦接以接收该图像以及该感测信号，该信号处理与控制模块22内存储有多种对应不同环境状态的图像解析演算法，该信号处理与控制模块22根据该感测信号由该多种图像解析演算法中决定一图像解析演算法以对该图像进行解析，而得到关于至少一种特征物的辨识图像。而该图像解析演算法依外部环境的光强度大小分为η种模式。例如在一实施例中，其可以分为曰间图像解析演算法及夜间图像解析演算法。根据光特征值的信息，信号处理与控制模块22 可以选择适当的辨识演算法，对所截取到的图像进行辨识。要说明的是，虽然在夜间也有路灯会发光，但是其强度与日光相比，具有很大的差距，可见光感测器其输出值为Lux，而实际上外界图像白天至晚上的亮度值(Lux)的变换范围为数十K(Lux)至数十(Lux)；同样地，以接受不可见光的紫外线感测器为例，如图2A至图2B所示，其中图2A为可见光的强度，而图2B则为路灯的强度。我们可以发现，320 380nm也就是紫外线的频带，相较于日光，路灯几乎不具有紫外线，因此，如量测白天至晚上的幅射量μ W/cm2的变换范围，其变动大约具有数十yW/cm2至数十mW/cm2差距。因此，以最简易的应用的日夜间切换为例，使用可见光感测器及紫外线感测器皆可轻易地求取一适当的阈值(threshold)，分辨出日夜间，通过大量的数值分析，即可针对日夜间设计最适当的演算法及其对应的参数。实际系统运作时，适当的演算法及参数即可依据环境光源感测器的光源检测结果予以切换。除了日夜间切换以外，晴天及阴天，皆具有一最适演算法及其最适参数，而环境光感测器的输出值皆可明确地区隔，甚至可以区隔出不同程度的晴天又或是不同程度的阴天，因此，本发明则根据感测的信息，预先设置对应不同光强度的演算法，以得到最佳化的处理结果。在本实施例中，该信号处理与控制模块22内还具有一第一信号截取与解码单元 220、一第二信号截取与解码单元221、一数字信号处理与控制单元222、一随机存取存储器223、一非易失性可编程存储器224，以及一信号传输单元225。该第一信号撷取与解码单元 220，其与该图像感测器20相耦接，耦接的接口为模拟的复合视频(composite video)接口，或是数字的低电压差动信号(Low-Voltage Differential Signaling, LVDS)接口。该第一信号截取与解码单元220针对图像感测器20所输出的信号，依其信号类别的不同，进行解析或解码成数字信号处理与控制单元所能处理的信号格式。同样地，该第二信号撷取与解码单元221，其与该光感测器21耦接，以检测光感测器21所输出感测的信号，依其信号类别的不同，可为模拟输出搭配模拟数字转换器(ADC)供后续数字信号处理，或是数字的内部整合电路接口(Inter Integrated Circuit，I2C)，但不以此为限，以对感测信号进行解析或解码成数字信号处理与控制单元222所能处理的信号格式。该数字信号处理与控制单元222，其可处理图像感测器20及光感测器21所撷取的信号分别经信号撷取与解码单元220与221所解码的信息，该信息可放置于随机存取存储器223以供演算过程使用，演算后的结果可存储于非易失性可编程存储器2M或直接通过信号传输单元225输出给一显示单元23，例如液晶显示器等，但不以此为限。该信号传输单元225，其与随机存取存储器223及数字信号处理与控制单元222连结，并输出当下的演算结果。该随机存取存储器223其可用于暂存任何数字信号处理与控制单元222演算过程中的所需的信息。该非易失性可编程存储器2M其可永久存储演算过程中的任何信息，或是存储任何使用过程中的系统设定以及存储该多种对应不同环境光强度时的演算法。请参阅图3所示，该图为本发明的嵌入式图像处理辨识方法流程第一实施例示意图。该流程为该嵌入式图像处理辨识系统2运作的流程，以下的说明即以图1所示的系统且设置于一车辆(以下以本车称的)上来对应说明。嵌入式图像处理辨识方法首先以步骤 30中，信号处理与控制模块22接收光感测器21所检测在本车的外部环境的光特征所产生的感测信号以及接收图像感测器20所感测的连续图像信号。接着以步骤31该信号处理与控制模块22根据该感测信号决定一图像解析演算法。在步骤31中，如图3所示，本实施例将光感测信号的强度分成多种(η种)范围，然后根据步骤30中所得到的感测信号，判断属于哪一个范围内，并选择对应该范围的图像解析演算法，然后，再以步骤32来进行运算处理，以得到至少一种特征物的辨识图像。最后，再以步骤33将辨识出的结果出至显示单元 23上。输出的显示单元的结果除了包括被辨识出的特征物之外，也可以包括本车与周围车辆的距离以及相关的警示讯息等。请参阅图4所示，该图为本发明的嵌入式图像处理辨识方法第二实施例流程示意图。本实施例流程中的特征物为外部环境中车辆的车尾灯。该嵌入式图像处理辨识方法4 的步骤40中，信号处理与控制模块22接收光感测器21所检测在本车的外部环境的光特征所产生的感测信号以及接收图像感测器20所感测的连续图像信号。接着以步骤41该信号处理与控制模块22根据该感测信号决定一图像解析演算法。在步骤41中，本实施例将光感测信号的强度分成两种范围，一为日间，另一为夜间。然后根据步骤40中所得到的感测信号，判断属于日间或夜间的范围，并选择对应该范围的图像解析演算法，再以步骤42进行运算处理，以得到至少一种特征物的辨识图像，最后在步骤43中利用显示单元23输出辨识结果。其中在日间演算法的部分，在现有技术中有很多演算辨识的机制，以辨识出周围环境中的车辆等类的特征物。另外，当光感测器21所输出的感测信号属于夜间的感测范围时，则会进入夜间辨识的演算辨识流程。请参阅图5所示，该图为本发明的夜间图像解析演算法实施例流程示意图。一般的运算平台皆不具有即时对系统输入图像作即时处理的能力，因此此类图像辨识系统通常必须针对原始图像进行兴趣区域(region of interest, R0I)的截取以及缩减取样，在夜间演算的流程中，首先以步骤420于该图像中截取多个兴趣区域。要说明的是步骤420的图像为动态图像中的每一单位时间图像，例如一般摄影机所撷取的动态图像为每秒30张图像，且以NTSC的标准图像为例，其解析度为720*480，则在步骤420中的图像则为每秒中30张中的其中一张图像。此外，由于在一实施例中，该多个兴趣区域包括有至少一第一兴趣区域以及至少一第二兴趣区域，其原因在于单一兴趣区域受限于无可避免的缩减取样，导致单一兴趣区域内的远方待辨识物体往往会因此过于模糊而难以辨识。在本实施例中，该第一兴趣区域为近兴趣区域，该第二兴趣区域为远兴趣区域。因为该远兴趣区域的位置选择在具有对应该近兴趣区域因为减缩取样而模糊的物体图像。其中该远兴趣区域的原始图像尺寸通常小于该近兴趣区域的图像尺寸。要说明的，远兴趣区域与近兴趣区域的大小，是取决于运算处理平台的速度而定，并不以本发明的实施例的大小关系为限制。例如，图6A中为具有多个兴趣区域的单一张图像90。其中兴趣区域900为代表近兴趣区域，而兴趣区域901则代表远兴趣区域。在远兴趣区域901中的物体，本实施例为车辆91，其亦存在于近兴趣区域900中。随后进行步骤421，对该近兴趣区域进行缩减取样。步骤421的目的为，由于远兴趣区域与近兴趣区域中的图像解析度不同，一般而言，近兴趣区域内的物体比较清楚，而远兴趣区域的物体则比较模糊，因此如果对远兴趣区域图像中远方车辆，再进行缩减取样，本来已经模糊的远方车辆将变得更加难以辨识，因此设计上远兴趣区域的大小将局限于远方车道区块(约为250*100pixel，此大小仅为实施例但不以此为限制，此与运算平台的存储器大小及处理器运算能力有关)，且不施以缩减取样；至于近兴趣区域的部分则取画面所有前方车道部分，再施以缩减取样至与远兴趣区域相同大小，如图6B与图6C所示，然而两兴趣区域的大小并不一定要相同，此可依需求而定。要说明的是步骤421的方式，并非本发明夜间图像解析演算法中的必要步骤。另外，虽然在图6A中兴趣区域为两个但实际上的数量并不以此为限制。随后，进行步骤422，将该多个兴趣区域所对应的图像分别转换成一灰阶图像。然后，以步骤423，对每一灰阶图像进行中间值处理，以将图像相对较暗的地方滤除及相对较亮的区块以线性方式增强其区块亮度。通过中间值调整，使环境光源过亮时能使全图像灰阶变暗，此时车辆的特征值信息(车尾灯)即会明显显示出来。中间值转换的方程式如下式⑴
权利要求
1.一种嵌入式图像处理系统，其包括有一图像感测器，其截取一外部环境的一图像；一光感测器，其感测关于该外部环境的一光特征值，以产生关于该光特征值的一感测信号；以及一信号处理与控制模块，其与该图像感测器以及该光感测器耦接以接收该图像以及该感测信号，该信号处理与控制模块存储有多种对应不同环境状态的图像解析演算法，该信号处理与控制模块根据该感测信号由该多种图像解析演算法中决定一图像解析演算法以对该图像进行解析，而得到关于至少一种特征物的辨识图像。
2.如权利要求1所述的嵌入式图像处理系统，其中光感测器为可见光感测器或者是不可见光感测器。
3.如权利要求1所述的嵌入式图像处理系统，其设置于一第一车辆上，其中该特征物为该第一车辆前后左右的车道线或邻近的第二车辆或者是该第二车辆的车尾灯。
4.如权利要求1所述的嵌入式图像处理系统，其中该光特征值为关于该外部环境的光强度，而该图像解析演算法分为日间图像解析演算法及夜间图像解析演算法。
5.如权利要求4所述的嵌入式图像处理系统，其中该信号处理与控制模块执行夜间图像解析演算法时，在该图像中截取多个兴趣区域；于该多个兴趣区域中对其中的至少一兴趣区域所具有的图像进行一灰阶二值化处理，使被处理的兴趣区域具有对应的一处理图像；于该处理图像中寻找关于该至少一种特征物所具有的一候选物件；根据至少一滤除法则，判断该候选物件是否为该至少一种特征物。
6.如权利要求5所述的嵌入式图像处理系统，其中该信号处理与控制模块进行该灰阶二值化处理前，还将该至少一兴趣区域所对应的图像分别转换成一灰阶图像；对每一灰阶图像进行中间值处理，以形成一经中间值调整后的图像；以及对每一中间值调整后的图像进行对比强化处理。
7.如权利要求5所述的嵌入式图像处理系统，其中该多个兴趣区域包括有至少一第一兴趣区域以及至少一第二兴趣区域。
8.如权利要求7所述的嵌入式图像处理系统，其中在该灰阶二值化处理之前，该信号处理与控制模块对该第一兴趣区域进行缩减取样，该第二兴趣区域内具有对应该第一兴趣区域因为减缩取样而模糊的物体图像。
9.如权利要求5所述的嵌入式图像处理系统，其中该特征物为车尾灯，该滤除法则为该候选物件是否位于车道线内、关于该候选物件的彩色图像中所具有的颜色信息、该候选物件的面积、该候选物件的长宽比率、候选物件的面积大小、两候选物件间的面积比或者是两候选物件的平均灰阶比。
10.如权利要求1所述的嵌入式图像处理系统，其中该光特征值为关于该外部环境的光强度，而该图像解析演算法依外部环境的光强度大小分为多种模式。
11.一种嵌入式图像处理方法，其包括有下列步骤提供一嵌入式图像处理系统，其具有一图像感测器、一光感测器以及一信号处理与控制模块，该信号处理与控制模块存储有多种对应不同环境状态的图像解析演算法；以该图像感测器截取一外部环境的一图像；以该光感测器，感测关于该外部环境的一光特征值，以产生关于该光特征值的一感测信号；以及利用该信号处理与控制模块根据该感测信号而由该多种图像解析演算法中决定其中的一图像解析演算法以对该图像进行解析，而得到关于至少一种特征物的辨识图像。
12.如权利要求11所述的嵌入式图像处理方法，其中光感测器为可见光感测器或者是不可见光感测器。
13.如权利要求11所述的嵌入式图像处理方法，其中该嵌入式图像处理系统设置于一第一车辆上，其中该特征物为该第一车辆前后左右的车道线或邻近的第二车辆或者是该第二车辆的车尾灯。
14.如权利要求11所述的嵌入式图像处理方法，其中该光特征值为关于该外部环境的光强度，而该图像解析演算法分为日间图像解析演算法及夜间图像解析演算法。
15.如权利要求14所述的嵌入式图像处理方法，其中该夜间图像解析演算法还包括有下列步骤在该图像中截取多个兴趣区域；在该多个兴趣区域中对其中的至少一兴趣区域所具有的图像进行一灰阶二值化处理， 使被处理的兴趣区域具有对应的一处理图像；在该处理图像中寻找关于该至少一种特征物所具有的一候选物件；以及根据一滤除法则，判断该候选物件是否为该至少一种特征物。
16.如权利要求15所述的嵌入式图像处理方法，其中进行该灰阶二值化处理前，还包括有下列步骤将该至少一兴趣区域所对应的图像分别转换成一灰阶图像；对每一灰阶图像进行中间值处理，以形成一经中间值调整后的图像；以及对每一中间值调整后的图像进行对比强化处理。
17.如权利要求15所述的嵌入式图像处理方法，其中该多个兴趣区域包括有至少一第一兴趣区域以及至少一第二兴趣区域。
18.如权利要求17所述的嵌入式图像处理方法，其中在该灰阶二值化处理之前还包括有对该第一兴趣区域进行缩减取样，该第二兴趣区域内具有对应该第一兴趣区域因为减缩取样而模糊的物体图像。
19.如权利要求15所述的嵌入式图像处理方法，其中该特征物为车尾灯，该滤除法则为该候选物件是否位于车道线内、关于该候选物件的彩色图像中所具有的颜色信息、该候选物件的面积、该候选物件的长宽比率、候选物件的面积大小、两候选物件间的面积比或者是两候选物件的平均灰阶比。
20.如权利要求11所述的嵌入式图像处理方法，其中该光特征值为关于该外部环境的光强度，而该图像解析演算法依外部环境的光强度大小分为多种模式。
全文摘要
一种嵌入式图像处理辨识系统与方法，其包括有一图像感测器、一光感测器以及一信号处理与控制模块。该图像感测器截取一外部环境的一图像。该光感测器感测关于该外部环境的一光特征值，以产生一感测信号。该信号处理与控制模块具有多种对应不同环境状态的图像解析演算法，根据该感测信号选择适当的图像解析演算法以对该图像进行解析，而得到关于一特征物的辨识图像。利用光感测器感测环境光源亮度，使得在外界光源强度变动情形下，可以顺利切换演算法，以因应不同的天候。
文档编号B60R1/00GK102542241SQ201010602258
公开日2012年7月4日 申请日期2010年12月23日 优先权日2010年12月10日
发明者林哲聪, 林昱成 申请人:财团法人工业技术研究院