SVM系统及其图像输入和处理方法与流程

本发明涉及svm系统及其图像输入和处理方法。更具体来说，用于通过在一个图像处理器所生成的帧同步信号(frame-sync)对多个相机的垂直同步信号(v-sync)进行同步，且通过被同步的输出数据合成为svm系统的图像，从而可获得高质量的图像。

背景技术：

一般来说，svm(surroundviewmonitoring：全景图像)系统是一眼就能监控周围360度全景的图像系统，其用于拍摄周围的图像和目视确认。

此外，如果将svm系统体现为显示车辆周围图像的设备，在车辆的前、后、左、右等方向分别安装相机，且通过所述相机拍摄周围的环境，基于拍出来的图像，对图像进行补偿处理使重叠区域显得自然，从而将整车周围的环境显示在屏幕上。

因此，通过显示的周围环境，驾驶人可以正确认识车辆周围的情况，且不看反光镜或汽车后视镜也能方便地停车或行驶。

此外，为了将不同相机所拍摄的图像自然地显示在一个屏幕或者以3d图像显示，所述svm系统应接收从前、后、左、右等方向分别安装的相机所拍摄的图像，并将其处理为合成图像。

更具体来说，为了实现svm系统就需要最少四台以上的相机和对相机所拍摄的图像进行合成的相机图像处理器。

此外，所述相机图像处理器就需要用于从四台以上的相机分别接收图像并处理的svm处理器以及用于从所述四台以上的相机接收图像的相机接口，所述装置分别需要四台以上。

其结果是，为了使上述的技术成为现实，高价的机器是必不可少的，这就是问题所在。

另外，为了合成未被同步的多个相机的输入图像，最少需要跟帧同步信号大小以上的存储器。

举例来说，通过以往的方法用四个hd级别相机来合成图像的话，最少需要7.4mbyte以上的帧存储器。即以hd级别相机为例，其图像尺寸为1280*720，一个行为1280像素，且按照yuv_422数据，一个像素为2byte。因此，为了保存一个帧就需要1280*720*2＝1,843,200byte，为了保存并合成四台相机的全部图像就需要1,843,200byte*4＝约7.4mbyte的大容量存储器。

技术实现要素：

技术问题

本发明的目的在于提供svm系统及其图像处理方法，通过将多个相机同步，使同一时间段的图像同时输入，并以小容量存储器也可以合成多个相机图像，从而提高存储器的效率，被合成的图像可以消除因相机之间的时差而产生的连接部位的偏差和照明的偏差。

此外，本发明的另一目的在于提供svm系统及其图像处理方法。对多个相机进行实时控制，并以同步的输出数据来合成为svm系统的图像，从而能获得高质量的图像。

此外，本发明的另一目的在于提供svm系统及其图像处理方法，通过将相机图像处理模块的svm处理器所生成的帧同步信号连接为各相机内传感器的帧同步信号输入，并作为相机图像输出的标准信号来对多个相机的垂直同步信号进行同步，并利用在此输出的图像数据来合成为svm系统的图像，从而获得高质量的图像。

此外，本发明的另一目的在于提供svm系统及其图像处理方法，通过对多个相机进行实时控制，并将实时输入的各个相机图像以帧为单位，以自动曝光和自动白平衡为状态值进行控制，在合成svm图像时，将图像之间的明度和色度的差异降到最低水平。

解决问题的手段

根据本发明的实施例，一种svm系统，其包括图像处理模块，所述图像处理模块将由多个相机所拍摄的图像合成为svm图像，其中，所述多个相机的相机图像数据分别通过所述图像处理模块所提供的帧同步信号进行同步，所述图像处理模块将分别在所述多个相机经过同步并输出的图像数据合成为svm图像。

此外，所述svm系统的相机图像处理模块，包括：相机接口，其用于分别与所述多个相机实时收发信号；行缓冲部，其使用行缓冲器对通过所述帧同步信号所同步的多个相机的图像数据进行合成；相机图像合成部，其通过所述行缓冲部合成为svm图像；以及svm处理器，其生成用于对所述多个相机的图像进行同步的帧同步信号。

此外，在所述svm系统，所述多个相机分别包括相机传感器、图像信号处理器以及用于与所述相机图象处理模块进行实时收发信号的相机接口。

此外，在所述svm系统，由svm处理器生成的帧同步信号分别被传送到所述相机传感器，所述多个相机分别通过所述帧同步信号进行同步并输出图像数据。

此外，在所述svm系统，所述相机图像合成部对从所述多个相机实时输入的各相机图像以帧为单位读取自动曝光和自动白平衡的状态值，并对相机的图像信号处理器的自动曝光和自动白平衡进行控制，以在合成svm图像时将明度和色度的差异降到最低。

根据本发明的实施例，一种svm图像输入及处理方法，用于将多个相机所拍摄的图像合成为svm图像，其包括：帧同步信号发送步骤，将由svm处理器生成的帧同步信号分别发送到所述多个相机；相机图像数据同步步骤，使用帧同步信号分别对所述相机图像数据进行同步；以及图像合成步骤，使用行缓冲器对由所述多个相机经过同步并输出的图像数据进行合成。

此外，根据所述svm的图像输入及处理方法，在所述帧同步信号发送步骤中，通过相机图像处理模块的相机接口和内置于多个相机的相机接口，将所述svm系统所生成的帧同步信号转送至相机传感器。

此外，根据所述svm的图像输入及处理方法，所述多个相机将svm处理器的帧同步信号分别作为图像输出的标准信号来对垂直同步信号进行同步，且所述多个相机同时输出经过同步的各个图像数据。

此外，根据所述svm的图像输入及处理方法，所述图像合成步骤还包括自动曝光和自动白平衡控制步骤，用于控制相机图像信号处理器的自动曝光和自动白平衡，以在合成svm图像时将明度和色度的差异降到最低。

发明的效果

本发明是2015年产业技术据点机构支援项目的《汽车行驶安全动力传递核心零部件开发项目》科研课题的研究成果。根据本发明，不仅可以有效地使用存储器，而且可以消除合成图像的连接部位的偏差和照明的偏差，能获得高质量的图像，还可以控制将合成图像的明度和色度的差异降到最低。

附图说明

图1是简单说明关于本发明一实施例中的svm系统的基本概念的结构图。

图2是说明在图1所示的svm系统上，将技术的细节构成进一步具体化的结构图。

图3是简单说明在图2所示的svm系统上，将经过帧同步信号所同步的相机输入图像的使用状态图。

图4是简单说明在图2所示的svm系统上，将经过帧同步信号所同步并输出的相机图像数据的使用状态图。

图5是简单说明在图2所示的svm系统上，用于图像合成的行缓冲器的使用状态图。

图6是简单说明在图2所示的svm系统上，使用行缓冲器进行合成图像的使用状态图。

图7a到图7e是简单说明在图2所示的svm系统上，使用行缓冲器合成的实际输入图像的使用状态图。

图8a和图8b是简单说明在图2所示的svm系统上，实时控制自动曝光的比较图像的使用状态图。

图9是简单说明本发明的svm系统的图像输入及处理方法的流程图。

具体实施方式

关于本发明的优点、特征和实现方法，就可以参考另附的图面和具体实施例。但本发明并不限于在此说明的实施例，而以其他形式可以进一步具体化。反而，在此介绍的实施例是为了让揭示的内容更准确、更完整并将本发明的思想明确传递给从业者而提供的。

在本申请上所使用的术语仅仅用以解释特定的实施例，并不用于限定本发明。在本文中，单数形式包括复数形式，除非在本文中明确表示其他含义。应理解，在本申请上，“包括”或“具有”等用语仅仅是为了定义在说明书上所记载的特征、数字、步骤、动作、组成部分、零部件或者它们组合的存在，而并不是提前排除一个或其以上的其他特征或者数字、步骤、动作、组成部分、零部件或它们组合的存在或另外可能性。

除非定义为其他概念，包括技术或科学术语在内，在此使用的所有术语与本发明所属领域技术人员一般能理解的用语有着同样的意义。在通常使用的词典里下定义的术语应解释为与在本文中相关技术所具有的概念相同的意思。除非在本申请上明确地指定，否则不应解释为过于理想或形式化的概念。

在下文中，参照附图详细地描述本发明的优选实施例。

图1是简单说明关于本发明的实施例svm(surroundviewmonitoring)系统的基本概念的结构图。

如图所示，所述svm系统1000包括相机模块1100及相机图像处理模块1200。此外，根据本发明实施例的svm系统是2015年产业技术据点机构支援项目的《汽车行驶安全动力传递核心零部件开发项目》科研课题的研究成果。

更具体地，所述相机模块1100包括多个相机模块，并将在所述相机模块所拍摄的图像数据传送到所述相机图象处理模块1200。

这时，在所述多个相机通过相机图像处理模块1200所提供的帧同步信号(framesync)分别进行垂直同步信号(v-sync,verticalsynchronizing)的同步，并从所述多个相机可以同时输出图像数据。并且，所述相机模块1100所输出的图像数据被转送至相机图像处理模块1200，并在所述相机图像处理模块合成为svm图像。

参照图2到图8，在下面更详细地说明本发明的实施例svm系统的有关技术构成及有机结合带来的技术体现。

图2是说明在图1的svm系统上将技术的细节构成进一步具体化的结构图。

如图所示，所述相机模块1100包括：第1相机1110、第2相机1120、第3相机1130以及第4相机1140。即所述相机模块1100包括多个相机，图2作为其一例，图示了包括四个相机的相机模块。

此外，所述相机图像处理模块1200包括相机接口(camerainterface)1210、相机图像合成部1220、行缓冲部1230以及svm处理器1240。

具体为，所述第1相机1110、第2相机1120、第3相机1130及第4相机1140分别包括相机传感器、图像信号处理器(isp,imagesignalprocessing)及相机接口，且为了拍摄周围的图像可安排在不同的拍摄方向。

此外，在所述第1相机1110、第2相机1120、第3相机1130及第4相机1140分别拍摄的图像数据通过所述相机接口和所述相机图像处理模块1200的所述相机接口1210转送至所述相机图像合成部1220。

此外，在所述第1相机1110、第2相机1120、第3相机1130及第4相机1140将在所述svm处理器1240所生成的帧同步信号作为帧同步信号的输入而连接到相机传感器，将其作为图像输出的标准信号来对垂直同步信号进行同步，并在所述第1相机1110、第2相机1120、第3相机1130及第4相机1140同时输出图像数据。

被同步的相机图像如图3所示，并如图4所示被输出为图像数据。

如上所述，用svm处理器1240所生成的帧同步信号进行同步的情况下，所述第1相机1110、第2相机1120、第3相机1130及第4相机1140的图像数据是按照垂直同步信号和水平同步(h-sync,horizontalsynchronization)信号被同步并输入的。因此，在用行缓冲器(linebuffer)存储器输入图像的每一个行时，将四个行全部合成起来输出一个行，且将它转送至所述相机图象处理模块1200的相机接口1210，如此一来，在传送图像时，也不会出现图像的不同步扭曲现象。

此外，所述相机接口1210用于实现与所述第1相机1110、第2相机1120、第3相机1130及第4相机1140的双向通信。

即svm处理器1240是如上所述，要时刻监控各相机的状态，以将帧同步信号转送至所述第1相机1110、第2相机1120、第3相机1130及第4相机1140。为此，如上所述，所述相机接口1210要连接到所述第1相机1110、第2相机1120、第3相机1130及第4相机1140的相机接口，并将所述相机模块1100和所述相机图象处理模块1200连接起来。

因此，用于实时控制相机及监控的双向通信得以实现。

此外，所述相机接口可体现为内置集成电路(i2c,inter-integratedcircuit)等的双向通信模块。

接着，所述行缓冲部1230用于对同步的相机图像数据进行合成，其连接到所述相机图像合成部1220。并且，体现为如图5所示，并如图6合成相机图像。

这时，由于被同步的图像数据传送到所述行缓冲部1230，因此只用行存储器就可以处理相应工作，并存储器的容量比从前大幅减少。即若只用行缓冲部的存储器来实现相机图像合成设备，就会将设计变得简单且其费用也显著地减少。

举个例子，行缓冲部的存储器的大小是，一个hd级别相机的行存储器为1280*2＝2560byte，如果要合成四个相机图像，2560*4＝10,240byte的行存储器就足够。并且，将实际尺寸为1280*720的四个图像被合成为5120*720的一个图像。

即实际数据只合成一个行且传送给svm处理器1200上，并在所述svm处理器1200上输入如图6所示的图像。

图7a到图7e是在各相机所拍摄的实际图像被行缓冲器合成的图像。更具体来说，图7a到图7d是通过从第1相机到第4相机的四个相机所分别拍摄的图像，并图7e是被行缓冲器所合成的图像。

更具体来说，如图7a至图7d所示，各个相机所拍摄的输入图像如图7e所示，由行缓冲器进行合成，并显示为svm系统的合成图像。

此外，根据本发明，svm系统将在多个相机实时输入的各相机图像以帧为单位读取自动曝光(ae,automaticexposure)和自动白平衡(awb,autowhitebalance)的状态值，并控制相机图像信号处理器的自动曝光和自动白平衡，以在合成svm图像时将明度和色度的差异降到最低。

因此，如图8b所示，实时控制的svm系统的合成图像跟如图8a所示的没有控制自动曝光的svm系统的合成图像相比，其明度和色度的差异被降到最低。

按照上述内容，根据本发明的实施例svm系统不仅可以消除合成图像的连接部位的偏差和照明的偏差，而且可以获得高质量的图像，也能控制将合成图像的明度的差异和色度的差异降到最低。

图9是简单说明本发明的实施例svm系统的图像输入及处理方法的流程图。

如图所示，svm系统的图像输入及处理方法包括：将svm处理器的帧同步信号向相机发送的步骤s1100；用帧同步信号进行相机图像数据同步步骤s1200；以及使用行缓冲器进行图像合成步骤s1300。

更具体来说，将所述svm处理器的帧同步信号向相机发送的步骤s1100中，将在svm处理器1240所生成的帧同步信号作为帧同步信号的输入而转送至相机传感器的步骤。

这时，在所述svm处理器所生成的帧同步信号通过相机图像处理模块的相机接口并通过各个相机内置的相机接口转送至相机传感器。

其次，使用帧同步信号进行相机图像数据同步的步骤s1200中，多个相机分别将所述svm处理器的帧同步信号作为图像输出的标准信号来进行垂直同步信号的同步，并多个相机将同时输出分别同步的图像数据。

接着，用行缓冲器进行图像合成s1300是用行缓冲器将从所述各个相机所输出的图像数据合成为svm系统图像的步骤。

此外，根据本发明的实施例svm系统的图像输入及处理方法还可以包括，相机图像信号处理器的自动曝光和自动白平衡控制步骤。所述自动曝光和自动白平衡控制步骤，其用于控制相机图像信号处理器的自动曝光和自动白平衡，以在合成svm图像时将明度和色度的差异降到最低。

按照上述内容，不仅可以消除合成图像的连接部位和照明的偏差，而且能够获得高质量的图像，也能得到能够控制将合成图像的明度和色度的差异降到最低程度的svm图像输入及处理方法。

以上根据附图说明了本发明的优选实施例。只要对本发明所属领域的技术人员都能理解，本发明在其技术思想或必要条件没有变更的情况下，就以其他具体形式可以实现。因此，应理解，在本文中所提出的实例在所有方面并没有限度，而只是个例子。