全景监控影像系统用影像合成装置及影像合成方法【专利摘要】本发明提供一种容易变更视图模式的全景监控影像系统用影像合成装置及影像合成方法。根据该装置及方法，利用由以画面输出像素单位记录有色彩表现信息或者所述输入影像的坐标信息的记录部构成的查找表，将影像进行合成，并输出至显示装置。从而，即使不变更影像合成逻辑结构的设计，只变更查找表，即能够自由构成视图模式。因此，将AVM系统的视图模式按使用者所需的形态自由构成，尤其是不变更影像合成逻辑结构的设计，只更换LUT，即能够变更画面分隔结构。从而，可再次使用影像合成逻辑结构，即使变更车型或使用者要求事项时，也能够确保系统的工作可信度。【专利说明】全景监控影像系统用影像合成装置及影像合成方法【
技术领域：
】[0001]本发明涉及全景监控影像(AroundViewMonitor:AVM)系统,尤其涉及一种在全景监控影像系统中对影像进行合成的技术。【
背景技术：
】[0002]AVM系统是接收由车辆的前、后、左、右四个摄像头输入的影像，合成为一个影像，并输出至显示装置的系统。这种AVM系统支持八种视图模式，并使用与视图模式(ViewMode)对应的查找表(LookUpTable,LUT)对影像进行合成。下面简要说明LUT的生成。首先，计算设备由车辆的前、后、左、右摄像头分别获取基准影像，并利用获取的四张影像进行影像合成模拟。其次，对于通过模拟获取的输出影像生成包括输入影像的坐标及含有加权值信息的LUT。LUT根据视图模式而生成，并且只对于各个视图模式的有效显示(Active)区域生成。生成的LUT存储在AVM系统板的闪存中。存储在闪存的LUT，如图1所示，由记录X、Y坐标(X坐标整数、Y坐标整数)和Χ、Υ加权值(X坐标小数、Y坐标小数)的记录部构成。一个记录部用于在输出影像中生成一个像素图像。当生成一个像素图像时，为了改善画质，执行每像素周边的四个像素插值运算。有关此概念在图2中所示。从而，对一个输出像素的记录信息包括对输入像素AO的X，Y坐标和对4个像素Α0，Α1，Α2和A3的加权值。[0003]影像合成逻辑结构由现场可编程门阵列(FieldProgrammableGateArray:FPGA)的设计来体现。FPGA从闪存(flashmemory)读取与通过车辆通信信息所决定的视图模式所对应的LUT而制作输出影像。现有输出画面的分隔结构固定为如图3所示的一分隔结构或者如图4所示的二分隔结构。其中，画斜线的模块区域为实际显示影像的有效显示(Active)区域，剩余区域为填充黑颜色的背景(Background)区域。根据LUT信息生成有效显示区域的输出影像，剩余的背景区域填充为黑颜色。一分隔结构的输出影像在图5中进行例示，二分隔结构的输出影像在图6和图7中进行例示。[0004]如上述说明的影像合成方式，要根据视图模式而决定将要形成于输出画面的影像的种类。并且，有效显示区域的大小和画面内位置无法变更。输出影像可根据视图模式变化，但只能在固定的画面分隔结构内变化。因画面分隔结构是固定的，视图模式结构是限定性的。并且，如图8的情况，左侧摄像头影像输出至画面的右侧，因此对驾驶者产生混乱。因此需要变更视图模式结构。然而，为了变更现有视图模式结构，需要变更FPGA的设计。有效显示区域的大小或位置变化时，要变更与其对应的LUT，并且还要变更读取变更的LUT而生成输出影像的现场可编程门阵列(FPGA)的设计。如上述，当发生视图模式结构的变更事项或者适用的车型变更时，LUT和FPGA逻辑结构要相互成双，因此造成版本管理的不便。【
发明内容】[0005]技术问题[0006]本发明的目的在于提供一种不变更影像合成逻辑结构自身，也能够变更视图模式及画面分隔结构的技术方案。[0007]技术方案[0008]为了解决如上问题，根据本发明一个方面的全景监控影像系统用影像合成装置包括:影像输入部，接收由多个摄像头输入的影像；存储部，存储由记录部构成的查找表(lookuptable)，其中，所述记录部以画面输出像素单位记录色彩表现信息或者所述输入影像的坐标信息；以及影像处理部，利用所述存储的查找表，将影像进行合成。[0009]所述影像处理部包括:查找表分析部，分析存储的所述查找表中的记录部报头；色彩表现处理部，提取记录在已分析的所述记录部的数据域的色彩表现信息并输出；以及摄像头影像处理部，获取与记录在已分析的所述记录部的数据域的坐标信息对应的输入影像数据并输出。[0010]所述色彩表现处理部为两个以上，根据所述分析结果，对应的色彩表现处理部提取记录在已分析的所述记录部的数据域的色彩表现信息并输出。[0011]所述色彩表现处理部包括:生成黑影像的黑影处理部；以及生成车辆掩膜影像的车辆掩膜处理部。[0012]另外，为了解决如上问题，根据本发明一个方面的容易变更全景监控影像系统的视图模式的影像合成方法包括:利用由以画面输出像素单位记录有色彩表现信息或者从多个摄像头的输入影像的坐标信息的查找表，将影像进行合成的步骤；以及将合成的所述影像输出至显示装置的步骤。[0013]所述将影像进行合成的步骤包括:依次地分析构成所述查找表的记录部的步骤；以及根据已分析的所述记录部的报头值，提取记录在该数据域的色彩表现信息并输出或者获取与坐标信息相对应的摄像头输入影像数据并输出的步骤。[0014]技术效果[0015]本发明具有如下效果:将AVM系统的视图模式按使用者所需的形态自由构成，尤其是不变更影像合成逻辑结构的设计，只更换LUT，即能够变更画面分隔结构。从而，可再次使用影像合成逻辑结构，即使变更车型或使用者要求事项时，也能够确保系统的工作可信度。【专利附图】【附图说明】[0016]图1为现有AVM系统中用于影像合成的LUT记录部的结构图；[0017]图2为双线性插值(B1-LinearInterpolation)计算概念图；[0018]图3为现有输出画面的一分隔结构示例图；[0019]图4为现有输出画面的二分隔结构示例图；[0020]图5为具有一分隔结构的前方影像示例图；[0021]图6为具有二分隔结构的前方/全景影像示例图；[0022]图7为具有二分隔结构的前方/左侧影像示例图；[0023]图8为根据本发明的一实施例的查找表的记录部基本结构图；[0024]图9为用于生成黑影像的记录部结构图；[0025]图10为用于生成车辆掩膜图像的记录部结构图；[0026]图11为包括摄像头输入影像数据的X，Y坐标及X，Y加权值的记录部结构图；[0027]图12为根据本发明的一实施例的AVM系统用影像合成装置的框图；[0028]图13为示出输出像素图像的生成方向的附图；[0029]图14为三分隔结构的示例图；[0030]图15为四分隔结构的示例图；[0031]图16为具有三分隔结构的输出影像示例图；[0032]图17为具有四分隔结构的输出影像示例图；[0033]图18为具有二分隔结构的输出影像示例图；[0034]图19为根据本发明的一实施例的影像合成方法流程图。[0035]附图标记说明[0036]100:存储部200:影像合成部[0037]210:影像输入部211:第一影像输入部[0038]212:第二影像输入部213:第三影像输入部[0039]214:第四影像输入部220:存储器界面处理部[0040]230:影像处理部231=LUT分析部[0041]232:色彩表现处理部232a:黑影处理部[0042]232b:车辆掩膜处理部233:摄像头影像处理部[0043]234:数据选择部240:影像输出部【具体实施方式】[0044]上述的以及附加的本发明的多个方面将通过参照附图进行说明的优先实施例变得更加明确。以下为了使本领域技术人员通过上述实施例容易理解并体现本发明，进行详细说明。[0045]图8为根据本发明的一实施例的查找表的记录部基本结构图，图9为用于生成黑影像的记录部结构图，图10为用于生成车辆掩膜图像的记录部的结构图，图11为包括摄像头输入影像数据的X，Y坐标及X，Y加权值的记录部结构图。[0046]LUT在AVM系统中用于合成影像。LUT由多个记录部构成。一个记录部相对于构成输出影像的一个像素。输出影像的像素数由横720、竖480个构成时，像素数为345600个，因此，LUT的记录部数也为345600个。记录部的基本结构如图8所示。报头(Header)表示为了生成输出像素的形状或输入数据的种类。F表示输入影像的区域Field信息。作为参考，使用于摄像头界面(interface)的传送方式适用ITU-RBT.656传输标准，传送一张影像(720X480)时，分为两个区域(720X240)使用。并且，数据(Data)域包含用于生成输出像素的信息。在数据域记录的信息为色彩表现信息或者摄像头输入影像的坐标信息。[0047]根据一实施例，如图9和图10及图11所示，记录部根据记录在报头的值被区分为三种类型。如图9所示，当报头值为‘1’时，记录在数据域的信息为色彩表现信息，并且可以是用于生成黑影像。其中，色彩表现?目息可以是光売(brightness)Y和色差Cb和Crf目息。如图10所示，当报头值为‘2’时，记录在数据域的信息为色彩表现信息，并且可以是用于生成车辆掩膜(carmask)影像。该色彩表现信息也可以是光亮Y和色差Cb和Cr信息。如图11所示，当报头值为‘4至7’中的某一个时，记录在数据域的信息是摄像头输入影像数据的X，Y坐标(X坐标整数、Y坐标整数)和X,Y加权值(X坐标小数、Y坐标小数)。报头值‘4’表示第一摄像头输入影像数据，报头值‘5’表示第二摄像头输入影像数据，报头值‘6’表示第三摄像头输入影像数据，报头值‘7’表示第四摄像头输入影像数据。并且，第一摄像头至第四摄像头可以是为了拍摄车辆的前后左右中相互不同方向而加装于车辆的摄像头。[0048]另外，图9和图10实际上相同。从而，如图9何图10所示，并非使用不同的报头值而区分黑影像和车辆掩膜影像，而是使用相同的报头值，以一个记录部类型进行处理。或者，要将黑影像和车辆掩膜影像之外的附加影像制作成色彩表现信息时，可追加相当于附加影像数量的记录部类型。即，使用不同的报头值即可追加如图9和图10所示的记录部。如上述，即使实际上记录在数据域的数据相同，但所要表现的影像不同时，以报头值进行区分，则容易进行事后的影像编辑等管理。[0049]图12为根据本发明的一实施例的AVM系统用影像合成装置框图。[0050]所示的影像合成装置由AVM电子控制单元(ElectronicControlUnit)体现，包括存储部100和影像合成部200。存储部100为存储器，可以包括动态随机存取存储器(DynamicRandomAccessMemory:DRAM)和闪存而构成。该存储部100存储上述的LUT,存储与视图模式相应的LUT。影像合成部200由现场可编程门阵列(FieldProgrammableGateArray:FPGA)的设计体现，包括影像输入部210和影像处理部230及影像输出部240。影像输入部210包括接收由第一摄像头输入的影像的第一影像输入部211、接收由第二摄像头输入的影像的第二影像输入部212、接收由第三摄像头输入的影像的第三影像输入部213及接收由第四摄像头输入的影像的第四影像输入部214。在此，例示了影像输入信道为四个，但可以根据摄像头的数量而不同。影像输入部210通过执行读写数据功能的存储器界面处理部220将输入的摄像头影像存储于存储部100。[0051]影像处理部230利用存储于存储部100的LUT，生成输出影像。影像处理部230由LUT的最初记录部开始依次读取，根据图13所示的输出像素图像生成方向依次生成输出影像的像素图像。一实施例中，如图12所示，影像处理部230包括LUT分析部231、色彩表现处理部232、摄像头影像处理部233及数据选择部234。色彩表现处理部232可以是一个，也可以是两个以上。当色彩表现处理部232为一个时，图9和图10被定义为一个记录部类型，报头值也使用相同的值。色彩表现处理部232以两个体现时，如图12所示，色彩表现处理部232可以由生成黑影像的黑影处理部232a和生成车辆掩膜影像的车辆掩膜处理部232b体现。以下假定色彩表现处理部232以两个体现的情况，通过以下说明不仅可理解色彩表现处理部232为一个时的情况，也可以理解三个以上时的情况。[0052]LUT分析部231通过存储器界面处理部220从存储部100依次读取LUT的记录部，并分析报头。当报头值为‘I’时，黑影处理部232a提取如图8所示的记录在记录部的数据域的黑颜色信息即YCbCr值并输出。当报头值为‘2’时，车辆掩膜处理部232b提取如图9所示的记录在记录部的数据域的车辆掩膜信息即YCbCr值并输出。报头值为‘4至7’中的某一个时，摄像头影像处理部233利用如图11所示的记录在记录部的数据域的X，Y坐标及加权值，从存储部100获取相应摄像头的影像数据，即读取，并计算双线性插值(B1-LinearInterpolation)之后进行输出。数据选择部234根据从LUT分析部231传送的报头值,选择黑影处理部232a的黑色数据、车辆掩膜处理部232b的车辆掩膜数据、摄像头影像处理部233的影像数据中的某一个，向影像输出部240输出。影像输出部240将输入的数据按照输出格式ITU-RBT.656，向外部显示装置输出。[0053]如上所述，影像合成装置根据LUT记录部的报头值，区分黑影像、车辆掩膜影像、摄像头影像，并分别进行处理。从而，不变更现场可编程门阵列的设计，而只变更LUT，即能够自由变更视图模式，也能实现三分隔结构以上的视图模式。作为参考，图14例示了三分隔结构，图15例示了四分隔结构。画斜线的模块区域为表示车辆掩膜影像和摄像头影像的有效显示(Active)区域,剩余区域为表示黑影像的背景(Background)区域。与现有技术不同，根据本发明的现场可编程门阵列(FPGA)利用LUT不仅对于有效显示区域而且对于背景区域也可以生成影像。从而，即使不变更现场可编程门阵列的设计，也能够利用LUT，生成如图16所示的三分隔结构的输出影像，并能够生成如图17所示的四分隔结构的输出影像，还能够生成如图18所示的左侧影像位于画面的左侧，前方影像位于画面的右侧的输出影像。[0054]图19为根据本发明的一实施例的影像合成方法流程图。[0055]首先，在步骤SlOO中，用户通过用户界面选择所需的视图模式时，通过车辆通信将选择的视图模式信息输入至AVM电子控制单元。步骤S150中，影像合成部200将LUT处理次数进行初始化，并且，在步骤S200中，依次读取存储于存储部100的LUT中与已决定的视图模式对应的LUT记录部。步骤S250中，影像合成部200分析读取的记录部的报头。当报头值为‘I’时，在步骤S300中，影像合成部200提取记录在读取的记录部的黑影像用色彩表现信息即YCbCr值，并输出。即输出黑影像像素数据。当报头值为‘2’时，在步骤S350中，影像合成部200提取记录在读取的记录部的车辆掩膜影像用色彩表现信息即YCbCr值，并输出。即输出车辆掩膜影像像素数据。当报头值为‘4?7’中的某一个时，在步骤S400中，影像合成部200提取记录在读取的记录部的摄像头信息，并提取X，Y坐标和加权值。步骤S450中，影像合成部200利用提取的摄像头信息和X，Y坐标及加权值，从存储部100读取对应的影像数据，并且，在步骤S500中，执行双线性插值(B1-LinearInterpolation)计算，然后，在步骤S550中，输出结果。之后，在步骤S600中，影像合成部200判断处理次数是否达到输出影像的像素数即345600。如未达到该数时，在步骤S650中，影像合成部200将处理次数增加I次，并向步骤S150进行反馈。[0056]以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。【权利要求】1.一种容易变更视图模式的全景监控影像系统用影像合成装置，其特征在于，包括:影像输入部，接收由多个摄像头输入的影像；存储部，存储由记录部构成的查找表(lookuptable),其中，所述记录部以画面输出像素单位记录色彩表现信息或者所述输入影像的坐标信息；以及影像处理部，利用所述存储的查找表，将影像进行合成。2.根据权利要求1所述的容易变更视图模式的全景监控影像系统用影像合成装置，其特征在于，所述影像处理部包括:查找表分析部，分析存储的所述查找表中的记录部报头；色彩表现处理部，提取记录在已分析的所述记录部的数据域的色彩表现信息并输出；以及摄像头影像处理部，获取与记录在已分析的所述记录部的数据域的坐标信息对应的输入影像数据并输出。3.根据权利要求2所述的容易变更视图模式的全景监控影像系统用影像合成装置，其特征在于，所述色彩表现处理部为两个以上；根据所述分析结果，对应的色彩表现处理部提取记录在已分析的所述记录部的数据域的色彩表现信息并输出。4.根据权利要求3所述的容易变更视图模式的全景监控影像系统用影像合成装置，其特征在于，所述色彩表现处理部包括:黑影处理部，其生成黑影像；以及车辆掩膜处理部，其生成车辆掩膜影像。5.根据权利要求1所述的容易变更视图模式的全景监控影像系统用影像合成装置，其特征在于，所述色彩表现信息为光亮和色差信息。6.根据权利要求1所述的容易变更视图模式的全景监控影像系统用影像合成装置，其特征在于，所述存储部存储按视图模式的查找表。7.根据权利要求1至6中任一项所述的容易变更视图模式的全景监控影像系统用影像合成装置，其特征在于，所述影像输入部和所述影像处理部由现场可编程门阵列(FieldProgrammableGateArray:FPGA)体现。8.一种容易变更全景监控影像系统的视图模式的影像合成方法，其特征在于，包括:利用由以画面输出像素单位记录有色彩表现信息或者从多个摄像头的输入影像的坐标信息的查找表，将影像进行合成的步骤；以及将合成的所述影像输出至显示装置的步骤。9.根据权利要求8所述的容易变更全景监控影像系统的视图模式的影像合成方法，其特征在于，所述将影像进行合成的步骤包括:依次地分析构成所述查找表的记录部的步骤；以及根据已分析的所述记录部的报头值，提取记录在该数据域的色彩表现信息并输出或者获取与坐标信息相对应的摄像头输入影像数据并输出的步骤。10.根据权利要求8或9所述的容易变更全景监控影像系统的视图模式的影像合成方法，其特征在于，记录在所述查找表的色彩表现信息为用于生成黑影像和车辆掩膜影像。【文档编号】H04N7/18GK103458196SQ201210548848【公开日】2013年12月18日申请日期:2012年12月17日优先权日:2012年6月1日【发明者】姜锡泰申请人:现代摩比斯株式会社