一种多传感器多通道视频数据输入装置的制造方法
【专利摘要】本实用新型提供的多传感器多通道视频数据输入装置，包括异步采样模块、视频接口模块、定义分辨率模块、复用模块、缓存同步模块和同步调整模块。多个传感器的数据经过异步采样模块的异步采样后，由视频接口模块转化成内部需要的数据格式，再由定义分辨率模块对数据的分辨率进行定义，输出需要的分辨率数据；经过复用模块的复用排序后保存至RAM缓存单元或DDR缓存单元，生成多传感器同步数据输出；同步调整模块负责调整多个传感器的数据以达到复用模块的要求。本实用新型达到减少电路管脚，使芯片小型化的目的。本实用新型提供的多传感器多通道视频数据输入方法，通过简单小巧的装置，快速有效地完成多镜头多传感器的视频数据处理。
【专利说明】
一种多传感器多通道视频数据输入装置
技术领域
[0001]本实用新型涉及图像通信技术领域，尤其涉及多传感器多通道视频数据处理装置。
【背景技术】
[0002]目前一个图像传感器需要一个图像信号处理器(ISP)将光学镜头采集的信息变换成可用的RGB(或YUV)图像数据输出。如果同时采集多路图像传感器数据，则图像信号处理器(ISP)芯片必须大量增加管脚数量，导致电路板上需要搭建的辅助器件数量过多，而不能将产品做的小巧和灵活，增加产品总成本，并影响产品的灵活设计。
[0003]CN202309907U公开了包含MIPI接口的多图像传感器图像处理装置，其特点是包括主图像传感器芯片、一个或多个从图像传感器芯片和主控芯片，所述一个或多个从图像传感器芯片的图像数据输出端与所述主图像传感器芯片的图像数据输入端连接，所述图像传感器芯片的MIPI接口与所述主控芯片的MIPI接口连接。该专利申请虽然采用MIPI接口使多图像传感器图像处理装置的芯片体积有所减小，但是由于电路板上需要搭建主图像传感器芯片、一个或多个从图像传感器芯片和主控芯片，因此产品不能真正做到小巧、灵活。
【实用新型内容】
[0004]本实用新型旨在克服上述现有技术的不足，提供一种多传感器多通道视频数据输入装置，通过该多传感器多通道视频数据输入装置生成一个合成的图像数据送入图像信号处理器处理，达到减少集成电路管脚，使芯片小型化，从而节约芯片成本的目的。
[0005]为达到上述目的，本实用新型采用的技术方案如下:
[0006]—种多传感器多通道视频数据输入装置，包括缓存同步模块、同步调整模块和η组沿数据传输方向依次连接的异步采样模块、视频接口模块、定义分辨率模块和复用模块。所述η个复用模块均与缓存同步模块连接，η个定义分辨率模块均与同步调整模块连接，η 2 2。
[0007]在本实用新型的一个实施例中，所述多传感器多通道视频数据输入装置，还包括η个高速时分采样模块，每个高速时分采样模块的数据输出端对应与一个异步采样模块的数据输入端连接。
[0008]在本实用新型的一个实施例中，所述多传感器多通道视频数据输入装置，还包括m个传感器，每个传感器连接一个开关装置，至少两个开关装置与一个所述高速时分采样模块连接，所述传感器的数据经过所述开关装置进入所述高速时分采样模块，所述高速时分采样模块对所述开关装置输出控制信号，m>n。
[0009]在本实用新型的一个实施例中，所述多传感器多通道视频数据输入装置，还包括m个传感器，每个所述异步采样模块的数据输入端与一个传感器连接，所述传感器的数据经过所述异步采样模块的采样，转换成所述多传感器多通道视频数据输入装置的内部处理时钟域，m = n。
[0010]在本实用新型的一个实施例中，所述多传感器多通道视频数据输入装置，还包括η个合路装置，每个合路装置的数据输入端连接若干个传感器，每个合路装置的数据输出端与一个所述异步采样模块连接。
[0011]在本实用新型的一个实施例中，所述多传感器多通道视频数据输入装置，还包括视频处理模块，所述视频处理模块的数据输入端与所述缓存同步模块的数据输出端连接。
[0012]在本实用新型的一个实施例中，所述视频处理模块包括图像信号处理器(ISP)。
[0013]在本实用新型的一个实施例中，所述缓存同步模块为DDR缓存单元或RAM缓存单
J L ο
[0014]以上技术方案中的m、n为小于1000的整数。
[0015]有益效果:本实用新型提供的多传感器多通道视频数据输入装置，包括异步采样模块、视频接口模块、定义分辨率模块、复用模块、缓存同步模块和同步调整模块。多个传感器的数据经过异步采样模块的异步采样后，由视频接口模块转化成内部需要的数据格式，再由定义分辨率模块对数据的分辨率进行定义，输出需要的分辨率数据;经过复用模块的复用排序后保存至RAM缓存单元或DDR缓存单元，生成多传感器同步数据输出；同步调整模块是负责调整多个传感器的数据以达到复用模块的要求。本实用新型通过该多传感器多通道视频数据输入装置生成一个合成的图像数据送入图像信号处理器处理，达到减少电路管脚，使芯片小型化，从而节约芯片成本的目的。
【附图说明】
[0016]图1是多传感器多通道视频数据输入装置的实施例一的框架结构示意图；
[0017]图2是多传感器多通道视频数据输入装置的实施例一与传感器模块连接的框架结构示意图；
[0018]图3a是复用模块输入的数据示意图；
[0019]图3b是经过复用模块处理后从输出端输出的数据示意图；
[0020]图4a是数据进入RAM缓存单元之前的数据状态；
[0021]图4b是数据经过RAM缓存单元同步处理之后的数据状态；
[0022]图5是多传感器多通道视频数据输入装置的实施例二的框架结构示意图；
[0023]图6是多传感器多通道视频数据输入装置的实施例二与传感器模块连接的框架结构示意图；
[0024]图7是高速时分采样模块的整体设计架构示意图；
[0025]图8是传感器的数据流程图。
【具体实施方式】
[0026]本实用新型提供了一种多传感器多通道视频数据输入方法，将多个传感器所采集的数据通过合路装置排序后，通过多传感器多通道视频数据输入装置生成一个合成的图像数据送入图像信号处理器处理，从而达到减少电路管脚，使芯片小型化，节约芯片成本的目的。多传感器多通道视频数据输入装置包括异步采样模块、视频接口模块、定义分辨率模块、复用模块、缓存同步模块和同步调整模块。多个传感器的RAW或YUV422数据经过异步采样模块的异步采样后，由视频接口模块转化成内部需要的数据格式，再由定义分辨率模块对数据的分辨率进行定义，输出需要的分辨率数据;经过复用模块的复用排序后保存至RAM缓存单元或DDR缓存单元，生成多传感器同步数据输出；同步调整模块是负责调整多个传感器的数据以达到复用模块的要求。
[0027]下面结合附图和具体实施例对本实用新型的技术方案作进一步说明。
[0028]实施例一:
[0029]请参照图1，本实施例提供了一种多传感器多通道视频数据输入装置，它包括n(n> 2)组沿数据传输方向依次连接的异步采样模块111、视频接口模块112、定义分辨率模块113和复用模块121，还包括缓存同步模块131和同步调整模块141，n个复用模块121的数据输出端与一个缓存同步模块131的数据输入端连接，同步调整模块141包括信号输入端和信号输出端，同步调整模块141的信号输入端与定义分辨率模块113连接。多个传感器的RAW或YUV422数据经过异步采样模块111的异步采样后，由视频接口模块112转化成内部需要的数据格式，再由定义分辨率模块113对数据的分辨率进行定义，输出需要的分辨率数据。当定义分辨率模块113输出的数据符合复用模块121的要求时，复用模块121将数据排列起来，再使用缓存同步模块131来完成将所有传感器的数据同步对齐，同步的原理如图4a和图4b所示，图4a为数据进入RAM缓存单元之前的数据状态；图4b为数据经过RAM缓存单元同步处理之后的数据状态。
[0030]DDR缓存单元将所有传感器的数据同步对齐的原理与RAM缓存单元将所有传感器的数据同步对齐的原理一样。
[0031]RAM缓存单元因为缓存空间有限，只有I行数据的缓存空间，因此只能处理偏差(sensor)不超过I行的对齐;DDR缓存单元的空间比较充足，但是需要用到外部的DDR芯片，它能处理I帧数据的缓存空间，这样它就只能处理偏差(sensor)不超过I帧的对齐，当定义分辨率模块113输出的数据不符合复用模块121的要求时，通过同步调整模块141调整每个传感器的数据，以达到复用模块121的要求，再由复用模块121将数据输出至缓存同步模块131，缓存同步模块131的数据输出端与视频处理模块20的数据输入端连接。
[0032]所有传感器的数据间复用排序和缓存同步都是在一定条件下才可以完成，如果没有同步调整模块去调整传感器的时序，就无法保证整个装置准确正常地工作。本实用新型只要选其中一个传感器为参考传感器，调整其他所有的传感器与参考传感器行场信号对齐，就能完成整个装置的同步需求。
[0033]请参照图2，传感器模块10包括m个传感器101和至少一个合路装置102，其中至少两个传感器101形成为一个传感器组。本实施例中多传感器多通道视频数据输入装置设有五条通道，每条通道包括沿数据传输方向依次连接的异步采样模块111、视频接口模块112和定义分辨率模块113，每条通道的数据来源于三个传感器，三个传感器组成一个传感器组，每个传感器组的数据通过合路装置102合到一条通道，每个合路装置102的数据输出端与一个异步采样模块111的数据输入端连接。从而减少了电路管脚，达到使芯片小型化，节约芯片成本的目的。需要说明的是，在其它实施例中，可根据需要设置一条或多条通道，通道数量与传感器组的数量配合设置，每个传感器组可设置两个、三个、四个甚至更多的传感器。
[0034]为了更好地理解本实用新型，对本实用新型提供的多传感器多通道视频数据输入装置的工作原理说明如下:
[0035]异步采样模块111采用的方法是:先通过传感器数据同步时钟将数据缓存，再使用数据同步产生一个指示信号，这个信号比数据延时一个时钟节拍，然后多传感器多通道视频数据输入装置使用一个更高速的时钟，更高速的时钟比数据同步时钟快，根据指示信号去采样过来的数据，以避免装置在不同时钟域上采样到数据的亚稳态，造成数据不稳定。异步采样模块111支持单沿采样或双沿采样。
[0036]视频接口模块112支持BT656格式、BT601格式或其它现有数据格式。
[0037]定义分辨率模块113用于统一所有的传感器的分辨率，方便于后续模块的相关处理。
[0038]复用模块121输入的数据是时分排列的，不利于视频处理模块20处理，复用模块121用于将各个传感器的数据排列起来，图3a所示为复用模块121输入的数据，图3b所示为经过复用模块121处理后从输出端输出的数据。复用模块121先发送第一传感器sensorO的数据，接着再发送第二传感器sensor I的数据，最后再发送第三传感器sensorf的数据，这3个传感器sensor的数据排序复用合成了 I行的数据，视频处理模块20为图像信号处理器(ISP)，视频处理模块20处理一个传感器组输出的数据时可以当成I个传感器sensor输出完成视频处理模块20 (ISP)处理。比如3个640x480的传感器的数据，将它们按行拼接起来，先发送第一传感器的640个像素，再发送第二传感器的640个像素，接着再发送第三传感器的640个像素，这样这3个传感器的数据就可以复用成1920x480的数据，该数据通过复用模块121排序复用，实现只需要一个后续的视频处理模块处理多个传感器的数据。
[0039]缓存同步模块131将各异步数据放入DDR缓存单元或RAM缓存单元后，完成同步时序的调整。由于传感器1I之间的工作启动是独立的，因此传感器1I的进入多传感器多通道视频数据输入装置的数据是无法同步、无法对齐的；为了能够将所有传感器101的数据同步对齐起来，需要使用缓存同步模块131来完成同步，同步的原理如图4a和图4b所示，图4a为数据进入RAM缓存单元之前的数据状态；图4b为数据经过RAM缓存单元同步处理之后的数据状态。
[0040]RAM缓存单元因为缓存空间有限，只有I行数据的缓存空间，因此只能处理偏差(sensor)不超过I行的对齐;DDR缓存单元的空间比较充足，但是需要用到外部的DDR芯片，它能处理I帧数据的缓存空间，这样它就只能处理偏差(sensor)不超过I帧的对齐。
[0041]同步调整模块141用于调整传感器的时序，以保证整个装置能够准确正常地工作，其原理是:所有传感器的源时钟都是本多传感器多通道视频数据输入装置供给的，如果在一段时间间隔，以保证传感器内部的锁相环不会出现失锁的情况，本多传感器多通道视频数据输入装置供给传感器的时钟出现某个时钟节拍无效一直为零，这样该传感器就会比参考传感器少了一个时钟节拍，该传感器输出的数据就会延时一个时钟节拍。控制这些延时累计，就能调整该传感器的行场信号和参考传感器行场信号对齐，从而同步了该传感器和参考传感器。即，在本多传感器多通道视频数据输入装置中，只要选其中一个传感器为参考传感器，调整其他所有的传感器与参考传感器的行场信号对齐，就能完成同步需求。
[0042]实施例二:
[0043]请参照图5，本实用新型还提供了多传感器多通道视频数据输入装置的另一实施例，它包括若干组沿数据传输方向依次连接的高速时分采样模块114、异步采样模块111、视频接口模块112和定义分辨率模块113，还包括复用模块121、缓存同步模块131和同步调整模块141，其中每个定义分辨率模块113与复用模块121的数据输入端和同步调整模块141的数据输入端连接，复用模块121的数据输出端与缓存同步模块131的数据输入端连接，同步调整模块141的数据输出端与传感器模块1a连接，缓存同步模块131的数据输出端与视频处理模块20的数据输入端连接。本实施例与实施例一的区别是:在异步采样模块111之前设置了高速时分采样模块114，传感器模块10的数据先经过高速时分采样模块114，再进入异步采样模块111。如图6所示，本实施例中，传感器模块10包括多个传感器101，其中每三个传感器101形成为一个传感器组，每个传感器101的数据输出端与一开关装置103连接，每组开关装置103与高速时分采样模块114分别连接，高速时分采样模块114用于控制开关装置103时分采样各个传感器的数据。
[0044]图7所示为高速时分采样模块114的整体设计架构，以三个传感器101形成的一个传感器组为例，开关装置103在片选信号sel有效时，数据能够选通;高速时分采样模块114通过时分有效各个开关装置的片选信号sel，使得各个开关装置时分轮流选通，然后各个传感器的数据data时分轮流传输到高速时分采样模块。
[0045]为了准确地采样到各个传感器101的输入的数据，高速时分采样模块114还要控制各个传感器101的工作时钟clk，通过调整各个传感器101的工作时钟的相位，使得各个传感器101的数据能对应到各自的采样时刻。实现通过多传感器多通道视频数据输入装置内部的高速时分米样模块114准确地米样各个传感器101的数据。
[0046]图8所示为传感器的数据处理流程图，进入多传感器多通道视屏数据输入装置的传感器的数据，经过高速时分采样模块时分去采样各个传感器的数据，经过异步采样模块的采样，转换成装置内部处理时钟域，再经过视频接口模块的处理，转换成装置内部所要求的时序，再经过定义分辨率模块的处理，转换成装置内部所需要的分辨率(长宽)。
[0047]这时出来的数据，是符合装置内部需求格式的数据，为了后续模块能够简单方便地处理所有传感器的数据，需要将同一通道上的数据按照要求复用起来，不同通道之间的数据同步起来，因此就是经过复用模块和缓存同步模块的处理。
[0048]为了能达到准确无误地将所有传感器的数据复用同步起来，还需要使用同步调整模块，去调整所有传感器的数据，使得它们能够达到复用模块的要求。
[0049]在本装置中，所有传感器之间复用、同步都是在一定条件下才可以完成的，因此就需要同步调整模块去调整传感器的时序，以保证整个装置能够准确正常地工作。
[0050]本实用新型提供的多传感器多通道视频数据输入方法，由于采用了上述传感器多通道视频数据输入装置，实现了通过简单小巧的装置，快速有效地完成多镜头的视频数据处理。
[0051]根据上述说明书的揭示和教导，本实用新型所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本实用新型并不局限于上面揭示和描述的【具体实施方式】，对实用新型的一些修改和变更也应当落入本实用新型的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本实用新型构成任何限制。
【主权项】
1.一种多传感器多通道视频数据输入装置，其特征在于:包括缓存同步模块、同步调整模块和η组沿数据传输方向依次连接的异步采样模块、视频接口模块、定义分辨率模块和复用模块，所述η个复用模块均与缓存同步模块连接，η个定义分辨率模块均与同步调整模块连接，η 2 2。2.根据权利要求1所述的多传感器多通道视频数据输入装置，其特征在于:还包括η个高速时分采样模块，每个高速时分采样模块的数据输出端对应与一个异步采样模块的数据输入端连接。3.根据权利要求2所述的多传感器多通道视频数据输入装置，其特征在于:还包括m个传感器，每个传感器连接一个开关装置，至少两个开关装置与一个所述高速时分采样模块连接，所述传感器的数据经过所述开关装置进入所述高速时分采样模块，所述高速时分采样模块对所述开关装置输出控制信号，m>n。4.根据权利要求1所述的多传感器多通道视频数据输入装置，其特征在于:还包括m个传感器，每个所述异步采样模块的数据输入端与一个传感器连接，所述传感器的数据经过所述异步采样模块的采样，转换成所述多传感器多通道视频数据输入装置的内部处理时钟域，m = n。5.根据权利要求1所述的多传感器多通道视频数据输入装置，其特征在于:还包括η个合路装置，每个合路装置的数据输入端连接若干个传感器，每个合路装置的数据输出端与一个所述异步采样模块连接。6.根据权利要求1一5任一项所述的多传感器多通道视频数据输入装置，其特征在于:还包括视频处理模块，所述视频处理模块的数据输入端与所述缓存同步模块的数据输出端连接。7.根据权利要求6所述的多传感器多通道视频数据输入装置，其特征在于:所述视频处理模块包括图像信号处理器。8.根据权利要求1所述的多传感器多通道视频数据输入装置，其特征在于:所述缓存同步模块为DDR缓存单元或RAM缓存单元。
【文档编号】H04N5/341GK205566482SQ201620252008
【公开日】2016年9月7日
【申请日】2016年3月28日
【发明人】于燕斌, 张燕生, 何世杰
【申请人】广州市盛光微电子有限公司