一种图像处理方法及系统、相机模组、图像采集系统与流程

1.本技术实施例涉及图像处理技术领域，尤其涉及一种图像处理方法及系统、相机模组、图像采集系统。


背景技术：

2.现有的多目视觉系统中，多目视觉系统通常在相机侧生成联合图像专家小组(jpeg，joint photographic experts group)格式的图像，进而将jpeg格式的图像数据传输至处理单元，由处理单元对图像进行解码和处理，jepg格式的图像数据虽然传输速度较快，但是在使用相关算法对该格式的图像数据进行处理时解码时间较长，增加了算法运行的时耗，降低对图像进行在线处理的性能。


技术实现要素：

3.为解决上述技术问题，本技术实施例提供了一种图像处理方法及系统、相机模组、图像采集系统。
4.本技术实施例提供了一种图像处理方法，所述方法包括：
5.向相机模组发送触发信号，所述触发信号用于触发所述相机模组中的图像传感器进行图像采集；
6.接收所述相机模组发送的同轴信号，从所述同轴信号中解码出原始图像数据流；其中，所述原始图像数据流是通过所述相机模组中的第二处理器对所述图像传感器进行图像采集后输出的图像数据进行转化后得到的；所述同轴信号是通过所述相机模组中的串化器对所述第二处理器输出的原始图像数据流进行转化后得到的。
7.在本技术一可选实施方式中，所述相机模组中包括n个图像传感器，n为正整数，相应地，所述触发信号用于触发所述n个图像传感器中的每个图像传感器进行图像采集，其中，所述n个图像传感器采集并输出n张图像；
8.接收所述相机模组发送的同轴信号，从所述同轴信号中解码出原始图像数据流，包括：
9.接收所述相机模组发送的n个同轴信号，从所述n个同轴信号中解码出至多包括n张图像的原始图像数据流。
10.在本技术一可选实施方式中，所述方法还包括：
11.对解码出的至多包括n张图像的原始图像数据流进行格式转化，得到格式转化后的图像数据；
12.对格式转化后的图像数据进行合成处理，得到三维图像。
13.在本技术一可选实施方式中，所述方法还包括：
14.向相机模组发送触发信号后，记录所述触发信号的发出时间作为基准时间戳；
15.基于所述基准时间戳和所述n个图像传感器的曝光时间，确定所述n个图像传感器的曝光中心点；
16.对格式转化后的图像数据进行合成处理，得到三维图像，包括：
17.从所述格式转化后的图像数据中确定出具有相同曝光中心点的m张图像，m为大于等于2且小于等于n的整数；
18.对所述m张图像进行合成处理，得到三维图像。
19.在本技术一可选实施方式中，向相机模组发送触发信号，包括：
20.按照设定的发送频率向所述相机模组发送触发信号，其中，所述发送频率与所述相机模组中的图像传感器的采集帧率相同。
21.本技术实施例还提供了一种图像处理方法，所述方法包括：
22.接收图像处理系统发送的触发信号，基于所述触发信号进行图像采集；
23.将进行图像采集后输出的图像数据转化为原始图像数据流；
24.将所述原始图像数据流转化为同轴信号传输至所述图像处理系统。
25.在本技术一可选实施方式中，所述原始图像数据流的格式为yuv格式。
26.本技术实施例还提供了一种图像处理系统，所述图像处理系统包括：第一处理器和解串器；其中，
27.所述第一处理器，用于向相机模组发送触发信号，所述触发信号用于触发所述相机模组中的图像传感器进行图像采集；
28.所述解串器，用于接收所述相机模组发送的同轴信号，从所述同轴信号中解码出原始图像数据流；其中，所述原始图像数据流是通过所述相机模组中的第二处理器对所述图像传感器进行图像采集后输出的图像数据进行转化后得到的；所述同轴信号是通过所述相机模组中的串化器对所述第二处理器输出的原始图像数据流进行转化后得到的。
29.在本技术一可选实施方式中，所述解串器与所述相机模组中的串化器之间通过同轴电缆连接；
30.所述解串器，用于通过所述同轴电缆接收所述相机模组中的串化器发送的同轴信号。
31.本技术一可选实施方式中，所述相机模组中包括n个图像传感器，n为正整数，相应地，所述触发信号用于触发所述n个图像传感器中的每个图像传感器进行图像采集，其中，所述n个图像传感器采集并输出n张图像；
32.所述解串器具体用于：接收所述相机模组发送的n个同轴信号，从所述n个同轴信号中解码出至多包括n张图像的原始图像数据流。
33.本技术一可选实施方式中，所述第一处理器具体用于：对解码出的至多包括n张图像的原始图像数据流进行格式转化，得到格式转化后的图像数据；对格式转化后的图像数据进行合成处理，得到三维图像。
34.本技术一可选实施方式中，所述第一处理器还用于：向相机模组发送触发信号后，记录所述触发信号的发出时间作为基准时间戳；基于所述基准时间戳和所述n个图像传感器的曝光时间，确定所述n个图像传感器的曝光中心点；
35.从所述格式转化后的图像数据中确定出具有相同曝光中心点的m张图像，m为大于等于2且小于等于n的整数；对所述m张图像进行合成处理，得到三维图像。
36.在本技术一可选实施方式中，所述第一处理器还具体用于：按照设定的发送频率向所述相机模组中的图像传感器发送触发信号，其中，所述发送频率与所述相机模组中的
图像传感器的采集帧率相同。
37.本技术实施例还提供了一种相机模组，所述相机模组包括：图像传感器、第二处理器和串化器；其中，
38.所述图像传感器，用于接收图像处理系统发送的触发信号，基于所述触发信号进行图像采集；
39.所述第二处理器，用于将所述图像传感器进行图像采集后输出的图像数据转化为原始图像数据流；
40.所述串化器，用于将所述原始图像数据流转化为同轴信号传输至所述图像处理系统。
41.在本技术一可选实施方式中，所述串化器与所述图像处理系统中的解串器之间通过同轴电缆连接；
42.所述串化器具体用于：将所述原始图像数据流转化为同轴信号，并通过所述同轴电缆将所述同轴信号传输至所述图像处理系统中的解串器。
43.本技术一可选实施方式中，所述原始图像数据流的格式为yuv格式。
44.本技术实施例还提供了一种图像采集系统，所述图像采集系统包括上述实施例所述的图像处理系统，以及上述实施例所述的相机模组。
45.本技术实施例的技术方案，通过向相机模组发送触发信号，所述触发信号用于触发所述相机模组中的图像传感器进行图像采集；接收所述相机模组发送的同轴信号，从所述同轴信号中解码出原始图像数据流；其中，所述原始图像数据流是通过所述相机模组中的第二处理器对所述图像传感器进行图像采集后输出的图像数据进行转化后得到的；所述同轴信号是通过所述相机模组中的串化器对所述第二处理器输出的原始图像数据流进行转化后得到的。如此，能够通过统筹利用相同的触发信号同时触发多个图像传感器中的每个图像传感器进行图像采集，并在相机模组侧将图像传感器进行图像采集后输出的图像数据转化为原始图像数据流，进而将该原始图像数据流转化为同轴信号后传输至图像处理系统进行后续处理，从而使图像处理系统从同轴信号中解码出原始图像的数据流后，不需要再对接收到的原始图像数据流进行解码，降低图像处理系统对相机模组发送的图像进行解码和算法处理的时耗，提高对图像进行在线处理的性能和实时性。
附图说明
46.图1为本技术实施例提供的图像处理方法的流程示意图一；
47.图2为本技术实施例提供的图像采集系统的结构组成示意图一；
48.图3为本技术实施例提供的图像处理方法的流程示意图二；
49.图4为本技术实施例提供的图像采集系统的结构组成示意图二；
50.图5为本技术实施例提供的图像处理方法的软件处理流程图。
具体实施方式
51.为了能够更加详尽地了解本技术的特点与技术内容，下面结合附图对本技术的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本技术。
52.多目视觉系统广泛应用于诸如机器人、无人车和无人机等设备中，用于实现定位
导航、精密工业测量、物体识别、虚拟现实、场景重建以及勘测等功能。现有的多目视觉系统多采用usb接口，为实现多目视觉系统中处理单元与多个相机之间的触发信号的发送以及数据传输，需要在处理单元与多个相机之间单独拉线，存在成本高、传输距离短、接入不方便等特点。此外，在复杂的工况下，采用通用串行总线(usb，universal serial bus)接口进行单独拉线的数据传输方式可靠性较差，使数据采集及传输难以实现真正精确的同步，还会出现丢帧以及难以根据应用场景灵活变化触发信号的帧率等问题。再有，多目视觉系统的相机在采集图像后，为提高将图像数据传输至处理单元的速度，通常需要在相机侧将图像传感器生成的图像数据转换为jpeg格式，进而通过相机与处理单元之间的usb连接将jpeg格式的图像传输至处理单元，由处理单元将接收到的jepg格式的图像转化为rgb格式，再进行后续的图像合成，整个过程解码以及处理过程的耗时较长，降低了多目视觉系统的在线处理的性能。
53.为解决上述问题，本技术实施例提供了一种图像处理方法，图1为本技术实施例提供的图像处理方法的流程示意图一，如图1所示，所述方法包括以下步骤：
54.步骤101：向相机模组发送触发信号，所述触发信号用于触发所述相机模组中的图像传感器进行图像采集。
55.具体的，如图2所示，本技术实施例中的图像处理系统20与相机模组21连接，其中，相机模组21中包括多个相机，其中每个相机中都包括图像传感器，图像处理系统20通过统一向相机模组21中的一个或多个图像传感器发送触发信号，从而触发相机模组21中的一个或多个图像传感器进行图像采集。
56.本技术一可选实施方式中，向相机模组发送触发信号，包括：
57.按照设定的发送频率向所述相机模组发送触发信号，其中，所述发送频率与所述相机模组中的图像传感器的采集帧率相同。
58.具体的，本技术实施例中，触发信号又称为图像传感器的帧同步信号，图像处理系统20中预先设定有触发信号的发送频率，从而能够按照设定的发送频率向相机模组21中的一个或多个图像传感器发送触发信号，在图像处理系统20按照设定的发送频率向相机模组21发送触发信号后，图像传感器能够基于所接收到的触发信号按照与触发信号相同频率的帧率进行图像采集。
59.作为一种优选的实施方式，如图2所示，图像处理系统20与相机模组21之间通过同轴电缆22连接，图像处理系统20能够通过自身的通用输入输出端口(gpio，general purpose input output)端口输出触发信号，经由同轴电缆22传输至相机模组21，从而触发相机模组21中的一个或多个图像传感器进行图像的采集。
60.本技术实施例中，触发信号的发送频率能够根据实际应用场景在图像处理系统的软件程序中灵活设置，从而保证相机模组21中的图像传感器进行图像采集的帧率随触发信号的频率灵活变化，适应多种场景需求。
61.本技术实施例的技术方案，图像处理系统20输出的触发信号能够通过同轴电缆22传输至相机模组21，触发相机模组21中的多个图像传感器曝光并采集图像，整个过程能够实现对于相机模组21中的多个图像传感器的同步触发，使相机模组21中的多个图像传感采集图像时能够实现时序同步，具有较高的可靠性。
62.步骤102：接收所述相机模组发送的同轴信号，从所述同轴信号中解码出原始图像
数据流。
63.本技术实施例中，所述原始图像数据流是通过所述相机模组中的第二处理器对所述图像传感器进行图像采集后输出的图像数据进行转化后得到的；所述同轴信号是通过所述相机模组中的串化器对所述第二处理器输出的原始图像数据流进行转化后得到的。
64.具体的，如图2所示，相机模组21中的每个相机中除图像传感器外，还包括有串化器和第二处理器。其中，相机中的图像传感器在进行图像采集后输出拜耳格式的图像数据，并将该拜耳格式的图像传输至第二处理器，这里，第二处理器为图像信号处理器(isp，image signal processing)，第二处理器能够对图像传感器输出的拜耳格式的图像数据进行处理，将其转化为原始图像数据流并传输至串化器，由串化器将原始图像数据流转化为抗干扰的同轴信号后传输至图像处理系统20。图2中，图像处理系统20中包括有解串器202，串化器将同轴信号传输至图像处理系统20后，图像处理系统20中的解串器202将串行形式的同轴信号进行处理后得到第二处理器输出的原始图像数据流。这里，相机模组21中的每个串化器与图像处理系统20中的解串器202之间通过同轴电缆22连接，从而使串化器通过同轴电缆22将同轴信号传输至图像处理系统20的解串器202中，解串器202可以通过第一处理器201的移动行业处理器接口(mipi，mobile industry processor interface)将原始图像数据流传输至图像处理系统20的第一处理器201。
65.需要说明的是，本技术实施例中，第二处理器将拜耳格式的图像输出转化为原始图像数据流的过程，不需要对拜耳格式的图像数据进行压缩。作为一种优选的实施方式，原始图像数据流的格式可以为yuv格式，第二处理器将拜耳格式的图像数据转化为yuv格式的图像数据时，不需要对拜耳格式的图像进行压缩。
66.本技术一可选实施方式中，所述相机模组中包括n个图像传感器，n为正整数，相应地，所述触发信号用于触发所述n个图像传感器中的每个图像传感器进行图像采集，其中，所述n个图像传感器采集并输出n张图像；
67.接收所述相机模组发送的同轴信号，从所述同轴信号中解码出原始图像数据流，包括：
68.接收所述相机模组发送的n个同轴信号，从所述n个同轴信号中解码出至多包括n张图像的原始图像数据流。
69.具体的，如图2所示，在相机模组21中包括有n个相机的情况下，图像处理系统20统一向n个相机中的图像传感器发送触发信号，由n个图像传感器采集并输出n张图像，从而使相机模组21输出n个同轴信号并发送至图像处理系统20，由图像处理系统20中的解串器202对n个同轴信号进行处理得到n张图像的原始图像数据流，并将n张图像的原始图像数据流传输至第一处理器201进行处理。这里，n个同轴信号到达解串器202的时间可能不完全相同，但是解串器202能够基于时钟信息，在n个同轴信号均到达解串器202后，再对n个同轴信号进行处理得到n张图像的原始图像数据流，并将n张图像的原始图像数据流传输至第一处理器201。
70.本技术一可选实施方式中，对解码出的至多包括n张图像的原始图像数据流进行格式转化，得到格式转化后的图像数据；
71.对格式转化后的图像数据进行合成处理，得到三维图像。
72.具体的，图2中，第一处理器201在接收到解串器202传输的n张图像的原始图像数
据流后，对该n张图像的原始图像数据流进行格式转换，对转化后的图像数据进行合成处理即可得到相机模组21的多个图像传感器所采集的目标对象的三维图像。
73.这里，第一处理器201在将n张图像的原始图像数据流进行格式转化时，由于原始图像数据流是未被压缩的图像数据，因此，第一处理器201在对原始图像数据流进行格式转化时，不需要对该原始图像数据流进行解码。作为一种优选的实施方式，本技术实施例的原始图像数据流的格式可以为yuv格式，第一处理器201可以将具有yuv格式的原始图像数据流转化为rgb格式，进而再由第一处理器201对rgb格式的图像数据进行后续的算法处理。
74.本技术一可选实施方式中，向相机模组发送触发信号后，记录所述触发信号的发出时间作为基准时间戳；
75.基于所述基准时间戳和所述n个图像传感器的曝光时间，确定所述n个图像传感器的曝光中心点；
76.对格式转化后的图像数据进行合成处理，得到三维图像，包括：
77.从所述格式转化后的图像数据中确定出具有相同曝光中心点的m张图像，m为大于等于2且小于等于n的整数；
78.对所述m张图像进行合成处理，得到三维图像。
79.具体的，图2中，图像处理系统20在向相机模组21中的n个图像传感器发送触发信号后，将触发信号发送时间记录为n个图像传感器进行图像采集的基准时间戳，该基准时间戳代表所述n个图像传感器中的每个图像传感器的曝光起始时间；进一步的，针对多个图像传感器中的每个图像传感器，基于该图像传感器的曝光起始时间、曝光时间以及读出时间计算出该图像传感器的曝光中心点。在一种实施方式中，可以通过以下公式计算所述图像传感器106的曝光中心点：曝光中心点＝曝光起始时间+(曝光时间+读出时间)/2。如此，图像处理系统20即可确定出每个图像传感器所采集的图像的曝光中心点。
80.这里，采用传统的usb接口方法确定图像传感器在采集一帧图像的时间戳时，通常将图像传感器采集的一帧图像传输至计算平台(即本技术的第一处理器)的时间确定为图像传感器采集该帧图像的时间戳，然而，采用此种方式确定的时间戳包含了该帧图像曝光完成后的读出时间误差、第二处理器进行图像转码的时间以及图像数据的传输时间，因此，在利用此种方式确定时间戳进行图像传感器采集的图像的处理和合成时，还需要在计算平台通过软件对该时间戳进行误差补偿。
81.本技术实施例中，由图像处理系统统筹输出触发信号，将触发信号的发出时间记录为图像传感器采集一帧图像时的基准时间戳，所述基准时间戳为所述多个图像传感器中的每个图像传感器的曝光起始时间；因此，多个图像传感器的触发时间是相同的。此外，由于不同图像传感器之间亮度的不同，可能导致不同图像传感器的曝光值不相同，因此，本技术实施例针对多个图像传感器中的每个图像传感器，基于该图像传感器的曝光起始时间、曝光时间以及读出时间计算该图像传感器的曝光中心点，最终能够计算出不同图像传感器的曝光中心点，保证对于曝光中心点的计算更加精确，减少在图像处理系统20中利用软件对曝光中心点进行误差补偿的工作量。这里，可以通过图像传感器的手册确定图像传感器的读出(即readout)时间。
82.本技术实施例中，在确定出相机模组中的多个图像传感器进行图像采集时的曝光中心点后，将具有相同曝光中心点的图像认为是同一时刻拍摄的图像，通过将同一时刻拍
摄的图像进行合成处理，即可得到相机模组中的多个图像传感器所拍摄的目标图像的三维图像。
83.本技术实施例的技术方案中，图像处理系统中的第一处理器与图像传感器之间设置有解串器以及串化器，并将解串器以及串化器之间通过同轴电缆连接，形成“串化器-同轴电缆-解串器”形式的fpdlink传输方案。在利用同轴电缆进行数据传输时，传输距离最远可达15m，方便在无人车、机器人等设备上安装配置，且便于对相机数量进行扩展。这里，在将本技术实施例的图像采集系统应用于无人车、机器人等设备上时，通过采用“串化器-同轴电缆-解串器”形式的车规级的fpdlink传输方案，能够达到以下效果：
84.一方面，图像处理系统输出的触发信号通过同轴电缆传输至相机模组，能够实现对于相机模组中的多个图像传感器的同步触发，使相机模组中的图像传感器采集图像时能够实现时序同步；
85.另一方面，相机模组中的第二处理器在对图像传感器输出的图像数据进行处理转化为原始图像数据流时，不需要对图像传感器输出的图像数据进行压缩，而在将原始图像数据流以同轴信号的形式发送至图像处理系统后，图像处理系统中的第一处理器在对原始图像数据流进行格式转化时，也不需要对原始图像数据流进行解码即可进行后续的算法处理，整个图像数据的传输过程传输速度快、稳定性高且成本较低，能够使第一处理器达到同步接收多个图像传感器采集的图像数据的目的，此外，还能够降低图像处理系统对图像进行解码和算法处理的时耗，提高对图像进行在线处理的性能和实时性。
86.图3为本技术实施例提供的图像处理方法的流程示意图二，如图3所示，所述方法包括以下步骤：
87.步骤301：接收图像处理系统发送的触发信号，基于所述触发信号进行图像采集。
88.具体的，如图2所示，本技术实施例中的相机模组21与图像处理系统20连接，相机模组21中包括多个相机，其中，每个相机中都包括图像传感器，图像处理器系统在统一向相机模组21发送触发信号后，相机模组21中的图像传感器能够同时接收到图像处理系统20发送的触发信号从而进行图像采集。作为一种优选的实施方式，图像处理系统20与相机模组21之间通过同轴电缆22连接，图像处理系统20能够通过自身的通用输入输出端口gpio端口输出触发信号，经由同轴电缆22传输至相机模组21，从而使相机模组21中的多个图像传感器同步接收到图像处理系统20发送的触发信号。
89.这里，由于图像处理系统20能够按照设定的发送频率发送触发信号，因此，图像传感器也能够基于设定频率的触发信号按照与发送的触发信号频率相同的帧率进行图像采集，多个图像传感器进行图像采集时的时序是同步的。随着触发信号的频率变化，多个图像传感器的图像采集帧率也能够随触发信号的频率灵活变化，从而能够通过调节图像处理系统20发送触发信号的频率改变图像传感器的图像采集帧率，适应多种应用场景的需求。
90.步骤302：将进行图像采集后输出的图像数据转化为原始图像数据流。
91.具体的，如图2所示，相机模组21中的每个相机除图像传感器外，还包括有第二处理器。其中，相机中的图像传感器在进行图像采集后能够输出拜耳格式的图像数据，并将该拜耳格式的图像传输至第二处理器，这里，第二处理器为isp，第二处理器通过能够对图像传感器输出的拜耳格式的图像数据进行处理，将其转化为原始图像数据流。
92.步骤303：将所述原始图像数据流转化为同轴信号传输至所述图像处理系统。
93.具体的，如图2所示，相机模组21中还包括有串化器，串化器在接收到第二处理器输出的原始图像数据流后，能够将原始图像数据流转化为同轴信号并将同轴信号传输至图像处理系统20。
94.本技术实施例的技术方案，相机模组与图像传感器之间通过同轴电缆连接，由相机模组中的多个图像传感器同步接收图像处理系统统筹输出的触发信号，实现相机模组中多个图像传感器的同步触发。在利用同轴电缆进行数据传输时，传输距离最远可达15m，方便在无人车、机器人等设备上安装配置，且便于对相机数量进行扩展。相机模组中的第二处理器在对图像传感器输出的图像数据进行处理转化为原始图像数据流时，不需要对图像传感器输出的图像数据进行压缩，而在将原始图像数据流以同轴信号的形式发送至图像处理系统，由图像处理系统中对接收到的原始图像数据流进行格式转化时，不需要对该原始图像数据流进行解码，能够降低图像处理系统对图像进行解码和算法处理的时耗，提高对图像进行在线处理的性能和实时性。
95.本技术实施例还提供了一种图像处理系统20，所述图像处理系统20包括：第一处理器201和解串器202；其中，
96.所述第一处理器201，用于向相机模组21发送触发信号，所述触发信号用于触发所述相机模组21中的图像传感器进行图像采集；
97.所述解串器202，用于接收所述相机模组21发送的同轴信号，从所述同轴信号中解码出原始图像数据流；其中，所述原始图像数据流是通过所述相机模组21中的第二处理器对所述图像传感器进行图像采集后输出的图像数据进行转化后得到的；所述同轴信号是通过所述相机模组21中的串化器对所述第二处理器输出的原始图像数据流进行转化后得到的。
98.本技术一可选实施方式中，所述解串器202与所述相机模组21中的串化器之间通过同轴电缆22连接。
99.所述解串器202，用于通过所述同轴电缆22接收所述相机模组21中的串化器发送的同轴信号。
100.本技术一可选实施方式中，所述相机模组21中包括n个图像传感器，n为正整数，相应地，所述触发信号用于触发所述n个图像传感器中的每个图像传感器进行图像采集，其中，所述n个图像传感器采集并输出n张图像；
101.所述解串器202具体用于：接收所述相机模组21发送的n个同轴信号，从所述n个同轴信号中解码出至多包括n张图像的原始图像数据流。
102.本技术一可选实施方式中，所述第一处理器201具体用于：对解码出的至多包括n张图像的原始图像数据流进行格式转化，得到格式转化后的图像数据；对格式转化后的图像数据进行合成处理，得到三维图像。
103.本技术一可选实施方式中，所述第一处理器201还用于：向相机模组21发送触发信号后，记录所述触发信号的发出时间作为基准时间戳；基于所述基准时间戳和所述n个图像传感器的曝光时间，确定所述n个图像传感器的曝光中心点；从所述格式转化后的图像数据中确定出具有相同曝光中心点的m张图像，m为大于等于2且小于等于n的整数；对所述m张图像进行合成处理，得到三维图像。
104.本技术一可选实施方式中，所述第一处理器201还具体用于：按照设定的发送频率
向所述相机模组21中的图像传感器发送触发信号，其中，所述发送频率与所述相机模组21中的图像传感器的采集帧率相同。
105.本技术实施例还提供了一种相机模组21，所述相机模组21包括：图像传感器、第二处理器和串化器；其中，
106.所述图像传感器，用于接收图像处理系统20发送的触发信号，基于所述触发信号进行图像采集；
107.所述第二处理器，用于将所述图像传感器进行图像采集后输出的图像数据转化为原始图像数据流；
108.所述串化器，用于将所述原始图像数据流转化为同轴信号传输至所述图像处理系统20。
109.本技术一可选实施方式中，所述串化器与所述图像处理系统20中的解串器202之间通过同轴电缆22连接；
110.所述串化器具体用于：将所述原始图像数据流转化为同轴信号，并通过所述同轴电缆22将所述同轴信号传输至所述图像处理系统20中的解串器202。
111.本技术一可选实施方式中，所述原始图像数据流的格式为yuv格式。
112.本领域技术人员应当理解，图2所示的图像处理系统20以及相机模组21中的各单元的实现功能可参照前述图像处理方法的相关描述而理解。图2所示的图像处理系统20以及相机模组21中的各单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。
113.本技术实施例还提供了一种图像采集系统，图2为本技术实施例提供的图像图像采集系统的结构组成示意图一。如图2所示，所述图像采集系统包括图像处理系统20以及相机模组21，其中，所述图像处理系统20中包括第一处理器201以及解串器202，所述相机模组21中包括多个相机，多个相机中的每个相机中包括有串化器、第二处理器以及图像传感器。
114.下面以一种具体的图像采集系统为例来说明本技术实施例的图像采集系统的图像采集、传输以及处理过程，图4为本技术实施例提供的图像采集系统的结构组成示意图二，图5为基于图4所述的图像采集系统的软件处理流程图。
115.如图4所示，所述图像采集系统包括图像处理系统20，所述图像处理系统20与相机模组21之间通过同轴电缆22连接，图像处理系统20中包括第一处理器201以及解串器202，其中，第一处理器201包括图像协处理器2011以及图形处理器2012(gpu，graphics processing unit)，所述解串器202与图像协处理器2011的移动行业处理器接口(mipi，mobile industry processor interface)连接，与图形处理器2012的gpio接口连接。此外，图像采集系统还包括相机模组21，相机模组21中包括多个相机，以相机211为例，该相机中包括有串化器2110、第二处理器2111以及图像传感器2112。图像处理系统20与相机模组21之间通过同轴电缆22连接，具体为，图像处理系统20中的解串器202与相机模组21中的串化器之间通过同轴电缆22连接，形成“串化器-同轴电缆-解串器”形式的fpdlink传输方案。
116.图4中，图像处理系统20中的图形处理器2012用于通过gpio接口输出触发相机模组21中的多个图像传感器进行图像采集的触发信号；多个图像传感器中的每个图像传感器在接收到图像处理系统20输出的触发信号后开始曝光并产生一帧拜耳格式的图像，接下来拜耳格式的图像数据传输给第二处理器，有第二处理器对拜耳格式的图像数据进行调试并
将其转换为原始图像数据流，然后由串化器进一步将原始图像数据流转换为抗干扰的同轴信号，从而能够将相机模组21中的多个相机输出的同轴信号经过一定长度(如15米)的同轴电缆22传输到解串器202中，解串器202基于时钟信号能够将接收到的多个相机输出的多路同轴信号进行处理得到相机模组21输出的n个图像的原始图像数据流，并通过图像协处理器2011的mipi接口发送至第一处理器201中，由第一处理器201对n个图像的原始图像数据流进行格式转化以及合成处理；其中，第一处理器201在发出触发信号后，将触发信号的发出时间记录为图像传感器采集一帧图像时的基准时间戳，所述基准时间戳为所述多个图像传感器中的每个图像传感器的曝光起始时间；针对多个图像传感器中的每个图像传感器，基于该图像传感器的曝光起始时间、曝光时间以及读出时间计算该图像传感器的曝光中心点，最终能够计算出不同图像传感器的曝光中心点，在确定出相机模组21中的多个图像传感器进行图像采集时的曝光中心点后，将具有相同曝光中心点的图像认为是同一时刻拍摄的图像，通过将同一时刻拍摄的图像进行合成处理，即可得到相机模组21中的多个图像传感器所拍摄的目标图像的三维图像。这里，作为一种优选的实施方式，图像处理系统20在接收到n个图像的原始图像数据流后，还可以利用图像协处理器2011对n个原始图像数据流图像进行裁剪以及缩放等处理，之后再由第一处理器201将裁剪以及缩放处理后的原始图像数据流数据进行格式转化以及后续的合成处理。
117.图5为本技术实施例提供的图像处理方法的软件处理流程图，如图5所示，基于图4所示的图像采集系统，在利用图像采集系统进行图像的采集以及处理时，在图像采集系统上电后，图形处理器2012首先对相机模组21中的相机进行初始化，并映射一块直接存储器访问(dma，direct memory access)区域作为图像缓存区，在设置相机模组21中的相机到数据流打开状态等待接收图像时，设置触发信号的占空比控制频率(即图像传感器的帧率)，向相机模组21中的多个图像传感器发送触发信号并获取基准时间戳，每触发一次，打一个时间戳，作为图像传感器的曝光起始时间(即获取的基准时间戳)，同时读取相机模组21中每个图像传感器的曝光时间，通过以下公式计算该图像传感器的曝光中心点：曝光中心点＝曝光起始时间+(曝光时间+读出时间)/2，进而将最终计算出的曝光中心点发送给主线程。同时，图像处理系统20的图像协处理器2011在接收到解串器202传输的yuv422格式的原始图像数据流后，通过视频图像转换(vic，video image converter)将yuv422格式的图像转换为yuv420格式，并将yuv420格式的图像数据拷贝至图形处理器2012显存统一计算设备架构(cuda，compute unified device architecture)中，最终将图像最终转化为rgb格式，进而进行后续的算法及合成处理。
118.本技术实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
119.在本技术所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
120.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单
元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
121.另外，在本技术各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
122.上述本发明实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、dsp，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成前述方法的步骤。
123.本发明实施例还提供了一种存储介质，具体为计算机存储介质，更具体的为计算机可读存储介质。其上存储有计算机指令，即计算机程序，该计算机指令被处理器执行时上述一个或多个技术方案提供的方法。
124.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。