双目镜头的同步方法及接收端获取同步图像的方法与流程

本发明涉及摄像头的，特别是指一种双目镜头的同步方法及接收端获取同步图像的方法。

背景技术：

1、在一些测量移动物体距离的应用中常会使用到双目摄像头，并要求双目镜头输出的图像能够尽可能同步，这里的同步是指2个摄像头所拍摄图片的曝光时间差尽可能小，后端应用所得到的2个画面尽可能发生在同一时刻，常见的要求是时间差在10毫秒内，较小的时间差可以减少由于物体在两个摄像头之间移动而引起的测量误差。

2、一些产品的做法是双目镜头仅有2个传感器，将2个传感器的raw data（原始数据）传输到芯片（soc）上，然后再由芯片做图像处理，把优化过的图像给到后端做测距应用，这样的方式对芯片有2个基本要求：1、芯片支持2路传感器输入，如果芯片能够同时处理2路传感器输入的raw data（原始数据）为更佳；2、为保证双目模组板上两个传感器尽可能同时曝光，芯片需要周期性给双目模组板上两个传感器同时输出一个fsync（帧同步）脉冲信号，传感器一般都会有一个fsync引脚，通过对传感器的配置，使传感器接收到fsync脉冲后才做曝光操作，为了保证视频流的帧率固定，这个周期性脉冲信号不能被芯片其他事务影响导致时间上有偏差。

3、另外，芯片在处理其他事务的同时要尽可能不漏处理传感器给到的原始数据，这在一些要求测量速度快的应用中尤为重要。所以这样的方式对后端芯片的选型有一定要求，同时芯片还需要增加使双目图像同步的软硬件操作。其原理框图如图1所示。

4、在许多需要摄像头的应用场景中，模拟高清摄像头的使用已经非常成熟。对于一个模拟高清摄像头，一般包括一个传感器和一个带模拟高清视频流输出功能的图像信号处理器（ahd isp），这样的双目模组板会将传感器获取的raw data（原始数据）进行一系列优化处理，包括：自动曝光，自动白平衡，颜色矩阵转换，色彩优化等，最终将优化后的图像编码为ahd（一种模拟高清协议）格式，仅需要一根信号线即可传输到后端的接收设备，后端设备可以不用处理图像效果。

5、虽然模拟高清摄像头的技术已经很成熟，但是如果简单地使用2个模拟高清摄像头作为测距系统的双目图像输入设备，由于2个模组之间是孤立没有相互通讯的关系，所以无法保证双目图像的同步性，这样的双目系统一般只能用做图像拼接应用，而不能应用于对移动物体做测距的场景。

6、对于ahd格式信号的传输，接收端还需要增加一颗双路ahd的解码芯片，解码芯片利用mipi的虚拟通道交错数据传输方式，将2个摄像头的图像传递给后端的芯片，芯片再从mipi信号中区分出2个摄像头的图像并输出给后端应用，其原理如图2。

7、有鉴于此，本发明针对现有双目摄像头的同步方法以及接收端接收双目摄像头方法存在的不足所导致的诸多缺失及不便而深入构思，且积极研究改良试做而开发出本发明。

技术实现思路

1、本发明的目的在于提供一种能够使接收端易于获得双目同步图像的双目镜头双目镜头的同步方法。

2、为了达成上述目的，本发明的解决方案是：

3、一种双目镜头，其中一个摄像头具有传感器-a和连接传感器-a的isp-a，另一个摄像头具有传感器-b和连接传感器-b的isp-b，传感器-a和传感器-b为同一型号，isp-a和isp-b为同一型号，isp-a和isp-b使用的闪存（flash）为同一型号，闪存（flash）烧录同样的固件，isp-a和isp-b所需电源由同一个电源芯片产生提供给isp-a和isp-b的时钟源为同一个有源晶振，isp-a和isp-b的复位信号为同一个复位芯片产生，传感器-a、传感器-b、isp-a和isp-b、ahd解码器设置在双目模组板上，传感器-a和传感器-b的上电时序一致，isp-a对传感器 -a传送的固定帧率raw格式的图像进行图像优化，再转化为yuv格式的图像并进行ahd编码，输出固定帧率的ahd信号至ahd解码器，isp-b对传感器-b传送的固定帧率raw格式的图像进行图像优化，再转化为yuv格式的图像并进行ahd编码，输出固定帧率的ahd信号至ahd解码器，ahd解码器接收isp-a输入的ahd信号及isp-b输入的ahd信号并进行解码，输出单路mipi信号；

4、双目镜头的同步方法包括以下步骤：

5、步骤a1、isp-a和isp-b同时上电；

6、步骤a2、isp-a在第一时间点时刻提供传感器-a时钟源，isp-b在第一时间点时刻提供传感器-b时钟源；

7、步骤a3、isp-a在第二时间点时刻复位传感器-a，isp-b在第二时间点时刻复位传感器-b；

8、步骤a4、isp-a在第三时间点时刻配置传感器-a，isp-b在第三时间点时刻配置传感器-b；

9、步骤a5、isp-a在第四时间点时刻使传感器-a开始曝光，isp-b在第四时间点使传感器-b开始曝光；

10、步骤a6、传感器-a使用固定帧率输出raw格式图像至isp-a，传感器-b使用与传感器-a相同的固定帧率输出raw格式的图像至isp-b。

11、将双目镜头进行上述同步后，接收端不需要对双目的同步做任何控制操作。

12、本发明的另一目的在于提供一种便于接收端使用的接收端获取同步图像的方法。

13、为了达成上述目的，本发明的解决方案是：

14、一种接收端获取同步图像的方法，其包括双目镜头及接收端，双目镜头的其中一个摄像头具有传感器-a和连接传感器-a的isp-a，另一个摄像头具有传感器-b和连接传感器-b的isp-b，传感器-a和传感器-b为同一型号，isp-a和isp-b为同一型号，isp-a和isp-b使用的闪存（flash）为同一型号，闪存（flash）烧录同样的固件，所述isp-a和isp-b所需电源由同一个电源芯片产生提供给isp-a和isp-b的时钟源为同一个有源晶振，isp-a和isp-b的复位信号为同一个复位芯片产生，传感器-a、传感器-b、isp-a和isp-b、ahd解码器设置在双目模组板上，传感器-a和传感器-b的上电时序一致，isp-a对传感器 -a传送的固定帧率raw格式的图像进行图像优化，再转化为yuv格式的图像并进行ahd编码，输出固定帧率的ahd信号至ahd解码器，isp-b对传感器-b传送的固定帧率raw格式的图像进行图像优化，再转化为yuv格式的图像并进行ahd编码，输出固定帧率的ahd信号至ahd解码器，ahd解码器接收isp-a输入的ahd信号及isp-b输入的ahd信号并进行解码，输出单路mipi信号；接收端具有芯片；

15、接收端获取同步图像的方法，包括以下步骤：

16、步骤s1、双目镜头的isp-a和isp-b同时上电；

17、步骤s2、isp-a在第一时间点时刻提供传感器-a时钟源，isp-b在第一时间点时刻提供传感器-b时钟源；

18、步骤s3、isp-a在第二时间点时刻复位传感器-a，isp-b在第二时间点时刻复位传感器-b；

19、步骤s4、isp-a在第三时间点时刻配置传感器-a，isp-b在第三时间点时刻配置传感器-b；

20、步骤s5、isp-a在第四时间点时刻使传感器-a开始曝光，isp-b在第四时间点使传感器-b开始曝光；

21、步骤s6、传感器-a使用固定帧率输出raw图像至isp-a，传感器-b使用与传感器-a相同的固定帧率输出raw图像至isp-b；

22、步骤s7、isp-a和isp-b同时进行图像优化及ahd编码；

23、步骤s8、isp-a和isp-b同时以固定帧率输出ahd信号至ahd解码器；

24、步骤s9、ahd解码器接收isp-a和isp-b的两路ahd信号进行解码，并输出单路mipi信号；

25、步骤s10、接收端的芯片接收ahd解码器输出的mipi信号，通过mipi数据包中虚拟通道的标示符区分2路ahd视频流，根据数据包中2路ahd视频流各自的行场同步信息获得2路同步稳定的视频流。

26、对于接收mipi信号并通过mipi虚拟通道及获取多路通道图像的操作，一般的芯片都容易实现。接收端不需要对的图像再做优化处理，获得就是同步且优化过的双目图像。

27、采用上述方案后，本发明双目镜头的同步方法及接收端获取同步图像的方法相较于现有技术，具有以下优点：

28、1、本发明的双目镜头的图像优化工作在摄像头端已经完成，接收端不需要再处理与图像优化相关的工作。

29、2、本发明的双目镜头的双目图像同步工作在摄像头端已经完成，接收端不需要再处理与图像同步相关的控制工作。

30、3、本发明的双目镜头所输出的双目图像能够达到精准的同步，可应用于需要对快速移动物体做测距的场景。

31、4、本发明双目镜头使用的isp-a和isp-b，本身只是一颗单一处理图像效果的芯片，软件架构简单，不会出现掉帧的问题。

32、5、 本发明双目镜头中isp-a和isp-b所烧录的固件只是常规模拟摄像头的一般固件，不需要针对双目图像同步增加其他特殊操作，利用合适的硬件设计即可获取双目同步的效果。

33、6、本发明的双目镜头在摄像头端就有双路ahd解码功能，摄像头最终以mipi的传输界面将图像传输给后端（接收端），一般接收端的芯片都有一个标准mipi输入接口，所以这样的双目镜头不会对芯片有选型问题。

34、本发明双目镜头既能保证双目图像精准同步，又易于被接收端使用。这样的双目镜头将图像传递给接收端，接收端不用参与图像优化的工作，也不用处理与图像同步相关的控制工作，从摄像头端取得的图像就是精准同步且效果已被优化的，可直接输出给后端的测距应用。