一种单摄像头多路USB视频输出系统及硬件升级方法与流程

一种单摄像头多路usb视频输出系统及硬件升级方法
技术领域
1.本发明属于usb摄像头技术领域，具体涉及一种单摄像头usb视频输出系统及硬件升级方法。


背景技术：

2.usb接口摄像机鉴于其即插即用，内置图像处理器，输出完好图像效果 应用非常广泛。免去了后端平台或者软件再去做图像处理的步骤，从而释放了后端平台或软件的软硬件开发资源和时效。
3.现有技术中，当出现如下场景时： 1：多台 usb host 主机，需要同时访问一个usb摄像头，共享同一个摄像头的视场和视频流，如图1所示；或者2.一台usb host主机上的多个软件，需要同时访问一个usb摄像头视场和视频流，如图2所示。
4.常规的做法直接用多个单独的usb摄像头接入，这样虽然实现了多路usb视频流输入，但是多个usb摄像头前端各自使用了一套镜头和图像传感器采集 ，在拍摄同一个区域的场景时，多颗镜头必然存在视差，而且镜头的摆放位置需要做特别的处理。由于使用了多个单独的摄像头，产品的成本高，生产环节繁杂，产品体验度也不好。
5.专利号为cn201620081397.6u的专利公开了一种音视频输出设备和系统。其中所述设备包括：应用处理器、视频数据转换单元和usb type-c接口；所述应用处理器包括：usb单元和视频单元；所述usb单元，适于向所述usb type-c接口输出可被该接口传输的音频数据；所述视频单元，适于向所述视频数据转换单元输出待转换的视频数据；所述视频数据转换单元，适于接收所述视频单元输出的待转换的视频数据，以及将待转换的视频数据转换为可被所述usb type-c接口传输的视频数据，并向所述usb type-c接口输出转换后的视频数据；所述usb type-c接口，适于输出所述音频数据和转换后的视频数据。
6.其虽然能够实现音视频数据的转换和输出，但其只能针对单路媒体流进行操作，无法解决多路媒体流的转换和输出的问题。


技术实现要素：

7.有鉴于此，本发明的主要目的在于提供一种单摄像头多路usb视频输出系统，其通过多路视频流共享一套摄像头和图像传感器，避免了视差和生产环节多余的摄像头位置标定步骤，使得产品的设计开发和体验度都得到了更好的提升。
8.为达到上述目的，本发明的技术方案是这样实现的：一种单摄像头多路usb视频输出系统，所述系统包括：图像采集输入模块，配置用于实时采集视频流；高速mipi接口多路桥接单元，配置用于获取采集到的视频流，将采集到的视频流进行实时并行分流，得到分流后的多路视频流，并同时对多路视频流分别进行输出；图像处理单元，配置用于接收多路视频流，分别对多路视频流进行图像处理，并将图像处理的结果分别通过usb接口进行输出。
9.进一步的，所述图像采集输入模块包括：光学镜头和图像传感器；所述光学镜头用于进行图像信号采集；所述图像传感器用于对光学镜头采集到的图像信号进行数据转换，将图像信号转换为电信号，再将电信号转换为数字信号的图像信号，形成视频流。
10.进一步的，所述光学镜头为单镜头。
11.进一步的，所述高速mipi接口多路桥接单元为fpga芯片；所述fpga芯片包括：逻辑单元、一个输入接口和多个并联的输出接口；所述逻辑单元用于控制fpga芯片的运行逻辑；所述输入接口接收图像采集输入模块获取到的视频流，并将获取到的视频流分别通过多个并联的输出接口，以实时并行分流的方式，分别进行输出。
12.进一步的，所述输入接口为mipi csi-2输入接口；所述输出接口为mipi csi-2输出接口。
13.进一步的，所述图像处理单元包括多个并联的图像处理子单元；其中所述多个并联的图像处理子单元中包含一个主图像处理子单元；每个图像处理子单元均分别与一个对应的输出接口连接。
14.进一步的，所述图像处理子单元均至少包括：图像处理器和mipi csi-2输入接口；所述mipi csi-2输入接口与所述fpga芯片的一个mipi csi-2输出接口连接。
15.进一步的，每个图像处理子单元处理后得到的图像处理的结果均发送给一个独立的usb接口进行输出。
16.进一步的，所述fpga芯片还包括：通讯单元；所述通讯单元包括：第一spi通讯接口和spi协议通讯单元；所述主图像处理子单元还包括：第二spi通讯接口。
17.一种硬件升级方法，所述方法执行以下步骤：平台烧录工具载入fpga程序数据，并且自动加载fpga芯片以及识别显示闪存存储器中的当前程序版本，若闪存存储器为空，则不显示；开启fpga程序数据的烧录，程序数据通过uvc xu 通道进入主图像处理子单元的固件程序处理；主图像处理子单元的固件程序将usb 接口uvc xu传进来的数据，转换到主图像处理子单元的第二spi 通讯接口输出；主图像处理子单元的第二spi通讯接口和fpga第一spi通讯接口通过并联方式连接到fpga外部flash存储器的spi接口；主图像处理子单元先通过主机信号通知fpga，fpga确认主机信号后，释放fpga外部flash存储器的读写权限；主图像处理子单元获取fpga外部flash存储器读写权限后，通过第二spi通讯接口，将数据输出；fpga逻辑单元，将数据写入flash存储器；fpga的程序数据经过如上流程连续多次传输，直到程序全部写入flash存储器，完成升级并结束。
18.本发明的一种单摄像头多路usb视频输出系统，具有如下有益效果：其通过多路视频流共享一套摄像头和图像传感器，避免了视差和生产环节多余的摄像头位置标定步骤，使得产品的设计开发和体验度都得到了更好的提升。
附图说明
19.图1为现有技术中多台usb主机通过多个usb摄像头实现多路视频输出的示意图；图2为现有技术中多个软件通过多个usb摄像头实现多路视频输出的示意图；图3为本发明实施例提供的多台usb主机在单摄像头下实现多路usb视频输出的示意图；图4为本发明实施例提供的一台usb主机上多个应用软件在单摄像头下实现多路
usb视频输出的示意图；图5为本发明实施例提供的单摄像头多路usb视频输出系统的系统架构示意图图6为本发明实施例提供的单摄像头双路usb视频输出系统的系统架构示意图；图7为本发明实施例提供的fpga-mipi si-2单路输入/双路输出控制的数字电路的结构示意图；图8为本发明实施例提供的fpga实现1路mipi转2路mipi输出模块架构的示意图；图9为本发明实施例提供的mipi rx to 2xtx bridge顶层模块的结构示意图；图10为本发明实施例提供的mipi_sig_data_bridge
ꢀ–ꢀ
mipi数据跨始终处理模块的结构示意图；图11为本发明实施例提供的lvds_mipi_rx_data_x8协议解析模块的结构示意图；图12为本发明实施例提供的mipi rx 数据转parallel 数据模块的结构示意图；图13为本发明实施例提供的mipi tx输出raw 处理模块的结构示意图；图14为本发明实施例提供的fpga 通过usb摄像头uvc协议xu 程序进行升级的流程示意图；图15为本发明实施例提供的isp1和isp2通过fpga配置sensor的iic通讯控制权的流程示意图；图16为本发明实施例提供的fpga配置sensor的iic通讯控制权的逻辑示意图。
具体实施方式
20.下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。
21.实施例1如图3、4和5所示，一种单摄像头多路usb视频输出系统，所述系统包括：图像采集输入模块，配置用于实时采集视频流；高速mipi接口多路桥接单元，配置用于获取采集到的视频流，将采集到的视频流进行实时并行分流，得到分流后的多路视频流，并同时对多路视频流分别进行输出；图像处理单元，配置用于接收多路视频流，分别对多路视频流进行图像处理，并将图像处理的结果分别通过usb接口进行输出。
22.具体的，fpga为英文field programmable gate array的简称，表示可编程逻辑门阵列。fpga 器件属于专用集成电路中的一种半定制电路，是可编程的逻辑列阵，能够有效的解决原有的器件门电路数较少的问题。fpga 的基本结构包括可编程输入输出单元，可配置逻辑块，数字时钟管理模块，嵌入式块ram，布线资源，内嵌专用硬核，底层内嵌功能单元。由于fpga具有布线资源丰富，可重复编程和集成度高，投资较低的特点，在数字电路设计领域得到了广泛的应用。fpga的设计流程包括算法设计、代码仿真以及设计、板机调试，设计者以及实际需求建立算法架构，利用eda建立设计方案或hd编写设计代码，通过代码仿真保证设计方案符合实际要求，最后进行板级调试，利用配置电路将相关文件下载至fpga芯片中，验证实际运行效果。
23.mipi csi-2为英文mobile industry processor interface 的简称。csi为camera serial interface的简称，是由mipi联盟下camera工作组指定的接口标准。csi-2是mipi csi第二版，主要由应用层、协议层、物理层组成，最大支持4通道数据传输、单线传
输速度高达1gb/s。
24.mipi rx/tx 分别表示mipi接口的输入/输出。
25.uvc是属于usb行业规范中的usb设备类规范，用于usb接口的视频设备的一个统一的数据交换规范。其中最新版本uvc官方协议文档 uvc 1.5 class specification是对整个uvc协议的框架做了规范。unit可以理解为构建出uvc设备功能的各功能单元，多个unit按照一定的规则连接后就是一个完整的uvc功能设备。xu(extension unit) 是为了特定供应商添加规范而提供的单元。
26.5raw数据表示cmos sensor 图像传感器输出的图像原始数据，根据像素解析精度分为8bit/10bit/12bit/16bit/24bit 等。
27.isp ：为image sensor process 的简称，表示图像处理器。处理从图像传感器采集的raw 视频流的图像效果以及压缩和输出接口。
28.ae为auto exposure 的简称，表示摄像机自动曝光调节。
29.sensor initial表示 cmos sensor 图像传感器寄存器初始化。 图像传感器初始化过程需要对其内部的寄存器进行必要的规格配置才能正常输出符合要求的视频流。
30.实施例2在上一实施例的基础上，所述图像采集输入模块包括：光学镜头和图像传感器；所述光学镜头用于进行图像信号采集；所述图像传感器用于对光学镜头采集到的图像信号进行数据转换，将图像信号转换为电信号，再将电信号转换为数字信号的图像信号，形成视频流。
31.参考图5，本单摄像头双路usb视频输出系统的系统架构。
32.实施例3在上一实施例的基础上，所述摄像头为单镜头。
33.实施例4在上一实施例的基础上，所述高速mipi接口多路桥接单元为fpga芯片；所述fpga芯片包括：逻辑单元、通讯接口、一个输入接口和多个并联的输出接口；所述逻辑单元用于控制fpga芯片的运行逻辑；所述通讯接口，用于连接fpga与外部存储器的通信；所述输入接口接收图像采集输入模块获取到的视频流，并将获取到的视频流分别通过多个并联的输出接口，以实时并行分流的方式，分别进行输出。
34.具体的，参考图15，在实际使用过程中，图像传感器（sensor）需要进行内部寄存器的初始化，以及视频流启动后，自动曝光实时对寄存器进行写参数操作。 isp1 和 isp2 同时具备这样的功能和需求。但是sensor的寄存器不能同时接收isp1和isp2写操作 。所以，需要fpga 通过isp1和isp2的io 输出状态来分配sensor iic控制权 ，只允许任何时间只有一个isp来配置sensor 的寄存器功能。
35.具体的，fpga芯片中的通讯接口为低速传输io接口。一个输入接口和多个并联的输出接口在运行时，输入接口输入高速io差分信号数据和时钟，多个并联的输出接口，输出高速io差分信号数据和时钟。
36.参考图16，当isp1 或者isp2 的usb任意一个先接入主机平台，isp1/isp2 固件程序先判断自身io s0和s1的电平状态，如果当前处于释放状态，则将s0和s1配置输出自己需要控制sensor iic而匹配的电平状态。 fpga 收到s0和s1状态后，将sensor iic 通讯控制
权交由对应的isp控制。
37.当sensor iic 控制权已经被分配其中一个isp使用中，则后连接usb的isp 固件程序会先判断s0和s1电平状态，如果当前处于控制权被使用状态，则不对s0和s1 做任何处理，不向fpga申请sensor iic控制权。
38.实施例5在上一实施例的基础上，所述输入接口为mipi csi-2输入接口；所述输出接口为mipi csi-2输出接口。
39.具体的，mipi csi-2：mobile industry processor interface 简称mipi。csi（camera serial interface）是由mipi联盟下camera工作组指定的接口标准。csi-2是mipi csi第二版，主要由应用层、协议层、物理层组成，最大支持4通道数据传输、单线传输速度高达1gb/s。
40.mipi rx/tx 分别表示mipi接口输入/输出。
41.uvc xu ：uvc是属于usb行业规范中的usb设备类规范，用于usb接口的视频设备的一个统一的数据交换规范。其中最新版本uvc官方协议文档 uvc 1.5 class specification是对整个uvc协议的框架做了规范。unit可以理解为构建出uvc设备功能的各功能单元，多个unit按照一定的规则连接后就是一个完整的uvc功能设备。xu(extension unit) 是为了特定供应商添加规范而提供的单元。
42.raw ：cmos sensor 图像传感器输出的图像原始数据，根据像素解析精度分为8bit/10bit/12bit/16bit/24bit 等。
43.实施例6在上一实施例的基础上，所述图像处理单元包括多个并联的图像处理子单元；每个图像处理子单元均分别与一个对应的输出接口连接。
44.参考图7，为fpga
‑ꢀ
mipi csi-2 单输入/双输出协议控制实现。
45.参考图8，为fpga实现1路mipi转2路mipi输出模块架构。
46.参考图9，为mipi rx to 2xtx bridge 顶层模块。fpga顶层模块为本发明解决方案fpga部分总逻辑线路架构包括：输入信号处理部分和输出信号处理部分 ：mipi_tx0_phy_io/mipi_tx1_phy_io。fpga顶层模块架构实现了接收cmos sensor 输入信号，经过fpga 逻辑电路和协议解析后，输出标准mipi csi-2 tx信号 给 下一段图像处理器（isp）使用。fpga顶层模块架构，包含mipi rx 协议解析（包含mipi rx数据串转并），mipi 数据跨时钟处理，以及mipi tx raw 数据处理。
47.参考图10，为mipi 数据跨时钟处理模块结构。mipi 数据跨时钟处理模块包括：输入信号处理部分和输出信号处理部分。其中，输入信号处理部分包括：imipi_in_clk
ꢀ‑ꢀ
mipi rx分频时钟。imipi_in_vail_sig_p2
ꢀ‑ꢀ
mipi rx有效数据信号，基于imipi_in_clk时钟，前偏置2个周期。imipi_in_data
ꢀ‑ꢀ
mipi rx数据，应在imipi_in_vail_sig_p2==1’d1时数据采集，基于imipi_in_clk时钟。imipi_in_hd_sig
ꢀ‑ꢀ
sensor行信号,基于imipi_in_clk时钟。imipi_out_clk
ꢀ‑ꢀ
mipi tx 基准时钟，在多路系统中此时钟同频，不同源（非同源时钟会产生时钟的相位差）。imipi_out_data_req
ꢀ‑ꢀ
mipi tx数据请求信号，基于imipi_out_clk时钟。输出信号处理部分包括：omipi_out_vd_sig
ꢀ‑ꢀ
2个不同时钟的周期差产生，sensor continuous（连续）模式下该信号不会产生，基于时钟源imipi_out_clk。omipi_
out_hd_sig
ꢀ‑ꢀ
sensor输入行信号，基于时钟源imipi_out_clk。omipi_out_data_vail_sig
ꢀ‑ꢀ
mipi数据有效信号，基于时钟源imipi_out_clk。omipi_out_data
ꢀ‑ꢀ
mipi数据，基于时钟源imipi_out_clk。该模块进行对不同时钟的数据跨时钟处理，由于数据流量的原因，对imipi_in_clk和imipi_out_clk的频率有一定的要求。关系为imipi_out_clk*（vail_cnt
ꢀ‑ꢀ
256)/vail_cnt 《=omipi_out_vd_sig 《= imipi_out_clk*（vail_cnt + 256)/vail_cntvail_cnt = imipi_in_vail_sig_p2时钟周期数。
48.参考图11，为mipi rx协议解析模块。mipi rx/tx ：mipi接口输入/输出。lvds_mipi_rx_data_x8 (mipi rx协议解析模块)包括：输入信号和输出信号。输入信号的接口为mipi_phy
‑ꢀ
mipi物理接口，典型的4l+1c（4个mipi数据线+1个mipi时钟线）输出信号通过mipi_clk
ꢀ‑ꢀ
mipi rx接口，该接口具备除频时钟，mipi并行数据主时钟。odata_vail
ꢀ‑ꢀ
数据有效信号。等同于sensor的行信号。odata
ꢀ‑ꢀ
mipi并行数据。d_mipi_rx_data_x8_dats （mipi rx 数据转parallel 数据模块）也包括输入信号处理部分和输出信号处理部分。输入信号处理部分包括：imipi_rx_c_hp
ꢀ‑ꢀ
mipi rx时钟线物理接口，imipi_rx_d_hp[n]
ꢀ‑ꢀ
mipi rx数据线物理接口，imipi_rst
ꢀ‑ꢀ
mipi rx复位信号。输出信号处理部分包括：od_status
ꢀ‑ꢀ
mipi 传输状态 od_status=1’d1低速模式，od_status=1’d0高速模式，odata
ꢀ‑ꢀ
并行数据，ohs_byte_clk
ꢀ‑ꢀ
mipi并行数据时钟。该模块把mipi的串行数据经过协议转换为并行带有效信号的数据输出。
[0049]
参考图12，为mipi rx 数据转parallel 数据模块。包括：输出信号处理模块和输入信号处理模块。输入信号处理模块包括：imipi_rx_c_hp
ꢀ‑ꢀ
mipi rx时钟线物理接口；imipi_rx_d_hp[n]
ꢀ‑ꢀ
mipi rx数据线物理接口；imipi_rst
ꢀ‑ꢀ
mipi rx复位信号；输出信号处理模块包括：od_status
ꢀ‑ꢀ
mipi 传输状态 od_status=1’d1低速模式，od_status=1’d0高速模式；odata
ꢀ‑ꢀ
并行数据；ohs_byte_clk
ꢀ‑ꢀ
mipi并行数据时钟；该模块把mipi的串行数据转换为并行数据输出。
[0050]
参考图13，为mipi tx输出raw 处理模块。mipi_tx_4l_g8_raw （mipi tx输出raw 处理模块）包括：输出信号处理模块和输入信号处理模块。输入信号处理模块包括：imipi_in_clk
ꢀ‑ꢀ
写缓存时钟，此时钟和obyte_clk时钟频率相同，单不一定同源（非同源时钟会产生时钟的相位差）。imipi_in_data
ꢀ‑ꢀ
写数据，基于时钟源imipi_in_clk。imipi_in_data_sig
ꢀ‑ꢀ
写信号，基于时钟源imipi_in_clk。imipi_hd_sig
ꢀ‑ꢀ
行信号。imipi_vd_sig
ꢀ‑ꢀ
帧信号。iref_clk48m
ꢀ‑ꢀ
mipi输出基准参考时钟。输出信号处理模块包括：omipi_data_sig_req
ꢀ‑ꢀ
请求数据信号。obyte_clk
ꢀ‑ꢀ
mipi 输出并行模式主时钟。mipi_tran_data
ꢀ‑ꢀ
mipi高速输出数据（模块内部mipi d-phy）。d_lpp
ꢀ‑ꢀ
mipi低速输出数据（模块内部mipi d-phy）。d_lpn
ꢀ‑ꢀ
mipi低速输出数据（模块内部mipi d-phy）。hs_en
ꢀ‑ꢀ
mipi高速输出使能（模块内部mipi d-phy）。该模块对mipi传输数据进行跨时钟转换为mipi 并行输出至mipi 串行输出。
[0051]
实施例7在上一实施例的基础上，所述图像处理子单元包括：图像处理器和mipi csi-2输入接口；所述mipi csi-2输入接口与所述fpga芯片的一个mipi csi-2输出接口连接。
[0052]
实施例8在上一实施例的基础上，每个图像处理子单元处理后得到的图像处理的结果均发送给一个独立的usb接口进行输出。
[0053]
实施例9在上一实施例的基础上，所述fpga芯片还包括：通讯单元；所述通讯单元包括：第一spi通讯接口和spi协议通讯单元；所述主图像处理子单元还包括：第二spi通讯接口。
[0054]
实施例10在上一实施例的基础上，一种硬件升级方法，所述方法执行以下步骤：平台烧录工具载入fpga程序数据，并且自动加载fpga芯片以及识别显示闪存存储器中的当前程序版本，若闪存存储器为空，则不显示；开启fpga程序数据的烧录，程序数据通过uvc xu 通道进入主图像处理子单元的固件程序处理；主图像处理子单元的固件程序将usb 接口uvc xu传进来的数据，转换到主图像处理子单元的第二spi 通讯接口输出；主图像处理子单元的第二spi通讯接口和fpga第一spi通讯接口通过并联方式连接到fpga外部flash存储器的spi接口；主图像处理子单元先通过主机信号通知fpga，fpga确认主机信号后，释放fpga外部flash存储器的读写权限；主图像处理子单元获取fpga外部flash存储器读写权限后，通过第二spi通讯接口，将数据输出；fpga逻辑单元，将数据写入flash存储器；fpga的程序数据经过如上流程连续多次传输，直到程序全部写入flash存储器，完成升级并结束。
[0055]
具体的，参考图14，为fpga 通过usb摄像头uvc协议xu 程序进行升级的流程。fpga通过外界的存储器进行程序升级。只有master isp1才有权限与fpga配合执行烧录功能。 slave isp2 则无此权限和功能。
[0056]
操作系统平台烧录工具app 载入fpga 程序，并且自动加载fpga 设备 以及 识别显示fpga spi flash存储器中的当前程序版本，若flash为空，则不显示；开启fpga程序烧录，数据通过uvc xu 通道进入 isp 1 固件程序处理；isp1 固件程序实现将usb 接口uvc xu传进来的数据，转换到isp 1 的spi 接口输出；fpga spi 接口接收isp 1spi接口传过来的数据，并通过fpga spi 协议逻辑单元，将数据写入flash存储器；fpga程序数据经过如上流程连续多次传输，直到程序全部写入flash存储器。fpga 程序升级成功并结束。
[0057]
需要说明的是，上述实施例提供的系统，仅以上述各功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能单元来完成，即将本发明实施例中的单元或者步骤再分解或者组合，例如，上述实施例的单元可以合并为一个单元，也可以进一步拆分成多个子单元，以完成以上描述的全部或者单元功能。对于本发明实施例中涉及的单元、步骤的名称，仅仅是为了区分各个单元或者步骤，不视为对本发明的不当限定。
[0058]
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0059]
本领域技术人员应能够意识到，结合本文中所公开的实施例描述的各示例的单元、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件单元、方法步骤对应的程序可以置于随机存储器（ram）、内存、只读存储器（rom）、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介
质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0060]
术语“第一”、“另一部分”等是配置用于区别类似的对象，而不是配置用于描述或表示特定的顺序或先后次序。
[0061]
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者单元/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者单元/装置所固有的要素。
[0062]
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术标记作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
[0063]
以上所述，仅为本发明的较佳实施例而已，并非配置用于限定本发明的保护范围。