深度图处理装置及深度图处理单元的制作方法

本发明涉及图像处理领域，特别是涉及深度图技术领域，具体为一种深度图处理装置及深度图处理单元。

背景技术：

目前，摄像头在采集图像数据时，采集指令的发起、采集参数的设定以及对采集到的图像的深度图处理都是通过ap(applicationprocess)来完成，ap与摄像头通过数据线和控制线直接连接，单向控制，串行操作。由于所有的操作都需要通过ap发起，降低了图像采集处理的效率，也降低了系统性能。

技术实现要素：

为了解决上述的以及其他潜在的技术问题，本发明的实施例提供了一种深度图处理装置，所述深度图处理装置包括：图像采集单元、深度图像处理单元和应用处理单元；所述深度图像处理单元与所述图像采集单元相连，从所述图像采集单元接收图像序列；所述深度图像处理单元与所述应用处理单元相连，对接收到的所述图像序列进行处理后生成深度图并将所述深度图发送至所述应用处理单元。

于本发明的一实施例中，所述深度图像处理单元将所述深度图和从所述图像采集单元接收的图像序列同时发送至所述应用处理单元。

于本发明的一实施例中，所述图像采集单元包括一个图像传感器；所述图像传感器为rgb图像传感器、mono图像传感器、结构光图像传感器或tof图像传感器。

于本发明的一实施例中，所述应用处理单元将第一控制指令发送至所述图像采集单元。

于本发明的一实施例中，所述应用处理单元将第一控制指令发送至所述深度图像处理单元；所述深度图像处理单元从所述应用处理单元接收第一控制指令并根据所述第一控制指令生成第二控制指令；所述深度图像处理单元将所述第二控制指令发送至所述图像采集单元。

于本发明的一实施例中，所述图像采集单元包括第一图像传感器和第二图像传感器；所述深度图像处理单元分别与所述第一图像传感器和所述第二图像传感器相连并同时从所述第一图像传感器和所述第二图像传感器接收图像序列；所述深度图像处理单元对接收到的两组所述图像序列进行处理后生成深度图并将所述深度图发送至所述应用处理单元。

于本发明的一实施例中，所述应用处理单元将第一控制指令分别发送至所述第一图像传感器和所述第二图像传感器。

于本发明的一实施例中，所述应用处理单元同时从所述第一图像传感器和所述第二图像传感器接收图像序列。

于本发明的一实施例中，所述应用处理单元将第一控制指令发送至所述深度图像处理单元；所述深度图像处理单元从所述应用处理单元接收第一控制指令并根据所述第一控制指令生成第二控制指令；所述深度图像处理单元将所述第二控制指令分别发送至所述第一图像传感器和所述第二图像传感器。

于本发明的一实施例中，所述第一图像传感器和所述第二图像传感器均为rgb图像传感器、mono图像传感器或结构光图像传感器、或者所述第一图像传感器和所述第二图像传感器中一个为rgb图像传感器，另一个为mono图像传感器、结构光图像传感器或tof图像传感器。

于本发明的一实施例中，所述图像采集单元包括第一图像传感器和第二图像传感器；所述应用处理单元与所述第一图像传感器相连并从所述第一图像传感器接收图像序列；所述深度图像处理单元与所述第二图像传感器相连并从所述第二图像传感器接收图像序列；所述深度图像处理单元对接收到的所述图像序列进行处理后生成深度图并将所述深度图发送至所述应用处理单元。

于本发明的一实施例中，所述应用处理单元将从所述第一图像传感器接收到的图像序列进行处理后发送至所述深度图像处理单元；所述深度图像处理单元对从所述应用处理单元接收到的图像序列和从所述第二图像传感器接收到的图像序列进行处理后生成深度图并将所述深度图发送至所述应用处理单元。

于本发明的一实施例中，所述应用处理单元将第一控制指令分别发送至所述第一图像传感器和所述第二图像传感器。

于本发明的一实施例中，所述应用处理单元将第一控制指令发送至所述深度图像处理单元；所述深度图像处理单元从所述应用处理单元接收第一控制指令并根据所述第一控制指令生成第二控制指令；所述深度图像处理单元将所述第二控制指令分别发送至所述第一图像传感器和所述第二图像传感器。

于本发明的一实施例中，所述第一图像传感器为rgb图像传感器或mono图像传感器；所述第二图像传感器为rgb图像传感器、mono图像传感器、结构光图像传感器或tof图像传感器。

于本发明的一实施例中，所述图像采集单元包括第一图像传感器、第二图像传感器和第三图像传感器；所述第一图像传感器和所述第二图像传感器均为rgb图像传感器、mono图像传感器或结构光图像传感器、或者所述第一图像传感器和所述第二图像传感器中一个为rgb图像传感器，另一个为mono图像传感器；所述第三传感器为结构光图像传感器或tof图像传感器。

于本发明的一实施例中，所述深度图像处理单元与所述第一图像传感器、所述第二图像传感器和所述第三图像传感器中的任意一个相连并从该相连的图像传感器获取图像序列，所述应用处理单元与剩余的两个图像传感器相连并同时从该所述两个图像传感器获取图像序列。

于本发明的一实施例中，所述应用处理单元对接收到的图像序列进行处理后发送至所述深度图像处理单元；所述深度图像处理单元对从所述应用处理单元接收到的图像序列和从相连的图像传感器接收到的图像序列进行处理后生成深度图并将所述深度图发送至所述应用处理单元。

于本发明的一实施例中，所述深度图像处理单元与所述第一图像传感器、所述第二图像传感器和所述第三图像传感器中的任意两个相连，同时从该两个图像传感器获取图像序列；所述应用处理单元与剩余的一个图像传感器相连并从该图像传感器获取图像序列。

于本发明的一实施例中，所述应用处理单元将接收到的图像序列进行处理后发送至所述深度图像处理单元；所述深度图像处理单元对从所述应用处理单元接收到的图像序列和从相连的两个图像传感器接收到的图像序列进行处理后生成深度图并将所述深度图发送至所述应用处理单元。

于本发明的一实施例中，所述深度图像处理单元分别与所述第一图像传感器、所述第二图像传感器和所述第三图像传感器相连，并同时从所述第一图像传感器、所述第二图像传感器以及所述第三图像传感器接收图像序列；所述深度图像处理单元对接收到的三组所述图像序列进行处理后生成深度图并将所述深度图发送至所述应用处理单元。

于本发明的一实施例中，所述应用处理单元将第一控制指令发送至所述深度图像处理单元；所述深度图像处理单元从所述应用处理单元接收第一控制指令并根据所述第一控制指令生成第二控制指令；所述深度图像处理单元将所述第二控制指令分别发送至所述第一图像传感器、所述第二图像传感器和所述第三图像传感器。

于本发明的一实施例中，所述应用处理单元将第一控制指令分别发送至所述第一图像传感器、所述第二图像传感器和所述第三图像传感器。

本发明的实施例还提供一种深度图像处理单元，包括图像处理器，图像连接接口和应用连接接口；所述图像连接接口与所述图像采集单元相连，从所述图像采集单元接收图像序列；所述图像处理器对接收到的图像序列进行处理生成深度图；所述应用连接接口与所述应用处理单元相连，将所述深度图发送至所述应用处理单元。

于本发明的一实施例中，所述应用连接接口将所述深度图和从所述图像采集单元接收的图像序列同时发送至所述应用处理单元。

于本发明的一实施例中，所述图像连接接口为一个，所述图像采集单元包括一个图像传感器；所述图像传感器为rgb图像传感器、mono图像传感器、结构光图像传感器或tof图像传感器。

于本发明的一实施例中，所述应用处理单元将第一控制指令发送至所述应用连接接口。

于本发明的一实施例中，所述应用处理单元将第一控制指令发送至所述应用连接接口；所述图像处理器根据所述第一控制指令生成第二控制指令并将所述第二控制指令发送至所述图像连接接口。

于本发明的一实施例中，所述图像连接接口包括第一图像连接接口和第二图像连接接口，所述图像采集单元包括第一图像传感器和第二图像传感器；所述第一图像连接接口与所述第一图像传感器相连并从所述第一图像传感器接收图像序列，所述第二图像连接接口和所述第二图像传感器相连并从所述第二图像传感器接收图像序列；所述图像处理器对所述第一图像连接接口和所述第二图像连接接口接收到的两组所述图像序列进行处理后生成深度图。

于本发明的一实施例中，所述应用处理单元将第一控制指令发送至所述应用连接接口；所述图像处理器根据所述第一控制指令生成第二控制指令并将所述第二控制指令分别发送至所述第一图像连接接口和所述第二图像连接接口。

于本发明的一实施例中，所述图像连接接口包括第一图像连接接口和第二图像连接接口，所述图像采集单元包括包括第一图像传感器和第二图像传感器；所述应用处理单元与所述第一图像传感器相连并从所述第一图像传感器接收图像序列；所述第二图像连接接口与所述第二图像传感器相连并从所述第二图像传感器接收图像序列；所述图像处理器对所述第二图像连接接口接收到的所述图像序列进行处理后生成深度图；所述应用连接接口将所述深度图发送至所述应用处理单元。

于本发明的一实施例中，所述应用处理单元将从所述第一图像传感器接收到的图像序列进行处理后发送至所述应用连接接口；所述图像处理器对从所述应用连接接口接收到的图像序列和从所述第二图像连接接口接收到的图像序列进行处理后生成深度图；所述应用连接接口将所述深度图发送至所述应用处理单元。

于本发明的一实施例中，所述应用连接接口从所述应用处理单元接收第一控制指令，所述图像处理器根据所述第一控制指令生成第二控制指令，所述第二图像连接接口将所述第二控制指令发送至所述第二图像传感器。

于本发明的一实施例中，所述应用连接接口从所述应用处理单元接收第一控制指令，所述深度图像处理单元从所述应用处理单元接收第一控制指令并根据所述第一控制指令生成第二控制指令；所述图像处理器根据所述第一控制指令生成第二控制指令，所述第一图像连接接口将所述第二控制指令发送至所述第一图像传感器，所述第二图像连接接口将所述第二控制指令发送至所述第二图像传感器。

于本发明的一实施例中，所述图像连接接口包括第一图像连接接口、第二图像连接接口和第三图像连接接口，所述图像采集单元包括包括第一图像传感器、第二图像传感器和第三图像传感器；所述第一图像传感器和所述第二图像传感器均为rgb图像传感器、mono图像传感器或结构光图像传感器、或者所述第一图像传感器和所述第二图像传感器中一个为rgb图像传感器，另一个为mono图像传感器；所述第三传感器为结构光图像传感器或tof图像传感器。

于本发明的一实施例中，所述第一图像连接接口、所述第二图像连接接口和所述第三图像连接接口中的任一个与所述第一图像传感器、所述第二图像传感器和所述第三图像传感器中的任一个相连，并从该相连的图像传感器获取图像序列，所述应用处理单元与剩余的两个图像传感器相连并同时从该所述两个图像传感器获取图像序列。

于本发明的一实施例中，所述第一图像连接接口、所述第二图像连接接口和所述第三图像连接接口中的任两个与所述第一图像传感器、所述第二图像传感器和所述第三图像传感器中的任两个相连从该相连的两个图像传感器获取图像序列；从所述应用处理单元与剩余的两个图像传感器相连并同时从该所述两个图像传感器获取图像序列。

于本发明的一实施例中，所述应用连接接口从所述应用处理单元接收图像序列；所述图像处理器对从所述应用连接接口接收到的图像序列和从图像连接接口接收到的图像序列进行处理后生成深度图；所述应用连接接口将所述深度图发送至所述应用处理单元。

于本发明的一实施例中，所述第一图像连接接口、所述第二图像连接接口和所述第三图像连接接口分别对应与所述第一图像传感器、所述第二图像传感器和所述第三图像传感器中相连并对应从所述第一图像传感器、所述第二图像传感器和所述第三图像传感器获取图像序列；所述图像处理器对从所述第一图像连接接口、所述第二图像连接接口和所述第三图像连接接口接收到的三组图像序列进行处理后生成深度图；所述应用连接接口将所述深度图发送至所述应用处理单元。

于本发明的一实施例中，所述应用处理单元将第一控制指令发送至所述应用连接接口；所述图像处理器根据所述第一控制指令生成第二控制指令并将所述第二控制指令分别发送至所述第一图像连接接口、所述第二图像连接接口和所述第三图像连接接口中的至少一个。

如上所述，本发明的深度图处理装置及深度图处理单元具有以下有益效果：

本发明中通过深度图处理单元和应用处理单元实现对图像采集单元的双控制，两者既可以单独对图像采集单元进行控制，又可以相互配合，由应用处理单元来控制图像采集单元进行采集图像数据，再由深度图处理单元对图像数据进行深度图处理，从而有效提高了深度图获取的效率，提高了系统性能。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1显示为本发明的深度图处理装置的整体原理结构图。

图2～图3显示为本发明的深度图处理装置连接一个图像传感器时的信号控制示意图。

图4～图8显示为本发明的深度图处理装置连接两个图像传感器时的信号控制示意图。

图9～图17显示为本发明的深度图处理装置连接三个图像传感器时的信号控制示意图。

元件标号说明

100深度图处理装置

110深度图像处理单元

120图像采集单元

121第一图像传感器

122第二图像传感器

123第三图像传感器

130应用处理单元

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1至图17。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

本实施例的目的在于提供一种深度图处理装置及深度图处理单元，用于解决现有技术中深度图的处理所有的操作都需要通过ap(应用处理单元)发起和处理，降低了图像采集处理的效率，也降低了系统性能的问题。以下将详细阐述本发明的深度图处理装置及深度图处理单元的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本发明的深度图处理装置及深度图处理单元。

图1为本发明涉及的深度图处理装置的实施例示意图。具体地，如图1所示，本实施例提供了本发明的实施例提供了一种深度图处理装置100，所述深度图处理装置100应用于一智能电子设备中，例如应用于智能手机、平板电脑、游戏机等任何具有拍照或摄像功能的电子设备。

具体地，所述深度图处理装置100包括：图像采集单元120、深度图像处理单元110和应用处理单元130(ap)。其中，图像采集单元120为具有采集图像/视频功能的电子元件，如照相头或摄像头。图像采集单元120可以接收外部控制指令，并根据外部控制指令来收集或设置图像采集参数，调整内部光学元件，并获取图像/视频。另外，图像采集单元120可以根据外部控制指令生成并输出相关的数据。所述深度图像处理单元110与所述图像采集单元120相连，从所述图像采集单元120接收图像序列；所述深度图像处理单元110与所述应用处理单元130相连，对接收到的所述图像序列进行处理后生成深度图并将所述深度图发送至所述应用处理单元130。

在一些实施例中，所述深度图像处理单元110为能够控制图像采集单元120，并处理控制指令和图像/视频数据的电子元件。具体来说，所述深度图像处理单元110有指令处理功能和数据处理功能。“指令处理功能”指处理用于控制图像采集单元120的控制指令，或者生成能够控制图像采集单元120的控制指令的能力；而“数据处理功能”指处理图像采集单元120生成的数据，或者生成与图像采集单元120生成的数据相关的数据的能力。应用处理单元130为能够控制图像采集单元120以及所述深度图像处理单元110的电子元件。

在一些实施例中，所述深度图像处理单元110包括数字信号处理器和缓存模块。所述数字信号处理器可为任何有数字信息处理功能的硬件模块，比如digitalsignalprocessor(简称dsp)。所述缓存模块是为所述深度图像处理单元110提供各种数据存储的硬件存储模块(比如flash、ram、rom、cache等)。所述应用处理单元130包括主控模块和存储模块，所述主控模块可为任何具有计算处理能力的硬件模块(比如cpu、dsp等)。所述存储模块是为应用处理单元130提供各种数据存储的功能的硬件存储模块。应用处理单元130可为应用处理器(applicationprocessor,简称ap)、中央处理器(centralprocessingunit，简称cpu)、或者系统芯片(systemonchip,简称soc)。

在一些实施例中，由所述应用处理单元130生成的或发送出的控制指令，可称为“第一控制指令”，包括用于控制摄像头的指令以及相关的各种采集参数，也包括用于控制深度图像处理单元110的指令以及相关的各种信息。从深度图像处理单元110发出的控制指令可以视为“第二控制指令”，包括用于控制摄像头的指令以及相关的各种采集参数。换句话说，第二控制指令可以是根据第一控制指令生成的。第二控制指令也可以包括部分或者全部第一控制指令，包括根据第一控制指令而生成的指令，包括与第一控制指令无关的指令，或者上述几种指令的各种组合。比如，深度图像处理单元110可以对第一控制指令进行重复、拷贝、添加、修改、替换、删除等各种操作而生成第二控制指令，也可以不根据第一控制指令而单独生成第二控制指令。

本实施例中获得深度图，可以采用多种方案：1)图像采集单元120包括：两个普通的图像传感器(rgbsensor或者monosensor)；2)图像采集单元120包括：一个tofsensor；3)图像采集单元120包括：一个或者两个结构光sensor；4)图像采集单元120包括：两个普通sensor加一个tofsenor或者结构光sensor。

tofsensor和结构光sensor都需要额外的发光源配合。

以图像传感器作为图像输入源，将图像序列传给深度图像处理单元110，深度图像处理单元110通过一定的计算算法，最终计算可以输出的深度图。也就是说，于本实施例中，在深度图像处理单元110中完成深度图的计算。

所述深度图像处理单元110中完成深度图的计算的过程如下：

向所述深度图像处理单元110输入为数字图像，包括双路数字图像、双路数字图像序列、单路图像序列。输入的生成源包括rgbsensor，monosensor，irsensor，tofsensor等。传输给深度图像处理单元110的数字图像优选为raw图像。raw图像如果是rgb图像最常见的是拜尔排布(bayerpattern)，也有可能是其它的排布方式，为了方便深度图的生成，一般要将这些排布转化为传统的rgb图像或者yuv图像。如果raw图像是单色sensor产生的，则不需要转化可以直接使用。一般算法是根据输入图像先计算出视差图，视差图可以简单的认为是深度图的逆转。通过两个普通图像传感器生成视差图的基本步骤如下：极线校正双路输入时，需要对图像进行极线校正。

1)预处理：对输入图像进行一些预处理，根据不同的用例，具体处理会有所不同，常见的处理有去噪、去马赛克、缩放、颜色空间转化等。

2)匹配代价计算(matchingcostcomputation)：常见的代价计算的方法有ssd，sad等窗口代价计算方法，这些方法的计算结果跟像素本身的值关系很大。对于双摄像头系统或者多摄头系统，每个摄像头的曝光(gain)和偏移(bias)不尽相同，对于这样的系统，一般采用对曝光和偏移不敏感的代价，比如census变换。代价匹配是沿着极线方向进行。最后生成和深度等级相同的匹配代价图。

3)代价聚合和视差图计算：对匹配代价进行聚合，聚合窗口既可以是固定窗，也可以是尺寸变化的窗口。将代价进行聚合后计算出每个像素代价最小的视差值。经过这一步可以得到初步的视差图。

4)后处理：这一步对视差图进行优化。删除部分错误深度，填补空洞。根据图像物体的边缘优化视差图的视差边界。经过以上过程处理后，一般深度图的深度等级比较少，深度图表现的比较粗糙。在一些应用中，比如机器人导航和目标跟踪，较少的视差等级也能满足需求。但基于图像的渲染等应用，对视差等级会有更高的要求，这就要对前面步骤生成的视差图做精细化处理，一般是进行亚像素视差估计的方法。

于本实施例中，所述深度图像处理单元110(pre-isp)主要完成深度图的计算，生成深度图，接收全部或者部分图像传感器(sensor)传送的图像序列。ap(applicationprocessor)主要接收生成的深度图做进一步的实际应用，ap也有可能控制图像传感器并接收部分图像传感器传送的图像序列。

于本实施例中，所述深度图像处理单元110将所述深度图和从所述图像采集单元120接收的图像序列同时发送至所述应用处理单元130。

以下对深度图处理装置100包含不同数量的图像传感器的几种情况进行具体说明。

于一实施例中，如图2和图3所示，所述图像采集单元120包括一个图像传感器；所述图像传感器为rgb图像传感器、mono图像传感器、结构光图像传感器或tof图像传感器。

深度图像处理单元110接收图像传感器的图像序列，并控制图像传感器的3a。深度图像处理单元110对图像序列进行一系列处理后生成深度图传给应用处理单元130。

于一实施例中，如图2所示，所述应用处理单元130将第一控制指令发送至所述图像采集单元120，或者如图3所示，所述应用处理单元130将第一控制指令发送至所述深度图像处理单元110；所述深度图像处理单元110从所述应用处理单元130接收第一控制指令并根据所述第一控制指令生成第二控制指令；所述深度图像处理单元110将所述第二控制指令发送至所述图像采集单元120。

于一实施例中，如图4和图5所示，所述图像采集单元120包括第一图像传感器121和第二图像传感器122；所述深度图像处理单元110分别与所述第一图像传感器121和所述第二图像传感器122相连并同时从所述第一图像传感器121和所述第二图像传感器122接收图像序列；所述深度图像处理单元110对接收到的两组所述图像序列进行处理后生成深度图并将所述深度图发送至所述应用处理单元130。

于一实施例中，如图4所示，所述应用处理单元130将第一控制指令分别发送至所述第一图像传感器121和所述第二图像传感器122。

其中，如图4所示，所述应用处理单元130可以同时从所述第一图像传感器121和所述第二图像传感器122接收图像序列。

也就是说，所述深度图像处理单元110同时接收第一图像传感器121和第二图像传感器122的图像序列，应用处理单元130对第一图像传感器121和第二图像传感器122进行3a控制。所述深度图像处理单元110对两组图像序列进行一系列处理后，生成深度图传输给应用处理单元130，或者同时传送第一图像传感器121和第二图像传感器122的数据和深度图给应用处理单元130。

于一实施例中，如图5所示，所述应用处理单元130将第一控制指令发送至所述深度图像处理单元110；所述深度图像处理单元110从所述应用处理单元130接收第一控制指令并根据所述第一控制指令生成第二控制指令；所述深度图像处理单元110将所述第二控制指令分别发送至所述第一图像传感器121和所述第二图像传感器122。

如图5所示，深度图像处理单元110同时接收第一图像传感器121和第二图像传感器122的图像序列，深度图像处理单元110也对第一图像传感器121和第二图像传感器122进行3a控制。深度图像处理单元110对两组图像序列进行一系列处理后，生成深度图传输给应用处理单元130，或者同时传送第一图像传感器121和第二图像传感器122的数据和深度图给应用处理单元130。

于一实施例中，所述第一图像传感器121和所述第二图像传感器122均为rgb图像传感器、mono图像传感器或结构光图像传感器、或者所述第一图像传感器121和所述第二图像传感器122中一个为rgb图像传感器，另一个为mono图像传感器、结构光图像传感器或tof图像传感器。

于一实施例中，如图6所示，所述图像采集单元120包括第一图像传感器121和第二图像传感器122；所述第一图像传感器121为rgb图像传感器或mono图像传感器；所述第二图像传感器122为rgb图像传感器、mono图像传感器、结构光图像传感器或tof图像传感器。

所述应用处理单元130与所述第一图像传感器121相连并从所述第一图像传感器121接收图像序列；所述深度图像处理单元110与所述第二图像传感器122相连并从所述第二图像传感器122接收图像序列；所述深度图像处理单元110对接收到的所述图像序列进行处理后生成深度图并将所述深度图发送至所述应用处理单元130。

于一实施例中，如图7所示，所述应用处理单元130将从所述第一图像传感器121接收到的图像序列进行处理后发送至所述深度图像处理单元110；所述深度图像处理单元110对从所述应用处理单元130接收到的图像序列和从所述第二图像传感器122接收到的图像序列进行处理后生成深度图并将所述深度图发送至所述应用处理单元130。

于一实施例中，如图6所示，所述应用处理单元130将第一控制指令分别发送至所述第一图像传感器121和所述第二图像传感器122。

或者如图7所示，所述应用处理单元130将第一控制指令分别发送至所述第一图像传感器121和所述深度图像处理单元110；所述深度图像处理单元110从所述应用处理单元130接收第一控制指令并根据所述第一控制指令生成第二控制指令；所述深度图像处理单元110将所述第二控制指令发送至所述第二图像传感器122。

或者如图8所示，所述应用处理单元130将第一控制指令发送至所述深度图像处理单元110；所述深度图像处理单元110从所述应用处理单元130接收第一控制指令并根据所述第一控制指令生成第二控制指令；所述深度图像处理单元110将所述第二控制指令分别发送至所述第一图像传感器121和所述第二图像传感器122。

如图7所示，深度图像处理单元110接收第二图像传感器122的图像序列，并控制第二图像传感器122的3a。应用处理单元130接收第一图像传感器121的图像序列，并控制第一图像传感器121的3a。深度图像处理单元110对第二图像传感器122的图像序列进行一系列处理后，生成深度图传输给应用处理单元130。应用处理单元130可以结合第一图像传感器121图像序列和深度图像处理单元110生成的深度图，对深度图做进一步的优化。

于一实施例中，如图9至图17所示，所述图像采集单元120包括第一图像传感器121、第二图像传感器122和第三图像传感器123；所述第一图像传感器121和所述第二图像传感器122均为rgb图像传感器、mono图像传感器或结构光图像传感器、或者所述第一图像传感器121和所述第一图像传感器121中一个为rgb图像传感器，另一个为mono图像传感器；所述第三传感器为结构光图像传感器或tof图像传感器。

于一实施例中，如图9至图11所示，所述深度图像处理单元110与所述第一图像传感器121、所述第二图像传感器122和所述第三图像传感器123中的任意一个相连并从该相连的图像传感器获取图像序列，所述应用处理单元130与剩余的两个图像传感器相连并同时从该所述两个图像传感器获取图像序列。

其中，于一实施例中，所述应用处理单元130对接收到的图像序列进行处理后发送至所述深度图像处理单元110；所述深度图像处理单元110对从所述应用处理单元130接收到的图像序列和从相连的图像传感器接收到的图像序列进行处理后生成深度图并将所述深度图发送至所述应用处理单元130。

于一实施例中，如图12至图14所示，所述深度图像处理单元110与所述第一图像传感器121、所述第二图像传感器122和所述第三图像传感器123中的任意两个相连，同时从该两个图像传感器获取图像序列；所述应用处理单元130与剩余的一个图像传感器相连并从该图像传感器获取图像序列。

其中，于一实施例中，所述应用处理单元130将接收到的图像序列进行处理后发送至所述深度图像处理单元110；所述深度图像处理单元110对从所述应用处理单元130接收到的图像序列和从相连的两个图像传感器接收到的图像序列进行处理后生成深度图并将所述深度图发送至所述应用处理单元130。

如图14所示，深度图像处理单元110接收第一图像传感器121和第二图像传感器122的图像序列，进过一系列处理后生成深度图传给应用处理单元130，者同时传送第一图像传感器121和第二图像传感器122的数据和深度图给应用处理单元130。应用处理单元130接收第三图像传感器123的图像序列，获得较为稀疏的深度图，结合深度图像处理单元110生成的深度图，可以生成更加完备的深度图。

于一实施例中，如图15至图17所示，所述深度图像处理单元110分别与所述第一图像传感器121、所述第二图像传感器122和所述第三图像传感器123相连，并同时从所述第一图像传感器121、所述第二图像传感器122以及所述第三图像传感器123接收图像序列；所述深度图像处理单元110对接收到的三组所述图像序列进行处理后生成深度图并将所述深度图发送至所述应用处理单元130。

其中，于一实施例中，如图15所示，所述应用处理单元130将第一控制指令发送至所述深度图像处理单元110；所述深度图像处理单元110从所述应用处理单元130接收第一控制指令并根据所述第一控制指令生成第二控制指令；所述深度图像处理单元110将所述第二控制指令分别发送至所述第一图像传感器121、所述第二图像传感器122和所述第三图像传感器123。

或者于一实施例中，如图16所示，所述应用处理单元130将第一控制指令分别发送至所述第一图像传感器121、所述第二图像传感器122和所述第三图像传感器123。

或者，所述应用处理单元130将第一控制指令分别发送至任一个图像传感器和所述深度图像处理单元110；所述深度图像处理单元110从所述应用处理单元130接收第一控制指令并根据所述第一控制指令生成第二控制指令；所述深度图像处理单元110将所述第二控制指令发送至剩余的两个图像传感器。

所述应用处理单元130将第一控制指令分别发送至任意两个图像传感器和所述深度图像处理单元110；所述深度图像处理单元110从所述应用处理单元130接收第一控制指令并根据所述第一控制指令生成第二控制指令；所述深度图像处理单元110将所述第二控制指令发送至剩余的一个图像传感器。

或者如图17所示，所述应用处理单元130将第一控制指令发送至所述深度图像处理单元110和第二图像传感器122、第三图像传感器123；所述深度图像处理单元110从所述应用处理单元130接收第一控制指令并根据所述第一控制指令生成第二控制指令；所述深度图像处理单元110将所述第二控制指令分别发送至所述第一图像传感器121。

本发明的实施例还提供一种深度图像处理单元110，包括图像处理器，图像连接接口和应用连接接口；所述图像连接接口与所述图像采集单元120相连，从所述图像采集单元120接收图像序列；所述图像处理器对接收到的图像序列进行处理生成深度图；所述应用连接接口与所述应用处理单元130相连，将所述深度图发送至所述应用处理单元130。

于一实施例中，所述应用连接接口将所述深度图和从所述图像采集单元120接收的图像序列同时发送至所述应用处理单元130。

于一实施例中，所述图像连接接口为一个，所述图像采集单元120包括一个图像传感器；所述图像传感器为rgb图像传感器、mono图像传感器、结构光图像传感器或tof图像传感器。

于一实施例中，所述应用处理单元130将第一控制指令发送至所述应用连接接口或者所述应用处理单元130将第一控制指令发送至所述应用连接接口；所述图像处理器根据所述第一控制指令生成第二控制指令并将所述第二控制指令发送至所述图像连接接口。

于一实施例中，所述图像连接接口包括第一图像连接接口和第二图像连接接口，所述图像采集单元120包括第一图像传感器121和第二图像传感器122；所述第一图像连接接口与所述第一图像传感器121相连并从所述第一图像传感器121接收图像序列，所述第二图像连接接口和所述第二图像传感器122相连并从所述第二图像传感器122接收图像序列；所述图像处理器对所述第一图像连接接口和所述第二图像连接接口接收到的两组所述图像序列进行处理后生成深度图。

于一实施例中，所述应用处理单元130将第一控制指令发送至所述应用连接接口；所述图像处理器根据所述第一控制指令生成第二控制指令并将所述第二控制指令分别发送至所述第一图像连接接口和所述第二图像连接接口。

于一实施例中，所述图像连接接口包括第一图像连接接口和第二图像连接接口，所述图像采集单元120包括包括第一图像传感器121和第二图像传感器122；所述应用处理单元130与所述第一图像传感器121相连并从所述第一图像传感器121接收图像序列；所述第二图像连接接口与所述第二图像传感器122相连并从所述第二图像传感器122接收图像序列；所述图像处理器对所述第二图像连接接口接收到的所述图像序列进行处理后生成深度图；所述应用连接接口将所述深度图发送至所述应用处理单元130。

于一实施例中，所述应用处理单元130将从所述第一图像传感器121接收到的图像序列进行处理后发送至所述应用连接接口；所述图像处理器对从所述应用连接接口接收到的图像序列和从所述第二图像连接接口接收到的图像序列进行处理后生成深度图；所述应用连接接口将所述深度图发送至所述应用处理单元130。

于一实施例中，所述应用连接接口从所述应用处理单元130接收第一控制指令，所述图像处理器根据所述第一控制指令生成第二控制指令，所述第二图像连接接口将所述第二控制指令发送至所述第二图像传感器122。

于一实施例中，所述应用连接接口从所述应用处理单元130接收第一控制指令，所述深度图像处理单元110从所述应用处理单元130接收第一控制指令并根据所述第一控制指令生成第二控制指令；所述图像处理器根据所述第一控制指令生成第二控制指令，所述第一图像连接接口将所述第二控制指令发送至所述第一图像传感器121，所述第二图像连接接口将所述第二控制指令发送至所述第二图像传感器122。

于一实施例中，所述图像连接接口包括第一图像连接接口、第二图像连接接口和第三图像连接接口，所述图像采集单元120包括包括第一图像传感器121、第二图像传感器122和第三图像传感器123；所述第一图像传感器121和所述第二图像传感器122均为rgb图像传感器、mono图像传感器或结构光图像传感器、或者所述第一图像传感器121和所述第二图像传感器122中一个为rgb图像传感器，另一个为mono图像传感器；所述第三传感器为结构光图像传感器或tof图像传感器。

于一实施例中，所述第一图像连接接口、所述第二图像连接接口和所述第三图像连接接口中的任一个与所述第一图像传感器121、所述第二图像传感器122和所述第三图像传感器123中的任一个相连，并从该相连的图像传感器获取图像序列，所述应用处理单元130与剩余的两个图像传感器相连并同时从该所述两个图像传感器获取图像序列。

于一实施例中，所述第一图像连接接口、所述第二图像连接接口和所述第三图像连接接口中的任两个与所述第一图像传感器121、所述第二图像传感器122和所述第三图像传感器123中的任两个相连从该相连的两个图像传感器获取图像序列；从所述应用处理单元130与剩余的两个图像传感器相连并同时从该所述两个图像传感器获取图像序列。

于一实施例中，所述应用连接接口从所述应用处理单元130接收图像序列；所述图像处理器对从所述应用连接接口接收到的图像序列和从图像连接接口接收到的图像序列进行处理后生成深度图；所述应用连接接口将所述深度图发送至所述应用处理单元130。

于一实施例中，所述第一图像连接接口、所述第二图像连接接口和所述第三图像连接接口分别对应与所述第一图像传感器121、所述第二图像传感器122和所述第三图像传感器123中相连并对应从所述第一图像传感器121、所述第二图像传感器122和所述第三图像传感器123获取图像序列；所述图像处理器对从所述第一图像连接接口、所述第二图像连接接口和所述第三图像连接接口接收到的三组图像序列进行处理后生成深度图；所述应用连接接口将所述深度图发送至所述应用处理单元130。

于一实施例中，所述应用处理单元130将第一控制指令发送至所述应用连接接口；所述图像处理器根据所述第一控制指令生成第二控制指令并将所述第二控制指令分别发送至所述第一图像连接接口、所述第二图像连接接口和所述第三图像连接接口中的至少一个。

综上所述，本发明中通过深度图处理单元和应用处理单元130实现对图像采集单元的双控制，两者既可以单独对图像采集单元进行控制，又可以相互配合，由应用处理单元130来控制图像采集单元进行采集图像数据，再由深度图处理单元对图像数据进行深度图处理，从而有效提高了深度图获取的效率，提高了系统性能。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。