一种视觉图像处理设备及系统的制作方法

本发明涉及图像处理技术领域，具体而言，涉及一种视觉图像处理设备及系统。

背景技术：

近年来，人工智能已广泛应用于工业、安防、交通、家居和可穿戴设备等领域，使人类的生活发生了翻天覆地的变化，如无人机、机器人。随着智能分析技术的提高，同样对环境感知技术提出了更高的要求。和人类一样，视觉对于机器来讲，也是最重要的感知空间环境、获取信息的渠道。因此，目前的智能机器上均设置有视觉信息采集系统，用于感知空间环境并进行信息获取。

目前，智能机器上的视觉信息采集系统均是依靠后端处理，即通过视觉信息采集系统感知空间环境并进行信息获取，然后将获取的信息发送至智能机器人后端中的远程控制端，由后端远程控制端对获取的上述信息进行分析，以获取所需信息。目前，视觉信息采集系统的前端处理技术由于处理能力、分析方法等等的局限性，目前还没有得到广泛应用。

发明人在研究中发现，现有技术中的视觉信息采集系统必须基于后端远程控制端对获取的信息进行处理，而后台处理对于信息传输速度有较高要求，否则就会出现信息缺失、延时、传输失真等问题。

技术实现要素：

有鉴于此，本发明实施例的目的在于提供一种视觉图像处理设备及系统，能够在前端对获取视觉图像信息并进行处理，无需要求传输速度，能够保证数据的完整性和准确性，同时也使得实时性较好。

第一方面，本发明实施例提供了一种视觉图像处理设备，其特征在于，包括：多维图像采集装置和前端图像处理装置；

所述多维图像采集装置，用于获取其视觉范围内动态连续的图像数据，将所有的图像数据均以第一预设帧频率发送至前端图像处理装置；

所述前端图像处理装置，用于接收所述动态连续的图像数据，对所述动态连续的图像数据进行三维建模处理，得到三维模型，并从所述三维模型中获取所述图像数据对应的空间位置信息。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述的视觉图像处理设备，还包括高精度辅助图像采集装置；

所述高精度辅助图像采集装置，用于采集所述视觉范围内的高精度视频图像数据，将所述高精度视频图像数据以第二预设帧频率发送至所述前端图像处理装置；

所述前端图像处理装置还用于，接收所述高精度视频图像数据，根据所述高精度视频图像数据对所述三维模型进行校准处理，得到校准后的三维模型，并从所述校准后的三维模型中获取所述图像数据对应的空间位置信息。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述多维图像采集装置包括单目镜头；

所述单目镜头，用于采集其视觉范围内动态连续的图像数据，将所有的图像数据均以第一预设帧频率发送至前端图像处理装置。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述多维图像采集装置包括双目镜头；所述双目镜头包括：第一组采集镜头和第二组采集镜头；

所述第一组采集镜头和所述第二组采集镜头均用于，采集各自视觉范围内动态连续的图像数据，将所有的图像数据均以第一预设帧频率发送至前端图像处理装置。

结合第一方面的第二种可能的实施方式，或者第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述前端图像处理装置包括：控制装置和专用视觉处理装置；

所述控制装置，用于控制所述专用视觉处理装置处理过程中的算法，以及与所述算法对应的处理结果；

所述专用视觉处理装置，用于在所述控制装置的控制下，接收所述动态连续的图像数据，对所述动态连续的图像数据进行三维建模处理，得到三维模型，并从所述三维模型中获取所述图像数据对应的空间位置信息；和/或，接收所述高精度视频图像数据，根据所述高精度视频图像数据对所述三维模型进行校准处理，得到校准后的三维模型，并从所述校准后的三维模型中获取所述图像数据对应的空间位置信息。

结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述前端图像处理装置还包括存储器；

所述控制装置还用于，控制所述存储器存储的数据流和对应的数据流通路；

所述存储器，用于在所述控制装置的控制下，存储所述多维图像采集装置发送的动态连续的图像数据，和/或，所述高精度辅助图像采集装置发送的高精度视频图像数据、所述三维模型，和/或，所述校准后的三维模型以及所述图像数据对应的空间位置信息。

结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述专用视觉处理装置包括：超声波检测器和信息融合处理器；

所述超声波检测器，用于检测所述障碍物的距离信息，将所述距离信息传输所述信息融合处理器；

所述信息融合处理器，用于根据所述视频图像及所述距离信息确定所述障碍物信息，并输出所述障碍物信息。

结合第一方面的第六种可能的实施方式，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述第一组采集镜头和所述第二组采集镜头均包括一个单目镜头或多个单目镜头；所述高精度辅助图像采集装置包括摄像头。

结合第一方面的第七种可能的实施方式，本发明实施例提供了第一方面的第八种可能的实施方式，其中，所述前端图像处理装置还包括：语音识别合成装置和路径规划子系统；

所述语音识别合成装置，用于接收用户发送的语音信息，对所述语音信息进行识别处理，得到对应的目的地址；以及，根据所述目的地址和所述障碍物信息，合成与所述目的地址对应的提示语音，输出所述提示语音以进行提示；

所述路径规划子系统，用于根据所述障碍物信息对原有导航路径进行调整或者重新生成导航路径。

第二方面，本发明实施例还提供了一种视觉图像处理系统，包括：包括：上述权利要求第一方面任一项所述的视觉图像处理设备；还包括：智能机器和远程控制端；

所述视觉图像处理设备嵌入所述智能机器中，用于实时检测所述智能机器前方的障碍物信息，并将所述障碍物信息发送给所述远程控制端；

所述远程控制端，用于接收所述障碍物信息，根据所述障碍物信息实时监控所述智能机器的行走状态，并在工作人员的控制下，对所述智能机器的行走状态进行匹配的控制。

本发明实施例提供的一种视觉图像处理设备及系统，包括：多维图像采集装置和前端图像处理装置；多维图像采集装置，用于获其取视觉范围内动态连续的图像数据，将所有的图像数据均以第一预设帧频率发送至前端图像处理装置；前端图像处理装置，用于接收动态连续的图像数据并进行三维建模处理，得到三维模型，并从三维模型中获取图像数据对应的空间位置信息；与现有技术中的后台处理对于信息传输速度有较高要求，否则就会出现信息缺失、延时、传输失真等问题相比，其能够在前端实时获取视觉图像信息，并对该视觉图像信息进行实时信息分析，从而实现实时的获取三维位置信息模型，得到诸如三维点云图、距离、方向图像分割结果等信息，并据此获取障碍物信息，以实施避障；并且，上述前端处理中无需要求传输速度，能够保证数据的完整性和准确性，同时也使得实时性较好。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例所提供的一种视觉图像处理设备的结构示意图；

图2示出了本发明实施例所提供的另一种视觉图像处理设备的结构示意图；

图3示出了本发明实施例所提供的一种视觉图像处理设备中专用视觉处理装置的结构示意图；

图4示出了本发明实施例所提供的一种视觉图像处理设备中前端图像处理装置的结构示意图；

图5示出了本发明实施例所提供的一种视觉图像处理系统的结构示意图。

主要标号说明；

1、视觉图像处理设备；2、智能机器；3、远程控制端；10、多维图像采集装置；20、前端图像处理装置；30、高精度辅助图像采集装置；101、第一组采集镜头；102、第二组采集镜头；201、控制装置；202、专用视觉处理装置；203、存储器；204、语音识别合成装置；205、路径规划子系统。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到现有技术中的视觉信息采集系统必须基于后端远程控制端(即后端服务器)对获取的信息进行处理，而后台处理对于信息传输速度有较高要求，否则就会出现信息缺失、延时、传输失真等问题。基于此，本发明实施例提供了一种视觉图像处理设备及系统，下面结合图1、图2、图3、图4和图5通过实施例进行描述。

参考图1，本发明实施例提供了一种视觉图像处理设备，包括：多维图像采集装置10和前端图像处理装置20；

多维图像采集装置10，用于获取其视觉范围内动态连续的图像数据，将所有的图像数据均以第一预设帧频率发送至前端图像处理装置20；

前端图像处理装置20，用于接收上述动态连续的图像数据，对动态连续的图像数据进行三维建模处理，得到三维模型，并从三维模型中获取图像数据对应的空间位置信息。

具体的，本发明实施例提供的视觉图像处理设备作为一个整体，包括多维图像采集装置10和前端图像处理装置20这两部分，上述整体可以应用在智能机器上，其与智能机器的连接方式如下：智能机器上设置有插拔接口，上述视觉图像处理设备可以直接通过上述插拔接口接入上述智能机器上；或者，上述视觉图像处理设备通过数据线与智能机器上的插拔接口电连接；上述两种安装方式均能实现视觉图像处理设备与智能机器的数据通信，视觉图像处理设备能够采集视觉范围内的动态连续图像数据，同时对采集的数据进行处理，以获取图像数据对应的空间位置信息。

其中，上述多维图像采集装置10可以为双目镜头，双目镜头对应有一定的视觉范围，该双目镜头可以在自己的视觉范围内获取动态连续的图像数据，然后将获取到的图像数据均以第一预设帧频率发送至前端图像处理装置20。其中，上述第一预设帧频率可以预先进行设置，如设置每秒30帧；本发明实施例中对上述第一预设帧频率的设置不做具体限制。

通过上述双目镜头可以对空间进行差分实时图像信息采集，其中，上述双目镜头包括两组镜头，其每一组镜头可以采用一个或多个摄像头进行视频图像采集。

而上述前端图像处理装置20本身具有数据处理功能，其首先接收动态连续的图像数据，然后根据接收到的所有的图像数据进行三维建模处理，得到对应动态连续的图像数据的三维模型；然后根据建立的该三维模型，可以从中获取图像数据中对应的空间位置信息；上述空间位置信息至少包括：三维点云图、物体间相对位置、方向和距离等信息。

本发明实施例提供的一种视觉图像处理设备，与现有技术中的后台处理对于信息传输速度有较高要求，否则就会出现信息缺失、延时、传输失真等问题相比，其能够在前端实时获取视觉图像信息，并对该视觉图像信息进行实时信息分析，从而实现实时的获取三维位置信息模型，得到诸如三维点云图、距离、方向图像分割结果等信息，并据此获取障碍物信息，以实施避障；并且，上述前端处理中无需要求传输速度，能够保证数据的完整性和准确性，同时也使得实时性较好。

考虑到多维图像采集装置10采集的图像可能会存在不清晰的部分，对此，根据该图像建立的三维模型可能会定位不准确，对此，参考图1，本发明实施例的视觉图像处理设备中，还包括高精度辅助图像采集装置30；

高精度辅助图像采集装置30，用于采集视觉范围内的高精度视频图像数据，将高精度视频图像数据以第二预设帧频率发送至前端图像处理装置20；其中，此处的第二预设帧频率与上述第一预设帧频率可以相同，也可以不同；本发明实施例中，设置上述第二预设帧频率与上述第一预设帧频率不同。

前端图像处理装置20还用于，提取第二预设图片中的高精度视频图像数据，根据高精度视频图像数据对三维模型进行校准处理，得到校准后的三维模型，并从校准后的三维模型中获取图像数据对应的空间位置信息。

具体的，通过上述高精度辅助图像采集装置30实时采集，覆盖多维图像采集装置10的视觉范围的高精度视频图像数据；前端图像处理装置20则根据上述高精度视频图像数据，对根据多维图像采集装置10采集的图像数据建立的三维模型进行校准处理，得到的校准后的三维模型；而校准后的三维模型更能准确的表现多维图像采集装置10视觉范围内的整体空间位置信息。

本发明实施例中，上述高精度辅助图像采集装置30可以是高精度摄像头，该摄像头可以自动对焦，其用于通过对焦参数对双目差分图像信息(即多维图像采集装置10采集的高精度图像数据)的处理进行矫正和补充，另外该系统还可以采集高清晰度(或者说高精度)的视频图像或者图片；通过采集的高精度图像数据来弥补多维图像采集装置10采集的图像数据的不足，以建立更加精准的三维模型。

进一步的，上述视觉图像处理设备中，多维图像采集装置包括单目镜头；单目镜头，用于采集其视觉范围内动态连续的图像数据，将所有的图像数据均以第一预设帧频率发送至前端图像处理装置。

进一步的，参考图2，上述视觉图像处理设备中，多维图像采集装置10包括双目镜头；双目镜头包括：第一组采集镜头101和第二组采集镜头102；

第一组采集镜头101和第二组采集镜头102均用于，采集各自视觉范围内动态连续的图像数据，将所有的图像数据均以第一预设帧频率发送至前端图像处理装置。

具体的，上述双目镜头包括的两组采集镜头均用于采集自身视觉范围内的动态连续的图像数据，并以第一预设帧频将采集的图像数据依次发送至前端图像处理装置20。

其中，上述第一组采集镜头101和第二组采集镜头102均包括一个单目镜头或多个单目镜头。

进一步的，参考图2，上述视觉图像处理设备中，前端图像处理装置20包括：控制装置201和专用视觉处理装置202；

控制装置201，用于控制专用视觉处理装置202处理过程中的算法，以及与算法对应的处理结果；

专用视觉处理装置202，用于在控制装置201的控制下，接收动态连续的图像数据，对动态连续的图像数据进行三维建模处理，得到三维模型，并从三维模型中获取图像数据对应的空间位置信息；和/或，提取第二预设图片中的高精度视频图像数据，根据高精度视频图像数据对三维模型进行校准处理，得到校准后的三维模型，并从校准后的三维模型中获取图像数据对应的空间位置信息。

具体的，在前端图像处理装置20中，由专用视觉处理装置202实施真正的运算过程，由控制装置201控制专用视觉处理装置202实施的算法和对应的运算结果。

进一步的，参考图2，上述视觉图像处理设备中，前端图像处理装置20还包括存储器203；

控制装置201还用于，控制存储器203存储的数据流和对应的数据流通路；

存储器203，用于在控制装置201的控制下，存储多维图像采集装置10发送的动态连续的图像数据，和/或，高精度辅助图像采集装置30发送的高精度视频图像数据、三维模型，和/或，校准后的三维模型以及图像数据对应的空间位置信息。

具体的，在前端图像处理装置20中，还包括存储器203；由存储器203实施的存储功能，由控制装置201控制存储器203进行存储的路径和数据流。

进一步的，参考图3，上述视觉图像处理设备中，专用视觉处理装置202包括：超声波检测器2021和信息融合处理器2022；

超声波检测器2021，用于检测障碍物的距离信息，将距离信息传输信息融合处理器；

信息融合处理器2022，用于根据信息融合处距离信息确定障碍物信息，并输出障碍物信息。

进一步的，参考图4，上述视觉图像处理设备中，前端图像处理装置20还包括：语音识别合成装置204和路径规划子系统205；

语音识别合成装置204，用于接收用户发送的语音信息，对语音信息进行识别处理，得到对应的目的地址；以及，根据目的地址和障碍物信息，合成与目的地址对应的提示语音，输出提示语音以进行提示；

路径规划子系统205，用于根据障碍物信息对原有导航路径进行调整或者重新生成导航路径。

本发明实施例中，用户可以直接通过语音识别合成装置204说出该视觉图像处理设备1其所嵌入的智能机器2的目的地址，即向上述视觉图像处理设备1发送包括上述目的地址的语音信息；语音识别合成装置204则根据用户的语音信息合成对应的目的地址，并根据目的地址和障碍物信息，合成与目的地址对应的提示语音，输出提示语音以进行提示，比如，提示智能机器2进行左转等。

具体的，路径规划子系统205用于根据接收的障碍物信息，对原有导航路径进行调整或者重新生成导航路径，以实现对视觉图像处理设备1嵌入的智能机器2进行实时避障。

本发明实施例提供的一种视觉图像处理设备，与现有技术中的后台处理对于信息传输速度有较高要求，否则就会出现信息缺失、延时、传输失真等问题相比，其能够在前端实时获取视觉图像信息，并对该视觉图像信息进行实时信息分析，从而实现实时的获取三维位置信息模型，得到诸如三维点云图、距离、方向图像分割结果等信息，并据此获取障碍物信息，以实施避障；并且，上述前端处理中无需要求传输速度，能够保证数据的完整性和准确性，同时也使得实时性较好。

本发明实施例提供了一种视觉图像处理系统，参考图5，包括：上述视觉图像处理设备1；还包括：智能机器2和远程控制端3；

视觉图像处理设备1嵌入智能机器2中，用于实时检测智能机器2前方的障碍物信息，并将障碍物信息发送给远程控制端3；

远程控制端3，用于接收障碍物信息，根据障碍物信息实时监控智能机器2的行走状态，并在工作人员的控制下，对智能机器2的行走状态进行匹配的控制。

本发明实施例中的视觉图像处理设备1可以应用在智能机器2上，其与智能机器2的连接方式如下：智能机器2上设置有插拔接口，上述视觉图像处理设备1可以直接通过上述插拔接口接入上述智能机器2上；或者，上述视觉图像处理设备1通过数据线与智能机器2上的插拔接口电连接；上述两种安装方式均能实现视觉图像处理设备1与智能机器2的数据通信。

上述视觉图像处理设备1能够采集自身视觉范围内的动态连续的图像数据，同时对采集的上述动态连续的图像数据进行三维建模处理，得到三维模型，然后从三维模型中获取图像数据对应的空间位置信息，并根据上述空间位置信息得到该环境中的障碍物信息，最终能够根据该障碍物信息调整智能机器2的原始行走路径或者重新规划智能机器2的行走路径，以控制视觉图像处理设备1嵌入的智能机器2实施避障；其中，上述空间位置信息至少包括：三维点云图、物体间相对位置、方向和距离等信息。

上述远程控制端3是视觉图像处理系统中的后端处理软件，可以是服务器，其接收前端的视觉图像处理设备1发送的空间位置信息，并且其还可以根据该空间的位置信息获知影响智能机器2行走的障碍物信息，并计算智能机器2相对三维模型中的障碍物的距离，然后，根据计算的结果规划所述智能机器2躲避障碍物的行走路径，然后根据该行走路径监测视觉图像处理设备1是否控制智能机器2按照该行走路径行走；或者，直接控制智能机器2按照上述计算得到的行走路径行走，以控制智能机器2实施避障。

其中，上述智能机器可以是车，以智能机器为车为例，将上述视觉图像处理设备2(以下简称为视觉卡)装载在车上，并能够与车实现数据通信；例如在一个停车场，通过本发明实施例提供的视觉图像处理设备对整个停车场的视频图像数据进行了扫描处理，并根据视频图像数据建立三维模型，则载有视觉卡的车就可以精确定位自己在建立的三维模型中所处的位置；然后，视觉图像处理设备自身可以监测车的障碍物信息，并据此规划车的导航路径；然后，视觉图像处理设备通过无线通信模块将检测到的障碍物信息实时发送给后台远程控制端，由后台远程控制端根据接收的障碍物信息，计算车相对周围障碍物的距离，并根据计算的结果规划车的行驶路线，最终以计算得到的行驶路线直接控制车根据该行驶路线进行行驶，也可以以计算得到的行驶路线对视觉图像处理设备实施监控。

本发明实施例提供的一种视觉图像处理系统，与现有技术中的后台处理对于信息传输速度有较高要求，否则就会出现信息缺失、延时、传输失真等问题相比，其能够通过视觉图像处理设备1在前端实时获取视觉图像信息，并对该视觉图像信息进行实时信息分析，从而实现实时的获取三维位置信息模型，得到诸如三维点云图、距离、方向图像分割结果等信息，然后后端远程控制端3根据前端得到的信息规划智能机器2避障的行走路径，最终控制智能机器2按照规划的行走路径行走；或者，根据前端得到的信息规划智能机器2避障的行走路径，并据此对视觉图像处理设备1的控制状态进行监控；并且，上述前端处理中无需要求传输速度，能够保证数据的完整性和准确性，同时也使得实时性较好。

在本发明所提供的实施例中，应该理解到，所揭露设备和系统，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，远程控制端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。