一种图像处理方法、装置及系统与流程

本发明涉及图像领域，尤其涉及一种图像处理方法及装置及系统。

背景技术：

无人驾驶飞机(unmannedaerialvehicle，uav)，简称无人机，其是利用无线电遥控设备和自备的程序控制装置操控的不载人飞机。现有的专业级航拍系统采用多轴平台搭载专业电影机，但该组合不仅安装方式繁琐，且无法方便快捷地通过无线远程的地面端设置相机参数，云台增稳效果较差。

技术实现要素：

本发明实施例提供了一种图像处理方法及装置，用以实现集成式航拍系统，安装方便，云台增稳效果好。

本发明第一方面提供了一种图像处理装置，包括：

接收模块，用于接收相机采集的第一图像数据；

相机处理模块，用于对所述第一图像数据进行处理，得到第二图像数据；

存储模块，用于将所述第二图像处理数据存储至存储器。

可选的，所述第一图像数据包括：由相机传感器感应光线，并转化得到的色彩滤波阵列cfa图像。

可选的，所述相机处理模块包括：图像处理isp单元，prores编码器；

所述isp单元，用于将所述第一图像数据还原、渲染并转化为yuv图像，将所述yuv图像传输给所述prores编码器；

所述prores编码器，用于接收来自所述isp单元的yuv图像，并将所述yuv图像以prores标准编码、并封装为所述第二图像数据；其中，所述第二图像数据包括mov格式的视频；

所述存储模块，用于将所述mov格式的视频通过pcie接口存储至存储器。

可选的，所述存储器包括固态硬盘ssd。

可选的，所述图像处理装置部署于无人机机身内。

本发明第二方面提供了一种图像处理系统，包括如第一方面所述的图像处理装置，还包括：云台相机、地面pc端。

可选的，所述云台相机，用于利用相机传感器感应光线，并转化得到的色彩滤波阵列cfa图像，并将所述cfa图像发送给所述图像处理装置。

可选的，所述地面pc用于，通过读卡器读取存储器中的mov格式的视频。

本发明第三方面提供了一种图像处理方法，应用于无人机，所述方法包括：

接收相机采集的第一图像数据；

对所述第一图像数据进行处理，得到第二图像数据；

将所述第二图像数据存储至存储器。

可选的，所述第一图像数据包括：由相机传感器感应光线，并转化得到的色彩滤波阵列cfa图像。

可选的，所述对所述第一图像数据进行处理，得到第二图像数据，包括：

将所述第一图像数据还原、渲染并转化为yuv图像；

将所述yuv图像以prores标准编码、并封装为所述第二图像数据；其中，所述第二图像数据包括mov格式的视频。

可选的，所述存储器包括固态硬盘ssd。

本发明实施例提供了一种图像处理装置、系统及方法，所述装置包括：接收模块，用于接收相机采集的第一图像数据；相机处理模块，用于对所述第一图像数据进行处理，得到第二图像数据；存储模块，用于将所述第二图像处理数据存储至存储器。将图像处理装置部署于无人机机身内部，用以实现集成式航拍系统，安装方便。同时，云台无需搭载图像处理模块，使得云台对相机增稳效果更好，且图像处理模块放置于机身内部，无人机机身内比相机空间大，散热效果更好。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种可移动物体示意图；

图2a为本发明实施例提供的一种图像处理系统示意图；

图2b为本发明实施例提供的一种天空端示意图；

图3为本发明实施例提供的一种录制prores视频的流程图；

图4为本发明实施例提供的图像处理流程图；

图5a-5b为本发明实施例提供的一种图像处理装置示意图。

具体实施方式

本发明实施例提供了一种图像处理装置、系统及方法，实现集成式航拍系统，安装方便，且云台增稳效果更好。

以下对本发明的描述使用无人机作为可移动物体的示例。显而易见的是，对于本领域技术人员将可以不受限制地使用其他类型的可移动物体。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

下面通过具体实施例，分别进行详细说明。

可移动物体

图1为本发明实施例提供的一种可移动物体100的示意图。该可移动物体100包括承载体102及负载104。尽管可移动物体100被描述为飞行器，然而这样的描述并不是限制，任何类型的可移动物体都适用。本领域技术人员应该了解，本文所描述的任何关于飞行器系统的实施例适用于任何可移动物体(如无人飞行器)。在某些实施例中，负载104可以直接位于可移动物体100上，而不需要承载体102。可移动物体100可以包括动力机构106，传感系统108以及通讯系统110。

动力机构106可以包括一个或者多个旋转体、螺旋桨、桨叶、引擎、电机、轮子、轴承、磁铁、喷嘴。例如，所述动力机构的旋转体可以是自紧固(self-tightening)旋转体、旋转体组件、或者其它的旋转体动力单元。可移动物体可以有一个或多个动力机构。所有的动力机构可以是相同的类型。可选的，一个或者多个动力机构可以是不同的类型。动力机构106可以通过合适的手段安装在可移动物体上，如通过支撑元件(如驱动轴)。动力机构106可以安装在可移动物体100任何合适的位置，如顶端、下端、前端、后端、侧面或者其中的任意结合。

在某些实施例中，动力机构106能够使可移动物体垂直地从表面起飞，或者垂直地降落在表面上，而不需要可移动物体100任何水平运动(如不需要在跑道上滑行)。可选的，动力机构106可以允许可移动物体100在空中预设位置和/或方向盘旋。一个或者多个动力机构106在受到控制时可以独立于其它的动力机构。可选的，一个或者多个动力机构106可以同时受到控制。例如，可移动物体100可以有多个水平方向的旋转体，以追踪目标的提升及/或推动。水平方向的旋转体可以被致动以提供可移动物体100垂直起飞、垂直降落、盘旋的能力。在某些实施例中，水平方向的旋转体中的一个或者多个可以顺时针方向旋转，而水平方向的旋转体中的其它一个或者多个可以逆时针方向旋转。例如，顺时针旋转的旋转体与逆时针旋转的旋转体的数量一样。每一个水平方向的旋转体的旋转速率可以独立变化，以实现每个旋转体导致的提升及/或推动操作，从而调整可移动物体100的空间方位、速度及/或加速度(如相对于多达三个自由度的旋转及平移)。

传感系统108可以包括一个或者多个传感器，以感测可移动物体100的空间方位、速度及/或加速度(如相对于多达三个自由度的旋转及平移)。所述一个或者多个传感器包括前述描述的任何传感器，包括gps传感器、运动传感器、惯性传感器、近程传感器或者影像传感器。传感系统108提供的感测数据可以用于追踪目标100的空间方位、速度及/或加速度(如下所述，利用适合的处理单元及/或控制单元)。可选的，传感系统108可以用于采集可移动物体的环境的数据，如气候条件、要接近的潜在的障碍、地理特征的位置、人造结构的位置等。

通讯系统110能够实现与具有通讯系统114的终端112通过无线信号116进行通讯。通讯系统110、114可以包括任何数量的用于无线通讯的发送器、接收器、及/或收发器。所述通讯可以是单向通讯，这样数据可以从一个方向发送。例如，单向通讯可以包括，只有可移动物体100传送数据给终端112，或者反之亦然。通讯系统110的一个或者多个发送器可以发送数据给通讯系统112的一个或者多个接收器，反之亦然。可选的，所述通讯可以是双向通讯，这样，数据可以在可移动物体100与终端112之间在两个方向传输。双向通讯包括通讯系统110的一个或者多个发送器可以发送数据给通讯系统114的一个或者多个接收器，及反之亦然。

在某些实施例中，终端112可以向可移动物体100、承载体102及负载104中的一个或者多个提供控制数据，并且从可移动物体100、承载体102及负载104中的一个或者多个中接收信息(如可移动物体、承载体或者负载的位置及/或运动信息，负载感测的数据，如相机捕获的影像数据)。在某些实施例中，终端的控制数据可以包括关于位置、运动、致动的指令，或者对可移动物体、承载体及/或负载的控制。例如，控制数据可以导致可移动物体位置及/或方向的改变(如通过控制动力机构106)，或者导致承载体相对于可移动物体的运动(如通过对承载体102的控制)。终端的控制数据可以导致负载控制，如控制相机或者其它影像捕获设备的操作(捕获静止或者运动的影像、变焦、开启或关闭、切换成像模式、改变影像分辨率、改变焦距、改变景深、改变曝光时间、改变可视角度或者视场)。在某些实施例中，可移动物体、承载体及/或负载的通讯可以包括一个或者多个传感器(如传感系统108或者负载104)发出的信息。所述通讯可以包括从一个或者多个不同类型的传感器(如gps传感器、运动传感器、惯性传感器、近程传感器或者影像传感器)传送的感应信息。所述感应信息是关于可移动物体、承载体及/或负载的位置(如方向、位置)、运动、或者加速度。从负载传送的感应信息包括负载捕获的数据或者负载的状态。终端112传送提供的控制数据可以用于追踪可移动物体100、承载体102或者负载104中一个或者多个的状态。可选的或者同时地，承载体102及负载104每一个都可以包括通讯模块，用于与终端112通讯，以便终端可以单独地通讯或者追踪可移动物体100、承载体102及负载104。

在某些实施例中，可移动物体100可以与除了终端112之外的其它远程设备通讯，终端112也可以与除可移动物体100之外的其它远程设备进行通讯。例如，可移动物体及/或终端112可以与另一个可移动物体或者另一个可移动物体的承载体或负载通讯。当有需要的时候，所述另外的远程设备可以是第二终端或者其它计算设备(如计算机、桌上型电脑、平板电脑、智能手机、或者其它移动设备)。该远程设备可以向可移动物体100传送数据，从可移动物体100接收数据，传送数据给终端112，及/或从终端112接收数据。可选的，该远程设备可以连接到因特网或者其它电信网络，以使从可移动物体100及/或终端112接收的数据上传到网站或者服务器上。

在某些实施例中，可移动物体的运动、承载体的运动及负载相对固定参照物(如外部环境)的运动，及/或者彼此间的运动，都可以由终端所控制。所述终端可以是远程控制终端，位于远离可移动物体、承载体及/或负载的地方。终端可以位于或者粘贴于支撑平台上。可选的，所述终端可以是手持的或者穿戴式的。例如，所述终端可以包括智能手机、平板电脑、桌上型电脑、计算机、眼镜、手套、头盔、麦克风或者其中任意的结合。所述终端可以包括用户界面，如键盘、鼠标、操纵杆、触摸屏或者显示器。任何适合的用户输入可以与终端交互，如手动输入指令、声音控制、手势控制或者位置控制(如通过终端的运动、位置或者倾斜)。

图像处理系统

将相机处理模块的硬件安置于机身内，更有效地保证散热、增稳与录制稳定的效果；而功能上新增对以prores编码的mov格式视频录制的支持，结合稳定飞行、云台增稳、远程设置与现场快速导出查看的集成式支持，在减少硬盘空间使用的情况下保证高画质，更好地满足专业电影工作者的拍摄需求。

图2a为本发明实施例提供的一种图像处理系统的示意图。该图像处理系统包括天空端201、地面移动端202及地面pc(personalcomputer)端203。

天空端201可以是无人机，主要实现稳定飞行，云台增稳，以及采用preres编码的mov格式录制视频并存储。

地面移动端202可以是遥控器与移动终端，具体的，移动终端可以是智能手机、平板电脑。地面移动端202主要实现远程控制无人机、远程设置相机参数及实时图传查看图像。

天空端201与地面移动端202通过射频信号以实现远程无线通信，使用地面移动端202的遥控器可远程操纵无人机飞行，使用地面移动端的应用程序app(如djigo)可远程设置相机参数、以及查看实时图传图像。

地面pc端203可以包括固态硬盘(ssd)读卡器与pc设备，主要实现ssd的数据快速读取、预览与导出。

取出天空端201的ssd，通过ssd读卡器连接上地面pc端，可快速读取、预览与剪辑ssd内的数据。

图2b为本发明实施例提供的一种天空端的示意图。相机处理模块212安置于可稳定飞行的机身内，接收来自具有云台增稳效果的，云台相机模块211的传感器所感应的图像信息，然后渲染并以prores格式编码，封装为mov格式视频，通过pci-e接口将视频存至ssd(可拔插)模块。

本发明实施例提供了一种图像处理装置将图像处理装置部署于无人机机身内部，用以实现集成式航拍系统，安装方便。同时，云台无需搭载图像处理模块，使得云台对相机增稳效果更好，且图像处理模块放置于机身内部，无人机机身内比相机空间大，散热效果更好。

图3为本发明实施例提供的一种录制prores视频的流程图。当录制以prores编码的mov格式视频时，系统主要为天空端与地面移动端配合操作以实现；而当录制结束后，取出天空端的ssd连接地面pc端即可快速预览导出。录制prores视频的流程，由天空端、地面移动端、与地面pc端三者共同支持。

录制prores流程：

s301、在与遥控器用数据线相连接的移动终端app(例如，djigo上，选用所需的prores编码视频设置，开启录影，移动终端app将相应的指令通过usb口传输至遥控器处理模块进行编码。

s302、遥控器处理模块将编码数据经由地面移动端(例如，遥控器)的射频模块传输至天空端(例如，无人机)的射频模块。

s303、天空端的编码模块接收并解码传至图传模块，经由图传模块发送对应指令至相应模块。

s304、飞控模块根据用户的飞行设置，调整无人机的飞行状态，实现飞行稳定。

s305、云台相机模块根据用户的云台参数设置，调整云台三轴的状态，实现云台增稳。

s306、相机处理模块根据用户的相机参数设置，调整相机处理模块内的参数，并调用相机传感器，针对航拍场景开启录制具有云台增稳效果的以prores编码的mov格式视频。

s307、录制过程中，航拍场景的光学数据由相机传感器感应并转化为色彩滤波阵列(colorfilterarray，cfa)数据传至相机处理模块；

s308、相机处理模块将相应数据经过图像信号处理(imagesignalprocessing，isp)模块实现图像还原渲染并转为yuv数据，实时传至ddr寄存器，推送至prores编码器，以prores编码并封装为mov格式视频，然后回传至ddr寄存器通过pcie接口传至ssd(可拔插)模块进行存储。yuv是一种颜色空间，其中y表示亮度，而u和v表示色度，即u为亮度和蓝色分量之间的差异(y-b)，而v为亮度和红色分量之间的差异(y-r)。

s309、录制结束时，航拍场景对应的，以prores编码的mov格式视频完整储存于无人机的ssd模块。

航拍结束后，用户只需将天空端的ssd可拔插模块内的ssd取出，将ssd与pcie转usb接口的读卡器对接并连上mac的usb接口。

310、地面pc端识别ssd内的fat32公有文件系统，用户即可通过打开录制的prores编码的mov格式文件查看，预览，导出与剪辑。

图4为本发明实施例提供的一种图像处理流程图，包括：

s401，接收相机采集的第一图像数据。

可选的，第一图像数据包括：由相机传感器感应光线，并转化得到的色彩滤波阵列cfa图像。

s402，对所述第一图像数据进行处理，得到第二图像数据。

将所述第一图像数据还原、渲染并转化为yuv图像；

将所述yuv图像以prores标准编码、并封装为所述第二图像数据；其中，所述第二图像数据包括mov格式的视频。

s403，将所述第二图像数据存储至存储器。

在某些实施例中，所述存储器包括固态硬盘ssd。

图5a为本发明实施例提供的一种图像处理装置示意图，包括：

接收模块501，用于接收相机采集的第一图像数据。

在某些实施例中，第一图像数据包括：由相机传感器感应光线，并转化得到的色彩滤波阵列cfa图像。

相机处理模块502，用于对所述第一图像数据进行处理，得到第二图像数据。

具体的，如图5b所示，相机处理模块502包括图像处理isp单元521和prores编码器522。

isp单元521，用于将所述第一图像数据还原、渲染并转化为yuv图像，将所述yuv图像传输给所述prores编码器；

prores编码器522，用于接收来自所述isp单元的yuv图像，并将yuv图像以prores标准编码、并封装为第二图像数据；其中，第二图像数据包括mov格式的视频。

存储模块503，用于将所述第二图像处理数据存储至存储器。

在某些实施例中，存储模块503，用于将prores编码器522得到的mov格式的视频，通过pcie接口存储至存储器。在某些实施例中，存储器可以是固态硬盘ssd。

在某些实施例中，图像处理装置500部署于无人机机身内。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的图像处理装置、系统及方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。