图像数据传输方法、装置及终端与流程

本发明涉及图像传输与处理技术，特别涉及一种图像数据传输方法、装置及终端。

背景技术：

随着虚拟现实(virtualreality)技术的发展，对于高分辨率，低延迟的图像传输提出了越来越高的要求。现有技术中，由于在数字图像处理系统内部存在一些固有的延迟，使得图像数据从被采集到被编码的过程所消耗的延迟较大。而所述延迟将占用数字图像处理系统总体延迟的时间开销，将导致预留给图像数据的传输过程所允许的延迟大大缩小，这将无法满足高分辨率，低延迟的图像传输与处理的用户需求。

图1是现有的一种图像处理终端的示意性结构框图。如图1所示，现有的一种图像处理终端100的架构一般包括有摄像终端11、图像信号处理器(imagesignalprocessor，isp)12、视频编码器(videoencoder)14和双倍速率同步动态随机存储器(doubledatarate，ddr)13，其中，所述图像信号处理器和视频编码器集成在同一处理器15内。在图像处理终端100中，摄像终端11将图像数据按照帧的方式传输给图像信号处理器12；所述图像数据按照帧的方式进行传输导致处于传输状态中的数据容量较大，因此，图像信号处理器12在收到完整的图像数据后，在完成诸如降噪等预处理后，需要将所述图像数据写入所述处理器15以外的ddr13中，而后以指示信号的形式去通知视频编码器14进行编码；视频编码器14收到通知后，从ddr13中读取数据，并开始编码；在完成编码后，视频编码器14将编码后的数据写回ddr13中。视频编码器14将会通知其他系统进行后续处理，如将编码后的数据写入文件系统或者发起网络传输等。由于图像处理终端100需要对接收到的图像数据存储于所述ddr13中，在编码时需要从所述ddr13中读取，对于高分辨率和低延迟的图像处理系统中，延迟较大。此外，存储器的存储成本以及功耗的要求较高。

因此，现有技术中的图像处理终端所采用的图像数据传输方法，面临着在处理器内所消耗的延迟较大，以及对存储器的存储成本以及功耗的要求较高的问题。

技术实现要素：

本发明解决的技术问题是如何降低现有技术中的图像处理终端中处理器内部传输图像数据所消耗的延迟。

为解决上述技术问题，本发明实施例提供一种图像数据传输方法，所述图像数据传输方法包括：在摄像装置、图像信号处理器和视频编码器之间同步设置宏块尺寸；按照所述宏块尺寸对所述摄像装置输出的图像数据进行划分，以得到多个宏块数据；按照第一次序，将所述多个宏块数据逐个传输至所述图像信号处理器，以供所述图像信号处理器基于所述宏块数据进行图像处理；将所述图像信号处理器处理后的宏块数据逐个传输至所述视频编码器，以使所述视频编码器对所述处理后的宏块数据进行编码以得到编码数据。

可选地，在将所述处理后的宏块数据传输至所述视频编码器之前，还包括：将所述处理后的宏块数据存储于缓存器。

可选地，所述图像信号处理器和视频编码器集成在同一处理器内，所述缓存器集成在所述处理器内。

可选地，所摄像装置、图像信号处理器和视频编码器之间同步设置宏块尺寸包括：所述视频编码器将所述宏块尺寸传输至所述图像信号处理器；在接收所述宏块尺寸后，所述图像信号处理器传输所述宏块尺寸至所述摄像装置。

可选地，所述宏块尺寸通过所述视频编码器、摄像装置或外部输入设置。

可选地，将所述图像信号处理器处理后的宏块数据逐个传输至所述视频编码器包括：在指示信号的作用下，将所述处理后的宏块数据逐个传输至所述视频编码器，所述指示信号用于区分不同帧的图像数据。

可选地，所述图像数据传输方法还包括：将所述编码数据写入内存。

为了解决以上所述的技术问题，本发明实施例还提供一种图像数据传输 装置，所述图像数据传输装置包括：同步单元，适于在摄像装置、图像信号处理器和视频编码器之间同步设置宏块尺寸；划分单元，适于按照所述宏块尺寸对所述摄像装置输出的图像数据进行划分，以得到多个宏块数据；第一传输单元，适于按照第一次序，将所述多个宏块数据逐个传输至所述图像信号处理器，以供所述图像信号处理器基于所述宏块数据进行图像处理；第二传输单元，适于将所述图像信号处理器处理后的宏块数据逐个传输至所述视频编码器，以使所述视频编码器对所述处理后的宏块数据进行编码以得到编码数据。

可选地，在将所述处理后的宏块数据传输至所述视频编码器之前，还适于将所述处理后的宏块数据存储于缓存器。

可选地，所述图像信号处理器和视频编码器集成在同一处理器内，所述缓存器集成在所述处理器内。

可选地，所述同步单元包括：第一传输子单元，适于控制所述视频编码器将所述宏块尺寸传输至所述图像信号处理器；第二传输子单元，适于在接收所述宏块尺寸后，控制所述图像信号处理器传输所述宏块尺寸至所述摄像装置。

可选地，所述宏块尺寸通过所述视频编码器、摄像装置或外部输入设置。

可选地，所述第二传输单元适于在指示信号的作用下，将所述处理后的宏块数据逐个传输至所述视频编码器，所述指示信号用于区分不同帧的图像数据。

可选地，所述图像数据传输装置还包括：数据写入单元，适于将所述编码数据写入内存。

为了解决以上所述的技术问题，本发明实施例还提供一种终端，所述终端包括：摄像装置、图像信号处理器、视频编码器，所述摄像装置、图像信号处理器、视频编码器之间同步有设置的宏块尺寸；其中，所述摄像装置适于按照所述宏块尺寸对输出的图像数据进行划分，以得到多个宏块数据；所述摄像装置还适于按照第一次序，将所述多个宏块数据逐个传输至所述图像信号处理器，以供所述图像信号处理器基于所述宏块数据进行图像处理；所 述图像信号处理器适于将处理后的宏块数据逐个传输至所述视频编码器；所述视频编码器适于对所述处理后的宏块数据进行编码以得到编码数据。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

本发明实施例是一种在摄像装置与图像信号处理器之间基于宏块数据的图像数据传输方法，通过在摄像装置、图像信号处理器和视频编码器之间同步设置宏块尺寸，使得所述摄像装置按照所述宏块尺寸对输出的图像数据进行划分，以得到多个宏块数据，按照第一次序，将所述多个宏块数据逐个传输至所述图像信号处理器，以供所述图像信号处理器基于所述宏块数据进行图像处理，将所述图像信号处理器处理后的宏块数据逐个传输至所述视频编码器，以使所述视频编码器对所述处理后的宏块数据进行编码以得到编码数据。在本实施例中，由所述摄像装置输出的按照宏块尺寸(例如128byte×128byte)划分得到的宏块数据传输至所述图像信号处理器后，由所述图像信号处理器直接传输至所述视频编码器，而无需经由处理器外部的ddr，与现有技术相比，可以节约所述图像数据从所述图像信号处理器传输至ddr，再经由ddr传输至所述视频编码器的延迟，以此可以降低图像处理终端中处理器内部传输图像数据所消耗的延迟。

进一步而言，在将所述处理后的宏块数据传输至所述视频编码器之前，还可以对所述处理后的宏块数据存储于缓存器，其中，所述图像信号处理器和视频编码器集成在同一处理器内，所述缓存器集成在所述处理器内，本实施例在终端架构上可以仅采用小尺寸的缓存器作为图像信号处理器与视频编码器之间传输宏块数据的存储媒介，可以降低对存储器的存储成本以及功耗的要求。

进一步而言，所述宏块尺寸通过所述视频编码器、摄像装置或外部输入设置，其中，所述外部输入可以是所述处理器中的软件应用作为发起，具有较高的灵活性。

附图说明

图1是现有的一种图像处理终端的示意性结构框图；

图2是本发明实施例一种图像传输方法的流程图；

图3是本发明实施例另一种图像传输方法的流程图；

图4是本发明实施例一种终端的示意性结构框图；

图5是本发明实施例一种图像数据传输装置的示意性结构框图；

图6是本发明实施例另一种图像数据传输装置的示意性结构框图。

具体实施方式

如背景技术部分所述，现有技术的图像数据传输方法是在摄像装置和图像信号处理器之间基于帧数据进行传输的，这将会使得现有技术中的图像处理终端所采用的图像数据传输方法，面临着在处理器内所消耗的延迟较大，以及对存储器的存储成本以及功耗的要求较高的问题。

本申请发明人对现有技术进行了分析。在现有技术中，一般考虑到系统的功耗和成本，所述图像信号处理器和视频解码器之间的图像数据传输以及处理速度，一般会被设计为与摄像装置所输入的帧率相适配，即在帧率的倒数时间内完成对所述图像数据的相关处理。

继续参照图1，假设摄像装置输出的视频为30帧，则经过图像数据从所述图像信号处理器12传输至ddr13，再从ddr13传输至视频编码器14需要两倍的1/30s的固有延迟，即约为66ms。在不改变所述图像处理终端100架构的情况下，若需减少所述固定延迟，可以考虑提高处理器15的性能，例如，将所述图像信号处理器12与视频编码器14的处理能力提升到60帧，此时所述固有延迟可降低至33ms。然而，提高处理器15性能需要花费的成本和功耗代价较大。此外，在所述图像数据的传输中，对ddr的多次写入和读出操作，会增加系统的成本和功耗。根据以上分析可知，现有技术中的图像处理终端所采用的图像数据传输方法，面临着在处理器内所消耗的延迟较大，以及对存储器的存储成本以及功耗的要求较高的问题。

为了解决以上技术问题，本发明实施例提出一种图像传输方法，并调整图像处理终端的架构以降低图像处理终端内的图像数据传输引起的固有延迟，还可以进一步降低系统的成本与功耗。

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合 附图对本发明的具体实施例做详细的说明。

图2是本发明实施例一种图像传输方法的流程图。

如图2所示，本发明实施例图像传输方法可以包括依次执行的步骤s101至步骤s104。

步骤s101，在摄像装置、图像信号处理器和视频编码器之间同步设置宏块尺寸。

步骤s102，按照所述宏块尺寸对所述摄像装置输出的图像数据进行划分，以得到多个宏块数据。

步骤s103，按照第一次序，将所述多个宏块数据逐个传输至所述图像信号处理器，以供所述图像信号处理器基于所述宏块数据进行图像处理。

步骤s104，将所述图像信号处理器处理后的宏块数据逐个传输至所述视频编码器，以使所述视频编码器对所述处理后的宏块数据进行编码以得到编码数据。

其中，设置的宏块尺寸可以是预先设置的宏块尺寸，或者根据外部控制信号设置的宏块尺寸。

其中，所述第一次序包括：先沿行方向从左到右，再沿列方向从上到下；或者，先沿列方向从上到下，再沿行方向从左到右。

在本实施例中，由所述摄像装置输出的按照宏块尺寸(例如128byte×128byte)划分得到的宏块数据传输至所述图像信号处理器，而不是基于帧数据进行传输，传输完成后，由所述图像信号处理器直接传输至所述视频编码器，而无需经由处理器外部的ddr，与现有技术相比，可以节约所述图像数据从所述图像信号处理器传输至ddr，再经由ddr传输至所述视频编码器的延迟，以此可以降低图像处理终端中处理器内部传输图像数据所消耗的延迟。

如果以分辨率为4k×2k，图像大小为30帧的视频文件，以h.265编码标识进行编码为例，由于h.265最大支持128byte×128byte的宏块，此处即假设摄像装置按照h.265编码标准所允许的最大尺寸进行编码。此处需要说明 的是，本实施例还可以按照小于128byte×128byte的宏块尺寸对图像数据进行划分，其中，所述宏块尺寸可以包括宏块高度和宏块宽度两个维度，本实施例不进行特殊限制。此时，一帧视频的图像数据将被划分为512(4096×2096/128/128)个宏块。图像处理器和视频编码器处理每个宏块数据的时间也约等于现有技术中的一帧图像数据的1/512，相比于现有技术，所述固有延迟约等于66ms/512＝0.13ms，因此，所述固有延迟被大大地降低。

图3是本发明实施例另一种图像传输方法的流程图。

结合图2和图3所示，本实施例在步骤s104的在所述处理后的宏块数据传输至所述视频编码器之前，还可以包括步骤s105，将所述处理后的宏块数据存储于缓存器。

其中，所述图像信号处理器和视频编码器可以集成在同一处理器内，所述缓存器可以集成在所述处理器内，所述缓存器可以为静态随机存取存储器(staticrandomaccessmemory，sram)。

在具体实施中，所述步骤s101，所述摄像装置、图像信号处理器和视频编码器之间同步设置宏块尺寸可以包括步骤s1011和步骤s1012。

步骤s1011，所述视频编码器将所述宏块尺寸传输至所述图像信号处理器。

步骤s1012，在接收所述宏块尺寸后，所述图像信号处理器传输所述宏块尺寸至所述摄像装置。

本实施例还可以直接由所述视频编码器直接将所述宏块尺寸同步于所述摄像装置，只要能够完成所述摄像装置、图像信号处理器和视频编码器之间对所述宏块尺寸的同步，本实施例不限制具体的传输方式。

在具体实施中，所述宏块尺寸通过所述视频编码器、摄像装置或外部输入设置。所以外部输入可以是集成了所述图像信号处理器和视频编码器的处理器中的应用软件发起进行设置，具有较高的灵活性。

所述步骤s104，将所述图像信号处理器处理后的宏块数据逐个传输至所述视频编码器可以包括：步骤s1041，在指示信号的作用下，将所述处理后的宏块数据逐个传输至所述视频编码器，所述指示信号用于区分不同帧的图像 数据。

本实施例还可以包括步骤s106，将所述编码数据写入内存，并通知其他系统进行后续处理，如将编码后的数据写入文件系统或者发起网络传输等。

进一步而言，在将所述处理后的宏块数据传输至所述视频编码器之前，还可以对所述处理后的宏块数据存储于缓存器，其中，所述图像信号处理器和视频编码器集成在同一处理器内，所述缓存器集成在所述处理器内，本实施例在终端架构上可以仅采用小尺寸的缓存器作为图像信号处理器与视频编码器之间传输宏块数据的存储媒介，可以降低对存储器的存储成本以及功耗的要求。具体地，由于本实施例的图像传输方法可以节约了一次图像数据对ddr的读操作和一次对ddr的写操作。此时所述数字图像处理系统对ddr的读带宽占用大小可以计算为：帧分辨率×帧率×单像素尺寸＝4k×2k×60fps×2＝960mbps。若假设ddr的有效带宽为理论带宽的60％，那么，实际需要的ddr的读带宽达到960mbps除以0.6，等于1600mbps；经计算，单位mhz下理论的ddr带宽等于8byte，则要求ddr的主频提升200mhz。因此，同时可以节约了960mhz的ddr访问带宽。

本发明实施例还公开一种终端，参照图4的本发明实施例一种终端的示意性结构框图所示，所述终端200可以包括：摄像装置21、图像信号处理器22、视频编码器23。

所述摄像装置21、图像信号处理器22、视频编码器23之间同步有设置的宏块尺寸。

其中，所述摄像装置21适于按照所述宏块尺寸对输出的图像数据进行划分，以得到多个宏块数据。

所述摄像装置21还适于按照第一次序，将所述多个宏块数据逐个传输至所述图像信号处理器22，以供所述图像信号处理器22基于所述宏块数据进行图像处理。

所述图像信号处理器22适于将处理后的宏块数据逐个传输至所述视频编码器23。

所述视频编码器23适于对所述处理后的宏块数据进行编码以得到编码数 据。

图5是本发明实施例一种图像数据传输装置的示意性结构框图。

结合图4和图5，所述图像数据传输装置300可以包括同步单元31、划分单元32、第一传输单元33和第二传输单元34。

其中，所述同步单元31适于在摄像装置21、图像信号处理器22和视频编码器23之间同步设置宏块尺寸。

所述划分单元32适于按照所述宏块尺寸对所述摄像装置21输出的图像数据进行划分，以得到多个宏块数据。

所述第一传输单元33适于按照第一次序，将所述多个宏块数据逐个传输至所述图像信号处理器22，以供所述图像信号处理器22基于所述宏块数据进行图像处理。

所述第二传输单元34适于将所述图像信号处理器22处理后的宏块数据逐个传输至所述视频编码器23，以使所述视频编码器23对所述处理后的宏块数据进行编码以得到编码数据。

图6是本发明实施例另一种图像数据传输装置的示意性结构框图。

如图6所示，在具体实施中，所述第二传输单元34在将所述处理后的宏块数据传输至所述视频编码器之前，还适于将所述处理后的宏块数据存储于缓存器24。

在具体实施中，所述图像信号处理器22和视频编码器23可以集成在同一处理器25内，所述缓存器24可以集成在所述处理器25内。

在本发明实施例中，所述同步单元31可以包括第一传输子单元311和第二传输子单元312。

其中，所述第一传输子单元311适于控制所述视频编码器23将所述宏块尺寸传输至所述图像信号处理器22。

所述第二传输子单元312适于在接收所述宏块尺寸后，控制所述图像信号处理器22传输所述宏块尺寸至所述摄像装置21。

在具体实施中，所述宏块尺寸可以通过所述视频编码器23、摄像装置21或外部输入设置。

在具体实施中，所述第二传输单元34适于在指示信号的作用下，将所述处理后的宏块数据逐个传输至所述视频编码器23，所述指示信号用于区分不同帧的图像数据。

本发明实施例还可以包括数据写入单元35，适于将所述编码数据写入内存(图未示)。

所述终端200和所述图像传输装置300的更多信息请参考以上实施例中对所述图像传输方法的相关描述，此处不再赘述。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：rom、ram、磁盘或光盘等。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。