显示延迟增强的方法及便携式装置与流程

【相关申请的交叉引用】

本发明主张申请于2015年11月2日，序列号为no.62/249，654的美国临时专利申请的优先权，将此美国临时专利申请以参考的方式并入本文中。

【技术领域】

本发明是关于图像处理技术，特别地，是关于显示延迟增强的方法及便携式装置。

背景技术：

由于技术的进步，目前的便携式装置体积更小且功能更强大。用户通常使用便携式装置来捕获图像或录制视频。然而，便携式装置中的系统资源是非常有限的。由于深度信息计算的高复杂性，构建具有深度信息的预览图像或视频图像是非常耗时的。于现有的便携式装置中，即使已经将计算量分布到多个图像处理管线中，图像捕获的开始以及第一预览图像的显示之间也可能存在明显的延迟。因此，本领域需要一种便携式装置及其关联方法来减少现有的便携式装置所见的显示延迟。

技术实现要素：

为了解决上述问题，本发明提出了一种显示延迟增强的方法及便携式装置。

根据本发明的第一方面，提供一种便携式装置，包括：双摄像头装置，用于持续地捕获一系列帧对；视频编码器；显示单元；以及处理器，用于获取与所述帧对的一个或多个先前帧对相关联的第一深度图，并基于所述帧对中的当前帧对以及与所述一个或多个先前帧对相关联的第一深度图来产生第一输出图像，且将所述第一输出图像发送到所述显示单元，其中，所述处理器进一步获取与所述帧对的所述当前帧对相关联的第二深度图，并基于所述帧对中的所述当前帧对以及与所述当前帧对相关联的所述第二深度图来产生第二输出图像，且将所述第二输出图像发送到所述视频编码器。

根据本发明的第二方面，提供一种便携式装置，包括：双摄像头装置，用于持续地捕获一系列帧对；视频编码器；显示单元；以及处理器，用于获取与所述帧对的先前帧对相关联的深度图，基于所述帧对的当前帧对以及与所述先前帧对相关联的所述深度图产生第一输出图像，且基于所述先前帧对以及与所述先前帧对相关联的所述深度图产生第二输出图像，其中，所述处理器分别将所述第一输出图像以及所述第二输出图像发送至所述显示单元以及所述视频编码器。

根据本发明的第三方面，提供一种显示延迟增强的方法，用于运行于便携式装置的深度应用中，所述便携式装置包括：双摄像头装置、视频编码器、以及显示单元，所述方法包括：使用所述双摄像头装置持续地捕获一系列帧对；获取与所述帧对的一个或多个先前帧对相关联的第一深度图；基于所述帧对中的当前帧对以及与所述一个或多个先前帧对相关联的所述第一深度图产生第一输出图像；将所述第一输出图像发送到所述显示单元；获取与所述帧对中的所述当前帧对相关联的第二深度图，并基于所述帧对中的所述当前帧对以及与所述当前帧对相关联的所述第二深度图产生第二输出图像；以及将所述第二输出图像发送到所述视频编码器。

根据本发明的第四方面，提供一种显示延迟增强的方法，用于运行于便携式装置的深度应用中，所述便携式装置包括：双摄像头装置、视频编码器、以及显示单元，所述方法包括：使用所述双摄像头装置持续地捕获一系列帧对；获取与所述帧对的先前帧对相关联的深度图；基于所述帧对的当前帧对以及与所述先前帧对相关联的所述深度图产生第一输出图像；基于所述先前帧对以及与所述先前帧对相关联的所述深度图产生第二输出图像；以及将所述第一输出图像以及所述第二输出图像分别发送至所述显示单元以及所述视频编码器。

本发明提供的显示延迟增强的方法及便携式装置，能够减少图像预览路径的显示延迟，并以高质量保持视频录制路径的图像质量。

【附图说明】

图1所示为根据本发明实施例的便携式装置的示意图；

图2所示为现有便携式装置中用于两个输出路径的帧延迟的示意图；

图3所示为根据本发明第一实施例的于便携式装置中用于两个输出路径的帧延迟的示意图；

图4所示为根据本发明第二实施例的于便携式装置中用于两个输出路径的帧延迟的示意图；

图5a所示为根据本发明实施例的运行于便携式装置的深度应用中显示延迟增强的方法流程图；

图5b所示为根据本发明另一实施例的运行于便携式装置的深度应用中显示延迟增强的方法流程图；以及

图6a至图6i所示为根据本发明实施例的深度图融合(depthmapfusion)处理的信息流的示意图。

【具体实施方式】

下面的描述是实施本发明的较佳预期模式。这种描述是为了说明本发明的一般原理的目的，而不应被理解成具有限制性的意义。但是应当理解，实施例可以利用软件、硬件、固件、或其任何组合来实现。

图1为根据本发明实施例的便携式装置的示意图。在一实施例中，便携式装置100包括：双摄像头装置110、处理单元120、存储器单元130、视频编码器140、以及显示单元150。例如，便携式装置100可能是智能电话、平板电脑、或具有相关功能的任何其它电子装置。双摄像头装置110包括第一图像捕获装置111以及第二图像捕获装置112，其可能是分别用于捕获左眼图像以及右眼图像(即：帧对(framepair))的左眼摄像头以及右眼摄像头。处理单元120可包含一个或多个处理器、数字信号处理器、或图像信号处理器，且处理单元120用于计算与一系列帧对的一个或多个先前帧对(previousframepair)相关联的第一深度图，其中，一系列帧对是由双摄像头装置110持续捕获的。双摄像头装置110对一系列帧对的连续捕获可被认为是由双摄像头装置110周期性地以及重复性地捕获场景的帧。处理单元120进一步基于帧对中的当前帧对以及第一深度图来产生第一输出图像，且将第一输出图像发送到显示单元150以用于图像预览。在一实施例中，处理单元120进一步获得与帧对中的当前帧对相关联的第二深度图，并基于当前帧对以及第二深度图产生第二输出图像，且将第二输出图像发送到视频编码器140以用于后续视频编码处理。存储器单元130可为易失性存储器(例如：动态随机存取存储器)，且用于储存由双摄像头装置110捕获的帧对。与捕获的帧对相关联的深度图像以及第一输出图像以及第二输出图像也储存于存储器单元130。更具体地，当产生第一输出图像时，处理单元120参考与先前帧对相关联的第一深度图将用于图像处理的算法应用到当前帧对。此外，当产生第二输出图像时，处理单元120参考与当前帧对相关联的第二深度图将用于图像处理的算法应用到当前帧对。上述用于图像处理的算法可以是散景(bokeh)效果算法(例如：强调二维图像的深度信息)。用于图像处理的散景效果算法是本领域的普通技术人员公知的，因此，在此不再详述。

储存在存储器单元130中的输出图像有两个输出路径。第一输出路径为图像预览路径，且第二输出路径为视频录制路径。在第一输出路径中，第一输出图像被直接发送到显示单元150以用于图像预览。在第二输出路径中，第二输出图像被发送到视频编码器140，且视频编码器140对第二输出图像执行视频编码。当显示预览图像时，为了减少延迟，与先前帧对相关联的第一深度图被参考以用于第一输出图像。另一方面，为了增强已录制的图像数据的图像处理效果以及质量，与当前帧对相关联的第二深度图被参考以用于第二输出图像。视频编码器140可以是集成电路或用于执行实时视频压缩的片上系统(system-on-chip，soc)。

图2所示为现有便携式装置中用于两个输出路径的帧延迟的示意图。如图2所示，每个方框所显示的数字代表图像的顺序或序列。于不同阶段具有相同数字的方框(例如：摄像头输出、深度图、散景图像、预览图像、录制图像)表示于每个阶段相同的图像随着时间移动。在现有的便携式装置中，计算用于帧对的深度图需要3个帧的延迟。例如，与图像201相关联的深度图211是在图像204被捕获时产生。当将散景效果算法应用到图像201时，使用图像201以及其关联的深度图211，且将散景效果算法应用到图像201需要1个帧延迟。因此，应用了散景效果的输出图像221于图像205被捕获时才产生，且因此，当图像206被捕获时，输出图像221可被输出到图像预览路径以及视频录制路径。

本领域的普通技术人员将理解，在最初捕获图像201以及用于预览和录制的输出图像之间存在5个帧的延迟。应该注意到，现有便携式装置的两个输出路径共享相同的输出图像。例如，应用了散景效果算法的输出图像221产生于时间t+4，且输出图像221被发送到图像预览路径以及视频录制路径。

图3所示为根据本发明第一实施例的于便携式装置中用于两个输出路径的帧延迟的示意图。如图3所示，每个方框所显示的数字代表图像的顺序或序列。于不同阶段具有相同数字的方框(例如：摄像头输出、深度图、散景图像、预览图像、录制图像)表示于每个阶段相同的图像随着时间移动。与图2类似，计算用于帧对的深度图需要3个帧的延迟，计算用于帧对的散景图像需要1个帧的延迟。在本实施例中，于时间t的散景图像使用于时间t-3的深度图。例如，来自帧对301(于时间t1)的深度图像311在时间t4是可用的，且来自帧对304的散景图像324是于时间t5被获取。

然而，来自前三个帧对301、302、以及303的深度图分别于时间t4、t5、以及t6之前是不可用的。作为替代，空的深度图被用于表示边界情况中前三个帧对301、302、以及303缺失的深度图，且因此，散景图像321、322、以及323可分别于时间t2、t3、以及t4获取。因此，第一个预览图像331可于时间t3被输出到显示单元150。类似地，预览图像332以及333可分别于时间t4以及t5被输出到显示单元150。应该注意到，由于深度图的缺失，前三个预览图像331、332、以及333不具有深度信息以及散景效果。然而，第一预览图像331可以比图2所示的现有技术提前3个帧获得。假设双摄像头装置110以30图像/秒的帧率捕获图像，其仅需要0.1秒就能显示前三个预览图像。

在本实施例中，来自第一帧对301的深度图311于时间t4被获取。然而，散景图像324是于时间t5使用深度图311以及帧对304来计算。类似地，散景图像325是使用深度图312以及帧对305来计算。具体地，于图像预览路径中将被渲染于显示单元150的散景图像是使用当前帧以及最近的帧对(latestframe)的深度图来计算，其中，最近的帧对是指先前帧对中最靠近当前帧的帧对。在一些实施例中，于图像预览路径中的将被渲染于显示单元150散景图像是使用当前帧以及所选择的先前帧对的深度图来计算。

应该注意到，视频质量在视频录制路径中非常重要，因此，用于视频录制路径的输出散景图像总是使用相同时间点的具有深度图的帧对。因此，首先输出到视频录制路径的散景图像341是于时间t5使用第一帧对301以及深度图311来计算，以确保视频质量，且散景图像341于时间t6被发送到视频编码器140以用于后续视频编码处理。本领域的普通技术人员将理解，第一输出散景图像351以及第一帧对301之间具有5个帧的延迟。

图4所示为根据本发明另一实施例的于便携式装置中用于两个输出路径的帧延迟的示意图。图4所示为两个输出路径的帧延迟的一般情况，且延迟可以由特定参数来表示。例如，假设于时间t接收到帧对，来自相同帧对的深度图像于时间t+n被获取，其中，n是指获取深度图的帧延迟。用于时间t的帧对的散景图像1是使用时间t的帧对以及时间t-d的深度图像来计算，其中，d是指当前帧以及将被使用的深度图之间的帧延迟，且d小于或等于n。应该注意到，即使用于帧对的深度图是不可用的，散景图像1仍然可被计算。如图3的实施例中所描述的，空的深度图被用于边界情况中的散景图像411、412、以及413。其最少需要1个帧的延迟以产生用于帧对的散景图像，其也需要另一个1个帧的延迟来将所产生的散景图像发送到图像预览路径。因此，于帧对以及其相关预览图像之间的帧延迟为n+2-d。为了说明的目的，在本实施例中，n以及d被设置为3。

关于视频录制路径，类似于图3中的实施例，用于视频录制路径的输出散景图像的计算总是使用帧对以及来自相同时间点的深度图(即，因为与当前帧对相关联的深度图还未产生，因此使用先前帧对以及与先前帧对相关联的深度图)，基于此，相关细节将在此处省略。

图5a所示为根据本发明实施例的运行于便携式装置的深度应用中显示延迟增强的方法流程图。于步骤s510中，双摄像头装置(例如：双摄像头装置110)持续地捕获一系列帧对。当前帧对被发送到两个不同路径，例如：图像预览路径以及视频录制路径以用于后续处理。当进入图像预览路径(箭头512)时，参考与先前帧对相关联的第一深度图将散景效果算法应用到当前帧对(步骤s520)。例如，先前帧对比当前帧对早d个帧被捕获，其中，d为正整数。应该注意到，前述第一深度图为步骤s560中所描述的精制深度图(refineddepthmap)。于步骤s530中，于显示单元(例如：显示单元150)渲染用于图像预览路径的散景图像(即：第一输出图像)。

当进入视频录制路径(箭头514)，对每个帧对执行特征提取(featureextraction)以及匹配处理(步骤s540)。例如，从每个帧对提取图像特征(例如：边缘、角、兴趣点(interestpoint)、兴趣区域(regionsofinterest)、脊(ridge)等)，且执行特征匹配以比较每个帧对中的对应部分。于步骤s550，产生与每个帧对相关联的相应粗略深度图(coarsedepthmap)。例如，当找到帧对之间的对应点，可以从它们的视差恢复帧对的深度信息。于步骤s560，使用特定精制滤波来进一步精制每个帧对的相应粗略深度图以获取与每个帧对相关联的相应深度图。本领域的普通技术人员将理解，多种技术可被用于精制深度图，且具体细节将于此处省略。于步骤s570，于与当前帧对相关联的深度图可用后，参考与当前帧对相关联的深度图，通过将散景效果算法应用到当前帧对来计算散景图像。于步骤s580，将用于视频录制路径的散景图像(即，第二输出图像)发送到视频编码器(例如：视频编码器140)以用于后续视频编码处理。

于具体实践中，帧对以及其深度图被储存并排序于存储器单元130中，且所储存的帧对以及深度图的数量取决于图4中所描述的d以及n的值。当用于视频录制路径的在时间t的与特定帧对相关联的输出散景图像被发送到视频编码器140时，因为用于视频录制路径的散景图像的计算总是晚于用于图像预览路径的散景图像，特定图像可从存储器单元130中被丢弃。此外，当用于图像预览路径的在时间t的与特定图像相关联的输出散景图像被发送到显示单元150时，于时间t-d的与帧对相关联的深度图可从存储器单元130中被丢弃。

图5b所示为根据本发明另一实施例的运行于便携式装置的深度应用中显示延迟增强的方法流程图。在图5b的实施例中，在显示延迟增强的方法中应用了深度图融合技术。图5b中用于视频录制路径的步骤类似于图5a中的步骤，其具体细节在此处省略。关于图5b中的图像预览路径，于步骤s516中，对先前帧对的深度图执行深度图融合处理以获取融合后的深度图。例如，深度图融合处理是用于消除由帧中往复运动(reciprocatingmotion)产生的伪影(artifact)。往复运动是重复的上下或前后的线性运动，关于深度图融合处理的细节将于后续做详细描述。于步骤s522中，使用当前帧对(例如：时间t)以及融合后的深度图计算用于图像预览路径的散景图像。于步骤s530中，于显示单元(例如：显示单元150)渲染用于图像预览路径的散景图像。

图6a至图6i所示为根据本发明实施例的深度图融合处理的信息流的示意图。图6a、图6b、图6c分别显示了帧601、帧602、以及帧603。图6d、图6e、图6f分别显示了帧601、帧602、以及帧603中每个块的运动向量图。图6g、图6h、图6i分别显示了帧601、帧602、以及帧603中每个块的深度图。用于说明性的目的，图6a、图6b、图6c所示的每个帧表示一个帧对。例如，于帧601、帧602、以及帧603中，用户650的胳膊651具有往复运动。如图6d、图6e、图6f所示，与帧601、602以及603相关联的右下块621、631、以及641的运动向量指向右上、右下、以及右上。此外，帧601、602以及603的其他块几乎是静止的。假设帧603是将被渲染以用于图像预览的当前帧，处理单元120可计算当前帧(即帧603)中每个块以及先前帧(即帧601以及602)中对应同位块的运动差值。例如，图6d、图6e、图6f所示的运动向量可用于计算运动差值。应该注意到，于当前帧对是帧603时，帧601以及帧602的深度图是可用的。具体地，与帧601相关联的深度图650’中有4个块651’、652’、653’以及654’，与帧602相关联的深度图660中也有4个块661、662、663、以及664，且与帧603相关联的深度图670中也有4个块671、672、673、以及674。例如，块651’以及661是块671的同位块。本领域的普通技术人员将理解其它块672、673、以及674的同位块，且具体细节将于此处省略。

在一实施例中，处理器120可计算运动向量641与先前帧中运动向量块中的每个运动向量之间的运动差值。例如，计算运动向量641与运动向量631之间的运动差值，也计算运动向量641与运动向量621之间的运动差值。应该注意到，帧602以及帧603之间可能会存在多个帧。处理器120可计算当前帧中每个运动向量块与先前帧中对应的同位运动向量块之间的运动差值，且确定具有最小运动差值的运动向量块。如果具有最小运动差值的运动向量块多于一个，则选择最接近当前帧的运动向量块。

例如，运动向量块641以及运动向量块621中的运动向量可能具有最小运动差值，且因此，深度图670中的块671将由块651’的内容来填充。此外，运动向量块642与运动向量块632之间的运动差值，以及运动向量块642与运动向量块622的运动差值可能非常小。换句话说，具有最小运动差值的运动向量块多于一个。接着，处理单元120可选择深度图660中的块662作为将填充到深度图670中的块672的块。类似地，块663以及块664分别被选择作为将填充到深度图670中块673以及块674的块。因此，深度图融合处理被执行，且产生了融合后的深度图670。

鉴于此，本发明提供了运行于便携式装置的深度应用中的显示延迟增强的方法及其便携式装置。便携式装置可向用于图像预览的显示单元以及用于编码的视频编码器产生第一输出图像以及第二输出图像，且显示单元上第一输出图像的显示早于由视频编码器对第二输出图像的编码。因为用户对预览图像较不敏感，当图像预览开始时，便携式装置不使用深度信息就可产生多个第一输出图像。同时，视频编码器总是使用当前帧以及其相应深度图以用于视频编码，以确保已编码视频文件的视频质量。具体地，运行于便携式装置的深度应用中显示延迟增强的方法及便携式装置能够减少图像预览路径的显示延迟，而不会牺牲太多的图像质量。同时，可以以高质量保持视频录制路径的图像质量。

本发明虽以较佳实施例揭露如上，然其并非用以限定本发明的范围，任何本领域技术人员，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围当视权利要求所界定者为准。