图像处理装置及程序的制作方法

本发明涉及图像处理装置及程序。

背景技术：

近年来，“天球运动图像”引起关注。通过将空间整体能够以运动图像保存，与以往的运动图像相比，能够得到更大的带入感及临场感。由于用于容易地进行天球运动图像的录像及再现的设备及有关天球运动图像的服务的出现、有关虚拟现实的市场的扩大，天球运动图像变得越来越重要。

另一方面，在天球运动图像的运动图像中，与通常的运动图像相比，被要求微速摄影(hyperlapse)化和稳定化的情形较多。微速摄影化是指将拍摄的运动图像在时间上进行采样，使得成为更短时间的运动图像。在运动图像本身较长而本来的长度下的阅览较困难的情况、或将运动图像上载到网络上的服务中等情况下，当需要将运动图像的长度缩减到规定时间内的情况下，产生微速摄影化的要求。

此外，稳定化是指进行由拍摄带来的抖动等的修正。该要求是从以往就有的课题，但在天球运动图像中，如上述那样带入感较高，所以如果在此发生较大的抖动，则有视听者感到晕的情况，所以与以往的运动图像相比更强烈地要求稳定化。

现有技术文献

非专利文献

非专利文献1：joshi，neelet.al.，real－timehyperlapsecreationviaoptimalframeselection，acmtransactionsongraphics34(4)，pp.63，august2015

技术实现要素：

发明要解决的课题

关于以往的运动图像(不是天球运动图像的运动图像)，作为与这些微速摄影化和稳定化的2个问题对应的以往技术，有非专利文献1中公开的技术。在该非专利文献1所公开的方法中，当进行稳定化时，基于帧间的单应性(homography)变换等求出帧间的成本(cost)，去除被评价为不适当的帧。进而，对于所选择的帧，执行将共通部分裁剪的处理。

但是，不能将上述以往的技术应用于天球运动图像等广角运动图像(这里，广角例如是指对角线视场角超过标准镜头的46度的图像等、拍摄比平均的人眼视野范围大的范围而得到的图像)。首先，是因为帧间的单应性变换是平面图像间的变换，此外，在帧选择后将一部分裁剪是不会成为天球运动图像等广角运动图像的。

这样，在以往的技术中，有不能应对关于天球运动图像等广角运动图像的微速摄影化的要求和稳定化的要求的问题。

本发明是鉴于上述情况而做出的，其目的之一是提供一种能够应对关于天球运动图像等广角运动图像的微速摄影化的要求和稳定化的要求的图像处理装置及程序。

解决课题所采用的手段

解决上述以往例的问题的本发明是一种图像处理装置，接收一边移动相机一边拍摄的运动图像数据并进行处理，包括：移动轨跡推测单元，推测上述相机的移动轨跡；选择单元，在推测出的相机移动轨跡上的点中，选择满足规定的条件的多个点；提取单元，从接收到的上述运动图像数据中，提取在所选择的上述多个点处摄像的图像数据；生成单元，生成基于所提取的上述图像数据进行重构的运动图像数据；以及输出单元，输出所生成的重构的运动图像数据。

发明效果

能够应对关于天球运动图像等广角运动图像的微速摄影化的要求和稳定化的要求。

附图说明

图1是表示有关本发明的实施方式的图像处理装置的结构例的框图。

图2是表示有关本发明的实施方式的图像处理装置的例子的功能框图。

图3是表示有关本发明的实施方式的图像处理装置当作处理对象的运动图像数据的拍摄路径的概要例的说明图。

图4是表示有关本发明的实施方式的图像处理装置的动作例的流程图。

图5是表示有关本发明的实施方式的图像处理装置的评价值的例子的说明图。

具体实施方式

[实施方式的概要]

参照附图对本发明的实施方式进行说明。首先，对本实施方式的概要进行叙述。与通常的图像不同，在天球图像(360度图像)中，基于相机的旋转的拍摄范围不变化。因此，如果将相机的抖动分为位置抖动和旋转抖动，则关于旋转抖动，只要给出其旋转量就能够进行完全的复原。在通常的运动图像(不是天球运动图像的运动图像，以下称作非天球运动图像)中，哪种抖动都不能复原，所以求出其抖动的大小作为成本。但是认为，在天球运动图像中，应仅将位置抖动作为相机移位的成本。

在给出了天球运动图像和希望的采样率时，在某种程度上遵守该采样率的同时输出稳定化的天球运动图像的方法如以下这样。

在天球运动图像所包含的多个帧(天球图像)中，当设从第i个帧向第j个帧的转移成本为v，在第i个帧之前被选择的帧是第h个时，其成本可以用下式表示。

[数式1]

c(h，i，j，v)＝cm(i，j)+λscs(i，j，v)+λaca(h，i，j)(1)

这里，cm是由相机的移位带来的成本，cs是对于违反给出的速度倍率的成本，ca是对于速度变化的成本。λs、λa分别是给出成本的权重的系数。cs、ca由于没有由运动图像的形态带来的影响，所以使用与以往的方法同样的定义。另一方面，对cm而言，以往基于帧间的单应性变换来计算中心的移动量，将其大小作为成本，但在本实施方式中，采用使用三维相机位置的移位成本。具体而言，如下规定该移位成本。

[数式2]

这里，矢量xk表示拍摄第k个帧时的相机的三维位置坐标，矢量x′k表示希望的相机的位置(适当的相机位置)的三维位置坐标。||x||2表示x的欧几里得范数。

关于适当的相机位置，通过对实际的相机位置应用高斯平滑化(gaussiansmoothing)等的方法来计算。由(2)式求出的cm表示相机向与理想的方向正交的方向的移动量，是表现相机的位置抖动的成本。

接着，基于所定义的帧间成本，使用动态计划法等规定的方法，选择使合计成本最小的帧路径(拍摄时的相机的移动轨跡)。由此选择维持与给出的值接近的采样率、并且相机位置平滑的帧。

该帧的选择被要求使位置抖动变小，但没有考虑拍摄时的相机的旋转状况。所以，在本实施方式中，作为后处理而进行关于天球运动图像的周知的旋转除去处理。在该旋转除去处理中，例如有在pathak，sarthak，et.al.，adecoupledvirtualcamerausingsphericalopticalflow，imageprocessing(ipcp)，2016ieeeinternationalconferenceonpp.4488－4492(september2016)中公开的处理。在该方法中，通过使天球运动图像的光流的矩(moment)最小化，使帧间的旋转变小。这样，在本实施方式中，通过将后处理从裁剪变更为旋转除去，能够应用于天球运动图像。

[结构]

有关本发明的实施方式的图像处理装置1如在图1中例示，包括控制部11、存储部12和输入输出部13而构成。这里，控制部11是cpu等程序控制设备，在本实施方式中，执行保存在存储部12中的程序。本实施方式的控制部11接收一边移动相机一边拍摄的运动图像数据，推测该相机的移动轨跡，在该推测出的相机移动轨跡上的点中，选择满足规定的条件的多个点。控制部11从接收到的运动图像数据中，提取在所选择的多个点处摄像的图像数据，生成基于提取出的图像数据进行重构的运动图像数据。并且，控制部11输出该生成的重构的运动图像数据。关于该控制部11的详细的处理内容在后面叙述。

存储部12是存储设备等，保存有由控制部11执行的程序。该程序也可以被保存在计算机可读且非暂时性的存储介质中而被提供、并被保存在该存储部12中。此外，该存储部12也作为控制部11的工作存储器而动作。输入输出部13例如是串行接口等，从相机等接收作为处理对象的天球运动图像数据，作为处理对象保存到存储部12中，并提供给控制部11的处理。

接着对本实施方式的控制部11的动作进行说明。本实施方式的控制部11在功能上，如在图2中例示，包括移动轨跡推测部21、选择处理部22、提取处理部23、生成部24和输出部25而构成。本实施方式的控制部11当作处理对象的运动图像数据例如是由理光(ricoh)公司的被称作theta(注册商标)的相机拍摄的天球运动图像的运动图像数据。

移动轨跡推测部21推测拍摄作为处理对象的天球运动图像时的相机的移动轨跡。移动轨跡推测部21将天球运动图像向以相机的位置为中心的六面体的投影面的内表面投影，使用被投影到该六面体的内表面中的与相机的移动方向对应的面(后述)上的平面图像，例如通过orb－slam(mur－artal，raul，j.m.m.montiel，andjuand.tardos.orb－slam：aversatileandaccuratemonocularslamsystem，ieeetransactionsonrobotics31.5(2015)：1147－1163)的处理，求出表示相机的移动轨跡的推测结果的各个帧的相机的位置坐标(三维的位置坐标)及相机的姿势(表示从相机的位置朝向视场角的中心方向的朝向的矢量)。移动轨跡推测部21将这里求出的表示相机的姿势的信息向生成部24输出。

例如在天球运动图像由包括配设在相机壳体的表背面上的一对摄像元件的相机拍摄的情况下，该三维的位置坐标可以作为以下这样的xyz正交坐标系的三维空间的坐标的值来记述：以拍摄开始时间点的相机的位置为原点，假设拍摄开始时间点的摄像元件的中心方向是相机的行进方向，将该行进方向设为z轴，在以该z轴为法线的面内(采用orb－slam的投影面即六面体的一个面)中将平行于地面的方向设为x轴，将与这些x、z轴分别正交的方向设为y轴。另外，相机的移动轨跡上的各点的坐标值也可以通过与上述的orb－slam方法以外的方法来推测。

选择处理部22使用移动轨跡推测部21输出的每个帧的相机的位置坐标的信息，在该推测出的相机移动轨跡上的点之中，选择满足规定的条件的多个点。以下，设第i个帧(以下将该i称作帧号)被拍摄的时间点的相机的位置坐标为xi(这里的x是矢量值)，矢量x′k表示适当的相机的三维位置坐标。

在本实施方式的一例中，该选择处理部22基于与各帧被摄像的点的位置(摄像时的相机的位置坐标xi(i＝1，2，3…))的信息有关的条件、和与该点处的拍摄时刻的信息有关的条件来选择帧。

具体而言，选择处理部22基于各帧被拍摄的时间点的相机的位置坐标xi(i＝1，2，3…)，求出第k个帧(k＝1，2，3…)的适当的相机的三维位置坐标x′k。

作为一例，选择处理部22通过对位置坐标xi(i＝1，2，3…)的值(数据序列)应用高斯平滑化等平滑化处理等的方法，计算适当的相机的三维位置坐标x′k。这里，作为平滑化的方法，除了高斯平滑化以外，还可以采用求移动平均等的广泛周知的方法。

选择处理部22从使用者接收所指定的速度倍率v的输入，使用该速度倍率v，如以下这样运算从第i个帧向第j个帧的转移成本。即，当设在第i个帧之前被选择的帧是第h个帧时，选择处理部22通过(1)式运算从第i个帧向第j个帧的转移成本。

在该(1)式中，cm是移位成本，由(2)式表示。cs是速度成本，由(3)式表示。

[数式3]

这里，i、j是帧号，v是速度倍率，τs是速度成本的最大值，假设为预先设定的，min(a，b)表示取a、b的某个较小的值(以下同样)。

ca是加速度成本，由(4)式表示。

[数式4]

这里也是i、j、h是帧号，τa是加速度成本的最大值，预先设定。这里的速度成本及加速度成本相当于与各帧的拍摄时刻的信息有关的条件(相对于基于被指定的速度倍率本来应提取的帧号的差等)。

选择处理部22使用这里求出的从第i个帧向第j个帧的转移成本的列，选择要提取的帧。具体而言，当从一系列的帧p中某个帧被选择为应提取的帧时，设从该选择的帧起n个后的帧(n＝1，2，…，n)的作为处理对象的运动图像数据整体的帧号为t时，将其表述为p(n)＝t，在成为处理对象的运动图像数据中，被指定的速度倍率为v时的成本的总和表示为

[数式5]

所以，选择处理部22使用该(5)式，求出

[数式6]

pv＝argminpφ(p，v)(6)

这样的帧序列。该基于成本的帧选择的方法与非专利文献1中的方法同样，能够使用动态计划法来进行，所以省略这里的详细的说明。

提取处理部23从作为处理对象的运动图像数据提取由选择处理部22选择的帧。即，该提取处理部23从接收到的运动图像数据中，提取由选择处理部22选择的、在与理想的位置近且不太违反速度倍率的制约的多个点处被摄像的帧的图像数据。

生成部24将提取处理部23提取的图像数据以提取顺序(作为处理对象的运动图像数据内的帧号从小到大的顺序)排列(重构)，生成延时摄影运动图像数据。此外，该生成部24也可以针对由提取处理部23提取的各个图像数据，推测拍摄该图像数据时的相机的姿势，基于该推测出的姿势的信息，对图像数据进行修正，使用该修正后的图像数据，生成重构的运动图像数据。

具体而言，该生成部24从移动轨跡推测部21接收表示相机的姿势(表示从相机的位置向视场角的中心方向的朝向的矢量)的信息。接着，生成处理部24从作为处理对象的运动图像数据提取第i个帧，此外，当设提取出的帧中的该第i个帧之后帧号小的帧号是j时，对帧的图像进行修正，以使第i个帧的图像的中心位于从该第i个帧向第j个帧的移动矢量(xj－xi)的方向。即，使用实际拍摄第i个帧时的相机的姿势的信息所表示的视场角的中心方向的矢量v和上述移动矢量(xj－xi)，与其差(xj－xi)－v相应地对提取的第i个帧的图像三维地应用旋转修正。由于该旋转修正的处理被广泛地周知，所以省略这里的详细的说明。

在本实施方式的一例中，作为处理对象的运动图像数据并不一定是360度的天球图像，也可以是比较广角的图像。在此情况下，有如下情况：通过该旋转修正的处理，导致在最终输出的视场角尺寸(只要预先接受指定就可以)内包含没有被摄像的范围。在此情况下，只要对图像数据进行裁剪以使其不包含该没有被摄像的范围，输出该裁剪后的视场角的运动图像数据，或对于该没有被摄像的范围设定预先决定的颜色的像素(例如黑色)而继续处理就可以。

输出部25将生成部24重构而生成的运动图像数据例如向显示器等输出。此外，该输出部25将该生成的运动图像数据经由网络向外部发送。

[动作]

本实施方式具备以上的结构，如以下这样动作。另外，在以下的说明的例子中，假设将一边沿着在图3中二维地表示了概况的路径移动相机一边拍摄的运动图像数据(例如一边步行一边拍摄的运动图像数据)作为处理的对象来输入。此外，假设从使用者输入了关于速度倍率v的指示。另外，该速度倍率的指示也可以不需要直接输入，而是例如通过从使用者接收要输出的运动图像数据的再现时间的上限的信息，基于图像处理装置1实际摄像的处理对象的运动图像数据的再现时间与该输入的再现时间的上限之比，决定要选择的点的数量(帧数)来进行设定。

图像处理装置1将在上述的路径中拍摄的运动图像数据(设为天球运动图像)作为处理对象，如图4中例示，首先对该处理对象的运动图像数据，通过orb－slam等的处理，求出表示相机的移动轨跡的推测结果的每个帧的相机的位置坐标(三维的位置坐标)及相机的姿势(表示从相机的位置向视场角的中心方向的朝向的矢量)(s1)。

图像处理装置1接着使用该求出的每个帧的相机的位置坐标的信息，在该推测出的相机移动轨跡上的点中，选择满足规定的条件的多个点。在这里的例子中，图像处理装置1首先对各帧被拍摄的时间点的相机的位置坐标xi(i＝1，2，3…)施以高斯平滑化，求出第k个帧(k＝1，2，3…)的适当的相机的三维位置坐标x′k(s2)。

接着，图像处理装置1使用从使用者接收到的速度倍率v的信息，用(1)式运算从第i个帧向第j个帧的转移成本。另外，该(1)式中的表示平移方向相对于作为适当的路径求出的适当的相机位置的偏离量的移位成本cm、反映相对于根据速度倍率本来应选择的帧的偏离的速度成本cs及加速度成本ca根据(2)至(4)式求出(s3)。

图像处理装置1求出应选择的帧的可能的组合中的、该转移成本的总和最小的帧的组合(帧序列)，将该求出的帧序列中包含的帧作为被选择的帧，得到确定该被选择的帧的帧号的信息(例如选择图3(x)的帧)(s4)。

图像处理装置1从处理对象的运动图像数据中包含的帧，提取由通过上述的处理得到的帧号确定的帧(s5)。接着，图像处理装置1对该提取出的帧的各图像数据，使用表示相机的姿势(表示从相机的位置向视场角的中心方向的朝向的矢量)的信息，三维地应用旋转修正(s6)，使移动方向(这里是被选择的帧间的转移方向)与视场角的中心方向一致。

图像处理装置1将修正后的图像数据以帧号从小到大的顺序排列，生成重构的运动图像数据并输出(s7)。

根据本实施方式，如果在例如图3中例示的20个帧中按照本来被指定的速度倍率(例如设为8倍)等间隔地(即在该例中每隔7个)选择帧，则会选择图3(y)的帧，该平移移动路径如在图3中用虚线表示的路径那样，在所选择的各点处较大地偏离(即，所选择的各点不以大致直线状排列)。

另一方面，在选择与基于这些帧的摄像位置得到的平滑化处理结果比较接近的帧的本实施方式的例子中，拍摄时间并不一定为等间隔，例如选择图3(x)的帧。在此情况下，如用图3的实线表示的路径那样，所选择的帧的拍摄时间点的相机的平移移动路径以大致直线状排列。

这样，根据本实施方式，能够一次应对关于天球运动图像等广角运动图像的微速摄影化的要求和稳定化的要求。

[变形例]

另外，在本实施方式的到此为止的说明中，关于作为处理对象的运动图像数据的各帧的摄像时的相机的位置及姿势，使用orb－slam等拍摄的图像数据进行了推测，但本实施方式并不限于此，例如在相机中内置有陀螺仪或gps的情况下，或者如果有与相机一起移动的位置记录装置的信息，则图像处理装置1也可以接受由该陀螺仪或gps测位并记录的信息或位置记录装置记录的信息的输入，利用该信息求出各帧的摄像时的相机的位置或姿势。

此外，在本实施方式的到此为止的例子中，从连接于输入输出部13的相机接收作为处理对象的运动图像数据，但也可以是相机自身作为图像处理装置1发挥功能。在此情况下，相机所具备的cpu等作为控制部11发挥功能，将自身拍摄的运动图像数据作为处理对象，执行已经叙述的处理。

[评价实施例]

此外，下面表示使用本实施方式的图像处理装置1实际对所拍摄的运动图像数据进行了处理的结果的评价。另外，在以下的评价中，作为表示伴随于相机的移动的振动的大小的量，设输出的运动图像数据中包含的第i个帧中的相机的位置坐标为xi(i＝1，2，…)，由

[数式7]

求出。其中，设从xi－1向xi的矢量与从xi向xi+1的矢量所成的角为θi，即，

[数式8]

图5是表示多个速度倍率下的在时间上等间隔地选择了帧时的该评价值s(sregular)、本实施方式的图像处理装置1所选择的帧序列中的评价值s(soptimal)和其比(r)的说明图。

如在图5中例示，根据本实施方式，与等间隔地选择帧的情况相比，在哪个速度倍率下，振动的大小都得到了抑制，实现了稳定化。

标号说明

1图像处理装置；11控制部；12存储部；13输入输出部；21移动轨跡推测部；22选择处理部；23提取处理部；24生成部；25输出部。