图像处理装置、图像处理方法和程序与流程

本公开涉及图像处理装置、图像处理方法和程序。

背景技术：

用于数字相机等的相机抖动校正技术例如在专利文献1中说明的那样已经是常见的。相机抖动校正技术的已知示例是使用安装于图像拍摄装置上的陀螺仪传感器来检测相机抖动、然后驱动校正透镜以朝消除相机抖动的方向移动光轴的光学技术。还已知检测所拍摄的图像中的相机抖动、然后切出区域以用于一致的目标区域的电子相机抖动校正技术。

引文列表

专利文献1：日本特开2009-272890号公报

技术实现要素：

上述相机抖动校正技术使得即使当在图像拍摄装置抖动的环境中拍摄图像的情况下也能够记录稳定的图像。同时，经过相机抖动校正的图像可能无法充分再现在图像拍摄时感觉到的真实感。上述技术能够在图像拍摄时选择是否校正相机抖动，但是难以在拍摄和记录图像之后改变关于是否应用相机抖动校正的选择。当再现图像时，无法充分再现用户期望的稳定性或真实感。

因此，本公开提出了一种新颖的和改进过的图像处理装置、图像处理方法和程序，其能够再现添加有用户所期望的效果的图像。

根据本公开，提供一种图像处理装置，包括：图像反向稳定化处理单元，被配置成根据关于图像的抖动的抖动信息对该图像添加表现抖动的效果。

另外，根据本公开，提供一种图像处理装置，包括：图像反向稳定化处理单元，被配置成根据观察者针对图像的沉浸感的期望值，决定要被添加到该图像的表现抖动的效果的程度。

另外，根据本公开，提供一种图像处理方法，包括：由处理器根据关于图像的抖动的抖动信息，对该图像添加表现抖动的效果。

根据本公开，提供一种图像处理方法，包括：由处理器根据观察者针对图像的沉浸感的期望值，决定要被添加到该图像的表现抖动的效果的程度。

另外，根据本公开，提供一种程序，用于使计算机执行：根据关于图像的抖动的抖动信息对该图像添加表现抖动的效果的功能。

另外，根据本公开，提供一种程序，用于使计算机执行：根据观察者针对图像的沉浸感的期望值决定要被添加到该图像的表现抖动的效果的程度的功能。

如上所述，根据本公开，能够再现添加有用户所期望的效果的图像。

注意上述效果并非限定。与上述效果一起或代替上述效果，可以实现本说明书中说明的任意的效果或者可以从本说明书掌握的其它效果。

附图说明

图1是示出根据本公开的第1实施方式的图像处理系统的功能结构示例的原理框图。

图2是示出本公开的第1实施方式的记录处理的示例的流程图。

图3是示出本公开的第1实施方式的再现处理的示例的流程图。

图4是更详细地示出用于在根据本公开的第1实施方式的图像处理系统中执行记录处理的功能结构的框图。

图5是更详细地示出被包含于根据本公开的第1实施方式的图像处理系统的解复用器和解码模块的功能结构的框图。

图6是更详细地示出被包含于根据本公开的第1实施方式的图像处理系统的沉浸度计算模块的功能结构的框图。

图7是更详细地示出被包含于根据本公开的第1实施方式的图像处理系统的图像反向稳定化模块的功能结构的框图。

图8是更详细地示出被包含于根据本公开的第1实施方式的图像处理系统的显示模块的功能结构的框图。

图9是用于进一步说明在根据本公开的第1实施方式的图像处理系统中计算沉浸度的处理的图。

图10是示出本公开的第1实施方式中的图像显示的第1示例的图。

图11是示出本公开的第1实施方式中的图像显示的第2示例的图。

图12是示出根据本公开的第2实施方式的图像处理系统的功能结构示例的原理框图。

图13是示出本公开的第2实施方式中的记录处理的示例的流程图。

图14是示出本公开的第2实施方式中的再现处理的示例的流程图。

图15是示出根据本公开的第3实施方式的图像处理系统的功能结构示例的原理框图。

图16是示出根据本公开的实施方式的图像处理装置的硬件配置示例的框图。

具体实施方式

在下文中，将参照附图详细说明本公开的优选的一个或多个实施方式。在本说明书和附图中，用相同的附图标记表示具有实质上相同的功能和结构的结构部件，并且省略对这些结构部件的重复说明。

将按照以下顺序进行说明。

第1实施方式

1-1.功能结构

1-2.处理流程

1-3.各单元的详细功能结构

1-4.计算沉浸度的处理

1-5.显示例

2.第2实施方式

3.第3实施方式

4.硬件配置

5.补充信息

(1.第1实施方式)

(1-1.功能结构)

图1是示出根据本公开的第1实施方式的图像处理系统的功能结构示例的原理框图。图1示出图像处理系统100包括信号捕获和处理模块110、编码和复用器模块120、存储器模块130、解复用器和解码模块140、沉浸度计算模块150、图像反向稳定化模块160以及显示模块190。沉浸度计算模块150接收模式设置170和观众环境设置180。以下详细讨论各部件。

上述图像处理系统100的功能结构例如可以由单个图像处理装置实现，或者可以由多个图像处理装置分散实现。例如，上述图像处理系统100的整体功能结构可以在诸如数字相机或配备有相机的智能手机或平板电脑的终端装置中实现。在这种情况下，可以在终端装置本身上浏览由终端装置拍摄并经过反向稳定化处理的图像。存储器模块130可以内置于终端装置，或者可以是可移除记录介质。

同时，例如，图像处理系统100的功能结构可以由终端装置和服务器装置分散地实现。在这种情况下，例如，信号捕获和处理模块110和显示模块190可以在终端装置中实现，这两者之间的功能结构(即，编码和复用器模块120、存储器模块130、解复用器和解码模块140、沉浸度计算模块150和图像反向稳定化模块160)可以由一个或多个服务器装置实现。终端装置与服务器装置之间的通信以及服务器装置之间的通信经由包括因特网、Wi-Fi和蓝牙(注册商标)的各种有线或无线网络来执行。

编码和复用器模块120、存储器模块130、解复用器和解码模块140、沉浸度计算模块150和图像反向稳定化模块160中的一些可以在终端装置中实现。在这种情况下，实现信号捕获和处理模块110的终端装置与实现显示模块190的终端装置不同。例如，信号捕获和处理模块110在数字相机中实现，显示模块190可以在与数字相机不同的个人计算机中实现。

(1-2.处理流程)

图2是示出本公开的第1实施方式的记录处理的示例的流程图。图2示出信号捕获和处理模块110首先捕获图像拍摄装置的运动(S101)，并捕获音频和图像(S102)。此外，信号捕获和处理模块110按照在S101中获取的运动来稳定图像(S103)，并且编码和复用器模块120对音频和图像进行编码和复用(S104)。然后，存储器访问(S105)使音频和图像的数据存储在存储器模块130中。

此处，在本实施方式中，指示S103的图像稳定化中的帧图像的移动量的向量与稳定过的图像的数据一起被编码和复用(S104)，并存储在存储器模块130中(S105)。该向量被用于后述的再现时的处理。

图3是示出本公开的第1实施方式的再现处理的示例的流程图。图3示出解复用器和解码模块140首先对从存储器模块130读出的图像和音频的数据进行解复用和解码(S121)。此时，存储在存储器模块130中的稳定化向量的数据与图像和音频的数据一起被读出，并被解码和解复用。

接下来，在反向稳定化之前决定适合于要被再现的图像的显示的沉浸度。以下讨论沉浸度的定义。沉浸度计算模块150根据模式设置170确定模式(S122)。如果模式是“手动”，沉浸度计算模块150手动设置沉浸度(S123)。此处设置的沉浸度的值可以是例如通过用户操作而输入的值。同时，如果S122中的确定表示模式是“自动”，则沉浸度计算模块150分析图像(S124)并自动计算沉浸度(S125)。

图像反向稳定化模块160根据在S125中通过沉浸度计算模块150自动计算出的沉浸度、或者在S123中通过沉浸度计算模块150手动设置的沉浸度，对图像进行反向稳定(S126)。此外，显示模块190显示反向稳定过的图像(S127)。

(1-3.各单元的详细功能结构)

图4是更详细地示出用于在根据本公开的第1实施方式的图像处理系统中执行记录处理的功能结构的框图。以下参照图4，主要对信号捕获和处理模块110以及编码和复用器模块120的结构更详细地进行说明。

信号捕获和处理模块110包括透镜111、陀螺仪传感器112、成像器传感器113、麦克风114和图像稳定化处理单元115。成像器传感器113通过透镜111接收光，并生成图像数据。陀螺仪传感器112检测包括透镜111的壳体的振动。按照由陀螺仪传感器112检测到的振动，移动被包含于透镜111的校正透镜，从而实现使光轴朝消除抖动的方向移动的光学相机抖动校正(图像稳定化)。尽管未图示，也可以通过移动成像器传感器113来实现光学相机抖动校正。

图像稳定化处理单元115按照由陀螺仪传感器112检测到的振动，对从成像器传感器113输出的图像应用电子相机抖动校正(稳定图像)。更具体而言，图像稳定化处理单元115以将比从成像器传感器113提供的输入图像的区域小的区域用作输出图像的区域并使被包含于输出图像的目标区域固定的方式，执行从输入图像切出输出图像的区域的处理。此处，图像稳定化处理单元115可以按照通过陀螺仪传感器112检测振动而获得的结果来决定要切出的区域，或者可以根据图像的分析来决定要切出的区域。

由图像稳定化处理单元115稳定过的图像被输入到编码和复用器模块120的图像编码单元122。在本实施方式中，从陀螺仪传感器112提供到图像稳定化处理单元115并指示壳体的振动的向量、或者与由图像稳定化处理单元115执行的图像稳定化处理对应的向量(例如，指示从输入图像切出的输出图像的位置从中心偏移的向量)被输入到编码和复用器模块120的稳定化向量编码单元121。上述各向量也被称作稳定化向量。此外，由麦克风114获取并与图像对应的音频数据被输入到编码和复用器模块120的音频编码单元123。

此处，上述相机抖动校正(图像稳定化)处理能够是去除图像拍摄时的由图像拍摄装置的抖动造成的影响的至少一部分的处理。该处理允许图像稳定化处理单元115输出稳定过的图像。在这种情况下，图像是去除了由图像拍摄装置的抖动造成的影响的至少一部分的图像。如下所述，图像反向稳定化模块160对图像添加表现抖动的效果，从而在图像中再现图像拍摄装置的抖动。稳定化向量是指示在图像拍摄时发生的图像拍摄装置的抖动的图像拍摄装置抖动信息的示例。

编码和复用器模块120包括稳定化向量编码单元121、图像编码单元122、音频编码单元123和复用器124。如上所述，各编码单元对从信号捕获和处理模块110提供的图像数据、音频数据以及稳定化向量进行编码。复用器124对由各编码单元编码过的数据进行复用。复用过的数据被存储在被包含于存储器模块130的数据存储装置131中。

图5是更详细地示出被包含于根据本公开的第1实施方式的图像处理系统的解复用器和解码模块的功能结构的框图。图5示出解复用器和解码模块140包括解复用器141、稳定化向量解码单元142、图像解码单元143和音频解码单元144。

解复用器141对通过编码和复用器模块120而存储在存储器模块130中的数据存储装置131中的数据进行解复用，并获取稳定化向量的数据、图像数据和音频数据。相应的解码单元对由编码和复用器模块120编码过的图像数据、音频数据、稳定化向量进行解码。由此提供解码过的稳定化向量145、解码过的图像(稳定过)146和解码过的音频147。

图6是更详细地示出被包含于根据本公开的第1实施方式的图像处理系统的沉浸度计算模块的功能结构的框图。图6示出沉浸度计算模块150包括运动分析单元151、图像分析单元152、音频分析单元153、显示装置分析单元154和沉浸感分析单元155。

运动分析单元151执行基于解码过的稳定化向量145的分析。图像分析单元152执行基于解码过的图像(稳定过)146的分析。音频分析单元153执行基于解码过的音频147的分析。显示装置分析单元154执行基于单独获取的与显示装置有关的信息的分析。

沉浸感分析单元155根据由各分析单元执行的分析的结果，执行对沉浸感的分析。此时，沉浸感分析单元155还使用模式设置(自动/手动)170和观众环境设置180作为输入。沉浸感分析单元155根据分析的结果输出沉浸度157。以下，讨论沉浸感分析部155中的分析处理的具体示例。

图7是更详细地示出被包含于根据本公开的第1实施方式的图像处理系统的图像反向稳定化模块的功能结构的框图。图7示出图像反向稳定化模块160包括图像反向稳定化单元161。图像反向稳定化单元161根据沉浸度157执行图像反向稳定化处理。图像反向稳定化单元161使用解码过的稳定化向量145和解码过的图像(稳定过)146作为输入。图像反向稳定化单元161输出反向稳定过的图像162。

此处，图像反向稳定化模块160是根据关于图像的抖动的抖动信息对图像添加表现抖动的效果的图像反向稳定化处理单元的示例。抖动信息是指示在拍摄图像时发生的图像拍摄装置的抖动的图像拍摄装置抖动信息。换言之，抖动信息能够包括稳定化向量145。如下所述，图像反向稳定化模块160根据通过沉浸度计算模块150计算出的沉浸度157来决定上述效果的程度。在本实施方式中，沉浸度157代表关于图像的捕获环境的捕获环境信息、或者关于图像的观众环境的观众环境信息。

图像反向稳定化模块160也能够是根据观察者对图像的沉浸感的期望值来决定要对图像添加的表现抖动的效果的程度的图像反向稳定化处理单元的示例。在本实施方式中，沉浸度157代表沉浸感的期望值。如下所述，沉浸度计算模块150根据指示图像的捕获环境的捕获环境信息、或者指示图像的观众环境的观众环境信息来决定沉浸度157。

图8是更详细地示出被包含于根据本公开的第1实施方式的图像处理系统的显示模块的功能结构的框图。图8示出显示模块190包括显示I/O191。显示I/O191根据反向稳定过的图像162和解码过的音频147显示图像并输出音频。或者，显示I/O191将图像信号和音频信号发送到外部连接的显示装置。

(1-4.计算沉浸度的处理)

图9是用于进一步说明在根据本公开的第1实施方式的图像处理系统中计算沉浸度的处理的图。以下对使用被包含于沉浸度计算模块150的运动分析单元151、图像分析单元152、音频分析单元153、显示装置分析单元154、沉浸感分析单元155和观众环境设置180的分析进行说明。

此处，在本说明书中，沉浸度是观察者对所显示的图像的沉浸感的期望值。沉浸感可以被解释为例如印象深刻、身临其境之感等。旨在使观察者感觉他们更沉浸(更令人印象深刻、或者更逼真)的图像因此具有更高的适合于显示的沉浸度。例如，能够从内容的细节、场景、图像的颜色等计算适合于显示图像的沉浸度。

运动分析单元151按照稳定化向量(图像的帧的移动向量)的方向、大小或者其趋势，输出用于计算沉浸度的值。也就是说，在本实施方式中由沉浸度157代表的捕获环境信息能够包括关于图像的帧的移动向量的信息。运动分析单元151使用向量变化量(VC)和每个运动类型的权重用于分析。向量变化量(VC)是用于将诸如向量范数的变化或角度的变化的、从原始稳定化向量提取的特征映射到输出值的函数。在预先生成的表中定义每个运动类型的权重(MW)。例如根据运动分析的结果，决定要定义的运动类型。在示出的例子中，对“加速”的运动设置权重MW1。此时，运动分析单元151根据向量变化量的输出VC和针对运动类型的权重MW1，输出VC*MW1的值。

更具体而言，可以例如对较大的运动输出较大的值(VC*MW)的方式设置运动分析单元151。在这种情况下，例如可以对较大的运动输出较大的值的方式来设置向量变化量(VC)，或者可以对较大的运动设置较大的权重(MW)。

另外，可以输出值(VC*MW)按照运动类型(诸如垂直和水平移动或旋转)而变化的方式设置运动分析单元151。例如，可以对垂直和水平移动输出较大的值(VC*MW)以易于反向稳定化的方式来设置运动分析单元151，同时可以对旋转运动输出较小的值(VC*MW)以使反向稳定化困难(即图像稳定)的方式来设置运动分析单元151。

图像分析单元152按照由图像所指示的特征输出用于计算沉浸度的值。也就是说，在本实施方式中，由沉浸度157代表的捕获环境信息能够包括由图像所指示的图像特征。图像分析单元152使用图像变化量(IC)和每个场景类型的权重用于分析。图像变化量(IC)是用于将诸如亮度的变化或颜色分布的变化的、从原始的输入图像提取的特征映射到输出值的函数。也就是说，在本实施方式中，图像特征能够包括图像的亮度或颜色特征。另外，图像特征可以包括场景类型。在预先生成的表中定义每个场景类型的权重(SW)。例如根据场景分析的结果，决定要定义的场景类型。在示出的例子中，对“滑雪”的场景设置权重SW2。此时，图像分析单元152根据图像变化量的输出IC和针对场景类型的权重SW2，输出IC*SW2的值。

更具体而言，可以例如对诸如体育或滑雪的场景输出较大的值(IC*SW)以易于反向稳定化的方式来设置图像分析单元152。在这种情况下，例如可以使上述场景的亮度或颜色分布的变化被显著反映的方式设置图像变化量(IC)，或者可以对上述场景类型设置更大的权重(SW)。

可以当颜色分布显著变化时输出较大的值(IC*SW)以易于反向稳定化的方式来设置图像分析单元152。同时，可以当颜色分布经历变化很少时输出较小的值(IC*SW)以使反向稳定化困难的方式来设置图像分析单元152。这是因为颜色分布的变化可以被认为指示画面如何剧烈变化。例如，在画面经历很少变化的会议室拍摄的图像在颜色分布上具有小的变化。同时，在诸如过山车的画面剧烈变化的地方而拍摄的图像在颜色分布上具有大的变化。

音频分析单元153按照由伴随图像的音频所指示的特征，输出用于计算沉浸度的值。也就是说，在本实施方式中，由沉浸度157代表的捕获环境信息能够包括由伴随图像的音频所指示的音频特征。音频分析单元153使用音频变化量(AC)和针对每个音频类型的权重用于分析。音频变化量(AC)是用于将诸如音频的高频分量能量的变化或音频的振幅的、从原始的输入音频提取的特征映射到输出值的函数。也就是说，在本实施方式中，音频特征能够包括音频的频率分量、音频的振幅或由音频所表示的音频类型。在预先生成的表中定义每个音频类型的权重(AW)。例如根据音频分析的结果，决定要定义的音频类型。在示出的例子中，对“叫声”的场景设置权重AW1。此时，音频分析单元153根据音频变化量的输出AC和针对音频类型的权重AW1输出AC*AW1的值。

更具体而言，可以例如当获取诸如电动机声和漂移声的噪声音频时输出较大的值(AC*AW)以易于反向稳定化的方式来设置音频分析单元153。在这种情况下，例如可以使音频的频率分量或振幅的变化被显著地反映的方式设置音频变化量(AC)，或者可以对上述音频类型设置较大的权重(AW)。同时，可以当获取指示安静环境的音频时输出较小的值(AC*AW)以使反向稳定化困难(即图像稳定)的方式来设置音频分析单元153。

显示装置分析单元154使用装置分析量(DA)和针对每个装置类型的权重用于分析。装置分析量(DA)是用于将例如显示装置的画面的尺寸或分辨率映射到输出值的函数。也就是说，在本实施方式中，由沉浸度157代表的观众环境信息能够包括显示有图像的画面的尺寸。显示装置的画面的尺寸或分辨率能够从例如指示内置于该装置的监视器或投影仪的操作状态的信息、或者经由外部监视器接口获取的信息而获得。在预先生成的表中定义针对每个装置类型的权重(DW)。在示出的例子中，对场景“智能手机”设置权重DW3。此时，显示装置分析单元154根据装置分析量的输出值DA和针对装置类型的权重DW3输出DC*DW3的值。

更具体而言，可以对具有较大的尺寸和/或较高的分辨率的画面输出较小的值(DA*DW)以使反向稳定化困难的方式来设置显示装置分析单元154。同时，可以对具有较小的尺寸和/或较低的分辨率的画面输出较大的值(DA*DW)以易于反向稳定化的方式来设置显示装置分析单元154。这是因为当画面的尺寸大或分辨率高时，通过稳定图像而不是使图像逼真来减少对观察者的负担(诸如诱发性视觉运动障碍)经常更为有用。

观看分析量(WA)和针对每个观众环境设置的权重被用于使用观众环境设置180的分析。观看分析量(WA)是将例如从观察者到画面的距离映射到输出值的函数。也就是说，在本实施方式中，由沉浸度157代表的观众环境信息能够包括从观察者到显示有图像的画面的距离。在预先生成的表中定义针对每个观众环境设置的权重(EW)。例如根据用户的设置操作，能够生成该表。在示出的例子中，对“家”的观众环境设置设置权重EW2。然后，在使用观众环境设置180的分析中，根据观看分析量的输出值WA和针对每个观众环境设置的权重EW2，输出WA*EW2的值。

更具体而言，可以当观察者离画面具有更短的距离时输出较小的值(WA*EW)以使反向稳定化困难的方式来设置使用观众环境设置180的分析。同时，可以当观察者离画面具有更长的距离时输出较大的值(WA*EW)以易于反向稳定化的方式来设置使用观众环境设置180的分析。这是因为当观察者靠近画面时，通过稳定图像而不是使图像逼真来减少对观察者的负担(诸如诱发性视觉运动障碍)经常更为有用。

沉浸感分析单元155将使用运动分析单元151、图像分析单元152、音频分析单元153、显示装置分析单元154和观众环境设置180的分析的结果结合。例如，如图所示的例子那样，该结合能够通过依照VC*MW1+IC*SW2+AC*AW1+DA*DW3+EA*EW2将被加权的输出值相加来进行。此外，沉浸度函数(ID)将结合的结果映射到沉浸度157的输出值。沉浸度157被用于在图像反向稳定化模块160中控制图像的反向稳定化。

此处，如图所示，沉浸度157能够作为连续值而输出。图像反向稳定化模块160例如按照沉浸度157的值，可以决定通过使用稳定化向量的反向稳定化，在要被再现的图像中以何种程度再现图像拍摄时的图像拍摄装置的抖动(在图像中表现抖动的效果的程度)。在这种情况下，图像反向稳定化模块160根据沉浸度157是否超过预定的阈值，可以决定是否通过使用稳定化向量的反向稳定化在要被再现的图像中再现图像拍摄时的图像拍摄装置的抖动(是否对图像添加表现抖动的效果)。如上所述，在本实施方式中，沉浸度157代表关于图像的捕获环境的捕获环境信息、或者关于图像的观众环境的观众环境信息。因此，也可以说由图像反向稳定化模块160进行的上述决定是基于捕获环境信息或观众环境信息的决定。

(1-5.显示示例)

图10是示出本公开的第1实施方式中的图像显示的第1示例的图。图10所示的例子示出当模式设置170被设置为自动、手动(关)和手动(开)时的单个画面和带有子画面的画面的显示示例。在图中，“R”代表反向稳定过的图像，“S”代表稳定过的图像(未反向稳定)。

如果模式设置170被设置为自动，例如，根据在上述的沉浸度计算模块150的处理中计算出的沉浸度157，对于单个画面显示反向稳定过的图像和稳定过的图像中的任意一个。同时，在带有子画面的画面的情况下，按照沉浸度157，选择是在主画面上显示反向稳定过的图像并在子画面上显示稳定过的图像，还是相反地在主画面上显示稳定过的图像并在子画面上显示反向稳定过的图像。

此处，当模式设置170被设置为自动时，如果沉浸度157大于预定的阈值，反向稳定过的图像能够在单个画面上显示，并且稳定过的图像能够在带有子画面的画面的主画面上显示。同时，如果沉浸度157不大于预定的阈值，稳定过的图像能够在单个画面上显示，并且反向稳定过的图像能够在附带子画面的画面的子画面上显示。

同时，如果模式设置170被设置为手动(关)，不管沉浸度157如何，在单个画面上显示稳定过的图像(未反向稳定)。在这种情况下，沉浸度计算模块150无需执行计算沉浸度157的处理。

如果模式设置170被设置为手动(开)时，不管沉浸度157如何，反向稳定过的图像能够在单个画面上显示，并且反向稳定过的图像能够在带有子画面的画面的主画面上显示。在这种情况下，沉浸度计算模块150无需执行计算沉浸度157的处理。在该示例中，手动操作可以切换是在主画面上显示反向稳定过的图像并在子画面上显示稳定过的图像，还是相反地在主画面上显示稳定过的图像并在子画面上显示反向稳定过的图像。

图11是示出本公开的第1实施方式中的图像显示的第2示例的图。在图11所示的例子中，反向稳定过的图像在全景图像被显示为子画面的画面的主画面(主)上显示，并且稳定过的图像(未反向稳定)在显示全景图像的子画面上(全景)显示。此处，全景图像经常被用于例如俯视广阔的区域。因此，如图示例那样，子画面可以被设置成不管沉浸度157如何均显示稳定过的图像。

(2.第2实施方式)

图12是示出根据本公开的第2实施方式的图像处理系统的功能结构示例的原理框图。图12示出图像处理系统200包括信号捕获和处理模块110、编码和复用器模块120、存储器模块130、解复用器和解码模块140、沉浸度计算模块150、图像反向稳定化模块160和显示模块190。沉浸度计算模块150接收模式设置170和观众环境设置180。

根据本实施方式的图像处理系统200包括与第1实施方式的部件相似的部件，但是所述部件的布置不同。在本实施方式中，由信号捕获和处理模块110获取的图像、音频和稳定化向量被输入到编码和复用器模块120，也被输入到沉浸度计算模块150。通过沉浸度计算模块150计算出的沉浸度与图像、音频和稳定化向量一起在编码和复用器模块120中被编码和复用，并且被存储在存储器模块130中。

从存储器模块130读出数据的解复用器和解码模块140对数据进行解复用和解码，从而将沉浸度与图像、音频和稳定化向量一起获得。图像、音频、稳定化向量和沉浸度被输入到图像反向稳定化模块160，并且在图像反向稳定化模块160中执行与图像的沉浸度一致的反向稳定化。通过显示模块190输出由图像反向稳定化模块160处理过的图像和音频。

在本实施方式中，在记录的图像作为数据被存储在存储器模块130中之前已经计算出沉浸度。因此，在再现时不进行图像分析也能够将图像反向稳定。这样的结构例如在执行再现处理的装置不具有高处理能力而执行记录处理的装置具有足够的处理能力的情况下是有效的。例如，如果模式设置170和观众环境设置180被设置为在再现时与在记录时不同，沉浸度计算模块150的处理的一部分可以在再现时被再次执行来更新沉浸度。

图13是示出本公开的第2实施方式中的记录处理的示例的流程图。图13示出信号捕获和处理模块110首先捕获图像拍摄装置的运动(S201)，并捕获音频和图像(S202)。此外，信号捕获和处理模块110按照在S201中获取的运动稳定图像(S203)。

在本实施方式中，此处决定图像的沉浸度。沉浸度计算模块150根据模式设置170确定模式(S204)。如果模式是“手动”，沉浸度计算模块150手动设置沉浸度(S205)。此处被设置的沉浸度的值能够是例如通过用户操作而输入的值。同时，如果S204中的确定示出模式是“自动”，则沉浸度计算模块150分析图像(S206)，并自动计算沉浸度(S207)。

编码和复用器模块120根据在S207中通过沉浸度计算模块150自动计算出的沉浸度、或在S205中通过沉浸度计算模块150手动设置的沉浸度，对图像、音频、稳定化向量和沉浸度进行编码和复用(S208)。然后，存储器访问(S209)使复用过的数据被存储在存储器模块130中。

图14是示出本公开的第2实施方式中的再现处理的示例的流程图。图14示出解复用器和解码模块140首先对从存储器模块130读出的图像和音频的数据进行解复用和解码(S221)。此时，存储在存储器模块130中的稳定化向量和沉浸度的数据与图像和音频的数据一起被读出，并被解码和解复用。

接着，图像反向稳定化模块160根据解码过的稳定化向量和解码过的沉浸度，将图像反向稳定(S222)。此外，显示模块190显示反向稳定过的图像(S223)。

(3.第3实施方式)

图15是示出根据本公开的第3实施方式的图像处理系统的功能结构示例的原理框图。图15示出图像处理系统300包括信号捕获和处理模块110、编码和复用器模块120、存储器模块130、解复用器和解码模块140、沉浸度计算模块150、图像反向稳定化模块160和显示模块190。沉浸度计算模块150接收模式设置170和观众环境设置180。此外，图像处理系统300还包括第2存储器模块310。

根据本实施方式的图像处理系统300与上述第1实施方式如下相似：沉浸度计算模块150根据从存储器模块130读出并且由解复用器和解码模块140解复用和解码过的图像、音频和稳定化向量，计算沉浸度。然而，在本实施方式中，通过沉浸度计算模块150计算出的沉浸度被存储在第2存储器模块310中。图像反向稳定化模块160根据由解复用器和解码模块140解码过的图像、音频和稳定化向量以及从第2存储器模块310读出的沉浸度，执行反向稳定化处理。

在本实施方式中，通过沉浸度计算模块150计算出的沉浸度暂时存储在存储器模块310中。因此，能够在再现图像之前执行计算沉浸度的处理。因此，例如只要在记录的图像被再现之前通过批量处理计算出沉浸度，在再现时不进行图像分析也能够将图像反向稳定。这样的结构例如在执行记录处理的装置和执行再现处理的装置都不具有高处理能力并向服务器请求计算沉浸度的处理的情况下是有效的。

即使执行记录处理的装置和执行再现处理的装置具有足够的处理能力，向服务器请求计算沉浸度的处理也能够节约例如移动装置或可佩戴装置的电池。在这种情况下，根据本实施方式的结构能够是有效的。

(4.硬件配置)

接着，参照图16说明根据本公开的实施方式的图像处理装置的硬件配置。图16是示出根据本公开的实施方式的图像处理装置的硬件配置示例的框图。所示的图像处理装置900能够实现例如上述实施方式中的终端装置和/或服务器装置。

图像处理装置900包括中央处理单元(CPU)901、只读存储器(ROM)903和随机存取存储器(RAM)905。另外，该图像处理装置900可以包括主机总线907、桥909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925。此外，图像处理装置900必要时可以包括图像拍摄装置933和传感器935。图像处理装置900可以不包括CPU901而包括称为数字信号处理器(DSP)或专用集成电路(ASIC)的处理电路，或者将CPU 901和上述的处理电路都包括。

CPU 901作为运算处理器和控制器发挥功能，按照记录在ROM 903、RAM905、存储装置919或可移除记录介质927中的各种程序，控制图像处理装置900中的全部或一些操作。ROM 903存储CPU 901使用的程序、运算参数等。RAM 905主要存储被用于CPU 901的执行的程序和在执行中被适当修改的参数。CPU 901、ROM 903和RAM 905通过包括诸如CPU总线的内部总线的主机总线907互相连接。此外，主机总线907经由桥909连接到诸如外设部件互连/接口(PCI)总线的外部总线911。

输入装置915是由用户操作的装置，诸如鼠标、键盘、触摸面板、按钮、开关和控制杆。输入装置915可以是例如使用红外线或其它无线电波的遥控装置，或者可以是响应于图像处理装置900的操作而可操作的外部连接装置929(诸如移动电话)。输入装置915包括根据由用户输入的信息生成输入信号并将输入信号输出到CPU 901的输入控制电路。用户通过操作输入装置915，对图像处理装置900输入各种类型的数据或要求处理操作。

输出装置917包括能够通过视觉或听觉将获取的信息通知给用户的装置。输出装置917可以包括诸如液晶显示器(LCD)、等离子体显示面板(PDP)和有机电致发光(EL)显示器的显示装置、诸如扬声器和耳机的音频输出装置和打印机。输出装置917可以以诸如文本和图像的图像形式和以诸如音频和声响的音频形式，输出从图像处理装置900的处理而获得的结果。

存储装置919是被配置为图像处理装置900的存储单元的示例的用于数据存储的装置。存储装置919包括例如诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光存储装置或磁光存储装置。存储装置919存储要被CPU 901执行的程序、各种类型的数据、从外部获取的各种数据等。

驱动器921是用于诸如磁盘、光盘、磁光盘和半导体存储器的可移除记录介质927的读写器，并且内置或外部附接于图像处理装置900。驱动器921读出在附接于图像处理装置900的可移动记录介质927中记录的信息，并将读出的信息输出到RAM905。此外，驱动器921将记录写入到所装载的可移动记录介质927。

连接端口923是用于将装置直接连接到图像处理装置900的端口。连接端口923可以包括例如通用串行总线(USB)端口、IEEE1394端口和小型计算机系统接口(SCSI)端口。连接端口923还可以包括RS-232C端口、光音频终端、高清晰度多媒体接口(HDMI)(注册商标)端口等。外部连接装置929到连接端口923的连接使得能够在图像处理装置900和外部连接装置929之间交换各种类型的数据。

通信装置925是例如包括用于连接到通信网络931的通信装置等的通信接口。通信装置925可以是例如用于有线或无线局域网(LAN)、蓝牙(注册商标)、无线USB(WUSB)等的通信卡。此外，通信装置925可以是用于光通信的路由器、用于非对称数字用户线路(ADSL)的路由器、用于各种通信的调制解调器等。通信装置925根据预定的协议(诸如TCP/IP)，向例如因特网或其它的通信装置发送信号和从其接收信号。此外，连接到通信装置925的通信网络931可以是以有线或无线方式连接的网络，可以是例如因特网、家庭LAN、红外通信、无线电波通信、卫星通信等。

图像拍摄装置933是例如通过使用诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的图像传感器以及诸如用于控制在图像传感器上的目标图像的形成的透镜的各种部件来拍摄真实空间的图像，来生成拍摄图像的装置。图像拍摄装置933可以是拍摄静止图像的装置，也可以是拍摄运动图像的装置。

传感器935例如包括各种传感器，诸如加速度传感器、陀螺仪传感器、地磁传感器、光传感器和声音传感器。传感器935获取诸如图像处理装置900的壳体的姿势的关于图像处理装置900的状态的信息，以及诸如图像处理装置900周围的亮度和噪声的关于图像处理装置900周围的环境的信息。传感器935还可以包括用于接收GPS信号并测量装置的纬度、经度和高度的全球定位系统(GPS)传感器。

目前为止，说明了图像处理装置900的硬件配置的示例。上述各部件可以用通用的部件进行配置，也可以用专门于各部件的功能的硬件进行配置。也可以按照在实施时的技术水平对这样的结构进行适当变更。

(5.补充信息)

本公开的实施方式例如可以包括如上所述的图像处理装置(终端装置或服务器装置)、系统、由图像处理装置或系统执行的信息处理方法、用于使图像处理装置发挥功能的程序和程序记录于其上的非暂时性有形介质。

以上，已参照附图说明了本公开的优选的一个或多个实施方式，然而本发明不限于以上实施方式。本领域的技术人员可以在所附权利要求的范围内发现各种替换和修改，并且应当理解为它们自然属于本发明的技术范围内。

此外，在本说明书中说明的效果仅是说明性或例示的效果，并非限定。即，与上述效果一起或代替上述效果，根据本公开内容的技术可以实现基于本说明书的说明的本领域技术人员可知的其它效果。

此外，本技术也可以被配置如下。

(1)一种图像处理装置，包括：

图像反向稳定化处理单元，被配置成根据关于图像的抖动的抖动信息对该图像添加表现抖动的效果。

(2)根据(1)的图像处理装置，其中，

所述抖动信息包括指示在拍摄所述图像时发生的图像拍摄装置的抖动的图像拍摄装置抖动信息。

(3)根据(1)或(2)的图像处理装置，其中，

所述图像反向稳定化处理单元根据关于所述图像的捕获环境的捕获环境信息，决定所述效果的程度。

(4)根据(3)的图像处理装置，其中，

所述图像反向稳定化处理单元根据所述捕获环境信息，决定添加所述效果的程度。

(5)根据(4)的图像处理装置，其中，

所述图像反向稳定化处理单元决定是否添加所述效果，作为添加所述效果的程度。

(6)根据(3)至(5)中的任意一项的图像处理装置，其中，

所述捕获环境信息包括关于所述图像的帧的移动向量的信息。

(7)根据(3)至(6)中的任意一项的图像处理装置，其中，

所述捕获环境信息包括由所述图像指示的图像特征。

(8)根据(7)的图像处理装置，其中，

所述图像特征包括所述图像的亮度或颜色特征。

(9)根据(7)或(8)的图像处理装置，其中，

所述图像特征包括场景类型。

(10)根据(3)至(9)中的任意一项的图像处理装置，其中，

所述捕获环境信息包括由伴随所述图像的音频指示的音频特征。

(11)根据(10)的图像处理装置，其中，

所述音频特征包括所述音频的频率分量、所述音频的振幅或由所述音频指示的音频类型。

(12)根据(1)至(11)中的任意一项的图像处理装置，其中，

所述图像反向稳定化处理单元根据关于所述图像的观众环境的观众环境信息，决定所述效果的程度。

(13)根据(12)的图像处理装置，其中，

所述观众环境信息包括显示所述图像的画面的尺寸。

(14)根据(12)或(13)的图像处理装置，其中，

所述观众环境信息包括从观察者到显示所述图像的画面的距离。

(15)根据(1)至(14)中的任意一项的图像处理装置，其中，

所述图像是图像拍摄装置的抖动所造成的影响的至少一部分被去除的图像，并且所述图像反向稳定化处理单元对所述图像添加所述效果以在所述图像中再现所述图像拍摄装置的抖动。

(16)一种图像处理装置，包括：

图像反向稳定化处理单元，被配置成根据观察者针对图像的沉浸感的期望值，决定要被添加到所述图像的表现抖动的效果的程度。

(17)根据(16)的图像处理装置，其中，

根据指示所述图像的捕获环境的捕获环境信息，决定所述沉浸感的期望值。

(18)根据(17)的图像处理装置，其中，

所述捕获环境信息包括由所述图像指示的图像特征。

(19)根据(17)或(18)的图像处理装置，其中，

所述捕获环境信息包括由伴随所述图像的音频指示的音频特征。

(20)根据(16)至(19)中的任意一项的图像处理装置，其中，

根据指示所述图像的观众环境的观众环境信息，决定所述沉浸感的期望值。

(21)根据(20)的图像处理装置，其中，

所述观众环境信息包括显示所述图像的画面的尺寸。

(22)根据(21)的图像处理装置，其中，

所述观众环境信息包括从观察者到显示所述图像的画面的距离。

(23)根据(16)至(22)中的任意一项的图像处理装置，其中，

所述图像反向稳定化处理单元根据关于所述图像的抖动的抖动信息，添加所述效果。

(24)一种图像处理方法，包括：

由处理器根据关于图像的抖动的抖动信息，对所述图像添加表现抖动的效果。

(25)一种图像处理方法，包括：

由处理器根据观察者针对图像的沉浸感的期望值，决定要被添加到所述图像的表现抖动的效果的程度。

(26)一种程序：

用于使计算机执行根据关于图像的抖动的抖动信息对所述图像添加表现抖动的效果的功能。

(27)一种程序：

用于使计算机执行根据观察者针对图像的沉浸感的期望值决定要被添加到所述图像的表现抖动的效果的程度的功能。

(28)一种图像处理装置，包括：

图像反向稳定化处理单元，被配置成根据关于图像的捕获环境的捕获环境信息，添加所述图像的表现抖动的效果。

(29)一种图像处理装置，包括：

图像反向稳定化处理单元，被配置成根据关于图像的观众环境的观众环境信息，添加所述图像的表现抖动的效果。

附图标记说明

100、200、300：图像处理系统

110：信号捕获和处理模块

120：编码和复用器模块

130：存储器模块

140：解复用器和解码模块

150：沉浸度计算模块

160：图像反向稳定化模块

190：显示模块

310：第2存储器模块