图像处理装置、图像处理方法和记录介质与流程

本发明涉及图像处理装置、图像处理方法和记录介质。

背景技术：

以往，公知有测定被摄体的三维位置的技术。例如，在专利文献1中公开了运算拍摄画面上的飞翔体的三维位置的技术。在该技术中，根据从测定位置原点到飞翔体的距离、相对高度仰角和相对方位，运算从画面中心位置起的高度和水平距离，使用该运算结果运算飞翔体的三维位置的坐标。

现有技术文献

专利文献

专利文献1：日本特开2011-95112号公报

技术实现要素：

发明要解决的课题

但是，上述现有技术的目的在于，使用通过运算而得到的三维位置的坐标生成飞翔图等图并进行显示，所以，在对图像进行再现时观察图像的人很难直观地捕捉作为拍摄对象的被摄体的特征。

本发明是鉴于上述情况而完成的，其目的在于，提供在对图像进行再现时观察该图像的人能够直观地捕捉被摄体的特征的图像处理装置、图像处理方法和记录介质。

用于解决课题的手段

为了解决上述课题并实现目的，本发明的图像处理装置的特征在于，所述图像处理装置具有：变化判定部，其使用连续拍摄的多个图像的数据判定该多个图像的拍摄方向有无变化；变化量计算部，其根据所述拍摄方向有无变化来计算所述多个图像中拍摄出的被摄体的位置的变化量；以及辅助图像生成部，其生成辅助图像的数据，该辅助图像显示与所述变化量相关联的所述被摄体的信息。

本发明的图像处理方法的特征在于，所述图像处理方法包括以下步骤：变化判定步骤，使用连续拍摄的多个图像的数据判定该多个图像的拍摄方向有无变化；变化量计算步骤，根据所述拍摄方向有无变化来计算所述多个图像中拍摄出的被摄体的位置的变化量；以及辅助图像生成步骤，生成辅助图像的数据，该辅助图像显示与所述变化量相关联的所述被摄体的信息。

本发明的记录图像处理程序的记录介质的特征在于，所述图像处理程序使计算机执行以下步骤：变化判定步骤，使用连续拍摄的多个图像的数据判定该多个图像的拍摄方向有无变化；变化量计算步骤，根据所述拍摄方向有无变化来计算所述多个图像中拍摄出的被摄体的位置的变化量；以及辅助图像生成步骤，生成辅助图像的数据，该辅助图像显示与所述变化量相关联的所述被摄体的信息。

发明效果

根据本发明，在再现中的图像中插入显示被摄体的信息的辅助图像并进行显示，所以，在对图像进行再现时观察该图像的人能够直观地捕捉被摄体的特征。

附图说明

图1是示出本发明的一个实施方式的摄像装置的功能结构的框图。

图2是示意地示出变化判定部判定为拍摄方向存在变化的情况下的状况的图。

图3是示意地示出用户追随于被摄体的运动而对摄像装置进行操作的情况下的不同的2帧的图像的图。

图4是示意地示出用户无法追随于被摄体的运动而对摄像装置进行操作的情况下的不同的2帧的图像的图。

图5是示意地说明摄像装置的拍摄方向没有变化、用户无法追随于被摄体的运动而对摄像装置进行操作的情况下的变化量的图。

图6是重叠且示意地示出显示部显示的辅助图像及其前后的图像的图。

图7是示出历史图像的显示部中的显示例的图。

图8是示出摄像装置进行的处理的概要的流程图(其一)。

图9是示出摄像装置进行的处理的概要的流程图(其二)。

图10是示出历史图像生成部进行的历史图像的数据生成处理的概要的流程图。

具体实施方式

下面，参照附图对用于实施本发明的方式(以下称为“实施方式”)进行说明。另外，以下说明中参照的附图是示意性的，在利用不同附图示出相同物体的情况下，尺寸和比例尺等有时也不同。

图1是示出本发明的一个实施方式的包含图像处理装置的摄像装置的功能结构的框图。该图所示的摄像装置1具有根据摄像参数对被摄体进行摄像并生成图像数据的摄像部2、收集外部声音并生成声音数据的由麦克风等构成的声音输入部3、受理各种操作指示信号的输入的输入部4、检测摄像装置1的姿势的姿势检测部5、显示包含摄像部2进行摄像而得到的图像的各种信息的显示部6、输出声音的由扬声器等构成的声音输出部7、对摄像装置1的动作进行总括控制的控制部8、存储与摄像装置1的动作等有关的信息的存储部9。

摄像部2具有使用一个或多个镜头构成并使来自被摄体的光会聚的光学系统、以及对经由光学系统成像的光进行光电转换并生成电气的摄像信号的摄像元件。光学系统使用一个或多个各种光学元件构成。摄像元件使用cmos(complementarymetaloxidesemiconducter)或ccd(chargecoupleddevice)等图像传感器构成。

输入部4使用层叠设置在显示部6的画面显示区域内的触摸面板、设置在摄像装置1的主体表面的包含受理静态图像拍摄的指示输入的释放开关和受理动态图像拍摄的开始和结束的指示输入的动态图像开关在内的各种开关或各种按钮等用户接口构成。输入部4也可以具有声音输入用的麦克风。

姿势检测部5例如由相互正交的三轴方向的加速度传感器构成。姿势检测部5通过检测摄像装置1的三轴方向的加速度，检测摄像装置1的姿势。

显示部6使用由液晶或有机el(electroluminescence)等构成的显示面板构成。显示部6能够进行以规定时间(例如3秒钟)显示与输入部4受理了输入的释放信号对应的图像数据的记录浏览显示、对存储部9存储的图像数据进行再现的再现显示、以及沿着时间序列依次显示与摄像部2连续生成的图像数据对应的实时取景图像的实时取景显示等。并且，显示部6能够显示摄像装置1的操作信息和与摄像动作有关的信息。

控制部8具有本实施方式的图像处理装置的功能。控制部8具有图像处理部81、姿势/运动判定部82、变化判定部83、变化量计算部84、时机判定部85、辅助图像生成部86、历史图像生成部87、显示控制部88。

图像处理部81对摄像部2生成的图像数据(raw数据)进行各种图像处理，生成已处理的图像数据。图像处理部81进行的图像处理包括光学黑体减法处理、白平衡(wb)调整处理、同时化处理(摄像部2的摄像元件具有拜耳排列的滤色器的情况)、彩色矩阵运算处理、伽马校正处理、颜色再现处理和边缘强调处理等中的至少一部分。图像处理部81根据规定的静态图像或动态图像格式对上述各种处理后的图像数据进行压缩并输出。作为静态图像格式，例如能够举出jpeg、exif等，作为动态图像格式，例如能够举出mpeg-4avc/h.264、avchd等。

姿势/运动判定部82使用姿势检测部5的检测结果判定摄像装置1的姿势，另一方面，使用摄像部2生成的图像数据判定被摄体的运动。在判定运动的情况下，例如，图像处理部81生成表示两张图像间的被摄体的代表点的运动的运动向量，使用该运动向量判定被摄体的运动。

变化判定部83根据姿势/运动判定部82的判定结果，判定摄像部2的拍摄方向是否变化，并且判定画面内的被摄体的位置是否变化。变化判定部83例如对规定的2帧(例如相邻的2帧)进行比较来判定背景的运动，由此判定摄像部2的拍摄方向有无变化。另外，在使摄像装置1具有手抖判定用的振动传感器的情况下，变化判定部83也可以根据振动传感器的检测结果来判定摄像部2的拍摄方向有无变化。

图2是示意地示出变化判定部83判定为拍摄方向存在变化的情况下的状况的图。在图2中，示意地示出摄像装置1的用户101将滑雪板sb上的滑雪者102作为拍摄对象、对滑雪者102在滑行中跳跃的状况进行动态图像拍摄的状况。在图2所示的状况下，需要根据用户101是否改变了拍摄方向、换言之是否追随于滑雪者102的运动而对摄像装置1进行操作来改变处理。下面，举出具体例对这点进行说明。

图3是示意地示出用户追随于被摄体的运动而对摄像装置1进行操作的情况下的不同的2帧的图像的图。在图3中，图像201中的滑雪者102-1的位置和此后拍摄的图像202中的滑雪者102-2的位置均是画面的大致中央部。因此，在图3所示的情况下，滑雪者102的位置在2帧之间几乎没有变化。

与此相对，图4是示意地示出用户无法追随于被摄体的运动而对摄像装置1进行操作的情况下的不同的2帧的图像的图。在图4中，图像203中的滑雪者102-3的位置是画面的大致中央部，与此相对，图像204中的滑雪者102-4的位置是画面的右上部。因此，在图4所示的情况下，滑雪者102的位置在帧间大幅变化。

变化判定部83将图3所示的状况判定为拍摄方向变化，另一方面，将图4所示的状况判定为拍摄方向没有变化。

变化量计算部84计算被摄体的位置的变化量。例如，如图3所示，在用户追随于被摄体的运动而对摄像装置1进行操作的情况下，变化量计算部84使用摄像部2的光轴方向相对于水平方向的角度(仰角)的变化δθ，通过下式计算铅直方向的变化量δy。

δy＝d1·sinδθ…(1)

下面，将该变化量δy称为第1变化量。这里，右边的d1是从摄像装置1到被摄体的距离，是根据对焦结果等求出的量，δθ是根据姿势检测部5的检测结果求出的。

图5是示意地说明摄像装置1的拍摄方向没有变化、用户无法追随于被摄体的运动而对摄像装置1进行操作的情况下的变化量的图。在图5中，当设摄像元件21的检测范围为s1、设光学系统22的焦距为f1时，在摄像部2几乎没有移动、位于点p的被摄体的代表点的y坐标移动了δy而到达点p’的情况下，在与该被摄体之间的距离为d1时，变化量计算部84使用摄像元件21上的像的位置变化δs、距离d1和焦距f1，通过下式计算移动距离δy。

δy＝δs·d1/f1…(2)

下面，将该变化量称为第2变化量。另外，在式(2)中，其前提在于在时间上连续拍摄时，不怎么引起画面的进深方向的变化。并且，这里说明了铅直方向的变化量，但是，还可以同样计算水平方向的变化量。进而，在以摄像装置1的高度为基准来求出被摄体的高度的情况下，在对位于点p的被摄体的代表点进行拍摄的时点，在摄像部2的光轴方向相对于水平方向具有角度时，除了式(2)的δy的以外求出该角度量即可。

另外，这里说明的变化量计算部84的变化量计算处理只不过是一例，除此之外，例如还可以进行被摄体的面部检测，计算规定帧间的面部的旋转量作为变化量。

时机判定部85判定是否是在图像再现时生成并插入辅助图像的数据的时机。作为该时机，例如可以举出被摄体在画面上刚刚停止运动之后的时机、高度刚刚到达最高点或最低点之后的时机等。更具体而言，例如在对图2所示的滑雪板上的人正在滑行的状况进行动态图像拍摄的情况下，作为进行跳跃来决定技巧的时机或停止运动的时机，可以举出刚刚到达最高点之后的时机。并且，在对棒球投手投球的状况进行动态图像拍摄的情况下，可以举出手臂伸长的状态或指尖刚刚到达最高点之后的时机。并且，在对高尔夫球手摆动的状况进行动态图像拍摄的情况下，可以举出高尔夫球棍的前端刚刚到达最下点之后的时机。这样，关于在运动竞技的动态图像中插入辅助图像的时机，也可以将要插入的时机的动作的模板预先存储在存储部9中，时机判定部85通过进行模板匹配来判定要插入的时机。

辅助图像生成部86生成辅助图像的数据。图6是重叠且示意地示出显示部6显示的辅助图像及其前后的图像的图。在图6中，显示辅助图像301、该辅助图像301之前依次显示的图像205、206以及辅助图像301之后显示的图像207，图像的位置对应于拍摄方向(高度)。在图6中，示出用户追随于被摄体的运动而对摄像装置1进行操作的情况下的辅助图像，图像20n(n＝5、6、7)中的滑雪者102-n的位置全部是画面的大致中央部。在辅助图像301中，除了最高点的高度信息311(显示为○○(m))以外，还显示示意性地施加网格显示之前帧的被摄体的虚拟图像dm、以及表示被摄体正在跳跃的“jump”这样的文字。也可以还在辅助图像301中显示被摄体的速度信息。在图6所示的情况下，在被摄体到达了最高点的图像206之后的时机插入辅助图像301。以图像的视听者能够视觉辨认的程度的时间(例如2～3秒左右)显示辅助图像301。另外，在图6中，为了能够识别辅助图像301而利用粗框记载了其外缘，但是，这只不过是用于明确说明的简化方式。并且，虚拟图像也可以不使用之前帧的图像。

代替虚拟图像dm，辅助图像生成部86也可以仅重叠一帧前的图像206中的被摄体的图像而生成辅助图像的数据，还可以重叠针对一帧前的被摄体的图像实施了特殊效果处理的图像的数据。这里所说的特殊效果处理是指组合多个图像处理而产生视觉效果的处理。多个图像处理例如是软对焦处理、着色处理、合成处理、hdr处理和彩度强调处理等。

例如如将在滑雪板的u池中滑行的人作为被摄体的情况那样，在能够视为往复运动的情况下，历史图像生成部87生成随着时间而变化的历史图像的数据。关于水平方向，历史图像生成部87例如也可以使用水平方向的加速度传感器的检测结果进行两次积分，由此取得位置信息。并且，历史图像生成部87也可以将图像中的被摄体的水平方向的运动的变化换算成速度，使用该速度取得各时刻的位置信息。另外，历史图像生成部87生成的历史图像中显示的历史不限于往复运动，也可以生成描绘规定轨迹的历史。例如，历史图像生成部87也可以生成如高尔夫球手打球时描绘的轨道那样、显示沿着大致圆轨道旋转的历史的历史图像。

图7是示出历史图像的显示部6中的显示例的图。该图所示的历史图像401表示将在滑雪板的u池中滑行的滑雪者作为被摄体的情况下的历史411。在历史图像401中还显示虚拟图像dm。但是，不是必须显示虚拟图像dm。在本实施方式中，设为在动态图像再现结束时显示历史图像来进行说明，但是，也可以在刚要开始动态图像再现之前显示历史图像，还可以在动态图像再现中的适当时机插入历史图像进行显示。

显示控制部88对显示部6中的图像等的显示进行控制。显示控制部88适当插入辅助图像或历史图像进行显示。显示控制部88例如也可以进行如下控制：在插入辅助图像进行显示时，在辅助图像显示前逐渐降低再现图像的帧率进行显示，另一方面，在辅助图像插入后逐渐提高再现图像的帧率进行显示。

具有以上功能结构的控制部8使用cpu(centralprocessingunit)等通用处理器构成。

存储部9具有存储各种图像的数据的图像数据存储部91、以及存储包含用于执行本实施方式的摄像方法的摄像程序在内的各种程序的程序存储部92。

存储部9使用ram(randomaccessmemory)等易失性存储器和rom(readonlymemory)等非易失性存储器构成。其中，ram具有作为暂时存储从图像处理部81输入的已处理的图像数据和摄像装置1的处理中的信息的暂时存储部的功能。另外，也可以使用能够从外部进行拆装的存储卡等计算机可读取的记录介质构成存储部9。

图8和图9是示出摄像装置1进行的处理的概要的流程图。首先，参照图8进行说明。在摄像装置1设定为拍摄模式的情况下(步骤s101：是)，显示控制部88使显示部6显示与摄像部2连续生成的实时取景图像数据对应的实时取景图像(步骤s102)。

接着，姿势/运动判定部82根据姿势检测部5的检测结果判定摄像装置1的姿势，将判定结果记录在存储部9中(步骤s103)。并且，姿势/运动判定部82使用摄像部2生成的图像数据判定被摄体的运动，将判定结果写入存储部9中进行存储(步骤s104)。另外，姿势/运动判定部82也可以在其他时机进行姿势/运动判定。

然后，在输入部4的释放开关受理了静态图像拍摄的指示输入的情况下(步骤s105：是)，控制部8使摄像部2执行静态图像拍摄(步骤s106)。该情况下，图像处理部81对摄像部2生成的图像数据(raw数据)进行规定的图像处理。

然后，图像处理部81将静态图像的图像数据写入图像数据存储部91中进行存储(步骤s107)。此时，图像处理部81对摄像部2生成的图像数据进行尺寸调整处理而生成静态图像的缩略图，和与该缩略图对应的已处理的图像数据对应起来存储在图像数据存储部91中。

接着，显示控制部88使显示部6以规定时间(例如3秒)显示与摄像部2生成的静态图像的图像数据对应的静态图像(步骤s108)。

然后，在经由输入部4断开摄像装置1的电源的情况下(步骤s109：是)，摄像装置1结束一连串的处理。与此相对，在未经由输入部4断开摄像装置1的电源的情况下(步骤s109：否)，摄像装置1返回步骤s101。

在步骤s105中输入部4的释放开关未受理静态图像拍摄的指示输入的情况下(步骤s105：否)，摄像装置1转移到步骤s110。

接着，在输入部4的动态图像开关受理了动态图像拍摄的开始指示信号的输入的情况下(步骤s110：是)，控制部8进行开始动态图像拍摄的控制(步骤s111)。具体而言，控制部8开始使摄像部2根据规定的动态图像格式执行动态图像拍摄，并且，图像处理部81对由摄像部2连续生成的图像数据执行图像处理，除了声音输入部3生成的声音数据以外，还生成动态图像文件。另外，关于拍摄动态图像时的帧率，用户能够操作输入部4来选择设定期望的帧率。

然后，在动态图像开关受理了动态图像拍摄的结束指示信号的输入的情况下(步骤s112：是)，控制部8进行结束动态图像拍摄的控制(步骤s113)。在未受理动态图像拍摄的结束指示信号的输入的情况下(步骤s112：否)，摄像装置1反复进行步骤s112。

接着，图像处理部81将动态图像的图像数据写入图像数据存储部91中进行存储(步骤s114)。此时，图像处理部81使用构成动态图像数据的最初帧的图像数据生成动态图像的缩略图，和与该缩略图对应的动态图像文件对应起来写入图像数据存储部91中进行存储。然后，摄像装置1转移到步骤s109。

在步骤s110中不存在动态图像拍摄操作的情况下(步骤s110：否)，摄像装置1转移到步骤s109。

接着，对摄像装置1未设定为拍摄模式(步骤s101：否)、摄像装置1设定为再现模式的情况(步骤s115：是)进行说明。该情况下，显示控制部88进行在显示部6中依次显示图像数据存储部91存储的静态图像或动态图像的缩略图的缩略图显示(步骤s116)。

接着，在输入部4受理了显示部6显示的多个缩略图中的任意一个缩略图的选择输入的情况下(步骤s117：是)，如果选择出的图像是动态图像(步骤s118：是)，则显示控制部88开始在显示部6中再现选择出的动态图像(步骤s119)。另外，在输入部4未受理显示部6显示的多个缩略图中的任意一个缩略图的选择输入的情况下(步骤s117：否)，摄像装置1转移到步骤s109。

参照图9对接着步骤s119的处理进行说明。在步骤s120中，变化判定部83判定摄像部的拍摄方向是否变化(步骤s120)。在拍摄方向变化的情况下(步骤s120：是)，在被摄体的画面内的位置没有变化时(步骤s121：否)，变化量计算部84根据式(1)计算第1变化量(步骤s122)。如图4所示，该状况相当于用户追随于被摄体的运动而对摄像装置1进行操作的状况。然后，摄像装置1转移到后述步骤s125。在步骤s121中被摄体的画面内的位置变化时(步骤s121：是)，摄像装置1转移到后述步骤s129。

另一方面，在步骤s120中拍摄方向没有变化的情况下(步骤s120：否)，在被摄体的画面内的位置变化时(步骤s123：是)，变化量计算部84根据式(2)计算第2变化量(步骤s124)。如图5所示，该状况相当于用户无法追随于被摄体的运动而对摄像装置1进行操作的状况。在步骤s124之后，摄像装置1转移到步骤s125。在步骤s123中被摄体的画面内的位置没有变化时(步骤s123：否)，摄像装置1转移到后述步骤s129。

在步骤s122或s124之后进行的步骤s125中，时机判定部85根据步骤s122中计算出的第1变化量或步骤s124中计算出的第2变化量，判定插入辅助图像进行显示的时机(步骤s125)。

在时机判定部85判定为是显示辅助图像的时机的情况下(步骤s126：是)，辅助图像生成部86使用在该时机显示的图像的信息生成辅助图像的数据(步骤s127)。这里所说的图像的信息例如是与被摄体的高度、速度或朝向有关的信息中的至少任意一个信息。另外，时机判定部85也可以在动态图像刚刚拍摄之后判定显示辅助图像的时机，辅助图像生成部86根据该判定结果生成辅助图像的数据。并且，也可以设图像的信息为利用被摄体的高度、速度或朝向等的实测值进行预测的结果。另外，在步骤s126中时机判定部85判定为不是显示辅助图像的时机的情况下(步骤s126：否)，摄像装置1转移到步骤s129。该时机当然可以是再现显示的中途，也可以是再现显示的前后。如果在再现前进行显示，则期待感提高，能够引起鉴赏者、观察者的注意。并且，当在再现后进行显示时，能够享受结局和预测，成为结尾或返场的效果。

然后，显示控制部88使显示部6显示辅助图像(步骤s128)。图6所示的辅助图像301是辅助图像的显示部6中的一个显示例。

然后，在输入部4受理了结束再现的指示输入的情况下(步骤s129：是)，历史图像生成部87生成历史图像的数据(步骤s130)。在输入部4未受理结束再现的指示输入的情况下(步骤s129：否)，摄像装置1返回步骤s121。另外，历史图像生成部87也可以与再现结束指示无关，在生成了动态图像数据的时点预先生成历史图像的数据，并将其存储在图像数据存储部91中。

图10是示出历史图像生成部87进行的历史图像的数据生成处理(步骤s130)的概要的流程图。首先，历史图像生成部87进行有效数据判定(步骤s201)。这里所说的有效数据是指在表示与被摄体的运动有关的历史的方面有效的数据，例如是能够在多帧中跟踪的被摄体的代表点等。

接着，历史图像生成部87判定被摄体的大小的变化(步骤s202)。在判定为被摄体的大小的变化较小的情况下(步骤s202：是)，历史图像生成部87转移到步骤s203。另一方面，在判定为被摄体的大小的变化较大的情况下(步骤s202：否)，历史图像生成部87结束历史图像生成处理。例如根据多个代表点之间的距离的帧间的变化量是否超过阈值来判定这里的被摄体的大小的变化量。

在步骤s203中，历史图像生成部87判定被摄体的反复动作的起点和终点(步骤s203)。在能够判定被摄体的反复动作的起点和终点的情况下(步骤s203：是)，历史图像生成部87转移到步骤s204。另一方面，在无法判定被摄体的反复动作的起点和终点的情况下(步骤s203：否)，历史图像生成部87结束历史图像生成处理。

在步骤s204中，历史图像生成部87描绘有效数据(步骤s204)。然后，历史图像生成部87进行对描绘出的有效数据进行插值来描绘被摄体的历史的处理(步骤s205)。由此，历史图像的数据完成，历史图像生成部87结束一连串的处理。图7所示的历史图像401是该步骤s205中显示的历史图像的一个显示例。观察到这种历史图像的人能够预测被摄体的时间上的推移，并且能够计测与运动对应的速度和高度等的量。另外，不仅能够如图7所示一次性显示全部历史，还能够进行随着时间经过而逐渐描绘历史这样的显示。并且，也可以根据历史图像进行与将来的被摄体的移动(时间推移)有关的预测，显示该预测结果。

再次返回图9，对摄像装置1在步骤s130之后进行的处理进行说明。在存在历史图像的数据的情况下(步骤s131：是)，显示控制部88使显示部6显示该历史图像(步骤s132)。然后，摄像装置1转移到上述步骤s109(参照图8)。另一方面，在步骤s131中不存在历史图像的数据的情况下(步骤s131：否)，摄像装置1转移到步骤s109。

再次参照图8对步骤s118中选择了静态图像缩略图的情况(步骤s118：否)进行说明。该情况下，显示控制部88使显示部6显示选择出的静态图像(步骤s133)。

接着，在输入部4受理了对再现图像进行变更的指示输入的情况下(步骤s134：是)，显示控制部88使显示部6再现显示根据指示进行变更后的图像(步骤s135)。具体而言，当输入部4受理图像变更的指示输入后，首先，显示控制部88使显示部6以缩略图的方式显示可选择的图像，向用户提示要变更的图像的选择输入。然后，在以缩略图的方式显示的画面上，当输入部4受理缩略图的选择输入后，显示控制部88使显示部6放大并再现显示与选择出的缩略图对应的静态图像。然后，摄像装置1转移到步骤s109。

在步骤s134中输入部4未受理对再现图像进行变更的指示输入的情况下(步骤s134：否)，显示控制部88转移到步骤s109。

最后，对步骤s115中摄像装置1未设定为再现模式的情况(步骤s115：否)进行说明。该情况下，摄像装置1转移到其他可设定的模式。省略与其他可设定的模式有关的记载。

根据以上说明的本发明的一个实施方式，使用连续拍摄的多个图像的数据判定该多个图像的拍摄方向有无变化，根据拍摄方向有无变化来计算多个图像中拍摄出的被摄体的位置的变化量，生成显示与变化量相关联的被摄体的信息的辅助图像的数据，所以，观察再现图像的人能够通过辅助图像直观地掌握被摄体的特征。

并且，根据本实施方式，通过在动态图像再现中插入辅助图像，能够实现具有变化的动态图像再现。

并且，根据本实施方式，在再现图像中附带显示被摄体的历史图像，所以，观察再现图像的人能够直观地掌握被摄体中的特征的历史。

另外，上述摄像装置1也可以使用包含摄像部2且具有摄像功能的镜头型照相机和能够与该照相机进行通信的智能手机等便携设备构成。该情况下，本实施方式的图像处理装置的功能既可以在照相机侧实现，也可以在便携设备侧实现。

摄像装置1只要具有与被摄体的运动有关的计测功能和预测功能即可，也可以应用于监视照相机或车载照相机等。该情况下，根据固定摄像装置1的位置和可动范围，包含从gps(globalpositioningsystem)取得的位置信息、仰角信息和方位信息等在内，能够增多用于计测或预测被摄体的运动和位置变化的各种信息的数量，并且能够提高各种信息的精度。在能够增多各种信息的数量并取得高精度的信息的情况下，能够生成具有多个信息的丰富多彩的辅助图像。

并且，上述摄像装置1例如可以是如医疗用和工业用的内窥镜那样具有摄像功能的装置整体。该情况下，使处理器侧具有本实施方式的图像处理装置的功能即可。

并且，还可以将上述摄像装置1应用于显微镜和测定用观察设备。该情况下，能够通过辅助图像对用户的视觉辨认性进行辅助。另外，不仅是被摄体的运动，还可以对装置自身的运动进行可视化，对用户的操作进行辅助。

在本说明书的流程图的说明中，使用“首先”、“然后”、“接着”等表现明示了步骤间的处理的前后关系，但是，实施上述实施方式所需要的处理的顺序不由这些表现唯一决定。即，能够在不矛盾的范围内对本说明书中记载的流程图中的处理的顺序进行变更。

并且，本说明书中使用流程图说明的处理的算法可以记述为程序。这种程序可以记录在计算机内部的存储部中，也可以记录在计算机可读取的记录介质中，例如存储在存储卡(rom卡、ram卡等)、磁盘(硬盘等)、光盘(cd-rom、dvd等)、半导体存储器等外部存储装置的存储介质中进行发布。关于程序针对存储部或记录介质的记录，可以在将计算机或记录介质作为产品进行出厂时进行记录，也可以通过经由通信网络的下载进行记录。

这样，本发明可以包括这里未记载的各种实施方式，能够在由权利要求书确定的技术思想范围内进行各种设计变更等。

标号说明

1：摄像装置；2：摄像部；3：声音输入部；4：输入部；5：姿势检测部；6：显示部；7：声音输出部；8：控制部；9：存储部；21：摄像元件；22：光学系统；81：图像处理部；82：姿势/运动判定部；83：变化判定部；84：变化量计算部；85：时机判定部；86：辅助图像生成部；87：历史图像生成部；88：显示控制部；91：图像数据存储部；92：程序存储部；101：用户；102：滑雪者；201～207：图像；301：辅助图像；311：信息；401：历史图像；411：历史；dm：虚拟图像；sb：滑雪板。