图像抽取装置、图像抽取程序以及图像抽取方法

专利名称：图像抽取装置、图像抽取程序以及图像抽取方法
技术领域：
本发明涉及一种抽取连续拍摄的图像列或运动图像帧图像列中的场景发生变化
的位置、有效的图像的图像抽取装置、图像抽取程序以及图像抽取方法。
背景技术：
以往，已知一种抽取运动图像等连续的图像列中的场景发生变化位置处的图像 (下面，称为"场景变化图像")的图像抽取装置。在该图像抽取装置中，操作者对所抽取出 的规定张数的场景变化图像进行确认，由此即使不对图像列所包含的所有图像进行确认也 能够在短时间内掌握整个图像列的大概内容，从而能够简单地找到操作者所期望的场景或 图像(专利文献1)。 并且，还已知如下一种图像抽取装置使用主要帧中的由操作者选择的图像的图 像信息来变更主要帧的抽取条件，重新抽取主要帧，其中，上述主要帧为从运动图像列中处 于场景变化帧之间的图像群中作为表示场景的内容的图像而被抽取出的帧(专利文献2、 3)。 专利文献1 :日本特开2001-54055号公报
专利文献2 :日本特开2006-217045号公报
专利文献3 :日本特开2006-217046号公报

发明内容
制脾船迪、nl题 以往的图像抽取装置使用以规定的抽取条件抽取出的图像变更重复抽取条件来 抽取图像。因而，在初始设定的抽取条件不适当的情况下，作为结果会导致使用对操作者来 说满意度较低的图像来变更重复抽取条件。因此，无法广泛反映操作者的意向地变更抽取 条件，作为结果，存在即使对抽取条件进行变更也无法可靠地抽取操作者所期望的场景变 化图像的情况。 本发明是鉴于上述问题而完成的，其目的在于提供一种易于抽取操作者所期望的
场景变化图像的图像抽取装置、图像抽取程序以及图像抽取方法。 肝碰l、口扁勺錄 为了解决上述问题并达到目的，本发明所涉及的图像抽取装置的特征在于，具备 场景变化图像抽取单元，其使用规定的抽取条件从按时间序列拍摄的图像列中抽取场景发 生变化的位置处的图像作为场景变化图像；显示单元，其显示附近图像，该附近图像是在拍 摄到上述场景变化图像的时刻附近的时刻拍摄到的图像；操作历史记录获取单元，其获取 上述附近图像中的接受了规定的浏览操作的图像的图像信息以及上述规定的浏览操作的 历史记录信息；以及变更单元，其使用由上述操作历史记录获取单元获取的上述图像信息 以及上述操作的历史记录信息来变更上述抽取条件，其中，上述场景变化图像抽取单元使 用由上述变更单元变更后的上述抽取条件来重新抽取场景发生变化的位置处的图像。
另外，本发明所涉及的图像抽取程序的特征在于，使计算机执行以下过程场景变
化图像抽取过程，使用规定的抽取条件从按时间序列拍摄的图像列中抽取场景发生变化的
位置处的图像作为场景变化图像；显示过程，显示附近图像，该附近图像是在拍摄到上述场
景变化图像的时刻附近的时刻拍摄到的图像；操作历史记录获取过程，获取上述附近图像
中的接受了规定的浏览操作的图像的图像信息以及上述规定的浏览操作的历史记录信息；
以及变更过程，使用通过上述操作历史记录获取过程获取的上述图像信息以及上述操作的
历史记录信息来变更上述抽取条件，其中，在上述场景变化图像抽取过程中，使用通过上述
变更过程变更后的上述抽取条件来重新抽取场景发生变化的位置处的图像。 另外，本发明所涉及的图像抽取方法的特征在于，包括以下步骤场景变化图像抽
取步骤，使用规定的抽取条件从按时间序列拍摄的图像列中抽取场景发生变化的位置处的
图像作为场景变化图像；显示步骤，显示附近图像，该附近图像是在拍摄到上述场景变化图
像的时刻附近的时刻拍摄到的图像；操作历史记录获取步骤，获取上述附近图像中的接受
了规定的浏览操作的图像的图像信息以及上述规定的浏览操作的历史记录信息；以及变更
步骤，使用在上述操作历史记录获取步骤中获取的上述图像信息以及上述操作的历史记录
信息来变更上述抽取条件，其中，在上述场景变化图像抽取步骤中，使用在上述变更步骤中
变更后的上述抽取条件来重新抽取场景发生变化的位置处的图像。 制月隨果 本发明所涉及的图像抽取装置起到易于抽取操作者所期望的场景变化图像的效 果。


图1是表示本发明的实施方式所涉及的图像抽取装置的结构的框图。 图2是表示由图1所示的图像抽取装置进行的图像抽取处理以及抽取条件变更处
理过程的流程图。 图3是表示由图1所示的图像抽取装置进行的图像抽取处理以及抽取条件变更处 理的概要的图。 图4是表示由图l所示的图像抽取装置抽取出的图像的显示例的图。
图5是表示图像列中的图像的具体例的图。 图6是表示通过对图5所示的图像进行边缘抽取处理而得到的边缘抽取图像的 图。 图7是表示由变形例1所涉及的图像抽取装置进行的图像抽取处理以及抽取条件 变更处理的概要的图。 图8是表示由变形例2所涉及的图像抽取装置进行的图像抽取处理以及抽取条件 变更处理的概要的图。 图9是表示由图1所示的图像抽取装置抽取出的图像的显示例的图。
图10是表示由图1所示的图像抽取装置抽取出的图像的显示例的图。
图11是表示由图1所示的图像抽取装置抽取出的图像的显示例的图。
图12是表示图像信息的重要度的设定处理的概要的图。
图13是表示本发明的实施例所涉及的被检体内信息获取系统的结构的图。
6
图14是表示实施例的变形例所涉及的图像抽取装置的结构的框图。
附图标记说明 1、1000 :控制部；2 :存储部；3 :显示部；4 :输入部；5 :胶囊型内窥镜；6 :接收装 置；6a、6b、6c、6d、6e、6f、6g、6h :接收天线；10、10':图像列；11 :图像读入部；12 :场景变 化图像抽取部；13 :附近图像显示控制部；14 :操作历史记录获取部；15、17 :抽取条件变更 部；16 :脏器确定部；20 :场景变化图像列；30、31、32 :附近图像列；41、42、43 :图像(具体 例)；41e、42e、43e :边缘抽取图像；51 :暂停按钮；52 :再现按钮；53 :反向再现按钮；54 :正 向逐帧播放按钮；55 :反向逐帧播放按钮；56 :选择按钮；10-1 10_N :图像；20-1 20_n : 场景变化图像；30-1 30-n':附近图像；121 :特征量算出部；122 :变化量算出部；123 :变 化量信息附加部；124 :合并变化量算出部；125 :抽取部；126 :抽取张数设定部；401、402、
412、403 :对象；401e、402e、412e、403e :边缘部；H :被检体。
具体实施例方式
下面，参照附图来说明作为用于实施本发明的较佳方式的图像抽取装置、图像抽 取程序以及图像抽取方法。此外，本发明不限定于各实施方式。另外，在附图的记载中，对 同一部分或相当的部分附加同一 附图标记。
(实施方式) 图1是表示本发明的实施方式所涉及的图像抽取装置的结构的框图。图1所示的 图像抽取装置具备控制部l，其具备运算功能和控制功能；存储部2，其存储包括连续的图 像列的图像信息的各种信息；显示部3，其进行包含图像的信息的显示输出；以及键盘、鼠 标等输入部4。利用具备CPU、 R0M、 RAM等的计算机来实现该图像抽取装置。
控制部1具备图像读入部ll，该图像读入部11读入存储部2所存储的图像列中的 时间上连续的图像列的图像。另外，控制部1具备场景变化图像抽取部12和附近图像显示 控制部13。场景变化图像抽取部12使用规定的抽取条件从由图像读入部11读入的图像列 中的图像中抽取场景变化图像。另外，附近图像显示控制部13进行将附近图像显示于显示 部3的控制，该附近图像是在拍摄到由场景变化图像抽取部12抽取出的场景变化图像的时 刻附近的时刻拍摄到的图像。 并且，控制部1具备操作历史记录获取部14和抽取条件变更部15。操作历史记 录获取部14获取显示部3所显示的附近图像中的接受了由操作者进行的规定的浏览操作 的附近图像的图像信息、以及作为与操作的内容有关的信息的操作的历史记录信息。抽取 条件变更部15使用由操作历史记录获取部14获取到的图像的信息以及操作的历史记录信 息来变更用于抽取场景变化图像的抽取条件。此外，在本实施方式中，操作历史记录获取部 14也一并获取接受了由操作者进行的规定的浏览操作的场景变化图像的图像信息以及操 作的历史记录信息，抽取条件变更部15在变更抽取条件时，将操作历史记录获取部14所获 取到的有关场景变化图像的信息与有关附近图像的信息一并进行使用。
另外，场景变化图像抽取部12具备特征量算出部121、变化量算出部122、变化量 信息附加部123、合并变化量算出部124、抽取部125以及抽取张数设定部126。特征量算 出部121对由图像读入部11读入的各图像的每个图像算出多个规定的特征量。变化量算 出部122使用由特征量算出部121算出的特征量算出规定的图像之间的特征量的变化量。
7变化量信息附加部123将由变化量算出部122算出的特征量的变化量的信息附加给所对应 的图像。并且，合并变化量算出部124使用与附加给各图像的多个特征量的变化量有关的 信息，对各图像算出将多个特征量的变化量进行组合合并而得到的合并变化量。接着，抽取 部125使用由合并变化量算出部124算出的各图像的合并变化量，从图像列中抽取由抽取 张数设定部126预先设定的张数的图像。此外，该抽取张数是由抽取张数设定部126预先 设定的，但是也可以由操作者通过输入部4将该抽取张数输入到抽取张数设定部126。
具有以上各部的图像抽取装置所具备的CPU通过从存储部2读出用于执行本实施 方式所涉及的图像抽取处理的图像抽取程序，执行与该图像抽取处理有关的运算处理。此 外，也能够将本实施方式所涉及的图像抽取程序记录到软盘、CD-R0M、 DVD-R0M、闪存等计算 机能够读取的记录介质中而使其广泛流通。因而，本实施方式所涉及的图像抽取装置也可 以具备能够读取上述各种记录介质中的任一个的辅助存储装置。 图2是表示本实施方式所涉及的图像抽取处理过程的流程图。首先，图像读入部 11从存储部2读入构成图像列的全部图像张数、图像尺寸等信息(步骤S101)。之后，特征 量算出部121使用图像读入部11所读入的图像信息算出各图像的特征量(步骤S102)。此 外，对一张图像算出多个特征量。之后，变化量算出部122算出相离预先规定的时间间隔的 图像之间的特征量的变化量(步骤S103)。此外，在这种情况下，变化量算出部122算出多 个特征量的各个特征量的变化量。接着，变化量信息附加部123将与由变化量算出部122 算出的特征量的变化量有关的信息附加给所对应的图像(步骤S104)。
接着，合并变化量算出部124使用附加给各图像的多个特征量的变化量，算出作 为各图像所固有的量的合并变化量(步骤S105)。例如，合并变化量算出部124使用对按特 征量设定的权重系数对各特征量的变化量进行加权，对加权后的多个特征量的变化量进行 合并来算出合并变化量。此外，在本实施方式中，将各特征量的权重系数设定为场景变化图 像的抽取条件。 之后，抽取部125从图像列中的图像中从合并变化量较大的图像起按顺序抽取由 抽取张数设定部126设定的张数的图像作为场景变化图像(步骤S106)。并且，场景变化图 像抽取部12输出由抽取部125抽取出的场景变化图像，将其显示于显示部3 (步骤S107)。
之后，控制部1判断显示部3所显示的场景变化图像中的任一个图像是否被操作 者通过输入部4所选择(步骤S108)。在获取到了作为图像被选择的信息的图像选择信息 的情况下(步骤S108 :"是")，附近图像显示控制部13将所选择的场景变化图像的附近图 像与所选择的场景变化图像一起显示于显示部3(步骤S109)。另一方面，在没有获取到图 像选择信息的情况下(步骤S108:"否")，直接转移到步骤S110。此外，也可以设为与场景 变化图像的选择无关地都显示附近图像。 在步骤S110中，判断是否存在场景变化图像的显示结束指示。在没有获取到场 景变化图像的显示结束指示的情况下(步骤S110 :"否")，转移到步骤S107，进行上述的处 理。另一方面，在获取到了场景变化图像的显示结束指示的情况下(步骤S110:"是")，抽 取条件变更部15变更抽取条件，将该抽取条件存储到存储部2(步骤Slll)。具体地说，抽 取条件变更部15使用直到获取结束指示为止由操作历史记录获取部14所获取到的信息、 即显示部3所显示的场景变化图像以及附近图像中的接受了由操作者进行的规定的浏览 操作的图像的图像信息以及操作的历史记录信息，来变更作为抽取条件的各特征量的权重
8系数。另一方面，在不存在场景变化图像的显示结束指示的情况下(步骤S108:"否")，转
移到步骤S107，重复上述处理。 之后，控制部1判断是否对场景变化图像抽取部12输入了重新抽取场景变化图像的指示(步骤S112)。在存在重新抽取场景变化图像的指示的情况下(步骤S112 :"是")，转移到步骤S105，合并变化量算出部124使用变更后的权重系数再次算出各图像的合并变化量，重复步骤S106以后的处理。另一方面，在没有对场景变化图像抽取部12输入重新抽取场景变化图像的指示的情况下(步骤S112 :"否")，控制部1结束本图像抽取处理。
此外，在接受了由操作者进行的规定的浏览操作的图像中，除了接受了由操作者进行的选择操作的图像以外，还包括接受了表示不是主要图像的意思的操作的图像。表示不是主要图像的意思的操作的图像是如下的图像例如接受了删除操作的图像、在按时间序列顺序依次显示图像的情况即进行运动图像显示的情况下接受了跳过等忽略操作的图像等主观上未接受到由操作者进行的浏览操作的图像。 在本实施方式所涉及的图像抽取装置中，通过图2所示的图像抽取处理来抽取场景变化图像以及位于场景变化图像附近的附近图像并显示于显示部3，使用所显示的该场景变化图像以及附近图像中的接受了由操作者进行的浏览操作和规定的操作的图像的图像信息以及操作的历史记录信息来变更抽取条件，利用该抽取条件重新抽取场景变化图像。 在此，使用图3来说明上述图像抽取处理的具体的图像抽取处理。图3是表示使用规定的抽取条件抽取时间上连续的图像列中的图像、使用抽取出的图像中的接受了规定的浏览操作的图像的图像信息以及操作的历史记录信息来变更抽取条件的处理的概要的图。时间上连续的图像列10具有以时间间隔A t相邻的N张图像10-1 IO-N。通过图2的步骤S102 S106所示的处理，从图像列10中抽取n(n < N)张场景变化图像列20(20-1 20-n)。其结果，图像10-1 10-N被场景变化图像20-1 20_n进行n分割。之后，通过步骤S107的处理，将场景变化图像20-1 20-N显示于显示部3。 在所显示的场景变化图像20-1 20-n中的场景变化图像20_i接受了由操作者进行的选择操作的情况下，通过步骤S109的处理，将场景变化图像20-i以及具有场景变化图像20-i的附近图像30-1 30-n'的附近图像列30显示于显示部3。此夕卜，n'的值能够由操作者指定，也能够设为预先决定的值，或者，还能够根据场景变化图像20-(i-l)与20-i之间的图像的张数、场景变化图像20-i与20-(i+l)之间的图像的张数来设定。在图3所示的例中，附近图像30-l 30-n'是场景变化图像前后的图像中的n'张图像。不限于图3的例，也可以仅将场景变化图像20-i之前的n'张图像作为附近图像进行显示，还可以仅将场景变化图像20-i之后的n'张图像作为附近图像进行显示。 并且，通过步骤Slll的处理，使用如图3所示的场景变化图像20-i以及附近图像30-i'那样接受了由操作者进行的选择操作的图像等接受了由操作者进行的规定的浏览操作的图像的图像信息以及操作的历史记录信息来变更抽取条件。 此外，图4是场景变化图像以及附近图像的显示例。如图4所示，场景变化图像20-1 20-n縮略图显示于显示部3的显示画面3a。并且，如图4所示，在场景变化图像20_i接受了由操作者进行的选择操作的情况下，在运动图像显示区域50对附近图像列30-1 30-n'进行运动图像显示。此外，运动图像显示区域50具备暂停按钮51、再现按钮52、反向再现按钮53、正向逐帧播放按钮54以及反向逐帧播放按钮55。暂停按钮51是将使运动图像显示暂时停止、使正在显示的图像直到接受其它操作为止进行显示的指示输入到控制部1的按钮。再现按钮52是将按时间序列顺序显示图像的指示输入到控制部1的按钮，反向再现按钮53是将与时间序列相反地再现图像的指示输入到控制部1的按钮。正向逐帧播放按钮54和反向逐帧播放按钮55是将在各个再现方向上放慢再现速度、延长各图像的显示时间的指示输入到控制部1的按钮。此外，在这种情况下，接受了由操作者进行的浏览操作和规定的操作的图像是指在由操作者选择上述按钮时显示于显示部3的图像。
接着，使用图5和图6说明图像的特征量、场景变化图像以及附近图像的具体例。首先，图5是表示图像列10中的图像的一例的图。在图5中，以时间间隔At相邻的三张图像41(时间t = t》、42(t = t一At)、43(t = t一2At)中分别拍摄有星型的对象401、402、403。这三个对象401、402、403是同一对象。在图5中，示出了星型的对象在相同视场内匀速向水平方向右侧移动的情况。此外，在图像42中，也拍摄到了与星型的对象402相比较小的月牙型的对象412。 作为图5所示的图像的特征量，例如有对象401、402、403的色彩、图像数量等。并且，也能够使用如图6所示那样的边缘抽取图像来算出特征量，该边缘抽取图像为通过对图5所示的图像41、42、43所分别包含的对象401、402、403、412实施边缘抽取处理(或者也可以是轮廓抽取处理)而得到的图像。在此，如图6所示，在边缘抽取图像41e中显示对象401的边缘部401e，在边缘抽取图像42e中显示对象402、412的边缘部402e、412e，在边缘抽取图像43e中显示对象403的边缘部403e 。当将图像的特征量之一设为由边缘部包围的面积(下面，称为"边缘部的面积")时，作为图像41的特征量的边缘部401e的面积与作为图像42的特征量的边缘部402e的面积相同，作为图像43的特征量的边缘部403e的面积小于边缘部401e、402e的面积。 因而，在使用相离时间间隔At的图像之间的特征量的变化量作为规定的图像之间的特征量的变化量并且边缘部的面积的权重系数较大、其它特征量的权重系数较小的情况下，本实施方式所涉及的图像抽取装置抽取图像41、42、43中的图像43作为场景变化图像来并显示于显示部3。 并且，本实施方式所涉及的图像抽取装置显示由操作者选择的场景变化图像的附近图像。因而，当由操作者选择图像43时，该图像抽取装置将包括图像42的规定张数的附近图像显示于显示部3。因此，在出现月牙型的对象412的图像也是操作者期望为场景变化图像的图像的情况下，如果操作者对图像42进行选择操作等规定的浏览操作，则本实施方式所涉及的图像抽取装置使用图像42的图像信息来变更抽取条件。作为结果，抽取条件被变更，使得当下一次以后抽取场景变化图像时，易于将出现月牙型的对象412的图像也作为场景变化图像而抽取出来。例如，在实施方式所涉及的图像处置装置中，抽取条件被变更使得对象的色彩、对象的形状等特征量的变化量的权重系数变大。 此外，在本实施方式中，作为图像变化量，也能够使用上述图像的特征量以外的量作为特征量。例如，也可以使用归一化相互相关作为特征量的变化量，还可以使用SSD(所对应的像素成分的差的平方和)、SAD(所对应的像素成分的差的绝对值和)等的类似度作为特征量的变化量。另外，也可以使用对图像列中的全部图像乘以平均像素值或除以平均像素值而得到的结果的SSD、 SAD作为特征量的变化量，还可以使用对将图像分割得到的
10分割图像乘以各分割图像的平均像素值或除以各分割图像的平均像素值而得到的结果的SSD、SAD作为特征量的变化量。并且，也能够算出在空间内规则地(例如，等间隔地)选择出的点、局部特征较大的特征点，使用这种点的移动量或光流的大小(绝对值)作为特征量的变化量。在此所述的特征量的变化量与将边缘部所形成的图形的面积作为特征量而算出的变化量在质上不同。因而，如果使用合并各种特征量的变化量而得到的合并变化量，就能够从各种观点出发抽取场景发生变化的位置处的图像。 接着，具体说明变更抽取条件的处理。首先，说明使用附加给各图像的特征量的变化量来抽取场景变化图像、并且抽取附近图像的处理。此外，在以下的说明中，将图像列10中的图像的特征量的个数设为M(M是2以上的整数)，将图像列IO所具有的图像的张数设为N(N是2以上的整数)。另外，将图像列10所具有的图像10-1 10-N的图像信息按拍摄时间顺序设为L IN。当将由变化量信息附加部123附加给第q个图像的第p个特征量的变化量表示为AF^时，将附加给图像列IO的图像的特征量的变化量总结为由下式(1)表示的变化量矩阵AF。
[式1]
AF,, AF,
12
AF,,
厶F,
1M
厶F，
厶F,
(1)
LN1 "*NM, 此外，在实施方式中，使用了种类不同的多个特征量，各特征量的大小并非是统一的。因此，在构成单纯以各特征量的变化量为成分的矢量的情况下，当对矢量的大小进行阈值处理时，具有相对较大的值的特征量的影响力占支配地位，而具有相对较小的值的特征量的影响未得到反映。因此，在本发明的实施方式中，对由变化量算出部122算出的多个特征量的变化量进行归一化处理，将以通过该归一化处理得到的值为成分的特征量的变化量矢量设为各图像的变化量矢量。
[式2] 具体地说，图像10-q的变化量矢量冗如下式(2)所示。
— M — fq -J]WjtKj-(厶F(lj —厶Fj)'
(2) 在此，与各特征量方向相当的维度的单位矢量;(p^1， 2，…M)满足V/7,/7'(p^p'， p=l， 2，…M)、ip丄ip,另外，在式(2)中，将按特征量的权重系数设
为w！ wM。 并且，分别用下式(3)和下式(4)表示特征量的(图像)平均Ag和归一化系数
—1 N
AF,^Z厶F^
(3)
11
K,(^l;(AFip—A^) } =丄=+ ...(4)
在式(4)中o p是标准偏差，Vp表示分散。 在利用式(2)给出各图像的变化量矢量的情况下，利用下式(5)给出按每个对多个特征量的变化量进行组合合并而得到的合并变化量Simq。
[式3] Simq = ||fq ... (5 ) 合并变化量Sim,表示规定的图像之间的类似度，在合并变化量Sim,较小的情况下，规定的图像之间的类似度较高。因而，场景变化图像抽取部12的抽取部125从合并变化量Sim,较大的图像起按顺序抽取规定张数的图像作为场景变化图像。附近图像显示控制部13将规定张数的、与由操作者选择出的场景变化图像相邻的图像显示于显示部3。
接着，具体说明使用场景变化图像和附近图像中的接受了由操作者进行的浏览操作和规定的操作的图像的图像信息以及操作的历史记录信息来变更作为抽取条件的权重系数的处理。在本实施方式中，为了变更抽取条件，使用在信息检索领域中使用的适应性反馈这种方法。即，抽取条件变更部15使用接受了由操作者进行的浏览操作和规定的操作的图像的图像信息、操作的历史记录信息以及式(6)来算出权重系数的矩阵w'。
[式4]w'-歸十/5 2g-y ...(6)
F,Dr f,dn w和w'是权重系数的矩阵，以下式(7)和(8)表示。
w = w2. wM) ... (7) w' = (w/ w2' wM' ) ... (8) 另外，Fi和Fj是表示每个图像的特征量的变化量的矩阵，以下式(9)和(10)表示。
Fi=(AFn AFi2...AFiM) ... (9) Fj = (AFji AFj,.. AFjM) ... (10) 在式(6)中，a、 13 、 Y是0以上的常数。此外，根据合并变化量Sim,与变更后的权重系数的矩阵w'的关系对常数a、 13、 Y进行设定。另外，A表示操作者所期望的图像的集合，D,表示操作者不期望的图像的集合。抽取条件变更部15使用操作的历史记录信息来判断是否是操作者所期望的图像。抽取条件变更部15使用式(6)来变更权重系数，以增加操作者所期望的图像中变化量较大的特征量的权重，减小操作者不期望的图像中变化量较大的特征量的权重。 并且，作为具体的处理，抽取条件变更部15将特征量的变化量的矩阵Fi、Fj以及变更前的权重系数的矩阵w的信息代入到式(6)之后，增减常数a、 13 、 Y来求出使规定的图像的合并变化量Sim,最小的权重系数的矩阵w'。然后，抽取条件变更部15使用所求出的权重系数w'算出规定的图像以外的图像的合并变化量Sinv 这样，实施方式所涉及的图像抽取装置不仅能够使用以预先设定的场景变化图像的抽取条件抽取出的场景变化图像20-i的图像信息来变更场景变化图像的抽取条件，还能够使用以预先设定的抽取条件未能抽取出的附近图像30-i'的图像信息来变更场景变化图像的抽取条件。即，本实施方式所涉及的图像抽取装置能够对预先设定的抽取条件中不
12足的条件进行补充等广泛反映操作者的意向地变更抽取条件。因而，本实施方式所涉及的
图像抽取装置易于抽取操作者所期望的场景变化图像。(变形例1) 此外，在上述实施方式中，附近图像是根据场景变化图像之间的图像张数设定的图像张数的与场景变化图像相邻的图像，但是，在本变形例1中，将在拍摄各场景变化图像之间所拍摄的图像中的至少一半图像设为附近图像。例如，如图7所示，附近图像显示控制部13将如下的图像作为附近图像列31显示于显示部3 :在拍摄由操作者选择的场景变化图像20-i与拍摄场景变化图像20-(i-l)之间所拍摄的图像中的一半图像且与场景变化图像20-i相邻的图像、以及在拍摄场景变化图像20-i与拍摄场景变化图像20-(i+l)之间所拍摄的图像中的一半图像且与场景变化图像20-i相邻的图像。S卩，将作为场景变化图像20-i的前后图像的在拍摄场景变化图像20-i和其它场景变化图像之间所拍摄的图像中的至少一半图像作为附近图像显示于显示部3。 在本变形例1中，图像列IO所具有的所有图像相当于场景变化图像或附近图像中的任一个图像，变形例l所涉及的图像抽取装置能够使用图像列io所具有的所有图像的图像信息来变更抽取条件。因而，在本变形例l所涉及的图像抽取装置中，更可靠地易于抽取操作者所期望的场景变化图像。
(变形例2) 另外，在变形例2中，至少将在拍摄规定的场景变化图像和其它场景变化图像之间所拍摄的所有图像作为附近图像进行显示。例如，如图8所示，变形例2所涉及的图像抽取装置将位于操作者所选取的场景变化图像20-i与场景变化图像20-(i+l)之间的所有图像作为场景变化图像20-i的附近图像列32进行显示。 本变形例2所涉及的图像抽取装置至少显示接在操作者所选择的场景变化图像20-i之前或之后一个场景的所有图像。因而，操作者能够按场景浏览图像，因此能够在掌握场景变化图像之间的整个场景的内容的基础上变更抽取条件。此外，在本变形例中，也能够构成为将从场景变化图像20-i之前一张或多张的图像到场景变化图像20-(i+l)的图像作为附近图像进行显示。另外，还可以构成为显示接在场景变化图像之前和之后的场景、即场景变化图像前后两个场景的所有图像。在本变形例2中，图像列10所具有的所有图像相当于场景变化图像或附近图像中的任一个图像，从而能够使用图像列io所具有的所有图像的图像信息来变更抽取条件。因而，更可靠地易于抽取操作者所期望的场景变化图像。
(变形例3) 另外，在上述实施方式中，图像抽取装置在显示画面3a上縮略图显示场景变化图像20-1 20-n，但是在本变形例3中，在显示画面3a上对场景变化图像20_1 20_n也进行运动图像显示。即，如图9所示，变形例3所涉及图像抽取装置按时间序列顺序对场景变化图像20-l 20-n进行运动图像显示。当由操作者选择选择按钮56而选择按钮56被选择时，本变形例3所涉及的图像抽取装置在显示画面3a上对显示于显示画面3a的场景变化图像20-i的附近图像进行运动图像显示。所显示的附近图像是使用图3、图7、图8说明的任一个附近图像。 本变形例3所涉及的图像抽取装置将场景变化图像逐张地显示于显示画面3a，因此能够降低虽然显示了操作者所期望的场景变化图像却没注意到显示而导致漏看该图像
13的危险性。(变形例4) 另外，在上述实施方式中，图像抽取装置对附近图像30-1 30-n'进行运动图像显示，但是在本变形例4中，对附近图像30-l 30-n'进行縮略图显示。S卩，如图IO所示，在选择了场景变化图像20-i的情况下，本变形例4所涉及的图像抽取装置对场景变化图像20-i以及附近图像30-1 30-n'进行縮略图显示。 这样，变形例4所涉及的图像抽取装置对场景变化图像20-i以及附近图像30-1 30-n'进行列表显示，因此操作者能够一边对各图像进行比较一边进行浏览。因此，在变形例4所涉及的图像抽取装置中，易于发现附近图像之间的差异，操作者能够容易地
发现所期望的图像。
(变形例5) 另外，在上述实施方式中，接受了规定的浏览操作的图像是接受了由操作者进行的选择操作、删除操作的图像，但是在本变形例5中，在接受了规定的浏览操作的图像中也包括如图IO所示那样接受了由指示装置(例如，指针)指示(例如，点击)图像的操作的图像，如图11所示那样与指示装置移动的轨迹重合的图像，即在显示画面3a中指针所通过的图像。 关于本变形例5所涉及的图像抽取装置，操作者所点击的图像以及操作者使指针通过的图像等没有接受由操作者主动进行的选择操作，但是能够在变更抽取条件时也使用引起操作者兴趣的图像的信息，因此与实施方式所示的情况相比，能够变更为更广泛地反映操作者的意向的抽取条件。因而，更可靠地易于抽取操作者所期望的场景变化图像。
此外，在操作者能够选择运动图像显示或縮略图显示的任一个的情况下，实施方式所涉及的图像抽取装置也可以使接受了规定浏览操作的图像包含接受了运动图像显示和縮略图显示之间的切换指示的图像。
(变形例6) 另外，在上述实施方式中，抽取条件变更部15使用操作的历史记录信息来判断接受了由操作者进行的操作的图像是否是操作者所期望的图像，在此基础上使用各图像的图像信息来变更抽取条件，但是在本变形例6中，还根据从操作者处接受的操作的内容对图像信息进行加权，使用加权后的图像信息来变更抽取条件。即，如图12所示，变形例6所涉及的图像抽取装置根据从操作者处接受的操作来设定图像信息的重要度，对接受了规定的操作的图像的图像信息进行加权。 例如，将进行运动图像显示时接受了由操作者进行的选择操作的图像的图像信息设为重要度1来作为最重视的信息，将进行縮略图显示时指针所通过的图像的图像信息设为重要度k，作为不重视但是进行考虑的信息。在此，如果将仅指针通过的图像的图像信息的权重设为接收了由操作者进行的选择操作的图像的图像信息的权重的三分之一，则抽取条件变更部15使接受了由操作者进行的选择操作的图像的特征量的变化量的矩阵Fi，的各值保持不变，另一方面将仅指针通过的图像的特征量的变化量的矩阵Fi，的各值设为三分之一之后，将各个值代入到式(6)，算出作为抽取条件的特征量的权重系数的矩阵w'。
本变形例6所涉及的图像抽取装置使用操作的历史记录信息来估计各图像对操作者来说的重要度，使用根据该重要度进行了加权的图像信息来变更抽取条件，因此与实
14施方式相比，能够变更为更正确地反应操作者的意向的抽取条件。因而，更可靠地易于抽取
操作者所期望的场景变化图像。(实施例) 接着，对本发明的实施例所涉及的图像抽取装置进行说明。本发明的实施例所涉 及的图像抽取装置从由胶囊型内窥镜拍摄的图像列(体腔内图像列)中抽取图像。图13 是示意性地表示具备实施例中示出的图像抽取装置的被检体内信息获取系统的一例的图。 图13所示的被检体内信息获取系统具备胶囊型内窥镜5，其被导入到被检体H的体腔内， 拍摄体腔内图像；接收装置6，其接收由胶囊型内窥镜5发送的无线信号，存储接收到的无 线信号中所包含的图像；以及存储卡等便携式的存储部2，其对接收装置6和图像抽取装置 可安装和拆卸。 胶囊型内窥镜5具有拍摄被检体H的体腔内图像的摄像功能和将包含所拍摄的图 像的无线信号发送到外部的无线通信功能。更具体地说，胶囊型内窥镜5在被检体H的体 腔内前进的同时，例如以0.5秒左右的规定间隔(2Hz左右)拍摄被检体H的体腔内图像， 通过规定的电波将所拍摄的该体腔内图像发送到接收装置6。 接收装置6上连接有接收由胶囊型内窥镜5发送的无线信号的多个接收天线 6a 6h。例如使用环形天线来实现接收天线6a 6h，将它们分散配置于与胶囊型内窥镜 5的通过路径对应的被检体H的身体表面上。只要对被检体H配置一个以上这种接收天线 即可，其配置数并非如图示那样限定为八个。 接收装置6通过接收天线6a 6h中的任一个接收由胶囊型内窥镜5发送的无线 信号，基于所接收到的该无线信号获取被检体H的体腔内图像的图像信息。接收装置6所 获取的图像信息被保存在插入安装到该接收装置6的存储部2中。存储有被检体H的体腔 内图像的图像信息的存储部2被插入安装到图像抽取装置，用于控制部1000中的处理。
在具有以上各装置的被检体内信息获取系统中，胶囊型内窥镜5在被检体H的体 腔内移动八小时左右的时间并进行拍摄，拍摄60000张左右的大量的图像来制作体腔内图 像列。然而，在该体腔内图像列中可能包含很多例如如在同一体内器官中移动时所拍摄的 场景那样类似的图像，人要观察所有的图像是不现实的。 在这种情况下，使用内窥镜进行诊断和治疗的医疗现场期待如下一种技术在短 时间内适当正确地抽取拍摄病变部等应注意的被摄体而得到的图像。但是，不仅诊疗科或 疾病的种类是多种多样的，由于医生不同而体腔内图像中要注意的对象物也是多种多样 的，很难开发一种抽取所有医生所期望的所有图像的图像抽取装置。 因此，在本实施例中，对于由胶囊型内窥镜5拍摄的大量的体腔内图像列，变更场 景变化图像的抽取条件使得抽取出现各医生各自注意的被摄体的图像作为场景变化图像， 使用抽取条件重新抽取场景变化图像。具体地说，使用场景变化图像和附近图像中的由医 生选择的图像的信息以及医生的操作的历史记录信息来变更抽取条件，使用变更后的抽取 条件重新抽取场景变化图像。因而，易于容易地检索医生所期望的图像，从而能够迅速地进 行诊断。(实施例的变形例) 此外，在上述实施例的变形例中，如图14所示，实施例所涉及的被检体内信息获 取系统所具备的图像抽取装置还具备确定各图像中所拍摄的脏器的脏器确定部16，按各图
15像中所拍摄的脏器来变更场景变化图像的抽取条件。具体地说，将操作历史记录获取部14 所获取的信息按脏器确定部16所确定的脏器进行分类。然后，抽取条件变更部17使用分 类后的信息按脏器变更抽取条件。之后，场景变化图像抽取部12按各图像中所拍摄的脏器 更换适用的抽取条件来重新抽取场景变化图像。这样，实施例的变形例所涉及的图像抽取 装置按脏器变更抽取条件，因此，与实施例所涉及的图像抽取装置相比，能够更可靠地抽取 医生所期望的场景变化图像。
产业上的可利用性 如上所述，本发明所涉及的图像抽取装置、图像抽取程序以及图像抽取方法用于 从连续拍摄的图像列、运动图像帧图像列中抽取场景发生变化的位置、有效的图像的情况。
权利要求
一种图像抽取装置，其特征在于，具备场景变化图像抽取单元，其使用规定的抽取条件从按时间序列拍摄的图像列中抽取场景发生变化的位置处的图像作为场景变化图像；显示单元，其显示附近图像，该附近图像是在拍摄到上述场景变化图像的时刻附近的时刻拍摄到的图像；操作历史记录获取单元，其获取上述附近图像中的接受了规定的浏览操作的图像的图像信息以及上述规定的浏览操作的历史记录信息；以及变更单元，其使用由上述操作历史记录获取单元获取的上述图像信息以及上述操作的历史记录信息来变更上述抽取条件，其中，上述场景变化图像抽取单元使用由上述变更单元变更后的上述抽取条件来重新抽取场景发生变化的位置处的图像。
2. 根据权利要求l所述的图像抽取装置，其特征在于， 上述场景变化图像抽取单元抽取多个上述场景变化图像，上述显示单元至少显示张数与在拍摄所抽取出的多个上述场景变化图像中的规定的 场景变化图像和其它场景变化图像之间所拍摄到的图像张数相应的图像作为上述附近图像。
3. 根据权利要求l所述的图像抽取装置，其特征在于， 上述场景变化图像抽取单元抽取多个上述场景变化图像，上述显示单元至少显示在拍摄所抽取出的多个上述场景变化图像中的规定的场景变 化图像和其它场景变化图像之间所拍摄到的图像的一半数量图像作为上述附近图像。
4. 根据权利要求l所述的图像抽取装置，其特征在于， 上述场景变化图像抽取单元抽取多个上述场景变化图像，上述显示单元至少显示在拍摄所抽取出的多个上述场景变化图像中的规定的场景变 化图像和其它场景变化图像之间所拍摄到的所有图像作为上述附近图像。
5. 根据权利要求1 4中的任一项所述的图像抽取装置，其特征在于， 上述显示单元至少显示在拍摄到上述场景变化图像的时刻的前后时刻拍摄到的图像作为上述附近图像。
6. 根据权利要求1 5中的任一项所述的图像抽取装置，其特征在于， 上述显示单元按时间序列顺序依次显示上述附近图像，在将上述附近图像按时间序列顺序依次显示于上述显示单元时，上述操作历史记录获 取单元获取接受了上述规定的浏览操作的上述附近图像的上述图像信息以及上述规定的 浏览操作的历史记录信息，其中，上述规定的浏览操作是上述附近图像的显示的停止、正向 逐帧播放、反向逐帧播放、反向再现的操作。
7. 根据权利要求1 5中的任一项所述的图像抽取装置，其特征在于， 具备指示单元，该指示单元对上述显示单元所显示的上述附近图像进行指示，上述操作历史记录获取单元获取接受了上述规定的浏览操作的上述附近图像的上述 图像信息以及上述规定的浏览操作的历史记录信息，其中，上述规定的浏览操作是上述指 示单元的指示。
8. 根据权利要求7所述的图像抽取装置，其特征在于，上述操作历史记录获取单元将上述显示单元所显示的上述附近图像中的与上述指示 单元的移动轨迹重合的上述附近图像作为接受了上述规定的浏览操作的上述附近图像，获 取该附近图像的上述图像信息以及上述规定的浏览操作的历史记录信息。
9. 根据权利要求7或8所述的图像抽取装置，其特征在于，上述操作历史记录获取单元获取接受了上述规定的浏览操作的上述附近图像的上述 图像信息以及上述规定的浏览操作的历史记录信息，其中，上述规定的浏览操作是将在上 述显示单元中以规定的显示方式进行显示的上述附近图像以不同的显示方式进行显示的 操作。
10. 根据权利要求1 9中的任一项所述的图像抽取装置，其特征在于， 上述变更单元根据上述规定的浏览操作对接受了该规定的浏览操作的上述附近图像的上述图像信息的重要度进行设定，使用根据上述重要度进行了加权的上述图像信息来变 更上述抽取条件。
11. 根据权利要求1 10中的任一项所述的图像抽取装置，其特征在于， 具备张数指定单元，该张数指定单元指定由上述场景变化图像抽取单元抽取的上述图像的张数。
12. 根据权利要求1 11中的任一项所述的图像抽取装置，其特征在于，具备 特征量算出单元，其对每个上述图像算出多个不同种类的特征量； 变化量算出单元，其按上述特征量算出规定的图像之间的上述特征量的变化量；以及 变化量附加单元，其将由上述变化量算出单元算出的上述变化量附加给所对应的上述图像，其中，上述场景变化图像抽取单元使用按上述特征量设定的权重系数作为上述抽取 条件，算出将附加给每个上述图像的多个上述特征量的变化量进行合并而得到的合并变化 量，使用上述合并变化量来抽取上述图像列中的图像，上述变更单元使用由上述操作历史记录获取单元获取的上述图像信息以及上述操作 的历史记录信息来变更上述权重系数。
13. 根据权利要求1 12中的任一项所述的图像抽取装置，其特征在于， 上述图像列是由被导入到被检体的体腔内的胶囊型内窥镜拍摄的体腔内图像列。
14. 根据权利要求13所述的图像抽取装置，其特征在于， 具备脏器确定单元，该脏器确定单元确定拍摄到上述图像的脏器，上述变更单元使用由上述操作历史记录获取单元获取的上述图像信息以及上述操作 的历史记录信息，按由上述脏器确定单元确定的上述脏器变更上述抽取条件。
15. —种图像抽取程序，其特征在于，使计算机执行以下过程场景变化图像抽取过程，使用规定的抽取条件从按时间序列拍摄的图像列中抽取场景 发生变化的位置处的图像作为场景变化图像；显示过程，显示附近图像，该附近图像是在拍摄到上述场景变化图像的时刻附近的时 刻拍摄到的图像；操作历史记录获取过程，获取上述附近图像中的接受了规定的浏览操作的图像的图像 信息以及上述规定的浏览操作的历史记录信息；以及变更过程，使用通过上述操作历史记录获取过程获取的上述图像信息以及上述操作的历史记录信息来变更上述抽取条件，其中，在上述场景变化图像抽取过程中，使用通过上述变更过程变更后的上述抽取条 件来重新抽取场景发生变化的位置处的图像。
16. —种图像抽取方法，其特征在于，包括以下步骤场景变化图像抽取步骤，使用规定的抽取条件从按时间序列拍摄的图像列中抽取场景 发生变化的位置处的图像作为场景变化图像；显示步骤，显示附近图像，该附近图像是在拍摄到上述场景变化图像的时刻附近的时 刻拍摄到的图像；操作历史记录获取步骤，获取上述附近图像中的接受了规定的浏览操作的图像的图像 信息以及上述规定的浏览操作的历史记录信息；以及变更步骤，使用在上述操作历史记录获取步骤中获取的上述图像信息以及上述操作的 历史记录信息来变更上述抽取条件，其中，在上述场景变化图像抽取步骤中，使用在上述变更步骤中变更后的上述抽取条 件来重新抽取场景发生变化的位置处的图像。
全文摘要
一种图像抽取装置，具备场景变化图像抽取部(12)，其使用规定的抽取条件从连续的图像列中抽取场景变化图像；显示部(3)，其显示场景变化图像的附近图像；操作历史记录获取部(14)，其获取场景变化图像和附近图像中的接受了规定的浏览操作的图像的图像信息以及操作的历史记录信息；以及抽取条件变更部(15)，其使用由操作历史记录获取部(14)获取的图像信息以及操作的历史记录信息来变更上述抽取条件，其中，场景变化图像抽取部(12)使用由抽取条件变更部(15)变更后的抽取条件来重新抽取场景发生变化的图像。
文档编号A61B1/00GK101754713SQ200880025389
公开日2010年6月23日 申请日期2008年6月4日 优先权日2007年7月20日
发明者松崎弘 申请人:奥林巴斯株式会社