图像处理装置、图像处理装置的工作方法以及图像处理装置的工作程序与流程

本发明涉及图像处理装置、图像处理装置的工作方法以及图像处理装置的工作程序。

背景技术：

以往，公知有如下技术：使用由胶囊型内窥镜按时间序列顺序拍摄被检体的消化道内而取得的一系列图像组来进行被检体的观察。并且，公知有根据胶囊型内窥镜的位置信息来生成消化道的形状模型的技术。

在先技术文献

专利文献

专利文献1：日本专利第5248834号公报

技术实现要素：

发明要解决的课题

但是，消化道的形状由于蠕动运动而暂时变化，因此当根据胶囊型内窥镜的位置信息生成消化道的形状模型时，有时会出现实际上不存在的消化道的弯曲形状。

本发明是鉴于上述情况而完成的，其目的在于提供一种图像处理装置、图像处理装置的工作方法以及图像处理装置的工作程序，能够生成降低了消化道的蠕动运动的影响的消化道的形状模型。

用于解决课题的手段

为了解决上述问题并达到目的，本发明的一个方式的图像处理装置具有：位置计算部，其计算表示被导入到消化道内的胶囊型内窥镜分别拍摄多个图像的位置的位置信息，并计算各图像间的所述位置信息的变化量；方向检测部，其检测分别拍摄所述多个图像时的所述胶囊型内窥镜在管腔方向上的移动量；以及模型生成部，其根据所述位置信息的变化量和所述在管腔方向上的移动量，从所述位置信息中选择第1位置信息，使用该第1位置信息生成所述消化道的形状模型。

此外，在本发明的一个方式的图像处理装置中，所述模型生成部选择所述位置信息的变化量小于第1阈值、并且所述在管腔方向上的移动量小于第2阈值的位置信息，作为所述第1位置信息。

另外，在本发明的一个方式的图像处理装置中，所述模型生成部将所述位置信息中的第2位置信息校正为表示所述形状模型上的位置的位置信息，该第2位置信息是所述第1位置信息以外的位置信息。

另外，在本发明的一个方式的图像处理装置中，所述模型生成部根据按照拍摄的顺序相邻的所述第1位置信息间的距离与相邻的所述位置信息间的距离之比，将所述第2位置信息校正为表示所述形状模型上的位置的位置信息。

另外，在本发明的一个方式的图像处理装置中，所述模型生成部将所述第2位置信息校正为表示将所述第2位置信息投影到所述形状模型上的位置的位置信息。

另外，在本发明的一个方式的图像处理装置的工作方法中，该工作方法进行如下步骤：位置计算部计算表示被导入到消化道内的胶囊型内窥镜分别拍摄多个图像的位置的位置信息，并计算各图像间的所述位置信息的变化量；方向检测部检测分别拍摄所述多个图像时的所述胶囊型内窥镜在管腔方向上的移动量；以及模型生成部根据所述位置信息的变化量和所述在管腔方向上的移动量，从所述位置信息中选择第1位置信息，利用该第1位置信息生成所述消化道的形状模型。

另外，在本发明的一个方式的图像处理装置的工作程序中，该工作程序使图像处理装置执行如下处理：位置计算部计算表示被导入到消化道内的胶囊型内窥镜分别拍摄多个图像的位置的位置信息，并计算各图像间的所述位置信息的变化量；方向检测部检测分别拍摄所述多个图像时的所述胶囊型内窥镜在管腔方向上的移动量；以及模型生成部根据所述位置信息的变化量和所述在管腔方向上的移动量，从所述位置信息中选择第1位置信息，使用该第1位置信息生成所述消化道的形状模型。

发明效果

根据本发明，能够实现图像处理装置、图像处理装置的工作方法以及图像处理装置的工作程序，能够生成降低了消化道的蠕动运动的影响的消化道的形状模型。

附图说明

图1是示出本发明的实施方式1的包含图像处理装置的内窥镜系统的示意图。

图2是图1所示的记录介质与图像处理装置连接的状态的框图。

图3是表示体内图像的一例的图。

图4是表示体内图像的一例的图。

图5是表示图2所示的图像处理装置的动作的流程图。

图6是表示模型生成部生成消化道的形状模型的情形的图。

图7是表示变形例1的模型生成部生成消化道的形状模型的情形的图。

图8是表示变形例2的模型生成部生成消化道的形状模型的情形的图。

图9是表示变形例3的模型生成部生成消化道的形状模型的情形的图。

图10是表示变形例4的显示控制部使消化道的形状模型显示在显示装置上的情形的图。

具体实施方式

以下，参照附图说明本发明的图像处理装置、图像处理装置的工作方法以及图像处理装置的工作程序的实施方式。另外，本发明并不限定于这些实施方式。本发明一般可以应用于对由胶囊型内窥镜拍摄被检体的消化道内而得到的图像实施图像处理的图像处理装置、图像处理装置的工作方法以及图像处理装置的工作程序。

另外，在附图的记载中，对相同或对应的要素适当标注相同的符号。另外，需要注意的是，附图是示意性的，各要素的尺寸的关系、各要素的比例等有时与现实不同。有时在附图彼此之间也包含彼此的尺寸的关系或比率不同的部分。

(实施方式1)

图1是示出本发明实施方式1的包含图像处理装置的内窥镜系统的示意图。内窥镜系统1是使用作为吞入型的医疗装置的胶囊型内窥镜2来取得被检体100内部的体内图像并使医生等观察该体内图像的系统。如图1所示，该内窥镜系统1除了胶囊型内窥镜2以外，还具备接收装置3、图像处理装置4、可移动型的记录介质5、输入装置6以及显示装置7。

记录介质5是用于进行接收装置3和图像处理装置4之间的数据的交接的可移动型的记录介质，相对于接收装置3以及图像处理装置4分别可装卸地构成。

胶囊型内窥镜2是形成为能够导入到被检体100的脏器内部的大小的胶囊型的内窥镜装置，通过口服摄取等导入到被检体100的脏器内部，通过蠕动运动等在脏器内部移动，并且依次拍摄体内图像。并且，胶囊型内窥镜2依次发送通过拍摄而生成的图像数据。

接收装置3具备多个接收天线3a～3h，使用这些多个接收天线3a～3h中的至少一个来接收来自被检体100内部的胶囊型内窥镜2的图像数据。然后，接收装置3在插入安装在该接收装置3中的记录介质5内存储接收到的图像数据。此外，接收天线3a～3h既可以如图1所示那样配置在被检体100的体表上，也可以配置在使被检体100穿着的衣服上。此外，接收装置3所具备的接收天线数只要是1个以上即可，不特别限定于8个。

图2是图1所示的记录介质连接到图像处理装置的状态的框图。如图2所示，图像处理装置4具备读写器41、存储部42和控制部43。

读写器41具有作为图像取得部的功能，该图像取得部从外部取得成为处理对象的图像数据。具体而言，在将记录介质5插入安装到该读写器41时，读写器41在控制部43的控制下，取入保存在记录介质5中的图像数据(包含由胶囊型内窥镜2按时间序列顺序拍摄(取得)的多个体内图像的体内图像组)。另外，读写器41将所取入的体内图像组传送到控制部43。然后，被传输到控制部43的体内图像组被存储到存储部42。

存储部42存储从控制部43传输来的体内图像组。另外，存储部42存储控制部43执行的各种程序(包括图像处理装置的工作程序)、控制部43的处理所需要的信息等。存储部42由闪存、rom(readonlymemory：只读存储器)以及ram(randomaccessmemory：随机存取存储器)这样的各种ic存储器以及内置或通过数据通信端子电连接的硬盘等实现。

控制部件43使用cpu(centralprocessingunit：中央处理单元)等通用处理器、asic(applicationspecificintegratedcircuit：专用集成电路)等执行特定功能的各种运算电路等专用处理器构成。控制部43读出存储在存储部42中的程序(包含图像处理装置的工作程序)，按照该程序控制内窥镜系统1整体的动作。如图2所示，控制部43具有位置计算部431、方向检测部432、模型生成部433以及显示控制部434。

位置计算部431计算表示被导入到消化道内的胶囊型内窥镜2分别拍摄多个图像的位置的位置信息。具体而言，位置计算部431根据接收天线3a～3h的各天线从胶囊型内窥镜2接收到的信号强度，计算表示分别拍摄各图像的位置的位置信息。此外，位置计算部431通过计算按时间序列顺序相邻的各图像之间的位置信息的差分，来计算各图像之间的位置信息的变化量。但是，位置计算部431也可以通过配置在被检体100外的磁场检测部来检测来自设置在胶囊型内窥镜2内的磁场产生部的磁场，由此计算胶囊型内窥镜2的位置信息。

方向检测部432检测分别拍摄多个图像时的胶囊型内窥镜2在管腔方向上的移动量。图3、图4是表示体内图像的一例的图。图3、图4是按时间序列顺序相邻的图像。如图3所示，方向检测部432在图像内设定特征点a。特征点a例如是消化道内的褶皱、凹凸的端部。在特征点a从图3所示的状态如图4所示那样移动的情况下，方向检测部432根据特征点a的移动量来检测胶囊型内窥镜2在管腔方向上的移动量。但是，方向检测部432也可以通过计算按照时间序列顺序相邻的图像间的相似度等，来检测胶囊型内窥镜2在管腔方向上的移动量。另外，方向检测部432也可以根据搭载在胶囊型内窥镜2上的加速度传感器等传感器检测出的信息，来检测胶囊型内窥镜2在管腔方向上的移动量。

模型生成部433基于位置信息的变化量以及在管腔方向上的移动量，从位置信息中选择第1位置信息，并使用该第1位置信息来生成消化道的形状模型。具体而言，模型生成部433选择位置信息的变化量小于第1阈值、并且在管腔方向上的移动量小于第2阈值的位置信息，作为第1位置信息。此外，第1阈值和第2阈值是位置信息不受消化道的蠕动运动影响的程度的足够小的值，可以是预先确定的值，也可以是医生等用户设定的值。另外，第1阈值和第2阈值也可以根据胶囊型内窥镜2的帧频等拍摄条件而可变。

显示控制部434对存储在存储部42中的图像实施规定的图像处理，在实施了与显示装置7中的图像的显示范围对应的数据的间隔剔除，灰度处理等规定的处理之后，使代表图像显示在显示装置7中。

输入装置6使用键盘以及鼠标等构成，接受用户的操作。

显示装置7使用液晶显示器等构成，在显示控制部434的控制下，显示包含代表图像等的图像。

接着，说明图像处理装置4生成形状模型的处理。图5是表示图2所示的图像处理装置的动作的流程图。如图5所示，位置计算部431计算表示胶囊型内窥镜2分别拍摄体内图像组的位置的位置信息，并计算各图像间的位置信息的变化量(步骤s1)。

接着，方向检测部432检测分别拍摄体内图像组时的胶囊型内窥镜2在管腔方向上的移动量(步骤s2)。

然后，模型生成部433基于位置信息的变化量以及在管腔方向上的移动量，从位置信息中选择第1位置信息，并使用所选择的第1位置信息来生成消化道的形状模型(步骤s3)。

图6是表示模型生成部生成消化道的形状模型的情形的图。如图6所示，假定模型生成部433从位置信息p1至p8中选择位置信息p1和p8作为第1位置信息。然后，模型生成部433使用位置信息p1及p8生成消化道的形状模型。

当使用位置信息p1～p8生成形状模型时，由于受到消化道的蠕动运动的影响而出现实际上不存在的弯曲形状，因此成为线l1那样的曲线。与此相对，模型生成部433能够通过用例如直线连接作为第1位置信息的位置信息p1和p8来生成降低了消化道的蠕动运动的影响的线l2。

之后，显示控制部434在显示装置7上显示模型生成部433生成的消化道的形状模型(步骤s4)，结束一系列的处理。

如以上所说明的那样，根据实施方式1，模型生成部433使用在位置信息的变化量以及在管腔方向上的移动量足够小时取得的第1位置信息来生成形状模型，能够生成降低了消化道的蠕动运动的影响的消化道的形状模型。

(变形例1)

在变形例1中，模型生成部433将位置信息中的第2位置信息校正为表示形状模型上的位置的位置信息，该第2位置信息是第1位置信息以外的位置信息。具体而言，模型生成部433根据按照拍摄的顺序相邻的第1位置信息间的距离与相邻的位置信息间的距离之比，将第2位置信息校正为表示形状模型上的位置的位置信息。

图7是表示变形例1的模型生成部生成消化道的形状模型的情形的图。如图7所示，模型生成部433计算线l1上的累积的相邻的第1位置信息间的距离ln1和相邻的位置信息间的距离ln11～ln17。ln1＝ln11+ln12+…+ln17。此外，模型生成部433计算线l2上的相邻第1位置信息之间的距离ln2。接着，模型生成部433将第2位置信息p2～p7校正为表示形状模型上的位置的位置信息。具体而言，模型生成部433将第2位置信息p2～p7校正为第2位置信息p12～p17，以满足ln21＝(ln11/ln1)×ln2、ln22＝(ln12/ln1)×ln2、…、ln27＝(ln17/ln1)×ln2。

如上所述，根据变形例1，即使针对与第1位置信息以外的第2位置信息对应的图像，也能够掌握形状模型上的位置。

(变形例2)

在变形例2中，模型生成部433将第2位置信息校正为表示将第2位置信息投影到形状模型上的位置的位置信息。

图8是表示变形例2的模型生成部生成消化道的形状模型的情形的图。如图8所示，模型生成部433将第2位置信息p2～p7校正为投影到形状模型上的第2位置信息p22～p27。具体而言，模型生成部433将第2位置信息p2～p7分别向垂直于线l2的方向投影到线l2上，校正为第2位置信息p22～p27。

(变形例3)

图9是表示变形例3的模型生成部生成消化道的形状模型的情形的图。如图9所示，模型生成部433也可以通过曲线l12对第1位置信息p1、p8、p11进行拟合。具体而言，模型生成部433能够使用样条函数计算平滑地连接第1位置信息p1、p8、p11的曲线l12。

(变形例4)

图10是表示变形例4的显示控制部使消化道的形状模型显示在显示装置上的情形的图。如图10所示，显示控制部434也可以将表示模型生成部433所生成的形状模型的图像im1、以及与形状模型中的标记m对应的体内图像im2排列显示在装置7的画面71上。

本领域技术人员可以容易地导出更多的效果、变形例。因此，本发明的更广泛的方式并不限定于以上表示且记述的特定的详细内容以及代表性的实施方式。因此，在不脱离由所附权利要求书及其等同物定义的总的发明概念的精神或范围的情况下，可以进行各种变更。

标号说明

1内窥镜系统

2胶囊型内窥镜

3接收装置

3a～3h接收天线

4图像处理装置

5记录介质

6输入装置

7显示装置

41读写器

42存储部

43控制部

100被检体

431位置计算部

432方向检测部

433模型生成部

434显示控制部