专利名称：图像处理装置和超声波诊断装置的制作方法
技术领域：
本发明涉及生成用于临床医学等的断层图像的超声波诊断装置、或对各种图像设备和移动电话等所显示的图像进行处理用的图像处理装置，尤其涉及对这些图像进行轮廓提取等的图像质量的改进技术。
背景技术：
过去，在超声波诊断装置和各种图像设备等中，有时为了提取图像中的确定对象物(生体软部组织和脸部等)的外形轮廓，进行图像处理。
超声波诊断装置能在无侵袭的条件下取得对象物的2维断层图像，例如，在临床医学方面，对生体也有很高的安全性，所以，作为必不可少的设备而广泛普及。并且，在其他方面的应用超声波的装置也可以说情况相同。
一般，超声波诊断装置接收从超声波探头发射的超声波的一部分在对象物内组织的结构变化点(变化面)上进行反射而获得的回波，根据该回波来生成对象物的断层图像。该反射波(超声波回波)与发射的超声波相比，是微弱的，所以，当生成图像显示所用的亮度信号时，进行放大处理(增益处理)。这时的放大率(增益)的调整，即图像质量的亮度调整，其方法是对许多个滑动器(例如16个滑动器)进行操作，该滑动器是按照过去的所谓STC(灵敏度时间控制)的对象物的深度级别而进行划分(但也有一部分是利用对数放大器等来进行处理)。
这样，过去的超声波装置中的放大处理是利用手动方式来控制断层图像的对比度和动态范围，达到调整图像质量的目的。
另一方面，根据断层图像来定量地计算出胎儿和内脏、循环器官等的面积和体积、变化量等的值，这样能提高超声波诊断装置中的筛选(screening)和精密检查的质量。在此情况下，为了计算出诊断对象的器官等的面积和体积所用的外形轮廓和边界提取法非常重要。
但是，以STC为首，用手动法来控制对比度等是很烦杂的，需要熟练技巧。再有，在仅用人为的探测来提取被关注的器官等的轮廓等的情况下，必须用指点器等经常准确地探测轮廓等，需要大量的劳力。在这种背景条件下，以前提出了几种在断层图像上进行的自动图像校正法和轮廓边界提取法。
例如，特开2002-209891号公报中公开的“图像质量自动调整方法”，其内容是根据断层图像的特征(断层图像的亮度信号分布大多是陡峭的高斯分布，实效动态范围窄)，自动地控制增益。这是对整个图像一样地测量亮度值分布，进行增益控制。
断层图像的另一特征是频繁地出现图像局部缺损或局部模糊的部位。利用对上述整个图像一样地进行处理的方式，对于具有这种缺损和模糊的断层图像，有时仍不能充分改善图像质量并且，同样的问题也发生在轮廓、边界提取法中。过去提取的轮廓、边界提取法，其前题是断层图像中轮廓描绘清晰。这不仅在自动轮廓、边界提取法中是如此，而且在预先用手工作业给出初始轮廓后进行探测的所谓半自动提取法中也是一样。例如在特开平11-164834号公报中公开的“超声波图像诊断装置”中，最初用鼠标器等以手动方式对关注的组织的轮廓等大致上进行探测，提取出大致的轮廓等。在此基础上进行为提出轮廓等所需的开始点设定。在此情况下，从开始点起扫描线延伸成放射状，在该线上与手动的轮廓等的交点为中心，进行检测范围的设定。再有，对该检测范围内的断层图像的图像数据用阈值进行二进制编码处理，检测出被校正的轮廓等的位置，在检测出了该轮廓等的位置的情况下，进一步对手动设定的轮廓等的边界进行校正，即可获得正确的轮廓等。
但是，在操作熟练的情况下，与仅用手动探测来提取时相比，能迅速实施，但并不是完全自动化。并且，该方法也不是提供提取的轮廓等不正确时的校正方法。当然，作为2进制编码前题的阈值设定对轮廓提取结果有决定性作用，对于本来轮廓描绘不清晰的区域，没有办法。
如上所述，若在断层图像中具有局部缺损和局部模糊，则过去的图像调整法和轮廓提取法存在的问题是会出现局部(有时是完全)破损，不能使用。
另一方面，最近利用各种图像设备(尤其是移动电话机和PDA等)的摄像功能，拍摄人或脸部的图像(以下称为“人物图像”)，这种机会很多。这时，希望提取脸部等的轮廓，进行更符合摄影者希望的图像处理。具体来说，在人物图像中有时由于拍摄时的背景或热水蒸气等现象而使人物(尤其脸部)轮廓不清晰。这时进行图像处理，以便清除不自然状态，使人物轮廓清晰。
图1和图2是表示在过去的图像设备中进行轮廓提取时的2个例子。
图1(a)～(c)表示过去的图像设备中的、对人物图像进行的轮廓提取的成功例子。
图1(a)是用移动电话机拍摄的原图像。如图1(a)所示，在原图像中仅拍照了人物的脸部。考虑对该原图像进行轮廓提取的情况。例如特开2002-224116号公报所公开的2阶段提取轮廓的方法。若采用此方法，则最初(如图1(b)所示)设定初始轮廓，然后(图1(c)所示)提取更细的轮廓。
但是，在原图像的一部分具有妨碍轮廓提取的部分时，会出现不能提取所需的轮廓。
图2(a)～(c)表示过去的图像设备中的对人物图像进行图像提取的失败例子。
图2(a)是和上述图1(a)相同的原图像。但因画面右斜下方具有妨碍图像提取的部分(例如拍摄了水蒸气的部分)，所以，不同的是脸的轮廓局部不清晰。在对图2(a)的原图像采用和上述图1时相同的方法进行图像提取的情况下，(图2(b)表示设定了初始轮廓的情况)，如图2(c)所示，作为细的轮廓而提取的结果，不同于实际的轮廓。这样，在一般拍摄的原图像中具有妨碍图像提取的部分时，不能提取预期的轮廓。
发明内容
本发明是鉴于上述问题而提出的。其目的在于考虑到超声波图像的局部性质而提供能适用的各种图像处理方法，进一步利用该方法又提供图像的自动校正、图像提取法。
涉及本发明的图像处理装置和超声波诊断装置，把图像划分成小区，分别进行与各个小区的状况相适应的图像处理，所以，能克服以下两种缺点一种是，由于过去的设备中图像局部缺损或者局部对比度低，边缘不清晰，所以不能充分发挥图像质量自动调整功能；另一种是，由于同样的原因，所以不能充分发挥轮廓、边界提取法的功能。
也就是说，过去的轮廓、边界提取法是以轮廓描绘清晰为前题，所以具有上述缺点，但若采用本发明，则能使局部对比度低的图像变得清晰。
为了解决上述问题，本发明的图像处理装置，其特征在于具有图像取得装置，用于取得图像数据；区域划分装置，用于把由上述已取得的图像数据所表示的图像划分成许多个小区；区域选择装置，用于选择一个或多个上述小区；以及分区处理装置，用于对上述已选择的小区分别进行图像处理。
并且，为了达到上述目的，涉及本发明的超声波诊断装置，是用于显示根据超声波反射而生成的被检查体的断层图像的超声波诊断装置，该超声波诊断装置具有图像取得装置，用于取得图像数据；区域划分装置，用于把由上述已取得的图像数据所表示的断层图像划分成许多个小区；区域选择装置，用于选择一个或多个上述小区；分区处理装置，用于对上述已选择的小区分别进行图像处理；以及显示装置，用于显示已进行上述图像处理的小区的图像。
而且，为了达到上述目的，本发明也可以把上述图像处理装置和超声波诊断装置的特征的装置作为步骤，利用包括全部这些步骤在内的程序来实现。并且，该程序不仅存储在图像处理装置和超声波诊断装置所具有ROM等内，而且也还可以通过CD-ROM等记录媒体和通信网络等传输媒体来进行流通。
图1(a)是用过去的移动电话机来拍摄的原图像的一例。
(b)是表示在上述图1(a)中设定了初始轮廓的情况的图。
(c)是根据上述图1(b)的图像提取了细的轮廓的情况下的成功例。
图2(a)是用过去的移动电话机来拍摄的原图像的另一例。
(b)是表示在上述图2(a)中设定了初始轮廓的情况的图。
(c)是根据上述图2(b)的图像提取了细的轮廓的情况下的失败例。
图3是表示涉及第1实施方式的超声波诊断装置的功能构成的概要的方框图。
图4是表示图3中的图像处理部的详细功能构成的方框图。
图5是说明划分方法的图，此法是利用自动提取或操作员的操作来对对象物的初始轮廓进行确定，从初始轮廓的重心起进行划分，形成放射状。
图6是说明上述图5所示的方法的变形例用的图。
图7是说明划分方法的图，其中，根据上述确定的初始轮廓生成一种在外侧有一定像素数的宽度的边界线，按照规定的角度把由初始轮廓和边界线夹持的圆饼状的区域划分成放射状。
图8是说明上述图7所示的方法的变形例用的图。
图9是说明分别对断层图像的纵轴和横轴的长度进行N等分的方法用的图。
图10是断层图像的小区内的亮度值的分布情况的一例。
图11(a)是表示二进制编码处理中的输入亮度和输出亮度的情况的图。
(b)是表示对比度变换处理和偏置变换处理中的输入亮度值和输出亮度值的关系的图。
图12是表示对亮度值分散进行变换的方法的一例的图。
图13是简要表示用分区处理部进行图像处理前的断层图像情况的图。
图14是简要表示用分区处理部进行图像处理后的断层图像情况的图。
图15是表示超声波诊断装置的整体处理流程的一例的流程图。
图16是表示图14中的“分区处理”的一例的流程图。
图17是表示图14中的“评价值计算处理”的一例的流程图。
图18是表示图14中的“分区处理”的一例的流程图。
图19是表示图14中的“图像再构成处理”的一例的流程图。
图20是表示涉及第2实施方式的图像处理装置的功能构成的概要的方框图。
图21(a)是用移动电话机拍摄的原图像的一例。
(b)是表示上述图21(a)中设定了初始轮廓的情况的图。
(c)是表示上述图21(b)的图像进行分区的情况的图。
图22(a)是表示从上述图21(c)划分的图像中进行小区选择的情况的图。
(b)是表示从上述图21(a)选择的小区进行图像处理的情况的图。
图23(a)是表示进行了上述图22(b)的图像处理的图像中设定了初始轮廓的情况的图。
(b)是表示根据上述图23(a)的图像提取了细的轮廓的情况的图。
图24(a)是用移动电话机进行拍摄的原图像的一例。
(b)是表示对上述图24(a)的图像提取了细的轮廓的情况的图。
(c)是表示提取的脸部轮廓进行小型化时的图像的图。
(d)是表示根据提出的脸部轮廓对脸部进行“窄长化”而且“小脸化”的情况的图。
图25是表示在另行拍摄的图像上通过上述轮廓提取而进行确定的脸部进行色度键合成的情况的图。
图26是表示图像处理装置的整体处理流程的一例的流程图。
图27(a)是表示轮廓线上进行确定的基准点的图；(b)是表示以上述图(a)的基准点为中心对区片进行定义的情况的图。
(c)是表示根据由上述图(b)定义的区片，沿轮廓线在整个图像上对区片进行定义的情况的图。
图28(a)是表示按照根据轮廓线、外接矩形、外部矩形和内部矩形进行定义的区片来划分图像的情况的图。
(b)是表示按照根据轮廓线、外部矩形和内部矩形进行定义的区片来划分图像的情况的图。
具体实施例方式
以下参照附图，详细说明涉及本发明的实施方式。
图3是表示本实施方式中的、作为图像处理装置之一的超声波诊断装置10的功能构成的概要的方框图。本装置10的功能是即使断层图像局部不清晰，也能根据该部分的状况对图像质量进行改进。该装置10具有超声波探测头11、收发部12、跳动检测部13、操作部14、图像处理部15和数据输出入部16。
超声波探测头11是一般的探头，例如相控阵方式的电子扫描型探头。超声波探测头11根据从收发部12接收的控制信号来发射超声波(例如超声波脉冲)。
再有，超声波探测头11把从被检查者的生体内反射的超声波(以下称为“超声波回波”)变换成电信号发送到收发部12内。
收发部12，例如具有CPU、ROM和RAM等，它能对本装置10整体进行控制，同时进行超声波收发。再有，收发部12由两种波束成形器构成，一种是从超声波探测头11中产生超声波用的发送波束成形器；另一种是接收波束成形器，用于接收从检测出了超声波回波的超声波探测头11发送的电信号，该收发部12对从超声波探测头11接收的电信号进行放大等，发送到图像处理部15内。并且，收发部12通过操作部14而接收来自操作员的指示。
跳动检测部13例如是跳动传感器，它把检测出的被检查人生体的跳动变换成电信号，发送到图像处理部15内。
操作部14具有开关，触摸盘等，它接收操作员对其进行的操作，把与此相对应的控制信号等发送到收发部12和图像处理部15内。
图像处理部15根据从收发部12接收的电信号来生成断层图像的图像数据。再由图像处理部15把已生成的断层图像划分成小区，对每个小区分别进行图像处理。然后，由图像处理部15根据图像处理后的图像数据来对断层图像进行再构成，把该图像数据发送到数据输出部16内。
数据输出部16，能接收由图像处理部15构成的断层图像(例如B方式断层图像等)的图像数据，在作为观察用监视器的液晶显示器等上进行显示，该数据输出部16由图形加速器和扫描变换器等构成。
图4是表示上述图3中的图像处理部15的详细功能构成的方框图。图像处理部15具有图像生成部110、轮廓提取部111、控制部112、图像存储器101、通用存储器102和运算部109。运算部109是本发明的特征的部分，它由专用处理器等硬件或软件来实现。该运算部109由区域划分部103、评价值计算部104、分区处理部105、区域选择部106和图像再构成部107构成。
图像生成部110对从收发部12接收的电信号进行A/D变换，生成图像数据。然后由图像生成部110把生成的图像数据发送到控制部112内。
在此，所谓图像数据是指利用超声波探测头11每次扫描所生成的2维亮度数据等，是用于用B方式来表示的数据。
轮廓提取部111根据存储在图像存储器101中的图像数据，提取左心室等的对象物的轮廓，生成轮廓数据。此外，关于根据图像数据来提取轮廓的方法，在特开2002-224116号公报中有详细说明。该方法的概要是对对象物的断层图像利用“2进制编码”和“缩退”方法来提取粗的初始轮廓，对该初始轮廓采用动态轮廓方式(SNAKES)，进行收敛计算，最终求出细的轮廓。在此，所谓轮廓数据，是指根据1帧的图像数据来构成被提取的对象物的轮廓线的许多像素坐标(X坐标和Y坐标)的数据等。
控制部112是具有例如ROM和RAM等的微机，主要向图像处理部15的各部分发出指示使其进行各种处理，对这些处理的同步进行控制。
图像存储器101例如是RAM，它根据控制部112的指示来存储在图像生成部110中生成的断层图像的图像数据、以及在下述分区处理部105中进行图像处理后的图像数据。
通用存储器102例如是RAM，它根据控制部112的指示来存储在图像生成部110中生成的与断层图像有关的图像数据(即存储在图像存储器101中的数据)以外的数据(例如，与区域划分有关的数据、附带在轮廓上的数据、与评价值计算有关的数据、与图像处理有关的数据等)。
区域划分部103把由图像生成部110生成的断层图像划分成许多个区域。这时划分方法的具体例子如下①通过自动提取或操作员的操作来对对象物的初始轮廓进行确定，从该初始轮廓的重心处开始划分成放射状。
②根据由上述①项进行确定的初始轮廓来生成在外侧有一定像素数的宽度的边界线，按规定角度(例如π/4)把由初始轮廓和边界线夹持的圆饼状的区域划分成放射状。
③分别对断层图像的纵轴和横轴进行N等分(例如4等分)。
图5是说明上述①项的划分方法的一例用的图。在图5中，矩形的外框200是数据输出部16的观察用监视器中的能显示的区域的外缘，由扇形状的粗线201围住的区域是断层图像的实质显示器。在图5中显示出被划分的8个小区310～380。
以下说明小区310被区域划分部103确定的过程。
最初，通过自动提取或操作员的操作对初始轮廓210进行确定，计算出其重心G211。进一步，对作为初始轮廓210上的基准点的顶点T212(即初始轮廓210中，Y坐标值最大的点)进行确定，对连结重心G211和顶点T212的直线进行延长，求出与粗线201相交叉的点部P213、点C214。
然后，求出与连结上述点P213和点C214的直线PC之间有(π/2)和(-π/4)角度的2条直线202、203，把分别与上述初始轮廓210相交叉的点分别作为点I215和点E217，把与上述粗线201相交叉的点分别作为点R216和Q218。
由以上确定的点I215、点R216、点Q218和点E217所构成的封闭区(图5中由斜线所示的区)表示作为被划分的区之一的小区310。同样，能确定小区320～380。
图6是说明上述①项的划分方法的变形例的图。上述图5所示的划分方法的情况下，把被初始轮廓210和粗线201所夹持区域作为划分对象(限定于实质的显示区)。在图6的情况下，把划分的对象扩大到矩形的外框200。所以，通过划分而由点I215、点RR219、点V221、点QQ220和点E217构成的封闭区(图6中由斜线表示的区)是这时确定的小区410。
图7是说明上述②项的划分方法的一例的图。在上述图5所示的①项的划分方法的情况下，把被初始轮廓210和粗线201夹持的区作为划分对象。在图7中表示在从初始轮廓210向外侧离开一定像素(例如50个像素)的位置上设置边界线501，把被初始轮廓210和边界线501夹持的圆饼状区，和上述情况一样划分成8个区。所以，在此情况下，由点I215、点J502、点F503和点E217构成的封闭区(图7中用斜线表示的区)是由该划分方法确定的小区510。
图8是说明上述②项的划分方法的变形例用的图。在上述图7所示的划分方法的情况下，把被初始轮廓210和边界线501夹持的圆饼状的区作为划分对象，在图8中表示进一步在初始轮廓210的内侧离开一定像素(例如12个像素)的位置上设置边界线601，把由边界线601和边界线501夹持的圆饼状的区，和上述情况一样，划分成8个区。所以，在此情况下，由点H602、点J502、点F503和点D603构成的封闭区(图8中用斜线表示的区)是用该划分方法而确定的小区610。
图9是说明上述③项的划分方法的一例用的图。此方法是在上述①或②项的划分方法的情况下，以初始轮廓210的重心G211为基准划分成放射状。图9的划分方法表示对观察用监视器能显示的区中的X轴和Y轴的长度分别进行4等分，生成小区。所以，在此情况下，作为能显示的区的矩形外框200被划分成16个相同的小区，每个小区都与矩形小区710相同，即在X方向上有a个像素，在Y方向上有b个像素。而且，在此，区域划分部103的划分示例如上述图5～图9所示。但划分该区的方法并不仅限于这些，而是也可以利用任意的现有划分方法(例如以连结图5中的重心G211和T212点的直线为基准线，每次按反时针方向旋转π/3进行划分的方法等)进行划分。
评价值计算部104用于计算评价值，以便对由区域划分部103划分的每个小区定量地掌握断层图像的质量和特征等。计算评价值的方法有以下几个(1)采用小区内的亮度值的方法这是根据构成小区图像的各个像素的亮度值的平均的分散等来计算评价值的方法。
(2)采用与形状有关的信息的方法这是把根据小区内的对象物的轮廓的形状而计算出的圆形度Φ(在以轮廓线长为L，以断面积为A的情况下，用Φ＝4лA/L**2来表示，在圆的情况下，为1.0。该圆形度，形状越复杂数值越小。)和尖锐度等作为评价值。而且，此外例如也有一种方法，它是利用确定的对象物的轮廓重心位置(即断层图像整体的基准点)和各小区的基准点的距离等、与位置有关的数据作为评价值。利用与位置有关的数据作为评价值的方法的具体例子，参照图9进行说明如下。例如，把断层图像整体的基准点规定为初始轮廓210的重心G211，把从重心G211到各小区的基准点(这时以各小区的基准点为各自的重心)的距离作为评价值，该值从小的起选择4个。
(3)采用边缘信息的方法这是把任意的边缘检测滤波器(采用滤波窗的2维的微分)用于小区内，将其输出结果作为评价值(例如X方向和Y方向的微分量、边缘的强度等)。
(4)采用2进制信息的方法这是利用规定的阈值或者从小区内的亮度值分布中动态地决定的阈值，对小区内的亮度值进行2进制编码，把该2进制编码的数据的分布和形状(例如尖度等)这样的统计的或形状物理的数据作为评价值。
(5)采用亮度值中的分离度的方法所谓采用亮度值中的分离度，是指在把亮度值分类成“0”和“1”的等级的情况下，等级间的变动在总亮度值的变动中所占的比例。在亮度值被完全分离成“0”和“1”的情况下，分离度的值为1.0(最大值)。而且，关于采用该分离度的方法，在福井和弘著的“根据区域间的分离度来提取物体轮廓”(信学论D-11 V01，J80-D-11，No.6，PP.1406～1414，June 1997)中有详细说明。
(6)采用最高亮度值和最低亮度值的方法例如，最大亮度差＝最高亮度值-最低亮度值，把该最大亮度差用作评价值。
以下说明上述“采用(1)项小区内的亮度值的方法”。例如，在采用亮度值的方法的情况下，既可以单纯定为“评价值＝小区内亮度分散”，也可以以亮度值的平均值为中心，把“在亮度值直方图中占整体的80％的亮度值范围的宽度”作为评价值。
对后者的方法，用图10进一步具体说明。如图10所示，考虑某小区内的亮度值分布为0～255，亮度平均值为“120”的情况。这时，对该小区内的亮度值进行取样，求出在总像素的80％(若是总像素数为1000所构成的小区，则80％为800个像素)的亮度值能满足“120±α(α自然数)”的情况下的“α”，把这时的评价值定为“2α”。而且，在此，从上述(1)～(6)所示的计算例作为评价值计算部104的评价值计算例进行了说明。但评价值计算部104中的评价值计算方法并非仅限于此，而是也可以根据现有的任意数式和图像处理来进行评价值计算。
分区域处理部105按照由区域划分部103划分的小区来进行图像处理。这时的图像处理主要是对各小区内的断层图像的图像质量进行改进，也可以是以下两种处理一种是为了便于进行评价值计算部104中的评价值而进行的处理(例如，为了抑制小区间的评价值的误差所需的正规化处理等)；另一种是在用下述图像再构成部107来再构成图像时，为了与下一级相连接的机器的性能提高，动作稳定和图像质量提高等而进行的处理。
作为改善上述图像质量的处理，例如有2进制编码处理、对比度变换处理、偏置变换处理、杂波消除处理、形态处理、边缘提取处理、边缘加强处理等，当然也可以对这些处理进行组合。
以下参照图11，详细说明上述各处理的概要。
图11(a)是表示2进制编码处理中的输入亮度和输出亮度的情况的图。如图11(a)所示，若把输入亮度值的阈值设定为“128”，则在输入亮度值为128以上的情况下，输出亮度值从0变为255。
图11(b)表示对比度变换处理和偏置变换处理中的输入亮度值和输出亮度值的关系。图11(b)的曲线901是通过对比度变换处理而使输入亮度值和输出亮度值形成非线性关系。并且，图11(b)的曲线902通过偏置变换处理在输入亮度值上附加(加偏置)一定的亮度值，使输出亮度值进行输出。这时，加偏置的亮度值为“60”。而且，在图11(b)中，作为参考表示出输入亮度值＝输出亮度值的曲线903。
杂波消除处理例如有2维的低通滤波器等。所谓形态处理(モルフォロジ)，是指非线性滤波处理的一种，其根据是以从给定的2进制图像或浓淡图像中提取特征为目的而进行的“错开重叠(变淡)和挑出(腐蚀)”等运算。而且，关于该形态处理在小煨秀文著的“组织结构”(COLONA公司)中详细说明。
所谓边缘提取处理，是指对表示图像中的区域的边界(例如对象物和背景)的边缘进行挑出的处理，其方法可采用1次微分滤波器和2次微分滤波器。
所谓边缘加强处理，是指在断层图像中对边缘及其以外的部分的浓淡等级之差进一步增大的处理，其方法是对亮度值分散进行变换。
图12是表示对亮度值分散进行变换的方法之一例。在图12的例中表示以亮度值的平均值(例如120)为中心，亮度值的分散呈集中状态的曲线1001变换成如曲线1002所示亮度值的分散呈不太集中状态的情况。
区域选择部106从由区域划分部103划分的小区中确定出任意个数的小区。这时的确定方法，也可以是从由评价值计算部104计算出的评价值最高的小区开始，依次(由大到小)选择出规定的个数。也可以从评价值小的小区开始依次(由小到大)选择。例如，若是基于上述亮度值的评价值(2α)的情况下，则从“2α”大的开始依次选择，所以可以从对比度清楚的(即对比度范围宽)小区开始依次选择。并且，相反，从“2α”小的开始依次选择，所以可以从对比度不清楚的(即对比度范围窄)的小区开始依次选择。
图像再构成部107，根据由区域划分部103划分，由分区处理部105进行图像处理后的小区的图像数据、以及图像生成部110生成的断层图像的图像数据，生成新的图像数据。
例如，仅用区域选择部106所指定的小区的图像来再构成图像(这时一部分小区有缺损)。并且，图像再构成部107在按区域选择部106所指定的每个小区分别进行图像处理的情况下，可以把小区单位的图像重叠写入到原来的断层图像上，或者置换掉原来的断层图像。
以下详细说明按上述方法构成的超声波诊断装置10的动作。
图15是表示超声波诊断装置的整体处理流程的一例的流程图。最初，由图像生成部110根据通过超声波探测头11和收发部12而接收的超声波回波来生成断层图像(S1301)。
然后，区域分割部103利用被提取的对象物的初始轮廓(S1302)，把观察用监视器上的断层图像划分成许多个小区(S1303)，该对象物的初始轮廓是利用通过操作部14从操作员接收的指示来进行确定的，或者是在图像提取部111中自动地提取的。
再有，评价值计算部104按照上述被划分的每个小区分别计算出评价值(S1304)。然后，由分区处理部105对每个小区分别进行图像处理(S1305)。
接着，若区域选择部106根据上述评价值来选择小区(S1306)，则由图像再构成部根据被选择的小区的图像，在观察用监视器上再构成断层图像(S1307)。再构成的断层图像输出到数据输出部16内，显示在观察用监视器等上。
图16是表示上述图15中的“分区处(S1303)”的一例的流程图。
最初，区域划分部103计算出按上述方法确定的初始轮廓的重心G(S1401)，求出通过该重心G的中心线(S1402)。
然后，区域划分部103对划分方法(例如上述①项的划分方法)进行确定(S1403)，根据确定的划分方法，把断层图像划分成许多小区(S1404)。
图17是表示图15中的“评价值计算处理”的一例的流程图。而且，在图17中表示与上述亮度值分布有关的评价值“2α”进行计算的情况。
最初，由评价值计算部104对作为评价值计算的对象的全部像素，计算出亮度值的平均值(YA)(S1501)。然后，由评价值计算部104对全部像素，制作出以上述亮度值的平均值为中心的亮度值的直方图(S1502)。
再者，评价值计算部104在进行亮度值的增量α(α自然数)的初始化(例如α＝0)之后(S1503)，对亮度值为“YA±α”的像素进行计数(S1504)。然后，由评价值计算部104对α值加“1”进行更新(S1505)，并进行以下判断(S1506)，即上述计数结果与全部像素数相比是否超过了80％，也就是说，是否达到“YA±α＞80％”(该不等式中的“α”是更新前的值)。在满足该条件的情况下，评价值计算部104把评价值定为“2α”(S1507)。
图18是图15中的“分区处理”的详细流程图。
最初，分区处理部105通过操作部14从操作员处接受进行的图像处理的确定(S1601)。这时，进行的图像处理有2进制编码处理，对比度变换处理、偏置变换处理、杂波消除处理、形态处理、边缘提取处理和边缘加强处理等。并且，分区处理部105进行特定的图像处理(S1602～S1609)。
而且，缺陷的图像处理也可以设定为至少进行一种处理(例如，边缘加强处理)。
图19是表示上述图15中的“图像再构成处理(S1307)”的详细情况的流程图。
最初，控制部112通过操作部14从操作员接受对图像再构成的小区进行选择的指示(S1701)，以及是否在原图像上写入的指示(S1702)。在接收了旨在写入的指示的情况下(S1702是)，由控制部112在由图像生成部110生成的断层图像上写入已选择的小区的图像(S1703)。存储到图像存储器101内(S1704)。
图13和图14简要地表示在上述分区处理部105内进行图像处理前后的断层图像的情况。在图13中，由区域划分部103划分的8个小区中，小区130、330的整体均为亮度值较低(即整个图像偏黑)，所以，对象物的轮廓1110的一部分不清晰。另一方面，小区360，相反，图像整体均为亮度值较高(即整个图像偏白)，所以对象物的轮廓1110的一部分是不清晰。图14表示对上述图13的断层图像用分区处理部105进行图像处理的结果，使原来不清晰的小区310、330、360的图像质量得到改善，对象物的轮廓1110整体变得清晰的情况。
如上所述，利用涉及本发明的超声波诊断装置，对于局部不清晰的图像也能准确地进行对象物(例如左心室等)的轮廓的提取等。
而且，本实中的图像处理部15构成为超声波诊断装置的一部分。但也可以用图像处理部15的图像生成部110来取代能从外部输入图像数据的数据输入部，构成为具有同等功能的图像处理装置。
而且，该图像处理部15也能处理实时地连续输入的图像数据(动态图像数据)。这时，各部分对每帧图像分别进行处理。
并且，另外，例如，在希望一面跟踪断层图像中的一部分对象物，一面提取轮廓的情况下(例如，在提取左室内壁时，希望一面跟踪对左心室和左心房隔开的辫膜的根部上接触的辫膜轮部，一面探测左室内壁的情况等)，一面进行跟踪作为小区内的处理，一面对轮廓不清晰的小区进行图像质量改善作为对小区的处理，跟踪的结果，从区域选择部传递存在辫膜部的小区的位置，这样，即使过去不能提取轮廓的图像，也能进行跟踪和对其提取。
所谓上述图像质量改善，是指能利用直方图均衡器和切掉杂波等方法来改善对比度，增强边缘等。
当然并非仅限于此，而是可以采用任意的方法。
并且，上述跟踪中，可以采用的方法，例如检测出图形匹配和帧间的自相关、移动向量。当然并非仅限于这些方法，而是也可以采用任意方法。
在上述第1实施方式中，说明了在超声波诊断装置中生成的断层图像使用本发明的实施例。但在本实施方式中将说明对于在带有摄像功能的移动电话机等图像处理装置中生成的图像，适用本发明的实施例。
图20是表示本实施方式中的图像处理装置20的功能构成的方框图。
该图像处理装置20在图像局部不清晰时仍能根据该部分的情况进行图像质量改善，它具有摄像部21、整体控制部22、操作部14、图像处理部15和数据输出部16。(为了方便，在本图像处理装置20中省略了通信功能和存储功能等带一般相机功能的移动电话机所具有的功能)。
而且，图像处理装置20的功能是相同的，不同的是具有摄像部21来代替上述第1实施方式的超声波诊断装置10中的超声波探测头11；并且具有整体控制部22来代替收发部12。而且，以下重点说明与上述第1实施方式的超声波诊断装置不同的地方。
摄像部21是根据通过操作部14而输入的操作员的操作来进行拍摄(例如光电变换)和生成图像数据的部分，它具有CCD等。
整体控制部22是对图像处理装置20整体进行控制的部分，它具有CPU、ROM和RAM等。整体控制部22接收在摄像部21中生成的图像数据，将其存储在RAM等中，同时根据通过操作部14而输入的操作员的操作，把接收的图像数据直接发送到图像处理部15内，或者把从RAM等中读出的图像数据发送到图像处理部15内。而且，操作部14、图像处理部15和数据输出部16的功能，等同于上述第1实施方式的超声波诊断装置10中的对应的各部分的功能。
图21(a)～(c)表示在图像处理装置20中对拍摄的原图像进行区域划分前的情况。图21(a)是拍摄的原图像的一例，如图21(a)所示，在原图像的左角上拍下了妨碍本来的摄影对象的部分(例如蒸气或烟)，造成脸部轮廓不清晰。图21(b)表示在图21(a)的原图像上利用和上述第1实施方式的超声波诊断装置10相同的方法而设定了初始轮廓的样子。
图21(c)表示对图21(b)的图像采用和上述第1实施方式相同的方法进行区域分割的情况。
图22(a)和(b)表示在本实施方式中从分区后的小区中选择出的一部分小区23、24进行图像处理的情况。在此，图22(a)中的小区23、24表示利用和上述第1实施方式相同的方法来选择的2个小区。图22(b)表示对小区23、24进行图像处理(例如对比度变换处理)的结果，改善了脸部轮廓的情况。
图23(a)和(b)表示在本实施方式中对包括已进行了图像处理的一部分小区在内的图像，再次进行初始轮廓设定和轮廓提取的情况。图23(a)表示在包括已进行了图像处理的小区23、24在内的图像上，再次设定了初始轮廓的情况。图23(b)表示根据设定了图23(a)的初始轮廓的图像，进行更细的轮廓提取后的结果。
如图23(b)所示，在此情况下，表示提取出了基本上符合实际脸部轮廓的理想的轮廓的情况。
图24用于说明附加在上述图像处理装置20上的功能的一例。图24(b)表示对图24(a)的原图像进行轮廓提取的结果。这时图像处理装置20，如图24(d)所示，根据被提取的轮廓，能够进行脸部的“小型化”和“细型化”。该“小型化”和“细型化”，例如图24(c)所示，能实现对纵向尺寸的缩小率(例如0.9)，进一步缩小横向尺寸的缩小率(例如0.7)。
图25用于说明附加在上述图像处理装置20上的其他功能的一例。如图25所示，图像处理装置20能根据已提取的轮廓来提取图像的一部分，与其他图像(例如拍摄风景的图像)进行合成，生成新的图像(例如色度键合成等)。
图26是表示上述图像处理装置20的整体处理流程的流程图。最初由图像处理部15通过摄像部21和整体控制部22根据已接收的数据来生成图像(S2301)。
然后，整个控制部22通过操作员的操作或自动提取来对对象物的初始轮廓进行确定(S1302)。这样，区域划分部103把显示器上的图像划分成许多个小区(S1303)。接着，整体控制部22发出指示，要求从操作员接收小区的选择(S1306)，在分区处理部105进行每个小区的图像处理(S1305)。
然后，整体控制部22若从操作员接收到旨在再次进行轮廓提取的指示(S2302，是)，则和上面一样，指示各部分进行初始轮廓的确定和对象物的轮廓提取(S2303)。
再有，图像处理部15根据整体控制部22的指示，对按以上方法取得的图像进行加工和合成(S2304)。
而且，在上述第1实施方式和第2实施方式中，小区划分部的区域划分方法示于图5～图9、图21。当然不仅限于这些。例如图27(a)和图27(b)所示，也可以这样划分区域，即对包括轮廓线的图像以基准点为起点，对一边的长度为“2c”的区片进行排列。这样，如图27(c)所示，可以用8个区片来划分图像，以便描绘出轮廓线。这时把区片布置成区片中心位于轮廓线上。
再有，其他区域划分方法如图8所示，也可以把由外部矩形和内部矩形所夹持的区域划分成小区(区域片)。
图28(a)对最初与轮廓线外接的外接矩形(宽W1、长H1)进行定义；根据该外接矩形的形状来对外部矩形(宽W2、长H2)和内部矩形(宽W3、长H3)进行定义。具体来说定义为W2＝5W1/3、H2＝5H1/3、W3＝W1/3、H3＝H1/3。
图28(b)最初把外部矩形(宽W4、长H4)定义为把轮廓线包括在其内部，把内部矩形(宽W5、长H5)定义在轮廓线的内部。具体来说定义如下W5＝W4/3、H5＝H3/3。进一步再按区片(宽W6、长H6)来划分被外部矩形和内部矩形夹持的区域。具体来说把区片定义为W6＝W4/3、H6＝H4/6。
而且，也可以通过操作部14从操作员接收指示，以便更改W1～W6和H1～H6的值，用更改后的值按多种方法来划分区域。另外上述各尺寸是一例，当然也可以用此外的各种尺寸来划分图像。
如上所述，利用本实施方式的图像处理装置时，对于脸部等轮廓不清晰的图像也能利用和上述第1实施方式的超声波诊断装置一样的方法来提取其轮廓(即改善图像)。而且，在本实施方式中，尤其以脸部为对象进行了说明。但不言而喻，本发明对提取任意的对象物的轮廓均能适用。
权利要求
1.一种图像处理装置，其特征在于具有图像取得装置，用于取得图像数据；区域划分装置，用于把由上述已取得的图像数据所表示的图像划分成许多个小区；区域选择装置，用于选择一个或多个上述小区；以及分区处理装置，用于对上述已选择的小区分别进行图像处理。
2.如权利要求1所述的图像处理装置，其特征在于上述图像数据是有关根据超声波回波而生成的断层图像的图像数据，上述图像取得装置从超声波诊断装置中取得上述图像数据。
3.如权利要求1所述的图像处理装置，其特征在于上述图像数据是有关用电荷耦合器件拍摄的图像的图像数据，上述图像取得装置从CCD摄像机中取得上述图像数据。
4.如权利要求1所述的图像处理装置，其特征在于上述区域选择装置根据上述图像整体的基准点和上述被划分的各小区的基准点的距离来进行上述选择。
5.如权利要求1所述的图像处理装置，其特征在于上述图像处理装置还具有一种评价值计算装置，用于对上述被划分的小区，计算出表示图像清晰度的评价值，上述区域选择装置根据上述计算出的评价值来进行上述选择。
6.如权利要求5所述的图像处理装置，其特征在于上述区域选择装置从表示上述评价值不明确的小区开始依次选择小区。
7.如权利要求5所述的图像处理装置，其特征在于上述评价值计算装置利用小区中的亮度值信息、形状信息、边缘信息、2进制编码信息、分离度信息和最高、最低亮度值信息中的至少一种信息，来计算评价值。
8.如权利要求7所述的图像处理装置，其特征在于上述分区处理装置对边缘提取处理、边缘加强处理、2进制编码处理、对比度变换处理、偏置偏换处理、杂波消除处理和组织变换处理中的至少一种作为上述图像处理进行处理。
9.如权利要求8所述的图像处理装置，其特征在于上述区域划分装置对上述图像中的X轴和Y轴的长度分别按规定的数进行等分，以此进行上述划分。
10.如权利要求8所述的图像处理装置，其特征在于上述区域划分装置具有轮廓信息取得部，用于取得表示上述图像中的对象物的轮廓的轮廓信息；重心计算部，用于计算利用有关已取得的轮廓信息的轮廓来表示的图形的重心；以及基准点确定部，用于对上述轮廓上的基准点进行确定，根据连接上述重心和上述基准点的直线，进行上述划分，按照规定的角度来划分上述图像，使小区从上述重心起形成放射状。
11.如权利要求8所述的图像处理装置，其特征在于上述区域划分装置具有轮廓信息取得部，用于取得表示上述图像中的对象物的轮廓的轮廓信息；外接矩形设定部，用于设定与上述轮廓进行外接的矩形；内部矩形设定部，用于在上述外接矩形的内部设定内部矩形；外部矩形设定部，用于在上述外接矩形的外部设定外部矩形；以及小区划分部，用于根据上述外接矩形来划分上述内部矩形和上述外部矩形之间的区域。
12.如权利要求8所述的图像处理装置，其特征在于上述区域划分装置具有轮廓信息取得部，用于取得表示上述图像的对象物的轮廓的轮廓信息；基准点确定部，用于对上述轮廓上的基准点进行确定，以及小区布置部，用于把以上述基准点为中心的规定形状的小区布置在上述轮廓上，上述图像包括上述被布置的小区。
13.如权利要求12所述的图像处理装置，其特征在于上述区域划分装置还具有接收用于更改上述小区形状的指示的小区更改部。
14.如权利要求9～12中的任一项所述的图像处理装置，其特征在于上述图像处理装置还具有图像再构成装置，以便利用已进行了上述图像处理的小区的图像来进行图像再构成。
15.如权利要求14所述的图像处理装置，其特征在于上述图像再构成装置利用已进行了上述图像处理的小区的图像，来置换与已取得的图像中的该小区相对应的图像。
16.如权利要求15所述的图像处理装置，其特征在于上述图像处理装置还具有轮廓取得装置，用于取得表示上述置换后的图像的对象物的轮廓的轮廓信息。
17.一种图像处理方法，其特征在于包括以下步骤图像取得步骤，用于取得图像数据；区域划分步骤，用于把由上述取得的图像数据所表示的图像划分成许多个小区；区域选择步骤，用于选择一个或多个上述小区；以及分区处理步骤，用于对上述已选出的每个小区分别进行特定的图像处理。
18.一种图像处理方法，其特征在于具有图像取得步骤，用于取得图像数据；区域划分步骤，用于把由上述取得的图像数据所表示的图像划分成许多个小区；评价值计算步骤，用于根据上述被划分的小区来计算出表示图像清晰度的评价值；区域选择步骤，用于根据上述计算出的评价值来选择一个或多个上述小区；以及分区处理，用于对上述已选择的每个小区分别进行特定的图像处理。
19.一种程序，它用于图像处理装置，其特征在于具有使计算机执行的以下步骡图像取得步骤，用于取得图像数据；区域划分步骤，用于把由上述取得的图像数据所表示的图像划分成许多个小区；区域选择步骤，用于选择一个或多个上述小区；以及分区处理步骤，用于对上述已选出的每个小区分别进行特定的图像处理。
20.一种程序，它用于图像处理装置，其特征在于，使计算机执行以下程序步骤图像取得步骤，用于取得图像数据；区域划分步骤，用于把由上述取得的图像数据所表示的图像划分成许多个小区；评价值计算步骤，用于根据上述被划分的小区来计算出表示图像清晰度的评价值；区域选择步骤，用于根据上述计算出的评价值来选择一个或多个上述小区；以及分区处理步骤，用于对上述已选择的每个小区分别进行特定的图像处理。
21.一种超声波诊断装置，用于显示根据超声波的反射而生成的被检查体的断层图像，其特征在于具有图像取得装置，用于取得图像数据；区域划分装置，用于把由上述已取得的图像数据所表示的图像划分成许多个小区；区域选择装置，用于选择一个或多个上述小区；分区处理装置，用于对上述已选择的小区分别进行特定的图像处理；以及显示装置，用于显示已进行了上述图像处理的小区的图像。
22.一种超声波诊断装置，它用于显示根据超声波的反射而生成的被检查体的断层图像，其特征在于具有图像取得装置，用于取得图像数据；区域划分装置，用于把已取得的图像数据所表示的断层图像划分成许多小区；评价值计算装置，用于对上述划分的小区，计算出表示图像清晰度的评价值；区域选择装置，用于根据上述计算出的评价值来选择一个或多个上述小区；分区处理装置，用于对上述已选择的每个小区分别进行特定的图像处理；图像再构成装置，用于利用已进行了上述图像处理的小区的图像，再构成被检查体的断层图像；以及显示装置，用于显示上述再构成的断层图像。
23.一种程序，用于超声波诊断装置，该超声波诊断装置用于显示根据超声波的反射而生成的被检查体的断层图像，其特征在于具有图像取得步骤，用于取得图像数据；区域划分步骤，用于把由已取得的图像数据所表示的图像划分成许多个小区；区域选择步骤，用于选择一个或多个上述小区；以及分区处理步骤，用于对上述已选出的每个小区分别进行特定的图像处理。显示步骤，用于显示已进行了上述图像处理的小区的图像。
24.一种程序，用于超声波诊断装置，该超声波诊断装置用于显示根据超声波的反射而生成的被检查体的断层图像，其特征在于使计算机执行以下步骤图像取得步骤，用于取得图像数据；区域划分步骤，用于把由已取得的图像数据所表示的图像划分成许多个小区；评价值计算步骤，用于对上述划分的小区，计算出表示图像清晰度的评价值；区域选择步骤，用于根据上述计算出的评价值来选择一个或选择多个上述小区；分区处理步骤，用于对上述已选出的每个小区分别进行特定的图像处理。图像再构成步骤，它利用上述已进行图像处理的小区的图像，来对被检查体的断层图像进行再构成；显示步骤，用于显示上述再构成的断层图像。
全文摘要
本发明提供一种图像处理装置，能适用各种图像处理方法，区域划分部(103)根据初始轮廓把超声波断层图像划分成小区。评价值计算部(104)，例如根据各小区内的与亮度值有关的信息(对比度分布等)以及与位置有关的信息(离基准点的距离等)、与形状有关的信息(边缘的有无等)等，计算出评价值。区域选择部(106)根据已计算出的评价值来选择小区。分区处理部(105)进行与已选择的小区相对应的图像处理。图像再构成部(107)利用已进行了图像处理的小区来对断层图像进行再构成。
文档编号G01N29/00GK1444907SQ0311998
公开日2003年10月1日 申请日期2003年3月14日 优先权日2002年3月14日
发明者山内真树 申请人:松下电器产业株式会社