专利名称：图像处理装置、图像处理方法和程序的制作方法
技术领域：
本发明涉及ー种图像处理装置、图像处理方法和程序，更具体地，涉及ー种能够获得病理图像以用于进行更简单快捷地诊断的图像处理装置、图像处理方法及其程序。
背景技术：
存在医生等通过观察利用显微镜等获得的病理图像进行病理诊断的情况，人们还提出了一些通过使用病理图像而益于做出诊断的技木。作为技术之一，提出了一种根据例如用户输入的操作、利用由显微镜获取的微观图像而生成加网(screening)(移动观察)运动图像、缩放的运动图像和调焦的运动图像的技术(例如，參见JP-A-2006-228185(专利文献I))。在该技术中，可根据过去的操作输入历史和当前的操作输入来生成运动图像。此外，还提供了一种如下技木，该技术由指导医生通过以观察所要求的分辨率对样品的观察区域进行成像、将通过成像所获得的这些图像相互关联、并且基于观察日志将它们记录下来，从而生成用于病理诊断的教学材料的图像(例如，參见JP-A-2005-266718 (专利文献 2))。
发明内容
在上面的技术中，虽然可以通过生成用于诊断的病理图像来进行更有效的病理诊断，但是，获得这样的病理图像需要复杂的操作。例如，在专利文献I描述的技术中，需要用户执行操作输入以获得加网运动图像等作为诊断的病理图像。特别是对于新的微观图像，需要用户手工执行许多操作输入，因此，获得这些加网运动图像等需要花费时间。由于上面的原因，期望获得用于更简单快捷地进行诊断的病理图像。本公开的ー个实施例提供ー种图像处理装置，该装置包括第一特征量提取单元，被配置成从待处理图像中提取第一特征量；位置检测单元，被配置成基于位置检测字典和从该图像中提取的第一特征量，从该图像检测观察位置，该位置检测字典用于根据第一特征量来检测作为该图像上应当给予关注的位置的观察位置，该位置检测字典已经预先通过统计学习生成；第二特征量提取单元，被配置成从该图像上的观察位置提取第二特征量；观察顺序确定单元，被配置成基于顺序生成字典和该图像上的各观察位置的第二特征量，确观察定该图像上的观察位置的顺序，该顺序生成字典用于根据第二特征量确定图像上的各观察位置应该被观察的顺序，该顺序生成字典已经预先通过统计学习生成；以及图像生成単元，被配置成基于该图像、所检测到的观察位置和所确定的观察顺序，生成用于以该观察顺序显示该图像上的观察位置的观察图像。在该图像处理装置中，图像可以是医用图像。 该图像处理装置还可以包括第三特征量提取单元，被配置成从图像上的观察位置提取第三特征量；以及观察条件确定单元，用于基于观察条件生成字典和图像上的观察位置的第三特征量，确定图像上的每个观察位置的观察条件，该观察条件生成字典用于根据第三特征量确定图像上的观察位置的观察条件，该观察条件生成字典已经预先通过统计学习生成，其中，该图像生成単元可以生成观察图像，使得以确定的观察条件显示观察位置。观察条件可以是观察位置的显示放大倍数或者连续显示观察位置的显示时间。观察图像可以是运动图像，在该运动图像中，观察位置以观察顺序依次显示，并且，至少在第一个或者在最后ー个运动图像显示整个医用图像。观察图像可以是运动图像，在该运动图像中，观察位置以观察顺序依次显示，并且在该运动图像中，在显示ー个观察位置之后显示整个医用图像， 然后，显示下一个观察位置。观察图像可以是运动图像，在整个医用图像在观察图像中的部分区域中连续显示的状态下，在该运动图像中以观察顺序依次显示观察位置。本公开的另一个实施例提供ー种图像处理方法或者一种图像处理程序，包括从待处理的图像中提取第一特征量；基于位置检测字典和从该图像中提取的第一特征量检测图像的观察位置，该位置检测字典用于根据第一特征量来检测作为图像上应当给予关注的位置的观察位置，该位置检测字典已经预先通过统计学习生成；从图像上的观察位置提取第二特征量；根据顺序生成字典和该图像上的各观察位置的第二特征量，确定观察该图像上的观察位置的顺序，该顺序生成字典用于根据第二特征量确定图像上的各观察位置应该被观察的顺序，该顺序生成字典已经预先通过统计学习生成；以及，基于该图像、所检测到的观察位置和所确定的观察顺序，生成用于以该观察顺序显示该图像上的观察位置的观察图像。根据本公开的各实施例，从待处理的图像中提取第一特征量，基于位置检测字典和从该图像中提取的第一特征量从该图像检测观察位置，该位置检测字典用于根据第一特征量来检测作为图像上应当给予关注的位置的观察位置，该位置检测字典已经预先通过统计学习生成，从该图像上的观察位置中提取第二特征量，基于顺序生成字典和该图像上的各观察位置的第二特征量，确定图像上的观察位置的观察顺序，该顺序生成字典用于根据第二特征量确定图像上的各观察位置应该被观察的顺序，该顺序生成字典已经预先通过统计学习生成，以及基于该图像、所检测到的观察位置和所确定的观察顺序，生成用于以该观察顺序显示该图像上的观察位置的观察图像。根据本公开的实施例，以可更加简单快捷地获得用于诊断的病理图像。
图I是示出根据实施例的图像处理装置的配置示例的示图；图2是示出观察位置检测词典生成単元的配置示例的示图；图3是示出观察參数生成词典生成单元的配置示例的示图；图4是示出观察顺序生成词典生成单元的配置示例的示图；图5是示出诊断运动图像生成单元的配置示例的示图；图6是用于解释观察日志的生成的视图；图7是用于解释观察日志的生成的示图8是用于解释观察位置检测字典的学习过程的流程图；图9是用于解释观察位置检测字典的学习的视图； 图10是用于解释观察參数生成字典的学习过程的流程图；图11是用于解释观察參数生成字典的学习的视图；图12是用于解释观察顺序生成字典的学习过程的流程图；图13是用于解释观察顺序生成字典的学习的视图；图14是用于解释运动图像生成过程的流程图；以及图15是计算机的配置示例的示图。
具体实施例方式ー种图像处理装置，包括第一特征量提取单元，被配置成从待处理的图像中提取第一特征量；位置检测单元，被配置成基于位置检测字典和从所述图像中提取的第一特征量，从所述图像检测观察位置，所述位置检测字典用于根据所述第一特征量来检测作为所述图像上应当给予关注的位置的观察位置，所述位置检测字典已经预先通过统计学习生成；第二特征量提取单元，被配置成从所述图像上的所述观察位置提取第二特征量；观察顺序确定单元，被配置成基于顺序生成字典和所述图像上的各观察位置的第二特征量，确定观察所述图像上的所述观察位置的顺序，所述顺序生成字典用于根据所述第二特征量确定所述图像上的各观察位置应该被观察的顺序，所述顺序生成字典已经预先通过统计学习生成；以及图像生成単元，被配置成基于所述图像、所检测到的观察位置和所确定的观察顺序，生成用于以该观察顺序显示所述图像上的观察位置的观察图像。ー种图像处理装置的图像处理方法，所述图像处理装置包括第一特征量提取单元，被配置成从待处理的图像中提取第一特征量；位置检测单元，被配置成基于位置检测字典和从所述图像中提取的第一特征量，从所述图像检测观察位置，所述位置检测字典用于根据所述第一特征量来检测作为所述图像上应当给予关注的位置的观察位置，所述位置检测字典已经预先通过统计学习生成；第二特征量提取单元，被配置成从所述图像上的所述观察位置提取第二特征量；观察顺序确定单元，被配置成基于顺序生成字典和所述图像上的各观察位置的第二特征量，确定观察所述图像上的所述观察位置的顺序，所述顺序生成字典用于根据所述第二特征量确定所述图像上的各观察位置应该被观察的顺序，所述顺序生成字典已经预先通过统计学习生成，以及图像生成単元，被配置成基于所述图像、所检测到的观察位置和所确定的观察顺序，生成用于以该观察顺序显示所述图像上的观察位置的观察图像，所述方法包括由所述第一特征量提取单元从所述图像中提取所述第一特征量；由所述位置检测单元检测所述观察位置；由所述第二特征量提取单元从所述观察位置中提取所述第二特征量；由所述观察顺序确定单元基于所述顺序生成字典和所述第二特征量确定所述观察顺序；和由所述图像生成単元生成所述观察图像。下面，将參照附图对应用了本公开的实施例进行说明。<第一实施例>[图像处理装置的配置示例]图I是示出应用了本公开的图像处理装置的实施例的配置示例的示图。图像处理装置11基于例如显微镜所获取的医用图像来生成用于由医生等进行病理诊断的诊断运动图像，并再现该运动图像。任何医用图像只要是ー个通常的医用图像即可被使用，下面将介绍医用图像是用于病理诊断的图像的示例。该医用图像并不限于ニ维图像数据，也可以是例如CT(计算机断层扫描)和MRI (磁性共振图像)的三维图像数据。图像处理装置11包括获取单元21、观察位置检测字典生成単元22、观察參数生成字典生成单元23、观察顺序生成字典生成单元24、诊断运动图像生成单元25、记录单元26、显示控制单元27和显示单元28。获取单元21获取和记录用于学习的医用图像和观察日志，该观察日志用于在观察位置检测字典生成单元22、观察參数生成字典生成单元23和观察顺序生成字典生成单元24中执行的学习过程。例如，从记录単元26获取用于学习的医用图像。如果需要，获取单元21向观察位置检测字典生成单元22、观察參数生成字典生成单元23和观察顺序生成字典生成単元24提供用于学习的医用图像和观察日志。
这里，观察日志是有经验的医生等在改变显示放大倍数等吋，通过对使用病理图像观察器(viewer)显示的用于学习的医用图像的各区域进行观察而获得的观察的日志。更详细地说是，获取単元21在显示用于学习的医用图像时获取每一秒的观察日志，并将作为获取的结果而获得的日志处理作为观察日志。观察位置检测字典生成単元22通过利用由获取单元21提供的用于学习的医用图像和观察日志来执行统计学习，以生成用于检测如下区域的位置的观察位置检测字典，该区域是用于根据医用图像进行病理诊断的任意医用图像上应当给予注意观察的区域。例如，医用图像上应当注意观察的区域是对肿瘤等进行诊断所需要区域，S卩，医生应当检查的目标区域(target regions)。下文中，由观察位置检测字典所检测的要注意观察的区域位置，以及医用图像中由有经验的医生等注意观察的区域位置也都称为观察位置。观察參数生成字典生成単元23通过利用由获取单元21提供的用于学习的医用图像和观察日志来执行统计学习，以生成观察參数生成字典，以用于确定在观察用于病理诊断的医用图像上的各观察位置时要设置的各种參数。例如，在观察各观察位置时的各种參数被定义为观察条件，例如观察位置的显示放大倍数和观察时间(显示时间)。下文中，通过利用观察參数生成字典所获得的指示这些观察条件的參数都被称为观察參数。观察顺序生成字典生成単元24通过利用由获取单元21提供的用于学习的医用图像和观察日志来执行统计学习，以生成观察顺序生成字典，以用于确定用于病理诊断的医用图像上的各观察位置的应当被观察的顺序。诊断运动图像生成単元25获取并保持在观察位置检测字典生成単元22、观察參数生成字典生成単元23和观察顺序生成字典生成単元24中生成的各字典，还通过利用这些要提供给记录単元26的字典，根据输入的医用图像来生成诊断运动图像。记录单元26记录由诊断运动图像生成単元25提供的诊断运动图像，并且将该诊断运动图像提供给显示控制单元27和获取单元21。显示控制単元27将由记录单元26提供的诊断运动图像提供给显示単元28，并控制该诊断运动图像的再现。显示单元28包括，例如，液晶显示器等，在显示控制単元27的控制下显示诊断运动图像。
[观察位置检测字典生成単元的配置示例]接下来将对图I中的观察位置检测字典生成单元22、观察參数生成字典生成单元23和观察顺序生成字典生成単元24以及诊断运动图像生成単元25的更具体的配置示例进行说明 。图2是示出观察位置检测字典生成単元22的配置示例的示图。观察位置检测字典生成単元22包括外围图像生成単元51、特征量提取单元52、学习单元53和字典生成単元54。外围图像生成単元51从获取単元21获取用于学习的医用图像和观察日志，并剪出用于学习的医用图像的部分区域，作为要提供给特征量提取单元52的外围图像。这个时候基于该观察日志进行外围图像的裁剪。特征量提取单元52从外围图像生成単元51提供的多个外围图像中提取预定特征的特征量，并将这些特征量提供给学习単元53。学习单元53基于由特征量提取単元52提供的特征量来执行统计学习，并将学习的结果提供给字典生成単元54。字典生成単元54基于来自学习单元53的学习结果生成观察位置检测字典，并将该字典提供给诊断运动图像生成单元25。[观察參数生成字典生成单元的配置示例]图3是示出观察參数生成字典生成单元23的配置示例的示图。观察參数生成字典生成単元23包括外围图像生成単元81、特征量提取单元82、学习单元83和字典生成单元84。除了学习的算法和要提取的特征量不同之外，从外围图像生成単元81到字典生成单元84的这些单元与图2中的外围图像生成单元51到字典生成单元54基本上是相同的，因此，这里省略对它们的说明。然而，通过利用从外围图像中提取的特征量和由获取单元21提供的观察日志，在学习单元83中执行统计学习。在字典生成单元84中生成的观察參数生成字典被提供给诊断运动图像生成单元25。[观察顺序生成字典生成单元的配置示例]图4是示出观察顺序生成字典生成单元24的配置示例的示图。观察顺序生成字典生成单元24包括外围图像生成单元111、特征量提取单元112，学习单元113和字典生成单元114。除了学习的算法和提取的特征量不同之外，从外围图像生成単元111到字典生成单元114的这些单元与图2中的外围图像生成单元51到字典生成单元54基本上是相同的，因此，这里省略对它们的说明。然而，通过利用从外围图像中提取的特征量和由获取单元21提供的观察日志，在学习单元113中执行统计学习。在字典生成单元114中生成的观察顺序生成字典被提供给诊断运动图像生成单元25。在外围图像生成单元51、外围图像生成单元81和外围图像生成单元111中生成的外围图像的大小可能相同，也可能不同。[诊断运动图像生成单元的配置示例]图5是示出诊断运动图像生成单元25的配置示例的示图。
诊断运动图像生成単元25包括观察位置检测字典保持単元141、观察參数生成字典保持单元142、观察顺序生成字典保持单元143、观察位置检测单元144、观察參数生成単元145、观察顺序信息生成単元146和运动图像生成単元147。
观察位置检测字典保持单元 141、观察參数生成字典保持单元142和观察顺序生成字典保持単元143保持由观察位置检测字典生成単元22、观察參数生成字典生成単元23和观察顺序生成字典生成单元24提供的观察位置检测字典、观察參数生成字典和观察顺序生成字典。观察位置检测单元144通过利用记录在观察位置检测字典保持単元141中的观察位置检测字典来根据提供的医用图像检测观察位置，并将检测结果和该医用图像提供给观察參数生成单元145、观察顺序信息生成单元146和运动图像生成单元147。该观察位置检测单元144包括特征量提取单元161，其在检测观察位置时，从医用图像上提取用于检测观察位置的特征量。观察參数生成単元145基于由观察位置检测单元144提供的检测结果和医用图像，以及存储在观察參数生成字典保持单元142中的观察參数生成字典，在医用图像上的各观察位置生成观察參数，并将这些观察參数提供给运动图像生成単元147。观察參数生成单元145包括特征量提取单元162,其在生成观察參数时,从观察位置检测单元144提供的医用图像中提取用于生成观察參数的特征量。观察顺序信息生成単元146基于由观察位置检测单元144提供的检测结果和医用图像，以及保持在观察顺序生成字典保持単元143中的观察顺序生成字典，生成指示医用图像上观察位置的观察顺序的观察顺序信息，并将该信息提供给运动图像生成単元147。观察顺序信息生成単元146包括特征量提取单元163，其在生成观察顺序信息吋，从观察位置检测单元144提供的医用图像中提取用于生成观察顺序信息的特征量。运动图像生成単元147基于来自观察位置检测单元144的观察位置的检测结果和医用图像，来自观察參数生成単元145的观察參数和来自观察顺序信息生成単元146的观察顺序信息，生成诊断运动图像，并将该诊断运动图像提供给记录単元26。[关于观察日志的生成]当有经验的医生等操作图像处理装置11并指示该装置显示用于学习的医用图像吋，显示控制単元27从记录単元26获取用于学习的医用图像，并将该图像提供给显示単元28以在其上显示，其中，该用于学习的医用图像是作为用于病理诊断的病理图像。在这个时候，依据有经验的医生等的操作，显示控制単元27通过对区域进行放大而显示用于学习的医用图像的局部区域，或者执行从给定区域滚动到另ー个区域的滚动显示。根据上面的描述，用于学习的医用图像，例如，在图6的左侧示出的，显示在显示単元28上。在图6的示例中，待显示的用于学习的整个医用图像显示在区域RAll中，而用于学习的医用图像的局部区域显示在显示单元28的整个显示屏幕上，其中，区域RAlI位于显示单元28的显示屏幕的图画的右下部。也就是说，区域RAll中，用于学习的医用图像上的区域RBll的图像经过放大显示在显示单元28的整个显示屏幕上。有经验的医生等通过观察显示单元28上显示的用于学习的医用图像的各区域，进行病理诊断。例如，有经验的医生等查出癌症或者确定癌症的发展程度。当有经验的医生等通过用给定的显示放大倍数放大/縮小这些区域来观察用于学习的医用图像的各区域吋，获取单元21从记录単元26获取显示的用于学习的医用图像，并在每秒钟都记录下用于学习的医用图像的观察日志。因此，可获得例如图6的右侧所示出的每秒钟的日志LGlI。在日志LGlI中，在各时间点由有经验的医生记录的包括观察位置的数据以及显示放大倍数以时间的顺序纵向排列。
这里，观察位置是在用于学习的医用图像上显示在显示单元28上的区域的中心位置，该观察位置通过以用于学习的医用图像上的给定位置作为原点的XY坐标系统中的X-坐标和Y-坐标来表示。显示放大倍数是在显示用于学习的医用图像的观察位置时的显示放大倍数(缩放倍数)。在图6的示例中，包括{X-坐标,Y-坐标,显示放大倍数}的数据作为各时间点的日志数据纵向排列在图中。因此，例如，可发现，有经验的医生等已经对用于学习的医用图像上的由X-坐标为“330”和Y-坐标为“456”确定的位置通过以显示放大倍数为10对图像进行放大来进行观察。当有经验的医生等完成对用于学习的医用图像的观察时，获取単元21根据每秒钟获得的日志生成观察日志，以作为用于学习的观察日志记录下来。例如，如图7所示，根据在每秒钟获得的、包括各时间点的X-坐标、Y-坐标和显示放大倍数的日志LGlI，获取单元21生成包括用于学习的医用图像的各观察位置的X-坐标、Y-坐标、观察时间的和显示放大倍数的观察日志0LG11。在观察日志OLGll中，包括已经由有经验的医生等观察到的用于学习的医用图像上的各观察位置处的{X-坐标，Y-坐标，观察时间，显示放大倍数}的数据作为日志数据在图中以时间的顺序纵向排列。例如，图7的日志LGll中的上面三个数据是相同的数据{330，456，10}。因此，可以发现，有经验的医生已经对用于学习的医用图像上的由X-坐标“ 330 ”和Y-坐标“ 456 ”确定的区域进行过显示放大倍数为10、为时3秒的观察。因此，根据这些数据，获取单元21生成图中在观察日志OLGll上部所示的数据{330,46, 3,10}o这里，观察时间“3”表示，由这些数据确定的用于学习的医用图像上的区域已经被连续观察了 3秒。即，观察时间表示一个时间段，在该时间段期间，用于学习的医用图像上的区域已经被连续显示。如上所述，在生成观察日志后，获取单元21通过将所获取的用于学习的医用图像和观察日志互相关联起来，来记录所获取的用于学习的医用图像和观察日志。在生成观察日志时，更优选的是，在有经验的医生等还没有实际进行病理诊断时所获得的日志不反映在生成的观察日志上。例如，假设有经验的医生等在利用用于学习的医用图像进行病理诊断时，由于某些因素中断了诊断。在这种情况下，虽然从诊断中断到重新开始诊断这段时间内有经验的医生等并没有实际进行诊断，但是，日志仍在记录，結果，在这个期间显示的观察位置的观察时间将比必要的时间的更长。因此，例如，在图像处理装置11中设置ー个传感器，该传感器用于检测对该图像处理装置11执行操作的有经验的医生等的视线方向，从而检测有经验的医生等是否实际进行病理诊断。例如，当有经验的医生等的视线明显地偏离显示単元28的方向时，可以确定没有进行病理诊断。如上所述，当确定没有进行病理诊断时，获取単元21阻止毎秒钟对用于学习的医用图像的日志的记录，直到检测到有经验的医生等的视线方向为显示単元28的方向。由此，可获得更加精确的观察日志。[观察位置检测字典的学习过程的说明]
当获取单元21获得足够数量的用于学习的医用图像和观察日志吋，通过利用这些用于学习的医用图像和观察日志，观察位置检测字典生成単元22、观察參数生成字典生成单元23和观察顺序生成字典生成单元24进行学习以生成各自的字典。下文中将对这些字典的生成进行说明。首先，将參照图8的流程图，对观察位置检测字典生成単元22对观察位置生成字典的学习过程进行说明。在步骤Sll中，外围图像生成単元51基于由获取単元21提供的用于学习的医用图像和观察日志，在用于学习的医用图像上剪出观察位置和非观察位置的外围图像，并将这些图像提供给特征量提取单元52。例如，假设观察日志提供如图9所示的用于学习的医用图像，并确定Pll到P15五个观察位置。在这种情况下，外围图像生成单元51剪出以这些观察位置Pll到P15为中心的各矩形区域，形成包括这些观察位置的外围图像roii到roi5。在用于学习的医用图像上，外围图像生成単元51还确定与这些观察位置不同的ー些位置作为非观察位置，并剪出以这些非观察位置为中心的各矩形区域，形成非观察位置的外围图像。这些非观察位置由外围图像生成単元51随机确定。如上所述获得的观察位置的外围图像roii到roi5是有经验的医生等在病理诊断时已经给予关注的区域的图像。也就是说，这些区域是在进行病理诊断时已经连续显示了超过ー个固定时间段的区域。另ー方面，非观察位置的外围图像是还没有特别受到有经验的医生等关注的区域的图像。如图右侧部分所示，外围图像生成单元51将这些外围图像roii到roi5作为正数据提供给特征量提取单元52，并将非观察位置的外围图像作为负数据提供给特征量提取单元52。例如，通过向外围图像添加表示是这些数据中的哪些数据的标签来区分正数据和负数据。从用于学习的医用图像上剪出的作为外部图像的区域大小可以是预先确定的大小，或者优选地，在改变大小的时候对观察位置检测字典进行统计学习，以在这个过程中确定最优大小。返回对图8的流程图进行描述，在外围图像生成単元51根据多个用于学习的医用图像生成外围图像时，外围图像生成単元51将这些外围图像提供给特征量提取单元52，然后处理进行到步骤S12。在步骤S12中，特征量提取单元52从外围图像生成単元51提供的各外围图像中提取特征量，并将这些特征量与添加给每个外围图像的标签一起，提供给学习単元53。例如，特征量提取单元52将外围图像上的任意两个像素组成对形成ー个像素对，并计算这些像素的亮度值的差作为特征量。特征量提取单元52计算上述外围图像上关于某些不同像素对的特征量，并将这些量提供给学习単元53。
在步骤S13中，学习单元53基于特征量提取单元52提供的特征量进行比如Boosting的统计学习，并将学习结果提供给字典生成单元54。例如，假设表示观察位置的特征度的函数G(X)是ー个通过线性组合获得的函数，即，通过对多个弱分类器g(x)进行加权相加。这里，弱分类器g(x)是ー个在特定像素对的特征量大于或等于ー个给定阈值“thg”时输出为“I”、而在该特征量小于该阈值“thg”时输出为“0”的函数。此外，当将从该图像中提取的特征量代入到函数G(X)中所得到的值较大时，该图像的区域作为观察位置具有较高特征度。
在这种情况下，通过利用从正数据获得的特征量和从负数据获得的特征量，学习単元53计算函数G(X)，由此，通过在将某些弱分类器g(x)组合时进行的统计学习，可以最精确地检测观察位置。换句话说，在统计学习中计算用于检测观察位置的像素对的最优组合(弱分类器g(x)的组合)、每个弱分类器g(x)的阈值“thg”和用于线性组合的权重。在步骤S14中，字典生成単元54基于由学习单元53提供的统计学习的結果，生成观察位置检测字典，并将该字典提供给诊断运动图像生成単元25的观察位置检测字典保持单兀141,以在其中保持。例如，字典生成单元54生成观察位置检测字典，以便包括包含在函数G (X)中的各弱分类器g(x)、这些弱分类器的阈值“thg”和用于线性组合的各弱分类器的权重。当以这种方式生成观察位置检测字典时，观察位置检测字典的学习过程即完成。利用有经验的医生的观察日志和用于学习的医用图像，通过统计学习而预先生成观察位置检测字典，由此，以高精度从任意医用图像上检测假设由有经验的医生等给予关注的观察位置。[观察參数生成字典学习过程的说明]接下来，将參照图10的流程图对观察參数生成字典生成单元23的观察參数生成字典的学习过程进行说明。在步骤S41中，外围图像生成単元81基于由获取単元21提供的用于学习的医用图像和观察日志，在用于学习的医用图像上，剪出观察位置的外围图像，并将这些图像提供给特征量提取单元82。S卩，在步骤S41中执行与在图8的步骤Sll中执行的剪出观察位置的外围图像的处理相同的处理。在步骤S42中，特征量提取单元82从外围图像生成単元81提供的各外围图像中提取特征量，并将这些特征量提供给学习単元83。例如，计算表示外围图像中像素亮度值分布的直方图、HOG(梯度方向直方图)等作为特征量。在步骤S43中，学习单元83基于由特征量提取単元82提供的各外围图像和由获取单元21提供的观察日志,执行比如Gradient Boosting的统计学习。也就是说，利用从观察日志获得的各观察參数执行统计学习，作为教师数据(teacher data)。例如，如图11所示，当生成用于获得观察时间作为观察參数的观察參数生成字典时，学习单元83将每个外围图像，更具体地是，将从外围图像中提取的特征量与包括在外围图像中的观察位置的观察时间关联起来。例如，包括多个外围图像的外围图像组PGll到外围图像组PG15是包括观察位置的外围图像的集合，其中各观察位置的观察时间分别为5秒、6秒、7秒、20秒和21秒。然后，学习单元83基于每个外围图像的特征量“X”和观察时间“y”，计算下面的表达式(I)，得到具有最小损失函数L (y，F(X))的函数F(X)。
权利要求
1.一种图像处理装置，包括 第一特征量提取单元，被配置成从待处理的图像中提取第一特征量； 位置检测单元，被配置成基于位置检测字典和从所述图像中提取的第一特征量，从所述图像检测观察位置，所述位置检测字典用于根据所述第一特征量来检测作为所述图像上应当给予关注的位置的观察位置，所述位置检测字典已经预先通过统计学习生成； 第二特征量提取单元，被配置成从所述图像上的所述观察位置提取第二特征量； 观察顺序确定单元，被配置成基于顺序生成字典和所述图像上的各观察位置的第二特征量，确定观察所述图像上的所述观察位置的顺序，所述顺序生成字典用于根据所述第二特征量确定所述图像上的各观察位置应该被观察的顺序，所述顺序生成字典已经预先通过统计学习生成；以及 图像生成单元，被配置成基于所述图像、所检测到的观察位置和所确定的观察顺序，生成用于以该观察顺序显示所述图像上的观察位置的观察图像。
2.根据权利要求I的图像处理装置， 其中，所述图像是医用图像；
3.根据权利要求2的图像处理装置，还包括第三特征量提取单元，被配置成从所述图像上的所述观察位置提取第三特征量；和观察条件确定单元，用于基于观察条件生成字典和所述图像上的所述观察位置的所述第三特征量，确定所述图像上的每个观察位置的观察条件，所述观察条件生成字典用于根据所述第三特征量确定所述图像上的所述观察位置的观察条件，所述观察条件生成字典已经预先通过统计学习生成， 其中，所述图像生成单元生成所述观察图像，使得以确定的观察条件显示所述观察位置。
4.根据权利要求3的图像处理装置， 其中，所述观察条件是所述观察位置的显示放大倍数或者连续显示所述观察位置的显示时间。
5.根据权利要求2的图像处理装置， 其中，所述观察图像是运动图像，在该运动图像中所述观察位置以所述观察顺序依次显示，并且，至少在第一个或者在最后一个运动图像显示整个医用图像。
6.根据权利要求2的图像处理装置， 其中，所述观察图像是运动图像，在该运动图像中所述观察位置以所述观察顺序依次显示，并且在所述运动图像中，在显示一个观察位置之后显示整个医用图像，然后显示下一个观察位置。
7.根据权利要求2的图像处理装置， 其中，所述观察图像是运动图像，在整个医用图像在所述观察图像中的部分区域中连续显示的状态下，在所述运动图像中以所述观察顺序依次显示所述观察位置。
8.一种图像处理装置的图像处理方法， 所述图像处理装置包括 第一特征量提取单元，被配置成从待处理的图像中提取第一特征量； 位置检测单元，被配置成基于位置检测字典和从所述图像中提取的第一特征量，从所述图像检测观察位置，所述位置检测字典用于根据所述第一特征量来检测作为所述图像上应当给予关注的位置的观察位置，所述位置检测字典已经预先通过统计学习生成； 第二特征量提取单元，被配置成从所述图像上的所述观察位置提取第二特征量； 观察顺序确定单元，被配置成基于顺序生成字典和所述图像上的各观察位置的第二特征量，确定观察所述图像上的所述观察位置的顺序，所述顺序生成字典用于根据所述第二特征量确定所述图像上的各观察位置应该被观察的顺序，所述顺序生成字典已经预先通过统计学习生成，以及 图像生成单元，被配置成基于所述图像、所检测到的观察位置和所确定的观察顺序，生成用于以该观察顺序显示所述图像上的观察位置的观察图像， 所述方法包括 由所述第一特征量提取单元从所述图像中提取所述第一特征量； 由所述位置检测单元检测所述观察位置； 由所述第二特征量提取单元从所述观察位置中提取所述第二特征量； 由所述观察顺序确定单元基于所述顺序生成字典和所述第二特征量确定所述观察顺序；和 由所述图像生成单元生成所述观察图像。
9.一种允许计算机执行处理的程序，所述处理包括 从待处理的图像中提取第一特征量， 基于位置检测字典和从所述图像中提取的第一特征量从所述图像检测观察位置，所述位置检测字典用于根据所述第一特征量来检测作为所述图像上应当给予关注的位置的观察位置，所述位置检测字典已经预先通过统计学习生成， 从所述图像上的所述观察位置提取第二特征量， 基于顺序生成字典和所述图像上的各观察位置的第二特征量，确定观察所述图像上的所述观察位置的顺序，所述顺序生成字典用于根据所述第二特征量确定所述图像上的各观察位置应该被观察的顺序，所述顺序生成字典已经预先通过统计学习生成，以及 基于所述图像、所检测到的观察位置和所确定的观察顺序，生成用于以该观察顺序显示所述图像上的观察位置的观察图像。
全文摘要
一种图像处理装置、图像处理方法和程序。一种图像处理装置，包括第一特征量提取单元，被配置成从图像中提取第一特征量；位置检测单元，被配置成基于位置检测字典和从该图像中提取的第一特征量，从图像检测观察位置；第二特征量提取单元，被配置成从观察位置提取第二特征量；观察顺序确定单元，被配置成基于顺序生成字典和各观察位置的第二特征量，确定观察观察位置的顺序；以及图像生成单元，被配置成基于该图像、所检测到的观察位置和所确定的观察顺序，生成用于以该观察顺序显示图像上的观察位置的观察图像。
文档编号G06F19/00GK102622508SQ20121001678
公开日2012年8月1日 申请日期2012年1月18日 优先权日2011年1月25日
发明者大桥武史 申请人:索尼公司