信息处理装置、信息处理方法和信息处理程序的制作方法

信息处理装置、信息处理方法和信息处理程序的制作方法
【专利摘要】一种图像处理装置，包括：处理器和存储指令的存储器设备。当通过处理器执行指令时，该指令使处理器根据显示区域中的病理图像的至少一部分的显示时间生成轨迹图像。
【专利说明】信息处理装置、信息处理方法和信息处理程序

【技术领域】
[0001]本公开涉及在医疗保健、病理学、生物学、材料等领域中用于控制利用显微镜所获取的图像的显示的信息处理装置、信息处理方法和信息处理程序。

【背景技术】
[0002]在医疗保健、病理学等领域中提出了一种系统，其中由光学显微镜获取的生物体的细胞、组织、器官等的图像被数字化并且医生、病理学家等基于数字化图像检查组织等或对患者进行诊断。
[0003]根据例如在日本专利申请公开第2009-37250号中描述的方法，由显微镜光学获取的图像通过具有安装在其中的CCD(电荷耦合装置)的摄影机而被数字化，并且数字信号被输入以控制计算机系统使图像显现在监测器上。通过观察显示在监测器上的图像，病理学家对图像进行检查等(参见例如日本专利申请公开第2009-37250号的0027段和0028段)。
[0004]此外，作为防止病理学家漏看病理图像的方法，用于记录病理图像的观察历史的技术已公诸于众(例如，日本专利申请公开第2011-112523号)。
[0005]引用列表
[0006]专利文献
[0007]PTLl:日本专利申请公开第2009-37250号
[0008]PTL2:日本专利申请公开第2011-112523号


【发明内容】

[0009]技术问题
[0010]通常，观察放大倍率越高，显微镜的观察区域相对于整个对象变得越小。例如，病理学家通常使用显微镜观察对象以便浏览整个对象并且使用极高的放大倍率观察整体的一部分以检查目标。然而，如果在检查时病理学家没有观察到的目标区域中存在疾病，即，如果病理学家在检查时漏看了改区域，那么以后会出现严重的问题。
[0011]有鉴于上述情况创作了本公开，并且因此期望提供允许用户在使用显微镜观察时避免漏看目标的风险的信息处理装置、信息处理方法、信息处理系统以及信息处理程序。
[0012]问题的解决方案
[0013]根据实施方式，提供了一种图像处理装置，该图像处理装置包括处理器和存储指令的存储器设备。当通过处理器执行指令时，该指令使处理器根据显示区域中的病理图像的至少一部分的显示时间生成轨迹图像(trail image)。
[0014]在根据实施方式的图像处理装置中，根据该显示时间通过与该病理图像相关联的修改生成该轨迹图像。
[0015]在根据实施方式的图像处理装置中，该修改是根据该显示时间将掩模图像(maskimage)覆盖在该病理图像上。
[0016]在根据实施方式的图像处理装置中，该掩模图像是半透明的。
[0017]在根据实施方式的图像处理装置中，该修改的程度基于在该显示区域中显示的该病理图像的至少一部分的放大倍率。
[0018]在根据实施方式的图像处理装置中，当该放大倍率在阈值以上时，该程度随着显示时间的增加而增加。在根据实施方式的图像处理装置中，当该放大倍率在阈值以上时，该程度随着显示时间的增加而增加。在根据实施方式的图像处理装置中，当到达最大值时，该程度保持在该最大值。在根据实施方式的图像处理装置中，该程度基于显示时间而逐步(stepwise)增加。
[0019]在根据实施方式的图像处理装置中，基于显示时间增加该掩模图像的亮度和/或基于该显示时间减少该病理图像的亮度。
[0020]在根据实施方式的图像处理装置中，利用α混合(alpha blending)将该掩模图像覆盖在该病理图像上。
[0021]在根据实施方式的图像处理装置中，该指令使该处理器获取包括该病理图像的至少一部分的显示时间的显示历史。
[0022]在根据实施方式的图像处理装置中，该指令使该处理器控制与该显示历史相对应的该轨迹图像的缩略图像(thumbnail image)的显示。
[0023]在根据实施方式的图像处理装置中，图像处理装置进一步包括被配置为接收用户输入的输入单元。
[0024]在实施方式中，提供了一种图像处理方法。图像处理方法包括根据显示区域中的病理图像的至少一部分的显示时间生成轨迹图像。
[0025]在实施方式中，提供了一种存储计算机程序的非临时性计算机可读存储介质。该计算机程序是用于使得图像处理装置根据显示区域中的病理图像的至少一部分的显示时间生成轨迹图像。
[0026]在实施方式中，提供一种图像处理系统。该图像处理系统包括处理器和存储指令的存储器设备。当处理器执行指令时使处理器根据显示区域中的病理图像的至少一个部分的显示时间生成轨迹图像。
[0027]在根据实施方式的图像处理系统中，图像处理系统进一步包括至少一个被配置为获取病理图像的扫描仪和被配置为存储病理图像的服务器。
[0028]在实施方式中，提供一种图像处理装置，该装置包括生成部，该生成部被配置为根据显示区域中的病理图像的至少一部分的显示时间生成轨迹图像。
[0029]发明的有益效果
[0030]如上所述，根据本公开的实施方式可以允许用户避免在使用显微镜进行观察时漏看目标的风险。

【专利附图】

【附图说明】
[0031][图1]图1是示出了根据本公开的实施方式的观测计算机500的典型的使用环境的示图。
[0032][图2]图2是示出了根据本公开的实施方式的观测计算机500的硬件配置的框图。
[0033][图3]图3是示出了图像管理服务器400的功能块的示图。
[0034][图4]图4是示出了观测计算机500的功能块的示图。
[0035][图5]图5是示出了观测仪屏幕的实例的示图。
[0036][图6]图6是用于描述根据阅览操作记录和再现屏幕显示的历史的流程的程序表。
[0037][图7]图7是示出了其中整个病理图像和显示轨迹结合在一起的轨迹图像的示图。
[0038][图8]图8是示出了其中彼此不同的整个病理图像A和掩模图像B—个重叠在另一个上的状态的示图。
[0039][图9]图9A至图9C是示出了α值的增加趋势的曲线图。
[0040][图10]图10是示出了其中当长时间观察特定位置时α值的增加率变化的状态的曲线图。
[0041][图11]图11是示出了在具有与旋转的观察区域62相对应矩形R的掩模图像上执行记录的实例的示图。
[0042][图12]图12是用于描述用于生成轨迹图像的过程的流程的流程图。
[0043][图13]图13是示出了其中用户使拍摄的样本SPL显示在观察区域62中以观察样本SPL的过程的示图。
[0044][图14]图14是示出了将在图13中示出的显示过程在缩略图(thumbnailmap)61内的整个病理图像上记录为显示轨迹的实例的示图。
[0045][图15]图15是示出了与掩模图像相结合的轨迹图像转换成二值化图像的实例的示图。
[0046][图16]图16是示出了由显示历史控制单元52提供给用户的显示历史的列表的屏幕的实例的示图。

【具体实施方式】
[0047]在下文中，将参考附图给出本公开的实施方式的说明。
[0048]<第一实施方式>
[0049](观测计算机的使用环境)
[0050]首先，将给出其中病理学家对使用显微镜拍摄的样本的虚拟切片图像(病理图像)进行诊断的环境的概括描述。病理学家使用诊断图像的观测计算机上观测仪来观察病理图像。图1是示出了根据本公开的实施方式的观测计算机500的典型的使用环境的示图。
[0051]包括显微镜10和扫描计算机20的扫描仪100被安装在医院内部的组织学实验室HL中。使用显微镜10拍摄的原始(RAW)图像在扫描计算机20上经历诸如显影处理、阴影处理、颜色平衡校正、伽马校正和8位处理的图像处理。然后，图像被分成256X256个像素的瓦片(tile)并且被转换成用于压缩的JPEG(Joint Photographic Experts Group,联合图像专家组)图像。此后，将图像存储在硬盘HDl上。
[0052]接下来，存储在扫描计算机20的硬盘HDl上的JPEG图像经由网络300被上传到同一家医院内部的数据中心DC的图像管理服务器400上的硬盘HD2。
[0053]在医院内部的病理室PR或医院外部的建筑EX中，作为观察者的病理学家使用经由网络300连接至图像管理服务器400的观测计算机500观察存储在图像管理服务器400的硬盘HD2上的JPEG图像。
[0054]另外，通过向观测计算机500发出指令，允许作为观察者的病理学家将在观察JPEG图像时由病理学家制作的JPEG图像的显示上的改变记录作为显示历史。所记录的显示历史经由网络300被发送至图像管理服务器400并且存储在那里。
[0055]此外，通过向观测计算机500发送指令，允许病理学家调用存储在图像管理服务器400上的显示历史并且在观测仪上再现先前观察的JPEG图像。
[0056](本公开的实施方式概述)
[0057]接下来，将给出本公开的实施方式概述的描述。过去，旨在将通过使用观测计算机500观察病理图像获取的轨迹重叠并记录在作为图像的病理图像上。然而，期望将病理图像上病理学家已观察的病理图像的位置和时间以更加可以理解的方式表示为轨迹。
[0058]由此看来，作为根据本公开的实施方式的记录轨迹的方法，轨迹是以以下方式记录的，即将透明的掩模图像重叠在整个病理图像上并且根据病理学家显示特定区域的时间和观察放大倍率改变掩模图像的透明度。轨迹的位置是使用病理图像的显示区域的透明度的降低(基于掩模图像的颜色)来记录的，并且区域的显示时间是通过透明度的降低程度(基于掩模图像的颜色的深度)表示的。
[0059]通过以这种方式记录轨迹，允许观察者随后验证病理图像的漏看并且容易理解与病理图像的观察有关的位置和时间。
[0060](观测计算机500的配置)
[0061]接下来，将给出观测计算机500的硬件配置的描述。
[0062]图2是示出了根据本公开的实施方式的观测计算机500的硬件结构的框图。
[0063]观测计算机500包括:执行计算控制的CPU(中央处理单元)21、ROM(只读存储器)22、用作CPU 21的工作存储器的RAM (随机存取存储器)23以及根据用户的操作向其输入指令的操作输入单元24 (输入单元)。另外，观测计算机500包括接口单元25、输出单元26 (显示单元)、存储器27、网络接口单元28以及将这些单位彼此连接的总线29。
[0064]ROM 22将用于执行各种处理的程序存储在其中。接口单元25被连接至控制器30和照相机31。控制器30包括各种按钮和手柄并且允许从用户接收各种输入。
[0065]另外，控制器30包括加速度传感器和倾斜传感器并且允许接收当通过用户使控制器30倾斜或摇晃时给出的指令。照相机31用于拍摄使用观测计算机500观察病理图像的用户的脸部的照片。
[0066]网络接口单元28被连接至网络300。用于图像显示液晶显示器、EL(电致发光)显示器、等离子显示器等作为输出单元26，并且扬声器等被用于音频输出。使用诸如通过HDD(硬盘驱动)所表示的磁盘、半导体存储器、光盘等作为存储器27。
[0067]CPU 21将存储在ROM 22、存储器27等中指令中的经由操作输入单元24给出的指令相对应的程序开发至RAM 23中，并且根据所开发的程序适当地控制输出单元26和存储器27。
[0068]稍后将描述CPU 21执行的功能块。CPU 21执行存储在ROM 22、存储器27等中的程序以便在必要时控制上述单元。因此，允许观测计算机500实施各种功能块并且使上述单元被操作为观测计算机500。
[0069](图像管理服务器400的配置)
[0070]接下来，将给出图像管理服务器400的硬件配置的描述。
[0071]除了控制器30和照相机31没有被连接至接口单元25之外，图像管理服务器400的硬件配置与观测计算机500的硬件配置基本相同。因此，将省去图像管理服务器400的硬件配置的详细描述。
[0072](图像管理服务器400的功能块)
[0073]接下来，将给出图像管理服务器400的功能块的描述。图像管理服务器400的第一基本功能是根据观测计算机500的请求来提供病理图像。图像管理服务器400的第二基本功能是存储从观测计算机500接收的显示历史并且根据观测计算机500的请求提供该显示历史。
[0074]图像管理服务器400的第三基本功能是存储由病理学家在观测仪上添加的病理图像的特定区域上的注释(以下简称注解)。图3是示出了图像管理服务器400的功能块的示图。
[0075]图像管理服务器400包括图像存储器41的功能块、图像提供部42、显示历史存储器43以及显示历史管理单元44。
[0076]图像存储器41将被分成瓦片并且在JPEG下进行压缩的病理图像存储在其中。根据观测计算机500的请求将存储的病理图像经由图像提供部42提供给观测计算机500。另夕卜，通过用户使用观测计算机500上观测仪在病理图像上添加注解也被存储在图像存储器41中。
[0077]图像提供部42经由网络300从图像存储器41获取与从观测计算机500发送的图像请求相对应的病理图像并且将该病理图像经由网络300发送至观测计算机500。
[0078]显示历史存储器43将通过用户在观测计算机500上操作的观测仪的显示历史存储在其中。
[0079]显示历史管理单元44经由网络300获取已记录在观测计算机500上的并且临时整理在一起的显示历史。然后，显示历史管理单元44存储在显示历史存储器43中获取的显示历史。此外，在从观测计算机500接收显示历史请求时，显示历史管理单元44从显示历史存储器43获取与请求相对应的显示历史并且将该显示历史经由网络300发送到观测计算机500。
[0080]注意，因为图像管理服务器400和观测计算机500彼此构成了客户端/服务器系统，所以客户端和服务器之间的功能分配是设计选择的问题。因此，执行上述功能块的功能的位置不限于图像管理服务器400，而是可以在观测计算机500上执行该功能。
[0081 ](观测计算机500的功能块)
[0082]接下来，将给出观测计算机500的功能块的描述。观测计算机500的第一基本功能是从作为病理学家的用户接收操作指令、从图像管理服务器400获取对应的病理图像、并且将图像显示给用户。观测计算机500的第二基本功能是用于表明作为位于病理图像上的轨迹的显示范围和显示时间，并且生成轨迹图像。
[0083]观测计算机500的第三基本功能是记录与通过用户诊断图像所执行的阅览操作相对应的图像的显示并将图像的显示历史发送到图像管理服务器400进行存储。观测计算机500的第四基本功能是根据用户的请求获取图像管理服务器400中存储的显示历史并基于显示历史再现与通过用户执行的操作相对应的图像的显示。
[0084]图4是示出了观测计算机500的功能块的示图。
[0085]观测计算机500包括图像获取部51的功能块(获取部)、显示历史控制单元52以及轨迹图像生成部53 (生成部)。
[0086]图像获取部51经由网络300从图像管理服务器400获取与作为病理学家的用户经由操作输入单元24给出的指令相对应的病理图像并且将所获取的病理图像经由输出单元26提供给用户。
[0087]根据用户的指令，显示历史控制单元52记录与用于诊断病理图像而由用户执行的阅览操作相对应的屏幕显示上的变化。屏幕显示上的变化被首先记录在观测计算机500的RAM 23或存储器27上。然后，根据用于停止记录的指令，屏幕显示的变化被整理在一起并且作为显示历史发送到图像管理服务器400进行存储。
[0088]另外，响应于用户的指令，显示历史控制单元52从图像管理服务器400获取与指令相对应的显示历史并且经由输出单元26将记录在所获取的显示历史上的观测仪的屏幕显示提供给用户。
[0089]此外，显示历史控制单元52将表示在观测仪屏幕上显示的病理图像的区域的信息以及表示显示图像的区域的时长的信息发送至轨迹图像生成部53。
[0090]轨迹图像生成部53从显示历史控制单元52获取表示显示的病理图像的区域的位置信息和表示显示图像的区域时长的时间信息，并且降低掩模图像(mask image)的像素的透明度。随后将详细描述透明度降低的细节。
[0091](观测仪屏幕)
[0092]接下来，将给出允许用户在观测计算机500上观察病理图像的观测仪屏幕的描述。图5是示出了观测仪屏幕的实例的示图。
[0093]观测仪窗口 60包括用于表示放大的病理图像的区域的缩略图像61、用于观察病理图像的观察区域62以及显示记录/再现⑶I 63。缩略图像61包括整个病理图像的减小的图像(下文中简称为整个病理图像)以及在缩略图像61上等效示出观测仪窗口 60内部显示的图像的范围的框FR。
[0094]在缩略图像61上，框FR可根据用户的指令在任意方向上移动任意距离。注意，在缩略图像61上，框可通过鼠标等的拖拽操作来移动。
[0095]显示记录/再现⑶I 63接收根据由用户执行的阅览操作用于启动或停止记录在显示屏幕上的改变的指令并且将所接收的指令发送到显示历史控制单元52。
[0096](记录和再现观测仪屏幕的显示的流程)
[0097]接下来，将给出根据阅览操作记录和再现屏幕显示的历史的流程。图6是用于描述根据阅览操作的记录和再现屏幕显示的历史的流程的程序表。
[0098]首先将给出记录显示历史的流程的描述。
[0099]首先，用户点击显示记录/再现⑶I 63的记录按钮以指示显示历史控制单元52开始记录观测仪的显示(Si)。然后，用户从显示在观测仪上的病理图像列表中选择待观察的病理图像。
[0100]在接收用于开始记录的指令时，显示历史控制单元52周期性地记录伴随用户改变观测仪上的显示位置和观察放大倍率的操作而在屏幕显示上的变化(S2)。
[0101]随着用户在显示范围和观察放大倍率上的变化，图像获取部51向图像管理服务器400发起对于对应的瓦片图像的请求并且获取图像(S3)。
[0102]从图像管理服务器400获取的图像经由图像获取部51显示在屏幕上(S4)。此时，轨迹图像生成部53记录位于缩略图像61内部的整个病理图像上的观察区域62中的病理图像的显示范围，同时根据病理图像的显示时间和观察放大倍率改变掩模图像的透明度。
[0103]用户连续操作观测仪屏幕(S5)，并且图像获取部51在观测仪屏幕上显示病理图像(S6)。同时，显示历史控制单元52连续记录屏幕显示的状态作为显示历史。另外，通过轨迹图像生成部53将观察区域62的移动轨迹(包括区域和时间)与缩略图像61内部的整个病理图像相结合的以生成为轨迹图像。
[0104]用户点击显示记录/再现⑶I 63的停止按钮以指示显示历史控制单元52停止对观测显示的记录(S7)。此时，给出记录的显示历史的名称。在接收到停止记录的指令时，显示历史控制单元52将局部临时存储的显示历史发送到图像管理服务器400(S8)。显示历史管理单元44将所接收到的显示历史存储在显示历史存储器43中。
[0105]上面描述了记录显示历史的流程。下面，将给出再现显示历史的流程的描述。
[0106]首先，用户从显示历史中列表中选择期望再现的显示历史的名称并且点击显示记录/再现⑶I 63的再现按钮以指示显示历史控制单元52再现显示历史。注意，显示历史的列表除了显示显示历史的名称之外，还将对应于显示历史的轨迹图像显示为缩略图。
[0107]响应于用于再现显示历史的指令，显示历史控制单元52向图像管理服务器400的显示历史管理单元44发起针对用户指定的显示历史的请求并且从图像管理服务器400获取显示历史(SlO)。
[0108]另外，响应于用于再现显示历史的指令，图像获取部51从图像管理服务器400的图像存储器41获取再现时将显示的图像(Sll)。
[0109]使用显示历史和由此获取的图像，显示历史被再现在观测仪屏幕上(S12)。
[0110]最后，当用户点击显示记录/再现⑶I 63的停止按钮以指示显示历史控制单元52停止显示历史的再现时(S13)，则显示历史控制单元52停止显示历史的再现。
[0111]上面描述了再现显示历史的流程。
[0112]( α值和α混和)
[0113]接下来，将给出生成轨迹图像的细节的描述。首先，将给出当将掩模图像重叠在显示在缩略图像61内的整个病理图像上以表示显示轨迹时所使用的α值和α混合。
[0114]α值表示在通过计算机处理的数字图像数据的像素中设定的透明度上的信息项。另外，α混合表示使用系数(α值)的两个图像的结合。在本公开的实施方式的情况下，两个图像表示缩略图像61内部的整个病理图像和设定在整个病理图像的邻近侧上的掩模图像。
[0115]图7是示出了其中整个病理图像和显示轨迹结合在一起的轨迹图像的示图。图8是示出了其中彼此不同的整个病理图像A和掩模图像B —个重叠在另一个上的状态的示图。
[0116]如从这些附图中清晰可见的是，整个病理图像和掩模图像彼此不同。轨迹图像生成部53调节表示掩模图像的透明度的α值以便在掩模图像上记录显示轨迹。然后，轨迹图像生成部53通过α混合将具有所调节的α值的掩模图像与整个病理图像相结合以生成轨迹图像。
[0117]α值在例如零至255的整数值范围内。如果一个像素的α值是零，那么掩模图像的像素变为完全透明的，导致位于后侧上的整个病理图像的对应像素是完全透明的。如果α值是大约128，那么掩模图像的对应像素变为半透明的并且是彩色的(例如是绿色)。在这种情况下，位于后侧的整个病理图像的像素的颜色是半透明的。如果α值是255，那么掩模图像的对应像素变为完全不透明的，导致位于后侧的整个病理图像的颜色是完全不可见的。
[0118]根据本公开的实施方式，以下方式记录显示轨迹:首先将掩模图像制作成完全透明，然后α值随着整个病理图像在观察区域62中显示的时间而增加，并且掩模图像的透明度降低以使掩模图像具有颜色。相反地，可以以以下方式记录显示轨迹:首先将掩模图像的透明度设定为大约70%，α值随着整个病理图像在观察区域62显示的时间而减少，并且掩模图像的透明度增加以使掩模图像脱色。
[0119]注意，因为掩模图像不同于整个病理图像，故还可以通过将所有α值恢复为零来重置轨迹的记录。
[0120](增加α值的方法(基本))
[0121]根据本公开的实施方式，如在移动图像的再现中刷新屏幕是以例如60fps的帧速率反复执行，使得至少部分病理图像被显示在观察区域62中。上述情况同样适用于缩略图像61的显示。在这样的状况下，为了连续显示例如病理图像的某个范围，假设以每帧加一来增加α值。以这种方式，与病理图像显示在观察区域中的位置相对应的掩模图像的像素的α值随着60帧的时间(I秒)的过去而变为60，导致掩模图像变为23%不透明的。
[0122]如果在这个状态下显示时间过去四秒，则α值达到255，导致掩模图像变为完全不透明的。在这种情况下，因为位于后侧的整个病理图像是不可见的，故用户基于整个病理图像的形状与显示轨迹之间的比较难以了解已观察了病理图像的哪些区域是。为了解决这个问题，期望对α值设定上限。如果增加的α值的上限被设定为180，那么当掩模图像的透明度变为大约70%时停止α值的增加。因此，防止了位于后侧的整个病理图像变为不可见的。
[0123]注意，在上述实例中，α值是以每帧增加一来增加的。然而，α值可以例如以每30秒增加一来增加。以这种方式，在α值到达它们的上限(即，180)之前需要花费90分钟。因此，在其中记录长时间观察的病理图像的情况中，使得透明度根据时间而不同，从而允许显示轨迹的适当的记录。但不论是哪种情况，α值的增加率可根据观察时间的通常时长进行设定。
[0124](增加α值的方法(考虑观察放大倍率))
[0125]在上述配置中，在其中病理图像的某个范围持续显示在观察区域62中的情况下，α值无条件地增加。然而，还假设α值的增加率是根据观察病理图像的观察放大倍率而被制定成不同的。如果旨在表示病理图像的观察频率与轨迹图像中轨迹的颜色的深度成比例(与掩模图像的不透明性成比例)，则希望与某个区域的观察时间成比例地增加不透明性。类似地，因为更高的观察放大倍率表示详细的观察，期望增加α值的增加率。
[0126]如果观察放大倍率被设定为例如小于两倍，每单位时间的α值的增加量被设定为零并且没有记录轨迹。如果观察放大倍率被设定为两倍以上并且四倍以下，那么α值每单位时间的增加量被设定为一。如果观察放大倍率为被设定为四倍以上，那么α值每单位时间的增加量被设定为二。利用上述配置，允许在考虑了观察放大倍率的情况下记录显示轨迹。
[0127]图9Α到图9C是示出了基于上述配置的α值的增加趋势的曲线图。如在图9Α中所示，如果观察放大倍率被设定为两倍以下，那么不考虑过去的时间而使α值保持为零。如在图9Β中所示，如果观察放大倍率被设定为两倍以上且四倍以下，那么α值逐步增加。如在图9C中所示，如果观察放大倍率被设定为四倍以上，那么α值迅速增加，但在到达如上所述的它们的上限之后便不再增加。
[0128](增加α值的方法(考虑观察时间))
[0129]在上述配置中，当持续观察某个区域时，α值单调增加。然而，长时间观察某个区域表示详细观察的区域与时间成比例。在这种情况下，期望增加α值的增加率。
[0130]图10是示出了其中当长时间观察某个区域时α值的增加率改变的状态下的曲线图。例如，在开始对显示在观察区域62中的某个区域进行观察之后，α值每单位时间增加η直至过去时间tl。随着过去时间tl，α值的增加率增加了 1.1倍变为1.1n。
[0131]随着时间t2的过去，在其中连续观察相同区域的状态下，α值的增加率以每单位时间增加1.2倍而变为1.2η。如上所述，η的值根据观察放大倍率而波动。当显示在观察区域62中的图像移动时，α值的增加率恢复为η。
[0132]使用上述配置构，可着重记录长时间观察的某个区域的轨迹。
[0133](用于旋转显示的记录方法)
[0134]接下来，将给出当观察区域62中显示病理图像的一部分时旋转图像的情况下的记录方法的描述。基本上，对应于观察区域62的矩形区域中的像素的α值仅在图像不旋转的情况下增加。然而，为了反映该旋转，在具有与旋转的观察区域62相对应的矩形的掩模图像上执行记录。图11是示出了其中在具有与旋转的观察区域62相对应的矩形R的掩模图像上执行记录的实例的示图。
[0135](生成轨迹图像的流程)
[0136]接下来，将给出轨迹图像生成部53生成轨迹图像的处理的流程的描述。图12是用于描述用于生成轨迹图像的处理的流程的流程图。注意，因为如上所述轨迹图像针对每帧进行更新(例如，在60 fps的情况每60秒一帧)，流程图的处理还基于每帧的时间来执行。
[0137]首先，轨迹图像生成部53根据当前观察放大倍率来设定α值(步骤STl)。
[0138]接下来，轨迹图像生成部53确定是否因为在观察区域62中显示当前图像而过去特定时间，并且如果过去了特定时间，则增加α值(步骤ST2)。
[0139]然后，根据在观察区域62中显示的图像的范围，轨迹图像生成部53设定矩形的范围以改变掩模图像上的α值(步骤ST3)。
[0140]接下来，轨迹图像生成部53将矩形记录为掩模图像上的轨迹(步骤ST4)。这里，以以下方式执行记录:在步骤STl或ST2中设定的α值的增加被加到掩模图像上的目标像素的α值。在记录之后，通过掩模图像的颜色将表示观察区域62的范围的矩形显示在位于缩略图像61上的整个病理图像上。
[0141]然后，轨迹图像生成部53确定是否从操作输入单元24接收到重置显示轨迹的请求，并且如果已接收到请求(步骤ST5中的是)，那么删除缩略图像61上的所有轨迹(步骤ST6)。在这种情况下，轨迹图像生成部53将掩模图像的所有像素的α值重置为它们的初始值以删除所有轨迹。
[0142]上面描述了用于通过轨迹图像生成部53生成轨迹图像的过程的流程。
[0143](轨迹图像的实际例)
[0144]接下来，将给出通过轨迹图像生成部53在缩略图像61上生成轨迹图像的实际例的描述。
[0145]在下文中，将首先给出其中用户使用分配的时间观察病理图像的实例的描述。然后，将给出其中与根据颜色的深度显示的观察相对应的轨迹的描述。
[0146]图13是示出了其中用户使拍摄的样本SPL显示在观察区域62中以观察样本SPL的过程的示图。图14是示出了其中将显示过程记录为缩略图像61内部的整个病理图像的显示轨迹的实例的示图。
[0147]参考图13，将给出用户使病理图像显示在观察区域62的方式的描述。
[0148]首先，用户使样本SPL的上部Dl的范围以1.25倍的观察放大倍率显示为观察区域62中的局部图像以观察该范围8秒。注意，显示范围Dl的中心位于坐标(xl，yl)处。
[0149]接下来，用户使局部图像的显示范围从Dl变为D2以观察显示范围D220秒。局部图像的显示范围D2的中心位于坐标(x2, y2)处。
[0150]然后，用户将观察放大倍率从1.25倍扩大到20倍并且使得显示局部图像的显示范围D3，以观察该显示范围35秒。在这种情况下，局部图像的中心保持在坐标(x2，y2)处。
[0151]接下来，用户使局部图像的显示范围D3移动到显示范围D4以观察显示范围D440秒。局部图像的中心位于坐标(x3，y3)处。
[0152]然后，用户将观察放大倍率从20倍扩大到40倍并且显示局部图像的显示范围D5，观察该显示范围两分钟。在这种情况下，局部图像的中心保持在坐标(x3，y3)处。
[0153]以如上所述的相同的方式，用户改变观察放大倍率和观察时间以执行观察。
[0154]接下来，参考图14，将给出记录上述观察过程的显示轨迹的实例的描述。
[0155]使用浅颜色记录轨迹Tl、T2、T7等，其中以低的放大倍率观察局部图像较短的时间，这样使得它们具有高的透明性。相反地，利用深颜色表示轨迹T5、T9、TlO等，使得他们的不透明度是最高的。具体地，因为轨迹T5等使用轨迹T2的颜色、轨迹T4的颜色和轨迹T5的基色的累积深度来表示，故利用极深的颜色对它们进行记录。
[0156](应用例(具有阈值的显示))
[0157]接下来，将给出在轨迹图像中设定阈值并显示轨迹图像的实例的描述。
[0158]如上所述，掩模图像的α值是从零逐步增加的连续值。因此，当在轨迹图像上显示时，由渐近的颜色表示掩模图像，导致难以分别观察者已观察过哪些图像区域。
[0159]有鉴于此，在其中预先设定特定阈值的状态中，如果α值为阈值以上，那么使α值最大化，使得掩模图像变得完全不透明。另一方面，如果α值小于阈值，那么使α值最小化，使得掩模图像变为完全透明。因此，掩模图像从具有颜色渐近的图像转换成二值化图像，从而使得可以便于分辨观察过的区域和未观察的区域。
[0160]注意在上述描述中，使α值最大化使得轨迹变为完全不透明。然而，还可以将小于最大值的值设定为α值的最大值。
[0161]图15是示出了轨迹图像与转换成二值化图像的掩模图像相结合的实例的示图。因为轨迹T3、T4、T5、T6、T9、TlO等使用不透明的颜色来表示，故可以迅速了解已频繁观察了图像的哪些部分。
[0162](应用例(使用轨迹图像的缩略图))
[0163]接下来，当用户从图像管理服务器400中存储的显示历史之中选择期望再现的显示历史时，假设轨迹图像的应用例是轨迹图像的可以被用作显示在列表中的各个显示历史的缩略图。
[0164]图16是示出了由显示历史控制单元52提供给用户的显示历史的列表的屏幕的实例的示图。每一行代表一个显示历史并且从其左侧开始显示轨迹图像的缩略图、显示历史的名称以及记录时间。
[0165]在这个实例中，值得注意的是在缩略图内标明了轨迹的位置。如果缩略图是不可用的，那么用户基于对应的显示历史的名称和记录时间难以搜索到期望的显示历史。相反地，如果轨迹图像的缩略图是可用的，那么允许用户迅速了解显示历史和病理图像的观察位置之间的对应关系。
[0166]为了如上所述将具有记录在其上的病理图像的观察区域的轨迹图像用作显示历史的列表的备选处的缩略图，将轨迹图像作为显示历史的属性信息项目以便相关联的存储是有用的。
[0167](本公开的其他配置)
[0168]另外，本技术还可以被配置如下。
[0169](I) 一种图像处理装置，包括:处理器；以及存储指令的存储器设备，当通过所述处理器执行所述指令时使所述处理器根据显示区域中的病理图像的至少一部分的显示时间生成轨迹图像。
[0170](2)根据(I)所述的图像处理装置，其中，根据所述显示时间通过与所述病理图像相关联的修改生成所述轨迹图像。
[0171](3)根据(2)所述的图像处理装置，其中，所述修改是根据显示时间改变病理图像的亮度。
[0172](4)根据⑵所述的图像处理装置，其中，所述修改是根据显示时间将掩模图像覆盖在病理图像上。
[0173](5)根据(2)所述的图像处理装置，所述修改的程度基于在所述显示区域中显示所述病理图像的至少一部分的放大倍率。
[0174](6)根据(5)所述的图像处理装置，其中，当所述放大倍率在阈值以下时，所述程度随着所述显示时间的增加是恒定的。
[0175](7)根据(5)或(6)所述的图像处理装置，其中，当所述放大倍率在阈值以上时，所述程度随着所述显示时间的增加而增加。
[0176](8)根据(5)、(6)或(7)所述的图像处理装置，其中，当到达最大值时，所述程度保持在所述最大值。
[0177](9)根据(5)、(6)、(7)或(8)所述的图像处理装置，其中，所述程度基于所述显示时间而逐步增加。
[0178](10)根据(4)所述的图像处理装置，其中，基于所述显示时间增加所述掩模图像的亮度和/或基于所述显示时间减少所述病理图像的亮度。
[0179](11)根据⑷或(10)所述的图像处理装置，其中，利用α混合将掩模图像覆盖在病理图像上。
[0180](12)根据⑴、⑵、(3)、(4)、(5)、(6)、(7)、⑶、(9)、(10)或(11)所述的图像处理装置，其中，所述指令使所述处理器获取包括所述病理图像的至少一部分的所述显示时间的显示历史。
[0181](13)根据(12)所述的图像处理装置，其中，所述指令使所述处理器控制与所述显示历史相对应的所述轨迹图像的缩略图像的显示。
[0182](14)根据(I)、(2)、(3)、(4)、(5)、(6)、(7)、(8)、(9)、(10)、(11)、(12)或(13)所述的图像处理装置，进一步包括被配置为接收用户输入的输入单元。
[0183](15) 一种图像处理方法，包括根据显示区域中的病理图像的至少一部分的显示时间生成轨迹图像。
[0184](16) 一种非临时性计算机可读存储介质，存储使图像处理装置根据显示区域中病理图像的至少一部分的显示时间生成轨迹图像的计算机程序。
[0185](17) 一种图像处理系统，包括:处理器；以及存储指令的存储器设备；当处理器执行该指令时，该指令使处理器根据显示区域中的病理图像的至少一部分的显示时间生成轨迹图像。
[0186](18)根据(17)所述的图像处理系统，进一步包括被配置为捕获病理图像的扫描仪。
[0187](19)根据权利要求17所述的图像处理系统，进一步包括被配置为存储病理图像的服务器。
[0188](20) 一种图像处理装置，包括:生成部，该生成部被配置为根据显示区域中的病理图像的至少一部分的显示时间生成轨迹图像。
[0189](21)根据(3)所述的图像处理装置，其中，所述掩模图像是半透明的。
[0190](22) 一种信息处理装置，包括:
[0191]获取部，被配置为获取病理图像；
[0192]显示单元，被配置为将所获取的病理图像的至少一部分显示为局部显示区域；
[0193]输入单元，被配置为从用户接收用于移动局部显示区域的指令；以及
[0194]生成部，被配置为以固定时间周期生成合成图像，其中，为显示在局部显示区域中所有像素的每个位置设置对应于局部显示区域的显示时间的时长的值，并且将合成图像与病理图像累积合成以生成显示作为局部显示区域的移动范围轨迹的轨迹图像。
[0195](23)根据(22)所述的信息处理装置，其中，生成部被配置为根据观察放大倍率的程度校正与该范围的显示时间的时长相对应的值并以固定时间周期生成合成图像。
[0196](24)根据(22)或(23)所述的信息处理装置，其中，生成部被配置为如果局部显示区域的显示范围是固定的，则表示在所显示的局部显示区域中的所有像素的每个位置的轨迹图像轨迹的轨迹颜色的亮度值随着显示时间的增加而增加，以减少病理图像的亮度值。
[0197](25)根据(24)所述的信息处理装置，其中，生成部被配置为如果局部显示区域的显示范围是固定的并且显示时间超出给定的时间，则轨迹颜色的亮度值的增加率逐步增加。
[0198](26)根据(24)或(25)所述的信息处理装置，其中，针对轨迹图像的所有像素的每个位置，生成部被配置为如果轨迹颜色的亮度值为给定的阈值以上，则仅使用轨迹颜色表示轨迹图像的每个像素的颜色，并且如果亮度值小于阈值，那么仅使用病理图像的颜色表示轨迹图像的每个像素的颜色。
[0199](27)根据(22)至(26)中任一项所述的信息处理装置，其中，生成部被配置为使用α值作为该值，并且将α混合用作用于每个像素的结合方法。
[0200](28)根据(22)至(27)中任一项所述的信息处理装置，其中，生成部被配置为将轨迹图像作为缩略图添加到显示历史，其中，位于病理图像中的局部显示区域上的至少位置信息与局部显示区域的显示时间相关联地被周期性地记录。
[0201](29) 一种信息处理方法,包括:
[0202]通过获取部获取病理图像；
[0203]通过显示单元将所获取的病理图像的至少部分显示为局部显示区域；
[0204]通过输入单元从用户接收移动局部显示区域的指令；并且
[0205]以固定的时间周期生成合成图像，其中，为在所显示的局部显示区域中的所有像素的每个位置设置对应于局部显示区域的显示时间的时长的值，并且将合成图像与病理图像累积组合以通过生成部生成轨迹图像，该轨迹图像指示将作为局部显示区域的显示范围的移动的轨迹。
[0206](30) 一种信息处理程序，使计算机起到以下作用:
[0207]获取部，被配置为获取病理图像；
[0208]显示单元，被配置为将所获取的病理图像的至少一部分显示作为局部显示区域；
[0209]输入单元，被配置为从用户接收用于移动局部显示区域的指令；以及
[0210]生成部，被配置为:以固定时间周期生成合成图像，其中，为显示的局部显示区域中的所有像素的每个位置设置与局部显示区域的显示时间的时长相对应的值；并且将合成图像与病理图像累积合成以生成将显示的范围的移动的轨迹表示为局部显示区域的轨迹图像。
[0211](补充内容)
[0212]本公开不限于上述实施方式，而是在没有背离本公开的精神的前提下可以以各种方式进行变形。
[0213]本申请包含于2012年7月13日提交至日本专利局的日本在先专利申请JP2012-157235所公开的相关主题，通过引用将其全部内容结合于本文中。
[0214]参考符号列表
[0215]10显微镜
[0216]20扫描计算机
[0217]21 CPU
[0218]22 ROM
[0219]23 RAM
[0220]24操作输入单元
[0221]25接口单元
[0222]26输出单元
[0223]27存储器
[0224]28网络接口单元
[0225]29总线
[0226]30控制器
[0227]31照相机
[0228]41图像存储器
[0229]42图像提供部
[0230]43显示历史存储器
[0231]44显示历史管理单元
[0232]51图像获取部
[0233]52显示历史控制单元
[0234]53轨迹图像生成部
[0235]60观测仪窗口
[0236]61缩略图
[0237]62观察区域
[0238]63显示记录/再现⑶I
[0239]100扫描仪
[0240]300 网络
[0241]400图像管理服务器
[0242]500观测计算机
【权利要求】
1.一种图像处理装置，包括: 处理器；以及 存储指令的存储器设备，当通过所述处理器执行所述指令时使所述处理器根据显示区域中的病理图像的至少一部分的显示时间生成轨迹图像。
2.根据权利要求1所述的图像处理装置，其中，根据所述显示时间通过与所述病理图像相关联的修改来生成所述轨迹图像。
3.根据权利要求2所述的图像处理装置，其中，所述修改是根据所述显示时间将掩模图像覆盖在所述病理图像上。
4.根据权利要求3所述的图像处理装置，其中，所述掩模图像是半透明的。
5.根据权利要求2所述的图像处理装置，其中，所述修改的程度基于显示在所述显示区域中的所述病理图像的所述至少一部分的放大倍率。
6.根据权利要求5所述的图像处理装置，其中，当所述放大倍率在阈值以下时，所述程度随着所述显示时间的增加是恒定的。
7.根据权利要求5所述的图像处理装置，其中，当所述放大倍率在阈值以上时，所述程度随着所述显示时间的增加而增加。
8.根据权利要求7所述的图像处理装置，其中，当到达最大值时，所述程度保持在所述最大值。
9.根据权利要求5所述的图像处理装置，其中，所述程度基于所述显示时间而逐步增加。
10.根据权利要求4所述的图像处理装置，其中，基于所述显示时间增加所述掩模图像的亮度和/或基于所述显示时间减少所述病理图像的亮度。
11.根据权利要求4所述的图像处理装置，其中，利用α混合将所述掩模图像覆盖在所述病理图像上。
12.根据权利要求1所述的图像处理装置，其中，所述指令使所述处理器获取包括所述病理图像的所述至少一部分的所述显示时间的显示历史。
13.根据权利要求12所述的图像处理装置，其中，所述指令使所述处理器控制与所述显示历史相对应的所述轨迹图像的缩略图像的显示。
14.根据权利要求1所述的图像处理装置，进一步包括: 输入单元，被配置为接收用户输入。
15.—种图像处理方法,包括: 根据显示区域中的病理图像的至少一部分的显示时间生成轨迹图像。
16.一种非临时性计算机可读存储介质，存储计算机程序，所述计算机程序用于使图像处理装置根据显示区域中的病理图像的至少一部分的显示时间来生成轨迹图像。
17.—种图像处理系统,包括: 处理器；以及 存储指令的存储器设备，当通过所述处理器执行所述指令时使所述处理器根据显示区域中的病理图像的至少一部分的显示时间生成轨迹图像。
18.根据权利要求17所述的图像处理系统，进一步包括: 扫描仪，被配置为捕获所述病理图像。
19.根据权利要求17所述的图像处理系统，进一步包括: 服务器，被配置为存储所述病理图像。
20.一种图像处理装置，包括: 生成部，被配置为根据显示区域中的病理图像的至少一部分的显示时间来生成轨迹图像。
【文档编号】G06T11/00GK104412304SQ201380036184
【公开日】2015年3月11日 申请日期:2013年7月5日 优先权日:2012年7月13日
【发明者】长谷川宽, 吉冈重笃, 水谷阳一, 田上直树 申请人:索尼公司