用于显示显微镜的信息环和增强现实显示的方法和装置与流程

用于显示显微镜的信息环和增强现实显示的方法和装置
交叉引用
1.本技术要求于2020年3月2日提交的美国申请16/806,143的优先权，该申请的全部内容通过引用明确地结合在本技术中。
技术领域
2.本公开涉及增强现实。具体地，本公开涉及显示与显微镜视图相对应的增强现实图像。


背景技术：

3.病理成像可以用于许多临床病症的诊断，例如良性或恶性肿瘤的诊断。然而，该任务是复杂的，可能需要许多年的经验来有效地完成。一些具有挑战性的情况甚至可能需要多个专家的意见以便得出结论。同时，缺乏有经验的病理学家可能限制任务的吞吐量(throughput)，并且因此延迟治疗。计算机辅助诊断(cad，computer-aided diagnosis)系统已经被开发来处理病理图像并帮助医生加速和提高诊断的准确性。然而，大多数现有的cad系统在计算机显示器上显示结果，而医生通常在显微镜下读取组织载玻片。因此，医生可能需要在显微镜和计算机显示器之间切换，这减慢了过程。


技术实现要素：

4.根据实施例，一种显示增强现实(ar，augmented reality)图像的方法包括：控制相机采集通过显微镜的视图的图像；
5.生成与图像相对应的信息；生成包括信息环的ar图像，被配置为显示信息的；以及控制ar显示器来显示ar图像，使得当视图对显微镜的用户可见时，信息环至少部分地覆盖在通过显微镜的视图的外围上。
6.根据实施例，一种用于显示增强现实(ar)图像的设备包括：相机，其被配置为采集通过显微镜的视图的图像；ar显示器，其被配置为当视图对显微镜的用户可见时，将ar图像显示为至少部分地覆盖在通过显微镜的视图上；至少一个存储器，其被配置为存储程序代码；以及至少一个处理器，其被配置为读取程序代码并且如程序代码所指示地操作，该程序代码包括：第一生成代码，其被配置为使至少一个处理器生成与图像相对应的信息；第二生成代码，其被配置为使至少一个处理器生成包括信息环的所述ar图像，所述信息环被配置为显示信息；以及显示代码，其被配置为使至少一个处理器控制ar显示器来显示ar图像，使得信息环至少部分地覆盖在通过显微镜的视图的外围上。
7.根据实施例，一种非易失性计算机可读介质存储一个或多个指令，这些指令在由用于显示增强现实(ar)图像的设备的一个或多个处理器执行时使一个或多个处理器：控制相机采集通过显微镜的视图的图像；生成与图像相对应的信息；生成包括信息环的ar图像，所述信息环被配置为显示所述信息；以及控制ar显示器来显示ar图像，使得当视图对显微镜的用户可见时，信息环至少部分地覆盖在通过显微镜的视图的外围上。
附图说明
8.图1是根据实施例的增强现实显微镜系统的示例实现的概览图；
9.图2是根据实施例的增强现实显微镜系统的信息环的示意图；
10.图3是根据实施例的用于显示包括信息环的增强现实图像的示例性过程的流程图；
11.图4是其中可以实现本文中描述的系统和/或方法的示例性环境的示意图；
12.图5是图4的一个或多个设备的示例性部件的示意图。
具体实施方式
13.实施例提供信息环以向显微镜的用户显示诸如计算机反馈等信息。实施例可以将增强现实(ar)设备添加到显微镜，并且在显微镜下的组织场景的顶部可视化结果。实施例可以将放大的组织图像(诸如显微镜图像(msi，microscopy image))作为输入，并且然后自动处理图像以识别图像上的病变或异常组织(诸如癌细胞)。计算结果可以在具有ar设备的显微镜下以信息环的格式进行显示。信息环可以帮助将信息传递给用户，而不影响读取器在显微镜下读取图像。
14.ar可视化可以在显微镜下将计算机生成的图形覆盖或重叠在场景之上。虽然这消除了在计算机与显微镜之间切换的需要，但是它可能导致妨碍显微镜视图，或者改变所示图形的组织的外观。这可能干扰用户或甚至导致诊断错误。在实施例中，信息环可以通过在显微镜下显示场景周围的内容来解决该问题。
15.而且，给定显微镜视图下的有限空间，可以显示的信息也是有限的。信息环可以像计算机上的任务栏一样设计，其可以同时清楚地显示多条不同的信息。
16.图1是ar显微镜系统100的实施例的示意图。根据实施例，ar显微镜系统100可以包括图像传感器，例如相机102，该相机可以在显微镜108下采集组织载玻片106的显微镜图像104。计算机110将基于捕获的显微镜图像104计算并且生成信息环112。ar设备114将在显微镜108下观察到的组织载玻片106的光信号与信息环112进行组合。用户可以使用显微镜108与信息环112一起观察载玻片106作为ar覆盖视图116。这样，可以通过显微镜108呈现大量信息。在ar覆盖视图116中，信息环112可以重叠在显微镜图像104中采集的视图的顶部。
17.在实施例中，ar显微镜系统100可以包括显微镜108，显微镜108可以用于放大和检查组织载玻片106。当切换物镜时，显微镜108可以向计算机110发送信号以告知计算机110当前正在使用哪个物镜，或者计算机110发送对该信息的请求信号。
18.在实施例中，ar显微镜系统100可以包括诸如相机102的图像传感器。相机102可以安装在显微镜108的透镜管上以采集显微镜108下的视图作为显微镜图像104。
19.在实施例中，ar显微镜系统100可以包括ar设备114，ar设备114可以是例如安装在目镜显微镜108上的ar透镜，以将诸如信息环112的ar图像覆盖在载玻片106的视图之上。在实施例中，信息环112可以覆盖在显微镜图像104上，或者可以覆盖在显微镜108提供的载玻片106的另一视图或视图的表示上。
20.在实施例中，ar显微镜系统100可以包括计算机110，该计算机110可以提供图像计算和数据存储。
21.在实施例中，ar显微镜系统100可以包括信息环112，该信息环112可以包括围绕视
图的圆形图形图像，所述视图由显微镜108提供。各种信息可以显示为信息环112的一部分，包括但不限于文本、圆形条、圆形直方图、图标和颜色。在实施例中，信息环112可以是圆形的，或者可以是任何其它形状，例如正方形、矩形、梯形、三角形或任何其它形状或这种形状的一部分。
22.根据实施例，图2中图示了信息环112的示例。如图2中所示，包括在信息环112中的信息可以显示在环上，该环围绕在显微镜图像104中采集的场景。这样，用户的视图不会被阻挡。此外，信息可以以简单形式呈现，该简单形式中，用户可以用周边视觉来进行读取。这样，可以提高信息传递的效率，同时减少对用户活动的影响。
23.图2图示了信息环112提供与组织有关的信息的示例性实施例。
24.系统菜单202显示在信息环112的顶部。系统消息204可以通知用户与ar显微镜系统100相对应的当前状态和菜单选项。例如，在图2中，系统消息204示出了“癌症检测”，其可以指示ar显微镜系统100当前正在运行癌症检测模块，并且现在正在检测组织载玻片106上的潜在癌细胞。在系统菜单204附近图示的是进度条206，其可以示出诸如计算进度，系统速度、完成的任务等信息。在系统菜单202旁边示出的是图标208，其可以反映系统状态。例如，在实施例中，红色气泡可以表示通过显微镜108的视图太暗，绿色气泡可以表示通过显微镜108的视图太亮，三角形可以指示失焦，并且正方形可以指示组织载玻片106没有正确地装载在显微镜108上。
25.在实施例中，为了便于阅读，仅在信息环112的顶部(例如作为系统消息204)和信息环210的底部(例如作为结果消息210)示出文本。结果消息210可以指示当前运行结果。例如，当检测到癌组织时，可以显示红色“癌”作为结果消息210以警告用户。作为另一示例，如果ar显微镜系统100仍在处理，则蓝色“运行”可以被显示为结果消息210。如果消息太长而不能显示，则可以以滑动或滚动方式显示消息。
26.在实施例中，例如圆形直方图212的直方图可以被放置在通过显微镜108的视图的一侧。圆形直方图212可以显示统计信息，例如视图内每种类型组织的百分比。不同的颜色可以用于表示不同类型的组织。
27.在实施例中，诸如圆形条214的条可以示出定量信息，例如分析置信水平，例如将组织分类为癌的置信水平。
28.在实施例中，ar显微镜系统100可以避免用户在显微镜108和计算机110的计算机显示器之间切换的麻烦。ar显微镜系统100可以在显微镜108下显示信息而不影响用户对组织载玻片106的观察。ar显微镜系统100可以传递ar显微镜系统100的丰富信息以及ar显微镜系统100的计算或分析结果。ar显微镜系统100可以警告用户潜在的风险，并且因此减少出错的机会。
29.以上描述的各个附图中示出的ar显微镜系统100的示例可以以环形状呈现信息环112，因为信息环112可以对应于通过显微镜108的视图的圆形形状。然而，在实施例中，显微镜108示出了具有不同形状的视图，并且信息环112可以是对应形状，该形状可以在用户视线的外围中显示信息。另外，信息环112可以根据需要用在任何其它类型的ar系统中，例如ar眼镜和ar护目镜。
30.图3是用于显示增强现实(ar)图像的示例过程300的流程图。在一些实现中，图3的一个或多个过程框可以由计算机108或平台420执行，如下所描述。在一些实现中，图3的一
个或多个过程框可以由另一设备或一组设备来执行，所述另一设备或一组设备可以与计算机110或平台420分离或包括计算机110或平台420，例如以下描述的显微镜108、相机102、ar设备114或用户设备410。
31.如图3中所示，过程300可以包括控制相机采集通过显微镜视图(view)的图像(框310)。
32.如图3中进一步所示，过程300可以包括生成与图像相对应的信息(框320)。
33.如图3中进一步所示，过程300可以包括生成包括信息环的ar图像，所述信息环被配置为显示信息(框330)。
34.如图3中进一步所示，过程300可以包括控制ar显示器来显示ar图像，使得当视图对于显微镜的用户可见时，信息环至少部分地覆盖在通过显微镜的视图的外围上(框340)。
35.如图3中进一步所示，过程300可以包括确定是否发生了变化，例如图像中的变化或包括在信息环中的信息的变化(框350)。
36.如图3中进一步所示，如果没有变化(框350-否)，则过程300可以返回到框340。
37.如图3中进一步所示，如果检测到变化(框350-是)，则过程300可以包括生成与该变化相对应的更新的信息(框360)。
38.如图3中进一步所示，过程300可以包括更新信息环以包括所述更新的信息(框370)。
39.如图3中进一步所示，过程300可以包括控制ar显示器以显示ar图像，所述ar图像包括更新的信息环(框380)。
40.根据实施例，信息可以包括以下信息中的至少一个：关于对象的信息，所述对象包括在通过显微镜的视图中、关于所述对象的诊断的信息、关于对象的分析的信息、关于分析的状态的信息、关于与显微镜相对应的计算的信息以及关于计算的状态的信息。
41.根据实施例，可以显示ar图像，使得信息环仅在通过显微镜的视图的圆周的预定距离内显示。
42.根据实施例，信息可以在ar图像内表示为文本、条形图(bar)、直方图和图标中的至少一种。
43.根据实施例，文本可以包括与显微镜相关联的系统所对应的系统消息，以及指示图像分析结果的结果消息。
44.根据实施例，过程300可以进一步包括在信息环的文本显示区域中滚动文本。
45.根据实施例，该条形图可以包括进度条，该进度条指示包括在图像中的对象的分析和与显微镜相对应的计算中的至少一者的进度。
46.根据实施例，该条形图可以包括圆形条，该圆形条指示与对象相对应的定量信息，所述对象包括在通过显微镜的视图中。
47.根据实施例，定量信息可以包括对象的分析的置信水平。
48.根据实施例，图标可以指示与显微镜相关联的系统的状态。
49.根据实施例，直方图可以表示与图像相对应的至少一个统计量。根据实施例，过程300可以进一步包括存储图像，该图像包括与调整的ar图像至少部分地重叠的通过显微镜的视图。
50.虽然图3示出了过程300的示例框，但是在一些实现中，过程300可以包括与图3中
描绘的那些框相比附加的框、更少的框、不同的框或不同地布置的框。附加地或可替代地，可以并行地执行过程300的两个或更多个框。
51.图4是其中可以实现本文中描述的系统和/或方法的示例性环境400的示意图。如图4中所示，环境400可以包括用户设备410、平台420和网络430。例如，用户设备410可以对应于诸如显微镜108、相机102和ar设备114的各种部件。另外，平台420可以对应于计算机108。环境400的设备可以经由有线连接、无线连接或有线和无线连接的组合来进行互连。
52.用户设备410包括能够接收、生成、存储、处理和/或提供与平台420相关联的信息的一个或多个设备。例如，用户设备410可以包括计算设备(例如，台式计算机、膝上型计算机、平板计算机、手持计算机、智能扬声器、服务器等)、移动电话(例如，智能电话、无线电话等)、可穿戴设备(例如，一对智能眼镜或智能手表)或类似设备。在一些实现中，用户设备410可以从平台420接收信息和/或向平台420发送信息。
53.平台420包括能够生成ar图像的一个或多个设备，该ar图像被显示为覆盖在显微镜的视图上方，如本文中别处所描述。在一些实现中，平台420可以包括云服务器或一组云服务器。在一些实现中，平台420可以被设计为模块化的，使得某些软件部件可根据特定需要而被换入或换出。这样，平台420可以容易地和/或快速地重新配置用于不同的用途。
54.在一些实现中，如图所示，平台420可以托管在云计算环境422中。值得注意的是，虽然本文中描述的实现将平台420描述为托管在云计算环境422中，但是在一些实现中，平台420不是基于云的(即，可以在云计算环境之外实现)或者可以是部分基于云的。
55.云计算环境422包括托管平台420的环境。云计算环境422可以提供计算、软件、数据访问、存储等服务，这些服务不需要终端用户(例如，用户设备410)知道托管平台420的一个或多个系统和/或一个或多个设备的物理位置和配置。如图所示，云计算环境422可以包括一组计算资源424(统称为“计算资源424”，并且单独称为“计算资源424”)。
56.计算资源424包括一个或多个个人计算机、工作站计算机、服务器设备或其它类型的计算和/或通信设备。在一些实现中，计算资源424可以是主机平台420。云资源可以包括在计算资源424中执行的计算实例、在计算资源424中提供的存储设备、由计算资源424提供的数据传送设备等。在一些实现中，计算资源424可以经由有线连接、无线连接或有线连接和无线连接的组合与其它计算资源424进行通信。
57.如图4中进一步所示，计算资源424包括一组云资源，诸如一个或多个应用(“app”)424-1、一个或多个虚拟机(“vm”)424-2、虚拟化存储(“vs”)424-3、一个或多个管理程序(“hyp”)424-4等。
58.应用424-1包括可以提供给用户设备410或由用户设备410访问的一个或多个软件应用。应用424-1可以消除在用户设备410上安装和执行软件应用的需要。例如，应用424-1可以包括与平台420相关联的软件和/或能够经由云计算环境422提供的任何其它软件。在一些实现中，一个应用424-1可以经由虚拟机424-2向/从一个或多个其它应用424-1发送/接收信息。
59.虚拟机424-2包括机器(例如，计算机)的软件实现，所述机器执行类似物理机器的程序。虚拟机424-2可以是系统虚拟机或过程虚拟机，这取决于虚拟机424-2对任何真实机器的使用和对应程度。系统虚拟机可以提供支持完整操作系统(“os”)的执行的完整系统平台。过程虚拟机可以执行单个程序，并且可以支持单个过程。在一些实现中，虚拟机424-2可
以代表用户(例如，用户设备410)来执行，并且可以管理云计算环境422的基础设施，诸如数据管理、同步或长期数据传送。
60.虚拟化存储424-3包括使用计算资源424的存储系统或设备内的虚拟化技术的一个或多个存储系统和/或一个或多个设备。在一些实现中，在存储系统的上下文中，虚拟化的类型可以包括块虚拟化和文件虚拟化。块虚拟化可以指来自物理存储的逻辑存储的抽象化(或分离)，使得可以访问存储系统而不考虑物理存储或异构结构。分离可以允许存储系统的管理员在如何为终端用户管理存储方面具有灵活性。文件虚拟化可以消除以文件级存取的数据与物理地存储文件的位置之间的依赖性。这可以实现存储使用、服务器合并和/或非破坏性文件迁移的性能的优化。
61.管理程序424-4可以提供允许多个操作系统(例如，“客户操作系统”)在诸如计算资源424的主机计算机上同时执行的硬件虚拟化技术。管理程序424-4可以向客户操作系统呈现虚拟操作平台，并且可以管理客户操作系统的执行。各种操作系统的多个实例可以共享虚拟化硬件资源。
62.网络430包括一个或多个有线和/或无线网络。例如，网络430可以包括蜂窝网络(例如，第五代(5g)网络、长期演进(lte)网络、第三代(3g)网络、码分多址(cdma)网络等)、公共陆地移动网络(plmn)、局域网(lan)、广域网(wan)、城域网(man)、电话网络(例如，公共交换电话网络(pstn))、专用网络、自组织网络、内联网、因特网、基于光纤的网络等，和/或这些或其它类型网络的组合。
63.图4中所示的设备和网络的数量和布置被提供作为示例。实际上，可以存在比图4中所示的设备和/或网络更多的设备和/或网络、更少的设备和/或网络、与其不同的设备和/或网络，或以不同方式布置的设备和/或网络。此外，图4中所示的两个或更多个设备可以在单个设备内实现，或者图4中所示的单个设备可以被实现为多个分布式设备。附加地或可替代地，环境200的一组设备(例如，一个或多个设备)可以执行被描述为由环境200的另一组设备执行的一个或多个功能。
64.图5是设备300的示例部件的图。设备300可以对应于用户设备410和/或平台420。如图5中所示，装置300可以包括总线510、处理器520、存储器330、存储部件540、输入部件550、输出部件560和通信接口570。
65.总线510包括允许在设备300的部件之间进行通信的部件。处理器520以硬件、固件或硬件和软件的组合来实现。处理器520是中央处理单元(cpu)、图形处理单元(gpu)、加速处理单元(apu)、微处理器、微控制器、数字信号处理器(dsp)、现场可编程门阵列(fpga)、专用集成电路(asic)，或另一类型的处理部件。在一些实现中，处理器520包括能够被编程以执行功能一个或多个处理器。存储器330包括随机存取存储器(ram)、只读存储器(rom)和/或存储信息和/或指令以供处理器520使用的另一种类型的动态或静态存储设备(例如，闪存、磁存储器和/或光学存储器)。
66.存储部件540存储与设备300的操作和使用相关的信息和/或软件。例如，存储部件540可以包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘)、压缩盘(cd)、数字多功能盘(dvd)、软盘、盒式磁带、磁带和/或另一种类型的非易失性计算机可读介质以及对应的驱动器。
67.输入部件550包括允许设备300例如经由用户输入(例如，触摸屏显示器、键盘、小
键盘、鼠标、按钮、开关和/或麦克风)来接收信息的部件。附加地或可替代地，输入部件550可以包括用于感测信息的传感器(例如，全球定位系统(gps)部件、加速度计、陀螺仪和/或致动器)。输出部件560包括提供来自设备300的输出信息的部件(例如，显示器、扬声器和/或一个或多个发光二极管(led))。
68.通信接口570包括收发器类部件(例如，使设备300能够诸如经由有线连接、无线连接或有线连接和无线连接的组合与其它设备进行通信的收发器和/或单独的接收器和发射器。通信接口570可以允许设备300接收来自另一设备的信息和/或向另一设备提供信息。例如，通信接口570可以包括以太网接口、光接口、同轴接口、红外接口、射频(rf)接口、通用串行总线(usb)接口、wi-fi接口、蜂窝网络接口等。
69.设备300可以执行本文中描述的一个或多个过程。设备300可以响应于处理器520执行由诸如存储器330和/或存储部件540的非易失性计算机可读介质存储的软件指令来执行这些过程。计算机可读介质在本文中被定义为非易失性存储器设备。存储器设备包括单个物理存储设备内的存储器空间或跨多个物理存储装置散布的存储器空间。
70.软件指令可以经由通信接口570从另一计算机可读介质或从另一设备读入存储器330和/或存储部件540。当被执行时，存储在存储器330和/或存储部件540中的软件指令可以使处理器520执行本文中描述的一个或多个过程。附加地或可替代地，硬连线电路可以用于代替软件指令或与软件指令组合以执行本文中描述的一个或多个过程。因此，本文中描述的实现的不限于硬件电路和软件的任何特定组合。
71.图5中所示的部件的数量和布置被提供作为示例。实际上，设备300可以包括与图5中所示的部件相比的附加部件、更少的部件、不同的部件或以不同方式布置的部件。另外地或可替代地，设备300的一组部件(例如，一个或多个部件)可以执行被描述为由设备300的另一组部件执行的一个或多个功能。
72.上述公开提供了说明和描述，但并不旨在穷举或将实施限制为所公开的精确形式。根据以上公开，修改和变化是可能的，或者可以从实施的实践中获得修改和变化。
73.如本文中所使用的，术语“部件”旨在被广泛地解释为硬件、固件或硬件和软件的组合。
74.显然，本文中描述的系统和/或方法可以以不同形式的硬件、固件或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码不限于这些实现。因此，在不参考特定软件代码的情况下在本文中描述了系统和/或方法的操作和行为——应当理解，可以基于本文中的描述来设计软件和硬件以实现系统和/或方法。
75.虽然特征的特定组合在权利要求中陈述和/或在说明书中公开，但是这些组合并不旨在对可能的实现方式的公开内容进行限制。实际上，这些特征中的许多特征可以以未在权利要求中具体陈述和/或在说明书中公开的方式组合。虽然下面列出的每个从属权利要求可以直接从属于仅一个权利要求，但是可能的实现方式的公开内容包括与权利要求组中的每个其它权利要求的组合的每个从属权利要求。
76.本文中所使用的元件、动作或指令不应被解释为关键的或必要的，除非明确地这样描述。此外，如本文中所使用的，冠词“一”和“一个”旨在包括一个或多个项，并且可与“一个或多个”可互换地使用。此外，如本文中所使用的，术语“组”旨在包括一个或多个项(例如，相关项、不相关项、相关项和不相关项的组合等)，并且可以与“一个或多个”可互换地使
用。在仅意指一个项的情况下，使用术语“一个”或类似语言。此外，如本文中所使用的，术语“具有”、“有”或“含有”等旨在是开放式术语。进一步地，短语“基于”旨在表示“至少部分地基于”，除非另有明确说明。