用于可视媒体数据中的去识别的方法和系统与流程

管制需求和业务考虑常常要求以安全的方式交换数据，特别是在保健中。1996年的“健康保险可移植性和责任法案”（HIPAA）规定要求安全地交换数据而不披露病人特定的信息。因此，某些类型的数据在被交换之前必须被修改以模糊化（obfuscate）敏感或保密信息。解决去识别（de-identification）的方法通常解决如下问题：（1）应当去识别什么，（2）应当去识别多少，以及（3）应当如何去识别？去识别文档和元数据的多种方法包括去除被标记为去识别的部分的内置代码，或者编写来自一文档类别中的文档的信息的基于模板的方法。去识别方法已被用于文本文档、诸如医学数字成像和通信（DICOM）元数据中的结构化元数据字段，但是当标识嵌入内容中时的可视媒体数据的去识别是困难的和耗时的。

技术实现要素：
描述了系统的实施例。在一个实施例中，该系统是可视媒体去识别系统。该系统包括：图像合并器，其被配置为将来自可视媒体数据集合的图像序列合并为平均图像；以及去识别引擎，其被配置为：界定（bound）平均图像的被确定为相对固定的部分，其中每个被界定部分被平均图像中的相应位置标识；生成包括被界定部分和用于平均图像中的每个被界定部分的相应位置的模板；以及通过模糊化被界定部分的内容来去识别所述图像序列。还描述了该系统的其他实施例。还描述了计算机程序产品的实施例。在一个实施例中，该计算机程序产品包括存储计算机可读程序的计算机可读存储介质，其中该计算机可读程序当被计算机中的处理器执行时使得该计算机执行用于去识别可视媒体数据的操作。所述操作包括：将来自可视媒体数据集合的图像序列合并为平均图像；界定平均图像的被确定为相对固定的部分，其中每个被界定部分被平均图像中的相应位置标识；生成包括被界定部分和用于平均图像中的每个被界定部分的相应位置的模板；以及通过模糊化被界定部分的内容来去识别所述图像序列。还描述了该装置的其他实施例。还描述了方法的实施例。在一个实施例中，该方法是用于去识别可视媒体数据的方法。该方法包括：将来自可视媒体数据集合的图像序列合并为平均图像；界定平均图像的被确定为相对固定的部分，其中每个被界定部分被平均图像中的相应位置标识；生成包括被界定部分和用于平均图像中的每个被界定部分的相应位置的模板；以及通过模糊化被界定部分的内容来去识别所述图像序列。还描述了该方法的其他实施例。附图说明图1示出了可视媒体去识别系统的一个实施例的示意图；图2示出了图1的可视媒体去识别系统的一个实施例的示意图；图3示出了用于生成可视媒体去识别模板的方法的一个实施例的流程图；图4示出了图1的平均图像的一个实施例的示意图；图5示出了图1的平均图像的一个实施例的示意图；图6示出了图1的可视媒体去识别模板的一个实施例的示意图；图7示出了用于去识别可视媒体数据的方法的一个实施例的示意图；在整个说明书中，相似的标号可用于标识相似的部件。具体实施方式很容易理解，这里一般描述的并在附图中图示的各实施例的部件可以多种多样的不同的配置被安排和设计。因此，对如附图中表示的各实施例的以下详细描述并非旨在限制本公开的范围，而是仅用于说明各实施例。尽管实施例的多个方面在附图中呈现，附图不一定是按比例绘制的，除非特别指明。本发明可体现在其他特定形式中而不脱离其他精神或本质特点。所描述的实施例在所有方面将被理解为说明性的，而非限制性的。因此，本发明的范围由所附权利要求书指示，而不由该详细描述指示。处于权利要求的等价物的含义和范围之内的所有变化将包含在权利要求的范围之内。整个说明书中提及的特征、优点或相似的语言不意味着可用本发明实施的所有这些特征和优点应当或确定在本发明的单个实施例中。相反，提及特征和优点的语言被理解为意味着相关于实施例描述的特定特征、优点或特点被包括在本发明的至少一个实施例中。因此，整个说明书中对特点和优点的讨论和类似语言可以但非必须指相同的实施例。此外，所描述的本发明的特征、优点和特点可以任何方式在一个或多个实施例中被组合。相关领域的技术人员将理解，根据这里的描述，本发明可以在没有特定实施例的一个或多个特定特征或优点的情况下被实施。在其他情况中，在某些实施例中可识别出并非出现在本发明的所有实施例中的附图特征和优点。整个说明书中提及的“一个实施例”、“实施例”或类似语言意味着相关于所指示的实施例描述的特定特征、结构或特点被包括在本发明的至少一个实施例中。因此，整个说明书中的短语“在一个实施例中”、“在实施例中”或类似语言可以但非必须都指相同的实施例。尽管这里描述了很多实施例，至少一些所描述的实施例给出了用于去识别来自可视媒体数据的保密或敏感数据的系统和方法。更具体地，该系统合并来自可视媒体数据集合的图像序列，并自动地标识平均图像中很可能包含文本的位置。用户可以手动改进平均图像的所选择的部分，以确定哪些部分包含敏感或保密信息，并且系统从平均图像和所选择的部分生成模板，该模板可被应用到所述媒体数据集合中的图像序列，以便模糊化每个图像序列中的保密信息。用于确定在文本数据中去识别什么的一些常规方法包括：（i）使用编辑工具手动标记敏感区域，并且解决方案文档中的区域被手动标识以便删除；（ii）自动去识别，其中使用文本挖掘方法来发现文本的敏感片段，诸如名称、日期和地址，无论其在结构化数据字段中或是在自由文本（freetext）中；以及（iii）结构化数据中的固定已知字段，例如，名称、日期和地址，可由特别针对这种字段结构化的代码清除。常规方法还手动标记区域以便确定去识别多少。用于如何去识别的常规方法包括去除被识别部分的内置代码或者使用基于模板的方法。在常规的基于模板的方法中，该模板是通过在给定类别的样本文档中加亮（highlight）要编写的区域来手动创建的。当有限数量的格式（form）可用时，该方法可以是有用的。在图像和视频中，敏感信息可嵌入各种布局中，从而创建很多格式类型。特别对于DICOM图像和视频，在图像中看到的病人特定的数据将随着模式（modality）类型（回声还是血管造影）、制造商（不同的制造商可能在其屏幕上显示不同的信息）、以及检查本身（其进一步取决于相应的疾病及其检查结果）而变化。这些因素的组合导致在可视媒体数据中将看到的大量表彰类型，从而手动学习模板变得非常繁琐和成本低效。例如，在典型的回声记录中，可出现多达50个不同的格式类型，其对应于由超声波检查员记录的取决于疾病的超过大约146个检测。因此，能够至少半自动地生成用于去识别可视媒体数据的模板的系统可提供对各种类型的图像和视频的快速和高效的去识别。在一些实施例中，可从可视媒体数据源的样本集合学习模板。此外，可通过这里描述的半自动过程来实现模板的修正或修改。另外，在形成模板的训练阶段，可将模板（或模板的初级版本）应用于图像中的候选区域，以便识别模板的所识别的界定框中的图像/文本内容的一些或所有可能发生。图1示出了可视媒体去识别系统100的一个实施例的示意图。所示出的可视媒体去识别系统100包括以下详细描述的多种组件，其能够执行这里描述的功能和操作。在一个实施例中，去识别系统100中的至少一些组件在计算机系统中实现。例如，去识别系统100的一个或多个组件的功能可由存储在计算机存储设备100中并由诸如CPU的处理设备104执行的计算机程序指令来实现。去识别系统100可包括其他组件，诸如输入/输出设备106、盘存储驱动器108、图像合并器110、去识别引擎112、和模板生成器114。可视媒体去识别系统100的一些或全部组合可存储在单个计算设备中，或存储在包括无线通信网络的计算设备的网络中。去识别系统100可包括比这里描述的更多或更少的组件或子系统。在一些实施例中，去识别系统100可用于实施这里描述的如图7中示出的方法。在一个实施例中，图像合并器110从可视媒体数据集合118接收图像序列116。在一些实施例中，所述可视媒体数据集合118可包括使用医疗设备捕获的图像或视频，包括超声图像、心回波图图像、血管造影图像、或任何其他可视媒体。在其他实施例中，所述可视媒体数据集合118可包括使用用于其他应用的设备捕获或生成的图像或视频。每个图像序列116可包括很多图像。例如，一视频可包括每秒捕获的很多单个图像帧。在一些实施例中，图像合并器110被配置为从多个可视媒体数据集合118接收图像序列116。每个可视媒体数据集合118可对应于不同的机器类型。可根据预定的类别将多个可视媒体数据集合分组，所述类别诸如机器类型、位置、医院、部门或任何其他类型的分类系统，对于所述分类系统，每个可视媒体数据集合118中的图像序列116具有与相应可视媒体数据集合118中的其他图像序列116共同的某些可视特点，诸如布局、文本相似性或其他特点。在一个实施例中，图像合并器110通过针对跨整个图像序列116的每个图像来平均像素值120来合并图像序列116中的图像。这样获得平均图像122，其像素值120是跨图像序列116中的所有图像平均的。在一个实施例中，因为平均图像122包含平均像素值120，平均图像122可仅显示跨图像序列116中的所有或大部分图像不变或固定的像素。用于平均像素值120的算法可以基于亮度、颜色值、饱和度和/或像素的其他特点。在一些实施例中，跨图像序列116的图像不满足预定频率阈值124的像素被从平均图像122过滤掉。该频率阈值124可以是允许系统100足够识别图像序列116中的文本字段的任何值。在一个实施例中，在平均图像122中所产生的像素值120以在每个像素位置的像素值120的平均亮度来显示。因此，取决于图像的颜色模式，不具有不变的活跃值的像素可以平均图像122中显示为黑色像素。例如，来自在于超声图像序列116的平均图像122包括用于不是跨所有或大多数图像不变的像素的黑色像素值120，而跨所有或大多数图像具有相对不变的值的像素具有白色或明亮的像素值120。于是图像的任何固定文本可以被保持在平均图像122中，因为像素值120跨所有图像是不变的。去识别引擎112被配置为界定平均图像122中被确定为相对固定的部分。在一个实施例中，被界定部分128对应于平均图像122中的明亮的像素值120。去识别引擎112可保留具有一定大小或位于其他被界定部分128的一定距离之内的被界定区域128，并可丢弃不满足这种要求的被界定区域128。在一个实施例中，去识别引擎112被配置为界定来自平均图像122的相连组件（component）以发现平均图像122中的字符132或潜在字符，并产生字符图像。所述相连组件可以是其中包括的所有像素具有明亮的像素值120的像素区域。系统100也可被配置为通过使用光学字符识别（OCR）软件识别平均图像122中的潜在单词130和文本来界定来自均图像122的单词，以生成单词图像。这里所描述的单词130可包括一个或多个字符132的任何组合。基于单词图像和字符图像，去识别引擎112于是可保留被界定部分128，在其中，某个预定百分比的来自字符图像的被界定字符132和来自单词图像的被界定单词132重合。因此，在较大程度上与被界定单词130或单词组件重合的被界定相连组件被保持在短语图像中。模板生成器114使用短语图像来生成模板126，以用于针对特定视觉媒体数据集合118的图像序列116的去识别。短语图像116中的被界定部分128可以与每个被界定部分在平均图像122中的相应位置134一起包括在模板126中。在某些实施例中，在生成模板126之前，所述被界定部分128可基于手动用户输入被改进。在一些实施例中，改进操作的方面可以基于像素平均的进一步检查和/或用户选择而是自动或半自动的。此外，在一些实施例中，模板可以在模板被生成并初始投入使用之后一段时间被进一步改进。可以使用模板126在可视数据集合118中的每个图像序列116中模糊化界定部分128中的内容。在一些实施例中，提取被界定部分中的图像内容和文本内容。然后，通过分析字符和单词的界定框两者来识别文本信息并将其分组在语义实体中。在其他实施例中，可实现其他操作和/或分析来提取和识别文本内容。图2示出了图1的可视媒体去识别系统100的一个实施例的示意图。去识别系统100接收对应于可视媒体数据集合118的图像序列116。去识别系统100包括图像合并器110，用于将来自图像序列100的图像合并为平均图像122。图像合并器110可使用任何方法合并来自图像序列116的图像来创建平均图像。平均图像可显示图像序列116中的全部或某些图像中相对固定或不变的组件。在将图像序列116中的图像合并为平均图像122后，去识别引擎112发现平均图像122中很可能包含文本或单词130的部分，并使用界定框或其他可视界定方法标记文本的位置。可基于用户输入200来改进被界定部分128以保持或去除平均图像122中的界定框。然后模板生成器114使用平均图像122基于平均图像122中的被界定部分128生成去识别模板126。该模板126可用于通过模糊化图像序列116中对应于平均图像122中的被界定部分128及其相应位置的内容来去识别图像序列116。可通过将所述内容从图像中去除、以其他内容替换所述内容、使所述内容模糊或以其他方式修改所述内容或其部分，来模糊化所述内容。在一些实施例中，可使用几种模糊化方法来模糊化内容，以确保完全的去识别。在一些实施例中，被模糊化的内容可根据对该内容的查看权限而对某些用户可见。系统100被配置为基于用户输入200建立对被界定部分128的查看权限，从而查看权限确定了何时被界定部分128的内容对于给定用户是可查看的。例如，给定区域的内容可以对一个用户是可查看的，而对另一个用户是模糊的。此外，图像中的不同内容可包括用于用户的不同查看权限。模板126也可用于去识别可视媒体数据集合118中的其他图像序列116。在一个实施例中，可视媒体数据集合118中的图像序列116具有相似或相同的布局（geographiclayout），从而模板126中的被界定部分128的位置与其他图像序列116中的每个图像中的敏感数据的位置匹配，这允许可视媒体数据集合118中的图像序列116被快速和有效地去识别。图3示出用于生成可视媒体去识别模板126的方法的一个实施例的流程图。尽管方法300是结合图1的去识别系统100描述的，方法300的实施例可使用其他类型的去识别系统100来实施。在一个实施例中，去识别系统100将图像序列116合并为单个平均图像122。例如，平均图像122可以任何能够在一个图像中描述该图像序列116的任何方式获得，该一个图像具有在该图像序列116的所有图像上平均的像素值120。该系统120也可从平均图像122中去除噪音304，以允许去识别系统100更容易地确定平均图像122的要被界定的部分。去识别系统100然后在平均图像122中或平均图像122的副本中的相连组件周围绘制306字符界定框400，以获得字符图像308。去识别系统100也在平均图像122中或平均图像122的副本中的单词130周围绘制310单词界定框，以获得单词图像312。在多个实施例中，去识别系统100可在同时的过程或顺序的过程中执行自动界定操作。然后所产生的字符图像和单词图像312可用于发现平均图像122中包含文本的最可能的部分。在一个实施例中，去识别系统100保留314包括与一个或多个单词框完全地或部分地重合的一个或多个字符框的被界定部分。例如，与一单词框的大部分或合部合并或重合的多个字符框可使得去识别系统100保留对应于所述字符框和单词框的界定区域。字符框和单词框之间的重合的百分比可允许绘制字符图像和单词图像312两者中的界定框400时的某些误差，而仍保持所保留的被界定区域包含文本的高度可能性。在一些实施例中，去识别系统100可基于界定区域之间的距离来定义短语。可使用由保留重合的字符/单词框产生的界定区域来创建短语图像316。该短语图像316可用于生成用于去识别所述图像序列116或其他图像序列116的模板126。图4示出了图1的平均图像122的一个实施例的示意图。尽管这里结合图4的平均图像122描述了去识别系统100，去识别系统100可结合任何平均图像122来使用。在一个实施例中，去识别系统100发现平均图像122中的相连组件，并围绕相连组件绘制界定框400。相连组件可以是在一组中相连的文本文字132、图像伪影（artifact）、或其他具有多个活跃像素区域的区域。字符界定算法可围绕大于预定大小或满足某种其他阈值的相连的组件绘制界定框400，这可帮助减少检测平均图像122中的字符132的误差。平均图像122中不满足阈值的组件或像素可留在平均图像122中，或可从图像中去除以去除噪音或不必要的组件。围绕相连的组件绘制的界定框400可通过在界定框400之间留下空间来指示平均图像122中的相连组件之间的清晰可视分隔。在一个实施例中，在界定平均图像122中的相连组件时，用户可手动地改进字符图像308中的界定框400的位置或数量。用户可去除在用户看来显然是非字符组件的界定框400。或者，用户可围绕去识别系统100错过的相连组件手动绘制框。图5示出了图1的平均图像122的一个实施例的示意图。尽管这里结合图5的平均图像122描述了去识别系统100，去识别系统100可结合任何平均图像122来使用。在一个实施例中，去识别系统100发现平均图像122中的单词130，并围绕单词130或很可能包括文本的区域绘制界定框400。去识别系统100可使用OCR引擎来发现文本区域。OCR引擎可确定平均图像122中的每个区域具有文本的置信值。如果置信值满足某个阈值，该区域被认为是候选，为该区域绘制界定框400，并且所产生的各界定框400构成用于平均图像122的单词图像312。在一个实施例中，当界定平均图像122中的文本区域时，用户可手动地改进所产生的单词图像312中的界定框400的位置或数量。用户可去除在用户看来显然是非单词或文本组件的界定框400。或者，用户可为去识别系统100错过的区域手动绘制框。图6示出了可视媒体去识别模板126的一个实施例的示意图。尽管这里结合图6的平均图像122描述了去识别系统100，去识别系统100可结合任何平均图像122来使用。在某些实施例中，去识别系统100可围绕单词图像312中的未在字符图像308中被界定的组件绘制界定框400。反之，去识别系统100可围绕字符图像308中的未在字符图像312中界定的组件绘制界定框400。通过比较字符图像308和单词图像312，去识别系统100能够确定哪些框最有可能包含文本。去识别系统100可保留来自字符图像308的与来自单词图像312的界定框400重合的界定框400。在一些实施例中，一个或多个字符框可与一个或多个单词框重合。例如，单个字符框可与单个单词框完全地或基本完全地重合，从而去识别系统100可保留字符框或单词框，或者可生成包含字符框和单词框的合并区域的新的界定区域。在另一个例子中，多个字符框可与单个单词框完全地或基本完全地重合，从而去识别系统100可保留字符框、单词框、或者包含所有字符框和单词框的合并区域的新的界定区域。在另一个例子中，多个字符框可与多个单词框完全地或基本完全地重合，从而去识别系统100可保留字符框、单词框、或者包含字符框和单词框的合并区域的一个或多个界定区域中的一些或全部。去识别系统100可根据字符框和单词框的其他组合或这里未描述的其他实施例来保留被界定的区域。由去识别系统100保留的界定区域然后可用于生成去识别模板126。被界定区域在短语图像316中的位置134可定义模板的内容将被模糊化的部分，所述短语图像316可以是平均图像122，其中在平均图像122的某些区域绘制了界定框400。当模板126被施加到图像序列116中的图像时，去识别系统100可寻找图像中对应于模板126的被界定区域128的位置的区域，并自动地模糊化图像中的这些区域。在一些实施例中，模板126可被施加到流媒体，从而可使用模板126来处理直播视频记录，以从直播视频中去除敏感数据。图7示出了用于去识别可视媒体数据的方法700的一个实施例的流程图。尽管结合图1的去识别系统100描述了方法700，方法700的实施例可使用其他类型的去识别系统100来实现。在一个实施例中，去识别系统100将来自可视媒体数据集合118的图像序列116合并710为平均图像122。系统100可通过跨图像序列116中的所有图像平均705像素值120并从平均图像122中过滤掉715不满足预定频率阈值124的像素值120，来创建平均图像122。在一个实施例中，系统100界定720平均图像122的被确定为相对固定的部分。每个被界定部分128可由平均图像122中的相应位置134来识别。在一个实施例中，界定平均图像122的部分包括界定来自平均图像122的相连组件来发现字符132以产生字符图像308。界定平均图像122的部分包括界定来自平均图像122的单词以产生单词图像312。这可包括分析平均图像122的部分以获得分析的部分包含文本的置信值。分析的部分可由OCR引擎来分析。在一个实施例中，该OCR引擎被特别适应为与去识别系统100一起使用。系统100可响应于确定置信值满足单词阈值，确定分析的部分为单词候选。然后系统100可保留这样的被界定部分128，其中预定百分比的来自字符图像308的被界定字符和来自单词图像312的被界定单词130重合。在一个实施例中，系统100合并相互位于预定平均距离之内的被界定部分128以形成短语。多个短语可被界定在一起，以使得被界定区域的模糊化更高效。系统100然后可生成包括被界定部分128和每个被界定部分128在平均图像122中的位置134的模板126，从而在模板126中保留了平均图像122中的被界定部分128的位置134。在一些实施例中，具有被界定部分128的平均图像122可被用作模板126。在其他实施例中，可基于平均图像122生成新的模板文件。在一个实施例中，模板126或平均图像122中的被界定部分128可基于用户输入200被手动地改进725。用户可确定包括在模板126或平均图像122中的一被界定部分128并不对应于敏感或保密信息，并且可将该界定框400从模板126中去除。在另一实施例中，用户确定平均图像122的对应于敏感数据的部分未被界定，并且用户可围绕模板126或平均图像122中的敏感部分手动地绘制界定框400。用户也可建立用于平均图像122的被界定部分128的查看权限，所述查看权限确定何时被界定部分128对于给定用户是可查看的。然后，可应用735模板126以去识别用于生成模板126的图像序列116，这是通过模糊化图像中对应于模板126的被界定部分128的位置的内容而实现的。这可允许跨图像序列116中的所有图像进行一致的模糊化。在一个实施例中，模板116然后被用于去识别可视媒体数据集合118中的其他图像序列116。所述其他图像序列116可与用于生成模板126的图像序列116共享相邻的特点，诸如每个图像中的文本、对象或其他组件的布局位置。在一些实施例中，系统100可为每个可视媒体数据集合118生成一模板126，从而系统100能够自动为每个不同的可视数据集合118去识别图像序列116。尽管这里给出的系统100和方法是相关于去识别可视媒体数据来描述的，系统100可方法也可用于去识别文本数据或其他类型的数据。短语匹配系统100的实施例包括通过诸如数据、地址和/或控制总线的系统总线与存储器元件直接或间接耦合的至少一个处理器。存储器元件可包括在程序代码的实际执行期间使用的本地存储器、大容量存储器以及高速缓冲存储器，高速缓冲存储器提供至少某些程序代码的临时存储，以便减小在执行过程中必须从大容量存储器中检索代码的次数还应注意用于所述方法的至少某些操作可以使用存储在计算机可用存储介质中以便由计算机执行的软件指令来实现。作为示例，计算机程序产品的实施例包括存储计算机可读程序的计算机可用存储介质，当该计算机可读程序在计算机上执行时，使得该计算机执行操作，包括从电子文档提取信息的操作。尽管这里的方法的操作以特定顺序被示出和描述，每个方法的操作的顺序可以被改变，从而某些操作可以相反顺序执行，或者从而某些操作可以至少部分地与其他操作并发地执行。在另一实施例中，不同操作的指令或子操作可以间歇和/或交替的方式实施。本发明可以采取完全硬件实施例、完全软件实施例、或包含软件和硬件元素两者的实施例的形式。在一个实施例中，本发明在软件中实现，所述软件包括但不限于固件、驻留软件、微代码等。此外，本发明的实施例可采取可由计算机可用或计算机可读介质访问的计算机程序产品的形式，其提供了由计算机或任何指令执行系统执行或与其相关联地执行的程序代码。为了本说明的目的，计算机可用或计算机可读介质可以是可包含、存储、传送、传播或传输程序以便由指令执行系统、装置或设备执行或与其相关联地执行的任何装置。计算机可用或计算机可读介质可以为电子、磁、光、电磁、红外或半导体系统（或装置或设备），或为传播介质。计算机可读介质的示例包括半导体或固态存储器、磁带、可拆装计算机软盘、随机读取存储器（RAM）、只读存储器（ROM）、刚性磁盘和光盘。光盘的当前示例包括光盘只读存储器（CD-ROM）、可读写光盘（CD-RW）以及数字视频盘（DVD）。输入/输出或I/O设备（包括但不限于键盘、显示器、指点设备）可以直接或通过中间的I/O控制器连接到系统。此外，网络适配器也可连接到系统，以使数据处理系统能够通过中间的专用或公共网络连接到其他数据处理系统或远程打印机或存储设备等。调制解调器、缆线调制解调器和以太网卡仅仅是当前可用网络适配器类型的几个示例。在以上描述中，提供了多个实施例的特定细节。然而，某些实施例可以用被实施，而少于全部这些细节。在其他情况中，为了简要和清楚起见，某些方法、过程、组件、结构和/或功能的描述详细程度以实现本发明的多个实施例为限。尽管已描述和示出了本发明的特定实施例，本发明并不限于如此描述和示出的部件的特定形式或安排。本发明的范围将由所附权利要求及其等价物限定。