跳过主要内容GydF4y2Ba

使用非线性特征空间维数减少可视化组织病理学深度学习分类和异常检测GydF4y2Ba

抽象的GydF4y2Ba

背景GydF4y2Ba

利用人工智能,特别是深度学习,对组织病理学的计算机视觉越来越感兴趣。虽然累积研究突出了卷积神经网络(CNNS)的专家级表现,但大多数研究依赖于基于的经验定义的截止值的概率分布评分GydF4y2Ba后HOCGydF4y2Ba分析。更广泛的工具,使人类可视化基于组织学的深度学习推论和决策是稀缺的。GydF4y2Ba

结果GydF4y2Ba

在这里,我们利用t分布随机邻居嵌入(t-SNE)来降维,并描述了cnn如何组织组织组织形态学信息。在我们的工作流程中,我们开发了一种量化和透明的方法来在softmax压缩之前可视化分类决策。通过在t-SNE图上离散类之间的关系,我们表明我们可以叠加测试图像的随机采样区域,并使用它们的分布来呈现统计驱动的分类。因此,除了为人类评论提供直观的输出外,这种可视化方法还可以实现自动化和客观的多类分类,类似于传统的、不那么透明的分类概率分布评分。重要的是,这种新的分类方法是由GydF4y2Ba先天的GydF4y2Ba统计定义的截止值。因此,它是一种通用的分类和异常检测工具,不太依赖于GydF4y2Ba后HOCGydF4y2Ba调优。GydF4y2Ba

结论GydF4y2Ba

常规掺入这种方便的方法,用于定量可视化和组织病理学的误差旨在加速CNN的早期采用CNN到广义的现实世界应用程序,在那里经常遇到意外和以前未经训练的课程。GydF4y2Ba

背景GydF4y2Ba

组织病理学深度学习模型中可视化和异常检测工具的需求GydF4y2Ba

医疗护理的个性化已显着增加在病理诊断需求,工作量和专科要求。其结果是,存在利用人工智能(AI),一个新兴的兴趣,尤其是深卷积神经网络(细胞神经网络),以增强病理学家的诊断能力[GydF4y2Ba1克ydF4y2Ba,GydF4y2Ba2GydF4y2Ba,GydF4y2Ba3.GydF4y2Ba]。许多研究已经显示了CNNS的专家级表现[GydF4y2Ba4GydF4y2Ba,GydF4y2Ba5GydF4y2Ba,GydF4y2Ba6GydF4y2Ba]在各种组织病理学分类任务中[GydF4y2Ba7GydF4y2Ba,GydF4y2Ba8GydF4y2Ba,GydF4y2Ba9GydF4y2Ba]。但是,偏置窄,通常是二进制读数限制应用程序,以实现涉及多个输出和意外类的更广泛的分类工作流程。到目前为止,大多数CNN分类方法都依赖于缺乏透明度(例如“黑匣子”)和概括性的经验产生的概率分布分数。当使用细胞神经网络只有两类,高概率得分(接近1.0的值)进行优化,表示一个给定的诊断(高特异性)的强烈的可能性。然而,使用这种高截止值可以危及灵敏度。同样,对于特定阶级的较低概率分数截止值,尽管提高了灵敏度,风险错误分类。对于二进制和高度焦点的任务,“截止”值可以通过产生的接收器操作员特征(ROC)曲线凭经验优化GydF4y2Ba后HOCGydF4y2Ba分析。当考虑多个输出类时,出现对​​这种二进制方法的挑战。同样,在实际的“现实世界”情景中,意外的技术伪影和先前未经培训或验证的课程可以危及这些所选择的截止值的外推。结肠癌最近的尝试[GydF4y2Ba10GydF4y2Ba]突出这些挑战。虽然区分两类的精度率达到98.0%,但概括分类为五种不同的结肠癌亚型(常规,粘液,锯齿状,乳头状和CRIBRIFARY型腺癌)和正常组织的准确性降低至87.5%[GydF4y2Ba10GydF4y2Ba]. 在后面的多类示例中,概率分数截止值变得非常特定于上下文,并且高度依赖于可用类之间分数的相对分布。虽然理论上可以通过大量全面的培训示例来解决这些复杂和广义任务的性能问题,但开发透明的方法来可视化和高效地检测异常情况提供了一个更直接、更全面的解决方案,以加速CNN在实际日常使用中的应用。GydF4y2Ba

这里我们展示了如何使用t分布随机邻居嵌入(t-SNE)进行非线性降维[GydF4y2Ba11GydF4y2Ba,GydF4y2Ba12GydF4y2Ba,GydF4y2Ba13GydF4y2Ba,GydF4y2Ba14GydF4y2Ba]可以提供在softmax变换前cnn的高维组织学数据结构的平面信息表示。由于图像对(局部)和簇(全局)之间的关系是利用距离度量在t-SNE空间组织的,计算机如何感知类内和类间的形态相似性可以很容易地可视化和推断。此外,我们还演示了如何利用t-SNE图来可视化cnn驱动的组织学分类。重要的是,不像连续概率分布分数只在定义的类别中被划分为一个连续的和,这种方法允许图像在t-SNE图中被分类为学习的和未定义的类别。我们证明,这种离散信息可以用来提供一种固有的、统计驱动的方法,用于分类和离群点检测,这种方法依赖较少GydF4y2Ba后HOCGydF4y2BaROC曲线调优。此外,尽管来自相同的训练数据,我们展示了一种复合的分类方法(t-SNE +概率评分)可以进一步提高在新设置下的性能。这些新颖的增强功能作为可推广的工具,以改进病理诊断中更多样化和无监督分类任务的采用。GydF4y2Ba

外科神经病理学作为复杂组织病理学决策的模型GydF4y2Ba

诊断神经病理学是病理学的一个分支,专注于神经外科标本的显微镜检查,是一项具有挑战性的技能,需要人类经过多年的训练才能达到足够的熟练程度。首先,由于其位置,神经病理标本通常较小,经常与非病变组织(如正常脑组织、血液、手术布)混在一起,只代表整个疾病的一小部分样本。大脑的多种解剖结构(如白质、灰质和小脑皮层)都有不同的形态,进一步挑战了分类。对于非亚特化的病理学家来说,即使是正常的组织有时也会被误认为是异常的。一旦病灶定位正确,病理学家就必须确定异常是肿瘤病变还是非肿瘤病变。最常见的原发性脑肿瘤包括神经胶质瘤(固有脑细胞的肿瘤)、脑膜瘤(由软脑膜覆盖而产生的肿瘤)和神经鞘瘤(由神经雪旺细胞而产生的肿瘤)。起源于脑外的肿瘤在神经系统内形成沉积(转移)也是很常见的。鉴别这些肿瘤是一项重要的任务,因为有些肿瘤仅通过手术就可以有效治疗,而其他肿瘤则需要额外的化疗和放疗治疗。虽然不太常见,但对于病理学家来说,必须排除淋巴瘤的存在。淋巴瘤是一种血癌,患者不能从积极的手术中获益,应该尽早开始化疗。为了做出这些生物学上不同的诊断,病理学家首先使用由苏木精和伊红(H&E)染色的组织的显微信息。 This staining technique accentuates the resolution of distinctive cellular patterns that are characteristic of the different diseases. Gliomas and lymphomas, for example, tend to be “discohesive” and grow as individual cells within the brain tissue. Meningiomas and metastasis on the other hand, tend to grow as cohesive collections and clusters of cells. Meningiomas can also sometimes resemble schwannomas when they take on a more spindled arrangement. While the integration of multiple features usually allows a pathologist to arrive at a specific diagnosis, oftentimes, the partially overlapping patterns can make this a challenging task. In many cases where a specific diagnosis cannot be reached, the pathologist can devise a “differential diagnosis”. This short list of diagnostic possibilities can then be further differentiated using more definitive molecular techniques (e.g. sequencing, immunohistochemistry). Sometimes, for rare and very atypical cases, pathologists can initially label a case as “undefined” and perform a broader workup to reach a final diagnosis. While these five tumor types discussed represent the majority of cases typically encountered in diagnostic practice (~ 75–80%), there are in fact over 100 different brains tumor subtypes and many more non-neoplastic diseases that need to be considered [15GydF4y2Ba,GydF4y2Ba16GydF4y2Ba]。一些这些亚型/变体是与病理学家遇到单个壳体一次每十年(或寿命)极其罕见的。类似地,新的疾病(例如寨卡脑炎)连续地产生。到不知情的病理学家,这些罕见的和不断变化的情况下,一起AMASS到一种比较常见的诊断组,往往会导致错误分类。的能力,以确定这些罕见的异常情况,并帮助分流适当的分子测试是一个非常有价值的和具有成本效益的技能。这种逻辑与“分级”的方法来分类(例如诊断,鉴别,不确定的),从而提供了一个诱人的蓝图,设计实用的“真实世界”的决策支持工具病理学家。除了确认常见的肿瘤类型的诊断,机器分类,像人类一样,应该能够信号中的这些不同程度的不确定性,尤其是对于那些可能没有被模型训练过程中遇到罕见的新类型。GydF4y2Ba

方法GydF4y2Ba

图像训练集的发展GydF4y2Ba

来自我们神经病理学服务的切片在Aperio AT2全片扫描仪上数字化成全片图像(WSI),表观放大倍数为20倍,压缩质量为0.70。我们回顾了122张幻灯片,生成了我们实践中遇到的常见组织类型和病变的不断增长的类别列表(附加文件)GydF4y2Ba1克ydF4y2Ba:表S1,图GydF4y2Ba1GydF4y2Ba-GydF4y2BaB.GydF4y2Ba). 对于每个组织类别,根据可用性,我们手动生成了368–18948个图像集(尺寸:1024) × 1024像素)。对于某些类别,如外科材料,只能生成少量高质量瓷砖。对于其他更丰富的课程,我们将培训磁贴数量限制在7000个,以避免特定组的表示出现偏差,从而影响整体培训和绩效。本研究将我们的病变分类集中在最常见和最重要的神经系统肿瘤(附加文件GydF4y2Ba1克ydF4y2Ba:表S1):胶质瘤,转移性癌,脑膜瘤,淋巴瘤和施瓦莫纳。我们选择了1024×1024像素的瓷砖尺寸(图像贴片)(每像素0.504μm,516μmGydF4y2Ba2GydF4y2Ba)进行训练和分类,其瓦片大小是大多数其他方法的10倍以上[GydF4y2Ba2GydF4y2Ba]。通过提供多种水平的形态细节(单细胞级和整体肿瘤结构),在复杂的分类任务中发现了这种较大尺寸的优势,而不会显着影响计算时间。我们发现更大的瓷砖尺寸显着妨碍训练效率而不提高准确性。同样,许多肿瘤的肿瘤的许多区别架构特征,在较小的贴片尺寸和损害性能下不明显。所有瓷砖注释由董事会认证的病理学家进行。仅从医疗记录中提取与每个载玻片上的损伤组织有关的诊断,并且均匿名地匿名。大学健康网络研究道德委员会(REB)批准了我们的研究。GydF4y2Ba

图。1GydF4y2Ba
图1GydF4y2Ba

用CNNS开发CNS组织的多级分类模型。GydF4y2Ba一种GydF4y2Ba含有肿瘤、坏死、脑组织、血液和手术材料的异质性混合物的胶质母细胞瘤的H&E染色WSI。黑色比例尺表示4毫米。GydF4y2BaB.GydF4y2Ba对于用于CNN培训13班图像平铺的例子被示出。Images have been magnified to ~ 250 μm2GydF4y2Ba突出显示关键诊断功能。GydF4y2BaC-E.GydF4y2Ba通过使用我们训练的CNN对1024 × 1024像素的图像块进行自动平铺和分类,实现了wsi级别的标注。分类激活图(CAMs)是由分类块的重组产生的,以提供病变定位的全局概览(棕色)。黑色比例尺代表2毫米。GydF4y2BaFGydF4y2BaIDH1-R132H的免疫组织化学显示该胶质瘤相关的“基本事实”。GydF4y2BaGGydF4y2Ba转移性癌(左侧面板)的H&E部分,相关地基真理(中间板,P40免疫染色)和CNN预测的损伤坐标(棕色)。由最终软MAX功能产生的聚合概率分数允许每个WSI上发现的各种组织类型的全局估计。黑色比例尺代表3毫米GydF4y2Ba

我们CNN的设计有两个明确的目标。首先,我们选择了一组训练病例,包括常规训练中最常见的肿瘤和组织成分。我们认为这将有助于开发一个性能相对良好的分类器,该分类器包含它将遇到的大多数预期类。由于我们研究的主要目标是开发一个工作流,能够处理上述不同程度的不确定性(诊断、鉴别诊断、未定义),所以我们没有包括额外的不常见肿瘤类型的权威集合。这个更集中的分类器将允许我们在未选择的测试用例组中遇到足够数量的“新颖”和未经训练的类。通过纳入约占我们验证队列中典型病例75-80%的病变,我们预计20-25%的随机选择检测病例将集体代表一组“异常病例”。我们的目标是看看我们是否能开发出一种方法,有效地将这组病例标记为“异常”(鉴别诊断或未定义),而不是错误地对它们进行分类。GydF4y2Ba

卷积神经网络(CNN)优化GydF4y2Ba

为了使我们的工作流程对该领域的其他人更加一般化,我们特别选择使用预先训练过的、广泛可用的CNN,而不是开发我们自己的CNN架构。具体来说,我们利用了预先训练的VGG19 CNN [GydF4y2Ba17GydF4y2Ba]对于病变分割和分类。VGG19是一个受欢迎的19层神经网络,包括先前培训的重复卷积层块,在ImageNet数据库中超过110万个图像。这种网络架构类似于其他CNN,优于计算机视觉任务的传统机器学习算法,例如包含1000个公共对象类的分类图像。重要的是,VGG19具有强大的普遍性,能够通过使用附加特定的特定图像进行微调将学习的图像特征(例如边缘,线,圆形等)传送到其他图像分类任务。要执行此过程,我们将VGG19加载到CHERAS中,使用TensoRFLOF后端并使用我们的注释病理图像的收集来培训网络的最终2卷积层块。虽然有多种训练方法,专注于最终层基本上减少了培训时间并有效地调整并优化包括病理学包括病理学的焦点模式识别任务的CNN [GydF4y2Ba18GydF4y2Ba]。具体而言,使用常见的神经病理学组织载玻片中的8个“非损伤”对象类进行再培训该VGG19 CNN:出血,手术材料,硬脑膜,坏死,空白滑动空间和正常皮质灰色,白色和小脑脑组织。除此之外,最常见的神经系统肿瘤类型(Gliomas,Meningiomas,Schwannomas,转移和淋巴瘤)的图像瓦片包括单独(13级模型)或作为单一常见病变类(9级模型)。我们使用了9级模型将“虚构”区域与正常组织分开,然后使用13级模型来分类所识别的区域。这些相应的训练图像集用于重新培训和优化VGG19神经网络以充当病变分段和分类工具。具体地,训练图像被分成85:15比率设定的训练和验证,并通过一系列300个潜在的时期(附加文件2:图S1)进行优化。选择了最佳执行模型以进行进一步的独立测试。测试,在图1和2中突出显示。GydF4y2Ba1克ydF4y2Ba和GydF4y2Ba2GydF4y2Ba,通过平均CNN的最终软邮件功能产生的产生的概率分布分数来执行。使用Python编程环境自动化所有步骤,包括随机瓷砖选择,培训和验证,并由NVIDIA Titan XP图形处理单元(GPU)提供支持。GydF4y2Ba

图2GydF4y2Ba
图2.GydF4y2Ba

概率得分基于分类的工作流程和性能。GydF4y2Ba一种GydF4y2Ba自动化病变分割和分类工作流程为180个前瞻性和随机选择的脑病变的WSIS。只使用具有损伤概率得分> 85%的图像瓷砖用于类预测。为了减少噪音,分类仅在WSIS上与> 15个虚假瓷砖进行(GydF4y2BaNGydF4y2Ba = 147). The majority of unclassified WSIs (NGydF4y2Ba = 33) represented non-neoplastic processes (e.g. epidermoid cysts, hemorrhage, normal brain tissue).B.GydF4y2Ba多类ROC曲线凭经验通过导出在不同的概率得分分布阈值的灵敏度(检测到的真阳性的级分)和特异性(检测真阴性的级分)中产生。所显示的AUC是0.50的最小值性能测量(随机预测)和1.0(正确预测)。GydF4y2BaCGydF4y2Ba在不同的最小概率评分截止点上的最高分类输出的准确性的关系。如果没有达到这个临界值,这种情况被认为是“未定义的”,不包括在评分中。这个经验GydF4y2Ba后HOCGydF4y2Ba分析强调了一个错误率大幅上升的特定阈值。GydF4y2BaD.GydF4y2Ba阿H&E染色的一个神经胶质肉瘤(神经胶质瘤亚型)的验证WSI,验证特殊污渍和表示基于得分顶CNN概率预测的CAM。在这项研究中,我们定义病变类型为B型错误之间的这些错误分类。黑色比例尺条为4mm左右。GydF4y2BaE.GydF4y2Ba一个错误分类的肿瘤类型(血管母细胞瘤)的例子,未包括在13类模型(“C型错误”)。黑色比例尺代表3毫米GydF4y2Ba

开发多级CNN基组组织学分类器GydF4y2Ba

为了在实际(“广义”)环境中制定多级别组织病理学决策的基线水平,我们对广泛使用的VGG19 CNN进行了中枢神经系统(CNS)手术标本中遇到的13种常见组织和病变级别的训练(图)。GydF4y2Ba1 a - bGydF4y2Ba).我们的培训集由当地,随机选择的47,531个病理学家注释的血毒素和eosin(H&E) - 从84,503张图像的较大池中取出的图像斑块(附加文件GydF4y2Ba1克ydF4y2Ba:表S1,训练集,可从GydF4y2Bahttps://zenodo.org/GydF4y2Ba).我们使用这些图像来重新训练VGG19 CNN的最后图层(图。GydF4y2Ba1 dGydF4y2Ba).在迁移学习过程中,我们额外的图像用于帮助微调和定制之前的学习模式和CNN权重,这些权重针对我们13个组织类中的组织病理学特征。我们的模型在300个纪元后达到了94.8%的验证精度(附加文件GydF4y2Ba2GydF4y2Ba:图S1)。与训练2-3类组织的cnn方法相比,我们的13类模型表明,深度神经网络可以有效训练,以区分大量组织类。GydF4y2Ba

t分布随机邻域嵌入(t-SNE)可视化与分类GydF4y2Ba

T分布式随机邻居嵌入(T-SNE)[GydF4y2Ba11GydF4y2Ba用来帮助在二维平面上可视化所学习的13个班级的高维关系。具体来说,我们为每个类随机绘制了大约350-600个训练图像块。进一步进行了优化,以自动去除可能分类错误的训练图像或包含多个类特征的块。为了去除这些潜在的异常点,我们比较了GydF4y2BaT.GydF4y2Ba-sne绘图到最近的300邻居,以确定是否基本上偏离的点偏离了标记的类群集。这提供了一种精致的视觉曲线,突出了代表瓷砖和阶级的学习关系彼此。GydF4y2Ba

具体来说,在这项研究中,我们希望使用这张初始地图来开发一种视觉分类和异常检测工具。为此,我们使用每个测试/验证图像生成的多达100个代表性瓦片的空间分布,在瓦片和WSI级别进行分类。为此,我们利用生成的t-SNE来可视化二维图中新图像块的位置。这种离散化的方法允许确定每个测试贴图属于哪个类,或者它是否代表一个未定义的“离群值”图像。使用提供给早期t-SNE的瓦片图像,我们添加新的瓦片并为每个WSI重新生成t-SNE。尽管随着新数据的添加,生成的t-SNE与原来的t-SNE略有不同,但类的空间结构和聚类在很大程度上仍然保留了下来。为了对新的瓦片点进行分类,我们首先评估每个图像瓦片是否代表一个离群值。这是通过观察它最近的25个相邻点来确定是否至少有85%的点属于一个类。如果满足条件,则将瓦片离散化(分类)以表示该类进行分类;否则它将被标记为离群值/异常数据点。 We felt this relatively conservative approach would allow classification to only rely on information from the slide that most closely resembles the previously trained examples.

对于wsi级的t-SNE分类,从每幅测试图像中提取的多达100个随机损伤片被绘制到CNN的t-SNE地图上。由于载玻片可能包含一些“背景”的非病变组织和可能局部类似病理的伪影,如果产生的病变片小于15块,我们不对载玻片进行分类。相反,我们的工作流程标记了这些载玻片,并提供了一些病变片供病理学家手工检查(参见附加文件)GydF4y2Ba2GydF4y2Ba:图S2)。否则,使用上述方法,我们确定每个图像片的类并将它们出口到联表进行统计分析及其分布。我们使用这些砖15-100的分布进行迭代GydF4y2BaχGydF4y2Ba2GydF4y2Ba测试过程中,在那里与瓷砖最少的类被系统地移除,并且剩余的分布被重新测试。这个过程一直持续到GydF4y2BaχGydF4y2Ba2GydF4y2Ba分数 (GydF4y2BaP.GydF4y2Ba- value)不再重要(GydF4y2BaP.GydF4y2Ba ≥ 0.01). This process either leads to a single diagnosis (Fig.3.GydF4y2Ba)或类列表(“鉴别诊断”,附加文件GydF4y2Ba2GydF4y2Ba图S3),其中贴图的分布与其他情况下的随机平均分布没有显著差异。如果绘制的贴图在统计上有显著分布(GydF4y2BaχGydF4y2Ba2GydF4y2Ba测试,GydF4y2BaP.GydF4y2Ba< 0.01)在第一次迭代时被标记为“未定义/离群值”,WSI被认为包含过多的新奇/异常特征,无法给出可靠的诊断。因此,这些幻灯片被归类为“未定义”。这个p值可以调优GydF4y2Ba先天的GydF4y2Ba到可容忍的α误差。根据我们的测试集(180张幻灯片)的大小,我们选择了一个临界值GydF4y2BaP.GydF4y2Ba < 0.01. As a comparative analysis, we carried out the same classification approach using principle component analysis, another commonly used dimensionality reduction and visualization tool (Fig.6GydF4y2Ba).类似地,为了突出使用低测试瓷砖阈值进行分类的效果,我们重新分析了测试队列,最小瓦片截止为5而不是15(附加文件GydF4y2Ba2GydF4y2Ba:图S4)。GydF4y2Ba

图3.GydF4y2Ba
图3.GydF4y2Ba

基于cnn的组织数据结构可视化和t-SNE分类。GydF4y2Ba一种GydF4y2Ba叔SNE积表示CNN的最终隐藏层内的13个训练有素的组织类的内部高维组织的平面表示。3.50–600 training tiles from each class are plotted so that each point within the t-SNE represents a 1024 × 1024 pixel training image. Tiles belonging to each class are labeled with a unique colour for convenience. Insets show representative images from each cluster/class.B.GydF4y2Ba维数降维技术(如t-SNE)定位数据,使点靠近代表CNN认为具有类似模式的图像。因此,这个图可以使计算机感知到的密切相关的类别可视化。习得的特征似乎以一种类似于图中所示的框架的生物启发方式进行定性组织。GydF4y2Ba1 bGydF4y2Ba.除了核(黄色区域),正常(红色区域)和病变(蓝色区域)的组织区域,随着一个人在蓝色大簇中向上移动,粘连病变(脑膜瘤和转移)也有紧密排列的趋势。了解这种结构可以为计算机驱动的医学图像学习提供更多的透明度。GydF4y2BaCGydF4y2Ba-GydF4y2BaE.GydF4y2Ba基于T-SNE的可视化和测试WSIS分类的例子。对于每个预测,我们覆盖从测试图像(由红色钻石表示)中提取的100个图像贴片以执行分类。k最近邻的方法用于将单个图块分配给群集或未确定区域。除了定性的视觉预测,测试瓷砖的分布(χGydF4y2Ba2GydF4y2Ba测试)允许定量统计驱动的分类分数。临床病理学课程:施瓦堪瘤(GydF4y2BaCGydF4y2Ba)、神经胶质瘤(GydF4y2BaD.GydF4y2Ba)和转移(GydF4y2BaE.GydF4y2Ba)GydF4y2Ba

性能测试GydF4y2Ba

在一组由180个WSI组成的前瞻性随机选择的病例中,以多种方式对同一CNN的表现进行了评估(表1)GydF4y2Ba1克ydF4y2Ba). 为了提高可推广性,我们选择不偏袒测试用例的选择,也不关注特定的异常。为了最大限度地提高案例间和案例内的多样性,如果可用,我们提供了最多5张单个案例的幻灯片。这就产生了一个既有普遍病变类型又有不太常见病变类型的测试集(代表性的WSI测试图像可从GydF4y2Bawww.zenodo.comGydF4y2Ba).与训练集的生成类似,该验证集仅限于至少3名经过广泛神经病理学训练的经委员会认证的病理学家达成共识的病例(实践年:2,15,22,31)。诊断结果被用作性能测试的“综合临床病理诊断”。所有病例和诊断也得益于确认性免疫染色(图)。GydF4y2Ba1克ydF4y2Ba和GydF4y2Ba2GydF4y2Ba)和/或确证临床相关因素(如位置、影像学印象)。我们认为这种综合方法将有助于减少主观解释错误,并建立一个很接近的“地面真相”[GydF4y2Ba19GydF4y2Ba,GydF4y2Ba20.GydF4y2Ba]。GydF4y2Ba

表1 WSI在验证队列中的分布GydF4y2Ba

对于每个WSI,使用CNN最终softmax输出层的概率分布分数或覆盖在CNN最终隐藏层的t-SNE或PCA图上的瓦片分布生成诊断。我们还生成了基于复合的预测(组合和混合方法)GydF4y2Ba后HOCGydF4y2Ba了解不同方法之间的错误是否重叠。为了测试这些不同分类器的性能,我们使用各种多类指标来生成ROC曲线,并计算ROC曲线下的占用面积(AUC)。虽然有些方法将多类分类器的多个输出折叠成二进制读数用于ROC和AUC分析,但我们发现,概率和类别之间的分布极大地影响了特定诊断的置信度。因此,我们选择使用概率分数和贴图的分布来近似多类ROC (mROC),如前所述[GydF4y2Ba21GydF4y2Ba]。除了AUC的分析,我们还通过计算正确或不正确分类的病例的比例评估每种方法的性能(准确性)相比共识临床病理诊断为每个​​WSI。整个文本,这些性能值均以不使用从ROC曲线得出的特定时切断。这些和其他GydF4y2Ba后HOCGydF4y2Ba然而,分析是作为参考提供的(图。GydF4y2Ba2摄氏度GydF4y2Ba&GydF4y2Ba4 dGydF4y2Ba).为简便起见,在比较不同的参数和方法时,我们使用概率得分最高的类来表示诊断。在t-SNE性能测试中,归类为“未定义”或“鉴别诊断”的WSI图像被认为是异常值,不包括在测试中。GydF4y2Ba

图4.GydF4y2Ba
装具GydF4y2Ba

使用T-SNE检测和可视化组织病理学异常值。GydF4y2Baa - bGydF4y2Ba基于t- sn的神经胶质瘤WSI可视化及分类(罕见的神经胶质瘤亚型)(GydF4y2Ba一种GydF4y2Ba)和血管母细胞瘤(GydF4y2BaB.GydF4y2Ba).与之前的实施例不同,这些病变代表了CNN以前遇到的模式和肿瘤类型。在未占用空间内绝大多数虚拟瓷砖的本地化允许自信的视觉和统计分类为“异常值”,而无需参考ROC曲线。插入(右下方)放大在未占用空间中瓷砖的定位。这些实施例表明了如何利用T-SNE图的性质以检测新的/挑战性情况的错误分类。GydF4y2BaCGydF4y2Ba.图中使用的同一组测试WSIs的ROC性能总结。GydF4y2Ba2GydF4y2Ba.使用t-SNE瓦片分布进行分类产生的性能(AUC)指标与基于概率评分的方法类似。GydF4y2BaD.GydF4y2Bat-SNE精度的关系在不同定义的“离群值”截止点进行比较。尽管这种t-SNE方法在WSI分类中更为保守,但它表现出了更为统一的性能(橙色;错误率)。当截点值不能可靠或经验估计时,这个显著的特征提高了它的泛化性GydF4y2Ba

结果GydF4y2Ba

基于概率分布分数的分类性能GydF4y2Ba

我们从我科随机选取180张数字化的神经病理全幻灯片图像(WSIs),对这13类CNN的基线表现进行了研究(图)。GydF4y2Ba2GydF4y2Ba).考虑到5种训练过的病变类型的预期频率,这将为CNN能够正确分类的病例提供相对较大的比例。与此同时,它将允许遇到相当大比例的未经训练的病例(约20%)。总的来说,这个后来的小组将让我们了解我们的CNN是如何处理新奇和未经训练的组织病理学课程的。GydF4y2Ba

To visually monitor which regions of the WSI our CNN used for diagnosis, we systematically tiled WSIs into 1024 × 1024 pixel patches and overlay class activation maps (CAMs). These CAMs color code the tissues types and location, found within each tile. Reassembly of these tiles helped create fully annotated WSIs to qualitatively assess lesion segmentation performance. Comparison to expert pathologist-annotations and immunohistochemical staining showed strong concordance (Fig.1 cGydF4y2Ba-GydF4y2BaGGydF4y2Ba, 无花果。GydF4y2Ba二维GydF4y2Ba-GydF4y2BaE.GydF4y2Ba).这表明我们的13级CNN可以有效地区分病变和非病变组织类进行下游分析。我们还平均了从每个瓦片产生的置信度分数来提供由CNN检测到的不同组织类型的全局估计(图。GydF4y2Ba1克GydF4y2Ba).GydF4y2Ba

临床上,病理学家的整体诊断通常由载玻片内发现的最异常的组织元素驱动。为了将分类(基于AI的决定)转向这些诊断(“旗性”)区域,我们纳入了更具针对性的分类测试方法(图。GydF4y2Ba2GydF4y2Ba).而不是使用WSI的平均值(例如图。GydF4y2Ba1克GydF4y2Ba),我们专注于图像瓷砖,以便在损益组织(> 85%概率得分)中富集的CNN进行平均和分类。为避免焦点伪影引起的分类错误,我们对WSI的分类进一步限制了至少15个“损益”瓷砖(附加文件GydF4y2Ba2GydF4y2Ba中:图S2&S4)。使用这种方法,总的180个试验载玻片147满足该阈值用于由CNN的初始通分类。正如预期的那样,绝大多数是没有被这种方法分类的幻灯片既包括正常组织或显着不同的病症,不显示任何相似的培训类(如表皮样囊肿,其他文件GydF4y2Ba2GydF4y2Ba:图S2)。使用跨越13班每个WSI预测分数的分布,这种方法实现了性能,如由区域多级接受者操作曲线(AUC,审监委)下评估的0.99(图,。GydF4y2Ba2 bGydF4y2Ba).我们还比较了预测得分最高的类别(“诊断”)与综合临床病理诊断的准确性(表)GydF4y2Ba1克ydF4y2Ba). 在检查的147张幻灯片中,84%的人在不知道最佳截止分数的情况下使用排名靠前的班级类型进行了正确分类(错误率:16%)(图。GydF4y2Ba2摄氏度GydF4y2Ba).确定了三种类型的分类错误。对病变的正常组织的错误分类(“型误差”)是罕见的。这可能是由于施加的保守预选滤波器(> 85%概率> 15个损伤瓦片)。该初始过滤器也可能有助于以不同的形态学特征有所帮助地标记一些先前未训练的病变(例如表皮囊肿)。当我们将此“虚拟瓦片”截止为15至5个“裂变”瓷砖时,顶级课程的错误率升至20%。(附加文件GydF4y2Ba2GydF4y2Ba:图S4)。最显著的A型错误是CNN将正常但相对细胞性的小脑颗粒细胞层误认为神经胶质瘤。在这个特异性WSI中,真正的病变是一个相对较小的转移性癌灶,由于小脑细胞组织的丰度,取样不理想。通过对正常细胞组织类型进行更全面的取样训练,可能会减轻这种错误(附加文件)GydF4y2Ba1克ydF4y2Ba:表S1)。更常见的错误类型是病变类型之间的错误分类(“B型错误”)。这些在很大程度上代表了我们数据集中训练类别的罕见非典型变异的错误分类(例如,胶质瘤vs胶质瘤,图。GydF4y2Ba二维GydF4y2Ba). 在这个例子中,胶质瘤的主要纺锤状“肉瘤样”成分被误认为是脑膜瘤;通常表现出相似形态的肿瘤类型。同样,在测试集中发现的非典型脑膜瘤(WHO II级)有明显的核仁,在更良性脑膜瘤图像的初始训练集中没有很好的表现。这可能解释了误分类为转移。第三种错误类型(“C型错误”)归因于对新的和以前未经训练的肿瘤分类错误(如血管母细胞瘤,图。GydF4y2Ba2 eGydF4y2Ba).此验证集中的C型错误表示错误的5%。剩余的错误分类(11%)主要归因于所描述的“B型”误差。GydF4y2Ba

有许多方法可用于解决这些不同的错误类型并提高性能。这些包括培训图像的大规模扩展。现有类别(例如非典型脑膜瘤)的额外取样可能有助于在往往错误分类的课程之间找到明显和微妙的差异。这有助于减少“B型”误差(图。GydF4y2Ba二维GydF4y2Ba).类似地,加入额外的,以前未经训练的类,可以加入到CNN中,以减少“C类错误”(图。GydF4y2Ba2 eGydF4y2Ba).另一种增加现有分类器特异性的常用方法是使用GydF4y2Ba后HOCGydF4y2BaROC选择分类阈值。尽管这些方法本身很有效,但在高度“控制”的任务之外,它们的通用性很差。因此,在开发另一种分类工具的同时,我们选择设计一种更具普遍性和可扩展性的分类工具GydF4y2Ba先天的GydF4y2Ba统计驱动的异常检测和错误减少方法。这种方法可以提供更直接的解决方案,帮助在更实际的环境中实现cnn。GydF4y2Ba

可视化CNN数据结构和使用降维分类决策GydF4y2Ba

基于CNN-大多数组织学分类的任务通常依靠概率分布的分数来分类新的图像块。虽然方便,图像块的平均概率得分,特别是当多个类存在,可以引入噪声和减少分类的透明度。此外,分类阈值的优化是具有挑战性的,当新的或不典型的病例在“现实世界”设定经常遇到。GydF4y2Ba

为了开发更明亮和统计驱动的方法来对次优环境进行分类案例,我们利用了一个互补的可视化工具来描述组织学学习如何组织在CNN中。为此,我们选择将来自13个组织类中的每一个的代表训练图像瓷砖用于CNN高维坐标的平面表示使用T-SNE [GydF4y2Ba11GydF4y2Ba] (无花果。GydF4y2Ba3GydF4y2Ba,GydF4y2Ba附加文件3:电影S1)。有趣的是,除了展示形象的瓷砖地方组织,这款T-SNE图还提供了对整个数据集是如何在CNN内举办一个更加全球化的二维排列。的t SNE情节的定性检查显示了CNN内的反射镜理解不同的组织类的生物性质(一个组织框架图。GydF4y2Ba3 bGydF4y2Ba).例如,有一个突出的“簇簇”(红色圆圈),它将正常的神经组织类型排列得非常接近。这可能代表了这些组织类型的常规重复模式。这一簇似乎将其余的基于细胞的组织类一分为二。左侧为低细胞组织(黄圈),右侧为高细胞组织(红圈),形成第三簇。进一步的研究表明,在淋巴瘤和神经胶质瘤这类解离性病变中,有更多的合理(有点“类人”)组织框架。值得注意的是,固有脑瘤(胶质瘤)显示的位置最接近纳入的正常神经系统组织成分(红云)。类似地,t-SNE图上更粘连的肿瘤(如转移瘤、脑膜瘤、神经鞘瘤)的图像在蓝色云团的上界紧密聚集。这个稳态表示图是在独立的采样和训练实验中生成的,表明对于这些包含的类类型,收敛到一个稳定的学习全局数据结构(图)。GydF4y2Ba3 cGydF4y2Ba-GydF4y2BaE.GydF4y2Ba).GydF4y2Ba

附加文件3:电影S1。GydF4y2Ba显示我们培训的CNN模型的3D T-SNE表示的电影。(MP4 2593 KB)GydF4y2Ba

除了提供视觉见解基于CNN-组织学的学习,我们调查,如果当新的组织学图像呈现T-SNE地块可以给人类提供更透明的决策支持输出。虽然这种技术已经被他人使用定性可视化的分类和异常值[GydF4y2Ba22GydF4y2Ba,我们希望开发一种更加自动化、定量和统计驱动的分类和异常检测方法。通过将新WSIs的代表性病变图像块叠加到13类t-SNE图上,我们发现分类可以更加直观和直观(图2)。GydF4y2Ba3 cGydF4y2Ba-GydF4y2BaE.GydF4y2Ba).类似地,由于每个瓦片的预测可以基于它们的邻近与相邻训练块(K-CORMALE邻居)的接近分离成单个类别,因此可以统计上询问瓦片分布GydF4y2Ba先天的GydF4y2Ba对于每种情况,依赖较少GydF4y2Ba后HOCGydF4y2BaROC-生成的截止值。具体来说,我们使用了高度倾斜的类瓷砖分布(GydF4y2BaχGydF4y2Ba2GydF4y2Ba测试,GydF4y2BaP.GydF4y2Ba < 0.01)以提供分类(图。GydF4y2Ba3 cGydF4y2Ba-GydF4y2BaE.GydF4y2Ba).以类似的方式,在所观察到的类频率较少歪斜测试瓷砖分布可以用来表示在人口最密集类的“鉴别诊断”的形式诊断“不确定性”(附加文件GydF4y2Ba2GydF4y2Ba:图S3)。此外,当砖块的显著分布(p < 0.01)定位于“未定义”空间时,异常值可以被有效地标记为“未定义”,而不需要经验的截止分数(图3)。GydF4y2Ba4GydF4y2Ba-GydF4y2BaB.GydF4y2Ba).统称,这种新颖的方法提供了视觉上直观,目标和“分级”性能度量的平衡,用于常规组织分析。GydF4y2Ba

t-SNE-based分类性能GydF4y2Ba

为了测试这种替代方法的性能,我们通过类似的工作流程对相同的180例进行了相同的180例,而是与我们的T-SNE驱动的指标取代基于概率的预测(图。GydF4y2Ba2GydF4y2Ba).然而,对于每个测试幻灯片,除了渲染诊断之外,这种方法还具有信号不确定性(“未定义”或“差分诊断”)的灵活性。类似于概率得分,对于单一诊断可以统计达到(基于)GydF4y2BaχGydF4y2Ba2GydF4y2Ba测试),利用瓦片在不同组织类别之间的分布来生成mROC曲线。AUC,与使用概率评分相似,较高(AUC = 0.99,图。GydF4y2Ba4摄氏度GydF4y2Ba).也许更重要的是,这种保守派和统计驱动的度量不需要对误差(主要是B&C)不需要GydF4y2Ba后HOCGydF4y2Ba截断分数的调整[t-SNE: 4%的错误,68%的正确vs.概率分布分数:16%的错误,84%的正确](图。GydF4y2Ba4 dGydF4y2Ba).误差减少主要归因于对“C型错误”(未定义的类)的强缓冲区归因于T-SNE图上的“未定义”虚拟块(图。GydF4y2Ba4GydF4y2Ba-GydF4y2BaB.GydF4y2Ba).有趣的是,尽管这两种不同的方法来自同一训练有素的CNN,但稍微不同的分类方法导致了不重叠的错误。在一个GydF4y2Ba后HOCGydF4y2Ba分析,我们发现,复合材料的方法,其中两个试验是一致的,可以被利用来进一步降低错误率(合并:2%的误差,67%是正确的)和/或提高整体分类率(混合,审监委:1.00,图。GydF4y2Ba5GydF4y2Ba).这种普遍的分类方法的次要定制优化提供了新的定量可视化工具,用于在实际的实际设置中进行大规模的形态学分析和质量控制。GydF4y2Ba

图5.GydF4y2Ba
figure5GydF4y2Ba

WSI分类的复合方法。GydF4y2Ba一种GydF4y2Ba使用由在不同的类片分布和概率得分的百分比的共混物的混合预测得分产生ROC曲线。这种方法实现了更高的AUC。GydF4y2BaB.GydF4y2Ba这种混合分类器的精度(y轴)在不同“未定义”得分截止的T-SNE组件(未定义空间中的瓦片百分比)的关系。GydF4y2BaCGydF4y2Ba另一种更保守的评分方法的准确性的关系,其中仅在不同的“未定义”得分截止方面分类。这种方法进一步降低了整体错误率,与单独的T-SNE相比,对分类案例的数量最小的变化GydF4y2Ba

作为最终分析,我们将我们的T-SNE方法与主成分分析(PCA)的性能进行了比较,最常见的线性维度降低技术(图。GydF4y2Ba6GydF4y2Ba).类似于T-SNE,PCA可以描绘在二维平面上存储存储在CNN中的高维数据。然而,我们假设类别缺乏夸张间距在我们的T-SNE图上观察到的课程之间的夸张间距将妨碍分类边界的有效离散化(图。GydF4y2Ba6AGydF4y2Ba-GydF4y2BaB.GydF4y2Ba).这个假设是确实是正确的(图GydF4y2Ba6CGydF4y2Ba).课程的接近和缺乏“未定义”类别的缓冲区挑战性案例导致对处理已经培训(和未训练的)类的轻微变体进行了大幅度减少(图。GydF4y2Ba6CGydF4y2Ba-GydF4y2BaD.GydF4y2Ba).GydF4y2Ba

图6.GydF4y2Ba
figure6GydF4y2Ba

其他降维方法。GydF4y2Ba一种GydF4y2Ba-GydF4y2BaB.GydF4y2Ba假设的漫画描述了t-SNE图作为“分级”和补充分类工具的优势。GydF4y2Ba一种GydF4y2BaCNN中由不同降维技术组织的代表性图像空间。与具有离散和相邻决策边界的线性表示(如PCA)不同,t-SNE图上的类的过度分离为测试提供了更清晰的分类。这一关键差异对于评估先前培训课程中测试瓷砖的分布具有显著优势。如图所示,这可以更有效地处理已培训案例的变体(“蓝色方形变体”,面板a)和真正的“未定义”类别(绿色方形,面板b)。GydF4y2BaCGydF4y2Ba-GydF4y2BaD.GydF4y2Ba为了比较,我们展示了我们培训的CNN的PCA描绘。虽然类似于类的整体排列,但组织类型之间显着分离。这种差异导致绝大多数(71%)归类为“差异”,与T-SNE和概率分布评分相比,性能的大量减少(13%正确,误差为16.2%)。正确的情况“组合”分析代表了T-SNE和PROG分数的协议。“组合”分析中的未定义类代表了两种方法之间的分类嫌疑的案例GydF4y2Ba

讨论GydF4y2Ba

虽然是高维数据的良好的可视化工具[GydF4y2Ba6GydF4y2Ba,GydF4y2Ba11GydF4y2Ba],用于解释组织形态学机学习的T-SNE的利用是稀缺的。我们展示了T-SNE作为一种工具的新颖且概括的应用,以提供信息化学的学习如何存储在神经网络中的信息。我们的研究是独一无二的,我们展示了如何使用该组织结构来生成可视化的替代分类输出,并有助于大幅减少错误。值得注意的是,在没有需要额外的CNN培训或对基于标准的CNN的组织学工作流程的额外CNN培训或重大调整的情况下提供了这些益处。我们的T-SNE的分类方法显示出非常相似的分类性能,以更加传统和更不透明的概率的分销分数。虽然分类稍微保守稍微保守,但异常富集的异常值富集。在一起,可视输出的改善透明度和较低的否定特征的公差可以为行业提供价值(例如医疗保健,自主驾驶),其中误差/异常检测的好处超过了其他性能参数(例如,首次通过时正确)。总的来说,即使没有GydF4y2Ba后HOCGydF4y2Ba调优后,我们能够大幅减少错误分类案例(B/C类型错误)(4% vs. 16%)。不同方法的非重叠错误可以允许开发额外的复合指标,进一步减少错误,而不需要截断优化。我们的工具获得的错误率与病理间差异的基线报告一致。因此,我们相信,这种复合方法,加上最终的专家人工审查,在提高远程服务不足中心的效率和质量控制方面,可能是一个特别有价值的伙伴。“未定义”分类也可用于优先考虑具有挑战性的病例,以扩大亚专家、免疫组化和分子为基础的诊断询问。GydF4y2Ba

关于我们的方法,有一些重要的考虑因素。保守的T-SNE方法绝大多数残留的错误分类病例代表了训练集中未发现的肿瘤亚型(例如非典型脑膜炎,小细胞胶质细胞瘤)(“B型错误”)。这些案例通常具有类似于错误所选类的微妙功能。临床上,这些更具挑战性的病例通常促使验证的免疫染色,分子研究和/或支持性临床史自信地解决。我们认为,这些“B型错误”中的一些可以进一步减少,或适当地标记为“差异诊断”,具有额外的训练示例。超出了研究的范围,以优化性能并通过调整这些不同的变量或添加额外的相对罕见的课程来减少错​​误。相反,我们旨在开发一种替代的视觉和统计驱动的分类方法,适用于在CNN原始培训环境之外扩展的场景。此外,虽然我们的测试集包括罕见的肿瘤亚型,但我们的分类器从未见过,仍可能仍然是在更“实用”现实世界环境中的真正多样性和挑战的陈述。首先,提出的试验组的组装跨越相对较短的时间框架(3-4个月),仅限于病理学家达成共识的脑病变。这种通用决策支持工具在病理学中的长期应用可能遇到许多额外的时间依赖,技术衍生的人工制品和异常值。 Moreover, other rare non-neoplastic and extra-cranial neuropathologies not integrated into the classifier routinely arise. This diversity makes comprehensive CNN training and empirical cutoff selection an extremely challenging and perhaps futile task in the short term. Our t-SNE classification approach, that we show is extremely resilient to unanticipated outlier cases, provides a more immediate solution to many histology-based classification tasks.

虽然使用神经网络对图像进行分类已经非常成功,但有一些重要的警告需要注意。不同于像ImageNet挑战这样的受控竞赛,在这种竞赛中有固定和预定义的类别数量,病理学家通常会遇到极其罕见的病例,在他们的整个职业生涯中可能会看到一两次。此外,随着新的外科和诊断程序、药物治疗和早期筛查的引入,疾病形态和更常见病变的分类可能会发生巨大变化。对于这些罕见且多变的形态学缺乏训练图像可能会对cnn在临床实践中的应用造成挑战。类似地,在ImageNet挑战中,如果一个对象按概率得分排在“前5名”中,则被认为是“正确的”。然而,在诊断病理学中,只有偏爱的诊断往往增加价值,并可由临床医生采取行动。当仅使用概率最高的类(“Top-1”)来计算性能时,在ImageNet中cnn的错误率(~ 20-25%的错误率)仍然远低于临床使用所需的水平。目前先进的病理工作流程通过使用分子检测和额外的临床信息大大降低了这种错误率。因此,至少在短期内,CNN病理工作流程应该被设计成作为决策支持工具,以提高病理医生的吞吐量,而不是取代他们。我们相信我们的新分类很适合这个角色。GydF4y2Ba

最后,我们相信,我们的分类视觉和定量的方法和异常检测可能会从变量的进一步优化中受益。这些包括图像贴片尺寸,训练课程的数量,理解的类之间图案差的程度,CNN架构/训练方法和工作流中的不同阈值截止值。我们强调一些这些方面的考虑我们的手稿(查看其他文件中GydF4y2Ba2GydF4y2Ba:图S4)。根据我们的经验,但是,我们在我们的分类方法概述的原则和错误还原性能在很大程度上是保守的。我们的方法从而成为一个强大和普及框架,可以很容易地适应组织病理学及相关领域的其他学科的异常检测。GydF4y2Ba

结论GydF4y2Ba

目前,病理学中最深入的学习解决方案依赖于概率分布分数输出。我们介绍了一种替代的分类方法,提供高度视觉,直观和分级的分类指标。我们强调我们的新方法如何通过有效地标记异常值而无需广泛的需求,帮助大幅减少错误GydF4y2Ba后HOCGydF4y2Ba截止值的优化。因此,这种简单的方法可以加速基于CNN的技术进入病理学和其他部门,其中高误差率为效率,成本效益和安全性。我们的工作流程理论上可以应用于各种病理学亚特色的多种组织和疾病课程。因此,我们提出了一种高度普遍的方法,可以定量地可视化基于AI的决策和异常检测在实际的现实世界中。GydF4y2Ba

缩写GydF4y2Ba

人工智能:GydF4y2Ba

人工智能GydF4y2Ba

AUC:GydF4y2Ba

ROC曲线下的面积GydF4y2Ba

凸轮:GydF4y2Ba

类激活地图GydF4y2Ba

CNN:GydF4y2Ba

卷积神经网络GydF4y2Ba

GFAP:GydF4y2Ba

胶质纤维酸性蛋白质GydF4y2Ba

GPU:GydF4y2Ba

图形处理单元GydF4y2Ba

):GydF4y2Ba

苏木精和伊红GydF4y2Ba

IDH:GydF4y2Ba

异柠檬酸脱氢酶GydF4y2Ba

PCA:GydF4y2Ba

主要成分分析GydF4y2Ba

reb:GydF4y2Ba

研究伦理委员会GydF4y2Ba

鹏:GydF4y2Ba

接收算子特性GydF4y2Ba

T-SNE:GydF4y2Ba

t分布随机邻居嵌入GydF4y2Ba

WHO:GydF4y2Ba

世界卫生组织GydF4y2Ba

WSI:GydF4y2Ba

整个幻灯片GydF4y2Ba

参考GydF4y2Ba

  1. 1.GydF4y2Ba

    朱利安,扎德,阿尔达佩,迪亚曼迪斯。精确组织学:深入学习如何为个性化癌症护理重新激活组织形态学。npj Precis。Oncol[互联网]。2017年[引用2017年8月29日];1.可从以下网址获得:GydF4y2Bahttps://www.nature.com/articles/s41698-017-0022-1.pdfGydF4y2Ba

  2. 2.GydF4y2Ba

    Liu Y, Gadepalli K, Norouzi M, Dahl GE, Kohlberger T, Boyko A, et al.。在十亿像素病理图像中检测癌症转移。可以从:GydF4y2Bahttp://arxiv.org/abs/1703.02442GydF4y2Ba

  3. 3.GydF4y2Ba

    Litjens G, Sánchez CI, Timofeeva N, Hermsen M, Nagtegaal I, Kovacs I, et al.;深度学习作为一种提高组织病理学诊断准确性和效率的工具。科学。众议员(互联网)。2016; 6:26286。可以从:GydF4y2Bahttp://www.nature.com/articles/srep26286GydF4y2Ba.GydF4y2Ba

  4. 4.GydF4y2Ba

    吉布尼E.谷歌AI算法大师围棋的古老的游戏。自然(互联网)。2016 [引用的2017年2月26日]; 529:445-6。可以从:GydF4y2Bahttp://www.ncbi.nlm.nih.gov/pubmed/26819021.GydF4y2Ba

  5. 5.GydF4y2Ba

    Silver D,Huang A,Maddison CJ,Guez A,Sifre L,Van Den Driessche G,等。掌握与深神经网络和树搜索的游戏。自然(互联网)。2016年[2017年2月26日]; 529:484-9。可以从:GydF4y2Bahttp://www.nature.com/doifinder/10.1038/nature16961GydF4y2Ba.GydF4y2Ba

  6. 6.GydF4y2Ba

    引用本文Esteva A, Kuprel B, Novoa RA, Ko J, Swetter SM, Blau HM,等。深度神经网络在皮肤科医生级别皮肤癌分类中的应用。自然(互联网)。2017 [cited 2017 Feb 26]; 542:115-8。可以从:GydF4y2Bahttp://www.ncbi.nlm.nih.gov/pubmed/28117445.GydF4y2Ba.GydF4y2Ba

  7. 7。GydF4y2Ba

    宇K-H,张C,贝瑞GJ,奥特曼RB,RE C,鲁宾DL等。预测通过完全自动化显微病理学图像特征的非小细胞肺癌的预后。NAT。安排。[互联网]。2016; 7:12474。可以从:GydF4y2Bahttp://www.nature.com/doifinder/10.1038/ncomms12474GydF4y2Ba.GydF4y2Ba

  8. 8。GydF4y2Ba

    王H,克鲁兹-罗亚A,Basavanhally A,吉尔摩H,施N,费尔德曼M等人。有丝分裂检测乳腺癌的病理图像通过组合手工和卷积神经网络的特点。J.Med。成像[互联网]。2014; 1:34003。可以从:GydF4y2Bahttp://medicalimaging.spiedigitallibrary.org/article.aspx?doi=10.1117/1.jmi.1.3.034003GydF4y2Ba.GydF4y2Ba

  9. 9。GydF4y2Ba

    Barker J,Hoogi A,Depeursinge A,Rubin DL。利用本地代表瓷砖自动分类脑肿瘤类型的脑肿瘤类型。Med。图像肛门。[互联网]。2016; 30:60-71。可以从:GydF4y2Bahttp://linkinghub.elsevier.com/retrieve/pii/S1361841515001838GydF4y2Ba

  10. 10.GydF4y2Ba

    徐Y,贾Z,王L-B,艾Y,张楼,赖M等人。大型组织病理学图像分类,分割,并可视化通过深卷积激活特征。欧宝娱乐合法吗BMC生物信息学[互联网]。2017; 18:281。可以从:GydF4y2Ba//www.christinemj.com/articles/10.1186/s12859-017-1685-x.GydF4y2Ba

  11. 11.GydF4y2Ba

    Van der Maaten L,Hinton G.使用T-SNE可视化数据。J. Mach。学习。res。[互联网]。2008; 9:2579-605。可以从:GydF4y2Bahttp://www.jmlr.org/papers/volume9/vandermaaten08a/vandermaaten08a.pdfGydF4y2Ba

  12. 12.GydF4y2Ba

    Jamieson Ar,Giger Ml,Drukker K,李H,袁Y,锦山N.探索非线性特征空间尺寸减少和乳房CADX中的数据表示与拉普拉斯特征和T-SNE。Med。物理。[互联网]。美国医学院的物理学协会;2009; 37:339-51。可以从:GydF4y2Bahttp://doi.wiley.com/10.1118/1.3267037GydF4y2Ba

  13. 13.GydF4y2Ba

    Wallach I,Lilien R.蛋白质 - 小分子数据库,一种非冗余的结构资源,用于分析蛋白质 - 配体结合。生物信息学[互联网]。2009; 25:615-20。可以从:GydF4y2Bahttp://www.ncbi.nlm.nih.gov/pubmed/19153135.GydF4y2Ba

  14. 14.GydF4y2Ba

    Birjandtalab J,Pouyan MB,Nourani M。基于EEG的癫痫发作检测的非线性降维。2016年IEEE-EMBS国际生物化学会议。治愈信息学[互联网]。IEEE;2016年[引用日期2017年9月11日]。P595–8。可从以下网址获得:GydF4y2Bahttp://ieeexplore.ieee.org/document/7455968/GydF4y2Ba.GydF4y2Ba

  15. 15.GydF4y2Ba

    Louis DN,Perry A,Reifenberger G,Von Deimling A,Figalella-Branger D,Cavenee WK等人。中枢神经系统肿瘤的2016年世界卫生组织的分类:一个总结。Acta神经疗法醇。2016; 131(6):803-20。GydF4y2Ba

  16. 16.GydF4y2Ba

    Ostrom Qt,Gittleman H,Liao P,Rouse C,Chen Y,Dowling J等人。CBTrus统计报告:2007 - 2011年在美国诊断出的原发性大脑和中枢神经系统肿瘤。神经肿瘤学。2014; 16(4):IV1-63。GydF4y2Ba

    文章GydF4y2BaPubMedGydF4y2Bapmed中央GydF4y2Ba谷歌学术GydF4y2Ba

  17. 17。GydF4y2Ba

    基于卷积神经网络的图像识别。可以从:GydF4y2Bahttp://arxiv.org/abs/1409.1556GydF4y2Ba

  18. 18。GydF4y2Ba

    Liu Y, Gadepalli K, Norouzi M, Dahl GE, Kohlberger T, Boyko A, et al.。在十亿像素病理图像上检测癌症转移。2017;GydF4y2Ba

    谷歌学术GydF4y2Ba

  19. 19。GydF4y2Ba

    Nakhleh RE。患者安全和减少错误的外科病理学。Arch Pathol Lab Med。2008; 132:切换器181-5。GydF4y2Ba

    PubMedGydF4y2Ba谷歌学术GydF4y2Ba

  20. 20。GydF4y2Ba

    Nakhleh RE。信息学对患者安全和质量保证的作用。Surg Pathol Clin。2015; 8:301-7。GydF4y2Ba

    文章GydF4y2BaPubMedGydF4y2Ba谷歌学术GydF4y2Ba

  21. 21.GydF4y2Ba

    兰德格雷布TCW,杜恩RPW。通过两两分析近似多类ROC。2007年。可从以下网址获得:GydF4y2Bahttps://www.sciencedirect.com/science/article/pii/S016786550700150XGydF4y2Ba

  22. 22.GydF4y2Ba

    Rauber Pe,Fadel SG,Falcao Ax,Telea Ac。可视化人工神经网络的隐藏活动。IEEE Trans。vis。计算。图形。[互联网]。2017; 23:101-10。可以从:GydF4y2Bahttp://ieeexplore.ieee.org/document/7539329/GydF4y2Ba

下载参考GydF4y2Ba

确认GydF4y2Ba

我们承认NVIDIA公司的支持与捐赠用于本研究的Titan XP GPU。GydF4y2Ba

资金GydF4y2Ba

加州大学洛杉矶分校是由加拿大脑瘤基金会的Richard Motyka脑瘤研究基金支持的。P.D.由玛格丽特公主癌症中心和基金会、大学健康网络病理部门、加拿大脑瘤基金会研究基金和亚当·库尔斯研究基金支持。这些资助机构在研究的设计、数据的收集和解释以及/或手稿的撰写中没有发挥任何作用。GydF4y2Ba

可用性数据和材料GydF4y2Ba

在我们的研究中所使用的训练图像数据集和WSI测试案例可供下载的Zenodo库(GydF4y2Bahttps://zenodo.org/GydF4y2Ba,数字对象标识符:培训集:GydF4y2Bahttps://doi.org/10.5281/zenodo.1237976GydF4y2Ba测试组:GydF4y2Bahttps://doi.org/10.5281/zenodo.1238084GydF4y2Ba).GydF4y2Ba

作者信息GydF4y2Ba

从属关系GydF4y2Ba

作者GydF4y2Ba

贡献GydF4y2Ba

UD,ZV和PD构建了这个想法和监督项目。QX和PD开发了培训方法和图像队列。KF,KG和DH开发了计算方法,自动化工作流程和可视化工具。UD,KF和PD开发了基于T-SNE的分类方法,生成了这些数字并写了稿件。所有作者都阅读并批准了稿件的最终版本。GydF4y2Ba

相应的作者GydF4y2Ba

对应于GydF4y2Ba菲迪亚Diamandis.GydF4y2Ba.GydF4y2Ba

道德声明GydF4y2Ba

伦理批准和同意参与GydF4y2Ba

在大学健康网络研究伦理委员会审查和批准了这项研究(ID:UHN17-5387.1)。GydF4y2Ba

相互竞争的利益GydF4y2Ba

提交人声明他们没有竞争利益。GydF4y2Ba

附加文件GydF4y2Ba

额外的文件1GydF4y2Ba

表S1。GydF4y2Ba用于开发CNN训练数据集的组织类型和图像的分布。(PDF 153 KB)GydF4y2Ba

额外的文件2GydF4y2Ba

图S1-S4。GydF4y2Ba在整个稿件中引用的其他数据数字。(PDF 2768 KB)GydF4y2Ba

权利和权限GydF4y2Ba

开放获取GydF4y2Ba本文根据创意公约署署署的条款分发了4.0国际许可证(GydF4y2Bahttp://creativecommons.org/licenses/by/4.0/GydF4y2Ba),允许在任何媒体中不受限制地使用、分发和复制,前提是您给予原作者和来源适当的信任,提供到知识共享许可证的链接,并说明是否进行了更改。知识共享公共领域奉献豁免(GydF4y2Bahttp://creativecommons.org/publicdomain/zero/1.0/GydF4y2Ba)除非另有说明,否则适用于本文中提供的数据。GydF4y2Ba

重印和权限GydF4y2Ba

关于这篇文章GydF4y2Ba

通过Crossmark验证货币和真实性GydF4y2Ba

引用这篇文章GydF4y2Ba

Faust,K.,谢,Q.,汉,D。GydF4y2Ba等等。GydF4y2Ba使用非线性特征空间维度降低可视化组织病理学深度学习分类和异常检测。GydF4y2Ba欧宝娱乐合法吗19,GydF4y2Ba173(2018)。https://doi.org/10.1186/s12859-018-2184-4GydF4y2Ba

下载引文GydF4y2Ba

关键词GydF4y2Ba

  • 数字病理学GydF4y2Ba
  • 深度学习GydF4y2Ba
  • 卷积神经网络GydF4y2Ba
  • t-SNEGydF4y2Ba
  • 诊断GydF4y2Ba
  • 神经病理学GydF4y2Ba
  • 癌症GydF4y2Ba
  • 胶质母细胞瘤GydF4y2Ba
  • 人工智能GydF4y2Ba
  • 机器学习GydF4y2Ba
\GydF4y2Ba