近日，MIRACLE团队在在国际权威期刊《Medical Image Analysis》上发表了题为《WSISum: WSI summarization via dual-level semantic reconstruction》的最新研究成果。该工作共同第一作者为博士生王柏智和博士后张坤，颜锐副研究员和周少华教授与为共同通讯作者。该工作围绕病理全切片图像（Whole Slide Image, WSI）高效表示这一核心问题，提出了一种全新的WSI Summarization（WSI 摘要）研究范式，为大规模病理图像分析提供了兼具效率与可解释性的解决方案。

 图 1：三种 WSI 分析框架。

(a) 基于补丁选择的框架，通过随机采样、聚类或信息熵等方法选取图像补丁。(b) WSI 基础模型框架。(c) 本文提出的 WSI 摘要框架。(d) WSI 嵌入、WSI 摘要与图像补丁之间的关系示意图

  病理全切片图像通常具有超高分辨率，一张 WSI 往往包含数万个图像块（patch），其中大量区域在语义层面高度冗余。这种“高分辨率 + 高冗余”的特性，使得现有方法在计算成本、存储开销以及跨机构数据共享方面面临显著挑战。现有研究主要依赖随机采样、聚类采样等 patch 选择策略，或直接使用 WSI 级基础模型获取全局嵌入表示，但前者容易遗漏关键诊断区域，后者则在空间细节和可解释性方面存在不足。

  为解决上述问题，研究团队首次系统性地提出 WSI Summarization 这一新任务，其核心目标是在保留关键诊断信息的前提下，从整张 WSI 中选取一个高度紧凑且具有代表性的 patch 子集，用以近似原始切片的整体语义。如图1所示，作者对比了传统 patch 选择方法、WSI 基础模型方法与本文提出的WSISum框架之间的差异，系统阐明了 WSI 摘要、WSI 嵌入与原始图像块之间的概念关系。

 图2：WSISum框架总体示意图

 在方法设计上，WSISum提出了一种双层语义重建框架，如图2所示。该框架由三个核心模块组成：
（1）基于聚类的 patch 编码与候选选择模块，用于保证所选 patch 在语义空间中的多样性与覆盖性；
（2）低层 patch 语义重建模块，通过遮挡重建机制刻画 patch 之间的上下文关系，用于识别并压缩语义冗余区域；
（3）高层WSI语义重建模块，引入多个 WSI 级基础模型的全局语义信息，通过知识蒸馏方式引导摘要学习过程，使生成的 WSI 摘要在整体诊断语义上与原始切片保持一致。

图3：WSISum摘要结果可视化

表1 多个数据集的WSI摘要分析结果 

 该方法在多个公开病理数据集上进行了系统验证，包括 BRACS、TCGA-BRCA 以及 CAMELYON17，覆盖癌症分型、分子标志物预测和淋巴结转移分型等多种下游任务。实验结果表1表明，在仅保留约 2%–3% patch 数量的情况下，WSISum在多种任务中均取得了显著优于现有摘要方法的性能表现，整体预测性能可达到完整 WSI 的 93% 以上。如图3所示，与随机采样、基于位置或信息熵的摘要方法相比，WSISum所选区域在组织形态和诊断相关性上更具代表性。

 图4：基于WSISum的可追溯文本报告生成示例

  值得注意的是，WSISum在显著降低计算成本的同时，还提供了良好的可解释性。该方法直接输出被选中 patch 的原始像素内容及其在 WSI 中的空间位置，使得模型决策过程可以明确追溯到具体的病理区域。如图4所示，WSISum所生成的摘要能够稳定覆盖肿瘤相关的关键组织结构，与病理医生的诊断关注区域高度一致，为临床验证和人机协同提供了直观依据。

  该研究首次将“摘要”这一概念系统引入病理全切片图像分析领域，为后续基于摘要的病理建模、WSI 高效检索以及基础模型预训练提供了新的研究方向。相关成果不仅有助于推动计算病理学的规模化应用，也为构建高效、可信的医学人工智能系统奠定了重要基础。

问：您是如何想到开展 WSI Summarization 这一研究方向的？

答：这个想法源于我们在长期病理人工智能研究中的一个直观感受。当前很多方法要么需要处理整张 WSI，计算和存储成本非常高；要么通过简单的 patch 采样来降低开销，但往往会遗漏关键诊断区域。而在实际临床阅片过程中，病理医生通常只关注少量具有代表性的区域，而不是“看遍整张切片”。这促使我们思考，是否可以像文本摘要一样，对 WSI 进行一种语义层面的“摘要”，用尽可能少的 patch 来代表整张切片的核心信息。其实，早在2022年我们发表的一篇病理人工智能综述中，我们就首次提出并定义了“WSI 摘要”，但受限于当时的技术条件，一直未能实现理想的 WSI 摘要方法。近期，随着病理基础模型逐渐成熟，我们实现了一个满意的WSI 摘要方法。念念不忘，必有回响！！！

问：在方法设计上，您认为WSISum与以往 patch 选择方法最大的不同是什么？

答：我们认为最大的不同在于目标导向的变化。传统 patch 选择方法通常服务于某一个具体下游任务，而WSISum更关注表示本身的质量，希望得到一种任务无关、语义完整的 WSI 表示。此外，WSISum并不是简单地“挑选 patch”，而是通过语义重建的方式，让模型主动去判断哪些 patch 对整体语义是必要的，这也使得摘要过程更加系统和可解释。

问：在研究过程中，您认为最大的困难是什么？

答：最大的挑战在于如何在“压缩率”和“语义完整性”之间取得平衡。WSI 的信息分布非常复杂，如果摘要过于激进，很容易丢失关键病灶；但如果保留过多 patch，又会失去摘要的意义。为此，我们引入了双层语义重建机制，在 patch 层面建模局部上下文关系，同时在切片层面引入多个 WSI 级基础模型的全局语义约束。这个过程经历了多次尝试和调参，最终才在稳定性和泛化性上取得较好的效果。

问：您认为WSISum在实际应用中可能带来哪些价值？

答：从应用角度看，WSI Summarization 可以显著降低病理 AI 系统的计算和存储成本，这对于大规模临床部署和跨中心数据共享非常重要。每个病人都有多张全切片病理图像，我们的方法很容易扩展到病人级的WSI摘要，这将对下游任务意义重大。同时，由于WSISum保留了被选中 patch 的原始像素信息和空间位置，它在可解释性方面也更贴近病理医生的工作方式，有助于提升人机协同的可信度。