type
Post
status
Published
date
Jun 8, 2026
slug
wsi-multi-resolution-foundation-model
summary
病理大模型多固定于单一倍率预训练，却忽视了 WSI 天然的多尺度特性。本文将倍率差异重新定义为结构化域迁移问题，梳理现有应对路径的局限，并提出以持续学习机制实现倍率适配的新研究视角。
tags
MIL
continual learning
pathology
category
技术分享
icon
password
在传统 WSI（Whole Slide Image）分类任务中，我们通常默认一个相对固定的流程：先在某个倍率下切分 patch，例如 20×，再利用预训练 encoder 提取 patch 特征，最后通过 MIL 或 Transformer 聚合得到 slide-level 预测。这个范式已经非常成熟，UNI、CONCH、Phikon、Virchow、Prov-GigaPath 等模型都可以作为强大的特征提取器使用。
但如果从病理诊断本身出发，单一倍率其实并不是最自然的设定。病理医生阅片时通常会先在低倍率下观察组织结构、肿瘤边界、腺体分布、坏死区域和浸润模式，再切换到高倍率观察细胞核形态、核分裂象、细胞异型性等细节。换句话说，WSI 天然具有多尺度特征：低倍率提供全局结构信息，高倍率提供局部细胞形态信息。
这就引出了一个值得关注的问题：如果一个医学大模型主要在高倍率图像上预训练，它能否可靠地迁移到低倍率或多倍率下游任务？
单倍率 pathology foundation model 的隐含假设
很多经典 pathology foundation model 本质上都是“固定倍率 patch encoder”。
例如：
- Phikon-v2 的模型说明中明确指出，其预训练数据主要来自约 4.5 亿个 20× magnification histology tiles：
- CONCH 是基于超过百万病理图像-文本配对训练的视觉语言模型，其核心目标是病理图文对齐与迁移学习：
- Prov-GigaPath 则进一步扩展到 whole-slide foundation model，通过 tile encoder 与 slide encoder 联合建模 WSI：
这类模型通常隐含一个假设：训练分布与测试分布在倍率上基本一致。
也就是说，如果模型主要在 20× patch 上学习到“细胞核形态 + 局部组织纹理”的表示，那么下游任务最好也提供相似尺度的输入。
然而在真实场景中，这个假设经常被打破。
低倍率图像中，一个 patch 覆盖更大的组织区域，细胞细节被压缩；高倍率图像则拥有更丰富的细胞级信息，但上下文范围更小。即使最终都被 resize 到相同输入尺寸，它们所承载的信息密度和语义层级也完全不同。因此，倍率变化更接近一种 domain shift，而不仅仅是普通的数据增强。
为什么多分辨率 WSI 不是简单“多切几种 patch”
直觉上，多分辨率似乎很好解决：5×、10×、20×、40× 都切一遍，然后把所有 patch 输入模型即可。
但实际情况远比这复杂。
首先，不同倍率下的 patch 语义并不一致。20× patch 可能对应一个细胞团，而 5× patch 可能覆盖整个组织区域。它们并不是同一个对象的不同清晰度版本，而是不同层级的病理证据。
其次，不同任务依赖的信息尺度不同。组织分型、肿瘤区域检测、坏死比例评估等任务往往更依赖低倍率结构信息；而核分裂象检测、细胞异型性分析等任务则更依赖高倍率细节。
第三，多倍率会显著增加计算成本。如果每张 WSI 同时抽取多个倍率的 patch，token 数量和存储开销都会快速增长。
因此，多分辨率 WSI 的核心问题并不是“多切几种 patch”，而是如何让模型在不同倍率之间获得一致、互补且可迁移的表示。
现有路线一：直接混合倍率预训练
目前最直接的路线是 mixed magnification pretraining，即在预训练阶段直接混合多个倍率的数据。
Virchow2 是这一方向的代表性工作之一。该模型在超过 300 万张 WSI 上进行训练，并显式采用 mixed magnification 策略，希望获得更具尺度鲁棒性的病理表示：
类似地，Kaiko 发布的大规模 pathology foundation model 研究也系统分析了倍率选择对于预训练效果的影响：
这些研究普遍表明，20× 往往是一个非常强的默认倍率，但混合多个倍率训练能够提升模型的泛化能力，使其获得更接近 magnification-agnostic 的表示。
不过，这类方法通常依赖海量 WSI 数据和高昂的训练成本，本质上是在重新训练一个更强的基础模型。
现有路线二：多尺度聚合，而不是改造 encoder
另一类方法并不重新训练 encoder，而是在 WSI 聚合阶段利用多个尺度的信息。
例如 Cross-Scale MIL 显式建模不同尺度 patch 之间的关系，将低倍率的组织结构信息与高倍率的细胞细节融合到统一框架中：
这种路线对于下游任务非常友好，因为它能够直接利用现有 foundation model 提取特征，再通过多尺度聚合完成分类。
但其局限也很明显：如果底层 encoder 本身是在单倍率数据上训练得到的，那么不同倍率特征空间未必天然对齐。聚合模块不仅要学习分类规则，还要学习跨倍率映射关系，这在小样本场景下并不容易。
现有路线三：跨倍率蒸馏
除了混合倍率预训练和多尺度聚合之外，还有研究尝试通过知识蒸馏实现跨倍率迁移。
XMAG 提出了 Cross-Magnification Distillation 框架，利用高倍率 teacher 模型指导低倍率 student 模型学习，希望在减少 patch 数量和计算成本的同时保持性能：
这一方向具有很强的实际价值，因为低倍率推理能够显著降低计算开销。
但从研究角度来看，它仍然属于重新训练新模型的范式，对于数据量有限的下游场景而言，成本依然不低。
一个更细的问题：倍率不是离散标签，而是连续域
很多工作默认使用几个固定倍率，例如 5×、10×、20×、40×。
然而真实世界中的扫描仪、下采样策略以及不同医院的数据来源，并不一定严格对应这些标准倍率。
近期工作《Mind the Gap: Continuous Magnification Sampling for Pathology Foundation Models》指出，离散倍率训练会在倍率空间中形成“空白区域”，导致模型在未见过的倍率上性能下降：
该工作将倍率变化视为一种连续域迁移问题（continuous domain shift），并提出连续倍率采样策略提升模型的尺度泛化能力。
这一观察非常重要，因为它说明倍率问题并不仅仅是几个离散尺度之间的迁移，而更像是在连续尺度空间中的泛化问题。
一个值得关注的持续学习视角
如果回顾上述研究路线，可以发现一个共同特点：
现有方法大多依赖大规模混合倍率预训练、跨倍率蒸馏，或者在聚合层面融合多尺度信息。
但现实中更常见的情况是：
我们已经拥有一个性能很强的高倍率 pathology foundation model，例如 UNI、CONCH、Phikon、Virchow 或 Prov-GigaPath；随后遇到一个新的低倍率或多倍率任务，而可用数据规模可能只有几百张 WSI。
此时，一个自然的问题出现了：
如何让模型学习新的倍率域，同时尽量保留原有倍率上的能力？
这个问题与持续学习（Continual Learning）中的经典挑战非常相似。
在传统持续学习中，模型需要不断学习新任务，同时避免遗忘旧任务。而在病理场景中，“任务”可以被重新理解为“倍率域”：
- 原有知识来自高倍率数据；
- 新知识来自低倍率或多倍率数据；
- 学习新倍率后，模型可能遗忘原有倍率上的表示能力；
- 倍率变化本质上构成了一种结构化的域增量学习过程。
因此，多分辨率 WSI 不仅是一个尺度建模问题，也可能是一个持续学习问题。
从这个角度看，未来或许可以将倍率适配（magnification adaptation）重新定义为一种特殊形式的 continual learning：模型不断接触新的观察尺度，并逐步扩展自己的尺度认知能力，而不是每次都重新训练一个新的模型。