MSCL-SwinUNet:多维跨层注意力机制,破解 MRI 影像分割的“细节难题”
Multi-scheme cross-level attention embedded U-shape transformer for MRI semantic segmentation
本文提出了 MSCL-SwinUNet,一种针对 MRI 医学图像分割增强的 U 型 Transformer 架构。该方法通过引入空间、通道和尺度三维度的跨层注意力机制,显著提升了模型对解剖细节的捕捉能力,在 ACDC 和 MM-WHS 等多个数据集上刷新了 SOTA 战绩。
TL;DR
医学影像分割领域一直面临着“全局关系”与“局部细节”难以兼顾的权衡。本文提出的 MSCL-SwinUNet 通过对传统 SwinUNet 进行深度重构,引入了空间、通道和尺度三种维度的跨层注意力嵌入范式,不仅解决了 MRI 图像中常见的边界模糊问题,更在 ACDC、MM-WHS 等国际主流榜单上实现了对现有 SOTA(如 MAXFormer)的超越。
背景定位:从通用到专用的跨越
虽然 Transformer 已经在学术界大放异彩,但在临床 MRI 诊断中,医生不仅需要模型知道器官在哪里(全局定位),更需要精准确定病变边缘(局部精度)。现有的模型往往将自注意力模块作为通用组件直接插入,忽略了 MRI 数据特有的同质性和噪声分布。MSCL-SwinUNet 的核心贡献在于将注意力机制转化为一种MRI 特定的特征对齐策略。
痛点深挖:消失在 Skip-Connection 中的细节
传统的 U-Net 系列模型喜欢用 Skip-Connection 将编码器的特征直接拼接到解码器。但在 MRI 图像中:
- 语义不一致:编码器捕获的是低级纹理,解码器需要的是高级语义,直接强行融合会引入噪声。
- 边界模糊:组织间的低对比度导致简单的拼接无法还原真实的解剖边界。
- 通道冗余:特征图中存在大量与分割任务无关的信息干扰推理。
核心方法论:三位一体的注意力范式
为了解决上述痛点,作者对网络架构进行了精密的“手术式”改进,其核心架构如下图所示:

1. 跨层空间注意力 (SW-Attention) —— 取代原始 Skip-Connection
不再是简单的 Copy-and-Paste。SW-Attention 通过计算编码器与解码器特征图之间的空间掩码(Spatial Mask),实现像素级的语义对齐。它能像滤镜一样,只允许与目标结构相关的空间信息通过,从而让模型在解码阶段能够精准复原解剖边缘。
2. 跨阶段通道注意力 (CW-Attention)
在解码器的相邻阶段之间,作者插入了 CW-Attention。它包含“通道选择”和“通道关联”两个子模块,能够抑制冗余的噪声通道,并增强对分割高度敏感的特征通道,显著提升了模型对心肌、血池等相似组织的区分度。
3. 多阶段尺度注意力 (ScaleW-Attention)
MRI 影像中目标大小差异巨大。ScaleW-Attention 采用集成学习(Ensemble Learning)的思想,将不同阶段、不同分辨率的预测图进行加权融合。其工作原理如下:

实验战绩:全方位的性能压制
在 ACDC(心脏 MRI)竞赛数据集中,MSCL-SwinUNet 在心肌(MYO)和右心室(RV)分割上表现尤为出色。
| 方法 | Mean DSC (%) | 参数量 (M) | FLOPs (G) |
|---|---|---|---|
| SwinUNet (Baseline) | 90.00 | 59.02 | 45.02 |
| MSCL-SwinUNet (Ours) | 92.33 | 61.97 | 51.78 |
消融实验 (Ablation Study) 表明,三种注意力模块的有机结合(SW + CW + ScaleW)表现出的协同效应(Synergy Effect)远超单一模块的增益:

深度洞察:可视化证据
从可视化结果看,MSCL-SwinUNet 生成的边缘远比 SwinUNet 平滑且贴合 Ground Truth。其最大的价值在于可解释性的增强,注意力图(Attention Map)清晰地显示出模型在决策时主动关注了组织的解剖边界,而非被背景噪声误导。
总结与未来
MSCL-SwinUNet 证明了通过精细化的跨层注意力设计,可以显著弥补 Transformer 在医学局部细节处理上的不足。尽管目前的计算开销略有增加,但作者指出,未来通过引入轻量化 Transformer(如 MobileViT)作为骨干网络,或采用知识蒸馏(Knowledge Distillation)技术,该模型有望在实时临床诊断设备中得到广泛应用。
这项研究为医疗影像专用 AI 提供了新的思路:不要迷信通用的架构模型,要根据临床影像的物理特性(Modality Physics)去定制特征对齐机制。
