一句总结：文章提出一种名为 ECAMP 的医学视觉语言预训练框架，该框架聚焦于以医学实体为中心的上下文信息，基于医学实体统计进行掩码建模，实现了对医学视觉语言预训练（Med-VLP）的更精确监督，首次解决了医学报告中结论性语言不平衡的问题，并创新性地提出多尺度上下文融合模块以促进跨模态学习，在多类医学场景和任务中展现出显著优势，并展现出可观的泛化能力。
1. 当前视觉语言预训练的核心问题有哪些？
语言复杂性：医学报告通常包含复杂且难以理解的生物医学语言，这使得它们难以有效地用于模型的预训练。
医学报告中的不平衡性：医学报告中常见的大多数是负面诊断（如“没有肺炎”），这导致正面疾病描述的比例较低，形成了数据的不平衡。
跨模态关系的复杂性：医学报告和图像之间存在复杂的文本和视觉数据关系，需要更好的方法来建模这些跨模态关系。
实体中心的上下文缺失：现有方法常常忽视了在医学报告中理解实体（如疾病和症状）及其上下文的重要性，这对提升模型的监督效果至关重要。
描述词的忽视：当前方法没有充分关注疾病实体前面的关键描述性词语（如“轻度”，“重度”），这些词语对于理解疾病的存在与严重性至关重要。
2. 现有方法的局限性是什么？
现有方法对复杂医学报告的处理不足：尽管一些方法采用了跨模态对齐或重建策略，但仍无法完全应对医学报告的语言复杂性，导致报告中的关键信息未能被有效提取和利用，限制了模型的性能。
对描述性词语的处理不够精细：许多方法未能针对医学报告中的描述性词语（如“轻度”、“无”等）采取针对性的处理方式，未能很好地解决报告中的词汇不平衡问题。这种忽视描述词的策略使得模型难以准确理解报告中的诊断结果。
缺乏针对实体的上下文感知：虽然一些方法尝试进行跨模态学习，但大多未能深入理解医学报告中的关键实体（如疾病、症状等）及其上下文信息，导致实体的理解不足，影响了模型的预训练效果。
无法有效聚焦病变区域：一些基于图像重建的自监督学习方法没有足够关注病变区域（例如小区域的病灶），这使得模型对病变细节的理解不够深入，影响了医学图像分析的准确性。
3. 本文的创新解决方案是什么？
实体感知上下文蒸馏：通过利用大型语言模型（如ChatGPT），将医学报告中与疾病相关的实体提取并简化，提取出更精确的描述（例如“存在肺炎”、“可能存在肺炎”），帮助模型更好地理解复杂的医学报告。这种方法有效地减轻了语言复杂性问题，使模型能够获得更清晰、简洁的监督信号。
实体中心的上下文增强蒙版语言建模（MLM）：提出了一种新的蒙版语言建模策略，通过对医学报告中与疾病实体相关的描述性词语（如“无”、“轻度”）进行固定的遮掩，并加入重新平衡因子，解决了医学报告中的描述词不平衡问题。这样，模型能够更好地学习疾病的存在和严重性。
上下文引导的超分辨率：针对医学图像中病灶通常位于小区域的问题，提出了一种上下文引导的超分辨率方法。通过结合精确的实体特定注意力图，模型能够更好地聚焦于病变区域，重建图像的高分辨率特征，从而增强病变区域的表征能力。
多尺度上下文融合：提出了一种新的多尺度上下文融合模块，能够同时学习全局和局部的视觉特征。在预训练阶段，结合文本特征、局部视觉特征和全局视觉特征，增强了多任务下的表现力。该方法通过将图像信息与文本信息有效融合，提升了对多尺度任务（如分类、分割、检测）的支持。
凭借上述创新，ECAMP在多项基准测试中取得了相较于现有最先进方法的显著性能提升，并树立了跨模态预训练在医学影像领域的新标杆。大量实验证明了ECAMP在多种器官及任务中的高效性，涵盖分类、分割和检测等任务，并在 5个公开胸部X光数据集和 4个眼底数据集上均实现了领先的综合性能。
文章题目：Entity-centered Context-aware Medical Vision-Language Pre-training
原文链接：https://www.sciencedirect.com/science/article/pii/S1361841525002373
代码链接：https://github.com/ToniChopp/ECAMP
发表期刊：国际顶级学术期刊Medical Image Analysis（影响因子11.8）
作者情况：医学影像智能与机器人研究中心主任周少华教授和蒋子航特任副研究员为共同通讯作者，中国科学技术大学博士生王嵘晟为第一作者，斯坦福大学博士后研究员姚青松为共同第一作者。
单位情况：中国科学技术大学苏州高等研究院医学影像智能与机器人研究中心（MIRACLE）联合斯坦福大学与讯飞医疗研究院共同创作。
