医学影像智能与机器人研究中心与301医院肝胆胰外科医学部合作在机器人手术流程分析领域取得新进展

医学影像智能与机器人研究中心（MIRACLE）与中国人民解放军总医院第一医学中心肝胆胰外科医学部（301医院肝胆胰外科医学部）深度合作，探索了利用神经网络学习层次化手术流程解释模型的机制，验证了多粒度手术流程自动化识别的可行性，提出改善手术流程识别效率的新方法，该探索性研究为全自动化机器人手术的实现提供了理论支撑和实践指导。该成果以“Multi-level effective surgical workflow recognition in robotic left lateral sectionectomy with deep learning: Experimental research”为题发表在国际手术研究期刊《International Journal Of Surgery》上。医学影像智能与机器人研究中心主任周少华教授与301医院肝胆胰外科医学部主任刘荣为共同通讯作者，医学影像智能与机器人研究中心特任副研究员赵上与301肝胆胰外科医学部柳俨哲医生为共同第一作者。

在本研究中，研究团队利用临床知识定义了肝左外叶手术的多层次多粒度的手术解释模型，构建了基于CNN+GNN复合深度神经网络的自动化手术流程识别模型，实现了从步骤、任务到动作的三种不同粒度的手术过程识别反馈。手术过程中并非所有操作画面都是有临床意义的有效帧，本研究实验中首次发现非有效帧存在繁复多样场景内容和行为模式对神经网络特征学习的量化影响，并通过人工智能算法实现了非有效帧识别，准确度可达到0.85。在剔除非有效帧后自动化模型在步骤、任务、动作三种粒度流程的识别准确度达到0.96, 0.88, 0.82。此研究为促进机器人自动化手术技术的实现提供了新的帮助。

“层次化手术流程预测结果示例”

医学影像智能与机器人研究中心（MIRACLE）是周少华教授创建和领导的聚焦医疗影像设备、医疗机器人和医疗影像分析计算等学科方向的科研机构。近年来，MIRACLE团队与301医院肝胆胰外科医学部刘荣主任团队深入合作，从临床和技术等多维度共同探究建立手术全流程定量化机制，致力于深度优化手术治疗全流程，定量化手术术前规划，标准化手术流程，精准化预后评估，最终实现手术流程全自动化的“无人手术”。MIRACLE研究团队在手术场景分割、三维空间感知、手术流程分析、术前自动规划等重要研究方向上已与301医院肝胆胰外科医学部开展了持续且广泛的合作。

文章链接：https://pubmed.ncbi.nlm.nih.gov/37318860/

作者简介：

周少华，中国科学技术大学生物医学工程学院执行院长、中国科学技术大学苏州高等研究院医学影像智能与机器人研究中心（MIRACLE）主任;中国科学技术大学讲席教授、博士生导师。长期致力于医学影像的研究创新、应用落地及学术服务。在医学影像领域，率先开展了“机器学习+知识模型”的系统性研究，最近明确了“大任务、小数据”的研究范式和挑战，探出了标注高效、通用学习、知识融合的三大解决途径。发表270余篇学术论文和章节，谷歌学术总引用超14000次，H因子为62；撰编学术专著8本。

更多信息，详见医学影像智能与机器人研究中心（MIRACLE）官网：http://miracle.ustc.edu.cn/

赵上，中国科学技术大学生物医学工程学院特任副研究员。2021年在美国乔治华盛顿大学获计算机科学博士学位。主要研究方向包括并不限于人工智能、混合现实、医学仿真、智能手术、三维重建等。博士期间，他作为主要贡献者参与了多个美国国家卫生研究院(NIH)和美国国家科学基金会 (NSF)项目，和美国国家儿童医院、乔治华盛顿大学医院等美国著名医疗机构进行过深度合作研究，为自动化医学技能训练与体脂相关的疾病初筛贡献了新技术方法。他在医学交叉领域的研究将科学研究与工程成果紧密结合，成果发表在IEEE VR、ISMAR、WACV等多个虚拟、增强现实、计算机视觉顶级会议上，并获得了IEEE VR 2020 best paper award。此外，他的混合现实智能医疗技能培训系统在所合作的美国国家儿童医院实际部署，用于培训新人医生和护士，有潜力改善复杂急救医疗技能的培训方式。

更多信息，详见医学影像智能与机器人研究中心（MIRACLE）官网：http://miracle.ustc.edu.cn/