对医学图像中感兴趣区域进行标注（称为分割）通常是临床研究人员在开展涉及生物医学图像的新研究时采取的首要步骤之一。

例如，为了确定大脑海马体的大小如何随患者年龄增长而变化，科学家首先需要在一系列脑部扫描图像中勾勒出每个海马体的轮廓。对于许多结构和图像类型而言，这通常是一个手动过程，可能非常耗时，尤其是在研究区域难以界定的情况下。

为了简化流程，麻省理工学院的研究人员开发了一种基于人工智能的系统，该系统使研究人员能够通过在图像上点击、涂鸦和绘制方框来快速分割新的生物医学成像数据集。这种新的人工智能模型利用这些交互操作来预测分割结果。

随着用户标记更多图像，他们需要执行的操作次数会减少，最终降至零。此时，模型无需用户输入即可准确分割每张新图像。

之所以能够做到这一点，是因为该模型的架构经过专门设计，可以利用已分割图像的信息进行新的预测。

与其他医学图像分割模型不同，该系统允许用户分割整个数据集，而无需对每张图像重复工作。

此外，该交互式工具无需预先分割的图像数据集进行训练，因此用户无需具备机器学习方面的专业知识或大量的计算资源。他们无需重新训练模型即可将该系统用于新的分割任务。

从长远来看，该工具可以加速新疗法的研究，降低临床试验和医学研究的成本。医生还可以利用它来提高临床应用（例如放射治疗计划）的效率。

“许多科学家可能每天只有时间对几张图像进行分割以用于研究，因为手动图像分割非常耗时。我们希望这个系统能够促进新的科学发展，使临床研究人员能够开展以前由于缺乏高效工具而无法进行的研究，”电气工程和计算机科学研究生、该新工具论文的第一作者 Hallee Wong 说。

这篇论文的合著者包括：2024届博士毕业生何塞·哈维尔·冈萨雷斯·奥尔蒂斯（Jose Javier Gonzalez Ortiz）；杜格尔德·C·杰克逊计算机科学与电气工程教授约翰·古塔格（John Guttag）；以及资深作者、哈佛医学院和麻省总医院助理教授、麻省理工学院计算机科学与人工智能实验室（CSAIL）研究科学家阿德里安·达尔卡（Adrian Dalca）。该研究成果将在国际计算机视觉会议上发表。

简化细分

研究人员主要采用两种方法来分割新的医学图像集。交互式分割法是将图像输入人工智能系统，并通过界面标记感兴趣的区域。模型会根据这些交互操作预测分割结果。

麻省理工学院的研究人员之前开发的ScribblePrompt工具 允许用户执行此操作，但他们必须对每张新图像重复此过程。

另一种方法是开发特定任务的AI模型来自动分割图像。这种方法需要用户手动分割数百张图像以创建数据集，然后训练机器学习模型。该模型可以预测新图像的分割结果。但是，用户必须为每个新任务从头开始执行复杂的基于机器学习的过程，而且如果模型出错，也无法进行纠正。

这个名为MultiverSeg 的新系统 融合了各种方法的优点。它不仅能根据用户交互（例如涂鸦）预测新图像的分割结果，还能将每个分割后的图像保存在一个上下文集中，以便后续引用。

当用户上传新图像并标记感兴趣的区域时，该模型会利用其上下文集中的示例进行更准确的预测，从而减少用户输入。

研究人员设计的模型架构可以使用任意大小的上下文集，因此用户无需拥有特定数量的图像。这使得 MultiverSeg 能够灵活地应用于各种场景。

Wong表示：“在很多情况下，你不需要提供任何交互。如果上下文集中有足够多的例子，模型就可以自行准确预测分割结果。”

研究人员精心设计并使用各种生物医学成像数据对模型进行训练，以确保该模型能够根据用户输入逐步改进其预测结果。

用户无需针对自身数据重新训练或定制模型。要将 MultiverSeg 用于新任务，用户只需上传一张新的医学图像并开始标记即可。

当研究人员将 MultiverSeg 与最先进的上下文交互式图像分割工具进行比较时，它的表现优于每个基线工具。

点击次数越少，效果越好

与其他工具不同，MultiverSeg 对每张图像的用户输入更少。到第九张新图像时，用户只需点击两次即可生成比专门为此任务设计的模型更精确的分割结果。

对于某些图像类型，例如 X 光片，用户可能只需要手动分割一两张图像，模型就能变得足够准确，从而能够自行进行预测。

该工具的交互性还允许用户修正模型的预测结果，反复迭代直至达到所需的准确度。与研究人员之前的系统相比，MultiverSeg 仅需大约三分之二的笔画数量和四分之三的点击次数，即可达到 90% 的准确率。

“借助 MultiverSeg，用户可以随时提供更多交互来完善 AI 预测。这仍然能显著加快流程，因为纠正已有的错误通常比从头开始要快得多，”Wong 说。

接下来，研究人员希望与临床合作者在实际应用场景中测试该工具，并根据用户反馈进行改进。他们还希望使 MultiverSeg 能够分割 3D 生物医学图像。

这项工作部分由广达计算机公司和美国国立卫生研究院资助，硬件支持来自马萨诸塞州生命科学中心。

原文链接： https://news.mit.edu/2025/new-ai-system-could-accelerate-clinical-research-0925?utm_source=chatgpt.com