马萨诸塞州剑桥市 - 麻省理工学院的研究人员设计了一种新方法，用于从用于训练机器学习模型的图像中收集更多信息，包括那些可以分析医学扫描以帮助诊断和治疗大脑状况的模型。

医学领域一个活跃的新领域涉及培训深度学习模型，以检测与神经系统疾病和疾病相关的脑部扫描结构模式，如阿尔茨海默病和多发性硬化症。但是收集训练数据是费力的：每次扫描中的所有解剖结构必须单独概述或由神经学专家手工标记。并且，在某些情况下，例如儿童罕见的大脑状况，首先只能进行少量扫描。

在最近的计算机视觉和模式识别会议上发表的一篇论文中，麻省理工学院的研究人员描述了一个系统，该系统使用单个标记扫描以及未标记的扫描，自动合成不同训练样例的大量数据集。数据集可用于更好地训练机器学习模型以在新扫描中找到解剖结构 - 训练数据越多，预测越好。

这项工作的关键是自动生成“图像分割”过程的数据，该过程将图像划分为更有意义且更易于分析的像素区域。为此，该系统使用卷积神经网络(CNN)，这是一种机器学习模型，它已成为图像处理任务的动力。该网络分析来自不同患者和不同设备的大量未标记扫描，以“学习”解剖学，亮度和对比度变化。然后，它将这些学习变化的随机组合应用于单个标记扫描，以合成既逼真又准确标记的新扫描。然后将这些新合成的扫描输入到不同的CNN中，该CNN学习如何分割新图像。

“我们希望在没有大量训练数据的现实情况下，这将使图像分割更容易获得，”第一作者Amy Zhao说，他是电气工程和计算机科学系(EECS)的研究生，计算机科学与人工智能实验室(CSAIL)。“在我们的方法中，您可以学习模仿未标记扫描的变化，以智能地合成大型数据集来训练您的网络。”

例如，有兴趣使用该系统帮助在马萨诸塞州综合医院培训预测分析模型，赵说，在儿童患者中，只有一两个标记的扫描可能存在特别罕见的大脑状况。

在报纸上加入赵是：EECS和CSAIL的博士后Guha Balakrishnan;EECS教授Fredo Durand和John Guttag，以及资深作家Adrian Dalca，他也是哈佛医学院放射学的教员。

系统背后的“魔术”

虽然现在已经应用于医学成像，但该系统实际上已经开始作为综合智能手机应用程序的训练数据的手段，该应用程序可以从流行的可收集纸牌游戏“魔术：聚会”中识别和检索关于卡的信息。在20世纪90年代早期发布的“Magic”拥有超过20,000张独特的卡片 - 每隔几个月发布更多 - 玩家可以使用它们来制作定制游戏牌。

赵，一个狂热的“魔术”玩家，想要开发一个CNN驱动的应用程序，用智能手机相机拍摄任何卡的照片，并自动从在线卡数据库中提取价格和评级等信息。“当我从游戏商店挑选卡片时，我厌倦了将所有名字输入我的手机并查看评级和组合，”赵说。“如果我能用手机扫描它们并提取这些信息，那会不会很棒?”

但她意识到这是一项非常艰难的计算机视觉训练任务。“你需要在所有不同的照明条件和角度下拍摄所有20,000张卡片的照片。没有人会收集该数据集，”赵说。

相反，赵在CNN上训练了大约200张卡片的小型数据集，每张卡片有10张不同的照片，以学习如何将卡片变成不同的位置。它计算了不同的光照，角度和反射 - 当卡片被放置在塑料套管中时 - 计算出数据集中任何卡片的真实扭曲版本。这是一个激动人心的激情项目，赵说：“但我们意识到这种方法非常适合医学图像，因为这种类型的翘曲非常适合MRI。”