原标题：CMU博士Nature撰文：机器学习要避开这三个“大坑”
加州TAE动力公司的职工和谷歌研究人员正在运用机器学习，对生成高能等离子体的设备进行优化
【导读】现在机器学习范畴急于求成的气氛引发了一系列问题，如论文试验不充沛、查看规范纷歧，成果偷工减料等。CMU博士、谷歌研究员Patrick Riley在Nature上撰文，结合自身阅历，指出了在机器学习开发中需求避开的三个“大坑”，值得开发者学习参阅。
机器学习猜测东西正在协助各个范畴的研究人员，比方发现分子的新办法、在剖析中发现纤细信号，进步医学确诊质量、提醒基本粒子的性质等。
可是，机器学习东西也或许成为问题的本源，发生误报，导致盲目试验和过错。现在的许多算法都非常杂乱，杂乱到或许现已无法逐个查看一切参数，无法切当了解输入的运转办法。跟着这些算法的运用越来越广泛，呈现误解、过错定论和“做无用功”的危险变得越来越大。
这些问题其实并不新鲜。现在不少机器学习论文未能完结满足的试验，查看规范也多有纷歧致。由于竞赛剧烈，一些研究人员会为了得到想要的成果而偷工减料，越过必要的查看环节。
尽管咱们无法猜测一切问题的呈现，但至少，研究人员在自己的范畴运用机器学习时，应该了解并把握发现和防止这些常见问题的办法和实践。
下面以笔者的亲身阅历为例，提出在Google Accelerated Science团队中运用机器学习剖析时遇到的三个首要问题。
怎么拆分数据是门学识
不恰当地拆分数据。在构建模型时，研究人员一般会将数据分为练习集和测验集。练习集担任“教授”模型，并经过模型对测验集的描绘准确程度来评价模型功用。研究人员一般会随机切割数据。但实际生活中的数据很少是随机的。数据或许存在随时刻改动的趋势——比方搜集数据的办法不同导致的改动，或许对搜集哪些信息的不同挑选而导致的改动等。
比方，在运用机器学习算法挑选新药的过程中，这些形式就躲藏在分子的数据会集，所以应战就在于，猜测某一分子是否能有用吸收到体内，减轻炎症。这个猜测由挑选分子数据开端，可是搜集数据的布景或许与机器学习模型的运用办法不同。
比方，可以先在揭露可用的一组分子上建模，然后将模型用于不同的专有分子集上。化学家的注意力常常从某些分子群转向其他分子，常常高估模型的实践体现。这或许导致过高的预期，并且在过错的分子上浪费时刻和金钱。许多人（包括我自己）都陷入了这个圈套。
换句话说，你想要处理的问题会影响对数据的拆分办法。为了调查模型猜测增加几个原子对分子的影响，测验会集的每个分子应该在练习会集参加一个不同的原子。假如你想对不同分子做出很好的猜测，那么测验会集的每个分子应该与练习会集的一切分子悉数不同。切割数据的“正确”办法或许并不显着，但细心考虑并测验多种办法可以供给更高的可靠性。
当心“躲藏变量”：一不留神就让模型失效
躲藏变量。在抱负的试验中，研究人员可以只更改自己感兴趣的变量，固定一切其他变量。在实际国际中，这种操控一般是不或许完成的。跟着时刻的推移，设备的精度会发生改动，不同批次的试剂，不同的试验次序，乃至是不同的气候，都会对成果形成改动。这种“不受操控”的变量在机器学习模型中或许是有害的。
例如，我在Google的团队一直在加州一家核聚变草创公司TAE Technologies作业，优化出产高能等离子体的试验流程。咱们建立了模型，企图了解等离子机的最佳设置。咱们在几个月的时刻里获得了等离子机数千次的运转数据。建模结束时，咱们很快乐，依据给定的设置猜测，等离子体的能量是否会很高。但很快，咱们发现的猜测成果和咱们的想象不符。
在印度马杜赖的Aravind医院进行眼科查看，医师和谷歌的研究人员正测验主动确诊由糖尿病引起的失明
当咱们再次练习模型时，将试验时刻作为仅有输入，也获得了相似的猜测才能。为什么？咱们认为咱们的第一个模型确认了时刻趋势，而不是物理现象。跟着试验的进行，有一段时刻机械运转杰出，有些时刻则没有。因而，试验的时刻可以为您供给有关发生的等离子体是否为高能量的信息。这儿的试验时刻便是“躲藏变量”。
躲藏变量也可以由于试验的规划而发生。比方咱们的团队正在进行的一个合作项目是对显微镜图画进行“解说”。这些图画包括在试验板上的生物试验阵列，一般是包括细胞和液体的孔的网格。咱们的方针是找到具有某些特定特征的孔，比方经化学处理后细胞外观的一些改动。但生物的多样性自身就让每个试验板都略有差异。在一块板上也或许存在差异。坐落板边际的液滴与中心部分的不同，比方边际部分的液体蒸腾更激烈，或许板自身或许呈现歪斜，这些都会导致成果的差异。
机器学习算法可以轻松把握这些人们未意识到的改动。比方模型或许仅仅担任确认哪些液滴坐落板的边际。查看是否呈现这种“躲藏变量”的一种简略办法是让模型猜测其他方针，比方液滴在板上的方位，坐落哪块板上，显微镜图画来自哪个批次。假如模型成功猜测到了，或许就需求对原本的试验成果持一份置疑。
要处理这个问题，可以运用多个机器学习模型来检测意外变量和躲藏变量。其间一个模型猜测主问题——比方等离子是高能仍是低能状况、细胞是健康仍是患病，而用其他模型扫除稠浊要素。假如后者的猜测成果很强，或许就需求对数据进行规范化处理、进行进一步试验，或预备批改之前的试验定论。
认不清真实的方针：“丢失函数”不是万灵药
认不清方针。机器学习算法要求研究人员指定一个“丢失函数”，由它决议各种过错的严峻程度。现在人们倾向于运用更小的函数集，这些函数往往无法捕捉研究人员真实关怀的内容。
比方咱们一直在运用机器学习来辅佐求解偏微分方程。这些方程在流体力学、电磁学、材料科学、天体物理学和经济建模中都很常见。
咱们从一个方程开端描绘水波怎么在一个维度上传达。该算法的使命是重复猜测当时过程的下一个时刻步长。咱们运用两种略微不同的练习模型。从丢失函数来看，这两个模型相同好。可是实践上，一个彻底不能用，而另一个发生了挨近希望的成果。
为什么？由于操控学习的丢失函数只考虑下一步的过错，而不能丈量多步的处理方案的有用性，而咱们真实想要的恰恰是后者。
在运用机器学习对糖尿病视网膜病变的机器筛查使命中，也呈现了不同的方针。关于这种病，假如从眼睛后部的图画中提前检测到，就可以有用医治。当咱们搜集数据，并让眼科医师依据图画供给确诊时，会让机器学习东西猜测眼科医师会说些什么。成果呈现了两个问题。
首要，眼科医师们常常在确诊定见上无法达到共同。因而咱们意识到，不能将模型建立在单一猜测上。相同也不能运用“少量服从多数”那一套，由于在医疗准确性方面，有时少量定见是正确的。第二，其实对这种单一疾病的确诊并不是咱们真实的方针。咱们原本应该问的是：“这位患者应该去看医师吗？”因而，需求将猜测方针从单一疾病的确诊扩展到多种疾病。
机器学习从业者很简单把握数据和标签明晰的“显着”方针。但或许在算法的设置上没能处理正确的问题。有必要紧记总体方针，不然再准确的体系处理的也是过错的问题。
未来要怎么改善？
首要，机器学习研究人员要让自己和搭档坚持更高的规范。关于一台新的试验设备，有必要充沛了解其功用，怎么校准，怎么检测过错，设备的局限性有哪些等。关于机器学习模型和算法也要如此。所谓“奇特的魔法”其实是不存在的，运用东西的人有必要要了解这些东西。
其次，关于不同的学科，需求拟定清晰的规范。恰当的操控，健全性查看和过错丈量将因不同范畴而异，这些都需求清楚地阐明，以便研究人员、审稿人和期刊修改可以鼓舞良性的科学行为。
第三，关于机器学习科学教育需求包括这些更广泛的问题。尽管现在现已有一些资源，但咱们还需求做更多作业。笔者地点的团队常常教授算法和东西，但学生需求更多地了解怎么运用他们的算法，并对算法自身坚持恰当的质疑。
现在，算力、数据和算法的聚集正迸发出巨大的合力，在机器学习的加持下，为更多的新发现发明了巨大的时机。作为科学共同体的一员，咱们有职责保证可以最充沛、高效地将这个时机运用好。
原文链接：
https:///articles/d41586-019-02307-y
修改 ∑Gemini
来历：新智元
职责修改：
