如何做好研究：没人教过你的 8 项基本功

自己选题#

Hamming 在贝尔实验室午餐时会问旁边的人： 你们领域的重要问题是什么？那你为什么不去做？

人们开始换桌子。

大多数人不是在选题，而是在吸收问题——从导师、大实验室、热门论文那里吸收。吸收来的问题，你拥有结论但没有推理过程。你不知道他们为什么在意，不知道什么情况下他们会放弃。等他们转向了，你要过一年才发现。

Schulman 把研究分成两种模式。一种读文献找改进空间。另一种先选定你真心希望它变成现实的结果，反向推导实验。他推崇第二种。一个你真正在意的目标，会把你拽进任何综述论文覆盖不到的疆域。

品味是肌肉，不是天赋。 跑每个实验前先预测结果。遮住论文结果部分，仅凭方法猜数字。预测、修正、重复几百次——所有好模型都这么训练，包括你头脑里的那个。

升级输入#

共享的阅读清单产出共享的想法。信息食谱如果是 arXiv 热门加群聊过滤，你会和所有人同时得出相同结论——价值约等于零。

旧材料被严重低估——低得离谱。 Shannon 在 1952 年的演讲里做了一件事：把问题缩到几乎微不足道，搞定缩小版，再把难度一块块装回去。就这一招，胜过任何现代生产力建议。

广度不亚于深度。懂 GPU 怎么搬运内存，就能在基准测试跑出来之前判断哪些架构论文注定失败。诚实的统计学可能是 ML 最稀缺的技能——很多发表出来的严谨不过是”用误差线包装的直觉”。

读论文本身，不要读总结帖。附录才是真正藏东西的地方。局限性部分通常是整篇文档里最诚实的一段。

把一切写下来#

Paul Graham 发现，一个想法在写成文字之前可以一直自我感觉很完整。纸面会暴露你头脑自动抹平的裂缝：那个没检验过的假设，那个不成立的推理步骤，那两句互相矛盾的主张。

Feynman 的准则： 第一个你不能骗的人是你自己。 写作是最便宜的防御。Darwin 更进一步——任何相悖的事实当场记下来，因为他发现记忆删除不利证据比删除有利证据更快。你的记忆对你失败的实验做着同样的事。

写日志：假设、设置、预期、结果、更新后的信念。重读上个月的条目，那种谦卑任何审稿人都无法匹敌。

公开发布一部分。一份清晰的解释是真正的贡献，不是服务性工作。 一整套公开发表的写作，是你思维方式最诚实的样本——无法伪造的那种。

收紧循环#

关于 Alec Radford 的故事很少涉及神来之笔。它们关乎的是量：每天更多实验，每周丢弃更多错误想法。

研究速度，本质上是你发现自己错了的速度。

工具建设是头等研究活动。启动实验，一条命令。画图，再一条命令。每次运行从配置文件复现。Karpathy 的诀窍：在规模化训练前，先在单个批次上过拟合。三十秒，一半 bug 消失。缩到足够小，先做对，再投算力。

放弃”工程只是配角”的观念。前沿领域两者已融为一体。能自己搭建实验框架的人，假设才真正得到检验。其他人都在排队。

盯着输出看#

下降的损失曲线不是分析，是心理安慰。实验抛出的信息远比你消化的多——失败案例、分布中奇怪的尾巴，大部分在日志文件夹里无人阅读。

Karpathy 在写任何训练代码之前，花几个小时亲手处理原始数据。大多数 ML 的 bug 藏在数据里，失败得悄无声息。什么都不会崩溃，你只会得到一个平庸的模型和一个错误的理论。

Andrew Ng 教了十几年同一个方法： 拉出一百个失败案例，全部读一遍，归成几堆，攻击最大的一堆。 一段真正怪异的行为记录，比精确率小数点后多一位能教的要多得多。

有目的地游荡#

你的第一个子领域不过是时机的偶然。在决定定居哪里之前，花时间去不同领域待一待。某个角落里，你的古怪特质恰好是不公平的竞争优势——找到它的唯一办法是交学费。

没有人能免掉这笔学费。

每个想法先跑一次性版本，让大部分尽早死掉。基线调到痛为止——ML 的坟场里堆满了在调好的基线上蒸发掉的收益。做消融实验直到弄清哪个组件撑起了结果。通常只有一个，通常不是标题里那个。

广度是保险。子领域都会饱和，就在推特上达到顶峰之后。能穿越转换期持续产出的人，早已熟悉邻近领域。

找到你的人#

Hamming 注意到一个模式：关着门的同事每年产出更多，开着门的同事做出了真正重要的工作。

因为每一次打断都在告诉你一件事——世界真正需要什么。你的敞开的门，大概是个收件箱。让它保持敞开。

慷慨的复利效应无与伦比。复现结果并发表。把给自己做的工具发布出去。用通俗语言解释难事。回报从侧面来——几个月后的合作、引用、你本不可能申请的职位。

半成型的想法公开抛出来。在时间线上犯错的代价，远比在出版物上犯错小。那个在陷进去三个月前就告诉你想法不行的合作者，价值胜过算力。这种关系买不到，只能挣来。

长期游戏#

Pasteur：机遇青睐有准备的头脑。

Hamming 搭建了一整套哲学：知识和生产力像利息一样复利增长。

日积月累的优势单独看微不足道。你读的东西、记录的东西、循环跑多快、跟谁争辩。给它们几年，它们造就出在外人眼里像是运气的职业生涯。

在觉得必要之前开始复利。现在才是代价最小的时候。

以上这八件事，没人会替你做。但好消息是，你也不需要任何人批准才能开始。