DeepMind 近两万引科学家Felix Hill我要狠狠射，厌世了。
他参与过 NLP 鸿沟经典的 GLUE 和 SuperGLUE 基准，2016 年起在 DeepMind 使命直到终末一天。
在他厌世的前几个月，留住一篇商讨"在当代 AI 鸿沟使命的压力"的著述《2000 亿权重的牵扯》，引起热议。
著述中提到他因家东谈主厌世、压力等原因患上急性神经病，经历了 6 个月危及人命的抑郁症之后，嗅觉启动在好转了，再行归附写著述。
他把我方的经历，以及对昔时两年 AI 鸿沟的烦死共享出来，但愿能够匡助到相通正在给与苦难的东谈主。
Felix Hill 厌世的音书由他的好友、纽约大学老师Kyunghyun Cho带来。
Kyunghyun Cho 示意 12 月 9 日就写好了这篇悼文，但迟迟不敢发布，因为不想也不敢信赖所发生的事。现在光是料想这件事，心仍然很痛。
不管是与他合营过，照旧仅有一面之缘，又或是只读过他著述、听过他学术演讲的学者纷纷示意，这个音书令东谈主心碎。
他留住商讨 AI 使命压力的著述，再次引起好多东谈主共识。
Felix Hill 其东谈主
Felix Hill 不是行状生存一启动就插足 AI 行业的。
2006 年，他在牛津大学数学专科毕业后作念过几年数学教师。2016 年在剑桥大学取得算计谈话学博士学位。
这手艺他力争于素养，除了在高中教数学以外，也参加过非盈利组织，以及我方创办素养企业。
2016 年加入 DeepMind 后一直使命了近 9 年。
除了权衡以外，Felix Hill 时时共享我方的念念考，他会从谈话学的角度分析 Transformer。
他留住的最新一篇学术著述，是辩论 Transformer 中归纳偏置的作用，与 Sutton 的《苦涩的阅历》相对，建议《苦乐各半的阅历》。
Felix Hill 认为，谈话中局部依赖远比长距离依赖更为常见，依存句法分析器已矣闪现谈话中依存关系分辩严重偏向短距离。
但奇怪的是，RNN 有示意局部依赖的归纳偏置，而 Transformer 在依赖长度上无偏好却在好多任务中弘扬更优。
他提议简略东谈主们应该罢手打算反馈数据最常见花式的归纳偏置，一个好的通用模子很容易学到这些阵势。
但只有算计、鸿沟和数据有限，特定鸿沟的偏置仍有必要打算，Transformer 的自介意力是一种灵验的归纳偏置。
此外，他 10 年前第一次宣战 RNN 时，在一次演讲中建议踊跃的不雅点"语法不存在了"，以及神经收罗谈话模子给谈话学带来的其他令东谈主震悚的论断。
其时这个不雅点在学术界引起了一些争议，现在却时常被东谈主试吃。
终末附上 Felix Hill 辩论 AI 权衡使命压力的著述整理翻译。
2000 亿权重的牵扯
东谈主工智能鸿沟在昔时两年中发生了不可逆转的变化。
ChatGPT 的月活跃用户接近 2 亿。Gemini 在 2024 年 5 月打听量接近 3.2 亿次，AI 爱好者现在不错享受 AI 微波炉、AI 牙刷以至 AI 足球。
然而，对于许多从事东谈主工智能使命的东谈主来说，这种公众兴味的激增既是福亦然祸。天然，薪资、股价和市值齐高涨了。另一方面，这种变化也带来了一组特有的压力。
这篇博客是对于当代东谈主工智能的压力，它面向那些使命与东谈主工智能联系的东谈主（保守臆测现在约占宇宙东谈主口的 87%），尤其是那些从事东谈主工智能权衡的东谈主。
最终，我但愿商讨是什么让 AI 权衡变得有压力，能让那些有幸从事这一鸿沟使命的咱们生活愈加景观。因为，尽管咫尺弘大，它仍然是一项好意思好、充实的行状；一项有后劲经管科学、形而上学乃至东谈主类自身许多首要问题的行状。
无法脱逃
几个月前，我在一个一又友的 40 岁寿辰约会上。咱们关系很好，是以我雄厚大部分宾客，有些还额外老练。但并不是总计东谈主齐雄厚。
欧美性在那些我最不老练的东谈主中，我介意到了一个奇特的阵势。
尽管我肉体不适（稍后胪陈），彰着也不肯意交谈，但围绕我酿成了一个小队列。只是因为东谈主们知谈我在 DeepMind 使命，是以想要和我交谈。
而况聊的并非对于足球或 80 年代音乐等事物。这些东谈主想要辩论的是我尽量幸免念念考的一件事：东谈主工智能。
固然好多东谈主对我的使命感兴味让我感到幸运，但也让我坚毅到昔时两年发生了多大的变化。银各人、讼师、大夫和经管照管人齐想要了解我对 ChatGPT 的想法；尽管很少有东谈主宣称告成在我方的使命中使用这么的大模子，但他们笃信东谈主工智能鸿沟正在发生一些他们应该了解的事情。
看成又名权衡东谈主员，我笃信您能颐养在应答时势无法缓慢的嗅觉。
但情况更糟。即使在自家的范围内，我也并不安全。
我仍是很久不再看新闻，发怵激发暴燥。但即使在看足球、VH1 电视频谈、优秀电视剧改编，告白中也充满了对东谈主工智能的说起。
在这个时候，我时常想打理行李，穿越大陆，加入一个寥寂的小团体。尽管在这个阶段，即使内不雅禅修在某种进程上被 AI 浸透，我也不会感到骇怪。
隐含竞争
几家大型公司似乎在竞争设备最大、最佳的大型谈话模子，这一事实自己就有内在的压力；不管你为谁使命。
咫尺从事东谈主工智能权衡可能会嗅觉像是在参与一场干戈，无人不晓，干戈可能导致严重的后果，包括精神交集、离异和寻短见。
天然，这并不是将参与东谈主工智能权衡等同于"字面上的干戈"中的肉体战斗。但根据我我方的阅历，这种相似性是确切的，尽管有些幽微。
关注底线
等闲，工业界的权衡东谈主员不民俗他们的使命告成且立即影响老板的财务状态。
天然，许多权衡东谈主员齐会期许有契机产生这么的影响。只是之前这就像是十年一遇的事情。
在大多数情况下，今天对大模子的基础权衡已矣是小的，可能是模子性能的短期波动。然而，由于公众估值与大模子的弘扬精采邻接，这些波动反过来可能导致股价出现数十亿好意思元的波动。
这种动态天然额外垂危，这不是 AI 权衡东谈主员在权衡生院、博士后手艺，以至 2022 年之前使命中准备好的事情。
钱、钱、钱
大多数东谈主工智能权衡东谈主员，尤其是咱们这些年事稍大的东谈主，并莫得为了赢利而插足权衡鸿沟。
为喜爱的使命赚取多数财富听起来像是一种全能药，但它也可能激发热烈的暴燥。尤其是若是鼓励你收入增多的外部成分不在你的截止范围内，或者有让你不再像以前那样喜爱使命的效果。
不管 AI 是否与此关系，齐有充分的把柄标明一会儿蓄积财富可能会导致各式问题；只需望望那些经过多年努力终于取得见效的演员或歌手。上瘾、突破的关系、落空的友谊以至寻短见只是其中一些更常见的症状。这些天然是我能够引入歧途的症状。
莫得科学家的位置
鸿沟、通俗性和大模子的灵验性使得进行联系"科学"权衡变得费劲，即在道理上它立即使大模子变得更好。
特地的权衡员们仍是宣扬了 Rich Sutton 的《苦涩的阅历》；事实是，在鸿沟以外险些不需要任何改变。
即使表面上可能已矣内容性改变（这天然可能），已矣它等闲需要在约莫 1001 个条目下进行反复磨练。这以至不是最大的公司齐能承担得起的。对于一个"只是"是权衡科学家的东谈主来说，这可能嗅觉是无法经管的苦难。
这些条目对于民俗于在小团队（5-10 东谈主）中使命的工业科学家来说很费劲。但对于学术界的东谈主来说，这些条目无疑愈加严峻：博士生、博士后以及 AI/CS/ML 鸿沟的教师。
发表
尽管学术界的东谈主士不错（而况应该）不竭发表从实验大模子中取得的视力，但对于工业界的科学家来说，是否发表的问题并不那么明确。
发表一直是科学进程的一个内在构成部分，而况永恒是东谈主工智能权衡的一个中枢原则。我与大多数东谈主工智能权衡东谈主员交谈过，尤其是权衡科学家，他们齐甘心我的不雅点，认为发表是咱们行状生存的一个要害方面。
然而，在工业界至少，昔时两年里，对于发表权衡效劳是否可行的问题变得越来越不解确。能够改善大模子的小手段在大模子的竞争中可能成为至关进军的火器。是否将这些玄机公之世人对资助权衡组织的利益老是个复杂的问题。
这总计的一切意味着权衡东谈主员往往对我方的主见的运谈莫得坚毅，至少在我个东谈主的情况下，这可能导致巨大的压力。
初创企业
天然，一种可能的开脱这些担忧的要领是制定一个科学愿景，筹集一些资金并建树一家初创公司。事实上，咫尺 AI 初创公司（不管大小）的激增闪现了有些许科学家选定了这条谈路。
但成为创举东谈主并不可保证幸免与压力联系的问题。事实上，这无人不晓是压力很大的；即使在现时投资者的关注水平下，许多资金实足的 AI 初创公司也失败了。我从我方的经历中知谈，成为创举东谈主是一条额外孤独的旅程。毫无疑问，对于有抱负的科学家来说，这是一个可行的选定，但这并不是一个能让科学权衡变得容易的选定，也不是一个能减轻压力的选定。
为什么我选定写对于压力的博客？
昔时两年，东谈主工智能鸿沟弘大而荒诞，但对我来说，这亦然一段额外悠扬的时间。
2023 年 4 月，我的母亲在与阿尔茨海默病经久斗争后厌世。其时我因急性精神交集正在神经医院接受治疗，压力可能是进军成分。
接下来的 12 个月里，表面上我在归附，但践诺上处于相称暴燥和寻短见抑郁的状态。在这段手艺里，我很幸运有颐养我的情况（以及我对公司的价值）的老板，他们提供了抓续的治疗和精神复古。
经过 6 个月的危及人命的抑郁症之后，我启动嗅觉好转，最近能够写对于我的经历。我了解到压力和暴燥是相得益彰的；践诺上，它们最终可能是统一件事。天然，像任何顺应性特征一样，暴燥也可能带来公正（举例，训诲坐蓐力），但当暴燥变得恶性时，后果可能额外严重。
在反念念昔时两年的东谈主工智能鸿沟，同期尝试再行学习怎么成为又名东谈主工智能权衡者时，我取得了在这篇博客平共享的视力。天然，共享这些视力并不可经管一般性的问题，但在我最昏黑的时刻，让我感到但愿的少数事情之一是知谈我并不孤苦。若是你现在正在遭逢苦难，请信赖我——你并不孤苦。
应答暴燥
我仍是涵盖了咫尺可能困扰那些从事东谈主工智能权衡的东谈主们的许多压力或暴燥的催化剂。但有一种压力我尚未说起，因为我很幸运从未躬行经历过。违反，我是通过与一又友和共事的亲密交谈了解到的。
这种压力神情是社会暴燥。
根据一又友的说法，那些应答暴燥的东谈主认为群体互动很费劲。在现在东谈主工智能鸿沟，大型容貌团队和大鸿沟（等闲是跨大陆）的合营是必不可少的，这愈加费劲。咫尺行业的高流动率只会使情况变得更糟，因为那些等闲看成应答"安全网"的既定团队可能会在整夜之间被粉碎。流动率还可能导致信任问题，因为之前可靠的盟友可能会离开去加入"歧视"的权衡团队。
好音书是，应答暴燥，就像我迄今为止商讨的总计暴燥或压力的弘扬一样，是不错克服的。这个进程始于培养家庭和"非 AI "一又友等天然复古收罗。但对于咱们总计在 AI 鸿沟使命的东谈主来说，一个要害的第二步是启动并抓续进行对于压力的坦诚对话。
是以请共享您的个东谈主经历，发文或驳倒，让咱们望望能否让 AI 权衡不仅成为一个充满活力和智商挑战的场地，而且照旧一个充满哀怜和善良的场地。
参考贯串：
[ 1 ] https://docs.google.com/document/u/0/d/1aEdTE-B6CSPPeUWYD-IgNVQVZM25f7MF-u9qn5KJJvo/
[ 2 ] https://kyunghyuncho.me/bye-felix/我要狠狠射