文 | 王丰辉(资深金融研究者)
1956 年 9 月 11 日,MIT 开了一场信息论研讨会。散场的时候,心理学家乔治·米勒心里留下了一句话,近半个世纪后他把它写进一篇回顾文章:我离开研讨会时,带着一种与其说理性、不如说直觉的确信——实验心理学、理论语言学、认知过程的计算机模拟,都是同一个更大整体中的碎块。
那一天的会场里都有谁?上午,纽厄尔和西蒙演示了"逻辑理论家",一个能自己证明数学定理的程序,后来被认作第一个跑起来的人工智能程序(那年夏天,他们刚参加过达特茅斯会议);米勒本人讲的是人的记忆广度,就是后来那篇著名的《神奇的数字 7±2》;台下面坐着一个年轻人,诺姆·乔姆斯基,讲的是他的语法理论。人工智能、心理学、语言学,三个当时互不来往的学科,同一天在一个房间里,各自讲了一块拼图。
这是三者的第一次相逢。在场的人,没有一个知道。
米勒后来挑了"碎块"里的一块,啃了一辈子:人的记忆。七个左右的组块、组块是可以重新编码的,这些工作跟布鲁纳一起把心理学从行为主义手里接了过来,史称认知革命。到了 1985 年,快六十岁的米勒动手造一块具体的拼图,WordNet。钱来自对机器翻译感兴趣的政府机构,前后大约三百万美元;但这个项目的底子不是钱,是他做了半辈子的心理语言学研究:人对词的记忆,本来就不是按字母表组织的,是按意义组织的。所以 WordNet 是词典,但不全是词典:词按意义分组,一个意义一个同义词集,集与集之间连着上下位关系,狗往上是犬科,再往上是哺乳动物。项目目标里白纸黑字写着一条:支持自动的文本分析和人工智能应用。
这个当时看不到用途的数据库,建完之后,十几年没人用它干出过大事。
守着它的人叫克里斯蒂安·费尔鲍姆。她 1980 年在普林斯顿拿了语言学博士,1987 年回到米勒的认知科学实验室,是 WordNet 的共同开发者。米勒渐渐淡出之后,负责人就是她。她做的事说出来不惊人:2000 年,她和阿姆斯特丹的 Vossen 一起发起全球 WordNet 协会,让几十种语言各自建了自己的 WordNet,再用一个跨语言的索引把它们互相连起来。没有突破,没有革命,就是守着,把它养活,等它被人用起来。讲学术传承的故事,主角总是突破者;但 WordNet 的故事让我看到另一件事——板凳不冷,是因为有人坐着。
2006 年,一个访客推门进来。
李飞飞,伊利诺伊大学香槟分校的助理教授,做计算机视觉的。那两年她被一个念头折磨——这个词不是我夸张,她自传里的原话是"消耗了我醒着的全部时间":整个领域的精力都花在改进算法上,没人把数据当回事,可是训练数据反映不了真实世界,算法再好也是白搭。她想做一个把真实世界整个装进去的数据集,让机器看过世界上每一样东西。想法有了,卡在骨架上:两万多个类别,用什么结构组织?她研究各家怎么组织数据的时候找到了 WordNet,专门回普林斯顿去找费尔鲍姆。费尔鲍姆告诉她,自己有个一直没做的计划:给 WordNet 的每个词配上图片,当初的定位只是查阅参考。李飞飞把这个计划放大了一百倍:不是一词一图,是一词千图,专供训练。她自传里写:WordNet 对我是一场启示,我面前第一次出现了一条路,我能看见下一步。
后面全是工程。最初估算要十九年,她的学生说照这个速度我不能等毕业了。后来有个研究生说:听说过亚马逊的众包平台吗?于是十九年缩成十五年、十年、五年、两年,最后不到一年。2009年 ImageNet 建成,在计算机视觉的顶会 CVPR 上,只分到一个海报位,缩在会场角落。团队印了些印着 ImageNet 的钢笔,见人就送,求人看一眼。当时领域里的主流判断是这个项目不值得做,有人说得更难听:普林斯顿做这种课题简直是耻辱。
接手的人,先坐上了同一张板凳。
板凳上还有一个人,坐得比谁都久。辛顿,1972 年在爱丁堡大学读博士,选的方向是神经网络——就在前一年,明斯基和帕珀特出了一本《感知机》,论证的正是罗森布拉特那个单层感知机的局限,这个领域被整体判了死刑。他自己的原话是:人们觉得我搞神经网络,是完全疯了。1986 年他和鲁梅尔哈特、威廉姆斯发表反向传播的论文,证明多层网络可以训练,这是一根支柱;但整个八九十年代,主流方法一直不属于神经网络:八十年代是符号主义和专家系统的天下,九十年代支持向量机这类统计学习方法又占了上风,做神经网络的人几乎绝迹。从 1972 年入行,到 2012 年翻身,四十年,他没有离开这张板凳。
今天我们回头看,米勒、费尔鲍姆、李飞飞、辛顿,这一串名字是 AI 历史的一座座丰碑。但当事人并不知道自己为几十年后的发展做了多大贡献。米勒不知道 WordNet 在等谁,李飞飞不知道ImageNet在等谁,辛顿不知道转弯会在哪一年。以今时今日的语境看,他们坐的全是冷板凳。
然后就是第二次相逢,我称之为金风玉露。2012 年,ImageNet 挑战赛,辛顿和他的两个学生带着深度卷积神经网络参赛,AlexNet,识别错误率比上一届冠军直接低了十个百分点。算力是 GPU,算法是深度学习,数据是 ImageNet,三样东西在这一年合上了。这一合,就是这轮 AI 的起点。
这场相逢里埋着两段旧账。
第一段在辛顿家里:他是布尔的外曾曾孙,布尔的女儿里有一位写了《牛虻》——伏尼契,就是我初中读的那本小说的作者。布尔 1850 年代发明逻辑代数的时候,全世界不知道这东西能干什么,它在板凳上躺了一百多年,绕过四代人,绕道一部革命小说,最后在自家后代手里引爆了计算机和 AI。我知道这层关系的时候,第一反应是荒诞:布尔那么遥远,辛顿又是 AI 前沿,牛虻夹在中间,感觉不太真实。
第二段在语言学:这一轮 AI 的语言能力,站在一条被冷落了六十年的假说上。1954 年,语言学家泽里格·哈里斯提出,词的意义藏在词的分布里:"如果我们认为词 A 与词 B 的意义差异,大于词 A 与词 C 的意义差异,那么我们通常会发现,A 与 B 的分布差异也大于 A 与 C"("If we consider words or morphemes A and B to be more different in meaning than A and C, then we will often find that the distributions of A and B are more different than the distributions of A and C.",《Distributional Structure》,1954)。后来的语言学家弗斯把这条假说概括成"观其伴而知其义"。
这句话是词向量的思想源头,词在向量空间里的位置,由它周围的伴生词决定;attention 再往前走一步,让"观其伴"从一次性的统计,变成逐词的动态计算。
提出假说的人是乔姆斯基的博士导师。学生走的是另一条路,先天规则系统,成了语言学的主流;老师的分布假说在板凳底下压着,直到 2013 年 word2vec 把它做成了词向量,今天每一个大模型的词向量层,底下垫的都是它。学生后来公开批评大模型这条路,但这一轮真正被兑现的,是老师的分布假说。要说乔姆斯基的贡献,是他第一个把"语言能力"变成可以形式化研究的问题,没有这一步,后来的工程路线无从谈起;但最终得到验证的,是老师的分布统计,不是学生的先天规则。
还有一桩旧账要收,跟机器翻译有关。2014 年,为了机器翻译,研究者给一个新机制起了名字,叫attention,起名的是 Bengio,他的解释是人类翻译的时候,一次只特别注意一两个源语言词——借的是心理学的词,做的工程的事;2017 年的 Transformer,本来就是一个机器翻译模型。当年出钱供养 WordNet 的机器翻译,五十六年后自己长出了拼图里的一块。而机器翻译自己,从设想到可用,也在冷板凳上坐了几十年。
从 1956 年捋到 2012 年:米勒造拼图,没人要;费尔鲍姆守着;李飞飞接走,陪着坐;辛顿四十年不离板凳;哈里斯的假说压了六十年。中间有一个共同点:每一环接手的人,都不知道自己在接。冷板凳上的东西,看起来不像值得接的东西。这些人各自的"当时",看上去全是浪费;是两次相逢,把这些浪费追认成了接力棒,很是温暖。
我写到这儿想起了乔布斯 2005 年在斯坦福毕业典礼上讲的那段话。他说,人生的种种经历,就像一颗颗散落的点:站在十几年后回望,你能把一些点串起来,它们一步一步推到今天的你;但站在此时此刻往未来看,你找不到下一个落脚点在什么地方。向前看,点串不起来;回头看,才串得起来。这就是 AI 的发展史。我们站在后来者的视角去寻根问源,看到的是这样一个脉络;站在当事人的视角,是看不到这个脉络的。
去探究历史上每一个对 AI 做出重大贡献的人,会发现,命运无常。有的人昙花一现。罗森布拉特,1958 年做出感知机,《纽约时报》发了头条,标题是"New Navy Device Learns By Doing",新海军装置边做边学,轰动一时;1969 年明斯基和帕珀特出一本书,证明了单层感知机的局限,经费断了,热潮散了;1971 年他死于船难,就在自己 43 岁生日那天,没等到神经网络翻身。
昙花一现的还有一个更早的人,可能是整段历史里最疼的一个。瓦尔特·皮茨,底特律锅炉工的儿子,自学希腊语、拉丁语和逻辑,12 岁读完罗素的《数学原理》,还挑出几处错写成信寄给罗素,罗素回信请他去剑桥读研究生,那时他连高中都没上过。15 岁他从家里跑出来,流落到芝加哥大学旁听,没有学籍,睡过门廊。1943 年,20 岁的皮茨和神经生理学家麦卡洛克合写《神经活动内在思想的逻辑演算》,把神经元抽象成一个阈值逻辑单元,这是第一个神经元的数学模型,后来所有神经网络的第一块基石都是这颗 M-P 神经元;1945 年冯·诺伊曼写 EDVAC 报告,唯一点名引用的公开文献就是它。
然后命运开始走样。他的导师维纳,控制论的创始人,1952 年因为一场至今说不清的家事突然与他绝交,没有解释。皮茨从此一蹶不振,烧掉了那篇学界等了多年的三维神经网络博士论文,拒绝了 MIT 送上门的博士学位,与酒精为伴。1969 年 5 月,他死在剑桥的公寓里,46 岁,死因是酗酒的并发症,讣告几乎无人注意。深度学习的第一颗神经元,至死不知道自己点燃了什么。
有的人默默无闻。反向传播最早出现在 Paul Werbos 1974 年的哈佛博士论文里,十年无人问津,1986 年鲁梅尔哈特、辛顿和威廉姆斯在《自然》上发了一篇论文,反向传播名满天下,深度学习从此有了发动机。虽然终有人桂冠加身,图灵奖、诺贝尔奖都发到了这个行当,但我觉得对于这些坐冷板凳的人而言,他们要的荣誉可能并不是桂冠加身。站在他们自己人生的视角来看,他们并不知道自己坐在冷板凳上,也不知道自己在为什么添砖加瓦,他们可能就是做着自己感兴趣的事情,日复一日地向着理想中的目标前进。
当然,不排除这里面也有太多的迷茫。我相信辛顿迷茫过,李飞飞迷茫过,搞心理学的那一批人更是迷茫过,他们到现在为止都搞不清大脑最底层的机理。(本文为作者观点,不代表本头条号立场)
人生路漫漫,但是人生又如白驹过隙。站在学术的百年发展路径上,我们固然可以指指点点,但是只有看过了这些起起伏伏,设身处地地去瞻仰那些当事人时,我们剩下的只有敬佩。
谢谢。

