【转载】新晋诺奖得主Hinton的主要成就和观点 [复制链接]

频飞

主楼

发表于 2024-10-10 06:00 |只看该作者 |倒序浏览 |

新晋诺奖得主Hinton的主要成就和观点[color=rgba(0, 0, 0, 0.9)][color=rgba(0, 0, 0, 0.3)]原创 [color=var(--weui-FG-2)]卫sir [color=var(--weui-LINK)][url=]卫sir说[/url]
2024年10月09日 11:35 北京
[color=rgba(0, 0, 0, 0.9)]新晋诺奖得主Hinton的主要成就和观点

北京时间10月8日下午5点45分许，2024年诺贝尔物理学奖揭晓。美国和加拿大科学家John J. Hopfield（约翰·霍普菲尔德）、Geoffrey E. Hinton（杰弗里·辛顿）获奖，以表彰他们“通过人工神经网络实现机器学习的基础性发现和发明”。

这二人获奖的原因在于：霍普菲尔德提出的 Hopfield 网络为神经网络研究奠定基础，其理论和方法启发了辛顿，辛顿发明的玻尔兹曼机及对反向传播算法的改进，非常显著地推动了神经网络发展。

霍普菲尔德网络的原理示意

本文主要说说辛顿，说说他的生平、成就和关于AI的前沿观点。

杰弗里・辛顿，1947年出生于英国伦敦。1978年获得英国爱丁堡大学博士学位，现为加拿大多伦多大学教授。

杰弗里·辛顿

他未正式上过计算机课程，本科在剑桥大学读的是生理学和物理学，期间曾转向哲学，但最终拿到的却是心理学方向的学士学位；他曾因为一度厌学去做木匠，但遇挫后还是回到爱丁堡大学，并拿到人工智能方向的博士学位。

他的父亲Howard Everest Hinton是英国昆虫学家，母亲Margaret是一名教师，他们都是共产主义者。他的叔叔是著名的经济学家Colin Clark，发明了“国民生产总值”这个经济术语，他的高祖父是著名的逻辑学家George Boole，他发明的布尔代数，奠定了现代计算机科学的基础。

在厚重的科学家家族底蕴熏陶下，辛顿从小拥有独立思考能力以及坚韧品质，并且肩负着继承家族荣誉的担子。母亲给了他两种选择，“要么成为一名学者，要么做个失败者。”所以，即便辛顿读大学时几经折腾，但他还是完成了博士学业。

1973年，在英国爱丁堡大学，他师从Langer Higgins攻读人工智能博士学位，但那时几乎没人相信神经网络，导师也劝他放弃研究这项技术。但他不为所动，坚信神经网络具备的潜能。

博士毕业后，辛顿前往美国，并在卡耐基梅隆大学获得教职。

1985年，辛顿与其合作者发明了玻尔兹曼机，这是一种随机神经网络，其灵感来源于统计物理学中的玻尔兹曼分布。它通过模拟热力学系统中粒子的热运动，使网络在不同状态之间随机转换，最终达到热平衡状态。在这个过程中，网络根据能量函数和温度参数来确定每个神经元的状态转换概率。

玻尔兹曼机是一种无监督学习模型，它可以自动从数据中学习特征和模式，不需要人工标注的标签。这就好比你遇到朋友的父母或子女，你可以立即看出他们一定有亲属关系。无监督学习对于处理大量未标记数据具有重要意义，例如，在图像识别领域，玻尔兹曼机可以自动学习图像中的特征，如纹理、形状等，为图像的分类和识别提供基础。

1986年，辛顿及其合作者提出了反向传播算法。这一算法可以让神经元网络能够有效地进行学习，如今，反向传播算法支撑着几乎所有的神经网络，无论是计算机视觉系统还是大型语言模型。

事实上，在1985年前后，有多人提出了与反向传播算法类似的算法，如Barto（1985年）、Parter(1985年)、 Lecun(1985年)都发表过相关论文。但迄今为止最有效和最实用的方法是Rumelhart、Hinton和Williams(1986年)提出的一般Delta法则，即反向传播算法。

反向传播算法首先计算神经网络输出值和目标值的误差，然后计算网络中每个参数对误差的贡献程度（即梯度），从输出层开始，反向逐层计算梯度，根据梯度来更新网络的权重，通过多次迭代训练，提高网络对数据的拟合能力，进而提升在分类、预测等任务中的准确性。

玻尔兹曼机和反向传播算法都是神经网络领域的重要算法，前者用于无监督学习，后者用于有监督学习，并且可以结合起来使用。在一些深度学习模型的训练过程中，先用类似玻尔兹曼机的方法进行无监督的预训练，使网络能够学习到数据的内在特征和潜在模式；然后再使用反向传播算法进行有监督的微调，进一步提高网络的性能和对特定任务的适应性。

辛顿的这些发现，成功突破了人工智能先驱马文・明斯基（Marvin Minsky）和西摩・帕普特（Seymour Papert）曾指出的神经网络的局限性，这两位先驱的观点在当时对神经网络的研究产生了重大影响，使得神经网络的研究陷入了很长一段时间的低谷。

虽然辛顿接连提出了反向传播算法、玻尔兹曼机，但他还要再等二十多年，等到深度学习迎来大爆发时，等人们意识到神经网络强大之时，才能享受他早该得到的荣耀。

1987年，辛顿前往加拿大，开始在多伦多大学计算机科学学院任教，并在加拿大高级研究所CIFAR开展机器和大脑学习项目的研究。

2012年，辛顿一战成名，他与两名学生Alex Krizhevsky、Ilya Sutskever做出了震动业界的AlexNet，该网络以惊人的84%识别准确率，一举获得ImageNet图形识别大赛冠军。

这两名学生都是出生于苏联的犹太人，前者擅长工程实现，后者极具数学天赋。

从左到右依次为Ilya Sutskever、Alex Krizhevsky和Geoffrey Hinton

2012年底，他与这两位学生成立了三人组公司DNN-research，一个月后，将其以4400万美元的“天价”竞拍卖给了Google，他也从学者身份转变为Google副总裁、Engineering Fellow。当时参加竞价的还有微软、DeepMind和百度。

这桩买卖发生在2012年12月的NIPS（神经信息处理系统大会）期间，会议在塔霍湖边的一个娱乐场所举办，我们之所以拍卖公司，是因为我们完全不知道自身的价值，在咨询一位知识产权律师之后，我们决定发起一场竞拍。我选择通过Gmail进行竞拍，我知道谷歌不会随意窃取用户的邮件，对于这一决定，竞拍者微软表现出不满。
拍卖过程如下：参与竞拍的公司必须通过Gmail将他们的报价发给我们，然后我们再将其连同Gmail的时间戳发送给其他参与者。起拍价为50万美元，然后有人出价100万美元，看到竞价不断上涨时，我们真是太高兴了，同时也意识到我们的价值远比预想的要高。当竞价达到一定程度时，我们认为已经是天文数字了，我们更倾向于在Google工作，于是叫停了拍卖。

之后，Google乘胜追击，2014年又把DeepMind收入囊中成为其子公司，DeepMind不负众望，在2016年推出AlphaGo，震惊全球。

微软看上去慢了一拍，但却赢下了最大的战利品——OpenAI，后者的创始人就是辛顿的学生Ilya Sutskever。

辛顿在Google一直待到2023年，并在2018年荣获ACM图灵奖。

辛顿的人生并非一帆风顺，他所致力的神经网络研究方向在长达二、三十年不被人工智能业界重视。他曾有过三次婚姻。他与第一任妻子乔安妮（Joanne）仍然保持着友好关系，但他的第二任和第三任妻子罗莎琳德（Rosalind）和杰姬（Jackie）都分别于1994年和2018年死于癌症。在过去的四年里，辛顿一直和退休了的社会学家罗斯玛丽·加特纳（Rosemary Gartner）在一起。1

他本人也患有严重的腰椎疾病，这让他无法像正常人那样坐下，日常的大部分时间都必须站立工作；他还有着轻微的狂躁抑郁症2，往往会游走在两种状况之间，适当的自我批评会让他非常有创造力，而极度自我批评会让他产生轻度抑郁。

2023年，辛顿从谷歌辞职，并发出了一个戏剧性的警告，称生成式人工智能系统的商业应用构成了多重严重威胁，比如计算机生成的错误信息和就业市场的不稳定。他警告说，从长远来看，自主人工智能系统可能会对人类构成严重威胁。

2024年2月19日，辛顿给牛津大学做了一个公开演讲3，全面阐释了他对人工智能的深刻思考，其主要观点如下：

1、大模型完全有理解力

关于人是怎么理解事物的，有两种理论。一种理论认为，一个词的意义在于它与其他词的关系；另一种理论认为，一个词的意义是一大堆特征组成的。

大模型很好结合了以上两种理论：它学习每个单词的特征，并学习单词的特征如何相互作用。推理时，对于几百字的一段话，大模型数将其组织为数百万个特征，并开展这些特征之间数十亿次的交互，辛顿认为，这就是理解！

2、大模型是人类认识自己的最好方法

大模型是了解人类如何理解语言的最佳模型，大脑其实也是在给单词分配特征，并让单词的特征进行交互。

神经网络模型就是为了模拟人类理解而设计的一个模型。人们完全可以通过研究大模型，来了解人脑是怎么工作的。

3、超级智能不需要太久就会出现

辛顿说：“我一直以为我们离超级智能还有很长很长的路要走，我过去常告诉人们可能需要50到100年，甚至可能是30到100年，我们现在不需要担心它的负面影响。”

“但是，由于我在之前两年所从事的工作，我突然开始相信我们现在拥有的数字模型已经非常接近于大脑的水平，并且将变得比大脑更好。”