北京中科忽悠 http://m.39.net/pf/a_5131648.html
朋友,你听说过“AI教父三人组”吗?
能被称作“AI教父”,足以想见这三人对AI领域有多么大的贡献,事实也是如此。
从左至右:YannLeCun、GeoffreyHinton、YoshuaBengio
这个“AI教父三人组”中的第一个人GeoffreyHinton,他因开创了名为“深度学习”的分支学科闻名于世,这个分支学科如今已成为人工智能的同义词;
第二个人YannLeCun,是卷积网络之父、DjVu图像压缩技术的主要创造者之一、还参与开发了Lush编程语言。
以上两位已经十分厉害,但异步君今天要说的,是三人组中的最后一个人、被称为学术纯粹主义者的——约书亚·本吉奥(YoshuaBengio)。
约书亚·本吉奥(YoshuaBengio)
以“AI教父三人组”的履历,地球上任何一家科技公司都是抢着要的,Hinton和LeCun如今分别是谷歌副总裁和Facebook首席科学顾问。
但约书亚没有去任何大公司,他创建了世界上最大的深度学习研究小组、独立非营利组织:蒙特利尔学习算法研究所(MILA),然后拿走了图灵奖。
约书亚——学术纯粹主义者
约书亚年出生于法国巴黎,似乎对于天才们而言,学习从来都不是难事,约书亚也是一名不折不扣的学霸。
他在麦吉尔大学的时候,就一口气获得了电子工程学士学位、计算机科学学士学位和计算机科学博士学位。
这还没完,接着约书亚还拿着NSERC奖学金,继续到世界一流名校麻省理工学院深造,成为一名大脑和认知科学系的博士后研究员。
麻省理工学院
如果你是异步君的老粉丝,应该可以猜到,这样学历的学霸,通常都会去到一个地方——贝尔实验室,约书亚也不例外。
贝尔实验室自年建立以来就有着辉煌的历史,一共获得两万五千多项专利,荣获8次诺贝尔奖。贝尔实验室的计算机科学研究中心,拥有多名来自不同科学和工程领域的博士,这些都是计算机科学界的精英,所有人都非常聪明、知识渊博而富有创造力。
约书亚在贝尔实验室进行学习和视觉算法的博士后研究,在这里,约书亚结识了文章开头提到的“三教父”之一的YannLeCun,并培养了深厚的友谊。
从贝尔实验室出来后,自年开始,约书亚一直是蒙特利尔大学(UniversitédeMontréal)计算机科学和运算学系的一名教授,这是他弟弟萨米(SamyBengio)的母校。
约书亚弟弟:SamyBengio
约书亚的弟弟萨米也是一名AI计算机科学家(不得不感慨一下学霸家的基因),他本科就是在蒙特利尔大学主修计算机科学专业。
两人打小志同道合,约书亚曾回忆在青少年时期,兄弟俩努力攒钱共同买下了生命中第一台小型计算机Atari的事。
一台Atari
这台计算机打开了兄弟俩计算机兴趣的大门,他们用Basic语言编程,还将程序保存在磁带上——那时软盘还没有出世。这也是为什么兄弟俩在大学期间都选择了与计算机相关的专业。
约书亚在研究生期间接触了文章开头提到的AI教父Hinton有关深度学习理论的论文,这让约书亚疯狂地爱上了AI和神经网络,当然约书亚没忘记给自己的弟弟介绍一下人工智能,从此兄弟俩都开始了深度学习的探索之路。
萨米毕业后曾在瑞士做神经网络研究,后来加入了谷歌。
至此,约书亚已经认识了另外2位AI教父,那个时候,他根本没想到,自己有一天,也会和他们比肩。
不过那都是后话了,继续说说年的约书亚。他加入蒙特利尔大学后,常常被人提到的,既不是以上这段趣闻,也不是他的教授生涯,而是同年他在蒙特利尔大学创建的学习算法研究所——Mila(全称:MontrealInstituteforLearningAlgorithms)。
Mila——机器学习圣地
Mila专注于机器学习研究,包括但不仅限于深度学习和强化学习等,具体的研究主题包括:
生成模型
自然语言处理
元学习
计算机视觉
强化学习
人工智能的应用包括:气候变化研究和covid-19研究
如今(年),Mila拥有包括教职员工和学生在内的大约名研究人员,是世界上最大的深度学习研究小组,同时,作为一家独立的非营利组织,Mila还拥有着很多AI公司的研究实验室。
MontrealInstituteforLearningAlgorithms
作为一个全球知名的研究和教育机构,Mila可以授予机器学习的博士和硕士学位并提供实习岗位。
而且除了约书亚之外,Mila还有很多著名的教职员工,比如Jo?llePineau(Facebook人工智能研究实验室的负责人)和DoinaPrecup(加拿大机器学习研究主席)等。
Mila的成员也对开源软件做出了贡献。深度学习的早期编程框架之一的Theano,就起源于Mila。
如今,Mila活跃的项目包括myia(Python深度学习框架)和baby-ai(模拟人在循环中学习语言的平台)等等。
图灵奖——实至名归
教书育人、创办非盈利的科研教育机构,你以为这就是全部了吗,不,天才的约书亚,在完美完成以上工作的同时,还研发了序列的概率模型。
约书亚将神经网络与序列的概率模型相结合(例如隐马尔可夫模型),这些想法被合并到AT&T/NCR用于读取手写支票的系统中。
序列的概率模型被认为是年代神经网络研究的巅峰之作,现代深度学习语音识别系统正在扩展这些概念。可以说,约书亚凭此,已经拿到了30%的图灵奖。
时间来到年,约书亚撰写了具有里程碑意义的论文,引入了高维词嵌入和注意来表示词义。
他的见解对自然语言处理任务(包括语言翻译、问题解答和视觉问题解答)产生了巨大而持久的影响。
他的小组还介绍了一种注意力机制,这种机制导致了机器翻译方面的突破,并构成了深度学习顺序处理的关键组成部分。
“序列的概率模型”和“高维词嵌入和注意”已经是常人难以想象的贡献,但这还不足以摘下图灵奖。
不过约书亚从来也不是如此功利的人,他只是不停地继续着他的科学研究。
他发布了大量的学术论文,根据Mila的数据,在H指数至少为的计算机科学家中,Bengio是每天被引用次数最多的科学家。
H指数:一个混合量化指标,可用于评估研究人员的学术产出数量与学术产出水平。若某人的H指数是49,则表示他已发表的论文中,每篇被引用了至少49次的论文总共有49篇。
除了论文,约书亚还出版了三本书和约种出版物,目前约书亚总的引用量已经到达次以上,随着深度学习持续火热,近几年引用量还在大幅度增加!
自年以来,约书亚的有关深度学习的论文,特别是与伊恩·古德费洛(IanGoodfellow)合作研发的生成对抗网络(GenerativeAdversarialNetworks,简称GAN),引发了计算机视觉和计算机图形学的革命。
在这当中的一项应用中,计算机可以创建原始图像,被认为是人类智能特征的创造力。
“序列的概率模型”+“高维词嵌入和注意”+“生成对抗网络”=图灵奖
约书亚获得图灵奖
年,约书亚荣获年ACMAM图灵奖,那一年,还有两人获得了该荣誉,你猜是谁?没错,就是Hinton和LeCun,从此,世间就有了“AI教父三人组”。
当然了,约书亚为AI领域做出了如此大的贡献,获得的奖项不计其数,异步君这里直接给大家贴上图:
约书亚获得的荣誉
资料来源: