洛阳 调查 厅局 图片站 问政 桂刊
政务 社会 体育 通讯员 娱乐 爆料
红豆社区 红豆村 博客 漫画  3C  交友 汽车 保险
红豆相亲 房产 健康 理财 会展 商城 新知 游戏
柳州 梧州 防城港 
玉林 百色 北海  
 
在深度学习如日中天的现在,三巨头又在忙活着什么?
http://zchenhaiyun.com.cn  2020/1/8 18:11:43  

上上周,圈最大的事情,没有之一,就是图灵奖,终于终于,终于颁给了三巨头。

关于Geoffrey?Hinton和他的两位学生Yoshua?Bengio、Yann?LeCun的故事,在消息出来后的几天里,理所当然完成了刷屏。

即使AI从业者和爱好者基本已经对这三位的事迹耳熟能详,但他们“高举着火焰,冲过了最黑暗的时代”的英雄主义情结,还是能够轻易让远离AI世界的人们动容。

“三巨头”和深度学习的经历,事实上是一幕从学术边缘开始,在产业狂欢中自证,再回头征服主流学术界的故事。起伏线索简直比好莱坞大片还要好莱坞。

然而现实人生和电影最大的区别或许在于,电影可以在高潮处戛然而止,留给观众意味深长的壮美。但生活还要继续,日子还得过,AI还得发展。深度学习并不会因为图灵奖的到来而画上圆满的句号。

如果说三巨头在全世界都不相信深度学习时的执拗,最终换来了图灵奖和一句句“泰斗”的赞美声;那么我们今天更应该留意的,或许是在深度学习如日中天的现在,三巨头又在忙活着什么?他们现在所忙的,是不是又映射着AI的未来?

咱们不妨换个角度,不说他们可歌可泣的当年,而是聊聊三巨头的现在。

需要注意的是,这里并不打算把三人及团队的每一篇论文都整理出来,而是希望从他们在AI爆发之际的选择,读出些许关于深度学习未来走势与先天不足的底层规律。

Yann?LeCun:

产学候鸟与AI圈鲁迅

三巨头中最频繁活跃在大众视线里的,是Yann?LeCun。

为什么很多不认识Hinton的人也认识Yann?LeCun?这个AI界的未解之谜有很多解释。

不靠谱的解释包括,Yann?LeCun这个名字非常适合写成杨丽坤,所以好记。再比如说他的招牌式笑容很容易让人觉得AI没那么枯燥。

而靠谱的解释是,Yann?LeCun是三人中进入产业世界程度最深的那一位,甚至一度被视作AI科学家走向商业世界的代表人物。

2013年,Yann?LeCun突然加入Facebook是一件非常有爆炸力的事。大家既不理解Facebook要AI科学家干嘛,也不明白Yann?LeCun去一个社交媒体做什么。

来到Facebook之后,Yann?LeCun一手创立了FAIR。这不是个律师事务所,而是Facebook人工智能实验室。

必须要承认,作为FAIR一把手的Yann?LeCun,在那几年间是有不少作为的。比如大幅度提升了Facebook的自动化运营能力,提高了广告等Facebook生命线的智能化程度。而另一方面,充满理想主义精神和学者气息的Yann?LeCun还把FAIR搞成了硅谷最有乌托邦味道的实验室之一。

在Facebook,FAIR的专家们关注那些天马行空的前瞻性技术,以及AI如何在未来造福全人类。在扎克伯格的默许与支持下,FAIR的红火甚至一度被认为是硅谷的工程师文化要向科学家文化交枪。

此外,Yann?LeCun个人魅力也成为Facebook快速招到顶级科学家的利器,5年中,FAIR扩大到6个办公地点,有近100名研究员。与吴恩达、李飞飞并列,Yann?LeCun也被称为由学校到企业的三位AI明星之一。

但随着团队规模的不断扩大,Yann?LeCun作为理想派科学家,逐渐暴露出了团队管理能力的不足。加上2017年Facebook风雨飘摇,在整体业务改革之后,业务线开始向FAIR索取更多直接的、有助于提升业务质量或者变现能力的技术——而这并非Yann?LeCun所愿与所长。

始终保留着纽约大学教职的Yann?LeCun,在2018年1月宣布辞去了FAIR负责人的职务,转向幕后担任首席科学家。而这也被外界解读为一个信号:似乎和吴恩达、李飞飞一样,顶级科学家真的不那么容易在大企业高管的位置上长治久安。

而在产业的探索之外,Yann?LeCun的另一个人设,堪称AI圈里的鲁迅——路见不平一声twitr,该骂你时候绝不休息。

不少人感觉Yann?LeCun有点过于“好作惊人语”,但其实要看到更大的背景在于,今天围绕着深度学习到底是什么,未来会怎么发展,以及AI有没有用等一系列问题,滋生出了无尽的争议。

而作为AI行内最大的明星之一,Yann?LeCun似乎也在某种程度上有义务出来正本清源。

让咱们回顾一下让Yann?LeCun启动开怼模式的三件事:

1、对著名的人形机器人,全球首位“机器公民“索菲亚。Yann?LeCun怒斥其为?“彻头彻尾的骗局”“完全是胡说八道”。在Yann?LeCun看来,所谓索菲亚不过是一具放录音的模型而已,对它的“物体崇拜”会让人们觉得AI就是在变戏法。真正的AI想要达到婴儿甚至动物的智商,还要走很远的路。

2、硅谷钢铁侠马斯克,近两年的爱好是到处说AI就要毁灭人类了。Yann?LeCun认为这种说法非常不负责任。在他看来,马斯克就是跟一些乐观派的科学家聊天,又回家看了一些想象成分居多的书,然后就产生了《终结者》马上要实现的想法。加上众所周知马斯克总想拯救人类,最后导致了我们听到的那些声音。而在Yann?LeCun看来,科学家是知道那种强AI不太可能在几年内实现的,马斯克的言论是在散布恐慌。

3、去年,一位视觉专家Filip?ekniewski连续发表了《深度学习已死》之类的“雄文”,高唱深度学习泡沫要破。Yann?LeCun则马上开启了回怼模式,直言作者“非常无知”,指出这位作者首先没有看到学术和产业界的现实,其次用一些无关的证据强行证明AI“寒冬来了”的结论。比如作者提到AI药丸,一大证据是AI科学家发twitter少了——气的Yann?LeCun赶紧发了一堆twitter。

总结一下,会发现Yann?LeCun开怼的主要是三种声音:假AI、AI威胁论,AI寒冬论。

其实环顾左右,这三种论调是不是也飘散于我们身边呢?

Yoshua?Bengio:

保卫象牙塔,镇守加拿大

说了最高调的,再说说最低调的Yoshua?Bengio。

之所以说他低调,是因为Yoshua?Bengio可说是三巨头中最不愿意探索产业世界的一位。他在必然出现的重金诱惑面前,也没有加入那几家我们耳熟能详的科技巨头,而是选择继续留在蒙特利尔大学的象牙塔里,享受着加拿大的好山好水。

然而随着自己发明的深度学习越来越火,Yoshua?Bengio发现事情并不简单。科技巨头和投资人开始疯狂向学校抢人。深度学习方向的博士变成了炙手可热的香饽饽,直到Yoshua?Bengio发现,他还没毕业的博士都已经被饥渴的科技公司瓜分干净。这位科学家决心要保卫象牙塔的纯净。

他的办法是,自己开一家公司……

咳咳,事实上,Yoshua?Bengio是在几位合伙人的劝说下,决定共同建立一个新型的产学一体化机构。我们知道AI界有著名的OpenAI,专注无不商业目标的开源项目,让科学家能在企业完成自己的梦想。

而Yoshua?Bengio与合伙人联合创立的Element?AI,则反其道而行之。它致力于让AI科学家们可以直接参与商业项目,获取相关回报,但同时能够保留教职——比如每周只用抽出几个小时来来Element?AI干活,大家一起做做项目赚赚外快就行了。

这种有点像AI科学家在线兼职的模式,可以有效解决一个问题:创业企业和传统企业,根本无力与科技巨头争抢AI人才,但他们却实打实地需要AI人才来帮忙。这样一种模式可谓两全其美。

很快,Element?AI就获得了微软的投资,现在在深入各行业定制AI解决方案之外,也开始与大公司的联合科研,以及对优质AI项目进行投资和技术帮助。而对于客户来说,Yoshua?Bengio本人就是商业合作上的金字招牌。

Yoshua?Bengio的另一个工作重心,是学校里的蒙特利尔学习算法研究所(LA)。MILA和Element?AI一学一产,构成了蒙特利尔AI产业的双核驱动。今天,加拿大AI的快速发展,以及蒙特利尔被称为AI时代的硅谷,都与Yoshua?Bengio的工作紧密相关。

嗯,至少目前来看,这位象牙塔守护者,加拿大AI之星,还是比较好地完成了任务。

Yoshua?Bengio还有一项比较出名的行动,是在AI社会责任与公益领域广泛担当呼吁者。比如他带头反对谷歌的军方项目,呼吁终止AI武器化。并且积极推动关注AI中的歧视与不公平问题。

假如给Yoshua?Bengio近年来的工作打上三个标签,那就是:学术的,公益的,加拿大的……

Geoffrey?Hinton:怀疑者,依旧怀疑

与两位50多岁的学生相比,已经72岁的老师Hinton,似乎应该闲下来,享受“AI教父“的尊名,指导指导学生,筹划一下传记。

然而事实并非如此,Geoffrey?Hinton今天依旧在保持高强度的工作。被腰间盘疾病困扰的他,甚至必须要站着完成所有研究。与两位学生和大部分功成名就的同行相比,Hinton更像是工作在AI一线的那一个。

简单来说,那个又倔又横的小伙子,如今变成了个又倔又横的老头。

曾经在一次采访中,Geoffrey?Hinton被问到为什么能在几十年的不被重视中坚持下来,他的回答非常酷也非常Hinton。他说:

“他们都错了。”

直到今天,Hinton还是认为有可能所有人都错了,包括他自己。

1986年,Hinton发表了《Learning?representaons?by?back-propagation?erro》,这是Hinton一生的代表作之一,标志着反向传播算法被引进深度学习,今天来看有着跨时代的意义。

然而Hinton在近两年却频频表示,反向传播有可能存在这巨大的缺陷。他不但自己尝试了多种方式突破它,还将大量相关研究综合起来,写论文对比如何摆脱反向传播的窠臼——直到现在,他还没有超越自己,但并不代表以后不能。

Geoffrey?Hinton是一个彻头彻尾的怀疑者,这点并没有因为他变成“泰斗”而改变。

在产业世界,Hinton的主要工作在谷歌大脑。近两年,的简化升级,谷歌大脑的AI能力拓展,背后都有Hinton与团队的身影。

而作为“教父”一样的存在,Hinton更被人关注的是在AI学术领域不断提出的颠覆性观点。恰好这又是一个乐于颠覆自己和其他人工作的人。

2017年年底,Hinton发表了名为胶囊网络Capsule?Networks的方案,被广泛认为将改写深度学习的发展轨迹。

胶囊网络所针对的,是卷积的操作模式。传统的深度学习算法中,每一层神经网络必须做同样的卷积运算。而胶囊网络则认为,不同的神经元可以携带不同属性,这就像人脑中的不同区域负责不同的工作。

这种将深度学习进行稀疏激活的颠覆式方案,目前已经被证明可以在图像识别领域达成创新。不少人相信,胶囊网络未来会成为AI可解释、AI被赋予常识的关键技术。

近几年,Hinton带来的另一个颠覆,是在暗知识提取dark?knowge?extraction领域不间断的工作。一般来说,深度学习获取抽象特征,是建立在庞大的数据运算基础上的。而这会导致AI必须消耗大量的数据和算力来反复完成训练。而暗知识提取,或者叫知识蒸馏,则致力于让智能体之间可以提取隐藏的知识,把一部分知识留存到子深度学习系统,最终达成智能体摆脱庞大的算力与数据渴求,触及相对先天的“智能”。

可以看到,Hinton在今天依旧那么硬核。很多在AI世界看似常识的东西,AI之父却压根不相信它,并且在反复挑战。

AI走到头了吗?深度学习是最终解法吗?这老头一辈子从来没相信过大多数人的判断。

三巨头的今天:深度学习,从1到很多

假如说,三巨头高举火把,四下无人的那些年,是深度学习从0到1的时代。

那么今天全世界的深度学习热,?毫无疑问标志着深度学习开始从1到N。然而从三巨头今天的工作来看,它也仅仅才到1而已。

不知道大家注意到没有,三巨头今天主要关注的方向,恰恰对应着以深度学习为代表的这一次AI复兴,所携带的先天不足,以及后天激发的问题。把三巨头的工作强行合并,可以看到这样几个方向:

1、AI到底是空谈还是事实?解决这个问题,必须把深度学习扔到产业熔炉当中,在算力、数据和应用场景里,深度学习到底能干什么。而这也是大量AI科学家必须去企业的逻辑之一。

2、AI火了之后,各种乱七八糟的事情一定会出来飞舞,需要有人把火车拉回轨道。Yann?LeCun在社交媒体上四面开火就是因为这个。索菲亚的把戏、马斯克的AI威胁论,以及“AI寒冬又来了”,这几个说法今天在中国一定有大批拥护者。不难看出问题还是挺尖锐的。

3、AI的人才匹配与平衡问题。这轮AI复兴的一个特征,是高度的产学一体化,导致学术人才可以直接与应用打通。然而学术人才如何在产业诱惑面前保持学术追求,产业如何在巨头争抢下获得AI人才帮助,这个问题在中国同样存在。

4、深度学习是把双刃剑,军事化、歧视与不公、因素安全等问题随之产生。AI的社会责任,是一个刻不容缓的矛盾。

5、深度学习,不是终点。反向传播,多层神经网络等等技术模式构成了我们习以为常的那个“AI”。但是深度学习依旧有大量问题存在,比如黑箱性,迁移能力差,高消耗等等。我们是把今天的AI当成原教旨,还是继续挑战,寻找更上层的终点?这点Hinton这位“深度学习之父”真是带了个好头。

功绩当然伟大,问题还有一堆。今天,三巨头还在工作,他们在为他们的造物负责。


相关阅读:
小吃加盟店10大品牌 http://m.959.cn/xiaochi/
请选择您看到这篇新闻时的心情
0
0
0
0
0