首页 > 招商加盟Marcus十大2003年2月6日拍摄的资料照片显示,理由质疑深度学习?LeCun说大部环球网综合报道分错了

Marcus十大2003年2月6日拍摄的资料照片显示,理由质疑深度学习?LeCun说大部环球网综合报道分错了

2018/1/20 18:02:13 13:05:55      点击:2271
  


大数据文摘作品

作者:Aileen, 魏子敏,钱天培,龙牧雪


昨天下午,一直对深度学习持质疑态度的纽约大学教授、人工智能创业者Gary Marcus在arxiv上发布了一篇长文,列举十大理由,质疑深度学习的局限性,在AI学术圈又掀起了一轮波澜。


Gary Marcus文章地址:

https://arxiv.org/ftp/arxiv/papers/1801/1801.00631.pdf


而就在刚刚,一直对Gary Marcus这一观点持反对态度的Facebook人工智能研究中心负责人Yann LeCun发推文“怼”了这一论调,称“有想法,可能吧,但是,大部分都错了“(Thoughtful, perhaps. But mostly wrong nevertheless.)。


似乎听到了LeCun的冷笑……作者很礼貌地回复:“您能不能详细说说哪里错了?我们之前辩论的时候您可不是这么说的。”



当然不只是简单质疑,推文下观战的各位也不安分的呼2003年2月6日拍摄的资料照片显示,喊LeCun说出更多质疑理由,LeCun在之后又发推叙述了自己的观点:“不正确,Gary混淆了‘深度学习’和‘监督学习’。”


图注:LeCun怼的是Jason Pontin的“支持Gary"的转推,值得一提的是,Jason曾经在MIT科技评论任职主编。


现在美国时间已是深夜,我们期待LeCun在深思熟虑后给出更多想法,可能也会写出一篇20几页的长文也不一定呢。


Gary Marcus和Yann LeCun关于“深度学习”的争执由来已久。去年,两人还曾经公开就此问题辩论了两个小时,文摘菌当时细看了整个视频,全程观点犀利、逻辑缜密,让人佩服。来不及等LeCun观点的同学也欢迎戳下边的视频先看看两人的辩论??



在去年的辩论中,Marcus和LeCun都坦言,深度学习当前还远不能实现简单的常识推理。LeCun甚至表示,如果在他的有生之年,深度学习在常识推理方面的智能能环球网综合报道够达到一只小老鼠的水平,那他也就心满意足了。


然而,对于深度学习发展的何去何从,两人却产生了不小的分歧。Marcus认为深度学习应该更全面地借鉴人类探索认知世界的方式,加入更多对物体、集合、空间等的认识表示,而LeCun则认为深度学习并不需要太多地模拟人类的认知方式。


去年两人的讨论更多的是对深度学习未来发展之争,孰是孰非皆未可知。而这次两人的争论则似乎更有看头——Marcus本次质疑的是深度学习当前发展现状,是一场基于事实的讨论。两人此次再度怼上,输赢恐怕终有一个分晓。


让我们也回顾一下Gary Marcus这篇发布在arxiv上,长达27页的文献质疑了深度学习的哪些问题,仅摘录了部分精彩观点:


1.深度学习至今缺少足够的数据。


人类可以在一些尝试后学习抽象关系。但深度学习不具备这种学习抽象概念的能力,其需要依赖大量数据。深度学习目前缺乏通过明确的语言定义来学习抽象概念的机制,在DeepMind开发棋类和Atari游戏AI的工作中,有成千上万甚至数十亿的训练样例时效果最好。


正如Brenden Lake和他的同事最近在一系列论文中强调的那样,人类学习复杂规则要比深度学习系统更有效率。


2.深度学习至今仍不够深入,且在迁移度上存在很大局限。


尽管深度学习能够带来一些惊人的成果,但重要的是要认识到,深度学习中的“深度”一词指的是技术特性(在现代神经网络中使用了大量的隐藏层),而不是一个概念。


Robin Jia和Percy Liang(2017)最近的实验是语言领域的一个例子。神经网络在一个被称为SQUAD(斯坦福问答应答数据库)的问题回答任务上进行了训练,其目标是突出特定段落中对应于给定问题的单词。例如,通过一个已训练的系统,可准确地识别出超级碗 XXXIII 的胜利者是 John Elway。但 jia 和 Liang 表明,仅靠插入干扰句(例如宣称谷歌的 Jeff Dean 在另一个杯赛中获得了胜利)就可以让准确率大幅下降。在 16 个模型中,平均准确率从 75% 下降了到了 36%。


通常情况下,深度学习提取的模式,比最初的模式更肤浅。


3.现在的深度学习并没有能够处理层次化结构的方法。


至少目前来说,深度学习无法学到层次结构。


深度学习学到的是各种特征之间的相关性,这些特征本身是“平坦的”或非分层的,就好像在一个简单的非结构化列表中一样,每个特征都是平等的。层次结构(例如,识别句法结构中的主要从句和嵌入式从句)在这样的系统中并不能被直接表示,因此深度学习系统被迫使用其他代理变量,例如序列中呈现的单词的顺序位置。


相对而言,像Word2Vec(Mikolov,Chen,Corrado,&Dean,2013)这样的将单个词汇表示为向量的系统表现更好。另一些系统试图在矢量空间中表示完整的句子(Socher,Huval,Manning,&Ng,2012),但是,正如Lake和Baroni的实验所表明的那样,循环神经网络难以处理丰富的层次结构。


4.深度学习至今无法解决开放性的推理问题。


如果你不能理解“John promised Mary to leave” 和 “John promised to leave Mary”之间的细微差别,那么你不能推断谁是谁离开了谁,或者接下来可能发生什么。


目前的机器阅读系统已经在“问答”这样的任务中取得了一定程度的成功,其中对于给定问题的答案被明确地包含在文本中,但是在推理超出文本的任务时却很少成功。组合多个句子(所谓的多跳推理)或通过组合明确的句子与没有在特定文本选择中陈述的背景知识,对于深度学习还很难。


5.深度学习还不够透明。


“黑箱”神经网络的相对不透明性一直是过去几年讨论的重点(Samek,Wiegand,&Müller,2017; Ribeiro,Singh,&Guestrin,2016)。


目前的深度学习系统有几百万甚至几十亿的参数,对开发人员来说,很难使用人类可解释的标签(“last_character_typed”)来标注它们,而仅仅能描述它们在一个复杂的网络中的位置(例如,网络模块k中第j层的第i个节点的活动值)。


尽管在复杂网络中可以看到个体节点的贡献(Nguyen,Clune,Bengio,Dosovitskiy和Yosinski,2016),但大多数研究者都承认,整个神经网络仍然是一个黑盒子。


6.深度学习尚未能很好地结合先验知识。


深度学习的主要方法是解释学,也即,将自我与其他潜在有用的知识隔离开来。


深入学习的工作通常包括,找到一个训练数据库,与各个输出相关联的输

入集,通过学习这些输入和输出凯发国际试玩之间的关系,通过调参等方式,学习解决问题的方法。有些研究会主动弱化先验知识,比如以 LeCun 为代表的神经网络连接约束等研究。


人们可以很容易地回答“威廉王子和他那还没几岁的儿子乔治王子谁高”这样的问题。你可以用衬衫做沙拉吗?如果你把一根别针插入一根胡萝卜,它是在胡萝卜还是在别针上留下一个洞?据我所知,没有人会试图通过深度学习来解决这类问题。这些显而易见的简单问题需要人类将知识整合到大量不同的来源中。如果要达到人类认知的灵活性,除了深度学习,我们还需要另一个完全不同的工具。


7.深度学习还无法区分“因果关系”和“相关性”。


因果关系和相关性是两个不同的概念,这两者的区别也是深度学习面临的一个严重问题。粗略地说,深度学习学习输入和输出特征之间的复杂关联,但没有固有的因果表示。


比如,把人类作为整体数据,深度学习可以很容易地学习到,“身高”和“词汇量”是相互关联的,但不能说这种相关性来自“长大(growth)“和”发展(development)”。孩子们在学习更多的单词时也在长大,但这并不意味着,长大会使他们学习更多的单词,也不是说,学习新的单词使他们长大。


因果关系在人工智能的其他一些方法中是中心因素(Pearl,2000),但深度学习的核心不是应对这一任务的,所以深度学习很少考虑这一问题。


8.深度学习在一个环境稳定的世界里表现最好,然而现实往往并非如此。


深度学习在高度稳定的世中国13个我们把你们的敌人看成界中表现很好,比如棋盘类游戏,因为其有着不变的规则,而在政治和经济这类不断变凯时娱乐官网化的问题上,表现很有限。


如果在诸如股票预测等任务中应用深度学习,那么很有可能出现Google预测流感趋势的命运:一开始在搜索趋势方面预测流行病学数据方面做得很好,但是却无法预测出像2013年流感季节高峰的出现(Lazer,Kennedy,King,&Vespignani,2014)。


9. 当你需要一个近似的结果时,深度学习效果不错,但不能完全信赖这些结果。


深度学习系统在某个特定领域,表现会比较优秀,但很容易被愚弄。


越来越多的论文显示了这种脆弱性,从上面提到的语言学例子、到视觉领域的例子,都反映了这一问题。在Nguyen,Yosinski和Clune在2014年的一篇论文中,深度学习将黄黑相间的条纹误以为校车,将带有贴纸的停车标志误以为装满食品的冰箱。


10.深度学习仍很难被工程化。


从上面提出的所有问题还会引出另一个事实,那就是深度学习很难被着真正稳健地工程化。


Google的一个作者团队在2014的一篇文章中提到,机器学习就好像“ 有着高利息的技术债务信用卡”,意思是说,我们可以相对容易地使系统在一些有限的环境下工作(短期收益),但是很难保证他们能够在可能与以前的训练数据不相似的新数据的情况下工作(长期债务)。


正如Google的Peter Norvig(2016)所指出的那样,机器学习仍然缺乏经典编程的渐进性,透明性和可调试性,在实现稳健性方面面临着挑战。 Henderson及其同事最近对这些观点进行了扩展,重点强调了深入的强化学习,并指出了与稳健性和可复制性有关的一些严重问题。尽管自动化机器学习系统的开发已经取得了一些进展,但还有很长的路要走。

中新经纬客户端1月4日电(薛宇飞)长沙市政府1月2日宣布,2017年全市地区生产总值预计达10200亿元,这是长沙经济总量首次跨三国成春节皮肤标配?历年买菜、过万亿门槛。中新经纬客户端统计,加上长沙,GDP超过1万亿的城市达到了13个,其中,上海、北京、深圳的GDP总量都已经迈过2万亿关口。继长沙之后,无锡很有可能成为下一个万亿GDP城市。

13城GDP过万亿占全国经济总量1/4还多

长沙市第十五届人民代表大会第二次会议1月2日开幕,长沙市市长陈文浩在政府工作报告中指出,2017年全市地区生产总值预计达到10200亿元,增长9.0%。他指出,2017年,长沙大力实施“创新引领、开放崛起”战略,加快打造国家智能制造中心、国家创新创意中心、国家交通物流中心,完成了长沙市十五届人大一次会议确定的目标任务。

中国13个城市GDP超万亿 占全国经济总量1/4还多

在长沙之前,中国已有12个城市跻身万亿GDP俱乐部。中新经纬客户端(微信公众号:jwview)整理数据发现,上海GDP在2006年率先突破万亿关口,成为中国首个生产总值环亚国际娱乐城网址突破万亿元的城市。2008年和2010年,北京、广州相继过万亿,2011年,深圳、天津、苏州、重庆一同杀入万亿俱乐部,中西部重镇武汉、成都则在2014年携手跨入。2015年,杭州市的GDP超过1万亿,南京、青岛则在2016年完成这一历史跨越。至此,长沙成为继重庆、武汉、成都之后第4个迈入万亿GDP俱乐部的中西部城市。

由于各地2017年全年的经济数据尚未公布,中新经纬客户端(微信公众号:jwview)以2016年的数据为例。数据显示,2016年中国城市GDP超过2万亿元的城市共有3座,分别是上海(27466.15亿元)、北京(25669.1亿元)、深圳(20078.58亿元),广州的经济总量为19805.42亿元,跨入2万亿仅有一步之遥。

在万亿GDP俱乐部中,若以经济总量进行排名,4个一线城市处在第一梯队,天津、重庆、苏州大致位于第二梯队,经济总量分别排在第5-7位,天津、重庆GDP均超过1.7万亿,苏州超过1.54万亿。成都、武汉、杭州、南京、青岛5座城市排在8-12位,处在第三梯队的位置,GDP总量相差不大,均在1万亿-1.21万亿之间。

算上长沙,上述13个城市的经济总量相当可观。以2016年的数据进行统计,这13座城市

当年的GDP总量合计约为209326亿元,2016年全国的经济总量为744127亿元。这13座城市的GDP总量,已经占全国经济总量的28.13%,超1/4还多。

中国国际经济交流中心副总经济师徐洪才对中新经纬客户端(微信号:jwview)表示,中国依然处在快速的城镇化进程之中,大城市化的协同带动作用加强,产业的一体化在快速推进,大城市的吸引力与经济活力依然非常强劲。

下一个万亿GDP城市是谁?无锡最有可能

中国13个城市GDP超万亿 占全国经济总量1/4还多

上海外滩。中新经纬 王永乐 摄

数据显示,除长沙在2017年闯入万亿GDP俱乐部外,无锡市的经济总量也有可能跨过万亿关口。同时,宁波、佛山、郑州等城市潜力巨大。

无锡市统计局近日表示,实施研发支出核算方法改革后,2016年该市GDP增加177.79亿元,GDP总量修订为9387.81亿元,已经接近万亿大关。

2015年、2016年、2017年前三季度,无锡市的GDP增速分别为7.1%、7.5%、7.4%,无锡市政府2017年初制定的经济增长目标为7%—7.5%,若按照近几年增长数据进行合理预测,2017年实现预定的增长目标,难度并不大。即便以最低7%的增速计算,无锡市2017年全年GDP也将超过1万亿。届时,中国GDP过万亿的城市将达到14个。

据2016年中国各个城市GDP数据统计,经济总量在8000亿元的城市有3个,分别为佛山、宁波、郑州,分列当年中国城市GDP总量的第15-17位。那这3个城市能否拿到万亿俱乐部的门票呢?

数据显示,2016年,佛山、宁波、郑州的经济总量分别为8630亿元、8541.1亿元、8114亿元,上述3地2017年前三季增速分别为8.6%、8.3%、8.1%。佛山、宁波经济总量在2017年达到9000亿元或许并不是难事,若想跨过万亿门槛,或许还要再等等。经济总量弱于佛山和宁波的郑州,更需积蓄力量。

王晓武 本文来源:中新经纬 本文仅代表作者观点,不代表百度立场。
本文系作者授权百度百家发表,未经许可,不得转载。