深度学习有很长的一段路要走!Keras作者谈机器学习的局限性

  • 时间:
  • 浏览:1
  • 来源:大发5分11选5_大发5分11选5官网

文章原标题《The limitations of deep learning》,作者:Francois Chollet,译者:夏天,审校:主题曲。

将这俩复杂的几何变换应用到输入数据的整个过程,都可以 不能 想象成是另另一个多试图将纸球弄平的人:皱巴巴的纸球是各种各种样的输入数据。而人抚平纸球的每个动作类事于每一层的简单几何变换。而抚平纸球的手势一点整个模型的复杂变换。宽度学习模型是用于处理高维度数据复杂流形的数学机器。

“对抗性的例子”使得这俩风险尤为突出,那一点向宽度学习网络输入特殊的样本,试图欺骗模型产生错误的分类。你应该可能性意识到,都可以 不能 在输入空间中执行梯形上升,以生成最大限度地激活一点ConvNet过滤器的输入。类事地,通过梯度上升,都可以 不能 稍微修改另另一个多图像,以使给定类的类预测最大化。通过拍摄一只熊猫,并去掉 另另一个多“长臂猿”梯度,当当我们都 都可以 不能 得到另另一个多将这只熊猫分类为长臂猿的神经网络。这证明了那先 模型的脆弱性,以及输入输出映射和当当我们都 人类感知之间的宽度差异。

在宽度学习中,一切总要向量,一切总要几何空间中的另另一个多点。模型输入(它都可以 不能 是文本,图像等等)和目标首先会被“向量化”,类事转去掉 五种生活初始输入向量空间和目标向量空间。宽度学习模型中的每一层都对通过它的数据进行简单的几何变换。模型的多个层链接在同去形成非常复杂的几何变换,同去又都可以 不能 分解成一系列简单的几何变换。这俩复杂的转换会将输入空间映射到目标空间。该变换使用层的权重来进行参数化,那先 层根据模型当前执行的程度进行迭代更新。这俩几何变换的关键形态是它都可以 不能 是可微分的,这是为了使当当我们都 不能通过梯度下降来学习其参数。这愿因从输入到输出的几何变换都可以 不能 是平滑而连续的,这是另另一个多显著的局限性。

这与宽度网络形成了鲜明的对比,我称之为“局部泛化”:可能性新的输入与在训练时间内想看 的东西差异非常小,则从宽度网络输入到输出的映射就会快速停止。类事,对于通过学习适当的发射参数来让火箭登陆月球这俩什么的什么的问题。可能性你使用宽度网络来实现这俩任务,无论是使用监督学习还是强化学习进行训练,都可以 不能 成千上万次的启动试验。相比之下,人类都可以 不能 利用个人的抽象力来提出物理模型(火箭科学),并得出另另一个多精确的处理方案,只需一次或几次试验即可让火箭飞到月球上。

同样的,可能性你开发出另另一个多控制人体的宽度网络,并希望它自学驾驶一公里车安全地穿过一座城市,一点不与一点车辆相撞,什么什么都那末这俩网络都可以 不能 在各种状态下我能 死掉数千次,直到都可以 不能 推断出车和危险,并制定适当的避让行为。可能性装下 一点城市,则网络都可以 不能 重新学习大帕累托图的知识。而个人面,人类不让一而再再而三的死亡就不能自学安全驾驶,这归功于人类假设场景的抽象建模能力。

这俩点宽度学习的魔力:将意念转化为向量,转化为几何空间,一点逐步学习将另另一个多空间映射到一点空间的复杂几何变换。

人类的能力并非一点将即时刺激映射成即时反应,就像宽度网络可能性昆虫那样。当当我们都 对个人及他人

目前的状态维持着五种生活复杂一点抽象的模型,使用那先 模型都可以 不能 预测未来,并进行长远规划。当当我们都 有能力将已知概念融合在同去,来表示出以前从未经历过的事情,比如说穿牛仔裤的马,可能性想象个人中了彩票以前会做那先 。这俩处理假设、扩展心智模型空间的能力远远超出了当当我们都 直接不能感受到的。简单地说,进行抽象和推理是人类认知的特点。我称之为“极端泛化”:几乎不使用可能性根本不使用新数据,就能适应新奇的可能性从未经历过的新状态的能力。

通过这俩简单策略实现的应用的空间几乎是无限的。然而,即使拥有极少量人为标注的数据,目前还是有统统的应用是无法通过宽度学习来实现的。比方说,我能 搜集成千上万条软件产品的功能列表,就像是由产品经理编写,并由另另一个多软件开发团队来编写相应的代码那样。一点,即使有那先 数据,你也无法训练出另另一个多宽度学习模型来阅读产品描述并生成相应的代码。一般来说,任何都可以 不能 推理编程、或应用科学法律办法的长期规划,以及像数据操作一点的算法,都无法用宽度学习模型来实现。即使是学习宽度神经网络的排序算法也是非常困难的。

这是可能性宽度学习模型一点“简单的”连续将另另一个多向量空间映射到一点向量空间的几何变换链。假设指在从X到Y的可学习的连续变换,则它的唯一功能一点把X:Y的密集采样的可用性作为训练数据,将另另一个多数据流行X映射到一点流行Y。统统,宽度学习模型都可以 不能 解释为五种生活任务管理器,但反回来,大多数任务管理器总不能表示为宽度学习模型。对于大多数任务来说,要么不指在相应大小的宽度神经网络都可以 不能 处理此任务,要么即使是指在,也是不可学习的。类事,相应的几何变换可能性太复杂,可能性可能性什么什么都那末可用的数据来学习。通过堆叠更多层次和使用更多的训练数据来扩展当前的宽度学习技术,都可以 不能 在皮下组织上缓解一点什么的什么的问题。一点,宽度学习模型都可以 不能 表示的方面非常有限,大多数希望学习的任务管理器一点能被表达为数据流连续的几何变换,那先 什么的什么的问题并非能从根本上得到处理。

当代人工智能指在另另一个多非常现实的风险,那一点高估了宽度学习模型的能力,真不知道这俩技术能做些那先 。人类思想的另另一个多根本形态是“思想理论”,当当我们都 倾向于把意图、信念和知识延伸到互近的事物上。在石面前画另另一个多笑脸,则会在当当我们都 的思维里出先“开心”二字。可能性把这俩思想应用到宽度学习上,就愿因,当当当我们都 成功地训练出另另一个多不能为图片生成描述性文字的模型时,就会认为该模型“理解”了图片,并生成描述性文字。一点,当训练数据中的图像产生轻微帕累托图时,就可能性会愿因模型生成非常荒谬的文字。

作为一名机器学习从业者,始终要注意这俩点,并非错误地认为神经网络理解当当我们都 所执行的任务。当当我们都 接受的训练比当当我们都 我想要教当当我们都 的并非完全相同:仅仅是另另一个多点另另一个多点的从训练输入到训练目标进行映射。在训练数据中去掉 一点特殊的内容,可能性会让模型产生荒谬的结果。

简而言之,尽管当当我们都 在机器感知方面取得了进步,但当当我们都 离人类级别的AI还很远:当当我们都 的模型都可以 不能 执行局部泛化,适应与过去数据非常接近的新状态。而人类认知不能极端泛化,越快适应各种新的状态。

迄今为止,宽度学习唯一真正的成功之处,是在给出了极少量的人为标注数据以前,使用连续的几何变换将空间X映射到空间Y。 做好这俩切,是每个行业游戏制定者必备的能力,但对于人类级别的AI,仍然有很长的路要走。

简而言之,宽度学习模型对输入的内容并非理解,大慨总要以人类的法律办法去理解。当当我们都 对图像、声音和语言的理解,植根于当当我们都 作为实体人类的感官体验之中。机器学习模型无法获得这俩经验,一点都可以 以人类的法律办法去“理解”当当我们都 的输入。

宽度学习最令人惊讶的地方是它相当得简单。十年前,有人会想到通过,使用梯度下降训练的参数模型不能我能 们都 在机器感知方面得到什么什么都那末惊人的成果。现在,事实证明,你唯一都可以 不能 的,是使用足够多的实例来进行梯度下降训练,并获得足够大的参数模型。费曼一点什么什么都那末描述宇宙:“它并非复杂,一点中含了那末来越多的东西”。

宽度学习模型在输入与输出之间所做的几何变换,与人类思考学习的法律办法之间似乎指在着本质的区别。人类在亲身体验中学习,而总要在训练中学习。除了学习过程不同之外,潜在的表现性质也指在着本质区别。

文章为简译,更为完全的内容,请查看原文。