点击顶部进行关注，所有内容都在AI中国
由于深入学习，人工智能取得了令人难以置信的成就，但它仍然缺乏人类的能力。
深度学习是机器学习在过去的十年里，它在各种实际应用中提供了超人的精确度。从革命性的客户体验，机器翻译语音识别、自动驾驶仪、计算机视觉、文本生成和语音理解等许多其他人工智能应用[2]。
与机器学习相比，人工智能agent基于机器学习算法从数据中学习，而深度学习基于神经网络结构。它的行为类似于人脑，并允许AI代理分析Fed数据——这是一种类似于人类结构的方式。深度学习模型不需要算法来指定如何处理数据，因为作为人类，我们收集并消耗大量数据，而这些数据反过来又被用于深度学习模型[3]。
“传统”类型的深度学习包含前馈模块（通常是卷积神经网络）和循环神经网络（现在是与存储单元的不同组合，如LSTM[4]或memnn[5]）。这些深度学习模型的“推理”能力有限，例如进行长链推理或简化获得答案的方法。计算的步长受前馈网络层数的限制，递归神经网络将在整个时间跨度内再次收集信息。
在这一点上有一个小问题。当深度学习模型得到训练时，并不总是清楚如何做出决策[6]。在许多情况下，它是否找到了正确的解决方案是不可接受的；也就是说，假设银行使用人工智能评估你的信用价值，然后拒绝给你贷款。在许多州，有法律要求银行澄清原因。如果银行使用深度学习模型做出贷款决策，他们的贷款部门（may）将无法清楚地解释贷款被拒绝的原因。
图1|由递归神经网络（RNN）生成的字幕，在这种情况下，RNN被训练以识别字幕中的高级图像呈现。
最重要的是缺乏常识。深度学习模式可能是最好的感知模式。然而，他们无法理解模式的含义，也没有理由理解它们。为了使深度学习模型具有推理能力，我们必须改变其结构，使其不产生单一输出（即图像的可解释性、段落的翻译等），而是整个排列的可选输出（即一个句子可以以不同的方式翻译）。这就是能量基础模型的目的：为每个可能的变量配置提供分数。
渐渐地，这些弱点吸引了公众对人工智能的关注，尤其是自动驾驶车辆，它们使用类似的深度学习策略在道路上驾驶[7]。然而，人们总是把它与沮丧和死亡联系在一起[8]。尽管对自动驾驶仪的深入研究已经证明，它造成的伤亡比人类驾驶员少得多，但在没有伤亡之前，人类自己不会完全信任自动驾驶仪。
此外，目前的深度学习形式是绝对有限的，因为它几乎所有的丰富用途[19][20][21][22][23][24][25][26][27][28][29][30][31][32]都使用手工注释来监督机器学习，这被认为是一个重要的弱点——这种依赖性阻碍了深层神经网络应用于输入数据不足的问题。为了捕捉现实世界的规律性，有必要从“粗糙”的非注释数据中找到方法来构建广泛的神经网络。将深度学习与对抗性机器学习技术相结合[17][18]可能是我们正在寻找的答案。
对于普通公众来说——不幸的是，公众对深度学习的理解并不完全公平。如果深度学习的工作仅限于人工智能研究实验室，那将是一回事。然而，深度学习技术现在被应用于每一种可能的应用中。技术高管和营销人员对深度学习技术的信任令人担忧。尽管深度学习是一项不可思议的壮举，但重要的是，不仅要发掘他们的优势，还要关注他们的弱点，以便制定行动计划。
Inmayasachan关于走向文学人工智能[33]的研究提出了一个有趣的案例，探索如何通过深入学习看到人工智能领域的重大发展。今天的人工智能系统仍然缺乏人类智能的内在本质。然后，他深入思考了在人类开始构建具有人类能力（推理、理解、常识）的人工智能系统之前，如何评估这些任务中的人工智能系统，以便彻底理解和开发真正的智能系统。他的研究建议使用人工智能系统的标准化测试（类似于正规教育系统中学生进行的测试）。通过使用两个框架来进一步开发人工智能系统，其显著的好处可以应用于社会形式的良好教育。
我们对用于深度学习和决策的神经网络有真正的理论理解吗？
试图模拟大脑结构的人工神经网络有许多人工神经元（节点）的连接。网络本身不是一个算法，而是一个框架。各种机器学习算法可以在其上运行，以完成所需的任务。神经网络工程的基础几乎完全基于启发式，很少强调网络结构的选择。不幸的是，没有明确的理论告诉我们如何为一个模型确定正确的神经元数量。然而，关于神经元数量和模型整体容量的理论研究很少[12][13][14]，实际应用也很少。
斯坦福大学的SanjeevArora教授生动地阐述了深度神经网络的泛化理论[15]，他在其中提到了深度学习的普遍奥秘：为什么训练有素的深度神经网络在以前看不见的数据上表现良好？换句话说，假设你用Imagenet训练一个深度学习模型，并用随机标签训练它的图像，结果会是高精度的。然而，使用能够推断出更高泛化程度的正则化策略并没有太大帮助[16]。无论如何，经过训练的神经网络仍然无法预测未知图像的随机标记，这反过来意味着神经网络无法推广。
图2|单像素攻击成功地欺骗了在cifar-10数据集上训练的三种深度神经网络。[9][10
最近，研究人员通过向大型图像数据集添加微小差异[9]，揭示了神经网络的模型输出，从而暴露了深层神经网络结构的漏洞。此前，其他几位研究人员也表示，根据输入的细微差异，它显示出类似的脆性水平，这与输出结果不一致。这些结果并没有激发人们的信心，即在自动驾驶汽车的环境中，环境容易出现各种细微差别（雨、雪、雾、阴影、误报等）——现在想象一个视觉系统被视觉输入略有变化的视觉系统抛弃。我相信特斯拉、优步和其他几家公司已经发现了这些问题，并正在制定解决方案。然而，公众也应该意识到这些问题，这一点很重要。
图3|一个像素成功攻击深度神经网络（DNN）。首先是原始标记，然后是括号中的攻击输出[9]
今天，我们被科技所包围。从我们家里的智能设备，口袋里的智能手机，桌子上的电脑，到将我们连接到互联网的路由器等等。在每一项技术中，基础设施都运转良好，这要归功于它们建立的坚实的工程原理、多年的统计测试和深度数学、物理、电气、计算机和软件工程以及所有这些领域的质量保证。
重要的是要记住，深度学习模型需要大量数据来训练初始模型（为了在不过度拟合的情况下获得高精度结果，请记住，子序列任务可以从迁移学习中学习），并且最终无法深入理解“深部神经结构”中真正发生的情况，从长远来看，构建可持续技术解决方案在实践和理论上都是不明智的。
参考：
[1]深度学习回顾|YannLecun、yoshuabengio、GeoffreyHinton|http://pages.cs.wisc.edu/~dyer/cs540/handouts/deep-learning-nature2015。pdf
[2]深度学习的30个惊人应用|YaronHadad|http://www.yaronhadad.com/deep-learning-most-amazing-applications/
[3]深度学习导论|比克沙·拉杰|卡内基梅隆大学|http://deeplearning.cs.cmu.edu/
[4]了解LSTM网络|NicholasTseola|http://colah.github.io/posts/2015-08-Understanding-LSTMs/
[5]记忆增强神经网络|Facebook人工智能研究|https://github.com/facebook/MemNN
[6]人工智能核心的黑暗秘密|麻省理工技术评论|https://www.technologyreview.com/s/604087/the-dark-secret-at-the-heart-of-ai/
[7]MIT6S094：自动驾驶汽车的深度学习。麻省理工学院https://selfdrivingcars.mit.edu/
[8]自动驾驶死亡名单|维基百科|https://en.wikipedia.org/wiki/List_of_self-driving_car_fatalities
[9]傻瓜深度神经网络的像素攻击|SuweiSu，DaniloVasconcellosVargas，KouichiSakurai|https://arxiv.org/pdf/1710.08864.pdf
[10]加拿大高级研究所数据集|cifar-10数据集|https://www.cs.toronto.edu/~kriz/cifar。html
[11]机器学习回忆录提供的图片|https://mlmemoirs.xyz
[12]深度神经网络容量|王敖森，周华，徐文耀，陈欣|arXiv|https://arxiv.org/abs/1708.05029
[13]用代数拓扑表示神经网络的能力WilliamH.guss，Ruslansalakhutdinov|卡内基梅隆大学计算机科学学院机器学习系|https://arxiv.org/pdf/1802.04443.pdf
[14]信息论、复杂性和神经网络|YaserS.AbuMostafa|加利福尼亚理工学院|http://work.caltech.edu/pub/Abu-Mostafa1989nnet.pdf
[15]泛化理论与深度网络，导论|SanjeevArora|斯坦福大学|http://www.offconvex.org/2017/12/08/generalization1/
[16]理解深度学习需要重新思考泛化|张志远、萨米·本吉奥、莫里茨·哈特、本杰明·雷希特、奥利奥·维尼亚|https://arxiv.org/pdf/1611.03530.pdf
[17]对抗环境下深度学习的局限性|尼古拉斯·帕普诺特、帕特里克·麦克丹尼尔、萨默什·贾哈、马特·弗雷德里克森、Z.伯克伊·塞利克、阿南特拉姆·斯瓦米|第一届IEEE欧洲安全和隐私研讨会论文集，IEEE2016，德国萨尔布鲁肯|http://patrickmcdaniel.org/pubs/esp16.pdf
[18]对抗环境下的机器学习|帕特里克·麦克丹尼尔、尼古拉斯·帕普诺特和Z.伯克伊·塞利克|宾夕法尼亚州立大学|http://patrickmcdaniel.org/pubs/ieeespmag16.pdf
[19]Alexkrizhevsky、Ilyasutskever和GeoffreyE.Hinton。深卷积神经网络的图像网络分类。“神经信息处理系统的进展”，2012年。
[20]亚尼夫·泰格曼、杨明、马克·奥雷里奥·兰扎托和利奥·沃尔夫。深入研究：弥合人脸验证中人类表现的差距。IEEE计算机视觉和模式识别会议记录，第1701-1708页，2014年。
[21]凯伦·西蒙扬和安德鲁·齐瑟曼。一种用于大规模图像识别的深度卷积网络。神经信息处理系统的进展，2015年。
[22]ChristianSzegedy、刘伟、杨阳青、皮埃尔·塞尔马内、斯科特·里德、德拉戈米尔·安格洛夫、杜米特鲁·二汉、文森特·范豪克、安德鲁·拉比诺维奇等。进一步深化卷积。在2015年的IEEE计算机视觉和模式识别会议记录中。
[23]何开明张向宇任少清孙健。深入研究：超越人性化表现的图像网络分类。IEEE计算机视觉国际会议记录，第1026-10342015页。
[24]何开明张向宇任少清孙健。深度残差学习用于图像识别。IEEE计算机视觉和模式识别会议记录（CVPR），第770-7781016页。
[25]GeoffreyHinton，LiDeng，DongYu，GeorgeEDahl，AbdelrahmanMohamed，NavdeepJaitly，AndrewSenior，VincentVanhucke，PatrickNguyen，TaraNSainath等。语音识别声学建模的深度神经网络：四个研究小组的共同观点。IEEE信号处理杂志，29（6）：82-972012。
[26]AwniHannun、CarlCase、JaredCasper、BryanCatanzaro、GregDiamos、ErichElsen、RyanPrenger、SanjeevSatheesh、ShubhoSengupta、AdamCoates等。语音识别：扩展到语音识别结束。arXiv预印本arXiv:1412.55672014
[27]韦恩·熊、贾莎·德洛波、黄学东、弗兰克·塞德、迈克·塞尔茨、安德烈亚斯·斯托尔克、董宇和杰弗里·茨威格。在会话语音识别中实现人类平等。arXiv预印本arXiv:1610.052562016
[28]钟正秋、塔拉·塞纳特、吴永辉、罗希特·普拉巴瓦尔卡、帕特里克·阮、陈志峰、安居
最新评论