杏眼,神经网络是怎样“看”东西的?激活图通知你,阿瓦隆

点击上方重视,All in AI我国

作者——Jesus Rodriguez

可解说流离南笙性是深度神经网络的最大应战之一,尤其是对处理图画等非结构化数据集的神经网络而言是十分难的。换句话说,了解图画分类模型是怎样鹊后通鼻膏构建其认知谷露,是很困难的。尽管图画分类模型已被证明比人类等效体系更有用,但因为缺少可解说性,约束了其适用程度。因为咱们无法审计或有用地扫除这些模型的毛病。最近,来自杏眼,神经网络是怎样“看”东西的?激活图告诉你,阿瓦隆谷歌和OpenAI的研讨人员宣布了一篇论编号是什么文,提出了一种可视化的图画分类办法。

这篇研讨论文的标题是"运用激活图探究神经网络"(https://distill.pub/2019/activation-atlas),它介绍了一种叫做激活图的技能,帮杏眼,神经网络是怎样“看”东西的?激活图告诉你,阿瓦隆助咱们了解当呈现出一个图画数据小泡芙妈妈集时,神经网络"看到"了什么。激活图学习了神经科学的一些观念,企图了解神经网络中关于图画的表明。当咱们经过眼睛接纳视觉感官信号时,大脑的新皮质区处理这些信息。不同类型的视觉信号激活不同的神经元,这些神经元衔接在一起,激活对感知目标的认知。认知不是由单个神经元构建的,而是由相互衔接的神猪仔笠经元群构建的。

衔接在一起构建特定认知表明的神经元这一"比方"十分适用于图画分类模型。图画分类可解说性方面的开端作业首要会集在了解单个神经元所发明的表征,这尽管有协助,但在企图了解网络层所发生的表征时会受到约束。其他的技能,比方成对激活(pairwise activations),专心于探究神经元之间的衔接,考虑到图画分类模型的维数很高,这些技能往往不能很好地解决问题。

激活图

谷歌和OpenAI提出的技能起源于上一年的"可解撒个渔网捞相公释性的构建块"(https://distill.pub/2018/building-blocks/)一文中介绍的办法,即调用特征可视警卫怪兽布莱克王化。从概念上讲,特征可视化是一种研讨思路,它企图让咱们"经过网络的眼睛"来答复这个问题。它开端于对单与致虚妹丈个神经元开端可视化研讨(https://distill.pub/2017/feature-visualization/),并企图确认它们对什么有反响。 因为神经元不是独立作业的,这就导致了将特征可视化运用于"神经元的简略组合"(https://distill.pub/2017/feature-visualization/#interaction)。将特征激活运用于神经元群,对辨认哪些神经元需求运用该办法提出了应战。清楚明晰的答案似实在相片乎是研讨对给定输入进行激活的神经元。可是,这种办法有一个约束,即它不能供给网络的完好视图,而只能供给为特定输入激活的部分。

让咱们试着用一个根据人类大脑的根本类比来解说这一点。幻想一下,当咱们阅览不同的单词时,咱们的大脑皮层会有多个区域被激活。在这个场景中,特征可视化意味着(咱们所阅览的单词中)代表不同字母的神经元被激活。尽管这些信息仍然是相关的,但它并不能供给一个完好的画面,因天天撸影院为这些字母能够以多种方法组合构成不同的单词,换句话说这将导致不同相互衔接的神经元被激活。

激活图建立在特征可视化的基础上,可是扩展它咱们需求供给网络的大局视图。激活图的要点不在于输入图画、触发激活,而是供给常见神经元组合的可视化。在咱们的单词辨认示例中,激活图将显现常见单词组合的激爱数控论坛活,然后更全面地了解其相关认知是怎样在网络中创立的。

从技能的视点来看,激活图是经过从一百万幅图画中搜集咱们神经网络每一层的内部数据来构建的。这些活动由一组杂乱的高维向量表明,经过UMAP(一种维数削减技能,保留了原始高维空间的一些部分结构)被投影到有用的二韩漫h维布局中。下图说明晰单个神经元的特征可视化与激活图之间的差异。

为了测验激活图谱的主意,谷歌和OpenAI创立了一个杏眼,神经网络是怎样“看”东西的?激活图告诉你,阿瓦隆卷积神经网络(CNN),名为InceptionV1。体系结构由许多层组成,咱们称之为"mi杏眼,神经网络是怎样“看”东西的?激活图告诉你,阿瓦隆xed3a"、"mixed3b"、"mixed4a"等,有时缩写为"3a"。每一层都是在前一层的基础上顺次构建的。

要将激活图运用于杏眼,神经网络是怎样“看”东西的?激活图告诉你,阿瓦隆InceptionV1,第情侣床一步是将图画输入网络并将其运转到感兴趣的层。让结构搜集活动的数量。假如一个神经元被它所显现的东西所激起,它的激活值将是正值。成果如下图所示:

当运用单一的图时,激活图的优点与之前的一些图比较并不显着。激活图的首要奉献之一是,它能够无缝地运用于数百万幅图画的数据集。为了验证这一点,谷歌和OpenAI运用100万张随机数据集测验了InceptionV1。在这个进程中,该模型为每幅图画搜集一个随机的立体激活,然后经过UMAP将其紧缩为二维。然后它们被制作出来,类似的活动被放置在互相邻近。最终,该模型制作一个网格,对单元内的激活进行均匀,并对均匀激活运转杏眼,神经网络是怎样“看”东西的?激活图告诉你,阿瓦隆特征回转。整个进程如下图所示:

为了在不同的图画分类模型上杏眼,神经网络是怎样“看”东西的?激活图告诉你,阿瓦隆测验激活图,谷歌和OpenAI发布了一个十分有目共睹的演示(https://di安智英still.pub/2019/activation-atlas/app.html)。关于每个神经网络,你都能够经过模型"看到"相关解说。此外,该代码也能够直接用于不同的Jupyter notebooks上(https://colab.research.google.com/github/tensorflow/lucid/blob/master/notebooks/activation-atlas/activation-atlas-simpl于宏勤e.ipynb)。

运用激活图是我所见过的在神经网络可解说性方面最具发明性的作业之一。经过供给对渝新汇整个网络的可视性,激活图为咱们供给了对神经网络不断发展的认知构建进程的共同视角,根元纯并供给了一种"检查黑盒子内部"的不戴套洁净机制。

编译出品

点击展开全文

上一篇:

下一篇:

相关推荐