知行编程网知行编程网  2022-08-02 14:00 知行编程网 隐藏边栏 |   抢沙发  3 
文章评分 0 次,平均分 0.0

Hinton再挖新坑:改进胶囊网络,融合Transformer神经场等研究

晓查 发自 凹非寺 
报道 | 量子位 

你还记得Hinton老爷子在2017年挖的坑吗?

胶囊网络的坑还没填完,刚刚他又挖了一个新坑。

近日Hinton提出了一个称为GLOM的假想系统,将一篇44页的文章发布在arXiv上——只有idea、没有实验,却引起AI界的广泛讨论。

Hinton再挖新坑:改进胶囊网络,融合Transformer神经场等研究

更准确地说,GLOM又不完全是一个新坑,而是在胶囊网络的坑里继续挖了一铲子。

GLOM综合和这些年AI领域的诸多成果,将Transformer、神经场(neural field)、对比表示学习、蒸馏等技术与胶囊网络。

为了解决胶囊网络的缺陷,Hinton这几年来一直关注着计算机视觉领域的最新进展,希望用CV新理论中有价值的部分去改进它。

改进胶囊网络

当初,Hinton根据人类对图像的认知方法,提出了胶囊网络,用于改进CNN。

CNN过去是计算机视觉中的主力,但CNN有很多缺点,比如它无法理解部分与整体之间的关系。

比如将人脸五官打乱,CNN仍然会因为识别到不同元素,而将它视为人脸。

Hinton再挖新坑:改进胶囊网络,融合Transformer神经场等研究

而且CNN也很难从不同视角去理解同一个物体。

Hinton认为,神经网络应该使用识别局部的“胶囊”,而不是使用总结全局特征的单标量输出“神经元”。

经过全球学术界3年多的努力,胶囊网络取得了一些成功,主要是在小型数据集的有监督和无监督学习中,但是还没有成功扩展到更大的数据集上。

Hinton再挖新坑:改进胶囊网络,融合Transformer神经场等研究

Hinton反思了胶囊网络的缺点,提出了GLOM。

GLOM借鉴了心理学的研究成果,即人类识别图像是将场景解析为整体与部分的层次结构,并且对它们的空间关系进行建模。

GLOM的设计思路

GLOM的体系结构如下图所示。图中列出了L层级与另外两个相邻层级之间的自下而上、自上而下和相同层级之间的交互。

Hinton再挖新坑:改进胶囊网络,融合Transformer神经场等研究

其中,自下而上的蓝色箭头和自上而下的红色箭头,是由具有几个隐藏层的两个不同的神经网络实现的。

这些网络在不同层级之间可以有所不同,但是它们可以在列之间和跨时间步共享。

对于静态图像,绿色箭头可以简单地按比例缩放残差连接,实现每个层级嵌入的时间平滑。

对于视频,绿色箭头可以是神经网络,该神经网络基于胶囊的多个先前状态来学习时间动态。

在下面的六组不同最低层级嵌入中,它们都指向同一个目标,且场景级别嵌入未知。

Hinton再挖新坑:改进胶囊网络,融合Transformer神经场等研究

图中所示各个层级上的相同向量的孤岛表示一棵解析树。但是,特征孤岛比短语结构语法要强大得多。

在GLOM中,场景级自上而下的神经网络,将场景矢量和图像位置转换为该位置的目标矢量。该矢量包括有关目标相对于相机的3D姿态的信息。属于同一目标的所有位置都被赋予完全相同的目标级向量。

然后,神经网络将目标级向量加一个位置,转换为适合该位置的部分向量,往下依此类推。

这样,作用在完全相同的人脸矢量上的自上而下网络,能够预测某些位置的鼻子矢量和其他位置的嘴矢量。

与其他方法对比

那么,GLOM相比传统的CV方法有哪些优点呢?

Hinton认为,与胶囊网络对比,GLOM的主要优势是,它避免了在每个层级将神经元预先分配给一组离散的可能部分的需求。

此外,GLOM的还有不需要动态路由的优点,用于形成岛的聚类形成过程,也比胶囊模型中使用的聚类过程好得多。

Hinton再挖新坑:改进胶囊网络,融合Transformer神经场等研究

与Transformer对比,GLOM每层的权重都相同,通过在一定程度上使用嵌入向量作为查询、键值,极大地简化了注意机制。

在GLOM中,原本Transformer的多头被重新设计为用于实现部分整体结构的多个层级,并且多头之间的交互高度结构化,某个层级仅与相邻层级进行交互。

网友怎么看

对于这篇44页仅提供idea的论文,不同网友表现出了完全相反的看法。

一些实用派认为,论文没有实验,甚至都没有描述完整可运行的系统,看到开头声明就被劝退了。

Hinton再挖新坑:改进胶囊网络,融合Transformer神经场等研究

也有人认为,能看到顶尖科学家以这种形式表达自己的想法很好,可以深入了解他们的思维过程。最重要的是,Hinton的关注,可能会加快这个问题的解决,研究人员也会从中受到启发。

Hinton再挖新坑:改进胶囊网络,融合Transformer神经场等研究

最后,来自ETHZ的Yannic Kilcher博士已经在B站上传了对GLOM的详细解读,视频时长超过1小时,有兴趣朋友不妨去看看。

Hinton再挖新坑:改进胶囊网络,融合Transformer神经场等研究

论文地址:
https://arxiv.org/abs/2102.12627

参考链接:
[1] https://pechyonkin.me/capsules-1/

[2] https://www.cs.toronto.edu/~hinton/
[3] https://www.bilibili.com/video/BV1Qz4y1y7ea
[4] https://www.reddit.com/r/MachineLearning/comments/lszl9c/r_new_geoffrey_hinton_paper_on_how_to_represent/


Hinton再挖新坑:改进胶囊网络,融合Transformer神经场等研究

技术交流群邀请函

Hinton再挖新坑:改进胶囊网络,融合Transformer神经场等研究
Hinton再挖新坑:改进胶囊网络,融合Transformer神经场等研究

Hinton再挖新坑:改进胶囊网络,融合Transformer神经场等研究


Hinton再挖新坑:改进胶囊网络,融合Transformer神经场等研究

△长按添加小助手

扫描二维码添加小助手微信(ID : HIT_NLP

备注:姓名-学校/公司-研究方向-城市
(如:小事-浙大-对话系统-北京)
即可申请加入深度学习/机器学习等技术交流群

<section data-brushtype="text" style="padding-right: 0em;padding-left: 0em;white-space: normal;font-size: 16px;letter-spacing: 0.544px;color: rgb(62, 62, 62);font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;widows: 1;word-spacing: 2px;caret-color: rgb(255, 0, 0);text-align: center;"><strong style="color: rgb(0, 0, 0);font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;font-size: 14px;"><strong style="font-size: 16px;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;">—</span></strong>完<strong style="font-size: 16px;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;font-size: 14px;"><strong style="font-size: 16px;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;">—</span></strong></span></strong></span></strong></section><pre style="color: rgb(86, 86, 86);font-size: 16px;letter-spacing: 1px;text-align: left;"><pre><section style="letter-spacing: 0.544px;white-space: normal;font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;"><section powered-by="xiumi.us"><section style="margin-top: 15px;margin-bottom: 25px;opacity: 0.8;"><section><section style="letter-spacing: 0.544px;"><section powered-by="xiumi.us"><section style="margin-top: 15px;margin-bottom: 25px;opacity: 0.8;"><section><section style="margin-bottom: 15px;padding-right: 0em;padding-left: 0em;color: rgb(127, 127, 127);font-size: 12px;font-family: sans-serif;line-height: 25.5938px;letter-spacing: 3px;text-align: center;"><span style="color: rgb(0, 0, 0);"><strong><span style="font-size: 16px;font-family: 微软雅黑;caret-color: red;">为您推荐</span></strong></span></section><p style="margin: 5px 16px;padding-right: 0em;padding-left: 0em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;">思考丨到底什么叫算法工程师的落地能力?<br  /></p><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;">我在哥大读博的五年,万字总结<br  /></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;">一个算法工程师的日常是怎样的?</section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;"><span style="font-size: 14px;">吴恩达上新:生成对抗网络(GAN)专项课程</span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;">从SGD到NadaMax,十种优化算法原理及实现</section></section></section></section></section></section></section></section></section>

本篇文章来源于: 深度学习这件小事

本文为原创文章,版权归所有,欢迎分享本文,转载请保留出处!

知行编程网
知行编程网 关注:1    粉丝:1
这个人很懒,什么都没写

发表评论

表情 格式 链接 私密 签到
扫一扫二维码分享