告别自注意力，谷歌为Transformer打造新内核Synthesizer 7
一只小狐狸带你解锁 炼丹术&NLP 秘籍 今天给大家介绍一篇来自Google的最新论文《SYNTHESIZER: Rethinking Self-Attention in Transformer Models》[4]，该论文重新探索了Transformer中注意力机制的必要性，并引入了新的attention计算方法Synthesizer。实验显示，即使不进行token之间的attentio...
Transformer哪家强？Google爸爸辨优良！ 13
2017年Attention is all you need横空出世，Transformer横扫机器翻译，隔年诞生的BERT建立在层层堆叠的Transformer之上，凭借这个平平无奇的Attention点乘模型一举刷新了各种沉积许久的榜单，一夜间仿佛不懂Transformer，都不敢说自己是NLPer了，曾经最心爱的RNN也瞬间黯然失色。 Transformer有着简易的的结构、SOTA的能力，...
互联网大厂CTR预估前沿进展 49
前言 CTR（click through rate）预估模型是广告推荐领域的核心问题。早期主要是使用LR（线性回归）+人工特征工程的机器学习方法，但是存在人工组合特征工程成本较高，不同任务难以复用的问题。后来随着FM因子分解机的出现，提出了使用二阶特征自动交叉的方法，缓解了人工组合特征的难题。之后2014年Facebook使用GBDT+LR方案，提出了树模型构建组合特征的思路。2015年后，由于深...
我删掉了Transformer中的这几层…性能反而变好了？ 13
基于Transformer结构的各类语言模型（Bert基于其encoder,Gpt-2基于其decoder）早已经在各类NLP任务上大放异彩，面对让人眼花缭乱的transformer堆叠方式，你是否也会感到迷茫？没关系，现在让我们回到最初，再次看看transformer 本来的模样——Rethinking the Value of Transformer Components。该文收录已于COLI...
没有什么多模态任务是一层Transformer解决不了的！ 5
曾几何时，多模态预训练已经不是一个新的话题，各大顶会诸多论文仿佛搭上Visual和BERT，就能成功paper+=1，VisualBERT、ViLBERT层出不穷，傻傻分不清楚......这些年NLPer在跨界上忙活的不亦乐乎，提取视觉特征后和文本词向量一同输入到万能的Transformer中，加大力度预训练，总有意想不到的SOTA。 如何在多模态的语境中更细致准确地利用Transformer强大...
谁才是Transformer家族中的最强王者？谷歌告诉你答案 14
自从17年Attention is all you need发出，继而18年BERT刷新各大榜单，大型预训练Transformer似乎已经成为自然语言处理的标准基准模型，甚至进一步渗透到图像领域。各路大神基于Transformer提出了海量改进方法。这些改变是否对大多数任务有效？谷歌的研究人员对大量的设定在统一的代码库和硬件环境下进行了实验比较。出乎意料的是，大多数“高大上”的改进都不能拓展到所有...
Transformer太大了，我要把它微调成RNN 18
从前车马很慢，显卡跑的也慢，一生只够爱一个RNN。后来时代进步了，数据量和计算力阔绰了，堆叠起来的Transformer能够在更深更宽的模型结构里吃下去更多的数据。从19年的预训练浪潮开始，暴力美学兴起，更深的Transformer更久的预训练更大的模型参数量，暴力出奇迹一个个NLP榜单被刷新，但谁又记得起来当初Transformer论文里“解决RNN无法并行化训练问题”的追求效率的motivat...
可交互的 Attention 可视化工具！我的Transformer可解释性有救了？ 9
视觉是人和动物最重要的感觉，至少有80%以上的外界信息是经过视觉获得的。我们看论文的时候，通过图表来确定文章的大致内容往往也是一个更高效的 说到深度神经网络的可视化，最经典的莫过于的CNN密恐图了： 这种可视化方法可以让我们清晰的知道每一层的每一个Cell关注何种信息，模型最后是如何逐层迭代处理得到最后的判断。但是对NLP而言，文字并不容易转换成这样直观的视觉表示。对Transformer而言，理...
谷歌：CNN击败Transformer，有望成为预训练界新霸主！LeCun却沉默了... 15
这几年，大家都说深度学习进入了预训练时代。作为一个入行不久的小白，我一直以为各类基于 Transformers 结构的预训练模型是 NLP 的巨大里程碑，CNN、RNN 老矣，只配作为手下败将。大家的文章似乎也是这样：把 BERT 作为 encoder 的归为一组来对比性能，把 CNN、RNN encoder 归为另一组，且总是要比基于 BERT 的差一些。 但是，我们有没有想过一个问题？当今所有...
LayerNorm是Transformer的最优解吗？ 10
一只小狐狸带你解锁 炼丹术&NLP 秘籍 前言 众所周知，无论在CV还是NLP中，深度模型都离不开归一化技术（Normalization）。在CV中，深度网络中一般会嵌入批归一化（BatchNorm，BN）单元，比如ResNet；而NLP中，则往往向深度网络中插入层归一化（LayerNorm，LN）单元，比如Transformer。 为什么在归一化问题上会有分歧呢？一个最直接的理由就是，B...
- 1
- 2
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
推广返利