清华张长水等人30页少样本学习综述论文，涵盖400+参考文献

知行编程网 2022-06-29 15:00 知行编程网 | 隐藏边栏 | 抢沙发 | 10 0

文章评分 0 次，平均分 0.0 ：

选自 | arXiv 作者 | 张长水等

编译 | 机器之心编辑 | 魔王

这篇综述文章回顾了少样本学习（FSL）的演进历史和当前进展，对 FSL 方法进行了层次分类，并总结了近期多个 FSL 扩展性主题及其最新进展，介绍了 FSL 在计算机视觉、自然语言处理等领域中的应用。

少样本学习（FSL）是机器学习领域中重要且有难度的课题。基于少量样本进行学习和泛化的能力是区分人工智能和人类智能的重要分界线，因为人类往往能够基于一个或少量样本建立对新事物的认知，而机器学习算法通常需要数百或数千个监督样本才能实现泛化。

少样本学习的研究可以追溯到 21 世纪初，近年来随着深度学习技术的发展它也受到广泛的关注，但是目前关于 FSL 的综述文章较少。清华大学教授、IEEE Fellow 张长水等人广泛阅读和总结了自 21 世纪初到 2019 年的 300 余篇论文，写了一篇关于 FSL 的综述文章。

论文链接：https://arxiv.org/pdf/2009.02653.pdf

这篇综述文章回顾了 FSL 的演进历史和当前进展，将 FSL 方法分为基于生成模型和基于判别模型两大类，并重点介绍了基于元学习的 FSL 方法。

此外，本文还总结了近期出现的多个 FSL 扩展性主题及其最新进展，并介绍了 FSL 在计算机视觉、自然语言处理、音频、强化学习和机器人学、数据分析等热点研究领域中的应用。

最后，本文讨论了 FSL 的未来趋势，希望能为后续研究提供指引。

该综述文章的新颖之处和主要贡献包括：

对自 21 世纪初至 2019 年的 300 余篇 FSL 主题论文进行了更加全面及时的综述，涵盖从早期 Congealing 模型 [29] 到近期元学习方法的所有 FSL 方法。详尽的阐述有利于掌握 FSL 的整体发展脉络，构建 FSL 的完整知识结构体系。
该论文提供了易于理解的层次分类，根据建模原则将现有的 FSL 方法分为基于生成模型的方法和基于判别模型的方法。在每一个类别中，又基于泛化性进行细分。
该论文重点介绍目前主流的 FSL 方法，即基于元学习的 FSL 方法，并将其分为五个大类：Learn-to-Measure、Learn-to-Finetune、Learn-to-Parameterize、Learn-to-Adjust 和 Learn-to-Remember。此外，该综述文章还揭示了多种元学习 FSL 方法之间的底层发展关系。
该论文在原版 FSL 之外，还总结了近期出现的多个扩展性研究主题及其进展。这些主题包括：半监督 FSL、无监督 FSL、跨域 FSL、通用 FSL 和多模态 FSL，它们很有挑战性，且为解决方案赋予了实际意义，可用于许多现实机器学习问题。而之前的综述文章很少涉及这类扩展性主题。
该论文广泛地总结了现有 FSL 方法在多个领域的应用，如计算机视觉、自然语言处理、音频、强化学习和机器人学、数据分析等，还概括了当前 FSL 方法在基准数据集上的性能，以为后续研究提供指引。

文章结构

第二章：概述 FSL 发展历史、符号和定义，以及对现有 FSL 方法进行分类；
第三章：介绍第一类 FSL 方法——基于生成模型的方法；
第四章：介绍第二类 FSL 方法——基于判别模型的方法；
第五章：总结 FSL 的多个扩展性主题；
第六章：介绍 FSL 在多个领域中的应用，及基准性能；
第七章：探讨 FSL 的未来方向。

下图 1 展示了该综述文章的主要内容，包括 FSL 的发展过程、方法分类、扩展性主题和应用。

这篇综述文章篇幅较长，共有 30 页内容，参考文献多达 414 篇。我们仅选取部分概括性的图表进行展示，详情参见原论文。

基于生成模型的 FSL 方法

下表 1 总结了第一类 FSL 方法——基于生成模型的 FSL 方法：

基于判别模型的 FSL 方法

本文将基于判别模型的 FSL 方法分为四类：增强、度量学习、元学习和其他方法，并重点介绍了元学习方法。

下图 2 概括了基于增强的 FSL 方法的通用框架：

下表 2 则总结了监督式和无监督式增强方法：

下图 8 展示了基于度量学习的 FSL 方法的通用框架：

下表 3 则总结了基于度量学习的 FSL 方法的主要特征：

元学习

下图 12 展示了基于元学习的 FSL 方法的通用框架：

此外，这部分还介绍了基于元学习的 FSL 方法的五个子类别：Learn-to-Measure (L2M)、Learn-to-Finetune (L2F)、Learn-to-Parameterize (L2P)、Learn-to-Adjust (L2A) 和 Learn-to-Remember (L2R)。

下图 13 展示了不同 L2M 方法之间的发展关系：

许多近期提出的 Learn-to-Finetune 方法属于 MAML 变体，下图 16 展示了 MAML 与其变体之间的关系：

下表 4 总结了 Learnto-Parameterize 方法：

下表 5 总结了 Learn-to-Adjust 方法：

下图 22 展示了 Learn-to-Remember 方法的通用框架：

FSL 方法的应用领域

下表 9 总结了 FSL 方法在计算机视觉、自然语言处理、音频、强化学习和机器人学、数据分析等领域的应用：

—完—

<pre style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;letter-spacing: 0.544px;white-space: normal;font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;widows: 1;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section powered-by="xiumi.us" style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="margin-top: 15px;margin-bottom: 25px;max-width: 100%;opacity: 0.8;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section powered-by="xiumi.us" style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="margin-top: 15px;margin-bottom: 25px;max-width: 100%;opacity: 0.8;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section><section style="margin-bottom: 15px;padding-right: 0em;padding-left: 0em;max-width: 100%;color: rgb(127, 127, 127);font-size: 12px;font-family: sans-serif;line-height: 25.5938px;letter-spacing: 3px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;color: rgb(0, 0, 0);box-sizing: border-box !important;overflow-wrap: break-word !important;"><strong style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;font-size: 16px;font-family: 微软雅黑;caret-color: red;box-sizing: border-box !important;overflow-wrap: break-word !important;">为您推荐</span></strong></span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;">干货 | 算法工程师超实用技术路线图</section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="font-size: 14px;">那些轻轻拍了拍Attention的后浪们</span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;">吴恩达推荐笔记：22 张图总结深度学习全部知识</section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;color: rgb(0, 0, 0);box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="font-size: 14px;">周博磊自述：一个神经元的价值和一个神经病的坚持</span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;color: rgb(0, 0, 0);box-sizing: border-box !important;overflow-wrap: break-word !important;">你一定从未看过如此通俗易懂的YOLO系列解读 (下)</section></section></section></section></section></section></section></section></section>

本篇文章来源于: 深度学习这件小事

本文为原创文章，版权归知行编程网所有，欢迎分享本文，转载请保留出处！

知行编程网关注：1 粉丝：1

这个人很懒，什么都没写

内容反馈

你可能也喜欢

热评文章

发表评论

联系我们

标签云

推广返利