124 页哈佛数学系本科论文，带你了解流形学习的数学基础

知行编程网 2022-07-25 14:00 知行编程网 | 隐藏边栏 | 抢沙发 | 2 0

文章评分 0 次，平均分 0.0 ：

来自 | 机器之心

近日，哈佛大学数学系毕业生、现牛津大学博士 Luke Melas-Kyriazi 发布其本科毕业论文，结合统计学习、谱图理论和微分几何三个数学领域介绍流形学习。

流形学习（manifold learning）是机器学习、模式识别中的一种方法，在维数约简方面具有广泛的应用。它的主要思想是将高维的数据映射到低维，使该低维的数据能够反映原高维数据的某些本质结构特征。流形学习的前提是有一种假设，即某些高维数据，实际是一种低维的流形结构嵌入在高维空间中。流形学习的目的是将其映射回低维空间中，揭示其本质。流形学习可以作为一种数据降维的方式。此外，流形能够刻画数据的本质，主要代表方法有等距映射、局部线性嵌入等。

自 2000 年在著名的科学杂志《Science》首次提出以来，流形学习成为机器学习领域中的一个热点。近日，一篇来自哈佛大学数学系的本科毕业论文引起了大家关注。它结合三个看似不太相关的数学领域来介绍流形学习的数学基础，这三个领域分别是：统计学习、谱图理论和微分几何。

论文链接：https://arxiv.org/pdf/2011.01307.pdf

什么是流形学习？

要想从数据中学习，我们首先要假设数据具备某种内在结构。在一些机器学习方法中，该假设是隐式的。而流形学习领域中该假设是显式的，它假设观察到的数据是嵌入在高维空间中的低维流形。直观来看，这一假设（又叫流形假设）认为数据的形态是相对简单的。

以自然图像的空间为例。图像是以像素形式存储的，因此图像空间在像素空间 R^H×W×3 内。但是，我们希望自然图像空间的维度比像素空间低一些，像素空间某种程度上几乎被看起来像「噪声」的图像塞满了。此外，我们可以看到自然图像空间是非线性的，因为两个自然图像的（像素级）平均并非自然图像。流形假设认为，自然图像空间具备低维流形嵌入在高维像素空间中的微分几何结构。

应当强调的是，流形学习不是监督学习、无监督学习那样的学习类型，这些学习类型指的是学习任务（是否具备标注数据），而流形学习指的是一组基于流形假设的方法。流形学习方法多在半监督和无监督学习设置下使用，不过也可以用在监督学习环境中。

论文内容概览

该论文结合三个数学领域来介绍流形学习：统计学习、谱图理论和微分几何，并在最后一章中介绍了流形正则化的思想。流形正则化可以学习与数据流形相关的函数，而不是数据所在的外围空间。

要想了解流形学习和流形正则化，我们首先需要了解核学习（kernel learning），以及流形与图之间的关系。

论文第二、三章重点介绍核学习。第二章介绍了监督和半监督学习的基础知识，第三章介绍再生核希尔伯特空间中的监督核学习理论，该理论为大量正则化技术奠定了严谨的数学基础。

第四章通过拉普拉斯算子来探索流形与图之间的关系。乍一看，流形与图似乎区别很大，但拉普拉斯算子揭示了二者之间的对应性。

第五章介绍了流形正则化。该研究发现，使用基于数据所生成图的拉普拉斯算子，可以很容易地将流形正则化添加至多种学习算法。本章证明了这一图方法的理论有效性：在无限数据情况下，数据图的拉普拉斯算子能够收敛至数据流形的拉普拉斯算子。

论文目录如下：

作者简介

这篇论文的作者 Luke Melas-Kyriazi 今年五月毕业于哈佛大学数学系，现在牛津大学读博。他对机器学习和计算机视觉感兴趣，目前的研究重点是半监督和多模态学习。

个人主页：https://lukemelas.github.io/

GitHub 主页：https://github.com/lukemelas

—完—

<pre><section style="letter-spacing: 0.544px;white-space: normal;font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;"><section powered-by="xiumi.us"><section style="margin-top: 15px;margin-bottom: 25px;opacity: 0.8;"><section><section style="letter-spacing: 0.544px;"><section powered-by="xiumi.us"><section style="margin-top: 15px;margin-bottom: 25px;opacity: 0.8;"><section><section style="margin-bottom: 15px;padding-right: 0em;padding-left: 0em;color: rgb(127, 127, 127);font-size: 12px;font-family: sans-serif;line-height: 25.5938px;letter-spacing: 3px;text-align: center;"><span style="color: rgb(0, 0, 0);"><strong><span style="font-size: 16px;font-family: 微软雅黑;caret-color: red;">为您推荐</span></strong></span></section><p style="margin: 5px 16px;padding-right: 0em;padding-left: 0em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;">一个算法工程师的日常是怎样的？</p><p style="margin: 5px 16px;padding-right: 0em;padding-left: 0em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;">彻底搞懂机器学习中的正则化<br  /></p><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;"><span style="font-size: 14px;">13个算法工程师必须掌握的PyTorch Tricks</span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;"><span style="font-size: 14px;">吴恩达上新：生成对抗网络（GAN）专项课程</span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;">从SGD到NadaMax，十种优化算法原理及实现</section></section></section></section></section></section></section></section></section>

本篇文章来源于: 深度学习这件小事

本文为原创文章，版权归知行编程网所有，欢迎分享本文，转载请保留出处！

知行编程网关注：1 粉丝：1

这个人很懒，什么都没写

内容反馈

你可能也喜欢

热评文章

发表评论

联系我们

标签云

推广返利