知行编程网知行编程网  2022-04-29 11:00 知行编程网 隐藏边栏 |   抢沙发  11 
文章评分 0 次,平均分 0.0

给你一些点与线,只用动画就能看懂张量乘法,还能证明迹循环定理

转自 | 量子位

钻研机器学习离不开线性代数,对于初学者来说,矩阵、向量还容易理解,到了张量这个概念就变得复杂了起来。
只因张量的乘法脚标太多,让人头大。而张量又是NumPy、TensorFlow等工具中必不可少的一种变量。如何理解它呢?
有一位来自纽约市立大学的小姐姐Tai-Danae,用手绘的方式介绍了一种表示张量乘法的直观方法,博客文章在初学者中广受好评。
给你一些点与线,只用动画就能看懂张量乘法,还能证明迹循环定理
之后,又有一位来自印度理工学院的小哥,用3blue1brown的数学动画工具manim,把张量乘法做成了动画,通俗演示了张量乘法的运算过程,浅显易懂。
下面就让我们来看看他们是如何图解张量运算的。

   爱因斯坦求和约定

在了解张量运算前,先解释一下爱因斯坦求和约定。
爱因斯坦求和约定是爱因斯坦在研究相对论时提出的。由于相对论中经常用到张量乘积运算,爱因斯坦发明了一种简化写法,后来经常被人们所使用。
比如两个矩阵的乘积,定义为:


给你一些点与线,只用动画就能看懂张量乘法,还能证明迹循环定理


给你一些点与线,只用动画就能看懂张量乘法,还能证明迹循环定理
仔细观察,你可以发现矩阵A的第二个脚标和矩阵B第一个脚标相同,都是k。
即A的第k行乘以B的第k列对应元素。最后再把乘积相加,最后的结果里k消失了,所以对k求和的符号是完全多余的。
所以爱因斯坦规定,凡是遇到脚标相同的情况,就表示对这个脚标求和,把求和符号拿掉:
给你一些点与线,只用动画就能看懂张量乘法,还能证明迹循环定理
张量运算的公式因此得到了大大的简化。
Rajat发现如果把矩阵的两个维度变成两个“触角”,把相同脚标的“触角”连接起来就是矩阵乘法:
给你一些点与线,只用动画就能看懂张量乘法,还能证明迹循环定理

   用图表示张量

Rajat的张量乘积动画是自己领悟的,其实早在他之前,就已经有人引入了“张量网络”,它用一个节点和伸出去的几条线来表示张量。
线的条数等于张量的阶数,矩阵是二阶张量,所以有两条线:
给你一些点与线,只用动画就能看懂张量乘法,还能证明迹循环定理
这是来自Tai-Danae手绘图。另外,标量可以看做零阶张量,向量可以看做一阶张量,矩阵是二阶张量,以此类推:
给你一些点与线,只用动画就能看懂张量乘法,还能证明迹循环定理
上面的矩阵乘法里,对于相同的脚标,就等于是一条线,于是两个矩阵M和N连接了起来:
给你一些点与线,只用动画就能看懂张量乘法,还能证明迹循环定理
经过乘法运算后,得到的张量只有两个向外的边,可以把中间两个节点压缩成一个节点:


给你一些点与线,只用动画就能看懂张量乘法,还能证明迹循环定理


所以矩阵乘以矩阵仍然是一个矩阵(二阶张量)。


   张量乘积的图表示

Rajat在“张量网络”概念的基础上,加入了一组视频,更生动地表示了几种常见的张量运算。
矩阵×向量:
给你一些点与线,只用动画就能看懂张量乘法,还能证明迹循环定理
矩阵×矩阵:
给你一些点与线,只用动画就能看懂张量乘法,还能证明迹循环定理
阿达玛乘积:
给你一些点与线,只用动画就能看懂张量乘法,还能证明迹循环定理
外积:
给你一些点与线,只用动画就能看懂张量乘法,还能证明迹循环定理


   One More Thing

最后还有一种特殊情况,那就是矩阵的“迹”(trace):


给你一些点与线,只用动画就能看懂张量乘法,还能证明迹循环定理
就是对M中行数与列数相等的元素求和,相当于把自己的两个“触角”连在一起,形成一个闭环。
给你一些点与线,只用动画就能看懂张量乘法,还能证明迹循环定理
矩阵的迹满足如下的循环规律:
tr(ABC)=tr(CAB)=tr(BCA)
如果用图示法,就能更好地理解它:

给你一些点与线,只用动画就能看懂张量乘法,还能证明迹循环定理

参考链接:

https://rajatvd.github.io/Factor-Graphs/

https://www.math3ma.com/blog/matrices-as-tensor-network-diagrams


<section style="margin-right: 8px;margin-left: 8px;white-space: normal;color: rgb(0, 0, 0);font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;text-align: center;widows: 1;line-height: 1.75em;"><strong><span style="letter-spacing: 0.5px;font-size: 14px;"><strong style="font-size: 16px;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;">—</span></strong>完<strong style="font-size: 16px;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;font-size: 14px;"><strong style="font-size: 16px;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;">—</span></strong></span></strong></span></strong></section><section style="white-space: normal;font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;text-align: center;widows: 1;color: rgb(255, 97, 149);"><section powered-by="xiumi.us"><section style="margin-top: 15px;margin-bottom: 25px;opacity: 0.8;"><section><section style="letter-spacing: 0.544px;"><section powered-by="xiumi.us"><section style="margin-top: 15px;margin-bottom: 25px;opacity: 0.8;"><section><section style="margin-right: 8px;margin-bottom: 15px;margin-left: 8px;padding-right: 0em;padding-left: 0em;color: rgb(127, 127, 127);font-family: sans-serif;font-size: 12px;line-height: 25.5938px;letter-spacing: 3px;"><span style="color: rgb(0, 0, 0);"><strong><span style="font-size: 16px;font-family: 微软雅黑;caret-color: red;">为您推荐</span></strong></span></section><p style="margin-right: 8px;margin-bottom: 5px;margin-left: 8px;padding-right: 0em;padding-left: 0em;min-height: 1em;color: rgb(127, 127, 127);font-family: sans-serif;font-size: 12px;line-height: 1.75em;letter-spacing: 0px;">猎户座α<span style="font-size: 14px;">:</span><span style="font-size: 14px;">AI玩转「吃鸡」游戏</span><br  /></p><p style="margin-right: 8px;margin-bottom: 5px;margin-left: 8px;padding-right: 0em;padding-left: 0em;min-height: 1em;color: rgb(127, 127, 127);font-family: sans-serif;font-size: 12px;line-height: 1.75em;letter-spacing: 0px;">网传饶毅举报多位学者论文造假?官方回应了<br  /></p><p style="margin-right: 8px;margin-bottom: 5px;margin-left: 8px;padding-right: 0em;padding-left: 0em;min-height: 1em;color: rgb(127, 127, 127);font-family: sans-serif;font-size: 12px;line-height: 1.75em;letter-spacing: 0px;">阿里如何抗住90秒100亿?看这篇你就明白了!<br  /></p><p style="margin-right: 8px;margin-bottom: 5px;margin-left: 8px;padding-right: 0em;padding-left: 0em;min-height: 1em;color: rgb(127, 127, 127);font-family: sans-serif;font-size: 12px;line-height: 1.75em;letter-spacing: 0px;">深度学习必懂的13种概率分布<br  /></p><p style="margin-right: 8px;margin-bottom: 5px;margin-left: 8px;padding-right: 0em;padding-left: 0em;min-height: 1em;color: rgb(127, 127, 127);font-family: sans-serif;font-size: 12px;line-height: 1.75em;letter-spacing: 0px;">担心美国政府限制,Github考虑在华设立子公司<br  /></p></section></section></section></section></section></section></section></section>

本篇文章来源于: 深度学习这件小事

本文为原创文章,版权归所有,欢迎分享本文,转载请保留出处!

知行编程网
知行编程网 关注:1    粉丝:1
这个人很懒,什么都没写

发表评论

表情 格式 链接 私密 签到
扫一扫二维码分享