十派的玩具箱

因为想学一下低音谱号，顺便再多熟练熟练不熟悉的高音谱号的读谱，所以做了个小玩具出来。
把谱面难度调低还挺好玩的 → notegotya

撰写了原始的softmax、数值稳定的softmax、在线softmax的公式及其简单代码呈现。

在线阅读： MLSys 中文翻译
搞到网页上方便阅读。

本部分适合于知道AdamW更新流程、但没有尝试推导过peak memory和计算量、计算时间的朋友。
省流：
A_{per_layer} ≈ 9BLd + 2BhL^2
C ≈ 6 × P × D

Adam = Momentum + RMSProp

已经搭建起了训练循环，接下来做一些实验。训得有多快？有多好？

从分词开始，搭建起Transformer架构。

命令行能够即时地做很多事情，甚至代表一种简洁而切题的计算机哲学。
为了直接进入正题，省略诸如 cd 这样的广为人知的基础指令，直接看那些显著提升体验的东西。