这篇文章是我最近一个月做的一组实验的记录。起因很简单：想看看 0.6B 这种“小参数”模型， 在两张 RTX 5090 上，到底能不能用强化学习训出像样的数学推理和 Agent 能力。 起点是 Datawhale 第 11 章的 hello-agents 案例，之后延伸出了一堆东西。 从 GSM8K 数学推理，到多轮工具调用，再到自己搭一个跨应用的工具基准， 最后还顺手用 QLoRA 挑战了一下 72B 的微调。 想试着讲讲看整个过程踩到的无数的坑。 完整的论文、报告和代码：…

2026 年夏末，因为夜鹿（ヨルシカ）走到一起的校园乐队「夏夜将终」，把官网复刻成了 Yorushika 官网的样子。

总结：FlashAttention用于降低Attention计算阶段预存的显存消耗（内部计算范畴）， PagedAttention用于高效管理推理的KV Cache（外部推理范畴）。 FlashAttention： 问题：标准 Attention 需要存储 N×N 的中间矩阵，显存 O(N²) ； 解决：分块 + 在线 softmax，显存降到 O(N) ； 关键：外循环 Q 块，内循环 K、V 块，在线更新 m、l、O ； PagedAttention： -…

撰写了原始的softmax、数值稳定的softmax、在线softmax的公式及其简单代码呈现。 我们讨论的起点是原始的softmax形式： \(p_j = \frac{e^{z_j}}{\sum_k e^{z_k}}.\) 为保证数值稳定，令 \( m := \max_k z_k, \) 则 softmax 可等价改写为数值稳定的softmax形式： p_j = \frac{e^{z_j - m}}{\sum_k e^{z_k -…

在线阅读： MLSys 中文翻译 搞到网页上方便阅读。 原网页链接： MLSys 课程名称：复旦大学2025-2026春机器学习系统课程（尚笠老师）

本部分适合于知道AdamW更新流程、但没有尝试推导过peak memory和计算量、计算时间的朋友。 省流： \(A_{per\_layer} ≈ 9BLd + 2BhL^2\) \(C ≈ 6 × P × D\) Problem (adamwAccounting): Resource accounting for training with AdamW 接下来我们计算一下使用AdamW需要多少内存和计算。tensor一律使用float32。 **(a)…

Adam = Momentum + RMSProp 本文可以省流成以下几句话： SGD往梯度下降的方向更新权重。 SGD+Momentum把梯度累积起来、得到了方向，一直同向就更新快一点，变向就慢一点。 AdaGrad把梯度的平方累积起来，让出现得频繁却梯度值很小的步长更大。 RMSProp给AdaGrad加了一个衰减系数，不看整个历史、只看近期历史，防止学习率消失。 Adam = Momentum +…

从分词开始，搭建起Transformer架构。 作业目录： BPE tokenizer ； Transformer LM ； The cross-entropy loss function and the AdamW optimizer ； The training loop (support: serilizing, loading model, optimizer state) ； 提到的工具： 4.1 Cross-entropy…

已经搭建起了训练循环，接下来做一些实验。训得有多快？有多好？ 之前的实现接口不是很好用，更进一步包装了一下，并麻烦GPT帮我优化了naive实现。 由于 test_tokenizer 中 import resource 这个库只能在linux中使用，决定将核心代码拷贝到linux环境下进行测试。 而为了保证实现的正确性，在原来的windows环境下利用gpt撰写了 test_tokenizer_windows.py…

命令行能够即时地做很多事情，甚至代表一种简洁而切题的计算机哲学。 为了直接进入正题，省略诸如 cd 这样的广为人知的基础指令，直接看那些显著提升体验的东西。 用于查看磁盘空间。使用场景比如训模型会保存很多中间文件，可以这样看看需要清理哪些。 使用效果： 比如 fuse-overlayfs 是这个实例本身的存储， shared-nvme 是它的外接可持久化存储，使用率分别为 50% 和 40% 。 至于要看哪几个文件最大，可以和 ncdu…