TRL 1.9.2 的 GRPOTrainer 有一个“静默”的bug，如果先SFT再RL就可能碰到。使得模型可能并没有真的从已有的 LoRA adapter 继续训练，但是看起来仍然一切正常。 怎么个“静默”法呢？训练能完整跑完，日志看起来一切正常：loss 在降、reward 在涨、grad_norm 非零，wandb 曲线漂漂亮亮。可你把训练前后的权重拿去一对比，发现保存下来的 adapter 和你喂进去的初始 adapter…

这篇文章是我最近一个月做的一组实验的记录。起因很简单：想看看 0.6B 这种“小参数”模型， 在两张 RTX 5090 上，到底能不能用强化学习训出像样的数学推理和 Agent 能力。 探索起点是 Datawhale HelloAgents 第十一章 Agentic-RL ，之后延伸出了一堆东西。 从 GSM8K…

2026 年夏末，因为夜鹿（ヨルシカ）走到一起的校园乐队「夏夜将终」，把官网复刻成了 Yorushika 官网的样子。

总结：FlashAttention用于降低Attention计算阶段预存的显存消耗（内部计算范畴）， PagedAttention用于高效管理推理的KV Cache（外部推理范畴）。 FlashAttention： 问题：标准 Attention 需要存储 N×N 的中间矩阵，显存 O(N²) ； 解决：分块 + 在线 softmax，显存降到 O(N) ； 关键：外循环 Q 块，内循环 K、V 块，在线更新 m、l、O ； PagedAttention： -…

撰写了原始的softmax、数值稳定的softmax、在线softmax的公式及其简单代码呈现。 我们讨论的起点是原始的softmax形式： \(p_j = \frac{e^{z_j}}{\sum_k e^{z_k}}.\) 为保证数值稳定，令 \( m := \max_k z_k, \) 则 softmax 可等价改写为数值稳定的softmax形式： p_j = \frac{e^{z_j - m}}{\sum_k e^{z_k -…

在线阅读： MLSys 中文翻译 搞到网页上方便阅读。 原网页链接： MLSys 课程名称：复旦大学2025-2026春机器学习系统课程（尚笠老师）

tensorzero 是一个做 LLM 推理和优化的框架，配置里的 [object_storage] 用来管多模态推理时图片之类文件的存储。原来这个段的 endpoint 只能写死一个地址，我提的 PR 让它也能写成 env::SOME_ENV_VAR，启动的时候从环境变量里读。这样内网地址、测试和生产的存储端点就不用都摊在配置文件里了。 当时提的 PR 是…

本部分适合于知道AdamW更新流程、但没有尝试推导过peak memory和计算量、计算时间的朋友。 省流： \(A_{per\_layer} ≈ 9BLd + 2BhL^2\) \(C ≈ 6 × P × D\) Problem (adamwAccounting): Resource accounting for training with AdamW 接下来我们计算一下使用AdamW需要多少内存和计算。tensor一律使用float32。 **(a)…

Adam = Momentum + RMSProp 本文可以省流成以下几句话： SGD往梯度下降的方向更新权重。 SGD+Momentum把梯度累积起来、得到了方向，一直同向就更新快一点，变向就慢一点。 AdaGrad把梯度的平方累积起来，让出现得频繁却梯度值很小的步长更大。 RMSProp给AdaGrad加了一个衰减系数，不看整个历史、只看近期历史，防止学习率消失。 Adam = Momentum +…