dino 10PI'S BLOG丨十派的玩具箱
筛选

卡片视图

//

一个最简 Coding Agent 的完整解剖——结合 pi 的架构与真实会话数据

希望了解最小化的coding agent是什么样的。于是整理了 pi（@earendil-works/pi-coding-agent）的源码和它留在本机的真实会话数据（~/.pi/agent/sessions/ 下的 sessions.jsonl）。这篇把两样东西合在一起：用源码结构讲架构，用会话数据讲这架机器实际转起来是什么样子。文中的会话片段都取自真实运行记录，路径、ID、仓库名做了泛化，结构原样保留。 <!-- more…
//

DSH 上线之后我做的几个小工具

DSH 上线之后陆陆续续折腾了几个小工具：便签、新会话按钮内可切换模式、Alt+Space最小化或唤起窗口。都是自己用着顺手的东西，整理一下放在这里。 顺便整理了我对DSH的“四种模式”的简单理解。 github.com/Meredith2328/dsh-sticky-note 是输入框工具栏左边的一个便签按钮，打开是一个可以拉伸的小面板。 随手记点子/…
//

深度学习必将拥有一套科学理论 · 翻译

这篇论文提出一个核心主张：深度学习正在形成一套真正的科学理论，而它的形态将是一种“学习力学”——从第一性原理出发、高度数学化地研究训练过程的动力学。作者将机制可解释性比作“深度学习的生物学”（定性解剖模型），而学习力学则是“深度学习的物理学”（定量研究学习如何展开）。全文围绕一个关键观察展开：学习就是参数空间中的运动，而物理学提供了思考运动的成熟工具；加之深度学习系统完全可测量，这为理论研究创造了前所未有的条件。 论文从五个“口袋”论证理论正在涌现：**存在可解析求解的设定、有洞察力的极限揭示基本行为、简单方程捕…
//

抓到一个会“假装训练”的 bug：TRL 1.9.2 续训 LoRA 时优化器是空的

TRL 1.9.2 的 GRPOTrainer 有一个“静默”的bug，如果先SFT再RL就可能碰到。使得模型可能并没有真的从已有的 LoRA adapter 继续训练，但是看起来仍然一切正常。 怎么个“静默”法呢？训练能完整跑完，日志看起来一切正常：loss 在降、reward 在涨、grad_norm 非零，wandb 曲线漂漂亮亮。可你把训练前后的权重拿去一对比，发现保存下来的 adapter 和你喂进去的初始 adapter…
//

结合nanovllm的FlashAttention和PagedAttention主要原理概述

总结：FlashAttention用于降低Attention计算阶段预存的显存消耗（内部计算范畴）， PagedAttention用于高效管理推理的KV Cache（外部推理范畴）。 FlashAttention： 问题：标准 Attention 需要存储 N×N 的中间矩阵，显存 O(N²) ； 解决：分块 + 在线 softmax，显存降到 O(N) ； 关键：外循环 Q 块，内循环 K、V 块，在线更新 m、l、O ； PagedAttention： -…