筛选

卡片视图

/

尝试用 Jev 游玩手机上的黑洞大作战 (HOLEIN) 游戏

Jev 这种自称是为程序而生的、快速决策的 System One 模型,游玩实际的手机游戏体验如何? 我选了 Android 上的 HOLEIN (黑洞大作战)。目标很朴素:黑洞移动、吞小物体、逐渐长大,直到能吞掉整张地图。 Jev 不看图片(所以对游戏环境的建模需要你自己来做!),也不直接操作手机或跑循环,它只负责在代码给出的有限选项里,返回带概率和置信度的结构化判断。 除了 Jev 之外的代码系统都得自己写。 初版验证用 Playground…
//

一个最简 Coding Agent 的完整解剖——结合 pi 的架构与真实会话数据

希望了解最小化的coding agent是什么样的。于是整理了 pi(@earendil-works/pi-coding-agent)的源码和它留在本机的真实会话数据(~/.pi/agent/sessions/ 下的 sessions.jsonl)。这篇把两样东西合在一起:用源码结构讲架构,用会话数据讲这架机器实际转起来是什么样子。文中的会话片段都取自真实运行记录,路径、ID、仓库名做了泛化,结构原样保留。 <!-- more…
//

DSH 上线之后我做的几个小工具

DSH 上线之后陆陆续续折腾了几个小工具:便签、新会话按钮内可切换模式、Alt+Space最小化或唤起窗口。都是自己用着顺手的东西,整理一下放在这里。 顺便整理了我对DSH的“四种模式”的简单理解。 github.com/Meredith2328/dsh-sticky-note 是输入框工具栏左边的一个便签按钮,打开是一个可以拉伸的小面板。 随手记点子/…
//

深度学习必将拥有一套科学理论 · 翻译

这篇论文提出,深度学习正在形成一套“学习力学”——从第一性原理出发、用数学研究训练过程的动力学。作者把机制可解释性比作“深度学习的生物学”(定性解剖模型),而学习力学则是“深度学习的物理学”(定量研究学习如何展开):学习就是参数空间中的运动,而深度学习系统又完全可测量,刚好适合用物理学的思路去研究。 论文从五个方向举证理论正在成形:可解析求解的设定、有洞察力的极限、捕捉宏观统计量的简单方程、可解耦理解的超参数、跨设定的普适现象。 各节从深度线性网络的“简单性偏好”讲到神经缩放定律、边缘稳定性、μP…
//

抓到一个会“假装训练”的 bug:TRL 1.9.2 续训 LoRA 时优化器是空的

TRL 1.9.2 的 GRPOTrainer 有一个“静默”的bug,如果先SFT再RL就可能碰到。使得模型可能并没有真的从已有的 LoRA adapter 继续训练,但是看起来仍然一切正常。 怎么个“静默”法呢?训练能完整跑完,日志看起来一切正常:loss 在降、reward 在涨、grad_norm 非零,wandb 曲线漂漂亮亮。可你把训练前后的权重拿去一对比,发现保存下来的 adapter 和你喂进去的初始 adapter…
//

结合nanovllm的FlashAttention和PagedAttention主要原理概述

总结:FlashAttention用于降低Attention计算阶段预存的显存消耗(内部计算范畴), PagedAttention用于高效管理推理的KV Cache(外部推理范畴)。 FlashAttention: 问题:标准 Attention 需要存储 N×N 的中间矩阵,显存 O(N²) ; 解决:分块 + 在线 softmax,显存降到 O(N) ; 关键:外循环 Q 块,内循环 K、V 块,在线更新 m、l、O ; PagedAttention: -…