
bootgpt 是今天 Hacker News 上很火的一个极客项目:一个住在启动扇区里的语言模型。512 字节手写汇编的 MBR,从接下来的 23 个扇区加载一个 11.5KB 的 int8 模型,在 16 位实模式的 386 上跑起来——没有操作系统、没有 C 运行时、什么都没有。机器一“醒”过来,就开始“做梦”,源源不断地编造 Linux 启动日志:时间戳、PCI 设备、ACPI 事件,全是给不存在的硬件编的。
模型小得离谱:字符级网络,8 个字符的上下文、一个隐藏层,总共 11,520 字节参数(词向量 384 字节、两层权重约 10.7KB、偏置 320 字节),存在 23 个扇区里。训练了 4 万步,语料是 4.48 万行合成的 dmesg——因为真实启动日志高度重复,小模型才能看起来像模像样。全部量化成 int8,前向传播只用整数乘法和一次除法就能在启动扇区里跑完。
能玩吗:仓库里有构建脚本(针对 macOS),用 NASM 汇编能得到正好 512 字节、以 0x55AA 结尾的启动扇区;dev.to 上已经有人完整复现过,模拟器里跑出来的“梦境”和真实启动扇区一致。MIT 协议,32 星——纯粹是个好玩的作品,别指望它真能当模型用。
相关阅读:同样是“小模型塞进意想不到的地方”,Liquid AI 发布 LFM3:6 个 2B 级开源模型共用一个底座,手机和树莓派上也能跑本地智能体;想在浏览器里直接玩点酷的,Twelve Seconds Later:从莱特飞行者到火星直升机,16 架飞机按同一比例排开、每架都能在浏览器里飞起来。
来源:GitHub @kerlenton,原文:https://github.com/kerlenton/bootgpt


没有回复内容