Raschka 从零构建推理模型视频课:8 讲、11 小时,用 PyTorch 亲手实现评估、推理扩展、强化学习与蒸馏

《Build a Large Language Model (From Scratch)》作者 Sebastian Raschka 放出了新书《Build a Reasoning Model (From Scratch)》的配套视频课:8 讲、11 小时,全部代码用 Python 和 PyTorch 从头实现,讲清推理模型到底是怎么炼成的。

常规大模型、推理模型与智能体框架的引擎类比图

课程不从头训一个大模型,而是从预训练好的 Qwen3 0.6B 出发:先搭文本生成与 KV 缓存,再手写 MATH-500 评测验证器——这个验证器后面还会兼任强化学习的奖励信号;接着做推理扩展(温度采样、top-p、自一致性投票)、打分与自我修正,最后上简化版 GRPO 的 RLVR 训练和教师模型蒸馏,一条线把评估、推理扩展、强化学习、蒸馏全串起来。

适合会 Python 和 PyTorch、想从代码层面理解推理模型的人:前几讲 CPU 就能跑,后面训练最好有 GPU;没看过他上一门从零构建大模型的课也能直接看。想先过一遍概念的话,他还有一门 90 分钟的概念课可作预习。站内同类进阶路线可参考523 课的免费 AI 工程课,想换种学法也可以看看先测你哪里不懂再教的 AI 家教 LearnHarness。

课程主页与 8 支视频见作者 Ahead of AI 专栏:Build Your Own Reasoning Model: A Full Video Course。

来源:Ahead of AI @Sebastian Raschka,原文:https://magazine.sebastianraschka.com/p/building-reasoning-models

请登录后发表评论

    没有回复内容