nanochat 學習索引

Andrej Karpathy 的完整 LLM 訓練框架——從 tokenizer 到聊天 UI。

學習目標摘要

• 掌握完整 LLM 訓練流程：Tokenizer → Pretraining → SFT → DPO/RLHF
• 了解如何用最少預算跑通一個 ChatGPT 級別的訓練管線
• 理解 Alignment（對齊）的核心方法論

前置知識

• microgpt 階段的 Transformer 實作基礎
• Python 程式能力與命令列操作
• 基本的機器學習概念（損失函數、學習率、Epoch）

關鍵概念

• Tokenizer：文字 ↔ token 的轉換（BPE 演算法）
• Pretraining：無監督的語言模型預訓練
• SFT（Supervised Fine-Tuning）：用指令-回答對微調模型
• DPO / RLHF：基於人類回饋的對齊訓練
• Chat Template：對話格式化與系統提示詞

閱讀筆記

• nanochat-01-閱讀摘要 — 專案總覽
• nanochat-02-文件重點 — 核心技術要點
• nanochat-03-閱讀心得 — 個人反思
• nanochat-04-閱讀評論 — 優缺點分析
• nanochat-05-程式碼逐行解讀 — 關鍵程式碼解析
• nanochat-06-概念卡片 — 技術名詞解釋
• nanochat-07-Q&A問答集 — 常見問題
• nanochat-08-實驗紀錄 — 執行方式與硬體需求
• nanochat-09-延伸資源 — 相關論文與專案
• nanochat-10-詞彙對照表 — 中英對照

翻譯

• README-zh — README 中文版
• train-zh — 預訓練腳本中文註解
• dpo-zh — RL 實作解說

原始碼

• original/README.md
• original/nanochat/ — 核心 Python 模組
• original/scripts/ — 訓練與評估腳本
• original/dev/ — 開發用工具與紀錄