microgpt 學習導覽

microgpt — 200 行的純 Python GPT 實作，由 Andrej Karpathy 創作。

學習目標摘要

• 用純 Python（無 PyTorch）從零實現 GPT 架構
• 理解 Self-Attention、Multi-Head Attention、Position Embedding 的運作方式
• 掌握 Transformer 的完整前向傳播流程

前置知識

• micrograd 階段的自動微分基礎
• Python 與 PyTorch 基本操作
• 矩陣運算與 softmax 概念

關鍵概念

• Self-Attention：每個 token 對其他 token 計算注意力權重
• Multi-Head Attention：多組注意力並行學習不同表示
• Position Embedding：為序列中的位置編碼
• Transformer Block：Attention + FFN + LayerNorm + 殘差連接

學習路徑

建議從上到下依序閱讀：

1. 先讀原始碼

• original/microgpt.py — Karpathy 的原始 Gist 程式碼

2. 再讀筆記

• microgpt-01-閱讀摘要 — 整體摘要與架構概述
• microgpt-02-文件重點 — 關鍵技術重點整理
• microgpt-05-程式碼逐行解讀 — 最重要的檔案：逐行解釋程式碼
• microgpt-06-概念卡片 — 核心概念的快速記憶卡

3. 深入理解

• microgpt-03-閱讀心得 — 個人學習心得與反思
• microgpt-04-閱讀評論 — 設計評論與 trade-off 分析
• microgpt-07-Q&A問答集 — 常見問題解答

4. 動手實驗

• microgpt-08-實驗紀錄 — 執行方式、參數調整與觀察

5. 延伸學習

• microgpt-09-延伸資源 — 論文、影片、相關專案
• microgpt-10-詞彙對照表 — 技術名詞中英對照

6. 翻譯版本

• README-zh — 中文介紹
• microgpt-zh — 中文註解版程式碼

學習建議

1. 先直接執行 original/microgpt.py 看它跑出什麼
2. 打開原始碼，對照 microgpt-05-程式碼逐行解讀 逐一閱讀
3. 修改超參數（n_embd, n_layer, learning_rate），觀察變化
4. 試著將資料集換成其他文字資料
5. 比較 microgpt 與 assets/nanoGPT 結構比較 的差異

相關系列

• index-micrograd — 前一章：micrograd 自動微分
• index-nanogpt — 下一章：nanoGPT production 實作