延伸資源

原始論文

資源	連結
Attention Is All You Need (2017)	arXiv
Language Models are Unsupervised Multitask Learners (GPT-2, 2019)	OpenAI
Improving Language Understanding by Generative Pre-Training (GPT, 2018)	OpenAI
Root Mean Square Layer Normalization (RMSNorm, 2019)	arXiv
Adam: A Method for Stochastic Optimization (2014)	arXiv

Karpathy 相關資源

資源	說明	連結
Let's build GPT (YouTube)	Karpathy 從零建立 GPT 的影片教學	YouTube
nanoGPT	microgpt 的 production 版本（使用 PyTorch）	GitHub
minGPT	更早期的精簡 GPT 實作	GitHub
micrograd	microgpt 的 Autograd 引擎的前身	GitHub
makemore	資料集來源（names.txt）	GitHub

其他教學資源

資源	說明
The Illustrated Transformer (Jay Alammar)	最知名的 Transformer 圖文解說
The Annotated Transformer (Harvard NLP)	Transformer 論文搭配程式碼逐行解讀
3Blue1Brown — Attention 系列	直覺化的注意力機制動畫解說
Let's build GPT from Scratch (Andrej Karpathy)	1 小時 53 分的完整教學影片

實作參考

• nanoGPT 的 model.py：比較 microgpt 與 production PyTorch 實作的差異
• Hugging Face Transformers 的 GPT2Model：業界標準實作
• llama.c (karpathy)：在 C 語言中實作 LLM 推論，與 microgpt 是同一脈絡