llama2.c 學習索引

Andrej Karpathy 的純 C Llama 2 推理實作 — 學習 LLM 底層推理的絕佳教材

學習目標摘要

• 理解 LLM 推理在 CPU 上的底層實作（純 C，無依賴）
• 掌握 KV Cache、RoPE、RMSNorm、GQA 等推理關鍵技術
• 學習如何將 Python 模型轉換為 C 語言可執行格式

前置知識

• C 語言基礎（指標、記憶體管理、結構體）
• microgpt / nanochat 階段的 Transformer 知識
• 二進位檔案與模型格式的基本概念

關鍵概念

• KV Cache：推理時緩存 Key/Value 避免重複計算
• RoPE（Rotary Position Embedding）：旋轉位置編碼
• RMSNorm：簡化的歸一化方法
• GQA（Grouped-Query Attention）：分組查詢注意力優化
• Tokenizer（SentencePiece）：文字分詞與編碼
• Quantization（INT8/INT4）：模型量化降低記憶體需求

總覽

• llama2c-01-閱讀摘要 — 專案概覽、核心架構、檔案結構、支援模型
• llama2c-02-文件重點 — 所有關鍵檔案的技術重點整理

深入閱讀

• llama2c-05-程式碼逐行解讀 — run.c 從頭到尾的完整解說（含實際 C 程式碼區塊）
• llama2c-04-閱讀評論 — 從效能、可讀性、可攜性、安全性等面向的 code review

核心概念

• llama2c-06-概念卡片 — KV Cache / RoPE / RMSNorm / GQA / Tokenizer / Quantization / SwiGLU
• llama2c-10-詞彙對照表 — 中英技術詞彙對照

學習反思

• llama2c-03-閱讀心得 — Python → C 的逆向旅程、Karpathy 程式碼風格、學到的重要概念
• llama2c-07-Q&A問答集 — 常見問題解答

實作與資源

• llama2c-08-實驗紀錄 — 編譯方式、模型下載、執行參數、訓練流程
• llama2c-09-延伸資源 — 論文、相關專案、教學影片、工具

翻譯

• README-zh — 完整中文 README
• run-zh — run.c 中文註釋版

原始碼

原始檔案位於 original/ 目錄：

• original/run.c — 核心 C 推理引擎（973 行）
• original/runq.c — int8 量化推理引擎
• original/model.py — PyTorch Llama 2 模型定義
• original/train.py — 分散式訓練腳本
• original/tokenizer.py — 分詞器匯出工具
• original/export.py — 模型權重匯出
• original/tinystories.py — 資料集處理
• original/sample.py — PyTorch 推理腳本