llama2.c 學習索引

Andrej Karpathy 的純 C Llama 2 推理實作 — 學習 LLM 底層推理的絕佳教材

總覽

• llama2c-01-閱讀摘要 — 專案概覽、核心架構、檔案結構、支援模型
• llama2c-02-文件重點 — 所有關鍵檔案的技術重點整理

深入閱讀

• llama2c-05-程式碼逐行解讀 — run.c 從頭到尾的完整解說（含實際 C 程式碼區塊）
• llama2c-04-閱讀評論 — 從效能、可讀性、可攜性、安全性等面向的 code review

核心概念

• llama2c-06-概念卡片 — KV Cache / RoPE / RMSNorm / GQA / Tokenizer / Quantization / SwiGLU
• llama2c-10-詞彙對照表 — 中英技術詞彙對照

學習反思

• llama2c-03-閱讀心得 — Python → C 的逆向旅程、Karpathy 程式碼風格、學到的重要概念
• llama2c-07-Q&A問答集 — 常見問題解答

實作與資源

• llama2c-08-實驗紀錄 — 編譯方式、模型下載、執行參數、訓練流程
• llama2c-09-延伸資源 — 論文、相關專案、教學影片、工具

翻譯

• README-zh — 完整中文 README
• run-zh — run.c 中文註釋版

原始碼

原始檔案位於 original/ 目錄：

• original/run.c — 核心 C 推理引擎（973 行）
• original/runq.c — int8 量化推理引擎
• original/model.py — PyTorch Llama 2 模型定義
• original/train.py — 分散式訓練腳本
• original/tokenizer.py — 分詞器匯出工具
• original/export.py — 模型權重匯出
• original/tinystories.py — 資料集處理
• original/sample.py — PyTorch 推理腳本