Appearance
llm.c — 學習索引
專案概述
GPT-2/GPT-3 訓練框架,純 C/CUDA 實作,無 PyTorch 依賴。
筆記
| 筆記 | 說明 |
|---|---|
| llmc-01-閱讀摘要 | 專案定位、核心架構、訓練流程 |
| llmc-02-文件重點 | 技術細節:CUDA kernel、記憶體管理、多 GPU |
| llmc-03-閱讀心得 | 個人反思與啟發 |
| llmc-04-閱讀評論 | 優缺點分析、與 nanoGPT 比較 |
| llmc-05-程式碼逐行解讀 | LayerNorm forward/backward、CUDA kernel、Transformer block |
| llmc-06-概念卡片 | CUDA → Grid/Block/Warp、記憶體合併、Kernel Fusion |
| llmc-07-Q&A問答集 | 關於 CUDA 優化與訓練流程的常見問題 |
| llmc-08-實驗紀錄 | 建置指南、硬體需求、CLI 參數 |
| llmc-09-延伸資源 | 論文、影片、相關專案、語言移植 |
| llmc-10-詞彙對照表 | 中英詞彙對照 |
原文檔案
翻譯
學習路徑建議
- 先讀 llmc-01-閱讀摘要 了解全貌
- 看 llmc-05-程式碼逐行解讀 理解程式運作
- 閱讀
doc/layernorm/layernorm.md做第一個實作練習 - 透過 llmc-06-概念卡片 補強 CUDA 知識
- 實機操作 llmc-08-實驗紀錄 建置與訓練