延伸資源

CUDA 學習

官方文件

• CUDA Programming Guide - NVIDIA 官方指南，必讀
• CUDA Best Practices Guide - 效能優化建議
• cuBLAS Documentation - 矩陣乘法加速庫

教學資源

• CUDA Mode - GPU MODE Discord 社群，llm.c 開發者活躍
• CUDA C++ Core Libraries (CCCL) - llm.cpp fork 使用的現代 CUDA 庫

Karpathy 相關專案

前驅專案

• nanoGPT - PyTorch 版 GPT 訓練，llm.c 的 PyTorch 參考實作 train_gpt2.py
• llama2.c - 純 C 推理 LLaMA 2，只做 inference 不做 training
• micrograd - 微型 autograd 引擎，理解 backward pass 的基礎

影片

• Let's build GPT - 從零建構 GPT
• Becoming a Backprop Ninja - 手動反向傳播推導
• Zero to Hero - 完整深度學習系列

LLM 論文

• GPT-2 - 原始 GPT-2 論文
• GPT-3 - Scalling Laws, in-context learning
• Attention Is All You Need - Transformer 原始論文
• Layer Normalization - Ba et al. 2016

相關 fork

llm.c 有多種語言移植版本：

• C#: llm.cs Llm.cs
• CUDA C++: llm.cpp (CCCL), llm.cpp (Eigen)
• Go: llm.go
• Java: llm.java
• Metal: llm.metal
• Mojo: llm.🔥
• OpenCL: llm.c (OpenCL port)
• Rust: llm.rs
• Swift: llm.swift
• Zig: llm.zig