詞彙對照表

英文	中文	說明
Agent	代理	自主執行任務的 AI 系統
Architecture Search	架構搜尋	自動尋找最優神經網路架構
Self-Modifying Code	自我修改程式碼	程式執行中修改自身
Bits Per Byte (BPB)	每位元組位元數	語言模型評估指標
Validation BPB	驗證 BPB	在驗證集上計算的 BPB
Value Residual	數值殘差	改善 attention 的技術
Sliding Window Attention	滑動視窗注意力	限制注意力範圍的機制
Rotary Position Embedding (RoPE)	旋轉位置編碼	相對位置編碼技術
QK-Normalization	QK 正規化	對 query/key 做 RMS Norm
Logit Softcapping	Logit 軟裁剪	限制 logits 範圍
Muon Optimizer	Muon 最佳化器	使用正交化的 LLM 最佳化器
Nesterov Momentum	Nesterov 動量	動量法的改良版本
Newton-Schulz	牛頓-舒爾茨	矩陣正交化的迭代演算法
BPE Tokenizer	BPE 分詞器	Byte-Pair Encoding 分詞演算法
Best-Fit Packing	最適配打包	將文件打包到固定長度序列
BOS-Aligned	BOS 對齊	以序列起始 token 開頭
Gradient Accumulation	梯度累積	多個 micro-batch 累積梯度
MFU (Model FLOPs Utilization)	模型 FLOPs 利用率	計算資源利用效率
Warmup	預熱	學習率從零逐漸上升
Warmdown	降溫	學習率逐漸下降至零