概念卡片

AI Agent（人工智慧代理）

一個能自主感知環境、制定計畫、執行行動的 AI 系統。在 autoresearch 中，Agent 負責讀取指令、修改程式碼、執行實驗、評估結果的完整循環。

Architecture Search（架構搜尋）

自動尋找最優神經網路架構的過程。不同於傳統 NAS 使用預定義搜尋空間，autoresearch 的 Agent 可直接修改程式碼，搜尋空間幾乎無限制。

Self-Modifying Code（自我修改程式碼）

程式在執行過程中修改自身的能力。在 ML 領域，這意味著 Agent 可以直接編輯訓練腳本，而非透過 config 或 API。

Experiment Tracking（實驗追蹤）

記錄與管理實驗結果的系統。autoresearch 使用 results.tsv 追蹤每次實驗的 commit hash、val_bpb、記憶體使用量、狀態與描述。

Bits Per Byte（BPB）

評估語言模型的度量標準，計算每個位元組所需的位元數（bits per byte）。不受詞彙表大小影響，可公平比較不同架構。公式：total_nats / (log(2) * total_bytes)。

Muon Optimizer

專為 LLM 訓練設計的最佳化器，對 2D 矩陣參數使用 Newton-Schulz 正交化更新，對非矩陣參數使用 AdamW。

ResFormer（Value Residual）

一種改善 attention 層的技術。在標準 attention 的 value 投影外，加入一個可學習的 value embedding，並透過 input-dependent gate 控制混合比例。

Sliding Window Attention（滑動視窗注意力）

限制每個 token 只能注意前 N 個 token 的注意力機制，降低計算複雜度。autoresearch 使用 SSSL 模式：三層短視窗後接一層全視窗。

BOS-Aligned Dataloader

確保每個訓練序列以 BOS（Beginning of Sequence）token 開頭的資料載入器。使用 best-fit packing 演算法將文件打包到固定長度序列，達到 100% 利用率。