實驗紀錄

環境需求

• 單 NVIDIA GPU（官方測試在 H100）
• Python 3.10+
• uv 套件管理器

安裝步驟

# 1. 安裝 uv
curl -LsSf https://astral.sh/uv/install.sh | sh

# 2. 安裝相依套件
uv sync

# 3. 下載資料 + 訓練 tokenizer（一次性，約 2 分鐘）
uv run prepare.py

# 4. 手動執行單次訓練（約 5 分鐘）
uv run train.py

啟動自主研究模式

# 確保上述指令運行正常後，打開 Claude/Codex
# 提示詞：
# "Hi have a look at program.md and let's kick off a new experiment! let's do the setup first."

Agent 實驗流程

1. 建立分支：git checkout -b autoresearch/<tag>
2. 讀取 README.md、prepare.py、train.py 取得上下文
3. 執行首次訓練取得 baseline
4. 循環：修改 train.py → commit → uv run train.py > run.log 2>&1 → 評估結果 → 記錄到 results.tsv
5. 若改善則保留，否則 git reset

實驗日誌範例

commit	val_bpb	memory_gb	status	description
a1b2c3d	0.997900	44.0	keep	baseline
b2c3d4e	0.993200	44.2	keep	increase LR to 0.04
c3d4e5f	1.005000	44.0	discard	switch to GeLU activation

分析結果

使用 analysis.ipynb 進行視覺化分析，包含：

• 實驗結果分布（keep/discard/crash 比例）
• BPB 隨實驗次數的進步曲線
• 每次改善的 delta 排名