autoresearch 閱讀摘要

專案概述

autoresearch 是 Karpathy 於 2026 年 3 月發布的實驗性專案，核心概念是讓 AI Agent 自主進行 LLM 訓練的架構搜尋（architecture search）。人類只需提供 program.md 作為指令，AI Agent 便會自主修改 train.py、執行訓練、記錄結果，並在人類醒來後呈現完整的實驗報告。

核心循環

1. 讀取 program.md 取得實驗方針
2. 修改 train.py（模型架構、超參數、最佳化器等）
3. 執行 uv run train.py，固定 5 分鐘訓練
4. 評估 val_bpb（validation bits per byte）
5. 若改善則保留（keep），否則捨棄（discard）
6. 重複上述循環，直到被人類中斷

檔案結構

檔案	角色	可修改
prepare.py	資料下載、tokenizer 訓練、dataloader、評估函式	固定（不可修改）
train.py	GPT 模型、最佳化器、訓練迴圈	Agent 修改
program.md	Agent 指令、實驗流程	人類修改

關鍵設計

• 固定時間預算：每次訓練固定 5 分鐘（wall-clock），使實驗結果可直接比較
• 單一 metric：val_bpb（bits per byte），不受詞彙表大小影響
• 自包含：僅依賴 PyTorch 及少數套件，單 GPU 即可運行
• self-modifying code：Agent 直接修改程式碼，而非透過 config 檔案