3月9日消息,前特斯拉AI总监、OpenAI联合创始人安德烈·卡帕西(Andrej Karpathy)于3月7日在GitHub上开源了一个名为"autoresearch"的项目,让AI代理能够在单块GPU上自主运行大规模机器学习实验。用户只需编写一份Markdown指令文件,然后去睡觉——早上醒来就能看到上百个已完成实验的完整日志。
该项目发布数日内GitHub星标已突破8,000,在Hacker News和社交媒体上引发广泛讨论。
核心机制:5分钟一轮、一夜百次迭代
autoresearch的设计理念极度精简。整个项目仅包含三个核心文件:program.md(人类编写的指令文件)、train.py(AI代理可修改的训练脚本,约630行代码)和prepare.py(数据准备与运行工具)。除PyTorch及少量依赖外,无需任何外部框架、分布式训练配置或复杂环境搭建。
工作流程如下:AI代理读取program.md中的研究指令,自主修改train.py——包括调整学习率、批次大小、网络架构或任意代码逻辑——然后启动一轮固定5分钟的训练。训练结束后,代理评估验证指标(validation bits per byte,val_bpb,越低越好),决定保留改进或丢弃变更,随即进入下一轮迭代。
5分钟固定时长的设计是关键决策。一方面,它确保不同实验之间可直接比较,无论代理修改了模型大小、架构还是超参数;另一方面,这意味着autoresearch会针对用户的具体硬件平台,在给定时间预算内寻找最优模型。按此节奏计算,每小时约可完成12个实验,一整夜可跑完约100个实验。
不同于传统超参搜索
值得强调的是,autoresearch与传统的贝叶斯优化或网格搜索有本质区别。后者仅在预定义的超参数空间内搜索,而autoresearch中的AI代理可以任意修改训练代码本身——包括改变模型架构、优化器逻辑、数据处理方式等。这种灵活性使其探索空间远大于传统自动化调参工具。
评估指标val_bpb的选择同样有深意:该指标不依赖于词表大小,因此代理可以自由实验架构变更而不会破坏评估的公平性。
技术基础与使用方式
autoresearch基于卡帕西此前的"nanochat"项目简化而来,专为单GPU小型LLM训练设计。目前项目要求使用单块NVIDIA GPU,社区已出现支持Apple Silicon(MPS)的分支版本。
使用方式极为简洁:安装依赖后,用户可先手动运行一次训练验证环境是否正常,然后启动Claude Code、Codex或任何AI编码代理,提示其阅读program.md并开始实验即可。program.md本质上是一个轻量级的"技能文件",定义了研究目标、实验规则和代理的思考方式。 卡帕西的愿景:从手动编码到代理工程
卡帕西将autoresearch定位为"代理工程"(agentic engineering)理念的实践起点。他认为,未来开发者的角色将从手动编写代码转向指导AI代理——人类负责定义研究方向和评估标准,AI代理负责执行繁琐的修改-训练-评估循环。
他将这个项目形容为"构建自主研究组织"的起步,未来可能扩展到多代理协作和大型计算集群场景。社区已开始探索多代理变体:一个代理生成假说,另一个执行实验,第三个评估并综合结果。
行业意义
autoresearch的出现标志着AI研究范式的一个重要转变信号:从人类主导的缓慢迭代,转向AI自主驱动的高速实验循环。虽然项目本身聚焦于小规模LLM训练,但其背后的模式——定义目标、设计评估标准、让代理自主迭代——具有广泛的迁移潜力。
正如卡帕西所暗示的,前沿AI研究"过去由人类在吃饭、睡觉和娱乐之间完成",而现在,至少在实验执行层面,这个循环可以不间断运行。
项目地址:github.com/karpathy/autoresearch