开云·kaiyun(全站)体育官方网站/网页版 登录入口

芯片英雄 AMD最新推出科研 AI，o1-preview 竟成天选打工东说念主？！

重视看，只需将科研 idea 和关联札记一股脑丢给 AI，策划阐述甚而是代码就能立马出炉了。

这个 AI 系统代号" Agent Laboratory "，全程由 LLM（大说话模子）驱动完成文献综述、实验，以及阐述，一站式惩办科学策划。

对了，在 GPT-4o、o1-mini 以及 o1-preview 这几位科研助理应中，作家们发现o1-preview产出的策划恶果最好。

何况合座上，与现存法子比较，由 AI 生成的代码好像竣事 SOTA 性能。

同期，如果东说念主类在每个过程给以响应，策划的合座质料也会大大提高。

总体而言，与之前的自主策划法子比较，Agent Laboratory 将策划用度减少了84%。

Okk，这也再次印证了东说念主们的猜测，东说念主类与 AI 协同将带来更具性价比的款式加快科研。

临了，咱们也扒了扒论文作家们，戒指不测发现7/9 为华东说念主相貌——

从文献到阐述，AMD 科研 AI 一站式惩办

先来看 Agent Laboratory 是若何使命的。

如图所示，主要有三个阶段：文献综述→实验→撰写阐述，每一阶段皆有不同的任务、用具和 AI Agent 变装（比如 PhD、博士后 Postdocto 等）。

PhD Student 负责文献综述

张开来说，在文献综述阶段，PhD Student 这一变装负责主要推行。它诓骗 arXiv API 来检索关联论文，并进行三个动作：

一捏撮要：检索出与运行查询最关联的前 20 篇论文的撮要；

二捏单篇全文：关于某些具有进军参考价值的论文，索求其好意思满内容；

三添加论文：将经过筛选的论文撮要或全文纳入到文献综述中；

需要重视的是，临了一个过程并非一次性完成，而是一个迭代的过程。

换句话说，唯一当通过 add paper（添加论文）高唱达到指定数目（N = max）的关联文本时，文献综述才会最终详情。

接下来投入实验枢纽。

如图所示，主要有四个过程：绸缪制定→数据准备→运行实验→戒指讲解。

PhD Student+Postdoc 通过对话制定实验绸缪

浮浅说，把柄综述戒指和既定策划宗旨，PhD Student+Postdoc和会过对话来制定防护、可推行的实验绸缪。

绸缪一般包括具体实验门径、采取何种机器学习模子、筛选合适的数据集以及计算实验的高等历程框架等环节要素。

在达成一问候见后，Postdoc 这一变装会使用 plan 高唱提交绸缪，此绸缪将手脚后续总计实验关联子任务的进军行径指南。

ML Engineer 用 Python 准备数据

然后ML Engineer会不才一阶段用 Python 来处理和准备实验所需的数据。

过程中，这一变装不错诓骗 search HF 高唱在 HuggingFace 数据荟萃进行搜索，以获取合适的数据资源。

写完代码后，ML Engineer 会先将代码通过 Python 编译器进行查验，确保莫得编译异常。若存在问题，则会进行迭代修改，直至代码好像获胜运行且无异常，最终使用 submit code 高唱提交经过考证的数据准备代码，为后续实验提供可靠的数据基础。

ML Engineer 借助专用模块运行实验

搓搓手，底下厚爱投入实验运行枢纽。

综合而言，ML Engineer 会借助mle-solver这一挑升联想的模块，来实施和推行先前制定的实验绸缪。

mle-solver 的使命历程如下：

高唱推行

图（A）部分，从一组事前珍重的高性能法式中采样出一个运行法式，在后续的迭代过程中，通过 EDIT 和 REPLACE 两种操作对法式进行陆续优化。

EDIT 允许在指定的代码行规模内，用重生成的代码替换原有代码，从而竣事对法式功能的局部养息；REPLACE 则更为激进，它会生成一个全新的 Python 文献，用于在需要对法式结构或合座逻辑进行紧要调动时使用。

代码推行

图（B）部分，推行代码高唱后，新法式会立即通过编译器进行查验，以识别和处理可能出现的运行时异常。

若法式收效编译，将把柄事前设定的评估尺度对其进行评分，并与现存的法式进行比较。若新法式得分更高，则会更新最优法式列表。

若代码未能通过编译，ML Engineer 会尝试进行最多 Nrep（在实验中设定为 3 次）的成立操作，若仍无法解决问题，则会废弃现时法式，从头聘请或生成新的代码进行替换。

法式评分

图（C）部分，承袭 LLM 奖励模子对收效编译的代码进行评分。

该模子会综合洽商策划绸缪的宗旨、生成的代码逻辑以及内容的实验输出戒指等多方面身分，在0 到 1 的规模内对法式进行量化评估。得分越高，暗示法式与运行策划宗旨的契合度越高，好像更灵验地竣事预期功能。

自我反念念

图（D）部分，不管代码推行戒指是收效如故失败，mle-solver 皆会基于实验戒指或遭逢的异常信号进行自我反念念。

如果法式编译失败，它会念念考如安在后续的迭代中幸免或解决一样的问题；若法式收效编译并获取评分，它会分析若何进一步提高法式的性能和得分，通过这种陆续学习和创新的机制，确保系统好像持续普及生成代码的质料和巩固性。

性能巩固化

图（E）部分，为防护性能波动，mle-solver 承袭了两种环节机制。

一是顶级法式采样，通过珍重一个高质料法式的集中，在推行高唱前马上从中采样一个法式，这么既保证了法式的万般性，又能确保所采取的法式具有较高的质料基准；

二是批量并行化，在每个求解门径中，同期进行多个代码修改操作，并聘请其中性能最好的修改戒指来替换现时最优法式鸠荟萃得分最低的法式。

PhD Student+Postdoc 共同筹商分析实验戒指

推行扫尾后，PhD Student+Postdoc 会潜入探讨 mle-solver 生成的实验戒指，集结本身的专科学问和前期的策划布景，对戒指进行全面解读。

一朝两边觉得戒指合理且具备学术价值，Postdoc 就会使用 interpretation 高唱提交该讲解，为后续的阐述撰写阶段提供环节的内容基础。

PhD Student+Professor 撰写好意思满阐述

投入临了的阐述撰写枢纽，PhD Student 和 Professor 和会过一个名为  "论文求解器"（paper-solver）的挑升模块完成任务。

需要教导，paper - solver并非用来十足取代学术论文撰写历程，而所以一种东说念主类可读的表情回归已完成的策划，以便使用 " Agent Laboratory " 的策划东说念主员了解已取得的恶果。

来去回说，其使命历程包括以下门径：

运行阐述框架生成：生成安妥学术尺度结构且含占位符、餍足 LaTeX 编译和学术老例的阐述运行框架；

arXiv 策划：可按文献综述接口走访 arXiv 拓展文献府上完善阐述（非强制但很有匡助）；

裁剪阐述：用 EDIT 高唱按照多身分对论文 LaTeX 代码行精准迭代裁剪并编译考证，普及阐述质料；

论文评审：用 LLM Agent 模拟 NeurIPS 历程多维度评估论文，测试准确性接近东说念主类评审员；

完善论文：由三个评审 Agent 生成主张，PhD Student 依此判断是否矫正，必要时回溯前期枢纽修改至达标。

o1-preview 科研才调最强

通过以上三个主要阶段，Agent Laboratory 就完成了总计这个词科研历程。

接下来，策划东说念主员用 GPT-4o、o1-mini 以及 o1-preview 来评估实验质料、阐述质料和有用性，这 3 个 AI 在莫得东说念主类任何参与的情况下完成了 15 篇论文。

然后庸碌东说念主（东说念主工审稿东说念主）被条目把柄以下五个问题对它们进行 1 — 5 评分，戒指如图所示。

综合来看 o1-preview 对策划最有匡助， o1-mini 的实验质料得分最高， 而 GPT-4o 全面垫底。

1、说话模子是否推崇出领路偏差，比如证据偏差或锚定偏差？

2、图像 Transformer 相较于卷积网罗，对像素噪声的明锐度是更高如故更低？

3、当被条目进行鉴识会诊时，说话模子在医学问答（MedQA）上的准确性会提高吗？

4、在多项聘请题基准测试中，说话模子对词序明锐吗？

5、性别变装是否会影响说话模子回话数学问题的准确性？

然后作家们还探讨了东说念主工审稿与自动审稿的区别有多大。

二者各异显耀，且自动审稿倾向于高估论文分数。

具体来说，与平均水平的 NeurIPS 论文得分比较，自动审稿平均为 6.1/10，东说念主工审稿为 3.8/10。

而在 GitHub，作家们也清爽了让策划效果更好的手段。

撰写防护的札记；

使用更雄壮的模子；

另外，如果用户丢失进程、断开互联网或子任务失败，不错使用「查验点收复使命进程」功能。

甚而也相沿切换到华文模式。

背后团队过半数是华东说念主

临了先容一下 Agent Laboratory 背后的作家们，他们着实全是在客岁加入 AMD。

Samuel Schmidgall，当今是霍普金斯大学电气与推测机工程博士，亦然 DeepMind 学生策划员。

从客岁 10 月出手，他在 AMD 进行说话 Agent方面的实习。

更早之前还在好意思国舟师策划实验室探索机器东说念主强化学习，以及在斯坦福大学策划心血管外科方面的说话 & 视觉大模子。

Yusheng Su，客岁 8 月加入 AMD GenAI 团队的策划科学家，专注于模子数据、模子架构和检修服从优化。

他 2019 年毕业于政事大学（base 台北），后获取清华大学 CS 博士学位（时候策划大模子预检修）。

更早之前，他还在微软云推测部门有过一段实习经验。

Ze Wang，客岁 5 月加入 AMD GenAI 团队的应用策划科学家。

他 2017 年本科毕业于北航电气与电子工程专科，后离别于好意思国杜克大学和普渡大学读了电子与推测机工程 PhD。

更早之前，还在 Facebook AI 和微软实习过。

Ximeng Sun，客岁 6 月加入 AMD 的应用科学家。

她 2018 年毕业于密歇根大学拉克哈姆策划生院的推测机专科，后于波士顿大学取得 CS 博士学位。

加入 AMD 之前，她前后在 IBM、谷歌和 Meta 进行了实习。

Jialian Wu ( 吴嘉濂 ) ，客岁 4 月加入 AMD GenAI 团队的策划科学家。

他在 2019 年本硕毕业于天津大学电子工程专科，后于纽约州立大学布法罗分校读完 CS 博士。

加入 AMD 之前，他只在高通有过一段全职经验。更早之前则在亚马逊和微软实习过。

Xiaodong Yu（于晓栋），客岁 8 月加入 AMD GenAI 团队的策划科学家，专注于学问检索 / 赤诚度、长文才调会、数学推理以及 LLM/VLM 检修等。

他 2015 年毕业于上海交大电子与电气工程专科，后赴好意思国伊利诺伊大学香槟分校和宾大攻读硕博。

念书时候，他也在亚马逊、微软等机构实习过。

Jiang Liu，客岁 4 月加入 AMD GenAI 团队的策划员，标的为开发通用 AI 模子。

他 2019 年本科毕业于清华大学自动化专科，同期也在五说念口金融学院学习，后于约翰斯 · 霍普金斯大学读完电子与推测机专科博士。

加入 AMD 之前，他在 AWS 和微软进行了大说话模子方面的实习。

Zicheng Liu，客岁岁首入职 AMD 担任高等工程总监，策划兴味为视觉说话学习、3D 东说念主体和手部重建、动态卷积和东说念主类行径识别。

在这之前，他在微软使命了 27 年，主要负责不断推测机视觉科学组。

他如故多个外洋会议的技艺委员会成员，何况是《视觉传达与图像暗示》杂志主编等。

Emad Barsoum，负责 AMD 生成式 AI 方面的副总裁，加入 AMD 1 年多。

曾在微软担任团队工程司理 / 架构师，共同参与创建了ONNX 尺度。这是一个灵通神经网罗表情交换绸缪，在 2017 年由微软和 Facebook 共同发起，它使得数据科学家和开发者不错将不同的深度神经网罗框架开发的模子，平直部署到上亿的 Windows 斥地中。

加入 AMD 之前，他也在芯片制造公司 Cerebras 负责指引 AI 团队，主如果检修大说话模子和视觉模子。

论文：

https://arxiv.org/pdf/2501.04227

代码：

https://github.com/SamuelSchmidgall/AgentLaboratory欧洲杯体育