人工智能学院2023级博士研究生郭思源的论文《DS-Agent: Automated Data Science by Empowering Large Language Models with Case-Based Reasoning》被CCF-A类会议ICML 2024接收。

郭思源同学是强化学习项目组成员，从事深度强化学习、大语言模型智能体相关的研究工作，本篇工作与上海交通大学邓程博士、温颖老师和伦敦大学学院的汪军老师合作完成。

ICML，全称国际机器学习大会(International Conference on Machine Learning)，被公认为机器学习、人工智能领域声望最高的会议之一，在世界范围内每年召开一次，是CCF-A类国际学术会议。

论文题目：DS-Agent: Automated Data Science by Empowering Large Language Models with Case-Based Reasoning

第一作者：郭思源

收录会议：ICML’2024（CCF A）

指导教师：陈贺昌，常 毅

论文概述：

本工作探讨了基于大语言模型的智能体处理自动化数据科学任务的潜力，其目标是理解任务需求，然后构建和训练最适合的机器学习模型。尽管现有的大语言模型智能体取得了广泛成功，但在这一场景中，它们在生成实验计划时仍受到制约，常常产生不合理的计划。为此，我们提出了DS-Agent，一种新型的自动化框架，它结合了大语言模型智能体和基于案例的推理。在开发阶段，DS-Agent遵循基于案例的推理框架来构建自动迭代流程，这个流程能够灵活地利用来自Kaggle的专家知识，并通过反馈机制实现性能的持续改进。此外，DS-Agent在低资源的部署阶段使用简化的基于案例的推理范式，以适应开发阶段产生的过去成功的解决方案，直接生成代码，显著降低了对基座模型基础能力的需求。实验结果上，结合GPT-4的DS-Agent在开发阶段实现了100%成功率，同时在部署阶段的平均一次通过率上提高了36%。在两个阶段中，DS-Agent均实现了最佳性能。