智能体DS-Agent基于案例推理，让GPT-4数据科学任务接近100%
文章摘要
【关 键 词】 DS-Agent、数据科学、自动化、机器学习、人工智能
由吉林大学、上海交通大学和伦敦大学学院汪军团队共同提出的DS-Agent，是一个专注于数据科学的智能体构建框架，旨在应对自动化数据科学任务的挑战。DS-Agent通过基于案例的推理（CBR）策略，赋予智能体利用以往解决类似问题的经验来解决新问题的能力，从而提高处理复杂机器学习建模任务的成功率。
在传统的数据科学项目中，依赖专业数据科学家进行数据收集、处理、建模和预测等环节，不仅费时费力，而且难以保证高成功率。DS-Agent的提出，使得大语言模型智能体能够扮演数据科学家的角色，自主处理海量数据，发现数据背后的模式和趋势，并提供清晰的模型构建策略和代码，实现模型部署推理，最终通过数据可视化使复杂数据关系一目了然。
DS-Agent实现了两种模式：标准模式和低资源模式。在开发阶段的标准模式中，DS-Agent通过CBR构建自动化迭代流程，模拟数据科学家的连续探索过程，通过实验和优化达到最佳解决方案。在部署阶段的低资源模式中，DS-Agent复用开发阶段积累的成功案例生成代码，减少对计算资源和基座模型推理能力的需求。
实验结果表明，在开发阶段，DS-Agent使用GPT-4首次在数据科学任务中实现了100%的成功率，优于最强基线ResearchAgent。在部署阶段，DS-Agent使用GPT-4时，取得了接近100%的一次成功率，显著提升了开源模型Mixtral-8x7b-Instruct的成功率。此外，DS-Agent在部署阶段的API调用成本相较于开发阶段实现了超过90%的节省。
DS-Agent的出现为自动化数据科学领域带来了新的可能性，使得非专业人士也能轻松应对复杂的数据分析挑战，快速获得业务洞察和决策支持。尽管自动化数据科学尚处于起步阶段，DS-Agent的发展为未来人工智能在数据分析领域的应用展现了一幅令人期待的图景。随着AI技术的不断进步，未来人类可以将更多时间投入到洞见思考和创新决策上。
原文和模型
【原文链接】 阅读原文 [ 2312字 | 10分钟 ]
【原文作者】 机器之心
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★
相关文章
